CN107534711A - 用于高效视频编码（hevc）屏幕图像编码（scc）扩展的高级编码技术 - Google Patents

用于高效视频编码（hevc）屏幕图像编码（scc）扩展的高级编码技术 Download PDF

Info

Publication number
CN107534711A
CN107534711A CN201680021636.1A CN201680021636A CN107534711A CN 107534711 A CN107534711 A CN 107534711A CN 201680021636 A CN201680021636 A CN 201680021636A CN 107534711 A CN107534711 A CN 107534711A
Authority
CN
China
Prior art keywords
block
vector
index
mark
decoding apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680021636.1A
Other languages
English (en)
Other versions
CN107534711B (zh
Inventor
于浩平
徐猛
王炜
法尼·段木
舍温·米娜依
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of CN107534711A publication Critical patent/CN107534711A/zh
Application granted granted Critical
Publication of CN107534711B publication Critical patent/CN107534711B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Abstract

本发明提供一种编码装置、解码装置和编码方法。解码方法包含：通过解码器从编码器接收码流；使用所述解码器扫描所述码流以识别与除了最后一串之外的块中的一串索引值对应的第一标志，以及与从所述块产生的所述最后一串索引值对应的第二标志；通过所述解码器确定用于对所述第一标志进行编码的上下文模型与用于对所述第二标志进行编码的所述上下文模型相同；以及通过所述解码器使用所述上下文模型生成视频帧。

Description

用于高效视频编码（HEVC）屏幕图像编码（SCC）扩展的高级编 码技术
相关申请案交叉申请
关于由联邦政府赞助研究或开发的声明
不适用
参考缩微胶片附录
不适用
技术领域
背景技术
用于描绘即使相对较短影片所需的视频数据量也可能相当大，当数据为流式或者以其它方式通过具有有限带宽容量的通信网进行传送时，这可能产生困难。因此，在通过现代电信网络进行传送之前，视频数据通常进行压缩。在传输之前，视频压缩设备通常使用在源侧的软件和/或硬件来对视频数据进行编码，从而减少了用于表示数字视频图像所需的数据量。随后由视频解压缩设备在目的地接收压缩数据，所述视频解压缩设备对视频数据进行解码。在有限的网络资源以及对较高视频质量的需求不断增加的情况下，需要提高图像质量而不会增加位速率的改进的压缩和解压缩技术。
发明内容
不管在当前高效视频编码(High Efficiency Video Coding，HEVC)架构内由调色板模式提供的效率如何，仍存在改进的空间。本发明提供设计用于在编码/解码过程中进一步改进 HEVC屏幕图像编码(Screen Content Coding，SCC)扩展的总体性能，即，更佳编码效率以及改进的并行处理效果的多种技术。具体而言，论述用于块间编码的改进的预测单元 (prediction unit，PU)分区和块向量(block vector，BV)/运动向量(Motion Vector，MV) 预测候选者选择，其中预测块和在压缩下的块两者可以来自相同帧(也成为块内)或来自单独帧(也成为帧间预测)。还论述用于调色板模式的高级索引图编码，其中每个2N×2N图使用四叉树结构进一步分成4个N×N较小图，或使用当前PU分区设计分成2个2N×N或2个N×2N子图。由于每个子图可以仅由完整图中的索引的子集构成，因此引入索引转换过程以减小子图中的索引的二进制表示的长度。对较小子图进行编码的益处包含更佳编码效率以及准许子图编码的并行处理。为了进一步改进编码效率，还提出将上方模式扩展到一些子图的第一排(在水平扫描方向)或左列(在竖直扫描方向)中的索引。另外，提出使用用于对包含最后一次运行的RunType标志进行编码的相同上下文。
在一个实施例中，本发明包含通过以下方式对视频帧进行解码的方法：通过解码器从编码器接收码流；使用所述解码器解析从所述码流产生的第一标志,其中所述第一标志对应于块中的最后一串索引值；使用所述解码器解析从所述码流产生的第二标志，其中所述第二标志对应于除了所述块中的所述最后一串索引值之外的所述块中的一串值，其中用于解析所述第一标志的上下文模型与用于解析所述第二标志的上下文模型相同；以及通过所述解码器使用所述第一标志和所述第二标志生成所述视频帧。
在实施例中，第一标志包括last_palette_run_type_flag。在实施例中，第二标志包括palette_run_type_flag。在实施例中，上下文模型包括上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)上下文模型。在实施例中，第二标志包括 palette_run_type_flag并且第一标志包括last_palette_run_type_flag，并且其中上下文模型包括上下文自适应二进制算术编码(context adaptive binary arithmeticcoding，CABAC)上下文模型。
在另一实施例中，本发明包含一种编码方法，包含解码装置，所述解码装置包含：接收器，用于从编码器接收码流，所述码流含有索引图；处理器，可操作地连接到所述接收器并且用于对所述索引图进行解码，其中所述索引图包含指示所述索引图内的分区总数目的分区深度以及指示所述索引图内用于每个子块的多个索引的单一索引标志；以及发送器，可操作地耦合到所述处理器并且用于发送使用所述分区深度和所述单一索引标志构造的视频帧。
在实施例中，索引图包括正方形索引图并且分区包括正方形子块的四叉树结构。在实施例中，索引图包括正方形索引图并且分区包括矩形分区。在实施例中，当码流中包含单一索引标志时，分区深度不等于零。在实施例中，在所有子块之中共享单一颜色表。在实施例中，子块中的至少一个子块的扫描方向不同于所述子块中的另一子块的扫描方向。
在又一实施例中，本发明包含解码装置，所述解码装置包含：接收器，用于从编码器接收码流，所述码流含有用于第一类型的预测单元的向量预测候选者列表，其中所述向量预测候选者列表内的向量候选者具有第一类型，即使相邻预测单元具有第二类型；处理器，可操作地耦合到所述接收器并且用于从所述向量预测候选者列表选择第一类型的向量候选者中的一个；以及发送器，可操作地耦合到所述处理器并且用于发送使用选自所述向量预测候选者列表的所述向量候选者中的一个构造的视频帧。
在实施例中，第一类型是帧内块复制(Intra Block Copy，IBC)并且第二类型是帧间编码。在实施例中，第一类型是帧间编码并且第二类型是帧内块复制(Intra BlockCopy，IBC)。在实施例中，其中所述向量预测候选者列表包含替换第二类型的至少一个向量候选者的第一类型的至少一个向量候选者。在实施例中，向量预测候选者列表包括高级运动向量预测 (Advanced Motion Vector Prediction，AMVP)列表。在实施例中，向量预测候选者列表包括高级块向量预测(Advanced Block Vector Prediction，ABVP)列表。在实施例中，响应于消除第二类型的向量候选者中的至少一个，向量预测列表中的第一类型的向量候选者的次序已得到改变。在实施例中，当消除了第二类型的向量候选者中的至少一个时，向量预测列表中的第一类型的向量候选者的总数目已得到改变。
为清楚起见，任一前述实施例可以与其它前述实施例中的任何一个或多个实施例组合以产生本发明范围内的新实施例。
从以下结合附图以及权利要求书进行的详细描述将更清楚地理解这些以及其它特征。
附图说明
为了更透彻地理解本发明，现参考结合附图和具体实施方式而描述的以下简要描述，其中相同参考标号表示相同部分。
图1是用于使用调色板模式说明索引图编码的块中的索引图颜色的图式。
图2是说明子块的分区和深度的索引图的实施例。
图3是说明子块的扫描方向的索引图的实施例。
图4至5是说明矩形分区的索引图的实施例。
图6A至6B是说明用于子索引图的索引细化的块的实施例。
图7是发送器(例如，编码器)的实施例。
图8是接收器(例如，解码器)的实施例。
图9是编码方法的实施例的流程图。
图10是可以包括编码器和解码器的网络单元的实施例的示意图。
具体实施方式
首先应理解，尽管下文提供一个或多个实施例的说明性实施方案，但所公开的系统和/或方法可以使用任何数目的技术来实施，无论所述技术是当前已知的还是现有的。本发明决不应限于下文所说明的说明性实施方案、附图和技术，包含本文所说明并描述的示例性设计和实施方案，而是可以在所附权利要求书的范围以及其等效物的完整范围内修改。
通常，视频媒体涉及相对快速地连续显示一系列静态图像或帧，由此使观察者感知运动。每个帧可以包括多个图像元素或像素，所述像素中的每一个可以表示帧中的单一参考点。在数字处理期间，每个像素可以在对应参考点处分配有表示图像质量或特征，例如亮度或色度的整数值(例如，0、1、…或255)。在使用时，图像或视频帧可以包括大量像素(例如，1920×1080 帧中的2,073,600个像素)。因此，独立地对每个像素进行编码和解码(下文仅称为编码)可能繁琐且低效。为了改进编码效率，通常将视频帧分成多个矩形块或宏块，所述矩形块或宏块可以充当例如预测、转换和量化的处理的基本单元。例如，典型的N×N块可以包括N2个像素，其中N是大于一的整数并且通常是四的倍数。
在国际电信联盟(International Telecommunications Union，ITU)电信标准化部门 (International Telecommunications Union TelecommunicationsStandardization Sector，ITU-T)以及国际标准化组织(International Organizationfor Standardization，ISO)/国际电工委员会 (International ElectrotechnicalCommission，IEC)中，对于高效视频编码(High Efficiency Video Coding，HEVC)引入新的块概念。例如，编码单元(coding unit，CU)可以指视频帧到具有相同或可变大小的矩形块的子分区。在HEVC中，CU可以替换先前标准的宏块结构。取决于帧间或帧内预测的模式，CU可以包括一个或多个预测单元(prediction unit，PU)，所述预测单元中的每一个可以充当基本预测单元。例如，对于帧内预测，8x8CU可以对称地分成四个4×4PU。再例如，对于帧间预测，64×64CU可以不对称地分成16x64PU和48x64PU。类似地，PU可以包括一个或多个变换单元(transform unit，TU)，所述变换单元中的每一个可以充当用于变换和/或量化的基本单元。例如，32×32PU可以对称地分成四个16×16TU。一个PU中的多个TU可以共享同一预测模式，但是可以单独地变换。本文中，术语“块”一般可以指宏块、CU、PU或TU中的任一个。
取决于应用，可以在无损模式(例如，不失真或无信息损耗)或有损模式(具有失真) 下对块进行编码。在使用时，可以使用无损模式对高质量视频(例如，具有4：4：4的YUV子取样)进行编码，同时可以使用有损模式对低质量视频(例如，具有4：2：0的YUV子取样)进行编码。如本文所使用，YUV中的Y分量指颜色的明亮度(亮度)，而U和V分量指颜色本身(色度)。有时，单一视频帧或切片(例如，具有4：4：4或4：2：0的YUV子取样)可以采用无损模式和有损模式两者来对可以是矩形或不规则形状的多个区域进行编码。每个区域可以包括多个块。例如，复合视频可以包括不同类型的内容的组合，所述不同类型的内容例如，文本和计算机图形内容(例如，非相机捕获的图像)以及自然景观内容(例如，相机捕获的视频)。在复合帧中，文本和图形的区域可以在无损模式下进行编码，而自然景观内容的区域可以在有损模式下进行编码。例如，可能在共享应用程序的计算机屏幕中需要文本和图形的无损编码，因为有损编码可以导致文本和图形的较差质量或保真度，这样会引起眼睛疲劳。
随着半导体、网络、通信、显示器、计算机以及例如平板电脑和智能电话的设备的快速和持续进步，多个应用需要可以高视觉质量有效地压缩非相机捕获的视频内容的基于HEVC 的压缩/编码解决方案。本文中可以称为屏幕图像的此非相机捕获的视频内容可以包含具有应用中常见的典型运动的计算机产生的图形、文本，所述典型运动例如，窗口切换和移动、文本滚动等。在许多情况下，非相机捕获的视频内容以高对比度提供具有不同颜色的清晰纹理和锐边缘，并且可以具有4：4：4颜色取样格式。
当前HEVC屏幕图像编码引入调色板模式以更有效地表示计算机屏幕。所述调色板模式在R.乔希(R.Joshi)和J.许(J.Xu)的2014年10月的HEVC屏幕图像编码的工作草案2，MPEG-N14969/JCTVC-S1005，法国史特拉斯堡中描述，所述工作草案通过引用并入本文中。调色板模式在HEVC SCC草案中采用以有效地表示和压缩计算机产生的内容。所述调色板模式作为用于帧内编码的额外模式开发。对于每个铜，原始像素块转变成调色板表和对应索引图。调色板模式还用于屏幕图像编码测试模型(SCM)2.0参考软件中。
不管调色板模式在当前HEVC架构提供的效率如何，仍存在改进的空间。本文公开用于改进的视频编码的系统和方法。本发明提供设计用于在编码/解码过程中进一步改进HEVC SCC扩展的总体性能，即，更佳编码效率以及改进的并行处理效果的多种技术。具体而言，论述用于块间编码的改进的PU分区和块向量(block vector，BV)/运动向量(MotionVector， MV)预测候选者选择，其中预测块和在压缩下的块两者可以来自相同帧(也成为块内)或来自单独帧(也成为帧间预测)。还论述用于调色板模式的高级索引图编码，其中每个2N×2N 图使用四叉树结构进一步分成4个N×N较小图，或使用当前PU分区设计分成2个2N×N或 2个N×2N子图。由于每个子图可以仅由完整图中的索引的子集构成，因此引入索引转换过程以减小子图中的索引的二进制表示的长度。对较小子图进行编码的益处包含更佳编码效率以及准许子图编码的并行处理。为了进一步改进编码效率，还提出将上方模式扩展到一些子图的第一排(在水平扫描方向)或左列(在竖直扫描方向)中的索引。另外，提出使用用于对包含最后一次运行的RunType标志进行编码的相同上下文。下文描述关于这些新技术的细节以及对应语法变化。
在可以尤其适用于屏幕产生的图像编码的基于调色板的编码中，视频译码器(例如，视频编码器或视频解码器)形成表示给定块的视频数据的颜色的“调色板”。调色板可以包含给定块中的最主要(例如，频繁使用的)颜色。在给定块的视频数据中不频繁地或罕见地表示的颜色不包含在调色板中。不包含在调色板中的颜色称为逃逸色(escape color)。
当在调色板模式编码期间对对应于给定块的索引图进行编码时，包含在调色板中的颜色中的每一个分配有索引值。例如，如果颜色黑和白包含在调色板中，颜色白可以具有索引值 0并且颜色黑可以具有索引值1。另外，不包含在调色板中的颜色中的每一个分配有，例如，单一或共同索引值。例如，如果颜色蓝、绿和红不包含在调色板中，这些颜色都将具有索引值3。用于不包含在调色板中的颜色的索引值可以称为逃逸色索引值。
当前HEVC SCC草案利用基于运行的一维(1-D)串。虽然如此，二维(2-D)串方法已在W.Wang、Z.Ma、M.Xu、H.Yu的“非CE6:HEVC SCC中的调色板模式的2-D索引图编码 (Non-CE6:2-D Index Map Coding of Palette Mode in HEVC SCC)”JCTVC-S0151，法国斯特拉斯堡，2014年10月，以及2014年10月提交的发明名称为“HEVC SCC中的调色板模式(Palette Mode in HEVC SCC)”的第62/060,450号美国临时专利申请案中提出，这些文档通过引用并入本文中。尽管出于简洁起见未在本文中完全描述，但是本领域技术人员将理解，在一些情况下，2-D串方法可以默认为基于运行的1-D串方法。
当使用1-D串方法在调色板模式中进行索引图编码时，每个CU包括两个主要部分。这两个部分是颜色表处理和索引图编码。借助于实例，用于1D串方法的索引图编码可以利用 _ABOVE模式，其中应用_ABOVE_MODE以指示当前串是否与从当前串正上方的串产生的索引相同。
图1说明将用于提供使用调色板模式进行索引图编码的实例的索引图颜色的8×8块100。如图所示，块100中的顶部串102具有索引值1、1、1、1、2、2、2和2(从左到右)，顶部串102正下方的串104具有索引值1、1、1、1、1、1、1和1，块100中的下一串106具有索引值1、1、1、1、1、1、1和1，块100中的下一串108具有索引值1、1、3(其中3表示蓝色)、2、2、2、2和2，块100中的下一串110具有索引值1、1、3(其中3表示绿色)、2、 2、2、2和2，块100中的下一串112具有索引值1、1、3(其中3表示红)、2、2、2、2和 2，块100中的下一串114具有索引值2、2、2、2、2、2、2和2，并且块100中的底部串116 具有索引值2、2、2、2、2、2、2和2。为了对码流中的第一串102进行编码，使用palette_run_type 标志(例如，一位palette_run_type_flag)、索引值和运行值。
palette_run_type标志指示是否已复制当前串上方的串中的任何索引值。如果已复制以上串的一部分，palette_run_type标志设定成表示_ABOVE_MODE的第一二进制数(例如，1)。如果尚未复制以上串，palette_run_type标志设定成表示_INDEX_MODE的第二二进制数(例如，0)。当对顶部串102进行编码时，palette_run_type标志默认地设定成0，因为不存在安置于顶部串102上方的串。索引值是在块100中的串内表示的特定数值(例如，1或2)。运行值是可以复制多少连续索引值。例如，如果运行值设定成1，复制单一索引值，如果运行值设定成2，复制两个连续索引值，如果运行值设定成3，复制三个连续运行值等。因此，为了对具有索引值1、1、1、1、2、2、2、2的顶部串102进行编码，使用以下语法： palette_run_type_flag＝0、索引值＝1、运行值＝4、palette_run_type_flag＝0、索引值＝2、运行值＝4。
为了对具有索引值1、1、1、1、1、1、1、1的下一串104进行编码，可以使用以下语法：palette_run_type_flag＝1、运行值＝4、palette_run_type_flag＝0、索引值＝1、运行值＝4。在替代方案中，还可以使用以下语法：palette_run_type_flag＝0、运行值＝8。为了对具有索引值1、1、 1、1、1、1、1、1的下一串106进行编码，使用以下语法：palette_run_type_flag＝1、运行值＝8。可以通过，例如速率失真优化模块或其它合适的编码器组件确定用于编码的特定语法。速率失真优化模块可以基于，例如哪个语法对编码最有效来选择特定语法。作为一个实例，串104和106中的所有索引可以编码为palette_run_type_flag＝0、索引值＝1、运行值＝16。
下一串108具有索引值1、1、3、3、2、2、2、2，其中3是对应于逃逸色蓝色或逃逸色绿色的逃逸色索引值。使用现有常规编码方案，以下语法用于对下一串108进行编码：palette_run_type_flag＝1、运行值＝2、palette_run_type_flag＝0、索引值＝3、逃逸色＝蓝色、 palette_run_type_flag＝0、索引值＝3、逃逸色＝绿色、palette_run_type_flag＝0、索引值＝2、运行值＝4。同样，使用现有常规编码方案，以下语法用于对下一串110进行编码： palette_run_type_flag＝1、运行值＝2、palette_run_type_flag＝0、索引值＝3、逃逸色＝绿色、 palette_run_type_flag＝0、索引值＝3、逃逸色＝蓝色、palette_run_type_flag＝1、运行值＝4。以下语法用于对下一串112进行编码：palette_run_type_flag＝1、运行值＝2、palette_run_type_flag＝0、索引值＝3、逃逸色＝红色、palette_run_type_flag＝1、运行值＝5。
记住以上内容，使用由如图2所示具有不同大小的较小块组成的不同分区，可以对对应于当前CU的索引图200进行编码。一个可能是使用索引图的四叉树结构，其中采用正方形块形式的索引图200分成四个正方形子块202。对于给定子块202，需要从原始块拆分的数目称为索引图深度。如图2所示，索引图200具有可以使用语法元素进行编码的总深度“3”。
通过使用分区结构对索引图进行编码，单一颜色表用信号传送并且编码用于整个分区，并且所述单一颜色表在所有子块之中共享。基本上，编码器确定用于所有子块的分区。通过索引图分区，一些子块可能可以更有效地进行编码并且因此改进总体编码性能。
在每个子块202中，当分区深度不等于0时，single_index_flag用信号传送以指示此子块是否仅包含单一索引。如果single_index_flag等于1，索引用信号传送并且绕过索引图编码的其余部分。在实施例中，总深度指示用于整个块(例如，块200)中的最大分区数，并且 single_index_flag用于指示特定子块(例如，子块202、204)的深度。使用此编码策略，本文描述的“复制上方”功能可以用于提高编码效率。例如，当在一个子块中发现四个数目3 时，在编码期间底部3可以从上述3“复制”。
为了清晰起见，提供用于索引图200的编码的说明性实例。当对索引图200进行编码时，总深度3用信号传送。此总深度指示索引图中的分区(例如，四叉树或二进制结构)的总数目。在总深度之后，所遇到的第一子块的分区深度用信号传送。所遇到的第一子块的位置将取决于编码的方向。在图2中，使用左上子块202。
对于左上子块202，编码器用信号传送以下内容：对于前三个子子块204，single_index_flag 是2，并且对于如图2中所示其余子子块204，single_index_flag是3。在实施例中，顶部两个子子块可以用值3进行编码，并且如上所述的复制上方功能可以用于对也具有值3的底部两个子子块进行编码，以提高编码效率。
因为索引图200的总深度指示为3并且针对子子块204，3用信号发送，所以向编码器提供以下指示：未在左上子块202中发现其它分区。因此，取决于编码方向，编码器移动到待编码的下一子块。例如，接下来可以对右上子块202进行编码。对于右上子块202，编码器将single_index_flag用信号传送为1，使得绕过用于所述子块202的索引图200的其余部分。同样，对于左下子块202，编码器将single_index_flag用信号传送为1，使得绕过用于所述子块202的索引图200的其余部分。
对于右下子块202，编码器用信号传送以下内容：对于第一个子子块204，single_index_flag 是3，并且对于如图2中所示其余三个子子块204，single_index_flag是2。同样，在实施例中，顶部两个子子块204可以用值3进行编码，并且如上所述的复制上方功能可以用于对也具有值3的底部两个子子块204进行编码，以提高编码效率。在接收如上所述进行编码的码流之后，解码器可以通过类似方式对所述码流进行解码。
应注意，索引图分区与编码单元分区无关，并且也与索引图编码方法无关。不管哪个方法用于索引图预测和编码，索引图分区也适用。例如，一个子块可以使用水平扫描过程，而另一子块可以使用垂直扫描过程。
在实施例中，可以使用N×N索引图分区和编码。当最大所允许索引图四叉树深度是1时，可以在HEVC架构下使用PU结构对四叉树进行编码。index_part_mode用信号传送以指示是否将当前索引图分成较小索引图。在一个实施例中，可以通过与在HEVC帧内模式中编码的 PU分裂标志相同的方式对index_part_mode进行编码。在另一实施例中，可以使用单独上下文模型或使用旁路模式对index_part_mode进行编码。
视频译码器可以使用视频数据块的每一二进制数的概率估计对每一二进制数进行编码，无论是对应于块的变换系数还是对应于块的语法信息。概率估计可以指示具有给定二进制值 (例如，“0”或“1”)的二进制数的似然性。概率估计可以包含在概率模型(也称作“上下文模型”)内。视频译码器可以通过确定二进制数的上下文来选择上下文模型。语法元素的二进制数的上下文可以包含先前编码的相邻语法元素的相关二进制数的值。在一些实例中，用于对当前语法元素进行编码的上下文可以包含位于当前语法元素左上方的相邻语法元素。在任何情况下，针对每一上下文定义不同的概率模型。在对二进制数进行编码之后，进一步基于二进制数的值来更新上下文模型，以便反映最当前的概率估计。
在实施例中，上下文模型是概率模型，例如，上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)上下文模型。上下文建模提供对编码符号的条件概率的估计。使用合适的上下文模型，可以通过根据在待编码的当前符号附近的已编码标志在不同概率模型之间切换来利用给定的符号间冗余。上下文建模通过上下文自适应变长编码 (context-adaptive variable-length coding，CAVLC)熵编码方法来负责大部分CABAC'，从而大致节省10％位速率。在D.Marpe等人的“H.264/AVC视频压缩标准中的基于上下文的自适应二进制算术编码(Context-Based Adaptive BinaryArithmetic Coding in the H.264/AVC Video Compression Standard)”《用于视频技术的电路和系统的IEEE会刊》第13卷中第7期，2003 年7月，中发现上下文建模的进一步论述和实例，所述文档以引用方式并入本文。
当使用N×N PU分区时，原始索引图分成共享相同调色板表的4个较小正方形索引图。可以通过并行方式对每个子块进行编码。用于对较大索引图进行编码的技术也可以应用于较小块上。例如，如图3中所示，可以使用自适应扫描方向(例如，水平或垂直)以及现有索引/上方模式对每个子索引图进行编码。图3的块300可以类似于图2的块200。然而，图3的块300说明用于每个子块302的扫描方向，而图2的块200说明用于每个子块202的索引图深度。
在实施例中，可以使用2N×N和N×2N索引图分区和编码。图4中说明具有2N×N索引图分区的块400，而图5中说明具有N×2N索引图分区的块500。图4的块400和图5的块 500可以类似于图3的块300。通过2N×N或N×2N分区，原始索引图分成共享相同调色板表的两个较小矩形块402、502。当启用矩形分区时，可以通过与帧间模式中的PU分区标志相同的方式对index_part_mode标志进行编码。
在实施例中，索引细化用于子索引图。子索引图包含仅对应于调色板表中的部分表项的索引。如通过图6A和6B中的块600共同说明，应用索引细化过程以将索引转换成跨越较小距离的新值。图6A和6B的块600可以类似于图1的块100的部分。
在实施例中，在以下步骤中描述细化过程。在一个步骤中，扫描图6A的块600中的子索引图610。当前子索引图610中的所有现有不同索引(例如，0、3、6、7、10和20)按升序存在和分类。接下来，将整数0、1、2、…n分配给分类后的索引，其中n表示当前子索引图中的唯一索引的数目。在实施例中，连续分配整数。
命名为index_refinement_vector的向量含有等于当前颜色表的大小(例如，当palette_escape_val_present_flag是0时)或等于当前表大小加一(例如，当 palette_escape_val_present_flag是1时)的二进制位，所述向量用信号传送以指示哪些索引存在于当前子索引图中。对于向量中的每个位，1指示对应索引存在于当前子索引图中并且0 指示不存在对应索引。
作为一个实例，图6A说明典型的4×4子索引图610，其基于以下假设：相关联调色板表大小是21(即，最大索引值是20)并且不存在逃逸像素。在此实例中，最大索引值是20。通过截断二进制编码(Truncated Binary Coding，TBC)，对于每个索引，每个索引的二进制表示需要4个或5个位。对应index_refinement_vector是100100110010000000001。
在索引细化之后，将图6A的子索引图610简化成图6B中描绘的子索引图610。使用索引细化技术，在细化之后最大索引值变成5。对于每个索引，每个索引的二进制表示仅需要2 个或3个位。
在实施例中，COPY_ABOVE_MODE可以在子索引图中扩展。当如上所述索引图分成较小块时，扩展调色板代码(palette code，PLT)编码中的复制上方技术以包含第一排/列子索引图，其中索引预测可以应用于两个相邻子索引块之间。当使用水平扫描方向时，第一排底部块可以使用从最后一行其以上相邻块产生的索引作为预测。当使用垂直扫描方向时，右块的左列可以使用从其左块的右列产生的索引作为预测。扩展的复制上方方法在当前编码单元 (Coding Unit，CU)内受限。换句话说，左上块无法应用此方法。然而，使用垂直扫描方向编码的右上块可以复制从左上块的右列产生的索引，并且使用水平扫描方向编码的左-下块可以复制从左上块的底部行产生的索引。
在当前子索引图中的所有索引都可以从其相邻者复制的情况下，随后语法元素num_palette_indices_idc设定成0且在码流中用信号传送，并且跳过索引图编码的其余部分。当子索引图仅包含单一索引时，如果整个子索引图可以从最后一行其相邻者复制，将使用扩展的复制上方模式对所述子索引图进行编码。否则，将在HEVC SCC扩展中使用PLT编码技术使用索引模式对所述子索引图进行编码。
表1和表2中说明在调色板模式中使用高级索引图编码的语法：
表1-高级索引图编码的实例
表2-高级索引图编码的实例
如上文关于图1所论述，在到达最后一个串(例如，图1的块中的最后一行)之前，例如，一个接一个地对块内的串进行编码。在当前HEVC SCC草案中，通过与其它串不同的方式处理块中的最后一个串。为了用信号传送此差异，last_palette_run_type_flag用于最后一个串，而palette_run_type_flag用于其它串，并且不同上下文模型用于这两个标志。然而，已发现使用两个不同上下文模型对这两个标志进行编码可提供极少编码益处，如果存在的话。因此，用于palette_run_type_flag和last_palette_run_type_flag的上下文模型是统一的。在实施例中，用于palette_run_type_flag的上下文模型用于块中的每个串，包含最后一个串。换句话说，对应于palette_run_type_flag的上下文模型用于块中的最后一个串。
如下文更完全地说明，本文论述的关于高级索引图编码的发明性概念可以在图7和8中存在的模块和/或系统中实施。将在以下段落中进一步说明如图7所示的发送器700以及如图 8所示的接收器800的操作。
图7说明根据本发明的执行屏幕图像编码过程的实例发送器700的功能框图。图8说明根据本发明的执行屏幕图像解码过程的实例接收器800的功能框图。发送器700和接收器800 的实施例仅用于说明。在不脱离本发明的范围的情况下，可以使用发送器700和接收器800 的其它实施例。
发送器700用于执行可以在码流中的每个CU或编码树单元(coding tree unit，CTU)上执行的高效调色板压缩(color palette compression，CPC)过程。如图7所示，发送器700开始于码流中的CU 701。如上所述，CU是HEVC和HEVC格式范围扩展(RExt)中的基本操作单元，并且一般是包含三个颜色分量(例如，RGB、YUV、XYZ等)的正方形像素块。
为便于说明，将通过CU 701描述图7的发送器700。然而，在实施例中，图7的发送器700可以开始于CTU 701，而不是CU 701。本领域技术人员将理解，发送器700可以通过CTU701执行基本上相同的过程。
调色板表创建块703使用CU 701来获取或生成调色板表(有时称为颜色表)。为了获取调色板表，图7的调色板表创建块703根据一个或多个排序规则将颜色值排序。调色板表可以根据每个颜色值的出现频率、CU 701的每个像素的实际颜色强度或任何其它合适的排序度量来排序，以增加随后编码操作的效率。
基于获取的调色板表创建块703，颜色分类器块705使用CU 701将CU 701的颜色或像素值分配到颜色索引图中。表编码块707接收调色板表并且对调色板表中的表项进行编码。包括可以用于实施本文中的发明性概念的模块的索引图编码块709对通过颜色分类器块705 产生的颜色索引图进行编码。这些操作在下文更详细地描述。
残余编码块711对通过颜色分类器块705产生的每个逃逸颜色进行编码。在实施例中，残余编码块711执行自适应固定长度或可变长度残余二进制化。随后，复用(MUX)块713使用编码残余生成压缩码流。
如图8中所示，接收器800用于执行与如上所述通过图7的发送器700执行的屏幕图像编码过程类似的屏幕图像解码过程。接收器800接收压缩视频码流，随后使用解复用器801 将码流解析到编码调色板表、颜色索引图和编码残余中。表解码块803和调色板表创建块809 与图7的表编码块707和调色板表创建块703执行相反过程，以对于每个CU重构整个调色板表。类似地，索引图解码块805和残余解码块807与索引图编码块709和残余编码块711 执行相反过程以重构颜色索引图，所述索引图解码块包含可以用于实施本文中的发明性概念的模块。颜色解分类器块811通过梳理颜色索引图和调色板表获取每个位置处的像素值，由此重构CTU或CU 813。
尽管图7和8说明用于执行屏幕图像编码和解码的发送器700和接收器800的实例，但是可以对图7和8作出各种变化。例如，图7和8中的各个组件可以组合、进一步细分或省略，并且可以根据特定需要添加额外组件。作为具体实例，各个组件可以一起布置在一个外壳中或一个电路板上，或由单个处理器或处理单元执行。
图9是根据本发明的实施例的解码方法900的流程图。方法900可以由例如图8的索引图解码块805内的模块执行。当例如对从编码器接收到的码流进行解码时，可以执行方法1000。在步骤902中，由解码器接收从编码器产生的码流。在步骤904中，扫描所述码流以识别与从块的初始成串索引值中的一个对应的第一标志(例如，palette_run_type_flag)以及与块中的最后一个串对应的第二串(例如，last_palette_run_type_flag)。在步骤906中，解码器确定用于对第一标志进行编码的上下文模型与用于对第二标志进行编码的上下文模型相同。换句话说，解码器认识到上下文模型匹配。在步骤908中，解码器使用上下文模型生成视频帧。视频帧最终可以显示在用于用户的计算设备(例如，计算机、智能电话、平板计算机设备等)上。
除了上述内容之外，公开一种改进的运动向量(motion vector，MV)/块向量(block vector， BV)预测候选者选择和PU分区技术。在HEVC的现有规范中，高级运动向量预测(Advanced Motion Vector Prediction，AMVP)候选者选自相邻PU，并且仅帧间PU的MV用于形成AMVP 列表。在采用统一的帧内块复制(Intra Block Copy，IBC)和帧间编码之后，可以在IBC模式下对在AMVP候选者选择过程中识别的相邻PU进行编码。因此，用于帧间编码后PU的 AMVP列表可以由从IBC编码后PU产生的BV组成。类似地，高级块向量预测(AdvancedBlock Vector Prediction，ABVP)列表可以包含从帧间编码后PU产生的MV。
由于IBC BV和帧间MV的统计分布之间的差，将BV和MV一起混合在AMVP或ABVP 候选者列表中可能不会产生对用于IBC的块向量的编码或用于帧间编码后PU的运动向量的编码的最佳预测。因此，已开发以下方法来解决上述问题。
在一个实施例方法中，当形成用于帧间PU的AMVP列表时，在预定义PU位置处的PU是IBC PU时，将BV和/或其缩放版本作为AMVP候选者消除。因此，可以选择AMVP列表中往下的其它MV候选者。换句话说，仅将MV用于AMVP过程中并且标记不可用于那些 IBC编码后的相邻PU的MV。同样，当形成用于IBC PU的ABVP列表时，在预定义PU位置中的PU是帧间PU时，将MV和/或其缩放版本作为ABVP候选者消除。因此，可以选择 ABVP列表中往下的其它BV候选者。换句话说，仅将BV用于ABVP过程中并且标记不可用于那些帧间编码后的相邻PU的BV。
在一个实施例方法中，当形成用于帧间PU的AMVP列表时，在预定义PU位置的PU 处的PU是IBC PU时添加更多(空间和/或时间)PU位置，使得存在用于AMVP候选者选择的足够MV候选者。同样，当形成用于IBC PU的ABVP列表时，在预定义PU位置中的 PU是帧间PU时添加更多(空间)PU位置，使得存在用于ABVP候选者选择的足够BV候选者。换句话说，将额外候选者添加到特定候选者列表以确保候选者列表是完整的。实际上，存在错误类型的向量，将所述向量从候选者列表中去除，并且将正确类型的替代向量替代到列表中，使得列表中的向量的每一个是相同类型的向量。
在一个实施例方法中，当形成用于帧间PU的AMVP列表时，在AMVP候选者选择中包含更多(空间和/或时间)PU位置时，改变在AMVP候选者选择过程中的候选者数目以及选择次序。同样，当形成用于IBC PU的ABVP列表时，在ABVP候选者选择中包含更多(空间)PU位置时，改变ABVP候选者选择过程中的候选者数目以及选择次序。
图11是根据本发明的实施例的网络设备1100的示意图。设备1100适用于实施所公开的实施例，如下文所描述。设备1100包括：用于接收数据的入端口1110和接收器单元(Rx)1120；用于处理数据的处理器、逻辑单元或中央处理单元(central processing unit，CPU)1130；用于发送数据的发送器单元(Tx)1140和出端口1150；以及用于存储数据的存储器1160。设备1100还可以包括光电(optical-to-electrical，OE)组件和电光(electrical-to-optical，EO) 组件，所述组件耦合到入端口1110、接收器单元1120、发送器单元1140以及出端口1150以用于光或电信号的离开或进入。
处理器1130可以通过硬件和软件实施。处理器1130可以实施为一个或多个CPU芯片、核心(例如，作为多核处理器)、现场可编程门阵列(field-programmable gate array，FPGA)、专用集成电路(application specific integrated circuit，ASIC)和数字信号处理器(digital signal processor，DSP)。处理器1130与入端口1110、接收器单元1120、发送器单元1140、出端口 1150以及存储器1160通信。处理器1130包括模块1170。模块1170实施上文所描述的所公开实施例。因此，包含模块1170对设备1100的功能性有显著改进，且使设备1100转变到不同状态。或者，模块1170被实施为存储于存储器1160中且由处理器1130执行的指令。
存储器1160包括一个或多个磁盘、磁带机和固态驱动器，且可以用作溢流数据存储设备以在选择程序以供执行时存储此类程序且存储在程序执行期间读取的指令和数据。存储器 1160可以是易失性的和非易失性的，且可以是只读存储器(read-only memory，ROM)、随机存取存储器(random-access memory，RAM)、三重内容寻址存储器(ternarycontent-addressable memory，TCAM)以及静态随机存取存储器(static random-accessmemory，SRAM)。
解码方法包含：用于从编码器接收码流的方式；用于解析从所述码流产生的第一标志的方式，其中所述第一标志对应于块中的最后一串索引值；用于解析从所述码流产生的第二标志的方式，其中所述第二标志对应于除了块中的最后一串索引值之外的块中的一串值，其中用于解析所述第一标志的上下文模型与用于解析所述第二标志的所述上下文模型相同；以及用于使用所述第一标志和所述第二标志生成视频帧的方式。
解码装置包含：用于从编码器接收码流的构件，所述码流含有索引图；用于对所述索引图进行解码的构件，其中所述索引图包含指示所述索引图内的分区的总数目的分区深度以及指示用于所述索引图内的每个子块的多个索引的单一索引标志；以及用于发送使用分区深度和单一索引标志构造的视频帧的构件。
解码装置包含：用于从编码器接收码流的构件，所述码流含有用于第一类型的预测单元的向量预测候选者列表，其中所述向量预测候选者列表内的向量候选者具有第一类型，即使相邻预测单元具有第二类型；用于从所述向量预测候选者列表选择所述第一类型的所述向量候选者中的一个的构件；以及用于发送使用选自所述向量预测候选者列表中的所述向量候选者中的一个构造的视频帧的构件。
除非在本发明内另外特别声明和/或要求，否则术语网络“元件”、“节点”、“组件”、“模块”和/或类似术语可以可互换地用来一般地描述网络设备，并且不具有特定或特殊含义。
此外，在不脱离本发明的范围的情况下，各种实施例中描述和说明为离散或单独的技术、系统、子系统和方法可以与其它系统、模块、技术或方法进行组合或合并。展示或论述为彼此耦合或直接耦合或通信的其它项也可以采用电方式、机械方式或其它方式通过某一接口、设备或中间组件间接地耦合或通信。在不脱离此处公开的精神和范围的情况下，其它改变、替换、更改实例对本领域技术人员而言是显而易见的。

Claims (19)

1.一种对视频帧进行解码的方法，其特征在于，包括：
通过解码器从编码器接收码流；
使用所述解码器从所述码流中解析第一标志，其中所述第一标志对应于块中的最后一串索引值；
使用所述解码器从所述码流中解析第二标志，其中所述第二标志对应于除了所述块中的最后一串索引值之外的所述块中的一串值，其中用于解析所述第一标志的上下文模型与用于解析所述第二标志的所述上下文模型相同；以及
通过所述解码器使用所述第一标志和所述第二标志生成所述视频帧。
2.根据权利要求1所述的方法，其特征在于，所述第一标志包括last_palette_run_type_flag。
3.根据权利要求1所述的方法，其特征在于，所述第二标志包括palette_run_type_flag。
4.根据权利要求1所述的方法，其特征在于，所述上下文模型包括上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)上下文模型。
5.根据权利要求1所述的方法，其特征在于，所述第二标志包括palette_run_type_flag并且所述第一标志包括last_palette_run_type_flag，其中所述上下文模型包括上下文自适应二进制算术编码(context adaptive binary arithmetic coding，CABAC)上下文模型。
6.一种解码装置，其特征在于，包括：
接收器，用于从编码器接收码流，所述码流含有索引图；
处理器，可操作地耦合到所述接收器且用于对所述索引图进行解码，其中所述索引图包含指示所述索引图内的分区的总数目的分区深度以及指示所述索引图内的每个子块的多个索引的单一索引标志；以及
发送器，可操作地耦合到所述处理器且用于发送使用所述分区深度和所述单一索引标志构造的视频帧。
7.根据权利要求6所述的解码装置，其特征在于，所述索引图包括正方形索引图并且所述分区包括正方形子块的四叉树结构。
8.根据权利要求6所述的解码装置，其特征在于，所述索引图包括正方形索引图并且所述分区包括矩形分区。
9.根据权利要求6所述的解码装置，其特征在于，当所述单一索引标志包含在码流中时，所述分区深度不等于零。
10.根据权利要求6所述的解码装置，其特征在于，在所有所述子块之中共享一个单一颜色表。
11.根据权利要求6所述的解码装置，其特征在于，用于至少一个所述子块的扫描方向不同于另一个所述子块的所述扫描方向。
12.一种解码装置，其特征在于，包括：
接收器，用于从编码器接收码流，所述码流含有用于第一类型的预测单元的向量预测候选者列表，其中所述向量预测候选者列表内的向量候选者具有第一类型，即使相邻预测单元具有第二类型；
处理器，可操作地耦合到所述接收器并且用于从所述向量预测候选者列表中选择所述第一类型的所述向量候选者中的一个；以及
发送器，可操作地耦合到所述处理器并且用于发送使用选中的所述向量预测候选者列表的所述向量候选者中的一个构造的视频帧。
13.根据权利要求12所述的解码装置，其特征在于，所述第一类型是帧内块复制(IntraBlock Copy，IBC)并且所述第二类型是帧间编码。
14.根据权利要求12所述的解码装置，其特征在于，所述第一类型是帧间编码并且所述第二类型是帧内块复制(Intra Block Copy，IBC)。
15.根据权利要求12所述的解码装置，其特征在于，所述向量预测候选者列表包含替换所述第二类型的至少一个向量候选者的所述第一类型的至少一个向量候选者。
16.根据权利要求12所述的解码装置，其特征在于，所述向量预测候选者列表包括高级运动向量预测(Advanced Motion Vector Prediction，AMVP)列表。
17.根据权利要求12所述的解码装置，其特征在于，所述向量预测候选者列表包括高级块向量预测(Advanced Block Vector Prediction，ABVP)列表。
18.根据权利要求12所述的解码装置，其特征在于，所述向量预测列表中的所述第一类型的所述向量候选者的次序响应于所述第二类型的所述向量候选者中的至少一个的消除而改变。
19.根据权利要求12所述的解码装置，其特征在于，当已消除所述第二类型的所述向量候选者中的至少一个时，所述向量预测列表中的所述第一类型的所述向量候选者的总数目已改变。
CN201680021636.1A 2015-06-16 2016-06-15 用于高效视频编码(hevc)屏幕图像编码(scc)扩展的高级编码技术 Active CN107534711B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201562180446P 2015-06-16 2015-06-16
US62/180,446 2015-06-16
US15/178,316 2016-06-09
US15/178,316 US10148977B2 (en) 2015-06-16 2016-06-09 Advanced coding techniques for high efficiency video coding (HEVC) screen content coding (SCC) extensions
PCT/CN2016/085857 WO2016202259A1 (en) 2015-06-16 2016-06-15 Advanced coding techniques for high efficiency video coding (hevc) screen content coding (scc) extensions

Publications (2)

Publication Number Publication Date
CN107534711A true CN107534711A (zh) 2018-01-02
CN107534711B CN107534711B (zh) 2019-04-19

Family

ID=57546624

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680021636.1A Active CN107534711B (zh) 2015-06-16 2016-06-15 用于高效视频编码(hevc)屏幕图像编码(scc)扩展的高级编码技术

Country Status (5)

Country Link
US (1) US10148977B2 (zh)
EP (1) EP3286908A4 (zh)
KR (1) KR20180004249A (zh)
CN (1) CN107534711B (zh)
WO (1) WO2016202259A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020052534A1 (zh) * 2018-09-10 2020-03-19 华为技术有限公司 视频解码方法及视频解码器
CN112055208A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 视频编码方法、设备及存储装置
WO2021023262A1 (en) * 2019-08-06 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
CN112385228A (zh) * 2018-08-03 2021-02-19 联发科技股份有限公司 用于视频编解码的增强型帧内块复制模式的方法和装置
CN113038131A (zh) * 2021-03-15 2021-06-25 北京奇艺世纪科技有限公司 视频编码方法、装置、计算机设备和存储介质
CN113170122A (zh) * 2018-12-01 2021-07-23 北京字节跳动网络技术有限公司 帧内预测的参数推导
CN113330740A (zh) * 2019-03-01 2021-08-31 阿里巴巴集团控股有限公司 用于视频压缩系统的调色板模式中的调色板大小约束
CN113366850A (zh) * 2019-01-14 2021-09-07 华为技术有限公司 视频编码器、视频解码器及相应方法
CN114762351A (zh) * 2019-11-05 2022-07-15 Lg 电子株式会社 图像/视频编译方法和装置
US11575893B2 (en) 2019-09-21 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Size restriction based for chroma intra mode
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
US11601652B2 (en) 2019-09-02 2023-03-07 Beijing Bytedance Network Technology Co., Ltd. Coding mode determination based on color format
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230070062A (ko) * 2016-10-04 2023-05-19 주식회사 비원영상기술연구소 영상 데이터 부호화/복호화 방법 및 장치
WO2019234598A1 (en) * 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
GB2589223B (en) 2018-06-21 2023-01-25 Beijing Bytedance Network Tech Co Ltd Component-dependent sub-block dividing
WO2019244117A1 (en) 2018-06-21 2019-12-26 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US10887594B2 (en) * 2018-07-05 2021-01-05 Mediatek Inc. Entropy coding of coding units in image and video data
CN110944196B (zh) 2018-09-24 2023-05-30 北京字节跳动网络技术有限公司 简化的基于历史的运动矢量预测
CN112970262B (zh) 2018-11-10 2024-02-20 北京字节跳动网络技术有限公司 三角预测模式中的取整
US11595662B2 (en) 2019-02-06 2023-02-28 Tencent America LLC Method and apparatus for neighboring block availability in video coding
WO2020171658A1 (ko) * 2019-02-21 2020-08-27 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
CN113906751A (zh) * 2019-05-31 2022-01-07 北京达佳互联信息技术有限公司 使用调色板模式的基于分段的视频编解码的方法和装置
CN113950838A (zh) * 2019-06-06 2022-01-18 北京字节跳动网络技术有限公司 基于子块的帧内块复制
CN117354507A (zh) 2019-06-06 2024-01-05 北京字节跳动网络技术有限公司 视频编解码的运动候选列表构建
CN113382251B (zh) * 2019-06-21 2022-04-08 杭州海康威视数字技术股份有限公司 一种编解码方法、装置、设备及存储介质
CN114342408A (zh) * 2019-08-26 2022-04-12 北京字节跳动网络技术有限公司 视频编码中帧内编码模式的扩展
WO2021133529A1 (en) * 2019-12-26 2021-07-01 Alibaba Group Holding Limited Methods for coding video data in palette mode
US11595694B2 (en) * 2020-04-01 2023-02-28 Tencent America LLC Method and apparatus for video coding
US20220180567A1 (en) * 2020-12-04 2022-06-09 Tencent America LLC Method and apparatus for point cloud coding
US11778217B2 (en) * 2021-02-22 2023-10-03 Tencent America LLC High level syntax control for screen content coding
US20230334713A1 (en) * 2022-04-15 2023-10-19 Tencent America LLC On coding of boundary uv2xyz index for mesh compression
US20230334714A1 (en) * 2022-04-15 2023-10-19 Tencent America LLC Coding of boundary uv2xyz index for mesh compression

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141098A (zh) * 2010-09-30 2013-06-05 夏普株式会社 视频编码和解码中上下文初始化的方法和系统
CN103765886A (zh) * 2011-08-29 2014-04-30 苗太平洋控股有限公司 以amvp模式产生预测区块的方法
CN104160704A (zh) * 2012-02-08 2014-11-19 高通股份有限公司 B切片中的预测单元限于单向帧间预测
CN104170380A (zh) * 2012-03-14 2014-11-26 高通股份有限公司 视频译码中的视差矢量预测
WO2014205339A2 (en) * 2013-06-21 2014-12-24 Qualcomm Incorporated Intra prediction from a predictive block
US20150030066A1 (en) * 2013-07-23 2015-01-29 Futurewei Technologies, Inc. Screen content coding systems and methods
CN104662909A (zh) * 2012-09-13 2015-05-27 高通股份有限公司 用于3d视频的视图间运动预测

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8995523B2 (en) 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
CN102523367B (zh) 2011-12-29 2016-06-15 全时云商务服务股份有限公司 基于多调色板的实时图像压缩和还原方法
CN104301737B (zh) 2013-07-15 2017-11-17 华为技术有限公司 目标图像块的解码方法和编码方法以及解码器和编码器
WO2015054816A1 (en) 2013-10-14 2015-04-23 Microsoft Technology Licensing, Llc Encoder-side options for base color index map mode for video and image coding
US10291827B2 (en) 2013-11-22 2019-05-14 Futurewei Technologies, Inc. Advanced screen content coding solution
US20150381994A1 (en) 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US9942551B2 (en) * 2015-01-30 2018-04-10 Qualcomm Incorporated Palette index grouping for video coding

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141098A (zh) * 2010-09-30 2013-06-05 夏普株式会社 视频编码和解码中上下文初始化的方法和系统
CN103765886A (zh) * 2011-08-29 2014-04-30 苗太平洋控股有限公司 以amvp模式产生预测区块的方法
CN104160704A (zh) * 2012-02-08 2014-11-19 高通股份有限公司 B切片中的预测单元限于单向帧间预测
CN104170380A (zh) * 2012-03-14 2014-11-26 高通股份有限公司 视频译码中的视差矢量预测
CN104662909A (zh) * 2012-09-13 2015-05-27 高通股份有限公司 用于3d视频的视图间运动预测
WO2014205339A2 (en) * 2013-06-21 2014-12-24 Qualcomm Incorporated Intra prediction from a predictive block
US20150030066A1 (en) * 2013-07-23 2015-01-29 Futurewei Technologies, Inc. Screen content coding systems and methods

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JOSHI，RAJAN ET AL: "《high efficiency video coding(HEVC) screen content coding:draft 3》", 《OINT COLLABORATIVE TEAM ON VIDEO CODING(JCT-VC) OF ITU-T SG 16 WP 3 AND ISO》 *
KIM S H ET AL: "《Non-SCCE3：high throughput palette coding》", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING OF ISO》 *

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112385228B (zh) * 2018-08-03 2022-07-01 联发科技股份有限公司 用于视频编解码的增强型帧内块复制模式的方法和装置
CN112385228A (zh) * 2018-08-03 2021-02-19 联发科技股份有限公司 用于视频编解码的增强型帧内块复制模式的方法和装置
US11706417B2 (en) 2018-09-10 2023-07-18 Huawei Technologies Co., Ltd. Video decoding method and video decoder
WO2020052534A1 (zh) * 2018-09-10 2020-03-19 华为技术有限公司 视频解码方法及视频解码器
US11930185B2 (en) 2018-11-06 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Multi-parameters based intra prediction
US11902507B2 (en) 2018-12-01 2024-02-13 Beijing Bytedance Network Technology Co., Ltd Parameter derivation for intra prediction
CN113170122A (zh) * 2018-12-01 2021-07-23 北京字节跳动网络技术有限公司 帧内预测的参数推导
US11595687B2 (en) 2018-12-07 2023-02-28 Beijing Bytedance Network Technology Co., Ltd. Context-based intra prediction
CN113366850B (zh) * 2019-01-14 2022-09-23 华为技术有限公司 视频编码器、视频解码器及相应方法
CN113366850A (zh) * 2019-01-14 2021-09-07 华为技术有限公司 视频编码器、视频解码器及相应方法
US11902506B2 (en) 2019-01-14 2024-02-13 Huawei Technologies Co., Ltd. Video encoder, video decoder, and corresponding methods
US11729405B2 (en) 2019-02-24 2023-08-15 Beijing Bytedance Network Technology Co., Ltd. Parameter derivation for intra prediction
CN113330740A (zh) * 2019-03-01 2021-08-31 阿里巴巴集团控股有限公司 用于视频压缩系统的调色板模式中的调色板大小约束
US11533483B2 (en) 2019-08-06 2022-12-20 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US11496736B2 (en) 2019-08-06 2022-11-08 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
WO2021023262A1 (en) * 2019-08-06 2021-02-11 Beijing Bytedance Network Technology Co., Ltd. Using screen content coding tool for video encoding and decoding
US11601652B2 (en) 2019-09-02 2023-03-07 Beijing Bytedance Network Technology Co., Ltd. Coding mode determination based on color format
US11949880B2 (en) 2019-09-02 2024-04-02 Beijing Bytedance Network Technology Co., Ltd. Video region partition based on color format
US11575893B2 (en) 2019-09-21 2023-02-07 Beijing Bytedance Network Technology Co., Ltd. Size restriction based for chroma intra mode
CN114762351A (zh) * 2019-11-05 2022-07-15 Lg 电子株式会社 图像/视频编译方法和装置
CN112055208A (zh) * 2020-08-22 2020-12-08 浙江大华技术股份有限公司 视频编码方法、设备及存储装置
CN113038131A (zh) * 2021-03-15 2021-06-25 北京奇艺世纪科技有限公司 视频编码方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
US10148977B2 (en) 2018-12-04
CN107534711B (zh) 2019-04-19
US20160373756A1 (en) 2016-12-22
EP3286908A1 (en) 2018-02-28
KR20180004249A (ko) 2018-01-10
WO2016202259A1 (en) 2016-12-22
EP3286908A4 (en) 2018-09-05

Similar Documents

Publication Publication Date Title
CN107534711B (zh) 用于高效视频编码(hevc)屏幕图像编码(scc)扩展的高级编码技术
CN106797468B (zh) 高效视频编码(hevc)屏幕内容编码(scc)中改进的调色板模式
CN104782125B (zh) 对编码单位的变换单位编码和解码的方法、设备和系统
CN105532000B (zh) 用于对视频数据进行编码和解码的方法、设备和系统
CN105308959B (zh) 用于视频译码的自适应颜色变换
CN106797465B (zh) 一种解码视频数据的方法及装置
CN105874795B (zh) 在波前并行处理被启用时对图片内预测模式的规则
CN108464002A (zh) 视频译码中具有非正方形预测单元的线性模型预测
CN104205829B (zh) 合并信令及环路滤波器开/关信令
CN110024401A (zh) 用于时间扩缩性支持的修改适应性环路滤波器时间预测
CN109479141A (zh) 图像编码/解码方法和用于所述方法的记录介质
CN107637080A (zh) 对最后的调色板索引进行分组以及使用调色板大小和游程值的索引译码
CN108464001A (zh) 用于视频译码的多类型树框架
CN112005551B (zh) 一种视频图像预测方法及装置
KR20180010260A (ko) 화상 및 비디오 데이터의 팔레트 코딩 방법
CN107710765A (zh) 分组用于视频译码的调色盘旁通槽
CN107592972A (zh) 用于视频数据中特定图片内的帧间译码的搜索区域确定
CN106797484A (zh) 用于基于调色板的视频译码的调色板索引二进制化
TW201545543A (zh) 基於調色板之視訊寫碼
CN104584549A (zh) 用于视频编码的方法和装置
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN106537916A (zh) 调色盘模式编码及解码设计
CN106105228A (zh) 确定在视频译码中的调色板译码块的调色板大小、调色板条目及过滤
CN105959014A (zh) 视频编码和解码中上下文初始化的方法和系统
CN106664429A (zh) 高级调色板预测和发信号通知

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant