CN107409227A - 视频编码中使用帧间预测的调色板编码方法 - Google Patents

视频编码中使用帧间预测的调色板编码方法 Download PDF

Info

Publication number
CN107409227A
CN107409227A CN201680010328.9A CN201680010328A CN107409227A CN 107409227 A CN107409227 A CN 107409227A CN 201680010328 A CN201680010328 A CN 201680010328A CN 107409227 A CN107409227 A CN 107409227A
Authority
CN
China
Prior art keywords
block
current
index
pattern
copy
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680010328.9A
Other languages
English (en)
Other versions
CN107409227B (zh
Inventor
朱维佳
张凯
张贤国
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Singapore Pte Ltd
Original Assignee
MediaTek Singapore Pte Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from PCT/CN2015/074728 external-priority patent/WO2016149867A1/en
Priority claimed from PCT/CN2015/081374 external-priority patent/WO2016197392A1/en
Application filed by MediaTek Singapore Pte Ltd filed Critical MediaTek Singapore Pte Ltd
Publication of CN107409227A publication Critical patent/CN107409227A/zh
Application granted granted Critical
Publication of CN107409227B publication Critical patent/CN107409227B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明提供视频编码方法及装置，使用包括复制参考模式的调色板编码。当选择复制参考模式时，当前块的一个或多个连续当前样本或索引使用在参考块的对应位置上的一个或多个连续参考样本或索引进行预测。可以在当前块的比特流中发信告知用于定位参考块的运动向量信息。该运动向量信息可以是有关于对应于帧间预测编码单元的参考块的运动向量，或者是有关于用于块内复制编码块的块向量。在当前块的比特流中未发信告知参考块的位置信息的情况下，参考块的位置可以间接地确定。

Description

视频编码中使用帧间预测的调色板编码方法
相关申请的交叉引用
本申请要求主张于2015年3月20日提出的编号为PCT/CN2015/074728的PCT专利申请、以及于2015年6月20日提出的编号为PCT/CN2015/081374的PCT专利申请的优先权。这些PCT专利申请的全部在此加以引用。
技术领域
本发明是有关于视频数据的调色板编码(palette coding)，特别是，本发明是有关于使用非本地预测子(non-local predictor)的调色板编码。
背景技术
高效视频编码(High Efficiency Video Coding,HEVC)是今年来开发的一种新的编码标准。在HEVC系统中，H.264/AVC的固定尺寸的宏块(macroblock)被替代为灵活的块，称为编码单元(Coding Unit,CU)。CU中的多个像素共享相同的编码参数以改善编码效率。CU可以从最大的CU(Largest CU,LCU)开始，LCU在HEVC中也称为编码树单元(Coded TreeUnit,CTU)。除了编码单元的概念以外，HEVC中也引入预测单元(Prediction Unit,PU)的概念。一旦CU层次树的拆分(splitting)完成，根据预测类型与PU分割，每个叶CU进一步拆分为一个或多个PU。
随着HEVC标准的发展，HEVC的扩展的开发也已开始。HEVC的扩展包括屏幕内容编码(Screen Content Coding,SCC)。由于屏幕内容的特定特性，多种编码工具被开发并显现了在编码效率上的显著功效。在这些编码工具中，色彩索引编码(colour index coding)(又称，基于主要色彩的编码)技术代表使用来自调色板的多个索引的像素块(即，主要色彩)，并利用空间冗余(spatial redundancy)对调色板和多个索引进行编码。虽然可能存在的色彩组合的总数很庞大，但是对于典型的屏幕内容而言，在图片(picture)区域内的色彩的数量通常非常有限。在调色板模式后面的基本思路为，CU内的多个样本(samples)可以使用一小组代表性的色彩值来表示。该组代表性色彩值称为用于该块的调色板。也有可能通过发信告知(signalling)跳出符元(escape symbol)来指示不在调色板内的样本，其中在该跳出符元的后面紧随多个分量值(component values)，该多个分量值有可能已被量化。块中的每个样本可以被分配予调色板中最近的索引(nearest index)。图1为调色板编码的示例示意图，其中，当前块110中的多个像素使用来自调色板120的多个调色板索引来表示。如图1所示，顶部行(top row)中的前三个像素映射于调色板索引“2”、“0”和“3”，其中“2”、“0”和“3”对应于各个调色板索引。使用交叉线填充的像素“X”指示无法在调色板中找到对应色彩的像素。该像素使用与该像素值在一起的跳出符元进行编码。由于每个像素可以由来自小型(small-size)调色板的一个调色板索引来表示，因此，色彩索引编码对于屏幕内容材料而言变得非常有效。
块的多个调色板索引(即，索引地图)使用两种主要的运行模式(run modes)进行编码：“INDEX(索引)”和“COPY_ABOVE(复制上方)”。发信告知跳出符元视为“INDEX”模式。分配一索引，该索引等于最大调色板尺寸。除顶部行之外或者当之前的模式为复制上方(COPY_ABOVE)时，使用标志(flag)发信告知该模式。在复制上方(COPY_ABOVE)模式下，当前索引和N1个后续的调色板索引从上方行(above row)中的对应索引处复制而来，其中，N1为整数。由于上方行的多个像素已经被编码，因此，无需为复制上方(COPY_ABOVE)模式发信告知任何索引值。在索引(INDEX)模式下，N2个后续的索引与在当前位置上的索引具有相同的索引值，其中，N2为整数。在索引(INDEX)模式下明确(explicitly)发信告知调色板索引。对于索引(INDEX)模式和复制上方(COPY_ABOVE)模式，发信告知一运行值(run value)以指明使用相同模式进行编码的后续样本的数量。当跳出符元是索引(INDEX)模式或复制上方(COPY_ABOVE)模式下运行的一部分时，发信告知每个跳出符元的跳出分量值。
图2为调色板编码操作的示例的示意图。当前块210的多个样本只包括三种不同的像素值，如空白背景和两种不同的填充图型所示。这些样本值映射至使用调色板220的三个调色板索引225。调色板索引“2”对应于跳出符元。基于该调色板产生索引地图230，并对索引地图应用调色板编码。如上所提到的，用语“索引地图”指块中的多个像素的索引。当第二行进行编码时，索引值等于“1”的三个连续索引240可以使用索引(INDEX)模式进行编码，运行长度等于3。第三行可以在第二行之后进行编码，以及五个连续索引250可以使用复制上方(COPY_ABOVE)模式进行编码，运行长度等于5。
在文字上，索引(INDEX)模式也称为复制索引模式。复制上方(COPY_ABOBE)模式也称为复制上方模式。
调色板编码中的复制上方(COPY_ABOVE)模式仅指上方行中的多个样本的调色板索引。如图3所示，屏幕图片中有可能存在非本地的重复内容(non-local duplicatedcontent)，这些内容有可能对于调色板编码有用。在图3中，对于屏幕内容图片310而言，对于区域320中的屏幕内容，在区域330中存在非本地的重复内容。然而，根据现有的调色板编码的复制上方(COPY_ABOVE)模式无法处理非本地的重复索引。需要开发一些技术，以使用非本地的重复内容进行调色板编码。
发明内容
本发明公开了使用多个调色板模式的视频编码装置及方法，该多个调色板模式包括复制参考(copy inter)模式。当选择复制参考模式时，使用在参考块的对应位置上的一个或多个连续参考样本或索引来预测当前块的一个或多个连续当前样本或索引。运动向量(Motion Vector,MV)信息可以在当前块的比特流中发信告知，其中，运动向量信息用于定位参考块。运动向量信息可以有关于参考块的运动向量，该参考块对应于帧间预测(inter-prediction)2N×2N编码单元。运动向量信息也可以有关于块向量(Block Vector,BV)，且运动向量信息在比特流中发信告知的方式与块内复制(Intra Block Copy,IntraBC)模式下发信告知块向量的方式相同。参考块的位置可以在当前块的比特流中未发信告知参考块的位置信息的情况下间接地(implicitly)确定。
参考块可以位于当前图片或者当前深度图像(depth image)中。参考块也可以位于不同于当前图片的图片中或者不同于当前深度图像的深度图像中。参考块可以来自当前块的重建图片/重建深度图像，或者当前块的预测图片/预测深度图像中。
指明是否启用(enable)复制参考模式的控制标志可以在比特流中发信告知，以及若该控制标志指示启用复制参考模式，则多个编码模式的集合包括该复制参考模式。控制标志为每个块，以及该块对应于CU、PU或变换单元(Transform Unit,TU)。此外，该控制标志可以使用上下文自适应的二进制算术编码(Context Adaptive Binary ArithmeticCoding,CABAC)进行编码。是否启用复制参考模式也可以在解码器处间接地来确定。关于是否启用复制参考模式的决定可以取决于当前块的尺寸、形状、分割类型、编码模式、运动向量信息或块向量信息，以及当前块对应于当前CU、当前PU或当前TU。
为复制参考模式所选择的参考块可以包含多个参考样本，以及在该参考块用于预测当前块的当前索引之前，将该多个参考样本转换为多个参考索引。通过从参考调色板中选择最近的索引，参考块的每个参考样本可以被转换为一个参考索引。在将该多个参考样本被转换为多个参考索引之前，参考块可以被水平翻转、垂直翻转、或水平与垂直翻转。在将该多个参考样本转换为多个参考索引之前，参考块也可以进行顺时针旋转或逆时针旋转、转置(transposed)、或使用任意函数进行变换(transform)。
参考块可以从多个参考块候选中选择，以及参考块的选择可以由编码器明确发信告知，或者由解码器间接产生。
当前块的当前调色板可以从参考块的参考调色板预测或复制而来。
附图说明
图1为调色板编码的示例示意图，其中，当前块中的多个像素使用来自调色板的多个调色板索引来表示。
图2为调色板编码操作的示例示意图，其中，块中的多个样本使用索引(INDEX)模式或复制上方(COPY_ABOVE)模式进行编码。
图3为屏幕图片的示例示意图，其中，屏幕图片中的重复内容出现在非本地区域，这些内容有可能对于调色板编码有用。
图4为用于预测当前块的多个样本的包括非本地预测模式(NLP模式)的多个复制模式的示例示意图。
图5为用于预测当前块的索引地图的多个索引的包括非本地预测模式(NLP模式)的多个复制模式的示例示意图。
图6为根据本发明一实施例的使用参考块的多个样本来产生非本地索引地图的多个索引、以及使用所产生的非本地索引地图来预测当前索引地图的示例示意图。
图7为根据本发明一实施例在参考块用于产生非本地索引地图之前水平翻转参考块的示例示意图。
图8为根据本发明一实施例在参考块用于产生非本地索引地图之前垂直翻转参考块的示例示意图。
图9为根据本发明一实施例在参考块用于产生非本地索引地图之前垂直与水平翻转参考块的示例示意图。
图10为根据本发明一实施例在参考块用于产生非本地索引地图之前顺时针旋转参考块的示例示意图。
图11为根据本发明一实施例在参考块用于产生非本地索引地图之前逆时针旋转参考块的示例示意图。
图12为根据本发明一实施例在参考块用于产生非本地索引地图之前转置参考块的示例示意图。
图13为根据本发明一实施例在参考块用于产生非本地索引地图之前在多个阶段变换中变换参考块的示例示意图。
图14为根据本发明一实施例从多个候选中产生参考块的示例示意图。
图15为根据本发明一实施例从多个非本地索引地图中选择非本地索引地图的示例示意图。
图16为根据本发明一实施例的使用包括复制参考模式的多个调色板编码模式的视频编码器的流程图。
图17为根据本发明一实施例的使用包括复制参考模式的多个调色板编码模式的视频解码器的流程图。
具体实施方式
以下说明为执行本发明的较佳实现模式，该说明的目的在于说明本发明的一般原则，并非用以作为限制。本发明的范围，当根据后附的权利要求来确定。
为了改善调色板编码的编码效率，本发明公开一种使用非本地预测(Non-LocalPrediction,NLP)的方法。根据NLP方法，非本地预测可以用于预测当前块中的多个样本。传统的调色板编码只使用了一个或多个左侧像素(left pixels)或上方行中的一个或多个像素来探索本地相关(local correlation)，相较于该传统的调色板编码，本发明进一步使用非本地预测来探索非本地相关(non-local correlation)。因此，本发明可以在传统的调色板编码之上改善编码效率。
在一实施例中，首先定位一个非本地图像块，然后，可以通过直接复制非本地图像块中的对应样本，来重建当前块中的一个或多个样本。
在另一实施例中，非本地索引地图可以用于预测当前块的索引地图的一个或多个索引。
在又一实施例中，当前块中每个样本可以复制其左侧相邻、其上方相邻或其非本地预测的样本，分别对应于复制左侧模式(即，INDEX模式)、复制上方模式(即，COPY_ABOVE模式)及非本地预测模式。在本说明书中，复制左侧模式也称为复制索引模式，以及非本地预测模式也称为复制参考模式。编码器可以决定每个样本使用哪个复制模式。通过使用这些复制模式，当前块可以表示为2元组(2-tuple)(m,l)码，其中，m代表每个起始样本的复制模式，l为长度，用于指示从与模式m有关的各个参考样本处复制而来的连续样本的数量。图4为用于当前块的多个预测样本的包括非本地预测模式(即，NLP模式)的多个复制模式的示例示意图。在图4中，区域410中的多个样本使用非本地区域中的各个参考样本415进行预测，其中，9个连续样本可以从参考块中复制而来。对于NLP模式，可以发信告知NLP模式与运行长度等于9。区域420中的多个样本包括具有相同样本值(即，“0”)的3个连续样本，且这3个样本可以使用复制左侧模式(即，复制索引模式)进行编码，使用运行长度等于3。此外，区域430中的多个样本与上方行中的多个样本相同。因此，区域430中的多个样本可以在复制上方模式下进行编码，使用运行长度等于4。
对于复制左侧模式，当前块I可以根据I(x+i)＝I(x-1+i)进行重建，其中i为从0到l，且l为当前被解码的2元组的第二元素(element)。对于复制上方模式，当前块I可以根据I(x+i)＝I(x-w+i)进行重建，其中，w为当前块的宽度。对于非本地预测模式，当前块I可以根据I(x+i)＝R(x+i)进行重建，其中，R代表参考块中的多个样本。
在又一实施例中，当前块的索引地图中的每个索引可以复制其左侧相邻的索引、其上方相邻的索引或其非本地预测的索引，分别对应于复制左侧模式、复制上方模式或非本地预测模式。编码器可以决定每个索引使用哪个复制模式。通过使用这些复制模式，索引地图可以表示为与前面实施例相似的2元组(m,l)码，其中，这些复制模式应用于当前块的多个样本。图5为用于当前块的索引地图的多个预测索引的包括非本地预测模式(NLP模式)的多个复制模式的示例示意图。在图5中，区域510中的索引地图的多个索引使用非本地区域中各个参考索引515进行预测，其中，9个连续索引可以从参考块中复制而来。对于NLP模式，可以发信告知NLP模式与运行长度等于9。区域520中的索引地图的多个索引包括具有相同索引值(即“1”)的3个连续索引，且这3个索引可以使用复制左侧模式(即，复制索引模式)进行编码，使用运行长度等于3。此外，区域530中的索引地图的多个索引在复制上方模式下进行编码，使用运行长度等于4。当前块的索引地图的多个索引可以根据与前面实施例中预测当前块的多个样本相同的重建操作进行重建。
在又一实施例中，首先确定当前块的非本地索引地图，然后，在当前索引地图中的多个索引可以通过直接复制非本地索引地图中的对应索引来产生。在复制之后，当前块中的样本可以使用调色板中的对应索引所指示的色彩来重建。较佳的复制操作以参考块的宽度和高度分别等于W和H进行说明。若R(x,y)为非本地索引地图中的索引，x为从0到W-1，且y为从0到H-1，在复制操作之后，当前块中的样本S(x,y)根据S(x,y)＝P[R(x,y)]从索引重建而来，其中R(x,y)为从0到N-1，P为当前块的调色板，且N为调色板中的色彩的数量(即，调色板尺寸)。
在又一实施例中，当前块中的所有样本使用包括上述非本地预测模式的复制的方法进行重建。在另一实施例中，当前块中的一个或一些样本可以使用包括上述非本地预测模式的复制方法进行重建。然而，当前块中的至少一个其他样本是使用其他方法进行重建。
在又一实施例中，非本地索引地图是从包括多个参考样本的参考块所产生的。首先，获取参考块610，然后，使用色彩量化算法从图6所示的参考块的多个参考样本处产生非本地索引地图620的多个索引。然后，所产生的非本地索引地图用于预测当前索引地图630。色彩量化是用于将样本转换为索引的操作，其中，根据一些准则，每个样本被分配予对应的索引。举例而言，基于任意距离测量，对应的索引为当前块的最近的调色板条目(entry)的索引。
在又另一实施例中，当前块的调色板可以使用参考块的调色板进行预测。在又另一实施例中，当前块的调色板可以被复制作为参考块的调色板。
非本地预测模式的参考块可以位于当前块的同一图片中。然而，非本地预测模式的参考块也可以位于与当前块的图片不同的图片中。换言之，非本地预测模式可以应用于图片内预测，也可以应用于图片间预测。
参考块可以来自当前图片的重建图像或预测图像。如视频编码领域所知，重建的图像数据有可能需要再改重建的图像数据可以被用作预测图像数据之前进行处理。举例而言，若与参考块有关的运动向量具有分数像素解析度(fractional pixel resolution)，则重建的图像数据需要被内插(interpolated)以产生预测图像数据。
参考块的位置可以从编码器明确发信告知解码器。因此，解码器可以根据被发信告知的位置信息来定位参考块。此外，参考块的位置从编码器明确发信告知解码器的方式，可以与JCTVC-T1005(Joshi,et al.,HEVC屏幕内容编码草案文本3,视频编码联合工作组(Joint Collaborative Team on Video Coding,JCT-VC)of ITU-T SG 16WP 3与ISO/IECJTC 1/SC 29/WG 11,第20次会议:日内瓦,瑞士,2015年2月10日–18日,档案:JCTVC-T1005)所规定的在块内复制模式下的块向量的发信告知方法相同，其中，块向量的差(difference)(即，BV差值)被发信告知。然而，参考块的位置也有可能根据另一实施例由解码器间接地产生。
在又另一实施例中，如图7所示，在被用于产生非本地索引地图730之前，参考块710被水平翻转为翻转的参考块720。参考块可以位于当前块的同一图片中，或者可以位于与当前块不同的图片中。较佳的翻转操作以宽度等于W的参考块进行说明。若R(x,y)为参考块中的样本，x为从0到W-1，那么翻转的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(W–1–x,y)。
类似地，如图8所示，在被用于产生非本地索引地图830之前，参考块810可以被垂直翻转以产生翻转的参考块820。参考块可以位于与当前块相同的图片中，或者可以位于与当前块不同的图片中。较佳的翻转操作以高度等于H的参考块进行说明。若R(x,y)为参考块中的样本，y为从0到H-1，那么翻转的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(x,H–1–y)。
在又另一实施例中，如图9所示，在被用于产生非本地索引地图930之前，参考块910被垂直翻转再水平翻转，或者水平翻转再垂直翻转，以产生翻转后的参考块920。参考块可以位于与当前块相同的图片中，或者也可以位于与当前块不同的图片中。较佳的翻转操作以宽度等于W且高度等于H的参考块进行说明。若R(x,y)为参考块中的样本，x为从0到W-1，y为从0到H-1，那么翻转的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(W–1–x,H–1–y)。
在又另一实施例中，如图10所示，在被用于产生非本地索引地图1030之前，参考块1010被顺时针旋转为旋转后的参考块1020。参考块可以位于与当前块相同的图片中，或者可以位于与当前块不同的图片中。较佳的旋转操作以高度等于H的参考块进行说明。若R(x,y)为参考块中的样本，y为从0到H-1，那么旋转后的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(H–1–y,x)。
在又另一实施例中，如图11所示，在被用于产生非本地索引地图1130之前，参考块1110逆时针旋转为旋转后的参考块1120。参考块可以位于与当前块相同的图片中，或者可以位于与当前块不同的图片中。较佳的翻转操作以宽度等于W的参考块进行说明。若R(x,y)为参考块中的样本，x为从0到W-1，那么旋转后的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(y,W–1–x)。
在又另一实施例中，如图12所示，在被用于产生非本地索引地图1230之前，参考块1210被转置为转置后的参考块1220。参考块可以位于与当前块相同的图片中，或者可以位于与当前块不同的图片中。较佳的翻转操作说明如下。若R(x,y)为参考块中的样本，那么转置后的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(y,x)。
在又另一实施例中，在被用于产生非本地索引地图之前，参考块可以进行任意变换。参考块可以是与当前块相同的图片，或者也可以是与当前块不同的图片。较佳的变换操作说明如下。若R(x,y)为参考块中的样本，那么变换后的参考块中的样本R’(x,y)可以产生为R’(x,y)＝R(f(x,y),g(x,y))，其中，f和g为任意函数。函数f可以仅取决于x、仅取决于y、或取决于二者。函数g可以仅取决于x、仅取决于y、或取决于二者。函数f可以取决于当前块或参考块的尺寸、宽度、高度、形状或编码模式。函数g可以取决于当前块或参考块的尺寸、宽度、高度、形状或编码模式。函数f可以取决于当前或参考图片或片段(slice)的类型。函数g可以取决于当前或参考图片或片段的类型。函数f可以是线性或非线性函数。函数g可以是线性或非线性函数。f和g可以相同或不同。
在又另一实施例中，在参考块被用于产生非本地索引地图之前，参考块使用两种或更多种变换方法的组合进行变换，例如水平翻转、垂直翻转、顺时针旋转、逆时针旋转、转置及任意函数的变换。该变换可以采用级联方式(in acascade way)来完成，在该方式中，如图13所示，参考块在被用于预测当前块之前进行顺序变换。前一变换的输出用作后续变换的输入。
在又另一实施例中，多个块候选被组合在一起以产生参考块。图14为根据该实施例从多个候选中产生参考块的示例示意图。组合单元1420确定怎样从N个候选(1410、1412、1414和1416)中产生参考块1430。非本地索引地图1440是使用色彩量化从参考块1430中产生。多个候选可以位于与当前块相同的图片中，或者也可以位于与当前块不同的图片中。较佳的组合操作说明如下。若每个候选的宽度和高度分别为W和H，N为候选的数量，且R(k,x,y)为第k个候选的样本，其中x为0到W-1，y为从0到H-1，那么参考块中的样本R’(x,y)可以产生为R’(x,y)=f(R(1，x，y)，R(2，x，y)，...R(k，x，y))，其中，f可以为任意函数。举例而言，f可以为平均函数，以及参考块可以产生为：
上述实施例公开了使用多种转换方法将包含多个参考样本的参考块转换为非本地索引地图的多种技术，该多种转换方法例如色彩量化。此外，本发明公开了多种技术以在参考块被用于产生非本地索引地图之前对参考块进行变换。举例而言，上文公开了用以产生翻转后的参考块多种翻转技术，如水平翻转、垂直翻转、或水平与垂直翻转参考块，以在参考块被转换为非本地索引地图之前产生翻转后的参考块。这些变换技术也可以对应于旋转(顺时针或逆时针)、转置、或任意变换。在另一些实施例中，非本地索引地图可以用于预测当前索引地图。在非本地索引地图被用于预测当前索引地图之前，包括翻转、旋转及转置的多种变换技术也可以应用于非本地索引地图。用于参考块的上述多种变换技术的说明对于非本地索引地图也是可以应用的，除了色彩量化可以不应用于非本地索引地图。在此情形下，R(x,y)对应于非本地索引地图中的索引，以及R’(x,y)表示适用翻转、旋转或转置进行预先处理后的非本地索引地图中的索引。
在又另一实施例中，编码器可以决定是否适用非本地索引预测方法以及将该信息发信告知解码器。对于宏块(Macro-Block,MB)、编码树单元(CTU)编码单元(CU)、变换单元(TU)或预测单元(PU)，可以发信告知该信息。编码器可以基于率失真优化(Rate-Distortion Optimization,RDO)准则或其他准则作出该决定。
在又另一实施例中，解码器可以间接地推断(infer)块是否使用非本地索引预测方法。在此情形下，编码器没有明确发信告知信息以告知是否应用非本地索引预测方法。
在又另一实施例中，可以提供多个非本地索引地图作为多个预测候选。编码器可以决定使用哪个非本地索引地图，并将该信息发信告知解码器。图15为根据本实施例的从多个非本地索引地图中选择非本地索引地图的示例示意图。选择单元1520选择最佳的非本地索引地图1530，并使用已选择的最佳的非本地索引地图来预测当前索引地图1540。对于MB、CTUCU、TU或PU，可以发信告知该信息。编码器可以基于RDO准则或其他准则作出该决定。
在又另一实施例中，可以提供多个非本地索引地图作为多个预测候选。解码器可以间接地推断当前索引地图是否使用多个非本地索引地图中的一个。编码器不明确发信告知指示是否应用非本地索引复制的信息。
多种非本地索引预测方法也可以应用于调色板模式编码或任意其他基于索引的编码机制。
多种非本地索引预测方法可以应用于尺寸为M×N的块，其中M和N为任意正整数。M可以等于N(即，方形块)，或者M可以不等于N(即，非方形块)。在另一实施例中，M可以等于a*N，其中，a为等于或大于2的正整数。在另一实施例中，N可以等于b*M，其中，b为等于或大于2的正整数。在另一实施例中，M或N可以是1。
多种非本地索引预测方法可以应用于图像的所有分量。举例而言，非本地索引预测方法可以应用于Y/U/V分量或G/R/B分量。非本地索引预测方法有可能应用于图像的多个色彩分量中的一些。非本地索引预测方法也可以应用于3D视频/图像编码的深度分量。
非本地索引预测方法可以分别应用于一分量，以确定是否应用该非本地索引预测方法，并为每个块发信告知该信息。可替代地，所有分量可以使用相同方式进行处理，并且对于块，仅发信告知单一(single)信息。
非本地索引预测方法可以在解码器处进行间接地推断，为每个分量分别推断块是否使用非本地索引预测方法。可替代地，对应块，所有分量可以使用相同的方式进行处理。
若提供了多个非本地索引地图，则可以分别完成为每个分量选择非本地索引地图及为块发信告知该信息。可替代地，所有分量可以以相同方式进行处理，并且对于块，仅发信告知单一信息。
若提供了多个非本地索引地图，则可以分别完成通过推断为每个分量在解码器处间接选择用于块的非本地索引地图。可替代地，对于块，所有分量可以以相同方式进行处理。
在又另一实施例中，是否应用非本地索引地图可以根据当前块或当前CU/TU/PU的尺寸、形状或编码模式来决定或推断。
若提供了多个非本地索引地图，使用哪个预测索引地图可以根据当前块或当前CU/TU/PU的尺寸、形状或编码模式来决定或推断。
在又另一实施例中，只允许具有调色板模式的CU使用非本地索引预测方法。在又另一实施例中，只允许分割尺寸为2N×2N的CU使用非本地索引预测方法。
在又另一实施例中，对于CU、TU或PU，指示当前索引地图是否使用非本地索引预测的标志可以使用CABAC进行编码。多个相邻块中的多个标志可以用于确定用于对当前块的标志进行编码的上下文(context)模型。该标志若未发信告知则为0。可替代地，该标志若未发信告知则为1。
在又另一实施例中，若提供多个非本地索引地图，则对于CU、TU或PU，多个标志使用CABAC进行编码，以指示哪个非本地索引地图用于当前索引地图。多个相邻块中的多个标志用于确定用于对当前块的标志进行编码的上下文模型。该标志若未发信告知则为0。可替代地，该标志若未发信告知则为1。
上述非本地索引预测可以在以下列出的多个条件的各种组合下启用或关闭(disable)，其中，非本地索引预测仅在其被允许时使用。关于用于块的非本地索引预测的信息仅在非本地索引预测被允许时可以被发信告知。
·当前CU使用调色板模式进行编码；
·当前CU使用2N×2N分割模式进行编码；
·当前CU使用小于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前PU使用小于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前TU使用小于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前CU使用大于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前PU使用大于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前TU使用大于M×M的尺寸进行编码，M可以是诸如64、32、16、8和4的任意整数；
·当前PU尺寸为2N×2N；
·当前PU尺寸为N×N；
·当前PU尺寸为2N×N；以及
·当前PU尺寸为N×2N。
本发明的另一方面公开了进一步改善非本地索引预测(Non-Local IndexPrediction,NLIP)方法的性能的多种技术。在一个实施例中，与编码后的运行长度有关的重建索引可以通过从参考块中的多个索引处复制而获取。在另一实施例中，与编码后的运行长度有关的多个重建的样本可以通过从参考块中的多个样本处复制而获取。
每个像素可以选择复制左侧模式、复制上方模式或非本地索引预测模式。可以对多个标志进行编码以代表所选择的多个模式。解码器可以间接地推断为当前像素所选择的结果。
在又另一实施例中，用于代表所选择的结果的多个标志可以进行CABAC编码或者上下文编码。多个相邻像素的该多个标志也可以用作当前标志的上下文。
在一个实施例中，若之前的像素选择非本地索引预测方法，则不允许当前像素选择非本地索引预测。
对于上述多种复制模式，可以为每段运行编码一个或多个比特(bits)，以指示编码后的该段运行是否为当前块的最后一段运行。
由于在解析操作中一些样本不可用(unavailable)，因此，对于这些样本无法执行索引冗余移除。举例而言，若当前索引在复制索引模式下进行编码，以及左侧样本在复制参考模式下进行编码，则一直到运动补偿(motion compensation)步骤之前，左侧像素的样本值或索引无法被获取。因此，在解析阶段无法执行冗余移除。为了解决该问题，执行对一个或多个额外的修正位(refinement bit)所进行的编码，并总是对所有样本执行索引冗余移除。
在一个实施例中，若解析出的索引等于MAX_INDEX-1，则应当解析一个额外的修正位。若该修正位等于1，则重建的索引为MAX_INDEX-1。否则，重建的索引为MAX_INDEX-2。变量MAX_INDEX代表调色板中的多个条目的最大数量。
由于在解析操作中一些样本不可用，因而无法对这些样本执行索引冗余移除。为了解决该问题，根据另一实施例，本发明公开了在对所有索引进行编码之前，对所有运行类型标志进行编码。以及对NLP样本不执行索引冗余移除。
用于调色板编码的较佳的语法结构如下表所示，其中，排除了与本发明无紧密关联的语法行。
表1
在表1中，如备注(1-1)所指示，位于“if(MaxPaletteIndex>0)”之后的背景以线填充的开放的波形括号(open curly bracket)被删除。如备注(1-2)所指示，包括了根据本发明一实施例的新的语法元素copy_inter_flag。语法元素copy_inter_flag等于1指明当前编码单元使用调色板间模式(inter palette mode)进行编码。语法元素copy_inter_flag等于0指明当前编码单元不使用调色板间模式进行编码。当copy_inter_flag未出现时，可以推断为等于0。当如备注(1-3)所指示的copy_inter_flag值为1时，如备注(1-4)所指示，包括了语法元素last_copy_inter_run_type_flag。语法元素last_copy_inter_run_type_flag等于1指明最后一次运行类型为复制参考(COPY_INTER)模式。若如备注(1-5)所指示的last_copy_inter_run_type_flag为0，则如备注(1-6)所指示，包括了语法元素last_palette_run_type_flag，以指明最后运行模式为复制上方模式还是复制索引模式。
当如备注(1-8)所指示的copy_inter_flag等于1时，如备注(1-9)所指示，包括语法元素copy_inter_run_type_flag[xC][yC]，以指示当前调色板索引是否等于解码后的块向量所指示的块的索引地图内部相同位置上的调色板索引。由于如备注(1-9)所指示的非本地预测分别进行指示，因此，当如备注(1-10)所指示的copy_inter_run_type_flag[xC][yC]等于1时，备注(1-11)中的语法元素copy_inter_run_type_flag[xC][yC]未被发信告知。
在表1中，当如备注(1-12)所指示的语法元素copy_inter_flag等于1时，如备足(1-13)所指示，包括用于PU的语法结构(即，prediction_unit())。
在另一实施例中，若之前像素的运行类型为复制参考(COPY_INTER)模式，则当前像素的运行类型不允许使用复制参考(COPY_INTER)模式。与本实施例有关的较佳语法结构如下语法表所示。如表2所示，仅当语法元素copy_inter_flag值为1且之前像素未使用复制参考(COPY_INTER)模式进行编码(即，palette_run_type_flag[xcPrev][ycPrev]！＝COPY_INTER)时，包括语法copy_inter_run_type_flag。
表2
在表1中，显示了用于调色板编码的语法结构的多种改变，以结合本发明的多种实施例。然而，语法结构中的改变目的在于用作根据本发明多个实施例的示例。这些改变不应被解释为本发明的限制。这些改变也不必要被全部包括以实施本发明。
图16为根据本发明一实施例的使用包括复制参考模式的多个调色板编码模式的视频编码器的流程图。在步骤1610中，编码器接收与当前图片中的当前块有关的输入数据。在步骤1620中，检测当前块的N1个连续当前索引是否具有相同的索引值。若结果为“是”，执行步骤1630。否则(即，“否”路径)，跳过步骤1630。在步骤1630中，系统发信告知用于当前块的N1个连续当前索引的复制索引模式。在步骤1640中，检测N2个连续当前索引是否具有与当前块的上方行的对应索引相同的索引值。若结果为“是”，则执行步骤1650。否则(即，“否”路径)，跳过步骤1650。在步骤1650中，系统发信告知用于当前块的N2个连续当前索引的复制上方模式。在步骤1660中，检测N3个连续当前索引是否使用参考块的连续参考索引进行预测。若结果为“是”，则执行步骤1670。否则(即，“否”路径)，则跳过步骤1670。在步骤1670中，系统发信告知用于当前块的N3个连续当前索引的复制参考模式。
图17为根据本发明一实施例的使用包括复制参考模式的多个调色板编码模式的视频解码器的流程图。在步骤1710中，系统接收与当前图片中的当前块有关的输入比特流。在步骤1720中，从该输入比特流中解析与所选择的编码模式有关的编码信息，该编码模式是从多个编码模式的集合中选择以用于当前块的一个或多个连续当前索引。在步骤1730中，若选择复制索引模式，则将当前块的一个或多个连续当前索引解码为同一个第一索引值。在步骤1740中，若选择复制上方模式，则将当前块的一个或多个连续当前索引解码为与当前块的上方行的对应一个或多个连续当前索引相同的第二索引值。在步骤1750中，若选择复制参考模式，则将当前块的一个或多个连续当前索引解码为在参考块的对应位置上的相同的一个或多个连续参考索引。
以上所示流程图的目的在于说明用于结合本发明多个实施例的多个系统的示例，在不脱离本发明的精神前提下，本领域技术人员可以修改每个步骤、重新排列这些步骤、拆分步骤或者组合步骤来实施本发明。在本说明书中，使用了具体的语法和语义来说明实现本发明多个实施例的示例，在不脱离本发明的精神前提下，本领域技术人员可以通过将这些语法和语义替换为均等的语法和语义来实施本发明。
以上说明的呈现可以令本领域技术人员在所提供的具体应用及其需求的环境下来实施本发明。本领域技术人员可轻易了解对上述多个实施例的多种修改，此处所定义的一般原则可以应用于其他实施例。因此，本发明并非仅限于此处所说明及显示的特定实施例，而是符合此处所公开的原则与新的特征的最广范围。在以上详细说明中，为提供对本发明的全面理解，说明了多处具体细节。然而，本领域技术人员应当理解，本发明可以实施。
本发明的上述多个实施例可以实施为多种硬件、软件代码或其组合。举例而言，本发明的一个实施例可以是集成于视频压缩芯片中的一个或多个电子电路、或集成于视频压缩软件中的程序代码，用以执行此处所述的操作。本发明的一个实施例也可以是在数字信号处理器(DSP)上运行以执行此处所述操作的程序代码。本发明也可以包括由计算机处理器、数字信号处理器、微处理器或现场可编程门阵列(Field Programmable Gate Array,FPGA)所执行的多个功能。这些处理器可以配置为通过执行定义了本发明所体现的具体方法的机器可读软件代码或固件代码，来执行根据本发明的特定任务。软件代码或固件代码可以使用不同的编程语言及不同的格式或类型来开发。软件代码也可以在不同的目标平台上编译。然而，软件代码的不同的代码格式、类型及语言，以及配置代码以执行根据本发明的多个任务的其他方式，均不脱离本发明的精神与范围。
在不脱离本发明的精神和实质特征的情况下，本发明可以体现为其他具体形式。以上记载的多个实施例的所有方面仅用于说明而非限制本发明。因此，本发明的保护范围当视后附的权利要求而非上述说明为准。在权利要求的意义及其等效范围内所作出的所有改变，均包含于权利要求的保护范围内。

Claims (32)

1.一种视频解码方法，用于对图片或深度图像中的块进行解码，所述视频解码方法包括：
接收与当前图片或当前深度图像中的当前块有关的输入比特流；
从所述输入比特流中解析与编码模式有关的编码信息，所述编码模式是选择自多个编码模式的集合，所述编码模式是用于所述当前块的一个或多个连续当前样本或索引；
若选择复制索引(Copy-Index)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为同一第一样本值或同一第一索引值；
若选择复制上方(Copy-Above)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为与所述当前块的上方行的对应一个或多个连续当前样本或索引相同的多个第二样本值或相同的多个第二索引值；以及
若选择复制参考(Copy-Inter)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为在参考块的对应位置上的相同的一个或多个连续参考样本或索引。
2.根据权利要求1所述的视频解码方法，其特征在于进一步包含：
从所述输入比特流中解析运动向量信息，其中，所述运动向量信息用于定位所述参考块。
3.根据权利要求2所述的视频解码方法，其特征在于，所述运动向量信息是有关于所述参考块的运动向量，所述参考块对应于帧间预测2N×2N编码单元。
4.根据权利要求2所述的视频解码方法，其特征在于，所述运动向量信息是有关于块向量，以及所述运动向量信息在所述输入比特流中发信告知的方式，与在块内复制(IntraBC)模式下发信告知块向量的方式相同。
5.根据权利要求1所述的视频解码方法，其特征在于，所述参考块的位置是在所述输入比特流中未发信告知所述参考块的位置信息的情况下间接确定的。
6.根据权利要求1所述的视频解码方法，其特征在于，所述参考块位于所述当前图片或所述当前深度图像中。
7.根据权利要求1所述的视频解码方法，其特征在于，所述参考块位于与所述当前图片不同的图片中，或者位于与所述当前深度图像不同的深度图像中。
8.根据权利要求1所述的视频解码方法，其特征在于，所述参考块来自所述当前块的重建图片/重建深度图像，或来自所述当前块的预测图片/预测深度图像。
9.根据权利要求1所述的视频解码方法，其特征在于进一步包含：
从所述输入比特流中解析控制标志，所述控制标志指明是否启用所述复制参考(Copy-Inter)模式，以及若所述控制标志指示启用所述复制参考(Copy-Inter)模式，则所述多个编码模式的所述结合包括所述复制参考(Copy-Inter)模式。
10.根据权利要求9所述的视频解码方法，其特征在于，为每个块解析所述控制标志，以及所述块对应于编码单元、预测单元或变换单元。
11.根据权利要求10所述的视频解码方法，其特征在于，所述控制标志使用上下文自适应二进制算术编码进行编码。
12.根据权利要求1所述的视频解码方法，其特征在于，是否启用所述复制参考(Copy-Inter)模式是在解码器处间接确定的，以及若启用所述复制参考(Copy-Inter)模式，所述多个编码模式的所述集合包括所述复制参考(Copy-Inter)模式。
13.根据权利要求1所述的视频解码方法，其特征在于，为所述复制参考(Copy-Inter)模式所选择的所述参考块包括多个参考样本，以及在所述参考块用于预测所述当前块的当前索引之前，将所述多个参考样本转换为多个参考索引。
14.根据权利要求13所述的视频解码方法，其特征在于，通过从参考调色板中选择最近的索引，将所述参考块的每个参考样本转换为一个参考索引。
15.根据权利要求13所述的视频解码方法，其特征在于，在将所述多个参考样本转换为所述多个参考索引之前，将所述参考块进行水平翻转、垂直翻转、或者水平与垂直翻转。
16.根据权利要求13所述的视频解码方法，其特征在于，在将所述多个参考样本转换为所述多个参考索引之前，将所述参考块进行顺时针旋转或逆时针旋转、进行转置、或者使用任意函数进行变换。
17.根据权利要求1所述的视频解码方法，其特征在于，所述参考块是从多个参考块候选中选择的，以及所述参考块的选择由编码器明确发信告知、或者由解码器间接产生。
18.根据权利要求1所述的视频解码方法，其特征在于，所述当前块的当前调色板是从所述参考块的参考调色板复制或者预测而来的。
19.一种视频编码方法，用于对图片或深度图像中的块进行编码，所述视频编码方法包括：
接收与当前图片或当前深度图像中的当前块有关的输入数据；
从多个编码模式的集合中为所述当前块的一个或多个连续当前样本或索引确定编码模式，所述多个编码模式的所述集合包括复制索引(Copy-Index)模式、复制上方(Copy-Above)模式和复制参考(Copy-Inter)模式，其中：
若所述当前块的所述一个或多个连续当前样本所索引全部具有同一第一样本值或同一第一索引值时，选择所述复制索引(Copy-Index)模式；
若所述当前块的所述一个或多个连续当前样本或索引全部具有与所述当前块的上方行的对应一个或多个连续当前样本或索引相同的多个第二样本值或多个第二索引值时，选择所述复制上方(Copy-Above)模式；
若所述当前块的所述一个或多个连续当前样本或索引使用在参考块的对应位置上的一个或多个连续参考样本或索引进行预测时，选择复制参考(Copy-Inter)模式；以及
发信告知与所述编码模式有关的编码信息，所述编码模式是为所述当前块的所述一个或多个连续当前样本或索引所选择的。
20.根据权利要求19所述的视频编码方法，其特征在于进一步包含：
在比特流中为所述当前块发信告知运动向量信息，其中，所述运动向量信息是用于定位所述参考块。
21.根据权利要求20所述的视频编码方法，其特征在于，所述运动向量信息是有关于所述参考块的运动向量，所述参考块对应于帧间预测2N×2N编码单元，或者所述运动向量信息是有关于块向量，且所述运动向量信息在所述比特流中发信告知的方式与块内复制(IntraBC)模式下发信告知块向量的方式相同。
22.根据权利要求19所述的视频编码方法，其特征在于，所述参考块的位置是在所述当前块的比特流中未发信告知所述参考块的位置信息的情况下间接确定的。
23.根据权利要求19所述的视频编码方法，其特征在于，所述参考块位于所述当前图片中、所述当前深度图像中、与所述当前图片不同的图片中、或与所述当前深度图像不同的深度图像中。
24.根据权利要求19所述的视频编码方法，其特征在于，所述参考块是来自于所述当前块的重建图片/重建深度图像、或所述当前块的预测图片/预测深度图像。
25.根据权利要求19所述的视频编码方法，其特征在于进一步包括：
在所述当前块的比特流中发信告知控制标志，所述控制标志指明是否启用所述复制参考(Copy-Inter)模式，以及若所述控制标志指示启用所述复制参考(Copy-Inter)模式，则所述多个编码模式的所述集合包含所述复制参考(Copy-Inter)模式。
26.根据权利要求19所述的视频编码方法，其特征在于，关于是否启用所述复制参考(Copy-Inter)模式的决定取决于所述当前块的尺寸、形状、分割类型、编码模式、运动向量信息或块向量信息，以及所述当前块对应于当前编码单元、当前预测单元或当前变换单元。
27.根据权利要求19所述的视频编码方法，其特征在于，为所述复制参考(Copy-Inter)模式所选择的所述参考块包括多个参考样本，以及在所述参考块用于预测所述当前块的当前索引之前，将所述多个参考样本转换为多个参考索引。
28.根据权利要求27所述的视频编码方法，其特征在于，通过从参考调色板中选择最近的索引，将所述参考块的每个参考样本转换为一个参考索引。
29.根据权利要求27所述的视频编码方法，其特征在于，在将所述多个参考样本转换为所述多个参考索引之前，对所述参考块应用一操作，所述操作包括块水平翻转操作、块垂直翻转操作、块顺时针旋转操作、块逆时针旋转操作、块转置操作及块任意变形操作中的一个或任意组合。
30.根据权利要求19所述的视频编码方法，其特征在于，所述参考块是从多个参考块候选中选择的，以及所述参考块的选择由编码器明确发信告知、或者由解码器间接产生。
31.根据权利要求19所述的视频编码方法，其特征在于，所述当前块的当前调色板是从所述参考块的参考调色板复制或者预测而来的。
32.一种视频解码装置，用于对图片或深度图像中的块进行解码，所述视频解码装置包括：
接收与当前图片或当前深度图像中的当前块有关的输入比特流；
从所述输入比特流中解析与编码模式有关的编码信息，所述编码模式选择自多个编码模式的集合，所述编码模式是用于所述当前块的一个或多个连续当前样本或索引；
若选择复制索引(Copy-Index)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为同一第一样本值或同一第一索引值；
若选择复制上方(Copy-Above)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为与所述当前块的上方行的对应一个或多个连续当前样本或索引相同的多个第二样本值或多个第二索引值，以作为；以及
若选择复制参考(Copy-Inter)模式，则将所述当前块的所述一个或多个连续当前样本或索引解码为在参考块的对应位置上的相同的一个或多个连续参考样本或索引。
CN201680010328.9A 2015-03-20 2016-03-18 视频编解码方法及装置 Active CN107409227B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
PCT/CN2015/074728 WO2016149867A1 (en) 2015-03-20 2015-03-20 Non-local prediction for palette coding
CNPCT/CN2015/074728 2015-03-20
PCT/CN2015/081374 WO2016197392A1 (en) 2015-06-12 2015-06-12 Improvements for non-local index prediction
CNPCT/CN2015/081374 2015-06-12
PCT/CN2016/076726 WO2016150343A1 (en) 2015-03-20 2016-03-18 Methods of palette coding with inter-prediction in video coding

Publications (2)

Publication Number Publication Date
CN107409227A true CN107409227A (zh) 2017-11-28
CN107409227B CN107409227B (zh) 2020-01-21

Family

ID=56978939

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680010328.9A Active CN107409227B (zh) 2015-03-20 2016-03-18 视频编解码方法及装置

Country Status (5)

Country Link
US (1) US10148981B2 (zh)
EP (1) EP3266212A4 (zh)
KR (1) KR102051197B1 (zh)
CN (1) CN107409227B (zh)
WO (1) WO2016150343A1 (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020182113A1 (en) * 2019-03-10 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Combined screen content coding mode
CN112823515A (zh) * 2018-10-07 2021-05-18 韦勒斯标准与技术协会公司 使用用于多参考线的mpm配置方法处理视频信号的方法和设备
CN113678448A (zh) * 2019-04-09 2021-11-19 北京字节跳动网络技术有限公司 调色板模式编解码的条目构造
WO2021244420A1 (en) * 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition
CN113853789A (zh) * 2019-05-15 2021-12-28 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法和装置
CN114424543A (zh) * 2019-09-12 2022-04-29 阿里巴巴集团控股有限公司 用于发送视频编解码信息的方法和装置
CN117221532A (zh) * 2019-04-09 2023-12-12 北京达佳互联信息技术有限公司 用于视频解码的方法、装置和存储介质
US11856235B2 (en) 2020-03-11 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
US12063356B2 (en) 2019-07-29 2024-08-13 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110278437B (zh) * 2014-06-20 2022-03-08 寰发股份有限公司 一种视频数据块的编码方法
CN116193110A (zh) * 2017-01-16 2023-05-30 世宗大学校产学协力团 影像编码/解码方法
CN113366853B (zh) 2019-02-02 2024-08-02 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的缓冲区初始化
WO2020156547A1 (en) 2019-02-02 2020-08-06 Beijing Bytedance Network Technology Co., Ltd. Buffer resetting for intra block copy in video coding
CN113475062A (zh) 2019-02-24 2021-10-01 北京字节跳动网络技术有限公司 确定屏幕内容编解码的条件
CN117395439A (zh) * 2019-03-01 2024-01-12 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于方向的预测
CN113545068B (zh) * 2019-03-01 2023-09-15 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的基于顺序的更新
KR20240132530A (ko) 2019-03-04 2024-09-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 비디오 코딩에서 인트라 블록 복사의 구현 형태
US11202101B2 (en) * 2019-03-13 2021-12-14 Qualcomm Incorporated Grouped coding for palette syntax in video coding
WO2020243399A1 (en) * 2019-05-31 2020-12-03 Beijing Dajia Internet Information Technology Co., Ltd. Methods and apparatus of segment-based video coding using palette mode
KR20220013938A (ko) 2019-05-31 2022-02-04 바이트댄스 아이엔씨 인트라 블록 복사 예측을 갖는 팔레트 모드
CN113940082A (zh) 2019-06-06 2022-01-14 北京字节跳动网络技术有限公司 基于子块的帧内块复制和不同编解码工具之间的交互
WO2020253650A1 (en) 2019-06-16 2020-12-24 Beijing Bytedance Network Technology Co., Ltd. Interaction between screen content coding tools and motion information
WO2020259426A1 (en) 2019-06-22 2020-12-30 Beijing Bytedance Network Technology Co., Ltd. Motion candidate list construction for intra block copy mode
CA3146016C (en) 2019-07-06 2024-05-07 Beijing Bytedance Network Technology Co., Ltd. Virtual prediction buffer for intra block copy in video coding
CN114175633B (zh) 2019-07-10 2023-12-29 北京字节跳动网络技术有限公司 用于视频编解码中的帧内块复制的样点标识
JP2022539887A (ja) 2019-07-11 2022-09-13 北京字節跳動網絡技術有限公司 映像符号化におけるイントラブロックコピーのためのビットストリーム適合性の制約
CN117221536A (zh) 2019-07-23 2023-12-12 北京字节跳动网络技术有限公司 调色板模式编解码的模式确定
JP7494289B2 (ja) 2019-08-15 2024-06-03 バイトダンス インコーポレイテッド 異なるパーティション構造をもつパレット・モード
CN117395420A (zh) 2019-08-15 2024-01-12 字节跳动有限公司 用于调色板逸出符号的熵编解码
CN114365488A (zh) 2019-09-09 2022-04-15 北京字节跳动网络技术有限公司 视频编解码块的递归划分
KR20220057544A (ko) 2019-09-12 2022-05-09 바이트댄스 아이엔씨 비디오 코딩에서 팔레트 예측자 사용
BR112022005150A2 (pt) 2019-09-19 2022-06-14 Bytedance Inc Método de processamento de vídeo, aparelho em um sistema de vídeo, e, produto de programa de computador
MX2022002916A (es) 2019-09-19 2022-04-06 Beijing Bytedance Network Tech Co Ltd Derivacion de posiciones de muestra de referencia en codificacion de video.
WO2021129866A1 (en) 2019-12-27 2021-07-01 Beijing Bytedance Network Technology Co., Ltd. Signaling of slice types in video pictures headers
US20220353498A1 (en) * 2020-01-03 2022-11-03 Intel Corporation Video coding with multiple intra block copy modes

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140068224A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Block-level Access to Parallel Storage
CN103703779A (zh) * 2011-11-03 2014-04-02 谷歌公司 使用次分辨率图像的图像压缩
CN104301737A (zh) * 2013-07-15 2015-01-21 华为技术有限公司 目标图像块的解码方法和编码方法以及解码器和编码器

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101813189B1 (ko) 2010-04-16 2018-01-31 에스케이 텔레콤주식회사 영상 부호화/복호화 장치 및 방법
US8902982B2 (en) * 2011-01-17 2014-12-02 Samsung Electronics Co., Ltd. Depth map coding and decoding apparatus and method
KR101943049B1 (ko) * 2011-06-30 2019-01-29 에스케이텔레콤 주식회사 영상 부호화/복호화 방법 및 장치
CN103929651A (zh) * 2013-01-10 2014-07-16 乐金电子(中国)研究开发中心有限公司 深度图像帧内编码模式索引值配置方法及装置
US10356430B2 (en) 2013-07-12 2019-07-16 Samsung Electronics Co., Ltd. Interlayer video decoding method and apparatus using view synthesis prediction and interlayer video encoding method and apparatus using view synthesis prediction
CN106464921B (zh) * 2014-06-19 2019-10-15 Vid拓展公司 用于块内复制搜索增强的方法和系统
US20150381994A1 (en) * 2014-06-27 2015-12-31 Futurewei Technologies, Inc. Advanced screen content coding with improved palette table and index map coding methods
US11330297B2 (en) * 2014-08-19 2022-05-10 Qualcomm Incorporated Methods incorporating extensions to copy-above mode for palette mode coding
KR20170066457A (ko) * 2014-09-26 2017-06-14 브이아이디 스케일, 인크. 시간적 블록 벡터 예측을 갖는 인트라 블록 카피 코딩
WO2016057323A1 (en) * 2014-10-06 2016-04-14 Huawei Technologies Co., Ltd. Improved palette mode in high efficiency video coding (hevc) screen content coding (scc)

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103703779A (zh) * 2011-11-03 2014-04-02 谷歌公司 使用次分辨率图像的图像压缩
US20140068224A1 (en) * 2012-08-30 2014-03-06 Microsoft Corporation Block-level Access to Parallel Storage
CN104301737A (zh) * 2013-07-15 2015-01-21 华为技术有限公司 目标图像块的解码方法和编码方法以及解码器和编码器

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
XIAOZHONG XU: "CE1-related: escape pixel coding in palette mode", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 20TH MEETING: GENEVA, CH, 10–18 FEB. 2015》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112823515A (zh) * 2018-10-07 2021-05-18 韦勒斯标准与技术协会公司 使用用于多参考线的mpm配置方法处理视频信号的方法和设备
CN112823515B (zh) * 2018-10-07 2024-03-19 三星电子株式会社 使用用于多参考线的mpm配置方法处理视频信号的方法和设备
WO2020182113A1 (en) * 2019-03-10 2020-09-17 Beijing Bytedance Network Technology Co., Ltd. Combined screen content coding mode
CN113678448A (zh) * 2019-04-09 2021-11-19 北京字节跳动网络技术有限公司 调色板模式编解码的条目构造
CN117221532B (zh) * 2019-04-09 2024-03-29 北京达佳互联信息技术有限公司 用于视频解码的方法、装置和存储介质
CN117221532A (zh) * 2019-04-09 2023-12-12 北京达佳互联信息技术有限公司 用于视频解码的方法、装置和存储介质
CN113853789B (zh) * 2019-05-15 2024-06-04 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法
CN113853789A (zh) * 2019-05-15 2021-12-28 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法和装置
US11924432B2 (en) 2019-07-20 2024-03-05 Beijing Bytedance Network Technology Co., Ltd Condition dependent coding of palette mode usage indication
US12063356B2 (en) 2019-07-29 2024-08-13 Beijing Bytedance Network Technology Co., Ltd. Palette mode coding in prediction process
CN114424543A (zh) * 2019-09-12 2022-04-29 阿里巴巴集团控股有限公司 用于发送视频编解码信息的方法和装置
US11930219B2 (en) 2020-03-11 2024-03-12 Beijing Bytedance Network Technology Co., Ltd. Adaptation parameter set signaling based on color format
US11856235B2 (en) 2020-03-11 2023-12-26 Beijing Bytedance Network Technology Co., Ltd. Adaptive loop filtering
US11968403B2 (en) 2020-03-11 2024-04-23 Beijing Bytedance Netwrok Technology Co., Ltd. Transform skip based residual coding
US12081801B2 (en) 2020-03-11 2024-09-03 Beijing Bytedance Network Technology Co., Ltd. High level bitstream syntax for quantization parameters
US11991397B2 (en) 2020-05-31 2024-05-21 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition
WO2021244420A1 (en) * 2020-05-31 2021-12-09 Beijing Bytedance Network Technology Co., Ltd. Palette mode with local dual tree modetype definition

Also Published As

Publication number Publication date
US20180041774A1 (en) 2018-02-08
EP3266212A4 (en) 2018-08-01
WO2016150343A1 (en) 2016-09-29
CN107409227B (zh) 2020-01-21
KR102051197B1 (ko) 2019-12-02
KR20170118873A (ko) 2017-10-25
EP3266212A1 (en) 2018-01-10
US10148981B2 (en) 2018-12-04

Similar Documents

Publication Publication Date Title
CN107409227A (zh) 视频编码中使用帧间预测的调色板编码方法
CN106797478B (zh) 调色板编码的方法
CN105556971B (zh) 针对帧内块复制预测中的块翻动和跳跃模式的编码器侧判定
CA2924501C (en) Method of video coding using prediction based on intra picture block copy
CN106716999B (zh) 用于视频编码的调色板预测器信令的方法
CN106537916B (zh) 编码和解码视频数据的方法和装置及计算机可读存储介质
CN106537910B (zh) 在索引图编码中将跳出像素作为预测器的方法
CN108028940A (zh) 调色板模式视频译码中转义像素信号值的限制
CN105493505B (zh) 统一的帧内块复制和帧间预测模式
CN104205846B (zh) 用于三维视频译码的视图合成模式
CN101822056B (zh) 用于视频编解码几何划分的双向预测模式划分的方法和装置
CN106105229B (zh) 使用调色板编码来编码视频数据的块的方法及装置
CN107852505A (zh) 用于使用帧内块复制模式的视频解码错误处理的方法和装置
CN108702501A (zh) 用于视频编码的色度预测的区域化亮度预测模式继承的方法及装置
CN108028932A (zh) 用于视频译码的调色板预测初始化及合并
CN107005717A (zh) 索引映射编解码中的跳出像素编解码方法
KR20180010260A (ko) 화상 및 비디오 데이터의 팔레트 코딩 방법
CN106464873A (zh) 基于调色板的视频译码中的预测符调色板初始化
CN107113436A (zh) 用于次取样格式的调色模式
CN106797475A (zh) 用于屏幕内容编码和视频编码的块向量剪切和编码的方法
CN106416257A (zh) 调色板大小发信和有条件的调色板例外标志发信的方法
CN106464871A (zh) 在基于调色板的视频译码中对具有逸出的行程进行译码
CN106471809A (zh) 视频译码中的单一色彩调色板模式
CN106464872A (zh) 在基于调色板的视频译码中基于调色板索引对行程值进行译码
CN106105207A (zh) 用于视频译码的具有行程长度码的调色板预测器信令

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant