CN114303386A - 用于处理视频信号的方法和装置 - Google Patents

用于处理视频信号的方法和装置 Download PDF

Info

Publication number
CN114303386A
CN114303386A CN202080060135.0A CN202080060135A CN114303386A CN 114303386 A CN114303386 A CN 114303386A CN 202080060135 A CN202080060135 A CN 202080060135A CN 114303386 A CN114303386 A CN 114303386A
Authority
CN
China
Prior art keywords
palette
index
palette table
block
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080060135.0A
Other languages
English (en)
Inventor
任星元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
KT Corp
Original Assignee
KT Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by KT Corp filed Critical KT Corp
Publication of CN114303386A publication Critical patent/CN114303386A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本公开内容的用于对视频进行解码的方法可以包括:基于先前调色板表来配置当前调色板表的步骤;确定当前块中以像素为单位的调色板索引的步骤;以及基于调色板表和调色板索引来恢复当前块中的像素的步骤。

Description

用于处理视频信号的方法和装置
技术领域
本公开内容涉及用于处理视频信号的方法和装置。
背景技术
近来,在各种应用领域中对高分辨率和高质量图像例如HD(高清晰度)图像和UHD(超高清晰度)图像的需求增加。随着图像数据变得高分辨率和高质量,与现有图像数据相比,数据量相对增加,因此当通过使用诸如现有有线和无线宽带电路的介质来传输图像数据或通过使用现有存储介质来存储图像数据时,传输费用和存储费用增加。可以利用高效率图像压缩技术来解决由于图像数据变得高分辨率和高质量而产生的这些问题。
存在各种技术,例如利用图像压缩技术根据当前图片的先前图片或后续图片来预测在当前图片中包括的像素值的帧间预测技术、通过使用当前图片中的像素信息来预测在当前图片中包括的像素值的帧内预测技术、将短符号分配给具有高出现频率的值并且将长符号分配给具有低出现频率的值的熵编码技术等,并且可以通过使用这些图像压缩技术来有效地压缩和传输或者存储图像数据。
另一方面,随着对高分辨率图像的需求增加,对作为新的图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。
发明内容
技术目的
本公开内容的目的是提供对视频信号进行编码/解码的帧内预测方法和装置。
本公开内容的目的是提供在对视频信号进行编码/解码时基于调色板模式的帧内预测方法和装置。
本公开内容的技术效果可以不受以上提及的技术效果的限制,并且本公开内容所属技术领域的技术人员可以根据以下描述清楚地理解其他未提及的技术效果。
技术解决方案
根据本公开内容的视频信号解码方法可以包括:基于先前调色板表来配置当前调色板表;确定当前块中以像素为单位的调色板索引;以及基于调色板表和调色板索引来重构当前块中的像素。在这种情况下,在当前块包括在编码树单元行的第一编码树单元中的情况下,可以从属于编码树单元的上方的块得出先前调色板表。
根据本公开内容的视频信号编码方法可以包括:基于先前调色板表来配置当前调色板表;确定当前块中以像素为单位的调色板索引;以及基于调色板表和调色板索引来重构当前块中的像素。在这种情况下,在当前块包括在编码树单元行的第一编码树单元中的情况下,可以从属于编码树单元的上方的块得出先前调色板表。
在根据本公开内容的视频信号解码方法中,还可以包括:对调色板预测标志进行解码,该调色板预测标志表示先前调色板表中包括的调色板条目是否包括在当前调色板表中。
在根据本公开内容的视频信号解码方法中,还可以包括:在从先前调色板表中使用的预测调色板条目的数量小于当前调色板表的大小的情况下,对关于其余调色板条目的信息进行解码。
在根据本公开内容的视频信号解码方法中,可以通过使用索引模式或复制模式中的至少一者来确定当前块的调色板索引,索引模式可以是用信号通知用于指定当前块的调色板索引的调色板索引信息的模式,并且复制模式可以是根据预定扫描顺序使用相邻像素的调色板索引的模式。
技术效果
根据本公开内容,可以通过基于先前调色板表对当前块的调色板表进行配置来提高调色板模式的编码/解码效率。
根据本公开内容,可以通过自适应地使用调色板模式的扫描顺序来提高调色板模式的编码/解码效率。
根据本公开内容,可以提高对当前块中的每个像素的调色板索引的编码/解码效率。
能够根据本公开内容获得的效果可以不受以上提及的效果的限制,并且本发明所属技术领域的技术人员可以根据以下描述清楚地理解其他未提及的效果。
附图说明
图1是示出根据本公开内容的实施方式的图像编码装置的框图。
图2是示出根据本公开内容的实施方式的图像解码装置的框图。
图3至图5是用于描述根据本公开内容的调色板模式的构思的图。
图6示出了根据本公开内容的基于调色板模式执行帧内预测的方法。
图7至图11示出了根据本公开内容的配置调色板表的方法。
图12是示出向调色板条目候选列表添加调色板条目的示例的图。
图13示出了作为应用本公开内容的实施方式的以基于游程长度编码的二进制矢量的形式用信号通知调色板预测标志的方法。
图14示出了通过使用上下文信息对调色板预测标志进行编码的示例。
图15是示出上下文信息索引的范围的示例。
图16示出了以预设大小的区域为单位定义调色板表的示例。
图17至图22示出了根据本公开内容的按扫描顺序对调色板索引进行编码/解码的方法。
图23示出了配置整合调色板表的示例。
图24示出了针对亮度分量和色度分量分别配置调色板表的示例。
图25和图26示出了以预定区域为单位分配调色板索引的示例。
图27是关于通过使用调色板表将块中的像素分配给索引的处理的示例。
图28示出了使用在编码器和解码器中预定义的调色板表的示例。
具体实施方式
由于本公开内容可以作出各种改变并且具有若干实施方式,因此将在图中说明并且详细描述特定实施方式。但是并不旨在将本公开内容限于特定实施方式,并且应当理解,本公开内容包括包含在本公开内容的构思和技术范围中的所有变化、等同物或替代物。在描述每个图时,相似的附图标记用于相似的部件。
诸如第一、第二等的术语可以用于描述各种部件,但是部件不应受术语限制。术语仅用于区分一个部件与其他部件。例如,在不超出本公开内容的权利的范围的情况下,第一部件可以被称为第二部件,并且类似地,第二部件也可以被称为第一部件。术语“和/或”包括多个相对输入项的组合或者多个相对输入项的任何项。
在部件被称为“链接”或“连接”至其他部件时,应当理解,该部件可以直接链接或连接至其他部件,但是其他部件可以存在于中间。另一方面,在部件被称为“直接链接”或“直接连接”至其他部件时,应当理解,中间不存在其他部件。
因为本申请中使用的术语仅用于描述特定实施方式,所以其不旨在限制本公开内容。单数的表达包括复数的表达,除非其在上下文中清楚地具有不同的含义。在本申请中,应当理解,诸如“包括”或“具有”等术语是指在说明书中输入的特性、数字、阶段、运动、部件、部分或其的组合的存在,但不排除提前添加一个或更多个其他特性、数字、阶段、运动、部件、部分或其的组合的存在或可能性。
在下文中,参照附图,将更详细地描述本公开内容的期望的实施方式。在下文中,在图中相同的附图标记用于相同的部件,并且省略对同一部件的重复描述。
图1是示出根据本公开内容的实施方式的图像编码装置的框图。
参照图1,图像编码装置100可以包括图片划分单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、逆量化单元140、逆变换单元145、滤波器单元150和存储器155。
由于图1中的每个构造单元被独立地示出以示出图像编码装置中的不同特征功能,这不意味着每个构造单元由单独的硬件或一个软件单元构成。也就是说,由于为了便于描述而通过列举为每个构造单元而包括每个构造单元,所以每个构造单元中的至少两个构造单元可以被组合以构成一个构造单元,或者一个构造单元可以被划分成多个构造单元以执行功能,并且甚至每个构造单元的集成的实施方式和分离的实施方式也包括在本公开内容的权利的范围中,只要它们不背离本公开内容的实质。
此外,一些部件可以仅是用于改善性能的可选部件,而不是执行本公开内容中的基本功能的必要部件。可以通过仅包括用于实现本公开内容的实质所必需的构造单元而不包括仅用于改善性能的部件来实现本公开内容,并且还在本公开内容的权利的范围中包括仅包括必要部件而不包括仅用于改善性能的可选部件的结构。
图片划分单元110可以将输入图片划分为至少一个处理单元。就此而言,处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在图片划分单元110中,一个图片可以被划分为多个编码单元、预测单元和变换单元的组合,并且可以通过根据预定标准(例如,成本函数)选择一个编码单元、预测单元和变换单元的组合来对图片进行编码。
例如,一个图片可以被划分为多个编码单元。为了划分图片中的编码单元,可以使用递归树结构诸如四叉树结构,并且通过使用一个图像或最大编码单元作为路由而被划分为其他编码单元的编码单元可以用与所划分的编码单元的数量一样多的子节点来划分。根据某些限制不再划分的编码单元成为叶节点。换言之,当假设对于一个编码单元仅正方形划分是可能的时,可以将一个编码单元划分成多至四个其他编码单元。
下文中,在本公开内容的实施方式中,编码单元可以用作用于编码的单元,或者可以用作用于解码的单元。
预测单元可以在一个编码单元中以相同大小以至少一个正方形形状或矩形形状等进行划分,或者预测单元可以被划分成使得在一个编码单元中划分的预测单元中的任何一个预测单元可以具有与另一预测单元不同的形状和/或大小。
在生成基于编码块执行帧内预测的预测单元时,当预测单元不是最小编码单元时,可以在不执行划分为多个预测单元NxN的情况下执行帧内预测。
预测单元120和125可以包括执行帧间预测的帧间预测单元120以及执行帧内预测的帧内预测单元125。可以确定针对预测单元执行帧间预测还是帧内预测,并且可以确定根据每个预测方法的详细信息(例如帧内预测模式、运动矢量、参考图片等)。就此而言,执行预测的处理单元可以不同于确定预测方法和具体内容的处理单元。例如,可以在预测单元中确定预测方法、预测模式等,并且可以在变换单元中执行预测。可以将所生成的预测块与原始块之间的残差值(残差块)输入至变换单元130。另外,用于预测的预测模式信息、运动矢量信息等可以在熵编码单元165中利用残差值来编码,并且可以被发送至解码装置。当使用特定编码模式时,原始块可以在不通过预测单元120或125生成预测块的情况下,原样编码并且被发送至解码单元。
帧间预测单元120可以基于关于当前图片的先前图片或后续图片中的至少一个图片的信息来预测预测单元,或者在一些情况下可以基于关于当前图片中的一些编码区域的信息来预测预测单元。帧间预测单元120可以包括参考图片内插单元、运动预测单元和运动补偿单元。
参考图片内插单元可以从存储器155接收参考图片信息,并且生成等于或小于参考图片中的整数像素的像素信息。对于亮度像素,可以使用具有不同滤波器系数的基于DCT的8抽头内插滤波器来生成等于或小于以1/4像素为单位的整数像素的像素信息。对于色度信号,可以使用具有不同滤波器系数的基于DCT的4抽头内插滤波器来生成等于或小于以1/8像素为单位的整数像素的像素信息。
运动预测单元可以基于由参考图片内插单元内插的参考图片来执行运动预测。可以使用诸如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等的各种方法作为用于计算运动矢量的方法。运动矢量可以具有基于内插像素以1/2像素或1/4像素为单位的运动矢量值。运动预测单元可以通过改变运动预测方法来预测当前预测单元。可以使用诸如跳过方法、合并方法、高级运动矢量预测(AMVP)方法、帧内块复制方法等的各种方法作为运动预测方法。
帧内预测单元125可以基于当前块周围的参考像素信息(其为当前图片中的像素信息)来生成预测单元。在当前预测单元中的相邻块是执行帧间预测的块并且因此参考像素是执行帧间预测的像素时,可以通过用执行帧内预测的周围块的参考像素信息进行替换来使用包括在执行帧间预测的块中的参考像素。换言之,当参考像素不可用时,可以通过用可用参考像素中的至少一个参考像素进行替换来使用不可用的参考像素信息。
在执行预测时,帧内预测的预测模式可以具有根据预测方向使用参考像素信息的方向预测模式以及不使用方向信息的非方向预测模式。用于预测亮度信息的模式可以不同于用于预测色度信息的模式,并且用于预测亮度信息的帧内预测模式信息或经预测的亮度信号信息可以用于预测色度信息。
当在执行帧内预测时预测单元的大小与变换单元的大小相同时,可以基于预测单元的左侧位置处的像素、左上位置处的像素和上方位置处的像素来执行预测单元的帧内预测。然而,在执行帧内预测时预测单元的大小与变换单元的大小不同的情况下,可以通过使用基于变换单元的参考像素来执行帧内预测。另外,使用N×N划分的帧内预测可以仅用于最小的编码单元。
另外,帧内预测单元125可以基于调色板模式执行帧内预测,并且将参照图3至图28对其进行详细描述。
在帧内预测方法中,可以在根据预测模式将自适应帧内平滑(AIS)滤波器应用于参考像素之后生成预测块。应用于参考像素的AIS滤波器的类型可以不同。为了执行帧内预测方法,可以根据当前预测单元周围的预测单元中的帧内预测模式来预测当前预测单元中的帧内预测模式。在通过使用根据周围预测单元预测的模式信息来预测当前预测单元中的预测模式时,如果当前预测单元的帧内预测模式与周围预测单元的帧内预测模式相同,则可以通过使用预定标志信息来发送当前预测单元的预测模式与周围预测单元的预测模式相同的信息,并且如果当前预测单元中的预测模式与周围预测单元中的预测模式不同,则可以通过执行熵编码来对当前块的预测模式信息进行编码。
另外,可以生成包括关于残差值的信息的残差块,该残差值是基于在预测单元120和125中生成的预测单元执行预测的预测单元与预测单元中的原始块之间的差值。可以将所生成的残差块输入至变换单元130。
变换单元130可以通过使用诸如DCT(Discrete Cosine Transform,离散余弦变换)、DST(Discrete Sine Transform,离散正弦变换)、KLT的变换方法来对原始块和包括在通过预测单元120和125生成的预测单元中的残差值信息的残差块进行变换。可以基于用于生成残差块的预测单元中的帧内预测模式信息来确定是否应用DCT、DST或KLT对残差块进行变换。
量化单元135可以对在变换单元130中被变换到频域的值进行量化。量化系数可以根据块或图像的重要性而改变。可以将在量化单元135中计算出的值提供给逆量化单元140和重排单元160。
重排单元160可以对经量化的残差值的系数值执行重排。
重排单元160可以通过系数扫描方法将二维块的形状的系数改变为一维向量的形状的系数。例如,重排单元160可以通过使用Z字形扫描方法从DC系数扫描到高频域中的系数,并且将其改变为一维向量的形状。根据变换单元的大小和帧内预测模式,代替Z字形扫描,可以使用在列方向上扫描二维块的形状的系数的水平扫描或者在行方向上扫描二维块的形状的系数的水平扫描。换言之,可以根据变换单元的大小和帧内预测模式来确定将使用Z字形扫描、竖直方向扫描和水平方向扫描之中的哪个扫描方法。
熵编码单元165可以基于由重排单元160计算出的值来执行熵编码。熵编码可以使用各种编码方法,例如指数哥伦布(Exponential Golomb)、CAVLC(Context-AdaptiveVariable Length Coding,上下文自适应可变长度编码)和CABAC(Context-AdaptiveBinary Arithmetic Coding,上下文自适应二进制算术编码)。
熵编码单元165可以对来自重排单元160和预测单元120和125的各种信息诸如编码单元中的残差值系数信息和块类型信息、预测模式信息、划分单元信息、预测单元信息和传输单元信息、运动矢量信息、参考帧信息、块内插信息、滤波信息等进行编码。
熵编码单元165可以对从重排单元160输入的编码单元中的系数值执行熵编码。
去量化单元140和逆变换单元145对在量化单元135中量化的值执行去量化,并且对在变换单元130中变换的值执行逆变换。由去量化单元140和逆变换单元145生成的残差值可以与由预测单元120和125中包括的运动预测单元、运动补偿单元和帧内预测单元预测的预测单元组合以生成重构块。
滤波器单元150可以包括以下中的至少一个:去块滤波器、偏移校正单元和自适应环路滤波器(ALF)。
去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。为了确定是否执行去块,可以基于包括在块中的若干行或列中包括的像素来确定是否将去块滤波器应用于当前块。当对块应用去块滤波器时,可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。另外,在应用去块滤波器时,当执行水平滤波和竖直滤波时,可以将水平方向滤波和竖直方向滤波设置为并行处理。
偏移校正单元可以针对执行去块的图像以像素为单位校正与原始图像的偏移。为了针对特定图片执行偏移校正,可以在将包括在图像中的像素划分为一定数量的区域之后确定将执行偏移的区域,并且可以使用将偏移应用于相应区域的方法或者通过考虑每个像素的边缘信息来应用偏移的方法。
可以基于通过将经滤波的重构图像与原始图像进行比较而获得的值来执行自适应环路滤波(ALF)。在将包括在图像中的像素划分成预定组之后,可以通过确定将被应用于相应组的一个滤波器来有区别地对每组执行滤波。可以针对亮度信号每编码单元(CU)传送与是否将应用ALF有关的信息,并且将应用的ALF滤波器的形状和滤波器系数可以根据每个块而不同。另外,不管要应用的块的特征如何,都可以应用相同形状(固定形状)的ALF滤波器。
存储器155可以存储通过滤波器单元150计算的重构块或图片,并且在执行帧间预测时,可以将所存储的重构块或图片提供给预测单元120和125。
图2是示出根据本公开内容的实施方式的图像解码装置的框图。
参照图2,图像解码装置200可以包括熵解码单元210、重排单元215、去量化单元220、逆变换单元225、预测单元230和235、滤波器单元240和存储器245。
当从图像编码装置输入图像比特流时,可以根据与图像编码装置相反的过程来解码输入比特流。
熵解码单元210可以根据与在图像编码装置的熵编码单元中执行熵编码的过程相反的过程来执行熵解码。例如,响应于图像编码装置中执行的方法,可以应用诸如指数哥伦布、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)的各种方法。
熵解码单元210可以对与编码装置中执行的帧内预测和帧间预测相关的信息进行解码。
重排单元215可以基于在编码单元中重排在熵解码单元210中熵解码的比特流的方法来执行重排。以一维向量形式表示的系数可以通过被重构为二维块的形式的系数来进行重排。重排单元215可以接收与在编码单元中执行的系数扫描相关的信息,并且通过其中基于在相应的编码单元中执行的扫描顺序逆执行扫描的方法来执行重排。
逆量化单元220可以基于从编码装置提供的量化参数和重排块的系数值来执行去量化。
逆变换单元225可以对在图像编码装置中执行的量化的结果执行在变换单元中执行的变换,即,用于DCT、DST和KLT的逆变换(即,逆DCT、逆DST和逆KLT)。可以基于在图像编码装置中确定的传输单元来执行逆变换。在图像解码装置的逆变换单元225中,可以根据多个信息(例如预测方法、当前块的大小、预测方向等)来选择性地执行变换技术(例如,DCT、DST、KLT)。
预测单元230和235可以基于从熵解码单元210提供的与预测块的生成有关的信息以及从存储器245提供的预解码块或图片信息来生成预测块。
如上所述,在以与图像编码装置中的操作相同的方式执行帧内预测时预测单元的大小与变换单元的大小相同的情况下,可以基于预测单元的左侧位置处的像素、左上位置处的像素和上方位置处的像素执行预测单元的帧内预测,但是在执行帧内预测时预测单元的大小与变换单元的大小不同的情况下,可以通过使用基于变换单元的参考像素来执行帧内预测。另外,使用N×N划分的帧内预测可以仅用于最小的编码单元。
预测单元230和235可以包括:预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元210输入的各种信息(例如预测单元信息、帧内预测方法的预测模式信息、帧间预测方法的运动预测相关的信息等),对当前编码单元中的预测单元进行划分,并且确定预测单元执行帧间预测还是帧内预测。帧间预测单元230可以通过使用从图像编码装置提供的当前预测单元中的帧间预测所需的信息,基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息,对当前预测单元执行帧间预测。可替选地,可以基于在包括当前预测单元的当前图片中预重构的一些区域的信息来执行帧间预测。
为了执行帧间预测,可以基于编码单元来确定在相应编码单元中包括的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式还是帧内块复制模式。
帧内预测单元235可以基于当前图片中的像素信息来生成预测块。在预测单元是执行了帧内预测的预测单元的情况下,可以基于从图像编码装置提供的预测单元中的帧内预测模式信息执行帧内预测。可替选地,帧内预测单元235可以基于调色板模式执行帧内预测,并且将参照图3至图28对其进行详细描述。帧内预测单元235可以包括自适应帧内平滑(AIS)滤波器、参考像素内插单元和DC滤波器。作为对当前块的参考像素执行滤波的部分,可以通过根据当前预测单元中的预测模式确定是否应用滤波器来应用AIS滤波器。通过使用AIS滤波器信息和从图像编码装置提供的预测单元中的预测模式,可以对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式的情况下,可以不应用AIS滤波器。
在预测单元中的预测模式是基于对参考像素进行内插的像素值执行帧内预测的预测单元的情况下,参考像素内插单元可以对参考像素进行内插以便以等于或小于整数值的像素为单位生成参考像素。在当前预测单元的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式的情况下,可以不对参考像素进行内插。在当前块的预测模式是DC模式的情况下,DC滤波器可以通过滤波来生成预测块。
可以将重构块或图片提供至滤波器单元240。滤波器单元240可以包括去块滤波器、偏移校正单元和ALF。
可以从图像编码装置提供关于是否将去块滤波器应用于相应的块或图片的信息以及关于当应用去块滤波器时是应用强滤波器还是弱滤波器的信息。可以在图像解码装置的去块滤波器中提供与从图像编码装置提供的去块滤波器相关的信息,并且可以在图像解码装置中执行对相应块的去块滤波。
偏移校正单元可以基于偏移值信息对重构图像执行偏移校正,偏移值信息是在执行编码时应用于图像的偏移校正的类型。
可以基于从编码装置提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这样的ALF信息可以通过被包括在特定参数集中来提供。
存储器245可以存储重构图片或块以用作参考图片或参考块,并且将重构图片提供至输出单元。
如上所述,在下文中,在本公开内容的实施方式中,为了便于描述,将编码单元用作编码单元的术语,但是其可以是执行解码以及编码的单元。
另外,由于当前块表示将被编码/解码的块,根据编码/解码步骤,当前块可以表示编码树块(或编码树单元)、编码块(或编码单元)、变换块(或变换单元)或预测块(或预测单元)等。在本说明书中,“单元”可以表示用于执行特定编码/解码处理的基本单元,并且“块”可以表示预定大小的像素阵列。除非另有分类,否则“块”和“单元”可以互换使用。例如,在后面描述的实施方式中,可以理解,编码块(编码块)和编码单元(编码单元)可互换使用。
图3至图5是用于描述根据本公开内容的调色板模式的构思的图。
调色板模式是一种在将待编码的块(下文中称为当前块)中频繁出现的像素指示为特定索引之后,对该特定索引而非像素进行编码并且将该特定索引发送至解码装置的方法。可以对表示是否允许调色板模式的标志进行编码并且将该标志发送至解码装置。在这种情况下,仅在当前块的大小等于或小于预设大小时才对标志进行编码。可以基于当前块所属的切片的切片类型或当前块的编码模式或预测模式来确定预设大小。在示例中,在当前块属于切片I时,可以仅在当前块的大小为4×4时使用调色板模式。在当前块属于切片B或切片P时,仅在当前块的大小大于4×4且小于64×64时,才可以使用调色板模式。
图3示出了生成调色板表的过程。为了便于描述,在假设当前块的大小是4×4的情况下进行描述。首先,当前块中16个像素的直方图如图3所示。在图3中,横轴表示像素值(例如,对于由8比特量化的像素,一个值从0到225),并且纵轴表示像素值的频率。随后,基于具有高频的像素设置量化区。量化区中的像素被具有最高频率的像素替换,并且一个索引被分配给具有最高频率的像素。可以对表示量化区的大小的信息进行编码并且将该信息发送至解码装置。可替选地,可以基于当前块的大小、形状或比特深度中的至少一个来确定量化区的大小。
在图3中,量化区中由粗线表达的部分意指具有最高频率的像素(a3、a8、a10、a11),而由细线表达的部分意指其他像素。并且,未包括在量化区中的像素(由量化区之外的粗线表达的部分)被表达为逃逸(escape)值,并且除了由索引编码之外,该值被附加地量化和编码。
图4示出了图3中设置的调色板表的示例。
在图4中,将调色板表的每个行表达为调色板条目,并且将不同的索引分配给每个条目。换言之,调色板表的大小可以意指条目的数量。
通过使用每个量化区中具有最高频率的像素(a3、a8、a10、a11)来配置条目,并且将索引分配给每个条目。如果存在逃逸值,则可以将逃逸安排为最后的条目,并且可以为其分配索引。换言之,调色板中最后的索引可以意指逃逸值。
图5是关于通过使用设置的调色板表将块中的像素分配给索引的过程的示例。在图5中,将指定的索引表达为调色板索引。
根据调色板表,将存在于块中的像素替换为索引,并且索引被编码并且被发送至解码装置。并且,当存在于块中的像素被指示为逃逸值(图5中的a5和a15)时,除了索引之外a5’和a15’被附加地量化和编码。另外,还对所使用的调色板表进行编码并且将所使用的调色板表发送至解码装置。
图6示出了根据本公开内容的基于调色板模式(palette mode)执行帧内预测的方法。
可以在块的单元(例如,编码单元、预测单元)中应用调色板模式,并且对于其,可以用信号通知表示是否在块的单元中使用调色板模式的标志信息(pred_mode_plt_flag)。换言之,当标志的值为1时,将调色板模式应用于当前块,而当标志的值为0时,不将调色板模式应用于当前块。
可以基于当前块的预测模式或当前块的大小中的至少一个对标志进行自适应编码/解码。例如,可以仅在当前块的预测模式为帧内模式的情况下,对标志进行编码/解码。可以仅在当前块的预测模式不是跳过模式的情况下,对标志进行编码/解码。可以仅在当前块的宽度或高度中的至少一个小于或等于预定的第一阈值大小的情况下,对标志进行编码/解码。此处,由于第一阈值大小是在编码/解码装置中预定义的值,因此第一阈值大小可以是16、32或64中的任何一个。可以仅在当前块的宽度和高度的乘积大于预定的第二阈值大小的情况下,对标志进行编码/解码。此处,由于第二阈值大小是在编码/解码装置中预定义的值,因此第二阈值大小可以是16、32或64中的任何一个。但是,第一阈值大小可以不同于第二阈值大小。在不满足上述条件中的任何一个的情况下,不对标志进行编码/解码,并且在这种情况下,可以将标志的值设置为0。
参照图6,可以配置当前块的调色板模式的调色板表S600。
调色板表可以配置有至少一个调色板条目以及标识每个调色板条目的调色板索引。可以通过使用先前块的调色板表(下文中称为先前调色板表)来确定当前块的调色板表。此处,先前块可以意指在当前块之前被编码或解码的块。
具体地,当前块的调色板条目可以包括预测调色板条目或用信号通知的调色板条目中的至少一个。当前块可以使用由先前块使用的调色板条目的全部或部分,并且因此,将在先前块中使用的调色板条目当中在当前块中重新使用的调色板条目称为预测调色板条目。
当前块可以使用先前调色板表的所有调色板条目。可替选地,当前块可以使用先前调色板表的调色板条目的一部分,并且对于其,可以使用指定是否重新使用调色板条目的标志(PalettePredictorEntryReuseFlag,下文中称为调色板预测标志)。将调色板预测标志的值分配给先前调色板表的每个调色板条目,并且调色板预测标志(PalettePredictorEntryReuseFlag[i])可以表示与先前调色板表中的调色板索引i对应的调色板条目是否被重新用于当前块的调色板表。例如,当调色板预测标志的值为1时,与先前调色板表中的调色板索引i对应的调色板条目被重新用于当前块的调色板表,而当调色板预测标志的值为0时,其不被重新使用。可以通过从先前调色板表中提取调色板预测标志的值为1的调色板条目并且将其顺序地排列来配置当前块的调色板表。
另一方面,可以在预定区域的单元中初始化当前块的调色板表。此处,预定区域可以意指当前图片的并行处理区域或CTU行。如果当前块属于CTU行的第一CTU,则可以将当前块的调色板表初始化为当前块所属的CTU的相邻CTU的调色板表。此处,相邻CTU可以意指当前块所属的CTU的上方位置处的CTU。换言之,可以基于第(N-1)个CTU行的第一CTU的调色板表来初始化第N个CTU行的第一CTU的调色板表。可以基于属于同一CTU行的先前块的调色板表来更新初始化的调色板表。上述实施方式仅仅是示例,并且将参照图7至图11详细描述配置当前块的调色板表的方法。
另一方面,可以以每个调色板条目的编码/解码标志的形式用信号通知调色板预测标志。可替选地,可以以基于游程长度编码的二进制向量的形式对调色板预测标志进行编码/解码。换言之,palette_predictor_run(指定非零调色板预测标志之间的零调色板预测标志的数量的语法)可以在指定是否重新使用先前调色板条目的调色板预测标志阵列中进行编码/解码。将参照图12对其进行详细描述。
可替选地,代替对游程长度进行编码,可以直接对调色板预测标志值进行编码。在这方面,将参照图13更详细地描述。
另外,当前块的调色板表可以附加地包括在比特流中用信号通知的调色板条目,并且此处,用信号通知的调色板条目可以意指当前块所使用的调色板条目当中在先前调色板表中未包括的调色板条目。可以在调色板表的预测调色板条目之后添加用信号通知的调色板条目。
参照图6,可以确定当前块中以像素为单位的调色板索引S610。
当前块可以通过使用索引模式或复制模式中的至少一个来确定调色板索引。
此处,索引模式可以意指在编码装置中对调色板索引信息(palette_idx_idc)进行编码以指定在当前块中使用的调色板索引的方法。解码装置可以基于编码的调色板索引信息得出当前像素的调色板索引。调色板索引信息具有0与(MaxPaletteIndex-1)之间的值,并且此处,MaxPaletteIndex可以意指当前块的调色板表的大小或配置调色板表的调色板条目的数量。在索引模式中,可以将在比特流中用信号通知的调色板索引信息的值分配给当前像素的调色板索引。
复制模式可以意指通过以预定扫描顺序使用相邻像素的调色板索引来确定当前像素的调色板索引的方法。此处,作为根据本公开内容的扫描顺序,可以使用水平方向扫描、竖直方向扫描、对角线方向扫描等,并且可以选择性地使用以上扫描中的任何一个。为此,可以对预定标志或索引进行编码/解码。例如,编码装置可以在将水平方向扫描应用为当前块的扫描顺序的情况下将标志编码为0,并且可以在将竖直方向扫描应用为当前块的扫描顺序的情况下将标志编码为1。解码装置可以根据编码标志自适应地确定当前块的扫描顺序。但是,并不限于此,将参照图17至图22详细描述以扫描顺序对调色板索引进行编码/解码的方法。
在复制模式中,可以基于相邻像素的调色板索引来预测当前像素的调色板索引,并且可以复制相邻像素的调色板索引并且将相邻像素的调色板索引原样设置为当前像素的调色板索引。此处,相邻像素可以意指与当前像素的上方、下方、左侧或右侧相邻的像素。特别地,相邻像素可以定位在与当前像素相同的水平线或相同的竖直线上。
例如,复制模式可以包括第一复制模式、第二复制模式和第三复制模式中的至少一者,第一复制模式是以与当前像素的调色板索引相同的方式使用与当前像素的上方或下方相邻的像素所使用的调色板索引;第二复制模式是以与当前像素的调色板索引相同的方式使用与当前像素的左侧或右侧相邻的像素所使用的调色板索引;以及第三复制模式是以与当前像素的调色板索引相同的方式使用与当前像素的对角线方向相邻的像素所使用的调色板索引。
另一方面,可以以当前块的扫描顺序选择性地使用上述第一复制模式至第三复制模式中的任何一者。例如,在当前块的扫描顺序是竖直方向扫描的情况下,可以应用第一复制模式,而在当前块的扫描顺序是水平方向扫描的情况下,可以应用第二复制模式。
另外,当前块的扫描开始位置不限于当前块的左上像素,并且当前块的其他角像素(例如,左下像素、右上像素、右下像素)可以用作扫描开始位置。因此,如上所述,根据当前块的扫描顺序和扫描开始位置,可以使用与上方或左侧相邻的像素相同的调色板索引,或者可以使用与下方或右侧相邻的像素相同的调色板索引。
可以选择性地使用上述索引模式和复制模式中的任何一者。例如,编码装置可以对表示是否使用复制模式的标志(run_copy_flag)进行编码。此处,如果使用复制模式,则编码装置可以将标志编码为1,否则(即,在使用索引模式的情况下),编码装置可以将标志编码为0。
参照图6,可以基于调色板表和调色板索引来预测当前块的像素S620。
具体地,可以从当前块的调色板表中提取具有与调色板索引相同值的调色板索引的调色板条目,并且利用其可以预测/重构当前块的像素。例如,从调色板表中提取的调色板条目的值可以被设置为当前块的像素的预测值或重构值。
但是,在调色板索引指示当前块的调色板表中的调色板条目的最后一个调色板条目的情况下,可以推断相应的像素是通过逃逸模式编码的。此处,逃逸模式可以意指基于调色板逃逸值来预测/重构像素的方法,该调色板逃逸值被附加地用信号通知而非使用预先配置的调色板表的调色板条目。因此,具有与(调色板条目的数量-1)相同值的调色板索引的像素可以通过使用附加地用信号通知的调色板逃逸值来预测/重构。
上述实施方式仅是示例,并且将参照图7至图11详细描述配置调色板表的各种方法。
图7至图11示出了根据本公开内容的配置调色板表的方法。
当通过调色板模式对当前块进行编码时,编码装置中使用的相同调色板表也应当存在于解码装置中。因此,应当在编码装置中对调色板表进行编码。因此,可以对调色板表中的调色板条目的数量进行编码,并且可以对分配给每个条目的像素的值进行编码。但是,对于这种方法,随着块的大小变得更大并且随着条目的数量增加,待编码的比特的量迅速增加。因此,如果在先前块中使用调色板模式,则可以通过基于先前块中所使用的调色板表来生成当前块的调色板表来极大地减少对调色板表进行编码所需的比特的量。此处,先前块意指在当前块之前被编码/解码的块。具体地,可以使用以下标志中的至少一个:表示当前块的调色板表是否基于先前调色板表来配置的标志、或者表示在先前块的调色板表中包括的条目是否将被添加到当前块的调色板表的调色板预测标志。
图7是通过使用调色板预测标志来减少调色板表中当前要编码的比特的数量的方法。
在图7中,调色板表A可以表示在当前块之前通过使用调色板模式编码的块中存在的调色板表。在调色板表A中,通过使用调色板预测标志,可以指定每个条目是否原样用于当前调色板表。例如,如果调色板预测标志为1,则其可以意指相应条目原样用于当前调色板表,并且如果调色板预测标志为0,则其可以意指相应条目不用于当前调色板表。可以将分配给从调色板表A预测的条目的索引设置为与分配给调色板表A的索引相同。可替选地,可以以分配给调色板表A中的每个条目的索引的升序/降序来重新分配每个条目的索引。
在图7的示例中,在当前调色板表中使用第一条目、第三条目和第五条目,因此第一条目、第三条目和第五条目可以按顺序放入当前调色板表中的第一条目至第三条目,并且仅第四条目至第五条目可以被配置为新条目。这样的方法可以首先对调色板预测标志进行编码,并且对其余条目的数量(对于图7的示例为2:当前调色板表中的第四条目和第五条目)进行编码。随后,可以对与其余条目的数量一样多的其余条目进行编码。通过将信息发送至解码装置,解码装置还可以生成与编码装置相同的调色板表以及对当前块进行预测/重构。
在该情况下,当前调色板表的大小(条目的数量)可以与先前调色板表的大小不同。图8是关于先前调色板表的大小大于当前调色板表的大小的情况的示例。在这种情况下,可以首先对当前调色板表的大小进行编码。在示例中,可以将表示在当前调色板表中包括的条目的数量的信息或者表示与先前调色板表的大小的差值的信息中的至少一个编码在比特流中并且发送至解码装置。
在针对在先前表中包括的每个条目顺序地编码调色板预测标志但是具有值为1的调色板预测标志的数量达到当前调色板表的大小的情况下,可以省略对其余条目的调色板预测标志的编码。在图8中,对于调色板表B的最后一个条目(像素:a8),与其对应的调色板预测标志可以不被编码。
可替选地,可以限制可以通过使用调色板预测标志而带来的条目的数量(下文中称为预测的最大数量)。在示例中,可以在比特流中用信号通知关于预测的最大数量的信息。可替选地,可以基于调色板表的大小、当前块的大小/形状、先前块的大小/形状或先前调色板表的大小中的至少一个来确定预测的最大数量。
在示例中,可以执行以下方法:通过以当前调色板表的大小的某个比率使用调色板预测标志来从先前调色板表中引入条目,并且强制在当前调色板表中生成其余比率。例如,在当前调色板表的大小为6且比率被设置为50%时,可以通过使用调色板预测标志从先前调色板表中引入多达3个条目,并且可以强制在当前调色板表中生成其余3个条目。因此,当调色板预测标志的值为1的条目达到3时,可以省略对其余条目的调色板预测标志的编码。
可替选地,在先前块的大小小于预设阈值的情况下,在先前块的调色板表中包括的调色板条目可以被设置为不被添加到当前块的调色板表中。换言之,在先前块的大小小于预设阈值的情况下,可以省略对先前块的调色板条目的调色板条目预测标志的编码,并且该值可以被推断为0。
在示例中,在阈值为16并且先前块中所包括的样本的数量小于16的情况下,可以不将先前块的调色板条目添加至当前块的调色板表中。
阈值可以被编码在更高的报头中并且被发送至解码器。可替选地,可以在编码器和解码器中使用固定阈值。
可替选地,根据先前块的大小,可以确定可以从先前块的调色板表中添加到当前块的调色板表中的调色板条目的数量。
可替选地,可以从多个先前调色板表预测将包括在当前调色板表中的条目。在示例中,以下方法也是可能的:在通过使用在第一先前调色板表中包括的条目中的每一个条目的预测标志将条目引入当前调色板表但具有值为1的调色板预测标志的数量小于当前调色板表的大小的情况下,通过使用进一步在第一先前调色板表之前的第二先前调色板表连续地分配调色板预测标志。
图9是关于先前调色板表的大小小于当前调色板表的大小的情况的示例,并且同时是关于通过使用调色板预测标志生成的条目的比率被设置为50%的情况的示例。
因为当前调色板表的大小是6,所以通过使用调色板预测标志生成的条目的数量是3。因此,通过使用先前调色板表来分配调色板预测标志,直至存在3个调色板预测标志为1。在图9中,先前调色板表A至C是按当前块之前的块的编码顺序引入通过调色板模式编码的块中的调色板表的示例。在这种情况下,当从先前调色板表中引入条目时,重复条目不分配调色板预测标志。在图9中,先前调色板表B中的a0被指示为先前调色板表A中的调色板预测标志,因此在先前调色板表B中不另外分配调色板预测标志。并且,先前调色板表C中的a5已经被指示为先前调色板表B中的调色板预测标志,因此在先前调色板表C中不另外分配调色板预测标志。
另外,所参考的先前调色板表的数量可以被编码装置和解码装置用作固定值,或者可以通过较高报头来传送。
可替选地,可以通过考虑先前调色板表的大小来确定在生成当前调色板表时是否可以参考。在示例中,仅在先前调色板表的大小等于或大于阈值或者先前调色板表的大小与当前调色板表的大小相同的情况下,可以确定在生成当前调色板表时参考可用。
可替选地,可以通过考虑包括在第一先前调色板表中的条目和包括在第二先前调色板表中的条目的索引来确定调色板预测标志的编码顺序。在示例中,在对第一先前调色板表中包括的索引为0的条目的调色板预测标志进行编码之后,可以对第二先前调色板表中包括的索引为0的条目的调色板预测标志进行编码。随后,在对第一先前调色板表中包括的索引为1的条目的调色板预测标志进行编码之后,可以对第二先前调色板表中包括的索引为1的条目的调色板预测标志进行编码。
可替选地,可以对调色板表候选列表进行配置,并且可以在对当前调色板表进行编码时使用在调色板表候选列表中包括的多个先前调色板表候选中的至少一者。图10是通过使用调色板预测标志来减少调色板表中当前要编码的比特的量的方法。在图10中,RT意指块中右上位置处的像素并且LB意指块中左下位置处的像素。例如,在图10中,可以参考5个周围块(即分别包括像素A至像素E的块)中的至少一个。随后,可以将所参考的块指示为索引、对其进行编码并将其发送至解码装置。可替选地,可以仅参考分别包括上述像素A至像素E的块之中的位于编码/解码装置中的预定义位置处的块。此处,预定义位置可以是上方块(B)或左侧块(A)。在这种情况下,可以省略对指定参考块的索引的编码。
可以通过仅使用与索引对应的块的调色板条目来初始化/配置当前块的调色板表。
可替选地,如果通过仅使用所参考块的调色板表而未将当前块的调色板表填充为超过阈值,则可以以与图9中的方法类似的方式基于附加索引来另外指定块以对当前要编码的调色板表进行填充。在这种情况下,编码/解码装置可以参考预先约定的固定数量的块,并且可以通过较高报头来传送指定参考块的数量的信息。可替选地,以下方法是可能的:编码/解码装置根据块的大小/形状或调色板表的大小以相同方式参考固定数量的周围块。可替选地,以下方法也是可能的:除了图10中的位置之外,将按编码顺序在当前块之前的通过调色板模式编码的M个块指定为索引,以从相应块引入调色板表。可替选地,以下方法也是可能的:将包括在并置图片中的块指定为索引以从相应块引入调色板表。
可替选地,通过使用BV(块矢量)来参考在由BV指定的块中预先使用的调色板表的方法也是可能的。
图11是关于设置BV的方法的示例。在当前块周围的重构区域中设置水平搜索范围和垂直搜索范围之后,在所设置的搜索范围内搜索与当前块最相似的区域。随后,确定被确定为最相似的区域,并且如果在相应区域中存在通过调色板模式编码的区域,则可以以与图9中的方式类似的方式从相应的调色板表中获得调色板条目。在这种情况下使用的调色板表的数量可以是1个或者可以是多个。
对所确定的BV进行编码并将其发送至解码装置。随后,在通过在解码装置中使用相同的BV找到与当前块最相似的区域之后,可以通过使用相应区域的调色板表来引入与当前块最相似的区域,以与编码装置相同的方式对调色板表进行设置。
可替选地,可以基于相邻块的BV对BV进行编码。例如,如果在当前块周围使用了利用BV的编码方法,则可以通过与当前块合并来使用相应的BV。在这种情况下,参考BV的位置可以包括图10所示的块或者并置图片中所包括的并置块中的至少一个。以与图10中的方式类似的方式设置参考BV的位置,将所参考的位置指示为索引并且对其进行编码并将其发送至解码装置。可替选地,可以根据位置确定优先级而不被指示为索引。例如,以下方法也是可能的:在图10中按A->B->C->D->E的顺序确定优先级之后,将BV从BV被确定为首先存在的位置引入并用于当前块。
可替选地,可以将相邻块的BV设置为BV的预测值,并且可以对标识所述相邻块的索引以及BV与预测值之间的差值进行编码并将其发送至解码装置。
可替选地,配置调色板表候选列表的方法也是可能的。从图像的第一位置处的块开始到刚好在当前块之前,将所有使用的调色板表存储在候选列表中。可替选地,在设置了要存储在候选列表中的表的数量N之后,将N个调色板表存储在候选列表中。换句话说,如果对块的编码完成,则可以将编码块的调色板表存储在候选列表中。在这种情况下,在存在与要添加至候选列表的调色板表相同的调色板表候选的情况下,可以不将该调色板表添加至候选列表。可替选地,可以将该调色板表添加至候选列表,并且可以从候选列表中删除与该调色板表相同的调色板表候选。
在这种情况下,存储候选列表中的调色板表候选的方法可以随着其靠近当前块而具有较高优先级并且可以随着其远离当前块而具有较低优先级。可替选地,可以根据调色板表的大小或参考频率等设置优先级。根据该优先级,当所存储的表的数量超过N时,可以从候选列表中删除具有最低优先级的调色板表。
可替选地,在并行处理结构中,针对并行地进行处理的每个区域单独配置调色板表列表的方法也是可能的。可替选地,针对区域中的每个CTU行单独配置调色板表列表的方法也是可能的。在这种情况下,在单独地执行每个并行处理的每个区域具有调色板表列表的情况下,在区域的开始部分的调色板表列表中存储的调色板表可能非常少。因此,针对执行每个并行处理的每个区域,也可以对预设的初始调色板表进行填充,而不是从头开始填充调色板表。例如,如图6所示,初始调色板表可以是先前CTU行中的第一CTU的调色板表。可替选地,预设的初始调色板表可以是从整个图像得出的调色板表,而不是如图3中那样以块为单位得出的调色板表。在这种情况下,从整个图像得出的调色板表中的每个条目的值可以与条目的数量一起通过较高报头进行编码。可替选地,在对初始调色板表进行配置时,也可以将根据像素的表示比特进行量化的值设置为条目值。例如,在将8比特像素量化为5(5个条目)时,0~255可以被划分为5个区域并且可以被设置为条目并通过使用每个区域的代表性值来进行编码。可替选地,如果0~255被均匀地量化,则可以通过较高报头仅对它们被均匀地量化的信息以及表示它们被量化了多少的信息进行编码。
可替选地,用调色板表所包括的条目来配置调色板条目候选列表的方法也是可能的。可以将编码块的调色板表中包括的条目添加至条目候选列表。在这种情况下,在调色板表中包括的条目之中,仅索引小于阈值的条目可以被包括在条目候选列表中。在当前块的调色板表中包括的条目的数量小于最大数量的情况下,可以通过参考调色板条目候选列表中包括的候选条目来配置调色板表。
可以将在编码/解码块的调色板表中包括的调色板条目添加至调色板条目候选列表。在将新的调色板条目添加至调色板条目候选列表时,可以将最小索引分配给新添加的调色板条目。并且,可以通过将新添加的调色板条目的数量添加至预先存在于调色板条目候选列表中的调色板条目的索引来更新预先存在的调色板条目的索引。
随着新的调色板索引被添加,当调色板条目候选列表所包括的调色板条目的数量超过最大值时,可以按索引的降序从调色板条目候选列表中移除预先存在的调色板条目。
图12是示出将调色板条目添加至调色板条目候选列表的示例的图。
在基于调色板预测标志对调色板表进行配置之后,可以通过使用经配置的调色板表来对块进行编码/解码。当块的编码/解码完成时,可以将调色板表中包括的调色板条目添加至调色板条目候选列表。
在示例中,当调色板表包括a0、a2、a4、a5和a7时,可以将调色板条目添加至调色板条目候选列表。
如果与要添加至调色板条目候选列表的调色板条目相同的调色板条目已经存储在调色板条目候选列表中,则可以不将冗余调色板条目添加至调色板条目候选列表。
可替选地,如果与要添加至调色板条目候选列表的调色板条目相同的调色板条目已经存储在调色板条目候选列表中,则可以从调色板条目候选列表中移除预先存储的调色板条目,并且可以将冗余调色板条目添加至调色板条目候选列表。
在上述示例中,描述了将编码/解码块的调色板表中包括的所有调色板条目添加至调色板条目候选列表。
为了降低调色板条目候选列表配置的复杂度,可以仅将调色板条目之中其索引等于或小于阈值的那些调色板条目添加至调色板条目候选列表。
可替选地,在块的大小小于预设阈值的情况下,可以不将调色板表中包括的调色板条目添加至调色板条目候选列表。另一方面,在块的大小等于或大于预设阈值的情况下,可以将调色板表中包括的调色板条目添加至调色板条目候选列表。
阈值可以被编码在较高报头中并被发送至解码器。可替选地,可以在编码器和解码器中使用固定阈值。
对于调色板预测标志,可以使用游程长度编码方法。当相同数据连续时,其被称为游程并且该连续长度被表示为游程长度。例如,当存在字符串aaaaaabbccccccc、a是6个、b是2个并且c是7个时,所述字符串可以被表示为6a2b7c。这样的编码方法称为游程长度编码方法。当通过使用游程长度编码对调色板预测标志进行编码时,可以将它们表示为0的数量、1的数量等。可替选地,可以仅对0执行游程长度编码,并且相反地,也可以仅对1执行游程长度编码。
图13示出了作为应用本公开内容的实施方式的以基于游程长度编码的二进制矢量的形式用信号通知调色板预测标志的方法。
在本实施方式中,假定先前块的调色板表使用调色板索引为0至7的8个调色板条目。
图像编码装置针对先前块的第0号至第7号调色板条目中的每个调色板条目确定是否将相应调色板条目重新用作当前块的调色板条目,并且如果将相应调色板条目重新用作当前块的调色板条目,则可以将针对相应调色板条目的调色板预测标志的值设置为1,否则,可以将针对相应调色板条目的调色板预测标志的值设置为0。例如,如图13所示,在先前块的调色板条目之中的第0号、第1号、第3号和第7号调色板条目被重新用作当前块的调色板条目并且其它调色板条目未被重新使用的情况下,可以生成被表示为11010001的二进制矢量。
接下来,可以通过图像解码装置编码并用信号通知二进制矢量中的1的数量(即,先前块的调色板条目之中重新用作当前块的调色板条目的调色板条目的数量)或二进制矢量中在1之前的0的数量中的至少一者。例如,二进制矢量中的1的数量为4,因此4可以被编码为先前块中重新用作当前块的调色板条目的调色板条目的数量。此外,二进制矢量中在1之前的0的数量,即0、0、1、3可以被顺序编码。
解码装置可以从编码装置接收关于先前块中重新用作当前块的调色板条目的调色板条目的数量的信息或关于二进制矢量中在1之前的0的数量的信息(palette_entry_run)中的至少一者,并且可以通过使用所接收的信息来配置当前块的调色板表。
例如,解码装置可以从比特流中顺序地提取关于二进制矢量中在1之前的0的数量(即0、0、1、3)的信息(palette_entry_run),并且使用该信息来重构表示先前块的调色板条目是否被重新使用的二进制矢量(即11010001)。当在重构二进制矢量的过程中生成值1的情况下,可以将先前块中对应于值1的调色板条目插入到当前块的调色板表中。在这样的过程中,可以从先前块的调色板表中选择性地重新使用一些调色板条目以对当前块的调色板表进行配置。
在不进行游程长度编码的情况下,可以逐像素对调色板预测标志的值直接编码。在这种情况下,可以在不使用上下文信息的情况下对调色板预测标志进行编码。不使用上下文信息的编码方法可以被定义为旁路编码(Bypass coding)。
在另一示例中,可以通过使用上下文信息来对调色板预测标志进行编码。当使用上下文信息时,可以基于先前调色板预测标志的值来确定调色板预测标志的值为1或0的可能性。
图14示出了通过使用上下文信息来对调色板预测标志进行编码的示例。
在对调色板预测标志进行编码时可以使用变量PREV_POS,变量PREV_POS表示调色板预测标志的值被设置为0的样本之中具有最高扫描顺序的样本的扫描顺序。具体地,可以通过从当前样本的扫描顺序中减去变量PREV_POS和1来得出上下文信息索引值,并且可以通过使用得出的上下文信息索引值来对调色板预测标志进行编码。
在这种情况下,当对第一调色板预测标志进行编码时,不存在经预编码的调色板预测标志,因此可以将变量PREV_POS的值设置为初始值(例如,0)。因此,对于第一调色板预测标志,可以将上下文信息索引值设置为-1。
每当对其值为0的调色板预测标志进行编码时,可以更新变量PREV_POS。另一方面,当对其值为1的调色板预测标志进行编码时,可以维持变量PREV_POS。
在图14所示的示例中,针对其扫描顺序为7的样本,示出了变量PREV_POS的值为2。因此,可以将其扫描顺序为7的样本的上下文信息索引设置为4。当对其扫描顺序为7的样本的调色板预测标志进行编码时,可以根据上下文信息索引的值来确定调色板预测标志的概率,并且可以基于所确定的概率对调色板预测标志进行编码。
在图14中,描述了变量PREV_POS表示调色板预测标志的值为0的样本的位置,但是也可以将变量PREV_POS设置为表示调色板预测标志的值为1的样本的位置。
图15是示出上下文信息索引的范围的示例。
上下文信息索引的最大值可以被设置为不超过预定义的阈值。当通过减去变量PREV_POS和1而得出的值超过当前样本的位置处的阈值时,可以将上下文信息索引的值设置为最大值。在图15中,示出了最大值为4。
上下文信息索引的最小值可以被设置为不小于预定义的阈值。当通过减去变量PREV_POS和1而得出的值小于当前样本的位置处的阈值时,可以将上下文信息索引的值设置为最小值。在图15中,示出了最小值为0。
可以在编码器和解码器中定义上下文信息索引的最大值和/或最小值。可替选地,可以在比特流中用信号通知表示上下文信息索引的最大值和/或最小值的信息。
代替以块为单位设置调色板表,可以以预设大小的区域为单位应用调色板编码。具体地,可以在将块划分为多个区域之后,针对每个区域得出调色板表。
图16示出了以预设大小的区域为单位定义调色板表的示例。
图16(a)中的示例表示块大小为16×4的情况,并且图16(b)中的示例表示块大小为8×8的情况。为了便于描述,假设对块应用水平方向扫描。
块可以被划分为预定大小的区域。在示例中,当预定大小为16时,可以以16个像素为单位将块划分成多个区域。在示例中,在图16(a)的示例中,示出了将块划分成16×1大小的区域,并且在第二示例中,示出了将块划分成8×2大小的区域。
可以以区域为单位生成调色板表,并且可以通过使用每个区域的调色板表来对每个区域进行编码/解码。可以顺序地对多个区域进行编码/解码。在先前区域的调色板表中包括的调色板条目可以用作后续区域的预测调色板条目。
可以在编码器和解码器中预定义区域的大小和/或形状。可替选地,可以基于块的大小或形状、调色板表的大小、比特深度、是否跳过变换或是否应用无损编码中的至少一者来确定区域的大小和/或形状。可替选地,可以对表示区域的大小和/或形状的信息进行编码并将其传送至解码装置。
图17至图22示出了根据本公开内容的按扫描顺序对调色板索引进行编码/解码的方法。
在对调色板表进行编码之后,还应当对分配给当前块的每个像素的调色板索引进行编码。图17是关于在当前块中执行的扫描顺序的示例。
图17所示的扫描顺序的主要目的是通过考虑方向性来进行扫描。如果当前块中的像素的特征在如图17(a)的水平方向或垂直方向上具有与类似的值,则这增加了当如图17(a)中那样执行扫描时相同索引将聚集的可能性。可替选地,如果块中的像素的特征在如图17(b)的z字方向或对角线方向上具有类似的值,则这增加了当如图17(b)中那样执行扫描时相同索引将聚集的可能性。
在编码装置中,可以将使用哪种扫描方法指示为索引、对其进行编码并将其发送至解码装置。可替选地,可以根据当前块的大小或形状来确定扫描顺序。在这样的扫描方法中聚集具有相同值的索引之后,可以通过执行游程长度编码来提高编码效率。
可替选地,使用固定扫描方法,但是可以在将当前块旋转之后执行游程长度编码。编码装置可以对表示当前块是否被旋转的信息进行编码并将其发送至解码装置。可替选地,可以根据当前块的大小或形状来确定当前块是否被旋转。
并且,可以对表示每个块是否存在逃逸值的信息进行编码。如果存在逃逸值,则可以使用任何固定位置处的索引例如最后一个索引或第一个索引等指示相应位置处的像素是逃逸值。在这种情况下,以下方法也是可能的:如在图3中那样原样使用所得出的调色板表的大小,但是仅在存在逃逸值的情况下通过将调色板表的大小增加1来分配索引。可替选地,以下方法也是可能的:指示表示块中的各个像素是否是逃逸值的信息,并且仅在块中的各个像素不是逃逸值的情况下使用调色板表的索引。在对逃逸值进行编码时,可以使用有损编码方法和无损编码方法两者。增加关于是否执行无损编码的信息,并且如果在对逃逸值进行编码的情况下,如果关于是否执行无损编码的信息指示执行有损编码,则将逃逸值量化、编码并发送至解码装置。在这种情况下,可以另外对表示逃逸值将被量化的程度的信息(例如,量化参数)进行编码,并且也可以对经量化的逃逸值进行编码。如果关于是否执行无损编码的信息指示执行无损编码,则可以在不进行量化的情况下对逃逸值进行编码并将其发送至解码装置。
图18是关于对当前块中的调色板索引进行编码的情况的示例。在这种情况下,为了便于描述,在假设应用水平方向扫描的情况下进行描述。应当被编码并发送至解码装置的信息需要游程长度编码开始的初始索引以及紧随初始索引的游程长度。在图18中,除了逃逸值之外,初始索引按顺序为0、1、0、2、3、2、3、2、2、1、0。并且,除了起始索引之外,根据各个起始索引的游程长度为6、4、3、5、10、1、4、4、3、3、9。可以像其他索引一样通过使用初始索引和游程长度来对逃逸值进行编码。可替选地,可以通过使用表示每个对应像素位置是否为逃逸值的信息来执行编码。例如,仅在确定每个对应像素位置不是逃逸值的情况下,可以通过使用初始索引和游程长度来执行编码,并且在确定每个对应像素位置是逃逸值的情况下,可以直接对逃逸值进行编码而无需使用初始索引和游程长度。
可替选地,可以从先前行复制索引。图19是关于从先前行复制索引的情况的示例。
在对初始索引3进行编码时,在正上方存在相同的索引。在这种情况下,在对初始索引进行编码之前,可以首先对表示是使用常规游程长度编码还是从先前行中包括的像素复制索引的信息进行编码。根据扫描顺序,先前行中包括的像素可能位于上方行、下方行、左列、右列或左上角。随后,在通过所述信息确定要从先前行进行复制的情况下,可以仅对包括初始索引的游程长度进行编码而无需对初始索引进行编码。例如,如果使用常规方法,则可以对不从先前行复制索引的信息和初始索引3进行编码,并且可以对游程长度4进行编码。如果应用从先前行复制的方法,则可以仅对从先前行复制索引的信息和游程长度5进行编码。在这种情况下,可以对表示是否从先前行复制索引的信息编索引并将其指示为可以从多行复制的内容。例如,如果所编索引为0,则可以使用常规游程长度编码方法而不使用该方法,如果所编索引为1,则可以使用从先前行复制的方法,并且如果所编索引为2,则可以使用从相距2行复制行的方法。针对这样的方法,可以使用以下方法:在当前要编码的游程长度和初始索引存在于同一水平位置的情况下,通过仅利用索引指示垂直位置来进行复制。
如果不在同一水平位置,则可以通过使用矢量来表示从哪个区域进行复制。图20是关于所述矢量的示例。
在这种情况下,编码/解码装置可以通过设置相同的规则来使用矢量的起始点和结束点。在图20中,如果矢量在基于当前起始点的向左或向上方向上,则将矢量表示为负数,如果矢量在向右或向下方向上,则将矢量表示为正数。但是,对于水平方向扫描,按扫描顺序y分量矢量始终为负数,因此对于y分量可以不对符号进行编码。在另一示例中,对于垂直方向扫描,按扫描顺序x分量矢量始终为负数,因此对于x分量可以不对符号进行编码。
可替选地,可以去除常规的连续游程长度编码方法之间的冗余。例如,图19的块中的索引按扫描顺序表示为000000011111……。通过游程长度编码,这样的索引可以被表示为初始索引0、游程长度6、初始索引1、游程长度4……。由于具有与初始索引相同的值的像素的数量由游程长度表示,因此第N个初始索引可能具有与先前初始索引不同的值。在示例中,当初始索引为1时,这意指先前顺序的初始索引不是1。通过这种方式,可以通过针对除先前初始索引外的其余索引重新分配索引值来执行游程长度编码。在示例中,原始值小于先前初始索引的原始值的索引保持其值,并且将从原始值减去1的值重新分配给原始值大于先前初始索引的原始值的索引。此处,原始值表示重新分配之前的索引值,而不是重新分配的索引值。在示例中,如果先前初始索引为1,则索引0保持索引值,而索引1至索引3可以被分配给其索引大于1的索引2至索引4。
在这被应用于该示例时,在该示例中,表示为初始索引0、游程长度6、初始索引1、游程长度4……的方法可以被改变为初始索引0、游程长度6、初始索引0、游程长度4……。
在解码装置中,在对第二初始索引0解码之后,可以在与先前初始索引进行比较的过程中与编码装置相反地通过增加初始索引来重构初始索引的原始值。在示例中,如果初始索引的值小于先前初始索引的原始值,则可以照原样将初始索引的值设置为初始索引的原始值。另一方面,如果初始索引的值等于或大于先前初始索引的原始值,则可以将初始索引的值加1的值设置为初始索引的原始值。
在从先前行复制的方法中也可以以相同的方式通过重新分配初始索引的值来去除冗余。在对初始索引进行编码时,如果先前初始索引和相应的游程长度是从先前行复制的,则先前行中与当前初始索引相同位置处的值应当不同于当前初始索引。如果它们是相同的,则将通过将当前初始索引与从先前行复制的方法结合来表示游程长度,这是对先前初始索引进行编码的方法。因此,类似地,可以通过减小值来执行编码。
图21是关于同时应用帧内预测和调色板模式的方法的示例。在图21中,针对每个位置指示索引和对应像素。
例如,将表示使用帧内预测的信息分配给调色板表的索引0。随后,将通过使用当前块周围的重构像素执行帧内预测的值分配给由索引0指示的像素位置。在对表示是针对每个块使用常规调色板模式的方法还是使用与帧内预测组合的方法的信息进行编码之后,如果确定使用组合方法,则可以通过使用索引来确定使用哪种帧内预测。根据所使用的帧内预测模式的数量,可以照原样对模式本身进行编码并且还可以通过使用MPM(最可能模式)对模式本身进行编码。可替选地,也可以通过使用默认帧内模式对帧内预测模式进行编码。默认模式可以包括平面模式、DC模式、水平模式、垂直模式中的至少一者。
图22是关于将调色板模式和通过使用图11中描述的BV而搜索的块组合的情况的示例。
例如,将表示其是使用BV的像素的信息分配给调色板表的索引0。随后,针对指示为索引0的像素位置,将通过使用BV而搜索的块中的相同位置处的像素分配给索引0的位置。在对表示是针对每个块使用常规调色板模式的方法还是使用利用BV的组合方法的信息进行编码之后,如果确定使用组合方法,则将与BV相关的信息发送至解码装置。在得出BV时,如图10中那样将周围块中的BV当中使用哪个BV指定为索引的方法是可能的,或者将BV直接编码并发送至解码装置的方法也是可能的。可替选地,以下方法也是可能的:在按图10中的顺序A->B->C->D->E确定优先级之后,从确定BV最先存在的位置引入BV并将其用于当前块。在这种情况下,不必对与BV相关的信息进行编码。
可以将表示帧内预测的索引或表示BV的使用的索引分配给调色板表中的预定义位置。在示例中,如图21和图22所示,可以将所述索引设置为调色板表的第一个,并且与所示示例相反,可以将所述索引设置为调色板表的最后一个。可替选地,可以基于帧内预测模式的值/角度、BV的大小、块的大小/形状或相邻块的帧内预测模式中的至少一者来确定分配给索引的值。可替选地,在对逃逸值进行编码时,可以使用利用帧内预测的方法或利用BV的方法。例如,可以根据所使用的帧内预测模式从周围的重构像素引入值并且可以用逃逸值代替所述值,或者可以从通过使用BV而搜索的块引入相同位置处的值并且可以用逃逸值代替所述值。可替选地,将这些值用作预测值而不是用逃逸值代替并且仅编码和传送差值的方法也是可能的。可以照原样对该差值进行编码或者也可以在执行量化之后对该差值进行编码。
可以针对亮度分量和色度分量单独配置调色板表。
在另一示例中,根据亮度分量及色度分量的树结构,可以针对亮度分量及色度分量配置整合调色板表,或者可以针对亮度分量及色度分量单独配置调色板表。
图23示出了配置整合调色板表的示例,并且图24示出了针对亮度分量和色度分量分别配置调色板表的示例。
在亮度分量和色度分量的树类型是单个树的情况下,可以针对亮度分量和色度分量配置整合调色板表。
可以将亮度分量像素值和色度分量像素值的组合分配给整合调色板表中的调色板条目。在示例中,在图23所示的示例中,可以将亮度分量Y的像素值、色度分量Cb的像素值以及色度分量Cr的像素值的组合分配给调色板条目。
在从整合调色板表中选择调色板条目时,可以将分配给所选调色板条目的亮度分量像素值和色度分量像素值各自分别设置为亮度分量像素的预测值或重构值以及色度分量像素的预测值或重构值。
在亮度分量和色度分量的树类型是双树的情况下,可以针对亮度分量和色度分量分别配置调色板表。在这种情况下,在预测亮度块时可以使用亮度分量的调色板表,并且在预测色度块时可以使用色度分量的调色板表。
亮度分量的调色板表的配置可以与色度分量的调色板表的配置相互独立。在这种情况下,可以将亮度分量调色板表的大小设置为与色度分量调色板表的大小相同。
可替选地,可以独立地设置亮度分量调色板表和色度分量调色板表的大小。在这种情况下,可以针对亮度图像和色度图像分别用信号通知表示调色板表的大小的信息。表示色度图像的调色板表的大小的信息可以表示亮度图像的调色板表的大小与色度图像的调色板表的大小之间的差值。
针对亮度分量和色度分量分别配置调色板表,但是可以针对两个色度分量(Cb,Cr)配置整合调色板表。可替选地,可以针对两个色度分量(Cb,Cr)分别配置调色板表。
可以针对较高报头来编码表示是否将针对亮度分量和色度分量配置整合调色板表的信息。较高报头包括视频参数集、序列参数集、图片参数集、图片报头或切片报头中的至少一者。
图23和图24的示例示出了Y分量、Cb分量和Cr分量,但是上述实施方式也可以应用于R分量、G分量和B分量。
在以上描述中,描述了以像素为单位分配调色板索引。根据本公开内容的实施方式,可以以包括多个像素的区域为单位分配调色板索引。在这种情况下,包括在任何区域中的多个像素可以具有相同的预测值或重构值。
图25和图26示出了以预定区域为单位分配调色板索引的示例。
代替针对每个像素分配调色板条目,可以针对包括多个样本的每个区域分配调色板条目。在这种情况下,可以对分配给每个区域的调色板条目进行编码并将其发送至解码装置。
分配有调色板条目的区域可以具有正方形形状。在示例中,如在图25所示的示例中,可以以2×2区域为单位来分配调色板条目。
可替选地,可以将一行或一列设置为调色板条目的分配单元。
可替选地,可以基于当前块的大小或形状、相邻块的帧内预测模式或调色板表的大小中的至少一者来确定分配有调色板条目的区域的大小或形状。
在示例中,在当前块是8×8大小的正方形块的情况下,如在图25所示的示例中,可以以2×2区域为单位来分配调色板条目。另一方面,在当前块是8×4大小的非正方形块的情况下,如在图26所示的示例中,可以以4×1或1×4为单位来分配调色板条目。
可替选地,可以对表示区域的大小或形状中的至少一者的信息进行编码并将其发送至解码装置。在示例中,所述信息可以是指定具有不同大小或不同形状的多个候选之一的索引。
可以通过解码装置来编码并用信号通知表示是否以区域为单位分配调色板索引的信息。在确定以区域为单位分配调色板索引的情况下,可以按照区域确定调色板条目。另一方面,在确定不以区域为单位分配调色板索引的情况下,可以按照像素确定调色板条目。可以通过块级、切片报头、图片报头、图片参数集或序列参数集来用信号通知所述信息。
在另一示例中,可以基于当前块的大小或形状、相邻块的帧内预测模式或调色板表的大小中的至少一者来确定是否以区域为单位分配调色板索引。
在调色板条目指示针对其分配了相应调色板条目的像素的重构值的情况下,可以针对当前块省略对残差值的编码和解码。因此,当应用调色板模式时,可以省略表示当前块中是否存在非零残差系数的信令cbf_flag并且可以将该值设置为0。
在上述实施方式中,描述了将调色板条目设置为针对其分配了相应调色板条目的像素的预测值或重构值。
根据本公开内容的实施方式,可以使用调色板表对当前块的残差值进行编码/解码。在示例中,在针对帧内预测或帧间预测生成预测像素以及通过从原始像素减去预测像素来生成残差像素时,可以对与残差像素对应的调色板条目而不是残差像素进行编码。
在下文中,将详细描述通过使用调色板表来对残差值进行编码的方法。
在使用调色板模式对残差像素进行编码时,可以将当前块中频繁生成的残差像素指示为特定索引,并且可以对该特定索引而不是残差像素进行编码并将其发送至解码装置。
在根据残差像素的频率分配量化区和索引时,与图3中描述的实施方式相同。在示例中,在将调色板模式应用于残差像素时,图3中的横轴可以表示残差像素的值并且纵轴可以表示残差像素值的频率。
在示例中,在图3所示的示例中,在假设与量化区中用粗线标记的部分对应的残差像素的值分别为a40、a20、a8、a31的情况下,可以将它们中的每一个设置为一个调色板条目,并且可以针对每个调色板条目分配不同的索引。
可以基于残差像素的频率来确定调色板表中的调色板条目的排列顺序。在示例中,可以将最小索引分配给具有最高频率的残差像素。
此外,对于未包括在量化区中的逃逸值,可以直接对该值进行编码并将其发送至解码装置。但是,用于通知残差像素的值是逃逸值的调色板条目可以被包括在调色板条目中。
图27是关于通过使用调色板表将块中的像素分配给索引的过程的示例。
为了便于描述,假设如图27(a)所示的示例那样配置调色板表。
根据调色板表用索引替换存在于块中的残差像素,并且对索引进行编码并将其发送至解码装置。并且,在其被指示为逃逸值(在图27(b)的示例中为a50、a62)的情况下,除了索引之外还对另外量化的a50和a62进行编码。另外,还对所使用的调色板表进行编码并将其发送至解码装置。
图6至图26中描述的实施方式还可以应用于调色板索引的编码/解码以及残差像素的调色板表的编码/解码。
在图3所示的示例中,描述了基于具有高频率的像素来设置量化区,并且用具有最高频率的像素来替换量化区中的像素。
在将无损编码应用于当前图像时,调色板表的生成方面可以与描述不同。在示例中,在将无损编码应用于当前图像时,可以省略通过使用量化区来设置代表性值的处理。替代地,可以针对当前块中其频率等于或大于1的所有像素值中的每个像素值分配索引。在这种情况下,调色板条目的最大数量可以是当前块中的像素的数量。
在另一示例中,根据当前块中像素值的出现频率,可以生成多达N个调色板条目。在N个调色板条目之中,可以通过使用调色板索引对具有高出现频率的(N-1)个像素值进行编码。对于其它像素值,可以对与逃逸值对应的索引以及逃逸值进行编码。
可以使用在编码器和解码器中预定义的调色板表。
图28示出了使用在编码器和解码器中预定义的调色板表的示例。
图28中所示的调色板表用于对残差值进行编码,但是即使在将调色板表用于得出样本的预测值或重构值的情况下,也可以将调色板表预先存储在编码器和解码器中。
在使用在编码器和解码器中预定义的调色板表的情况下,不必针对每个块对调色板表进行编码。
预定义的调色板表意指调色板表的大小和/或分配给调色板条目的像素值是在编码器和解码器中预先定义的。
在存储多个预定义的调色板表之后,可以对指定多个调色板表之一的索引进行编码并将其发送至解码器。
可替选地,在仅预定义分配给每个调色板条目的像素值之后,可以仅对表示调色板条目之间的索引分配顺序的信息进行编码。
在示例中,在块中的残差值的最小值为-3的情况下,可以将索引0分配给其像素值为-3的调色板条目,可以将索引1分配给其像素值为+4的调色板条目,并且可以将索引2分配给其像素值为-4的调色板条目。
可替选地,可以对块中的最小值m进行编码并将其发送至解码装置,并且可以基于最小值m来确定调色板条目中的每一个的索引。在示例中,可以将索引0分配给与最小值m相同的调色板条目,并且可以按类似于最小值m的顺序分配索引。在示例中,分配给具有与最小值m的小的差的调色板条目的索引可以具有小于分配给具有与最小值m的大的差的调色板条目的索引的值。
可以基于是否应用无损编码来确定是否将使用预定义的调色板表。在示例中,当应用无损编码时,可以使用预定义的调色板表,并且当不应用无损编码时,在解码器中可以通过以与编码器相同的方式进行配置来使用调色板表。
即使在通过使用调色板表对残差值进行编码的情况下,也可以根据是否应用无损编码来不同地设置对调色板表进行配置的方法。
一般有损编码可以经过预测处理、变换处理、量化处理、熵编码处理和环路滤波处理。
可以通过经历有损编码处理之中的量化处理和环路滤波处理来生成重构数据与原始数据之间的误差(即,损失)。
因此,在重构数据与原始数据之间的误差不被允许的无损编码中,可以省略量化处理和环路滤波处理。在省略量化处理的情况下,将残差数据变换成频域分量的变换处理也变得无意义,因此当应用无损编码时,不仅可以省略量化处理还可以进一步省略变换处理。
如上所述,无损编码下的编码处理与有损编码下的编码处理之间存在差异。因此,可以对表示是否应用无损编码的信息进行编码并将其发送至解码器,以指定应用于对图像进行编码的编码处理。
可以通过序列参数集、图片参数集、图片报头或切片报头来用信号通知所述信息。所述信息可以是1比特标志。在解码器中,可以对标志进行解析,并且可以基于所解析的值确定是否应用无损编码。
在确定应用无损编码的情况下,解码器可以省略用于对图像进行解码的变换处理、量化处理和环路滤波处理。
解码器可以基于该标志得出表示是否使用无损编码的变量LosslessCoding。在示例中,当变量LosslessCoding为真时,这表示应用无损编码,并且当变量LosslessCoding为假时,这表示不应用无损编码。
可以定义表示是否应用单独的编码/解码处理的变量。在示例中,表示是否执行变换的变量、是否执行量化的变量、是否应用去块滤波器的变量、是否应用SAO的变量以及是否应用ALF的变量可以被分别定义为t_skip、q_skip、d_skip、s_skip、a_skip。当变量的值为真时,这表示省略相应的编码处理。另一方面,当变量的值为假时,这表示不省略相应的编码处理。
可以在比特流中用信号通知用于确定变量中的每一个的值的信息。在示例中,可以用信号通知表示是否应用特定编码/解码处理的1比特标志,并且可以通过所述标志来确定是否应用特定编码/解码处理。
在这种情况下,可以基于表示是否应用无损编码的变量LosslessCoding的值来确定在比特流中是否用信号通知表示是否应用每个编码/解码处理的信息。在示例中,当变量LosslessCoding的值为真时,可以省略用信号通知表示是否应用每个编码/解码处理的信息。在这种情况下,可以将变量t_skip、q_skip、d_skip、s_skip、a_skip设置为真。换句话说,当变量LosslessCoding的值为真时,可以省略应用变换、量化、去块滤波器、SAO和ALF,而无需参考在比特流中用信号通知的信息。
当变量LosslessCoding的值为假时,可以在比特流中用信号通知表示是否应用每个编码/解码处理的信息。可以通过表示是否应用每个编码/解码处理的标志的值来确定变量t_skip、q_skip、d_skip、s_skip、a_skip。此外,可以基于每个变量的值来确定是否应用相应的编码/解码处理。
在用信号通知用于确定变量LosslessCoding的值的标志之后,基于变量LosslessCoding,代替确定是否用信号通知确定是否应用单独的编码/解码处理的标志,可以省略对表示是否应用无损编码的标志的编码,并且可以基于表示是否应用单独的编码/解码处理的变量t_skip、q_skip、d_skip、s_skip、a_skip来确定变量LosslessCoding。
在示例中,可以在比特流中用信号通知表示是否应用每个编码/解码处理的标志,并且可以基于每个标志得出变量t_skip、q_skip、d_skip、s_skip、a_skip的值。在这种情况下,当变量t_skip、q_skip、d_skip、s_skip、a_skip的值都为真时,可以将变量LosslessCoding设置为真。另一方面,当变量t_skip、q_skip、d_skip、s_skip、a_skip中的至少一个为假时,可以将变量LosslessCoding设置为假。
在该示例中,为了便于描述,将变换、量化、去块滤波器、SAO和ALF等示出为作为根据是否执行无损编码而变化的应用方面的编码/解码处理。不限于所描述的示例,可以将使无损编码变得不可能的技术例如LMCS(亮度映射与色度缩放)或joint_CbCr编码方法与是否应用无损编码相关联。
在上述实施方式中使用的语法仅是为了便于描述而命名的。
在将基于解码处理或编码处理描述的实施方式应用于编码处理或解码处理时,其包括在本公开内容的范围内。当以与描述不同的顺序改变以预定顺序描述的实施方式时,其也包括在本公开内容的范围内。
基于一系列阶段或流程图描述了上述实施方式,但是这不限制本公开内容的时间序列顺序,并且如果必要,可以同时或以不同的顺序执行上述实施方式。此外,构成上述实施方式中的框图的每个部件(例如,单元、模块等)可以被实现为硬件装置或软件,并且多个部件可以被组合并实现为一个硬件装置或软件。上述实施方式可以被记录在以可以由各种计算机部件执行的程序指令的形式实现的计算机可读记录介质中。计算机可读记录介质可以单独地或组合地包括程序指令、数据文件、数据结构等。专门配置用于存储和执行磁介质(例如硬盘、软盘和磁带)、光记录介质(例如CD-ROM、DVD)、磁光介质(例如光软盘)以及程序指令(例如ROM、RAM、闪存)等的硬件装置包括在计算机可读记录介质中。硬件装置可以被配置成作为一个或更多个软件模块来操作,以执行根据本公开内容的处理,并且反之亦然。
工业适用性
本公开内容可以应用于对图像进行编码/解码的电子装置。

Claims (9)

1.一种视频解码方法,包括:
基于先前调色板表来配置当前调色板表;
确定当前块中以像素为单位的调色板索引;以及
基于所述调色板表和所述调色板索引来重构所述当前块中的像素,
其中,在所述当前块包括在编码树单元行的第一编码树单元中的情况下,从属于所述编码树单元的上方的块得出所述先前调色板表。
2.根据权利要求1所述的方法,其中,所述方法还包括:对调色板预测标志进行解码,所述调色板预测标志表示所述先前调色板表中包括的调色板条目是否包括在所述当前调色板表中。
3.根据权利要求2所述的方法,其中,所述方法还包括:在从所述先前调色板表中使用的预测调色板条目的数量小于所述当前调色板表的大小的情况下,对关于其余调色板条目的信息进行解码。
4.根据权利要求1所述的方法,其中,通过使用索引模式或复制模式中的至少一者来确定所述当前块的调色板索引,并且
其中,所述索引模式是用信号通知用于指定所述当前块的调色板索引的调色板索引信息的模式,并且所述复制模式是根据预定扫描顺序使用相邻像素的调色板索引的模式。
5.一种视频编码方法,包括:
基于先前调色板表来配置当前调色板表;
确定当前块中以像素为单位的调色板索引;以及
基于所述调色板表和所述调色板索引来重构所述当前块中的像素,
其中,在所述当前块包括在编码树单元行的第一编码树单元中的情况下,从属于所述编码树单元的上方的块得出所述先前调色板表。
6.根据权利要求5所述的方法,其中,所述方法还包括:对调色板预测标志进行编码,所述调色板预测标志表示所述先前调色板表中包括的调色板条目是否包括在所述当前调色板表中。
7.根据权利要求6所述的方法,其中,所述方法还包括:在从所述先前调色板表中使用的预测调色板条目的数量小于所述当前调色板表的大小的情况下,对关于其余调色板条目的信息进行编码。
8.根据权利要求5所述的方法,其中,通过使用索引模式或复制模式中的至少一者来确定所述当前块的调色板索引,并且
其中,所述索引模式是用信号通知用于指定所述当前块的调色板索引的调色板索引信息的模式,并且所述复制模式是根据预定扫描顺序使用相邻像素的调色板索引的模式。
9.一种存储通过视频编码方法编码的比特流的计算机可读记录介质,其中,
所述视频编码方法包括:
基于先前调色板表来配置当前调色板表;
确定当前块中以像素为单位的调色板索引;以及
基于所述调色板表和所述调色板索引来重构所述当前块中的像素,
其中,在所述当前块包括在编码树单元行的第一编码树单元中的情况下,从属于所述编码树单元的上方的块得出所述先前调色板表。
CN202080060135.0A 2019-08-30 2020-08-28 用于处理视频信号的方法和装置 Pending CN114303386A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2019-0107560 2019-08-30
KR20190107560 2019-08-30
KR10-2019-0167127 2019-12-13
KR20190167127 2019-12-13
PCT/KR2020/011550 WO2021040460A1 (ko) 2019-08-30 2020-08-28 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
CN114303386A true CN114303386A (zh) 2022-04-08

Family

ID=74685206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080060135.0A Pending CN114303386A (zh) 2019-08-30 2020-08-28 用于处理视频信号的方法和装置

Country Status (4)

Country Link
US (1) US20220295046A1 (zh)
KR (1) KR20210027175A (zh)
CN (1) CN114303386A (zh)
WO (1) WO2021040460A1 (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2873244A1 (en) * 2012-07-10 2015-05-20 Qualcomm Incorporated Coding timing information for video coding
US20160057434A1 (en) * 2014-08-25 2016-02-25 Mediatek Inc. Method of Palette Index Signaling for Image and Video Coding
WO2016048092A1 (ko) * 2014-09-26 2016-03-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
WO2016190627A1 (ko) * 2015-05-27 2016-12-01 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20170238001A1 (en) * 2014-09-30 2017-08-17 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US20170374366A1 (en) * 2015-01-29 2017-12-28 Vid Scale, Inc. Palette coding modes and palette flipping

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9558567B2 (en) * 2013-07-12 2017-01-31 Qualcomm Incorporated Palette prediction in palette-based video coding
CN106068647B (zh) * 2013-12-18 2019-05-17 寰发股份有限公司 视频编码系统中用调色板编码来编解码视频数据块的方法
KR101951083B1 (ko) * 2014-01-02 2019-05-10 브이아이디 스케일, 인크. 스크린 컨텐츠 코딩을 위한 2차원 팔레트 코딩
KR101982829B1 (ko) * 2014-05-23 2019-05-28 에이치에프아이 이노베이션 인크. 팔레트 테이블 예측 및 시그널링을 위한 방법과 장치
US10051277B2 (en) * 2014-11-06 2018-08-14 Mediatek Inc. Method for sub-block based palette coding
WO2016074627A1 (en) * 2014-11-12 2016-05-19 Mediatek Inc. Methods of escape pixel coding in index map coding
KR101981725B1 (ko) * 2014-12-19 2019-05-23 에이치에프아이 이노베이션 인크. 비디오 및 이미지 코딩에서의 비-444 색채 포맷을 위한 팔레트 기반 예측의 방법
US10356427B2 (en) * 2015-10-05 2019-07-16 Mediatek Inc. Method and apparatus of palette index map coding for screen content coding
JP2019022129A (ja) * 2017-07-19 2019-02-07 富士通株式会社 動画像符号化装置、動画像符号化方法、動画像復号装置、動画像復号方法、及び動画像符号化用コンピュータプログラムならびに動画像復号用コンピュータプログラム
CN118678086A (zh) * 2019-05-15 2024-09-20 现代自动车株式会社 用于运动图像数据的并行编码和解码的方法
MX2022001928A (es) * 2019-08-15 2022-05-24 Beijing Dajia Internet Information Tech Co Ltd Métodos y aparatos de codificación de vídeo usando el modo paleta.
KR20240058967A (ko) * 2019-08-26 2024-05-07 엘지전자 주식회사 팔레트 이스케이프 코딩 기반 영상 또는 비디오 코딩
CN116684634A (zh) * 2019-08-26 2023-09-01 Lg电子株式会社 编码设备、解码设备和比特流发送设备
CN116684583A (zh) * 2019-08-26 2023-09-01 Lg电子株式会社 解码设备、编码设备和数据发送设备
WO2021040488A1 (ko) * 2019-08-29 2021-03-04 엘지전자 주식회사 팔레트 모드에서의 이스케이프 이진화 기반 영상 또는 비디오 코딩
WO2021040459A1 (ko) * 2019-08-30 2021-03-04 주식회사 케이티 비디오 신호 처리 방법 및 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2873244A1 (en) * 2012-07-10 2015-05-20 Qualcomm Incorporated Coding timing information for video coding
US20160057434A1 (en) * 2014-08-25 2016-02-25 Mediatek Inc. Method of Palette Index Signaling for Image and Video Coding
WO2016048092A1 (ko) * 2014-09-26 2016-03-31 주식회사 케이티 비디오 신호 처리 방법 및 장치
US20170238001A1 (en) * 2014-09-30 2017-08-17 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
US20170374366A1 (en) * 2015-01-29 2017-12-28 Vid Scale, Inc. Palette coding modes and palette flipping
WO2016190627A1 (ko) * 2015-05-27 2016-12-01 주식회사 케이티 비디오 신호 처리 방법 및 장치

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GUO: "COLOR PALETTE FOR SCREEN CONTENT CODING", 2014 IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING (ICIP), 1 January 2014 (2014-01-01) *
徐媛媛: "虚拟现实屏幕内容视频的编码处理", 电子技术与软件工程, 12 November 2019 (2019-11-12) *

Also Published As

Publication number Publication date
WO2021040460A1 (ko) 2021-03-04
US20220295046A1 (en) 2022-09-15
KR20210027175A (ko) 2021-03-10

Similar Documents

Publication Publication Date Title
KR102515121B1 (ko) 쿼드 트리를 이용한 블록 정보 부/복호화 방법 및 이러한 방법을 사용하는 장치
US20230135855A1 (en) Method and apparatus for processing a video signal
CN113873242B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
CN111869219B (zh) 对图像进行编码或解码的方法和装置
CN113507603B (zh) 图像信号编码/解码方法及其设备
CN107079151B (zh) 用于处理视频信号的方法和设备
CN116248870A (zh) 视频信号编码/解码方法以及用于所述方法的设备
CN107211143B (zh) 用于处理视频信号的方法和设备
US20200112714A1 (en) Method and device for processing video signal
KR20200004467A (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
US20180109798A1 (en) Method and apparatus for processing video signal
KR102422484B1 (ko) 비디오 신호 처리 방법 및 장치
KR102708719B1 (ko) 교차성분 선형 모델을 이용한 비디오 신호 처리 방법 및 장치
CN115022631A (zh) 对视频进行编码或解码的方法和非暂时性计算机可读介质
US12069240B2 (en) Video signal processing method and device
CN117813821A (zh) 基于以子块为单元的帧内预测的视频信号编码/解码方法以及用于存储比特流的记录介质
CN114303386A (zh) 用于处理视频信号的方法和装置
KR102589351B1 (ko) 비디오 신호 처리 방법 및 장치
KR20160140409A (ko) 비디오 신호 처리 방법 및 장치
KR20160122080A (ko) 비디오 신호 처리 방법 및 장치
KR20230042236A (ko) 영상 부호화 방법/장치, 영상 복호화 방법/장치 및 비트스트림을 저장한 기록 매체
KR20240152234A (ko) 모델 기반 예측 방법을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림 저장 매체
KR20240153266A (ko) 모델 기반 예측 방법을 이용하는 영상 부호화/복호화 방법, 장치 및 비트스트림 저장 매체
KR20160131939A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination