CN112292863A - 基于分量之间的参考的视频信号处理方法及装置 - Google Patents

基于分量之间的参考的视频信号处理方法及装置 Download PDF

Info

Publication number
CN112292863A
CN112292863A CN201980039260.0A CN201980039260A CN112292863A CN 112292863 A CN112292863 A CN 112292863A CN 201980039260 A CN201980039260 A CN 201980039260A CN 112292863 A CN112292863 A CN 112292863A
Authority
CN
China
Prior art keywords
block
information
prediction
luminance
mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980039260.0A
Other languages
English (en)
Inventor
沈东圭
朴时奈
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academic Collaboration Foundation of Kwangwoon University
Original Assignee
Industry Academic Collaboration Foundation of Kwangwoon University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academic Collaboration Foundation of Kwangwoon University filed Critical Industry Academic Collaboration Foundation of Kwangwoon University
Publication of CN112292863A publication Critical patent/CN112292863A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

在根据本发明的视频信号处理方法和装置中，借助于亮度块的样本导出色度块的第一预测值，基于预先确定的参考区域计算补偿参数，通过将补偿参数应用于第一预测值来导出色度块的第二预测值，以及可以基于色度块的第二预测值来重建色度块。

Description

基于分量之间的参考的视频信号处理方法及装置
技术领域
本发明涉及用于对视频信号进行编码/解码的方法和装置。
背景技术
在各种应用中，对高分辨率、高质量视频的需求正在增长。随着图像数据变得高分辨率和高质量，数据量相对于常规图像数据增加。因此，当使用诸如常规的有线/无线宽带线路的介质来传输图像数据或者使用常规的存储介质来存储图像数据时，传输成本和存储成本增加。可以利用高效的图像压缩技术来解决由高分辨率和高质量的图像数据引起的这些问题。
发明内容
技术问题
本发明的目的是提高预测块的编码/解码效率。
本发明的目的是针对每个分量提高帧内预测的准确性。
本发明的目的是通过自适应块划分来提高编码/解码效率。
技术解决方案
根据本发明的用于处理视频信号的方法和装置使用亮度块的样本导出色度块的第一预测值，基于预先确定的参考区域计算补偿参数，导出色度块的第二预测值，以及基于色度块的第二预测值来重构色度块。
在根据本发明的视频信号处理方法和装置中，计算步骤还可以包括：确定要参考以计算补偿参数的参考区域。
在根据本发明的视频信号处理方法和装置中，可以针对亮度块或色度块中的至少一个确定参考区域。
在根据本发明的视频信号处理方法和装置中，可以基于亮度块的参考区域的代表值或色度块的参考区域的代表值中的至少一个来计算补偿参数。
在根据本发明的视频信号处理方法和装置中，可以根据属于参考区域的所有样本或一些样本的平均值、最小值、最大值、众数值或中值中的一个导出代表值。
在根据本发明的视频信号处理方法和装置中，可以基于指示是否通过基于分量间参考的预测对色度块进行解码的信息来选择性地执行导出第一预测值的步骤。
在根据本发明的视频信号处理方法和装置中，色度块可以是第一色度块(Cr块)，并且可以使用第一色度块的样本来重构第二色度块(Cb块)。
在根据本发明的视频信号处理方法和装置中，亮度块或色度块可以是基于四叉树、二叉树或三叉树中的至少一个划分成可变大小/形状的块。
有益效果
根据本发明，可以通过基于分量间参考的预测来提高预测编码/解码效率。
此外，根据本发明，可以通过树结构的块划分来提高编码/解码效率。
附图说明
图1是示出根据本发明的实施方式的编码装置的框图。
图2是示出根据本发明的示例性实施方式的解码装置的框图。
图3示出了根据应用本发明的实施方式的块划分类型。
图4示出了根据应用本发明的实施方式的基于树结构的块划分方法。
图5示出了根据本发明的实施方式的通过分量间参考来重构色度块的过程。
图6和图7示出了根据本发明的实施方式的用于分量间参考的参考区域的示例。
图8示出了根据本发明的实施方式的确定要用于色度块的分量间参考的亮度块的区域的方法。
本发明的最优实施方式
根据本发明的用于处理视频信号的方法和装置使用亮度块的样本来导出色度块的第一预测值，基于预先确定的参考区域来计算补偿参数，导出色度块的第二预测值，以及基于色度块的第二预测值来重构色度块。
在根据本发明的视频信号处理方法和装置中，计算步骤还可以包括：确定要参考的用于计算补偿参数的参考区域。
在根据本发明的视频信号处理方法和装置中，可以针对亮度块或色度块中的至少一个确定参考区域。
在根据本发明的视频信号处理方法和装置中，可以基于亮度块的参考区域的代表值或色度块的参考区域的代表值中的至少一个来计算补偿参数。
在根据本发明的视频信号处理方法和装置中，可以根据属于参考区域的样本的全部或一部分的平均值、最小值、最大值、众数值或中值之一导出代表值。
在根据本发明的视频信号处理方法和装置中，可以基于指示是否通过基于分量间参考的预测对色度块进行解码的信息来选择性地执行导出第一预测值的步骤。
在根据本发明的视频信号处理方法和装置中，色度块可以是第一色度块(Cr块)，并且可以使用第一色度块的样本来重构第二色度块(Cb块)。
在根据本发明的视频信号处理方法和装置中，亮度块或色度块可以是基于四叉树、二叉树或三叉树中的至少一个而划分为可变大小/形状的块。
本发明的实施方式
本发明可以以各种方式进行改变和修改，并且可以参考不同的示例性实施方式进行说明，其中一些实施方式将在附图中描述和示出。然而，这些实施方式不旨在限制本发明，而是被理解为包括属于本发明的精神和技术范围的所有修改、等同方案和替换方案。在附图中，相同附图标记始终指代相同元件。
虽然可以使用术语第一、第二等来描述各种元件，但是这些元件不应受到这些术语的限制。这些术语仅用于将一个元件与另一元件区分开。例如，在不偏离本发明的教导的情况下，第一元件可以被称为第二元件，并且同样地第二元件可以被称为第一元件。术语“和/或”包括多个关联列出项的任何组合和所有组合。
将要理解，当元件被称为“连接至”或“耦接至”另一元件时，该元件可以直接连接或耦接至另一元件或中间元件。相反，当元件被称为“直接连接至”或“直接耦接至”另一元件时，不存在中间元件。
本文中使用的术语仅出于描述特定实施方式的目的，并不旨在限制本发明。如本文中所使用的，除非上下文另有明确指出，否则单数形式“一(a)”、“一个(an)”和“该(the)”也旨在包括复数形式。还将要理解，当在本说明书中使用时，术语“包括”和/或“具有”指定所陈述的特征、整体、步骤、操作、元件和/或部件的存在，但是不排除一个或更多个其他特征、整体、步骤、操作、元件、部件和/或它们的组的存在或添加。
在下文中，将参照附图详细地描述本发明的示例性实施方式。在附图中，相同附图标记始终指代相同元件，并且在本文中将省略对相同元件的冗余描述。
图1是示出根据本发明的实施方式的编码装置的框图。
参照图1，编码装置100包括图片划分单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、逆量化单元140、逆变换单元145、滤波器单元150和存储器155。
图1所示的元件中的每一个被独立地示出以表示编码装置中的不同特征功能，并且可以意指每个元件由单独的硬件组成。但是，为了便于描述，元件被独立地布置，其中，至少两个元件可以被组合成单个元件，或者单个元件可以被划分成多个元件以执行功能。要注意的是，在不偏离本发明的实质的情况下，一些元件被集成为一个组合元件以及/或者元件被划分为多个单独的元件的实施方式包括在本发明的范围内。
一些元件对于本发明中的实质功能并非是必要的，而是仅可以用于提高性能的可选构成元件。可以通过仅包括除了仅用于提高性能的构成元件之外的对于本发明的实施方式必要的构成元件来实施本发明。仅包括除了仅用于提高性能的可选构成元件之外的必要构成元件的结构属于本发明的范围。
图片划分单元110可以将输入图片划分成至少一个块。此时，块可以意指编码单元(CU)、预测单元(PU)或变换单元(TU)。可以基于四叉树、二叉树或三叉树中的至少一个来执行划分。四叉树是将上层块划分成其宽度和高度为上层块的一半的子块的方法。二叉树是将上层块划分成其宽度或高度为上层块的一半的子块的方法。在二叉树中，通过基于上述基于二叉树的划分来划分上层块，块可以具有非正方形形状以及正方形形状。
在本发明的实施方式中，CU不仅可以用来指代编码单元而且还可以指代解码单元。
预测单元120和125可以包括用于执行帧间预测的帧间预测单元120和用于执行帧内预测的帧内预测单元125。预测单元120和125可以确定对PU执行帧间预测和帧内预测中的哪一个，并且可以确定所确定的预测方法的具体信息(例如，帧内预测模式、运动矢量和参考图片)。在此，对其执行预测的处理单元可以与针对其确定了预测方法和具体信息的处理单元不同。例如，可以针对每个PU来确定预测方法和预测模式，而可以针对每个TU来执行预测。可以将所生成的预测块与原始块之间的残差值(残差块)输入至变换单元130。此外，用于预测的预测模式信息、运动矢量信息等可以与残差值一起被熵编码单元165编码并且被发送至解码装置。当使用特定编码模式时，原始块可以在没有由预测单元120和125生成预测块的情况下被编码并且被发送至解码装置。
帧间预测单元120可以基于关于当前图片的先前图片和当前图片的后续图片中的至少一个图片的信息来预测PU。在一些情况下，帧间预测单元120可以基于当前图片中的部分编码区域的信息来预测PU。帧间预测单元120可以包括参考图片插值单元、运动预测单元和运动补偿单元。
可以向参考图片插值单元提供来自存储器155的参考图片信息，并且参考图片插值单元可以生成小于或等于参考图片上的整数像素的像素信息。在亮度像素的情况下，可以使用具有可变滤波器系数的基于DCT的8-抽头插值滤波器以1/4像素为单位生成小于或等于整数像素的像素信息。在色度像素的情况下，可以使用具有可变滤波器系数的基于DCT的4-抽头插值滤波器以1/8像素为单位生成小于或等于整数像素的像素信息。
运动预测单元可以基于由参考图片插值单元插值的参考图片来执行运动预测。可以使用各种方法例如基于全搜索的块匹配算法(FBMA)、三步搜索(TSS)算法和新三步搜索(NTS)算法来计算运动矢量。基于插值像素，运动矢量具有以1/2或1/4像素为单位的运动矢量值。运动预测单元可以使用不同的运动预测方法来预测当前PU。可以将各种方法例如跳过模式、合并模式和高级运动矢量预测(AMVP)模式等用作为运动预测方法。
帧内预测单元125可以基于关于与当前块邻近的参考像素的信息来生成PU。当参考像素是由于与当前PU邻近的块是已经被执行帧间预测的块而成为已经被执行帧间预测的像素时，可以用关于已经执行了帧内预测的块中的参考像素的信息替换关于已经执行了帧间预测的块中的参考像素的信息。也就是说，当参考像素不可用时，可以用关于可用参考像素中的至少一个参考像素的信息来替换关于不可用参考像素的信息。
帧内预测的预测模式包括其中根据预测方向使用参考像素信息的方向预测模式和其中在执行预测时不使用关于方向的信息的非方向预测模式。用于预测亮度分量的模式与用于预测色度分量的模式可以彼此不同。此外，可以通过使用用于获得亮度分量或经预测/经重构的亮度分量的帧内预测模式来预测色度分量。
在帧内预测方法中，可以通过根据帧内预测模式将自适应帧内平滑(AIS)滤波器应用于参考像素来生成预测块。可以将不同类型的AIS滤波器应用于参考像素。在帧内预测方法中，可以根据与当前PU邻近的PU的帧内预测模式来预测当前PU的帧内预测模式。在使用根据邻近PU预测的模式信息来预测当前PU的预测模式时，在当前PU与邻近PU具有相同的帧内预测模式时，可以使用预定标记信息来发送指示当前PU与邻近PU具有相同的帧内预测模式的信息。在当前PU与邻近PU具有不同的帧内预测模式时，可以通过熵编码对关于当前块的帧内预测模式的信息进行编码。
可以生成包括残差信息的残差块。残差信息是原始块与由预测单元120和125生成的预测块之间的差。可以将生成的残差块输入至变换单元130。
变换单元130可以通过使用诸如DCT、DST等的变换类型来对包括残差数据的残差块进行变换。此时，可以基于用于生成残差块的预测单元的帧内预测模式来确定变换类型。
量化单元135可以对通过变换单元130变换至频域的值进行量化。量化系数可以根据图像的重要性或块而改变。可以将从量化单元135输出的值提供至逆量化单元140和重排单元160。
重排单元160可以对经量化的残差块执行系数值的重排。重排单元160可以通过系数扫描方法将二维(2D)块的系数改变成一维(1D)矢量的系数。例如，重排单元160可以使用预定的扫描类型将DC系数扫描成高频区域中的系数，并且将其改变成一维矢量形式。
熵编码单元165可以基于由重排单元160获得的值来执行熵编码。针对熵编码，可以使用各种编码方法，例如指数哥伦布(Golomb)编码、上下文自适应可变长度编码(CAVLC)或上下文自适应二进制算术编码(CABAC)。
熵编码单元165可以对来自重排单元160以及预测单元120和125的各种信息例如关于CU的残差系数信息和块类型信息、预测模式信息、划分单元信息、PU信息、传输单元信息、运动矢量信息、参考帧信息、块插值信息和滤波信息进行编码。
熵编码单元165可以对从重排单元160输入的CU的系数进行熵编码。
逆量化单元140和逆变换单元145对由量化单元135量化的值进行去量化，以及对由变换单元130变换的值进行逆变换。可以通过将残差值添加到经预测的PU来生成重构块。残差值可以由逆量化单元140和逆变换单元145生成。经预测的PU可以由预测单元120和125的运动矢量预测单元、运动补偿单元和帧内预测单元来预测。
滤波器单元150可以包括去块滤波器、偏移单元和自适应环路滤波器(ALF)中的至少一个。
去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。可以基于块的若干行或列中包括的像素来确定是否将去块滤波器应用于当前块。当将去块滤波器应用于块时，可以根据所需的去块滤波强度来应用强滤波器或弱滤波器。当在应用去块滤波器时执行水平滤波和垂直滤波时，可以并行地执行水平滤波和垂直滤波。
偏移单元可以以像素为单位将相对于原始图像的偏移施加至经去块滤波的图像。可以在将图片的像素划分成预定数目的区域之后确定可以向其施加偏移的区域。可以考虑关于每个像素的边缘信息或将偏移施加至确定的区域的方法来将偏移施加至确定的区域。
ALF可以基于经滤波的重构图像与原始图像的比较结果来执行滤波。可以将图像中包括的像素划分成预定组，可以确定要应用于每个组的滤波器，以及可以针对每个组执行差分滤波。可以由每个编码单元(CU)传输关于是否应用ALF的信息，并且要应用于每个块的ALF的形状和滤波器系数可以变化。此外，可以对块应用具有相同形式(固定形式)的ALF，而不管块的特征如何。
存储器155可以存储从滤波器单元150输出的重构块或重构图片，并且当执行帧间预测时，可以将存储的重构块或重构图片提供至预测单元120和125。
图2是示出根据本发明的示例性实施方式的解码装置的框图。
参照图2，解码装置200可以包括熵解码单元210、重排单元215、去量化单元220、逆变换单元225、预测单元230和235、滤波器单元240以及存储器245。
图2所示的元件中的每一个都被独立地示出以表示解码装置中的不同特征功能，并且可以意指每个元件由单独的硬件组成。但是，为了便于描述，元件被独立地布置，其中，至少两个元件可以被组合成单个元件，或者单个元件可以被划分成多个元件以执行功能。要注意的是，在不偏离本发明的实质的情况下，一些元件被集成为一个组合元件以及/或者元件被划分为多个单独的元件的实施方式包括在本发明的范围内。
熵解码单元210可以对输入比特流执行熵解码。例如，针对熵编码，可以使用各种方法，如指数哥伦布编码、CAVLC或CABAC。
熵解码单元210可以对与由编码装置执行的帧内预测和帧间预测相关联的信息进行解码。
重排单元215可以对由熵解码单元210熵解码的比特流执行重排。重排单元215可以将1D矢量的系数重构为2D块的系数并重排。可以向重排单元215提供关于由编码装置执行的系数扫描的信息，并且重排单元215可以基于由编码装置执行的扫描顺序使用对系数进行逆向扫描的方法来执行重排。
去量化单元220可以基于量化参数以及块的重排系数来执行去量化。
逆变换单元225可以基于预定的变换类型执行对去量化的变换系数的逆变换。此时，可以基于预测模式(帧间/帧内预测)、块的大小/形状、帧内预测模式、分量类型(亮度/色度分量)或分区类型(QT、BT、TT等)来确定变换类型。
预测单元230和235可以基于提供的用于生成预测块的信息以及关于先前解码的块或图片的信息来生成预测块。可以从熵解码单元210提供用于生成预测块的信息。可以从存储器245提供关于先前解码的块或图片的信息。
预测单元230和235可以包括PU确定单元、帧间预测单元和帧内预测单元。PU确定单元可以从熵解码单元210接收各种信息，如PU信息、帧内预测方法的帧内预测模式相关信息以及帧间预测方法的运动预测相关信息等，PU确定单元可以确定当前CU的PU。PU确定单元可以确定对PU执行帧间预测和帧内预测中的哪一个。帧间预测单元230可以基于关于包括当前PU的当前图片的先前图片和后续图片中的至少一个图片的信息对当前PU执行帧间预测。帧间预测单元230可以使用针对从编码装置提供的当前PU进行帧间预测所需的信息。可以基于包括当前PU的当前图片中的预重构的部分区域的信息来执行帧间预测。为此，可以将预重构的部分区域添加至参考图片列表。
为了执行帧间预测，可以以CU为单位来确定CU中包括的用于PU的运动预测方法是跳过模式、合并模式、AMVP模式还是当前图片参考模式。
帧内预测单元235可以基于当前图片中的像素信息来生成预测块。当PU是对其执行帧内预测的PU时，可以基于从编码装置提供的关于PU的帧内预测模式信息来执行帧内预测。帧内预测单元235可以包括AIS(自适应帧内平滑)滤波器、参考像素插值单元和DC滤波器。AIS滤波器对当前块的参考像素执行滤波。AIS滤波器可以根据当前PU的预测模式来判定是否应用该滤波器。可以使用从编码装置提供的PU的预测模式和关于AIS滤波器的信息来对当前块的参考像素执行AIS滤波。当当前块的预测模式是不执行AIS滤波的模式时，可以不应用AIS滤波器。
当PU的预测模式指示基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测模式时，参考像素插值单元可以通过对参考像素进行插值以小于整数像素(即全像素)的分数像素为单位生成参考像素。当当前PU的预测模式指示在不对参考像素进行插值的情况下生成预测块的预测模式时，可以不对参考像素进行插值。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构块或重构图片提供至滤波器单元240。滤波器单元240包括去块滤波器、偏移单元和ALF。
编码装置可以提供关于是否将去块滤波器应用于相应的块或图片的信息以及关于在使用去块滤波器时应用强滤波器和弱滤波器中的哪一个的信息。可以向解码装置的去块滤波器提供来自编码装置的关于去块滤波器的信息，并且去块滤波器可以对相应的块执行去块滤波。
偏移单元可以基于关于在编码过程中应用于图片的偏移类型和偏移值的信息来对重构图片施加偏移。
可以基于从编码装置提供的关于是否应用ALF的信息和ALF系数信息等来将ALF应用于CU。ALF信息可以包括在特定参数集中并在特定参数集中提供。
存储器245可以存储用作参考图片或参考块的重构图片或重构块，并且可以将重构图片提供至输出单元。
图3示出了根据应用本发明的实施方式的块划分类型。
一个块(在下文中称为第一块)可以通过垂直线或水平线中的至少一个被划分成多个子块(在下文中称为第二块)。垂直线和水平线中的每一个的数目可以为一个、两个或更多个。在此，第一块可以是作为图像编码/解码的基本单元的编码块(CU)、作为预测编码/解码的基本单元的预测块(PU)或者作为变换编码/解码的基本单元的变换块(TU)。第一块可以是正方形块或非正方形块。
可以基于四叉树、二叉树、三叉树等来执行第一块的划分，并且将参照图3进行详细描述。
图3(a)示出了四叉树划分(QT)。QT是其中第一块被划分成四个第二块的划分类型。例如，当通过QT来划分2N×2N的第一块时，第一块可以被划分成具有N×N大小的四个第二块。QT可以被限制成适用于仅正方形块，但也可适用于非正方形块。
图3(b)示出了水平二叉树(在下文中称为水平BT)划分。水平BT是其中第一块被一条水平线划分成两个第二块的划分类型。该划分可以对称地或不对称地执行。例如，当基于水平BT来划分2N×2N的第一块时，第一块可以被划分成具有(a:b)的高度比的两个第二块。在此，a和b可以为相同的值，而a可以大于或小于b。
图3(c)示出了垂直二叉树(在下文中称为垂直BT)划分。垂直BT是其中第一块被一条垂直线划分成两个第二块的划分类型。该划分可以对称地或不对称地执行。例如，当基于垂直BT来划分2N×2N的第一块时，第一块可以被划分成具有(a:b)的宽度比的两个第二块。在此，a和b可以是相同的值，而a可以大于或小于b。
图3(d)示出了水平三叉树(在下文中称为水平TT)划分。水平TT是其中第一块被两条水平线划分成三个第二块的划分类型。例如，当基于水平TT来划分2N×2N的第一块时，第一块可以被划分成具有(a:b:c)的高度比的三个第二块。在此，a、b和c可以是相同的值。替选地，a和c可以相同，并且b可以大于或小于a。
图3(e)示出了垂直三叉树(在下文中称为垂直TT)划分。垂直TT是其中第一块被两条垂直线划分成三个第二块的划分类型。例如，当基于垂直TT来划分2N×2N的第一块时，第一块可以被划分成具有(a:b:c)的宽度比的三个第二块。在此，a、b和c可以是相同值或不同值。替选地，a和c可以相同，而b可以大于或小于a。替选地，a和b可以相同，而c可以大于或小于a。替选地，b和c相同，而a可以大于或小于b。
可以基于从编码装置信令通知的划分信息来执行上述划分。划分信息可以包括划分类型信息、划分方向信息或划分比率信息中的至少一个。
划分类型信息可以指定在编码/解码装置中预定义的划分类型的任一个。预定义的划分类型可以包括QT、水平BT、垂直BT、水平TT、垂直TT或非划分模式(无分割)中的至少一个。替选地，划分类型信息可以意指关于是否应用QT、BT或TT的信息，并且可以以标记或索引的形式编码。在BT或TT的情况下，划分方向信息可以指示其是水平划分还是垂直划分。在BT或TT的情况下，划分比率信息可以指示第二块的宽度和/或高度的比。
图4示出了根据应用本发明的实施方式的基于树结构的块划分方法。
图4所示的块400被假定为大小为8N×8N且划分深度为k的正方形块(在下文中称为第一块)。当第一块的划分信息指示QT划分时，第一块可以被划分成四个子块(在下文中称为第二块)。第二块的大小可以为4N×4N，并且划分深度可以为(k+1)。
可以基于QT、BT、TT或非划分模式来再次划分四个第二块。例如，当第二块的划分信息指示水平二叉树(水平BT)时，作为图4中的第二块410，第二块被划分成两个子块(在下文中称为第三块)。此时，第三块的大小可以为4N×2N，并且划分深度可以为(k+2)。
还可以基于QT、BT、TT或非划分模式再次划分第三块。例如，当第三块的划分信息指示垂直二叉树(垂直BT)时，第三块被划分成两个子块411和412，如图4所示。此时，子块411和412的大小可以为2N×2N并且划分深度为(k+3)。替选地，当第三块的划分信息指示水平二叉树(水平BT)时，第三块可以被划分成两个子块413和414，如图4所示。在这种情况下，子块413和414的大小可以为4N×N并且划分深度为(k+3)。
划分可以独立地执行或者与邻近块并行地执行，或者可以根据预定的优先级顺序来顺序地执行。
可以根据当前块的上层块的划分信息或邻近块的划分信息中的至少一个来确定当前块的划分信息。例如，当基于水平BT来划分第二块并且基于垂直BT来划分上层第三块时，不需要基于垂直BT来划分下部第三块。如果通过垂直BT来划分下部第三块，则这与通过QT来划分第二块的结果相同。因此，可以跳过对下部第三块的划分信息(特别是划分方向信息)的编码，并且解码装置可以被设置成在水平方向上来划分下部第三块。
上层块可以意指具有比当前块的划分深度小的划分深度的块。例如，在当前块的划分深度为(k+2)时，上层块的划分深度可以为(k+1)。邻近块可以是与当前块的顶部或左侧相邻的块。邻近块可以是具有与当前块相同的划分深度的块。
可以重复地执行上述划分，直到编码/解码的最小单元。当划分为最小单元时，不再从编码装置信令通知该块的划分信息。关于最小单元的信息可以包括最小单元的大小或形状中的至少一个。最小单元的大小可以由宽度、高度、宽度和高度的最小值或最大值、宽度和高度的总和、像素数或划分深度表示。关于最小单元的信息可以以视频序列、图片、切片或块单元中的至少一个来信令通知。替选地，关于最小单元的信息可以是在编码/解码装置中预定义的值。可以针对CU、PU和TU中的每一个信令通知关于最小单元的信息。关于一个最小单元的信息可以均等地应用于CU、PU和TU。
图5示出了根据本发明的实施方式的通过分量间参考来重构色度块的过程。
本发明的分量间参考可以指的是基于当前块的亮度分量(在下文中称为亮度块)来预测/重构当前块的色度分量(在下文中称为色度块)的方法。
参照图5，可以使用亮度块的样本来导出色度块的第一预测值(S500)。
可以将与色度块的第一预测值的位置对应的亮度块的样本设置为色度块的第一预测值。替选地，可以通过将亮度块的大小调整为对应于色度块的分辨率来导出第一预测值。可以基于诸如下采样或子采样的滤波来执行大小调整。
另一方面，可能存在色度块对应于多个亮度块的情况。在这种情况下，可以伴随确定多个亮度块中与色度块对应的区域的处理，并且这将参照图8进行描述。
亮度块的样本可以为预测值或重构值。可以通过帧内预测或帧间预测来获得预测值。重构值可以是通过将残差样本(残差、残差值)与预测值相加而获得的第一值，或者是通过将环内(in-loop)滤波器应用于第一值而获得的第二值。
可以基于预定的帧内预测模式和亮度块的邻近区域来执行帧内预测。
可以将帧内预测模式确定为两个非方向模式和p个方向模式之一。在此，p可以为33、65、129或更大。p可以是对于编码/解码装置预定义的固定值，或者可以基于编码信息可变地确定。在此，编码信息不仅可以包括由编码装置编码并且信令通知的信息，还可以包括解码装置中基于信令通知的信息导出的信息。例如，编码信息可以包括块大小/形状、块可用性、划分类型、划分计数、分量类型、预测模式、关于帧内预测模式的信息、帧间模式、运动信息、变换类型、变换跳过模式、关于非零残差系数的信息、扫描顺序、颜色格式、环内滤波器信息等中的至少一个。
块大小可以由以下任一个来表示：宽度和高度、宽度和高度的最小值/最大值、宽度和高度的总和、属于块的样本的数目等。可以考虑块位置、并行处理区域的范围、解码顺序等来确定块的可用性。预测模式可以意指指示帧内模式或帧间模式的信息。关于帧内预测模式的信息包括与帧内预测模式是否为非方向模式、帧内预测模式是否为垂直/水平模式、帧内预测模式的方向性、在编码/解码装置中预定义的帧内预测模式的数目等有关的信息。帧间模式可以意指指示合并/跳过模式、AMVP模式或当前图片参考模式的信息。当前图片参考模式是指使用当前图片的预重构区域来预测当前块的方法。当前图片可以是当前块所属的图片。可以将当前图片添加至用于帧间预测的参考图片列表，并且可以在在参考图片列表中将当前图片布置在短期参考图片或长期参考图片之后。运动信息可以包括预测方向标记、运动矢量、参考图片索引等。编码信息可以与当前块和/或邻近块有关。
邻近区域可以是根据解码顺序在亮度块之前重构的区域，并且可以包括以下中的至少一个：左侧、顶侧、右侧、底侧或与亮度块的每个角相邻的区域。
邻近区域可以包括一条、二条、三条、四条或更多条线。例如，可以将位于亮度块的顶部处的一条或更多条水平线确定为邻近区域，并且可以将位于亮度块的左边处的一条或更多条垂直线确定为邻近区域。属于邻近区域的线的数目可以是在编码/解码装置中预定义的固定数目(例如，一条)，或者可以基于编码信息可变地确定。此处，编码信息不仅可以包括由编码装置编码并信令通知的信息，也可以包括解码装置中基于信令通知的信息导出的信息。例如，编码信息可以包括以下中的至少一个：块大小/形状、块可用性、划分类型、划分计数、分量类型、预测模式、关于帧内预测模式、帧间模式、运动信息、变换类型、变换跳过模式的信息、关于非零残差系数、扫描顺序、颜色格式、环内滤波器信息的信息等。
块大小可以由以下中的任意一个来表示：宽度和高度、宽度和高度的最小值/最大值、宽度和高度的总和、属于块的样本的数目等。可以考虑块位置、并行处理区域的范围、解码顺序等来确定块的可用性。预测模式可以意指指示帧内模式或帧间模式的信息。关于帧内预测模式的信息包括与帧内预测模式是否为非方向性模式、帧内预测模式是否为垂直/水平模式、帧内预测模式的方向性、编码/解码装置中预定义的帧内预测模式的数目等有关的信息。帧间模式可以意指指示合并/跳过模式、AMVP模式或当前图片参考模式的信息。当前图片参考模式是指一种使用当前图片的预重构区域来预测当前块的方法。当前图片可以是当前块所属的图片。可以将当前图片添加至用于帧间预测的参考图片列表，并且可以在参考图片列表中将当前图片布置在短期参考图片或长期参考图片之后。运动信息可以包括预测方向标记、运动矢量、参考图片索引等。编码信息可以与当前块和/或邻近块有关。
参照图5，可以基于预先确定的参考区域来计算补偿参数(S510)。
编码/解码装置可以确定要参考以计算色度块的补偿参数的区域，该区域在下文中被称为参考区域。将参照图6和图7描述用于确定参考区域的方法。
可以针对每种分量类型定义参考区域。也就是说，参考区域可以包括亮度块的参考区域(在下文中被称为亮度参考区域)或色度块的参考区域(在下文中被称为色度参考区域)中的至少一个。色度块可以包括Cb块和Cr块中的至少一个。参考区域可以是与块相邻的预重构区域，其中，预重构区域可以是在应用环内滤波器之前的重构区域，或者可以是在应用环内滤波器之后的重构区域。
可以基于亮度参考区域的代表值与亮度块之间的线性等于或类似于色度参考区域的代表值与色度块之间的线性来计算补偿参数。可以以加权因子、偏移或滤波器系数中的至少一个的形式来计算补偿参数。
可以使用属于亮度参考区域的所有样本或一些样本来导出亮度参考区域的代表值。
可以在编码/解码装置中预定义一些样本的位置(第一实施方式)。例如，一些样本的位置可以是与亮度块的左上样本的左边、顶部或左上中的至少一个相邻的位置。可以根据亮度块的样本的位置来确定一些样本的位置(第二实施方式)。例如，一些样本可以具有与亮度块的样本相同的x坐标或y坐标。可以根据亮度块的帧内预测模式来确定一些样本(第三实施方式)。例如，帧内预测模式可以由角度线表示，其中一些样本可以与亮度块的样本位于同一角度线上。当在角度线上不存在整数样本(整数像素)时，可以将位于角度线的两侧上的整数样本用作样本中的一些。可以通过上述第一实施方式至第三实施方式中的至少两个的组合来确定样本中的一些。一些样本的数目可以是一个、两个、三个、四个、五个或更多个。该数目可以是在编码/解码装置中预定义的固定值，并且可以基于亮度块的样本的位置、帧内预测模式是否是非方向性模式、方向模式的角度、亮度块的大小/形状等来可变地确定。
可以根据属于亮度参考区域的所有样本或一些样本的平均值、最小值、最大值、众数值或中值导出代表值。替选地，可以通过将预先确定的滤波器应用于属于亮度参考区域的所有样本或一些样本来导出代表值。可以在编码/解码装置中对滤波器进行预定义。预定义的滤波器可以是一个、两个或更多个，并且可以考虑亮度块的大小/形状、预测模式、关于帧内预测模式的信息、滤波器强度等来选择性地使用多个滤波器中的一个。与多个滤波器中的一个相关的滤波器的长度、滤波器强度或滤波器系数中的至少一个可以与另一个滤波器不同。关于帧内预测模式的信息包括与帧内预测模式是否为非方向性模式、帧内预测模式是否为垂直/水平模式、帧内预测模式的方向性、在编码/解码装置中预定义的帧内预测模式的数目等有关的信息。
可以以与亮度参考区域的代表值相同或相似的方式来导出色度参考区域的代表值，并且因此将省略其详细描述。
参照图5，可以通过将S510的补偿参数应用于S500的第一预测值来导出色度块的第二预测值(S520)。
如以上所描述的，可以以加权因子和/或偏移的形式来计算补偿参数。在这种情况下，可以通过将第一预测值乘以加权因子来导出色度块的第二预测值，或者可以通过向第一预测值添加偏移量或从第一预测值减去偏移量来导出色度块的第二预测值。如式(1)所示，可以通过应用加权因子和偏移两者来导出第一预测值。
[式1]
PredC2＝a*PredC1+b
在式(1)中，PredC2表示第二预测值，PredC1表示第一预测值或亮度块的样本，并且a和b分别表示加权因子和偏移。
替选地，可以以n-抽头(n-tap)滤波器的滤波器系数的形式来计算补偿参数。n-抽头滤波器的输入值可以包括第一预测值(或亮度块的样本)、亮度参考区域的代表值或色度参考区域的代表值中的至少一个。n-抽头滤波器的输出值可以是色度块的第二预测值。
参照图5，可以基于在S520中导出的色度块的第二预测值来重构色度块(S530)。
在基于分量间参考的预测的情况下，可以将第二预测值设置为重构值。也就是说，在基于分量间参考的预测的情况下，解码装置可以省略对残差样本进行解码的处理。替选地，即使在基于分量间参考的预测的情况下，也可以将残差值样本添加至色度块的第二预测值以生成色度块的重构值。
另一方面，可以基于从编码装置信令通知的信息来选择性地执行上述基于分量间参考的预测方法(第一实施方式)。该信息可以指示是否通过基于分量间参考的预测对色度块进行解码，可以以标记或索引的形式来信令通知该信息。
替选地，解码装置可以基于预先确定的编码信息确定是否通过基于分量间参考的预测对色度块进行解码(第二实施方式)。此处，编码信息不仅可以包括由编码装置编码并信令通知的信息，也可以包括解码装置中基于信令通知的信息导出的信息。例如，编码信息可以包括以下中的至少一个：块大小/形状、块可用性、划分类型、划分计数、分量类型、预测模式、关于帧内预测模式、帧间模式、运动信息、变换类型、变换跳过模式的信息、关于非零残差系数、扫描顺序、颜色格式、环内滤波器信息的信息等。
块大小可以由以下中的任意一个表示：宽度和高度、宽度和高度的最小值/最大值、宽度和高度的总和、属于块的样本的数目等。可以考虑块位置、并行处理区域的范围、解码顺序等来确定块的可用性。预测模式可以意指指示帧内模式或帧间模式的信息。关于帧内预测模式的信息包括与帧内预测模式是否为非方向性模式、帧内预测模式是否为垂直/水平模式、帧内预测模式的方向性、编码/解码装置中预定义的帧内预测模式的数目等有关的信息。帧间模式可以意指指示合并/跳过模式、AMVP模式或当前图片参考模式的信息。当前图片参考模式是指一种使用当前图片的预重构区域来预测当前块的方法。当前图片可以是当前块所属的图片。可以将当前图片添加至用于帧间预测的参考图片列表，并且可以在参考图片列表中将当前图片布置在短期参考图片或长期参考图片之后。运动信息可以包括预测方向标记、运动矢量、参考图片索引等。编码信息可以与当前块和/或邻近块有关。
替选地，可以仅当亮度块满足特定条件时执行基于分量间参考的预测(第三实施方式)。作为上述特定条件的示例，可能存在以下条件：以帧内模式对亮度块进行编码、亮度块的帧内预测模式是非方向性模式、亮度块的帧内预测模式是非方向性模式、亮度块的帧内预测模式是垂直/水平模式、亮度块的大小等于或小于预先确定的阈值、亮度块以合并/跳过模式编码、亮度块的残差系数为0(例如，coded_block_flag＝0)、属于亮度块的非零残差系数的数目等于或小于预先确定的阈值、从邻近块的环内滤波器信息导出亮度块的环内滤波器信息(例如，去块滤波器、SAO、ALF)等。可以基于上述第一实施方式至第三实施方式中的至少两个的组合来选择性地执行基于分量间参考的预测。
色度块可以包括第一色度块(Cr块)和第二色度块(Cb块)。可以通过以上描述的基于分量间参考的预测使用亮度块的样本分别对第一色度块和第二色度块进行解码。
替选地，可以在亮度块与色度块之间应用基于分量间参考的预测，并且可以在第一色度块与第二色度块之间均等/相似地应用基于分量间参考的预测。在这种情况下，可以通过基于分量间参考的预测使用亮度块的样本来预测/重构第一色度块。然后，通过基于分量间参考的预测，可以使用第一色度块的样本来预测/重构第二色度块。
替选地，可以通过基于分量间参考的预测使用亮度块的样本来预测/重构第一色度块。然后，可以通过亮度块和第一色度块的加权总和来预测/重构第二色度块。可以基于上述参考区域的所有样本或一些样本来计算加权总和的权重。替选地，可以由编码装置编码并信令通知该权重，或者可以在编码/解码装置中将权重确定为预定值。
在上述实施方式中，按照从第一色度块到第二色度块的顺序来重构，但是也可以按照从第二色度块到第一色度块的顺序来重构。可以基于编码/解码装置中的预先确定的顺序来确定顺序。替选地，可以对指定顺序的信息进行编码并信令通知，并且解码装置可以根据信令通知的信息顺序地重构色度块。
图6和图7示出根据本发明的实施方式的用于分量间参考的参考区域的示例。
可以将与亮度/色度块相邻并且根据预先确定的解码顺序在亮度/色度块之前预重构的区域用作参考区域。例如，如图6所示，可以将与亮度/色度块的左边或顶部相邻的区域用作参考区域。替选地，如图7所示，参考区域可以扩展至与亮度/色度块的右上和左下相邻的区域。尽管在图6和图7中未示出，也可以将与亮度/色度块的左上相邻的区域以及与亮度/色度块的右边、底部或右下相邻的区域用作参考区域。可以根据解码顺序在亮度/色度块之前对区域进行预重构。
可以基于亮度块的编码信息或邻近块的编码信息中的至少一个来确定参考区域。确定可以包括确定以下中的至少一个：与参考区域有关的位置、数目、大小(宽度/高度)、形状、长度或者候选参考区域中的优先级。候选参考区域是指可用作参考区域的一个或更多个候选区域，并且可以将参考区域确定为候选参考区域中的任意一个。邻近块可以是根据解码顺序在亮度块之前重构的块。例如，邻近块可以是与亮度块的左边、顶部、右边、底部或每个角中的至少一个相邻的块。
此处，编码信息不仅可以包括由编码装置编码并信令通知的信息，也可以包括在解码装置中基于信令通知的信息导出的信息。例如，编码信息可以包括以下中的至少一个：块大小/形状、块可用性、划分类型、划分计数、分量类型、预测模式、关于帧内预测模式、帧间模式、运动信息、变换类型、变换跳过模式的信息、关于非零残差系数、扫描顺序、颜色格式、环内滤波器信息的信息等。
块大小可以由以下中的任意一个来表示：宽度和高度、宽度和高度的最小值/最大值、宽度和高度的总和、属于块的样本的数目等。可以考虑块位置、并行处理区域的范围、解码顺序等来确定块的可用性。预测模式可以意指指示帧内模式或帧间模式的信息。关于帧内预测模式的信息包括与帧内预测模式是否为非方向性模式、帧内预测模式是否为垂直/水平模式、帧内预测模式的方向性、编码/解码装置中预定义的帧内预测模式的数目等有关的信息。帧间模式可以意指指示合并/跳过模式、AMVP模式或当前图片参考模式的信息。当前图片参考模式是指一种使用当前图片的预重构区域来预测当前块的方法。当前图片可以是当前块所属的图片。可以将当前图片添加至用于帧间预测的参考图片列表，并且可以在参考图片列表中将当前图片布置在短期参考图片或长期参考图片之后。运动信息可以包括预测方向标记、运动矢量、参考图片索引等。
例如，当以帧内模式对亮度块进行编码时，可以将邻近样本的用于帧内预测的区域确定为亮度/色度块的参考区域。此处，当在帧内预测中对邻近样本应用滤波时，亮度/色度块的参考区域可以是邻近样本的应用了滤波的区域或者邻近样本的在应用滤波之前的区域。可以将属于参考区域的样本线的数目设置成等于属于邻近样本的区域的样本线的数目，并且参考区域可以由与邻近样本的区域不同的N或M个样本线组成。
替选地，可以基于邻近块的编码信息来导出亮度块的编码信息。例如，存在以下情况：从基于邻近的块的MPM(most probable mode，最可能模式)导出亮度块的帧内预测模式，并且以合并/跳过模式或AMVP模式对亮度块进行编码，从邻近块的SAO滤波器信息导出SAO滤波器信息等。在这种情况下，可以将所有或一些邻近块确定为参考区域。
替选地，当亮度块的大小小于或等于阈值时，可以使用左参考区域和顶部参考区域。否则，可以使用左参考区域或顶部参考区域。如果亮度块是NxM非正方形(N>M)，则可以使用顶部参考区域，而如果亮度块是NxM非正方形(N<M)，则可以使用左参考区域。当亮度块的帧内预测模式是非方向性模式时，可以使用左参考区域和顶部参考区域。否则，可以考虑帧内预测模式的方向性使用左参考区域或顶部参考区域。在这种情况下，当方向性是垂直的时，可以使用顶部参考区域，而当方向性是水平的时，可以使用左参考区域。
替选地，可以从编码装置信令通知关于参考区域的信息。解码装置可以基于信令通知的信息来确定参考区域。关于参考区域的信息是指定参考区域的信息。关于参考区域的信息可以包括以下中的至少一个：与参考区域有关的位置、数目、大小(宽度/高度)、形状、长度或者候选参考区域之间的优先级信息。可以在视频序列、图片或预先确定的废弃区域(例如，条带、切片、块组、块等)中的至少一个中信令通知该信息。
为此，当存在m个可用参考区域时，编码装置可以将0至(m-1)个索引分配给每个参考区域，并且可以对m个参考区域中的任意一个进行编码。可以针对亮度块和色度块中的每一个信令通知编码信息，并且亮度块和色度块可以使用位置彼此不同的参考区域。替选地，可以仅针对亮度块信令通知该信息。在这种情况下，可以根据亮度块的信令通知的信息来确定色度块的参考区域。
根据上述方法，可以自适应地确定参考区域。然而，可能存在其中所确定的参考区域不可用的情况。此处，不可用的情况可能意味着所确定的参考区域未被解码或者所确定的参考区域位于图片之外。在未被解码的情况下，这可能意味着所确定的参考区域与亮度/色度块属于相同的并行处理区域，或者所确定的参考区域具有比亮度/色度块的解码顺序晚的解码顺序。
因此，当所确定的参考区域不可用时，可以限制将参考区域用于基于分量间参考的预测。为此，可以使用关于是否使用参考区域的标记信息。替选地，可以用可用的参考区域替代不可用的参考区域。可用的参考区域可以是在不可用的参考区域的特定方向上相邻的区域。特定方向可以是左、右、顶部、底部或对角线中的一个。特定方向可以在编码/解码装置中预先定义，或者可以考虑不可用的参考区域的位置来可变地确定。
属于参考区域的样本线的数目可以是一个、两个或更多个。如图6所示，亮度块的顶部参考区域可以包括NL条水平线，并且左参考区域可以包括ML条垂直线。色度块的顶部参考区域可以包括NC条水平线，并且左参考区域可以包括MC条垂直线。同时，顶部参考区域中的样本线(NL、NC)的数目可以与左参考区域中的样本线(ML、MC)的数目相同。替选地，顶部参考区域中的样本线(NL、NC)的数目和左参考区域中的样本线(ML、MC)的数目中的一个可以大于或小于另一个。
NL、ML、NC和MC的值可以是大于或等于零的整数。NL、ML、NC和MC的值可以在编码/解码装置中被设置为预先确定的值，或者可以基于上述编码信息可变地确定。替选地，可以对关于样本线的数目的信息进行编码并从编码装置信令通知，并且解码装置可以基于信令通知的信息来确定NL、ML、NC和MC的值。
另一方面，可以基于颜色格式来确定属于亮度参考区域的样本线的数目与属于色度参考区域的样本线的数目之间的比率。例如，当颜色格式是4:2:0时，属于亮度参考区域的样本线的数目与属于色度参考区域的样本线的数目之间的比率(NL:NC或ML:MC)为2:1。
可以基于所确定的比率对亮度参考区域和色度参考区域中的至少一个执行上采样或下采样。可以通过采样过程来调整参考区域在亮度与色度之间的比率。
此外，不管颜色格式如何，参考区域在亮度与色度之间的比率可以是1:1。也就是说，可以根据属于亮度参考区域的参考线的数目来设置属于色度参考区域的样本线的数目(例如，NL＝NC或ML＝MC)。关于该比率的实施方式可以等同地应用于亮度参考区域的长度与色度参考区域的长度之间的比率。
如以上所描述的，参考区域可以包括多条样本线。在这种情况下，图5中所参考的样本中的一些可以属于多条样本线中的单个样本线。替选地，一些样本中的至少一个可以属于与其他不同的样本线。
同时，图6和图7所示的块是N×N的正方形，但是它们不限制块的大小或形状，并且可以取决于以上描述的划分类型而具有各种大小/形状。
图8示出根据本发明的实施方式的确定要用于色度块的分量间参考的亮度块的区域的方法。
编码/解码装置可以确定要用于色度块的分量间参考的亮度块的区域(在下文中被称为亮度区域)。因此，上述实施方式中的亮度块可以被解释为与色度块对应的亮度块，或者可以被解释为亮度区域。
可能存在其中一个色度块对应于一个亮度块的情况(即，亮度块:色度＝1:1)。此处，亮度/色度块可以是未进一步划分的块。在这种情况下，如图5所示，可以将本发明的亮度区域确定为与色度块对应的亮度块。可以将所确定的亮度区域调整大小成对应于色度块的分辨率。
同时，如图8所示，根据上述划分类型或颜色格式中的至少一种可能存在以下情况：其中一个色度块对应于由N个子块组成的亮度块(即，亮度块EL:色度块AC＝N:1)。在这种情况下，将亮度区域确定为与色度块对应的亮度块，并且可以将亮度区域调整大小为对应于色度块的分辨率。替选地，可以将亮度块的与色度块交叠的区域确定为亮度区域。替选地，当亮度块：色度块＝N:1时，可以对其进行限制使得在解码装置中不执行基于分量间参考的预测。
替选地，根据上述划分类型或颜色格式中的至少一种可能存在以下情况：其中由M个子块组成的色度块对应于由N个子块组成的亮度块(即，亮度块：色度块＝N:M)。在这种情况下，可以考虑亮度块与色度块之间的对应关系(即N:M的对应关系)来确定亮度区域。替选地，可以将亮度块的与色度块交叠的区域确定为亮度区域。
所确定的亮度区域可以包括以帧内模式编码的块或以帧间模式编码的块中的至少一个。如果亮度区域包括分别以帧内和帧间模式编码的块，则可以限制执行基于分量间参考的预测。替选地，即使当亮度区域包括以帧内模式和帧间模式编码的块时，也可以使用亮度区域的邻近样本来计算补偿参数。另外，在将以帧间模式编码的块包括在亮度区域中的情况下，参考区域可以如图6所示被扩展，并且将省略其详细描述。替选地，当亮度区域包括以帧内模式和帧间模式编码的块时，可以仅将以帧间模式编码的块的邻近样本用作亮度参考区域。同时，可以仅将与以帧间模式编码的块的邻近样本对应的区域确定为色度参考区域。替选地，当亮度区域包括以帧内模式和帧间模式编码的块时，编码装置可以对指定亮度/色度参考区域的信息进行编码并信令通知，并且解码装置可以基于该信息来指定亮度/色度参考区域。替选地，当亮度块：色度块＝N:M时，可以在解码装置中不执行以上描述的基于分量间参考的预测。
可以考虑亮度块的划分信息、色度块的划分信息、或者亮度块与色度块之间的划分信息的对应关系中的至少一个来执行亮度区域的确定。划分信息可以包括以下中的至少一个：与划分块有关的宽度、高度、宽度-高度比率、属于该块的样本的数目、属于该块的子块的数目、子块的形状或划分类型。
可以基于亮度块的划分信息与色度块的划分信息之间的比较结果来执行亮度区域的确定。例如，当色度块的划分信息与亮度块的划分信息相同时，可以将亮度区域确定为与色度块对应的亮度块。另一方面，当色度块的划分信息与亮度块的划分信息不同时，可以通过由编码装置信令通知的预先确定的规则或信息将亮度区域确定为亮度块的部分区域。该信息可以是用于指定亮度区域的信息。
尽管为了说明的清楚起见，本公开内容的示例性方法由一系列动作表示，但是它们并不旨在限制执行步骤的顺序，并且如果需要，可以同时或者以不同的顺序执行每个步骤。为了实施根据本公开内容的方法，说明性步骤可以另外包括其他步骤，包括除一些步骤之外的其余步骤，或者可以包括除一些步骤以外的其他步骤。
本公开内容的各种实施方式不旨在包括一切，并且旨在示出本公开内容的代表性方面，并且各种实施方式中描述的特征可以独立地或以两个或更多个的组合来应用。
另外，本公开内容的各种实施方式可以通过硬件、固件、软件或其组合来实现。在硬件实现的情况下，可以通过一个或更多个专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、通用处理器、控制器、微控制器、微处理器等来实现硬件。
本公开内容的范围包括：软件或机器可执行指令(例如，操作系统、应用、固件、程序等)，所述软件或机器可执行指令使根据各种实施方式的方法的操作在装置或计算机上执行；以及非暂态计算机可读介质，其中储存有可在装置或计算机上执行的这样的软件或指令。
工业适用性
本发明可以用于对视频信号进行编码/解码。

Claims (12)

1.一种处理视频信号的方法，包括：
使用亮度块的样本导出色度块的第一预测值；
基于预先确定的参考区域计算补偿参数；
通过将所述补偿参数应用于所述第一预测值来导出所述色度块的第二预测值；以及
基于所述色度块的所述第二预测值来重构所述色度块。
2.根据权利要求1所述的方法，其中，计算所述补偿参数包括：
确定被参考以计算所述补偿参数的参考区域，以及
其中，针对所述亮度块或所述色度块中的至少一个确定所述参考区域。
3.根据权利要求1所述的方法，其中，基于所述亮度块的参考区域的代表值或所述色度块的参考区域的代表值中的至少一个来计算所述补偿参数。
4.根据权利要求3所述的方法，其中，根据属于所述参考区域的所有样本或一些样本的平均值、最小值、最大值、众数值或中值中的一个导出所述代表值。
5.根据权利要求1所述的方法，其中，基于指示是否通过基于分量间参考的预测对所述色度块进行解码的信息来选择性地执行所述第一预测值的导出。
6.根据权利要求1所述的方法，其中，所述色度块是第一色度块(Cr块)，并且
其中，通过使用所述亮度块的样本或所述第一色度块的样本中的至少一个来重构第二色度块(Cb块)。
7.一种处理视频信号的装置，包括：
预测单元，其被配置成：
使用亮度块的样本导出色度块的第一预测值；
基于预先确定的参考区域计算补偿参数；以及
通过将所述补偿参数应用于所述第一预测值来导出所述色度块的第二预测值；以及
重构单元，其被配置成基于所述色度块的所述第二预测值来重构所述色度块。
8.根据权利要求7所述的装置，其中，所述预测单元被配置成确定被参考以计算所述补偿参数的参考区域，以及
其中，针对所述亮度块和所述色度块中的至少一个确定所述参考区域。
9.根据权利要求7所述的装置，其中，基于所述亮度块的参考区域的代表值或所述色度块的参考区域的代表值中的至少一个来计算所述补偿参数。
10.根据权利要求9所述的装置，其中，根据属于所述参考区域的所有样本或一些样本的平均值、最小值、最大值、众数值或中值中的一个导出所述代表值。
11.根据权利要求7所述的装置，其中，所述预测单元被配置成基于指示是否通过基于分量间参考的预测对所述色度进行解码的信息来导出所述第一预测值。
12.根据权利要求7所述的装置，其中，所述色度块是第一色差块(Cr块)，并且
其中，通过使用所述亮度块的样本或所述第一色度块的样本中的至少一个来重构第二色度块(Cb块)。
CN201980039260.0A 2018-06-12 2019-06-10 基于分量之间的参考的视频信号处理方法及装置 Pending CN112292863A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
KR1020180067164A KR101956756B1 (ko) 2018-06-12 2018-06-12 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
KR10-2018-0067164 2018-06-12
PCT/KR2019/006959 WO2019240448A1 (ko) 2018-06-12 2019-06-10 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
CN112292863A true CN112292863A (zh) 2021-01-29

Family

ID=65758553

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980039260.0A Pending CN112292863A (zh) 2018-06-12 2019-06-10 基于分量之间的参考的视频信号处理方法及装置

Country Status (6)

Country Link
US (4) US10477205B1 (zh)
KR (1) KR101956756B1 (zh)
CN (1) CN112292863A (zh)
CA (1) CA3141482A1 (zh)
MX (1) MX2020013452A (zh)
WO (1) WO2019240448A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099221A (zh) * 2021-02-22 2021-07-09 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置
CN113489974A (zh) * 2021-07-02 2021-10-08 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
WO2023197191A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质
WO2023197192A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102030384B1 (ko) 2018-06-19 2019-11-08 광운대학교 산학협력단 잔차 계수 부호화/복호화 방법 및 장치
CN112262576A (zh) * 2018-06-11 2021-01-22 光云大学校产学协力团 残差系数编码/解码方法和装置
KR101956756B1 (ko) 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
CN117729327A (zh) * 2018-09-03 2024-03-19 华为技术有限公司 用于帧内预测的方法和装置
EP3886432B1 (en) * 2018-11-23 2024-01-03 Intellectual Discovery Co., Ltd. Inter-component prediction
CN116781915A (zh) * 2018-12-13 2023-09-19 华为技术有限公司 色度块的预测方法和装置
US11736692B2 (en) * 2018-12-21 2023-08-22 Samsung Electronics Co., Ltd. Image encoding device and image decoding device using triangular prediction mode, and image encoding method and image decoding method performed thereby
KR20220041898A (ko) 2019-08-29 2022-04-01 엘지전자 주식회사 적응적 루프 필터링 기반 영상 코딩 장치 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416066A (zh) * 2011-03-06 2013-11-27 Lg电子株式会社 使用亮度采样的色度块的内部预测方法以及使用其的装置
CN105103552A (zh) * 2013-01-10 2015-11-25 三星电子株式会社 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
US20160065988A1 (en) * 2013-03-28 2016-03-03 Kddi Corporation Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2840488A1 (en) 2011-06-28 2013-01-03 Samsung Electronics Co., Ltd. Prediction method and apparatus for chroma component of image using luma component of image
JP2013141187A (ja) 2012-01-06 2013-07-18 Sony Corp 画像処理装置及び画像処理方法
US9686561B2 (en) * 2013-06-17 2017-06-20 Qualcomm Incorporated Inter-component filtering
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
WO2017052250A1 (ko) 2015-09-23 2017-03-30 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
JP7356347B2 (ja) 2016-10-04 2023-10-04 エルエックス セミコン カンパニー， リミティド 画像復号方法、画像符号化方法、及び記録媒体
CN118042167A (zh) * 2018-03-29 2024-05-14 艾锐势有限责任公司 用于对hdr内容进行去方块的系统和方法
KR101956756B1 (ko) * 2018-06-12 2019-03-11 광운대학교 산학협력단 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103416066A (zh) * 2011-03-06 2013-11-27 Lg电子株式会社 使用亮度采样的色度块的内部预测方法以及使用其的装置
US20170105025A1 (en) * 2011-03-06 2017-04-13 Lg Electronics Inc. Intra prediction method of chrominance block using luminance sample, and apparatus using same
CN105103552A (zh) * 2013-01-10 2015-11-25 三星电子株式会社 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
US20160065988A1 (en) * 2013-03-28 2016-03-03 Kddi Corporation Video encoding apparatus, video decoding apparatus, video encoding method, video decoding method, and computer program
CN107810635A (zh) * 2015-06-16 2018-03-16 Lg 电子株式会社 图像编译系统中基于照度补偿预测块的方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TAO ZHANG: "IMPROVING CHROMA INTRA PREDICTION FOR HEVC", 《2016 IEEE INTERNATIONAL CONFERENCE ON MULTIMEDIA & EXPO WORKSHOPS (ICMEW)》, pages 3 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113099221A (zh) * 2021-02-22 2021-07-09 浙江大华技术股份有限公司 跨分量样点自适应补偿方法、编码方法及相关装置
CN113489974A (zh) * 2021-07-02 2021-10-08 浙江大华技术股份有限公司 帧内预测方法、视频/图像编解码方法及相关装置
WO2023197191A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质
WO2023197192A1 (zh) * 2022-04-12 2023-10-19 Oppo广东移动通信有限公司 编解码方法、装置、编码设备、解码设备以及存储介质

Also Published As

Publication number Publication date
US20230370592A1 (en) 2023-11-16
CA3141482A1 (en) 2019-12-19
MX2020013452A (es) 2021-02-26
US10477205B1 (en) 2019-11-12
US20200036971A1 (en) 2020-01-30
WO2019240448A1 (ko) 2019-12-19
US10972727B2 (en) 2021-04-06
KR101956756B1 (ko) 2019-03-11
US20210195180A1 (en) 2021-06-24
US11765348B2 (en) 2023-09-19

Similar Documents

Publication Publication Date Title
US11343499B2 (en) Method and apparatus for processing video signal
US11765348B2 (en) Method and an apparatus for processing a video signal based on inter-component reference
US11818354B2 (en) Method and an apparatus for encoding/decoding residual coefficient
CN113873243B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
US11838527B2 (en) Method and device for encoding/decoding residual block on basis of quantization parameter
KR20170116850A (ko) 인트라 예측 기반의 비디오 신호 처리 방법 및 장치
US11924414B2 (en) Image encoding/decoding method and device using intra prediction
CN112823513A (zh) 图像编码/解码方法和装置
KR102660273B1 (ko) 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치
US11350093B2 (en) Residual coefficient encoding/decoding method and device
CN113873242B (zh) 用于对视频进行解码的方法和用于对视频进行编码的方法
KR20220051156A (ko) 성분 간 참조 기반의 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination