CN117528086A - 对图像进行解码和编码的方法、非暂态计算机可读介质 - Google Patents

对图像进行解码和编码的方法、非暂态计算机可读介质 Download PDF

Info

Publication number
CN117528086A
CN117528086A CN202311507116.XA CN202311507116A CN117528086A CN 117528086 A CN117528086 A CN 117528086A CN 202311507116 A CN202311507116 A CN 202311507116A CN 117528086 A CN117528086 A CN 117528086A
Authority
CN
China
Prior art keywords
sample
block
component
inter
samples
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311507116.XA
Other languages
English (en)
Inventor
安镕照
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Discovery Co Ltd
Original Assignee
Intellectual Discovery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellectual Discovery Co Ltd filed Critical Intellectual Discovery Co Ltd
Publication of CN117528086A publication Critical patent/CN117528086A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开提供了用于对图像进行解码和编码的方法、非暂态计算机可读介质。对图像进行解码的方法包括：构建用于图像中的色度分量块的分量间预测的参考样本；基于参考样本和与参考样本相邻的相邻样本得出下采样的参考样本，相邻样本包括与参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；基于下采样的参考样本得出分量间预测参数；以及基于分量间预测参数来执行色度分量块的分量间预测，其中，参考样本包括左侧参考样本或上侧参考样本，左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于亮度分量块的左下侧相邻块的第二样本，上侧参考样本包括属于亮度分量块的上侧相邻块的第三样本和属于亮度分量块的右上侧相邻块的第四样本。

Description

对图像进行解码和编码的方法、非暂态计算机可读介质
本发明申请为申请日为2019年5月13日、国际申请号为PCT/KR2019/005727、并于2020年11月12日进入中国国家阶段的发明名称为“图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质”的第201980031971.3号发明专利申请的分案申请。
技术领域
本公开内容涉及图像编码/解码方法和装置。更具体地，本公开内容涉及使用分量间预测的图像解码方法/装置以及与其对应的图像编码方法/装置。
背景技术
视频压缩主要由帧内预测、帧间预测、变换、量化、熵编码、环路滤波组成。同时，随着对高分辨率图像的需求增加，对作为新图像服务的3D图像内容的需求也在增加。正在讨论用于有效地提供高分辨率和超高分辨率图像的视频压缩技术。
发明内容
技术问题
本公开内容的目的是提供一种具有提高的效率的图像编码/解码方法和装置。
另外，本公开内容的目的是提供一种通过在图像编码和解码期间引入分量间预测技术而具有提高的效率的图像编码/解码方法和装置。
另外，本公开内容的目的是提供一种图像编码/解码方法和装置，其基于与当前块的色度分量的亮度分量或另一色度分量的相似度，使用线性模型来执行预测。
另外，本公开内容的目的是提供一种图像编码/解码方法和装置，其通过使用当前块的空间相邻像素之间的相似度来获得线性模型的参数，并将该参数应用于分量间预测。
另外，本公开内容的目的是提供一种图像编码/解码方法和装置，其根据当前目标块的空间相邻样本中的编码信息，使用一些样本来获得分量间预测参数，并且对当前目标块的色度分量应用用于分量间预测的图像编码/解码。
另外，本公开内容的目的是提供一种存储由图像编码方法/装置生成的比特流的计算机可读记录介质。
技术解决方案
根据本公开内容的图像编码/解码方法和装置可以构建用于分量间预测的参考样本，使用参考样本得出分量间预测参数，以及使用分量间预测参数执行分量间预测。
在根据本公开内容的图像编码/解码方法和装置中，构建参考样本可以使用空间上与当前参考分量块和当前目标分量块相邻的预重建样本。
在根据本公开内容的图像编码/解码方法和装置中，预重建的样本可以包括与亮度分量块的左侧或上侧中的至少一个相邻的样本。
在根据本公开内容的图像编码/解码方法和装置中，预重建的样本还可包括连续地位于与左侧相邻的样本的下侧的样本或连续地位于与上侧相邻的样本的右侧的样本。
在根据本公开内容的图像编码/解码方法和装置中，可以考虑当前块的大小、帧内预测模式或约束帧内预测中的至少一个来确定参考样本。当前块可以表示当前参考分量块或当前目标分量块中的至少一个。
在根据本公开内容的图像编码/解码方法和设装置中，当当前块的形状是正方形块时，可以使用当前块的相邻样本中的与上侧相邻的样本和与左侧相邻的样本两者来构建参考样本。另一方面，当当前块的形状不是正方形块时，可以使用当前块的相邻样本中的与上侧相邻的样本或与左侧相邻的样本中的任一样本来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，当当前块的帧内预测模式不是竖直性模式(VER_MODES)和水平性模式(HOR_MODES)时，可以使用当前块的相邻样本中的与上侧相邻的样本和与左侧相邻的样本两者来构建参考样本。另一方面，当当前块的帧内预测模式是竖直性模式(VER_MODES)时，可使用当前块的相邻样本中的与上侧相邻的样本来构建参考样本，而当当前块的帧内预测模式是水平性模式(HOR_MODES)时，可以使用当前块的相邻样本中的与左侧相邻的样本来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，当当前块使用约束帧内预测时，可以仅利用当前块的空间相邻样本中的利用帧内预测模式重建的样本来构建参考样本。另一方面，当当前块不使用约束帧内预测时，可以利用当前块的空间相邻样本中的利用帧间预测模式和帧内预测模式重建的所有样本来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，当当前块使用约束帧内预测时，可以仅利用当前块的空间相邻样本中的利用帧内预测模式重建的样本来构建参考样本，并且在利用帧间预测模式重建的样本区域的情况下，可以通过基于当前块的空间相邻样本中的可用样本执行填充来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，可以通过基于当前块的空间相邻样本中的可用样本执行填充来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，得出分量间预测参数可以包括：在与亮度分量块相邻的参考样本中提取最大值和最小值，并且通过使用最大值和最小值来得出基于线性模型的分量间预测参数。
根据本公开内容的图像编码/解码方法和装置还可以包括下采样亮度分量块。
在根据本公开内容的图像编码/解码方法和装置中，可以使用亮度分量块的对应样本和相邻样本来执行下采样，并且相邻样本的数量可以是1或5。
在根据本公开内容的图像编码/解码方法和装置中，相邻样本可以包括与相应样本的左侧、右侧、下侧、左下侧或右下侧中的至少一个相邻的样本。
在根据本公开内容的用于对图像进行编码/解码的方法和装置中，生成分量间预测信号的步骤可以根据当前目标分量块中的目标样本与和该目标样本相对应的预重建参考分量块中的一个或更多个样本之间的线性模型来生成当前目标样本的预测样本。
在根据本公开内容的图像编码/解码方法和装置中，用于生成分量间预测信号的线性模型可以基于使用两个不同分量之间的采样值的分布的至少一个线性模型来执行分量间预测，并且可以根据采样值的范围来使用不同的线性模型。
根据本公开内容的计算机可读记录介质是一种存储由图像编码方法生成的比特流的计算机可读记录介质，该视频编码方法可以包括：构建用于分量间预测的参考样本；使用参考样本得出分量间预测参数；以及使用分量间预测参数生成分量间预测信号。
根据本申请的一个方面，提供了一种对图像进行解码的方法，包括：构建用于所述图像中的色度分量块的分量间预测的参考样本；基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；基于所述下采样的参考样本得出分量间预测参数；以及基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
根据本申请的另一个方面，提供了一种对图像进行编码的方法，包括：构建用于所述图像中的色度分量块的分量间预测的参考样本；基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；基于所述下采样的参考样本得出分量间预测参数；以及基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
根据本申请的另一个方面，提供了一种非暂态计算机可读介质，用于存储通过图像编码方法生成的比特流，所述图像编码方法包括：构建用于色度分量块的分量间预测的参考样本；基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；基于所述下采样的参考样本得出分量间预测参数；以及基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
有利效果
根据本公开内容，可以提供如下的具有提高的效率的图像编码/解码方法和装置。
首先，根据本公开内容的实施方式，可以通过利用分量间预测方法来提供一种用于提高色度分量的编码/解码效率的图像解码方法和装置。
第二，根据本公开内容的实施方式，可以提供一种通过使用基于具有当前块的色度分量的亮度分量或其它色度分量的样本之间的相似度的预测方法来提高色度分量的编码/解码效率的图像解码方法和装置。
第三，根据本公开内容的实施方式，可以提供一种通过使用当前块的空间相邻样本的相似度获得应用于分量间预测的线性模型的参数来提高色度分量的编码/解码效率的图像解码方法和装置。
此外，可以提供一种根据本公开内容的用于存储由图像编码方法/装置生成的比特流的计算机可读记录介质。
附图说明
图1是示出根据本公开内容的图像编码装置的框图。
图2是示出根据本公开内容的图像解码装置的框图。
图3示出了根据本公开内容的分量间预测技术的概念。
图4是示出根据本公开内容的分量间预测的流程图。
图5示出了作为根据本公开内容的实施方式的用于分量间预测的参考样本的构建示例。
图6示出了作为根据本公开内容的实施方式的示例，其中，根据编码信息不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。
图7是作为根据本公开内容的实施方式的流程图，其中，根据目标块的形状不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。
图8是作为根据本公开内容的实施方式的流程图，其中，根据当前块的帧内预测模式不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。
图9示出了作为应用了本公开内容的实施方式的帧内预测模式的方向性。
图10示出根据本公开内容的示例，其中，根据是否执行了约束帧内预测来不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。
图11是作为根据本公开内容的实施方式的流程图，其中，根据是否执行了约束帧内预测来不同地构建与用于得出分量间预测的线性模型参数的当前块相邻的样本。
图12示出了根据本公开内容的通过填充在空间上与当前块相邻的样本中的可用样本来构建参考样本的示例，该样本用于得出分量间预测的线性模型参数。
图13是根据本公开内容的通过在空间上与当前块相邻的样本中填充可用样本来构建参考样本的流程图，该样本用于得出分量间预测的线性模型参数。
图14至图18示出了作为根据本公开内容的实施方式的在分量间预测中与当前样本相对应的参考分量的对应样本的数量和位置分别不同的示例。
图19是示出作为根据本公开内容的实施方式的使用多个线性模型执行分量间预测的方法的概念的图。
最佳实施方式
根据本公开内容的图像编码/解码方法和装置可以构建用于分量间预测的参考样本，使用参考样本得出分量间预测参数，以及使用分量间预测参数执行分量间预测。
在根据本公开内容的图像编码/解码方法和装置中，构建参考样本可以使用与当前参考分量块和当前目标分量块空间相邻的预重建样本。
在根据本公开内容的图像编码/解码方法和装置中，预重建的样本可以包括与亮度分量块的左侧或上侧中的至少一个相邻的样本。
在根据本公开内容的图像编码/解码方法和装置中，预重建的样本还可包括连续地位于与左侧相邻的样本的下侧的样本或连续地位于与上侧相邻的样本的右侧的样本。
在根据本公开内容的图像编码/解码方法和装置中，可以考虑当前块的大小、当前块的帧内预测模式或当前块是否使用约束帧内预测中的至少一个来确定参考样本。当前块可以表示当前参考分量块或当前目标分量块中的至少一个。
在根据本公开内容的图像编码/解码方法和装置中，当当前块的形状是正方形块时，可以使用当前块的相邻样本中与上侧相邻的样本和与左侧相邻的样本两者来构建参考样本。另一方面，当当前块的形状不是正方形块时，可以使用当前块的相邻样本中与上侧相邻的样本或与左侧相邻的样本中的任一个来构建参考样本。
在根据本发明的图像编码/解码方法和装置中，当当前块的帧内预测模式不是竖直性模式(VER_MODES)和水平性模式(HOR_MODES)时，可使用当前块的相邻样本中与上侧相邻的样本和与左侧相邻的样本两者来构建参考样本。另一方面，当当前块的帧内预测模式是竖直性模式(VER_MODES)时，可以使用当前块的相邻样本中与上侧相邻的样本来构建参考样本，而当当前块的帧内预测模式是水平性模式(HOR_MODES)时，可以使用当前块的相邻样本中与左侧相邻的样本来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，当当前块使用约束帧内预测时，可以仅利用当前块的空间相邻样本中的利用帧内预测模式重建的样本来构建参考样本。另一方面，当当前块不使用约束帧内预测时，可以利用当前块的空间相邻样本中的利用帧间预测模式和帧内预测模式重建的所有样本来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，当当前块使用约束帧内预测时，可以仅利用当前块的空间相邻样本中的利用帧内预测模式重建的样本来构建参考样本，并且可以基于当前块的空间相邻样本中的可用样本来填充利用帧间预测模式重建的样本区域，以构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，可以通过基于当前块的空间相邻样本中的可用样本执行填充来构建参考样本。
在根据本公开内容的图像编码/解码方法和装置中，得出分量间预测参数可以包括：在与亮度分量块相邻的参考样本中提取最大值和最小值，并且通过使用最大值和最小值来得出基于线性模型的分量间预测参数。
根据本公开内容的图像编码/解码方法和装置还可以包括下采样亮度分量块。
在根据本公开内容的图像编码/解码方法和装置中，可以使用亮度分量块的对应样本和相邻样本执行下采样，并且相邻样本的数量可以是1、2、3、4、5或更多。
在根据本公开内容的图像编码/解码方法和装置中，相邻样本可以包括与对应样本的左侧、右侧、下侧、左下侧或右下侧中的至少一个相邻的样本。
在根据本公开内容的用于对图像进行编码/解码的方法和装置中，生成分量间预测信号的步骤可以根据当前目标分量块中的目标样本和与其对应的预重建参考分量块中的一个或更多个样本之间的线性模型来生成当前目标样本的预测样本。
在根据本公开内容的图像编码/解码方法和装置中，用于生成分量间预测信号的线性模型可以基于使用两个不同分量之间的采样值的分布的至少一个线性模型来执行分量间预测，并且可以根据采样值的范围来使用不同的线性模型。
根据本公开内容的计算机可读记录介质是一种存储由图像编码方法生成的比特流的计算机可读记录介质，该图片编码方法可以包括：构建用于分量间预测的参考样本；使用参考样本得出分量间预测参数；以及使用分量间预测参数生成分量间预测信号。
具体实施方式
将参照本说明书中的附图详细描述本公开内容的实施方式，使得本领域普通技术人员能够容易地实现本公开内容。然而，本公开内容可以以许多不同的形式实施，并且不应该被解释为限于本文所阐述的实施方式。为了清楚地说明本公开内容，在整个说明书中省略了与描述无关的部分并且用相似的附图标记表示类似的部分。
在整个说明书中，当一个部分被称为“连接”至另一部分时，不仅包括这两个部分直接连接的示例，而且包括该部分与中间的另一部分电连接的示例。
另外，在整个说明书中，当一个部分被称为“包括”元件时，应当理解，除非另有特别说明，否则该元件也可以包括其他元件而不是与其他元件分离。
另外，在本文所描述的装置和方法的实施方式中，可以省略装置的一些部件或者方法的一些步骤。另外，可以改变装置的一些部件的顺序或者方法的一些步骤的顺序。另外，可以将其他部件插入装置的一些部件中或者将其他步骤插入方法的一些步骤中。
另外，本公开内容的第一实施方式的一些部件或步骤可以被添加到本公开内容的第二实施方式，或者可以替换第二实施方式的一些部件或步骤。
另外，本公开内容的实施方式中示出的部件被独立示出以指示不同的特征功能，而不意味着每个部件都由单独的硬件或者一个软件部件单元组成。即，为了便于描述，各个部件被列出为各自的部件，并且各个部件中的至少两个部件可以被组合以形成一个部件，或者一个部件可以被划分成多个部件以执行功能。在不脱离本公开内容的实质的情况下，这些部件中的每个部件的集成的实施方式和单独的实施方式也包括在本公开内容的范围内。
首先，将如下简要地描述本申请中使用的术语。
稍后将描述的解码装置(Video Decoding Apparatus，视频解码装置)可以是民用安全摄像装置、民用安全系统、军用安全摄像装置、军用安全系统、个人计算机(PC)、笔记本计算机、便携式多媒体播放器(PMP)、无线通信终端、智能电话、包括在诸如TV应用服务器和服务服务器的服务器终端中的装置，并且可以表示诸如各种装置的用户终端、诸如用于执行与有线/无线通信网络的通信的通信调制解调器的通信装置、用于存储用于对图像进行解码或者执行用于解码的帧间预测或帧内预测的各种程序和数据的存储器、配备有用于执行程序和计算以及控制程序的微处理器等的各种装置。
另外，被编码器编码为比特流的图像可以通过诸如因特网、局域无线通信网络、无线LAN网络、WiBro网络、移动通信网络的实时或者非实时的有线/无线通信网络，或者通过诸如线缆、通用串行总线(USB)等的各种通信接口被发送到图像解码装置，被解码、重建为图像并且被再现。替选地，由编码器生成的比特流可以存储在存储器中。存储器可以包括易失性存储器和非易失性存储器两者。在本说明书中，存储器可以被表示为存储比特流的记录介质。
通常，视频可以由一系列图片组成，并且每个图片可以被划分成诸如块的编码单元。另外，具有本实施方式所属技术领域的普通知识的人可以理解，可以通过将下文描述的术语“图片”替换为具有等同含义的另一术语——例如“图像”或者“帧”——来使用该术语“图片”。另外，本实施方式所属领域的普通技术人员将理解，术语“编码单元”可以被具有相同含义的其他术语例如“单元块”和“块”代替，以及与其他术语一起使用。
在下文中，将参照附图来详细描述本公开内容的示例性实施方式。在描述本公开内容时，将省略对相同部件的冗余描述。
图1是示出根据本公开内容的图像编码装置的框图。
参照图1，图像编码装置(100)包括：图片划分单元(110)、预测单元(120、125、129)、变换单元(130)、量化单元(135)、重排单元(160)、熵编码单元(165)、逆量化单元(140)、逆变换单元(145)、滤波器单元(150)以及存储器(155)。
图片划分单元(110)可以将输入图片划分成至少一个处理单元。在这种情况下，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在下文中，在本公开内容的实施方式中，编码单元可以被用作执行编码的单元的含义，或者可以被用作执行解码的单元的含义。
预测单元可以被确定为一个编码单元，或者可以从编码单元分离。预测单元的形状可以是正方形或矩形。划分的预测单元可以具有相同的大小。替选地，在一个编码单元内分割的预测单元中的一个预测单元可以被分割成具有与另一预测单元不同的形状和/或大小。当基于编码单元执行帧内预测或帧间预测时，编码单元和预测单元可以是相同的。在这种情况下，当预测单元不是最小编码单元时，预测单元可以被划分成N个子块，并且可以以子块为单位执行预测。此处，N的值可以是1、2、3、4或更大的整数。可以基于预测单元的属性来可变地确定N值。属性可以表示以下中的至少一个：形状、大小、预测模式、帧内预测模式是否为非定向、帧内预测模式的方向/值、变换单元的大小/形状、残差系数的存在与否、变换类型(例如，DCT、DST等)或是否跳过转换。
预测单元(120、125、129)可以包括执行帧间预测的帧间预测单元(120)和执行帧内预测的帧内预测单元(125)。可以确定对于预测单元使用帧间预测还是帧内预测，并且可以确定根据每种预测方法的特定信息(例如，帧内预测模式、运动矢量、参考图片等)。
生成的预测块与原始块之间的残差值(残差块)可以被输入至变换单元(130)。另外，用于预测的预测模式信息、运动矢量信息等可以与残差值一起被熵编码单元(165)编码，并且被发送至解码器。然而，当应用根据本公开内容的解码器侧的运动信息得出方法时，由于预测模式信息、运动矢量信息等并非在编码器中生成，因此对应信息不被发送至解码器。另一方面，可以从编码器用信号通知指示运动信息在解码器侧得出并使用的信息以及关于用于得出运动信息的方法的信息。
另外，还可以与帧间预测或帧内预测分开地执行分量间预测。即，预测单元还可以包括上述分量间预测器(129)。具体地，分量间预测单元(129)可以包括：用于分量间预测的参考样本构建单元；分量间预测参数得出单元；以及分量间预测执行单元。分量间预测单元可以被实现为包括在帧内预测单元中。
帧间预测单元(120)可以基于当前图片的先前图片或后续图片中的至少一个的信息来预测预测单元，并且在一些情况下，可以基于当前图片中已经完成编码的一些区域的信息来预测预测单元。帧间预测单元(120)可以包括参考图片插值单元、运动预测单元以及运动补偿单元。
参考图片插值单元可以从存储器(155)接收参考图片信息，并且生成参考图片中的整数像素或者更少像素的像素信息。在亮度像素的情况下，可以使用具有不同滤波器系数的基于DCT的8抽头插值滤波器(基于DCT的插值滤波器)以1/4像素为单位生成整数像素或者更少像素的像素信息。在色度信号的情况下，可以使用具有不同滤波器系数的基于DCT的4抽头插值滤波器(基于DCT的插值滤波器)以1/8像素为单位生成整数像素或更少像素的像素信息。
运动预测单元可以基于由参考图片插值单元进行插值的参考图片来执行运动预测。作为用于计算运动矢量的方法，可以使用各种方法例如基于完全搜索的块匹配算法(FBMA)、三步搜索(TSS)和新三步搜索算法(NTS)。运动矢量可以具有基于插值像素的以1/2或1/4像素为单位的运动矢量值。运动预测单元可以通过不同地使用运动预测方法来预测当前预测单元。可以使用诸如跳过方法、合并方法、AMVP(高级运动矢量预测)方法和帧内块复制方法的各种方法作为运动预测方法。另外，当应用根据本公开内容的解码器侧的运动信息得出方法时，可以应用使用运动轨迹的双向匹配(双边匹配)方法和模板匹配方法作为由运动预测单元执行的方法。
帧内预测单元(125)可以基于当前块周围的参考像素信息来生成预测单元，该参考像素信息是当前图片中的像素信息。当当前预测单元的相邻块是执行帧间预测的块并且参考像素是执行帧间预测的像素时，可以通过用执行帧间预测的块周围的执行帧内预测的块的参考像素信息替换执行帧间预测的块中包括的参考像素来使用所述在执行帧间预测的块中包括的参考像素。即，当参考像素不可用时，可以通过用可用参考像素中的至少一个参考像素替换不可用参考像素来使用该不可用参考像素信息。
另外，可以生成包括残差信息的残差块，该残差信息是基于由预测单元(120、125、129)生成的预测单元来执行预测的预测单元与预测单元的原始块之间的差值。可以将生成的残差块输入至变换单元(130)。
变换单元(130)可以通过使用诸如DCT(Discrete Cosine Transform，离散余弦变换)、DST(Discrete Sine Transform，离散正弦变换)和KLT的变换方法来对包括由预测单元(120、125、129)生成的预测单元与原始块之间的残差信息的残差块进行变换。可以基于用于生成残差块的预测单元的帧内预测模式信息来确定是否应用DCT、DST或KLT对残差块进行变换。
量化单元(135)可以对由变换单元(130)变换到频域的值进行量化。量化系数可以根据图像的块或重要性而变化。由量化单元(135)计算的值可以被提供给逆量化单元(140)和重排单元(160)。
重排单元(160)可以对量化后的残差值的系数值执行重排。重排单元(160)可以通过系数扫描方法将二维块形式的系数改变为一维矢量形式。例如，重排单元(160)可以通过根据之字形(Zig-Zag)扫描方法从DC系数到高频区域中的系数进行扫描来改变为一维矢量形式。取决于变换单元的大小和帧内预测模式，可以使用列方向上对二维块形式的扫描系数的竖直扫描以及行方向上对二维块形式的扫描系数的水平扫描而不是之字形扫描。即，可以根据变换单元的大小和帧内预测模式来确定使用之字形扫描、竖直扫描和水平扫描中的哪一个。
熵编码单元(165)可以基于由重排单元(160)计算的值来执行熵编码。各种编码方法，例如指数哥伦布(Exponential Golomb)、CAVLC(Context-Adaptive Variable LengthCoding，上下文自适应可变长度编码)和CABAC(Context-Adaptive Binary ArithmeticCoding，上下文自适应二进制算术编码)可以用于熵编码。关于这一点，熵编码单元(165)可以对来自重排单元(160)以及预测单元(120、125、129)的编码单元的残差值系数信息进行编码。另外，根据本公开内容，可以从编码器用信号通知指示运动信息在解码器侧被得出和使用的信息以及关于用于得出运动信息的方法的信息。
逆量化单元(140)对由量化单元(135)量化的值进行逆量化，并且逆变换单元(145)对由变换单元(130)变换的值进行逆变换。可以通过将由逆量化单元(140)和逆变换单元145生成的残差值与通过预测单元(120、125、129)中包括的运动估计单元、运动补偿单元和帧内预测单元预测的预测单元进行组合来生成重建块。
滤波器单元(150)可以包括去块滤波器、偏移校正单元和ALF(Adaptive LoopFilter，自适应环路滤波器)中的至少一个。去块滤波器可以去除由重建图片中的块之间的边界引起的块失真。偏移校正单元可以针对经去块滤波的图像以像素为单位校正相对于原始图像的偏移。为了对特定图片执行偏移校正，在将图像中包括的像素分类为一定数目的区域并且确定施加偏移的区域之后，可以使用对区域偏移施加偏移的方法或者使用通过考虑每个像素的边缘信息来施加偏移的方法。可以基于通过将经滤波的重建图像与原始图像进行比较而获得的值来执行ALF(Adaptive Loop Filtering，自适应环路滤波)。在将图像中包括的像素分类为预定组之后，可以确定要应用于该组的一个滤波器以针对每个组不同地执行滤波。
存储器155可以存储从滤波器单元(150)输出的重建块或图片，并且在执行帧间预测时，可以将所存储的重建块或图片提供给预测单元(120、125、129)。
图2是示出根据本公开内容的图像解码装置的框图。
参照图2，图像解码器(200)可以包括：熵解码单元(210)、重排单元(215)、逆量化单元(220)、逆变换单元(225)、预测单元(230、235、239)以及滤波器单元(240)、存储器(245)。
当从图像编码器输入图像比特流时，可以以与图像编码器的过程相反的过程对输入比特流进行解码。
熵解码单元(210)可以以与在图像编码器的熵编码单元中通过熵编码执行的过程相反的过程执行熵解码。例如，可以应用与在图像编码器中执行的方法相对应的各种方法，例如指数哥伦布(Exponential Golomb)、CAVLC(Context-Adaptive Variable LengthCoding，上下文自适应可变长度编码)和CABAC(Context-Adaptive Binary ArithmeticCoding，上下文自适应二进制算术编码)。
熵解码单元210可以对与由编码器执行的帧内预测和帧间预测相关的信息进行解码。
重排单元215可以基于编码单元的重排方法对由熵解码单元210熵解码的比特流执行重排。可以将一维矢量形式的系数再次重排为二维块形式的系数。
逆量化单元(220)可以基于由编码器提供的量化参数和重排块的系数来执行逆量化。
逆变换单元(225)可以执行与由变换单元针对由图像编码器执行的量化结果执行的变换——即，DCT、DST和KLT——相对应的逆变换，即逆DCT、逆DST和逆KLT。可以基于由图像编码器确定的传输单元来执行逆变换。在图像解码器的逆变换单元225中，可以根据多个信息例如预测方法、当前块的大小和预测方向来选择性地执行变换类型(例如，DCT、DST、KLT)。替选地，逆变换单元225可以基于识别变换类型的信息来确定变换类型，并且使用确定的变换类型来执行逆变换。用于识别变换类型的信息可以由图像编码器用信号通知。
预测单元(230、235、239)可以基于由熵解码单元(210)提供的与预测块生成相关的信息以及由存储器(245)提供的先前解码的块或图片信息来生成预测块。
如上所述，当在以与图像编码器中相同的方式执行帧内预测时预测单元的大小与变换单元的大小相同的情况下，可以基于位于预测单元的左侧、左上侧和上侧的像素执行预测单元的帧内预测。然而，当在执行帧内预测时预测单元的大小与变换单元的大小不同的情况下，可以使用基于变换单元的参考像素来执行帧内预测。另外，使用子块划分的帧内预测可以仅用于最小编码单元。
预测单元可以包括预测单元确定单元、帧间预测单元(230)、帧内预测单元(235)或分量间预测单元(239)中的至少一个。预测单元确定单元可以接收来自熵解码单元(210)的各种信息，例如预测单元信息、帧内预测方法的预测模式信息、以及帧间预测方法的运动预测相关信息，对来自当前编码单元的预测单元进行分类，并且确定预测单元执行帧间预测还是帧内预测。另一方面，如果没有发送用于帧间预测的运动预测相关信息，而是从编码器(100)发送指示运动信息在解码器侧得出和使用的信息以及关于用于得出运动信息的方法的信息，则预测单元确定单元基于从编码器(100)发送的信息来确定帧间预测单元(230)的预测性能。
帧间预测单元(230)可以通过使用由图像编码器提供的当前预测单元的帧间预测所需的信息，基于包括在包括当前预测单元的当前图片的先前图片或后续图片的至少一个中的信息，对当前预测单元执行帧间预测。为了执行帧间预测，可以在跳过模式、合并模式、AMVP模式和帧内块复制模式中确定包括在编码单元中的预测单元的运动预测方法。替选地，帧间预测单元(230)可以通过从由图像编码器提供的以下信息得出运动信息来执行帧间预测：指示运动信息在解码器侧得出并使用的信息以及关于用于得出运动信息的方法的信息。
帧内预测单元235可以基于当前图片中的像素信息来生成预测块。在预测单元是已经执行帧内预测的预测单元时，可以基于由图像编码器提供的预测单元的帧内预测模式信息来执行帧内预测。帧内预测单元(235)可以包括AIS(Adaptive Intra Smoothing，自适应帧内平滑)滤波器、参考像素插值单元以及DC滤波器。AIS滤波器是对当前块的参考像素执行滤波的部分，并且可以通过根据当前预测单元的预测模式确定是否应用滤波器而应用该AIS滤波器。可以通过使用由图像编码器提供的预测单元的AIS滤波器信息和预测模式对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式的情况下，可以不应用AIS滤波器。
在预测单元的预测模式是基于通过对参考像素进行插值而获得的像素值来执行帧内预测的预测单元的情况下，参考像素插值单元可以对参考像素进行插值以生成整数像素或更少像素的参考像素。在当前预测单元的预测模式是无需对参考像素进行插值而生成预测块的预测模式的情况下，可以不对参考像素进行插值。在当前块的预测模式是DC模式的情况下，DC滤波器可以通过滤波来生成预测块。
另外，还可以与帧间预测或帧内预测分开地执行分量间预测。即，预测单元还可以包括上述分量间预测单元(239)。替选地，分量间预测单元(239)可以被实现成包括在帧内预测单元(235)中。特别地，分量间预测单元(239)可以包括用于分量间预测的参考样本构建单元、分量间预测参数得出单元以及分量间预测执行单元，如上所述，用于分量间预测。
可以将重建块或重建图片提供给滤波器单元(240)。滤波器单元(240)可以包括去块滤波器、偏移校正单元以及ALF。
可以从视频编码器提供关于是否向对应的块或图片应用去块滤波器的信息以及关于在应用去块滤波器时应用强滤波器还是弱滤波器的信息。在视频解码器的去块滤波器中，可以提供与由视频编码器提供的去块滤波器相关的信息，并且视频解码器可以对相应块执行去块滤波。
偏移校正单元可以基于偏移校正的类型以及在编码期间应用于图像的偏移值信息对重建图像执行偏移校正。可以基于由编码器提供的关于是否应用ALF的信息、ALF系数信息等来对编码单元应用ALF。可以从特定参数集提供该ALF信息。
存储器(245)可以存储重建图片或重建块，使得重建图片或重建块可以被用作参考图片或参考块，并且还可以将重建图片提供给输出单元。
图3示出了根据本公开内容的分量间预测技术的概念。分量间预测技术是指通过构成视频图片的亮度分量和色度分量之间的预测来提高编码效率的技术。具体地，可以从亮度分量预测色度分量，然后可以用信号通知差值，或者可以从另一色度分量预测色度分量，然后可以用信号通知差值。替选地，它可以是一种用信号通知用于分量间预测的参数并使用该参数重建分量间预测信号的方法。
与此相关，图3示出了构成一个块的一个亮度分量块和与其对应的两个色度分量块。
参照图3，可以从一个亮度分量块预测两个色度分量块，或者可以从两个色度分量块之一预测两个色度分量块中的另一个色度分量块。
在图3中，示出了配置一个块的一个亮度分量块(300)以及与其对应的两个色度分量块(310)。根据本公开内容的实施方式，可以以线性模型来表达配置一个块的亮度分量块(300)的像素特性和色度分量块(310)的像素特性。在这种情况下，作为线性模型，如在等式1中，可以使用一阶线性模型。
[等式1]
PREC(i,j)＝α·REC'L(i,j)+β
在等式1中，PREC(i,j)表示色度分量的预测像素，REC'L(i,j)表示线性模型中亮度分量的重建像素。
图4是示出根据本公开内容的分量间预测的流程图。
参照图4，可以构建用于分量间预测的参考样本(S400)。
可以使用与当前参考分量块和/或当前目标分量块空间相邻的样本来构建参考样本。可以根据一种或多种条件构建参考样本。在这种情况下，所述条件可以是当前块的大小、当前块的帧内预测模式或是否应用约束帧内预测中的至少一个。这里，当前块可以表示当前参考分量块和/或当前目标分量块。后面将参照图5至图13详细描述构建参考样本的方法。
参考图4，可以使用参考样本得出分量间预测参数(S410)。
为了基于线性模型执行分量间预测，可以得出线性模型的参数。可以使用在S400中构建的参考样本的全部或部分来得出基于线性模型的分量间预测参数。
当使用本公开内容中提出的分量间预测时，可以使用以下两种方法作为获得应用于等式1的线性模型的参数α和β的方法。然而，本公开内容不必限于此，并且可以以各种方式利用参数α和β。
首先，存在一种从编码器向解码器直接发送作为线性模型的参数的α和β的方法。在应用第一种方法的情况下，由于编码器获得α和β参数，并且通过用信号发送它们，所以解码器不需要单独获得α和β参数。应当考虑到，解码器的复杂度降低，而编码器的编码效率较低。
第二，通过使用当前块的亮度分量块和色度分量块的空间相邻的像素，可以使用通过在编码器和解码器中使用相同的方法来得出的方法。当应用第二种方法时，由于编码器和解码器都根据预定规则或标准方法得出α和β参数，所以解码器复杂度相对增加，但是对于参数不需要附加的信号。存在的优点在于，相比之前进一步提高了编码和解码的效率。
根据第二方法，当在编码器和解码器中使用空间上与亮度分量块和/或色度分量块相邻的样本来得出α和β参数时，可以如下列等式2和等式3来得出α和β参数。
[等式2]
[等式3]
在等式2和等式3中，L(n)表示经下采样的亮度样本，并且C(n)表示色度样本。
如上所述，可以从色度分量块之一预测剩余的色度分量块。例如，在构成一个块的CR色度分量的预测样本的情况下，可以使用利用CB色度分量的残差信号修改的色度间预测方法。在这种情况下，可以如以下等式4所示修改CR色度分量的预测样本。
[等式4]
在等式4中，PRECR(i,j)表示CR色度分量的预测样本，RES'CB(i,j)表示CR色度分量的残差信号。
等式4中的α可以使用与当前块的CB色度分量块和/或CR色度分量块空间相邻的样本来得出。例如，可以如以下等式5得出参数。
[等式5]
/>
在等式5中，Cb(n)表示CB色度样本，Cr(n)表示CR色度样本。另外，λ表示∑(Cb(n)*Cb(n))>>9。
然而，本公开内容不限于上述等式1至等式4，并且以相同的方式，可以通过基于线性模型计算线性模型的斜率和偏移来得出参数。
具体地，可以分别从与当前参考分量块相邻的亮度参考样本提取最大值(xL1)和最小值(xL2)。可以得出分别对应于最大亮度参考样本和最小亮度参考样本的色度参考样本的样本值yC1和yC2。可以使用亮度参考样本的最大/最小值(xL1、xL2)和色度参考样本的样本值(yC1、yC2)得出基于线性模型的参数。例如，基于线性模型，可以从经过第一点(xL1、yC1)和第二点(xL2、yC2)的直线得出斜率α和偏移β。
相反，可以分别从与当前目标分量块相邻的色度参考样本提取最大值(xC1)和最小值(xC2)。可以得出分别对应于色度参考样本的最大值和最小值的亮度参考样本的样本值yL1和yL2。类似地，可以使用色度参考样本的最大/最小值(xC1、xC2)和亮度参考样本的样本值(yL1、yL2)得出基于线性模型的参数。
同时，可以使用参考样本中的上p个样本来确定最大值。可以使用参考样本的下q个样本来确定最小值。例如，最大值可以被确定为上p个样本的平均值、中值、最大值或最频繁值。最小值可以被确定为下q个样本的平均值、中值、最小值或最频繁值。这里，p可以与q相同，或者可以设定为与q不同。p和q可以是2、3、4或更大的整数。
p值可以是在编码/解码装置(实施方式1)中预先定义的固定值。
替选地，可以基于当前块的大小可变地确定p值(实施方式2)。具体地，当当前块的宽度大于预定阈值大小时，p可以被确定为与其他情况相比更大的值。例如，当当前块的宽度大于预定阈值大小时，p可以被确定为2或3，否则，p可以被确定为1。同样，当当前块的高度大于预定阈值大小时，p可以被确定为与其他情况相比更大的值。
替选地，可以基于当前块的形状可变地确定p值(实施方式3)。例如，取决于当前块是否是正方形，可以如以下表1中所示不同地确定p值。
[表1]
正方形 1 1 2 2 3 3
非正方形 2 3 3 1 1 2
替选地，编码装置可以对最优p值进行编码并将其用信号通知给解码装置，并且解码装置可以使用用信号通知的信息来确定p值(实施方式4)。
既可以基于上述实施方式1至实施方式4中的任一个来确定p值，也可以基于实施方式1至4中至少两个的组合来确定p值。可以以与确定p的值相同的方式确定q的值，并且将省略详细描述。然而，其不限于此，并且当然，可以在不同于p的实施方式中确定q。
参照图4，可以基于当前参考分量块和分量间预测参数执行分量间预测(S420)。
可以根据当前目标分量块中的目标样本和与其对应的预重建参考分量块中的样本之间的线性模型来预测目标样本。
在这种情况下，可以可变地确定与当前目标样本相对应的参考分量块中的样本的数量和位置。关于数量和位置的信息可以由编码装置用信号通知，或者可以基于解码装置中的预定编码信息来得出。将参照图14至图18描述与当前目标样本相对应的参考分量块中的样本的数量和位置。
图5示出了作为根据本公开内容的实施方式的用于分量间预测的参考样本的构建示例。
具体地，图5示出了执行分量间预测的与当前亮度分量块空间相邻的样本以及与色度分量块空间相邻的样本的构建。
图5示出了当前图片的颜色格式是YUV 4：2：0的情况的实施方式。根据当前图片的颜色格式，与用于分量间预测的色度分量的样本相对应的亮度分量的样本位置可以不同。
在使用当前块的亮度分量块(500)执行分量间预测时，与当前块的亮度分量块(500)空间相邻的重建样本可以由左侧相邻样本(521)和/或上侧相邻样本(522)组成。另外，与当前块的色度分量块(510)空间相邻的重建样本可以由左侧相邻样本(531)和/或上侧相邻样本(532)组成，如图5所示。
图5中示出的与当前块的亮度分量块(500)和色度分量块(510)空间相邻的重建样本还可以包括连续地位于上侧相邻样本(522、532)右侧的样本，并且还可以包括连续地位于左侧相邻样本(521、531)下侧的样本。
在该实施方式中，假设色度分量块的大小为(nTbW×nTbH)，与色度分量块相对应的亮度分量块的大小为(2*nTbW×2*nTbH)。
亮度分量块可以被定义为包括样本pY[x][y](x＝0..nTbW*2-1,y＝0..nTbH*2-1)的区域。该样本可以表示在应用环路滤波器之前的重建值。
与亮度分量块空间相邻的重建样本(在下文中，称为相邻区域)可以包括左侧相邻区域、上侧相邻区域或左上侧相邻区域中的至少一个。左侧相邻区域可以被设定为包括样本pY[x][y](x＝-1..-3,y＝0..2*numSampL-1)的区域。可以仅当numSampL的值大于0时执行该设置。上侧相邻区域可以被设定为包括样本pY[x][y](x＝0..2*numSampT-1,y＝-1..-2)的区域。可以仅当numSampT的值大于0时执行该设置。左上侧相邻区域可以被设定为包括样本pY[x][y](x＝-1,y＝-1,-2)的区域。可以仅当亮度分量块的左上侧区域可用时执行以上设置。
可以基于色度分量块的帧内预测模式来确定变量numSampL和numSampT。
例如，当色度分量块的帧内预测模式为第一模式(例如，INTRA_LT_CCLM)时，可以基于色度分量块的高度和宽度分别确定numSampL及numSampT。这里，第一模式可以表示基于色度分量块的左侧相邻区域和上侧相邻区域执行分量间预测的模式。例如，可以如以下等式6中那样得出numSampL和numSampT。
[等式6]
numSampT＝availT？nTbW:0
numSampL＝availL？nTbH:0
根据等式6，当色度分量块的上侧相邻区域可用时，numSampT可以被得出为nTbW，否则可以被得出为0。类似地，当色度分量块的左侧相邻区域可用时，numSampL可以被得出为nTbH，否则可以被得出为0。
另一方面，当色度分量块的帧内预测模式为第二模式(例如，INTRA_T_CCLM)或第三模式(INTRA_L_CCLM)时，numSampL和numSampT可以如以下等式7中那样得出。这里，第二模式可以表示基于色度分量块的上侧相邻区域执行分量间预测的模式。第三模式可以表示基于色度分量块的左侧相邻区域执行分量间预测的模式。
[等式7]
numSampT＝(availT&&predModeIntra＝＝INTRA_T-CCLM)？(nTbW+numTopRight)：0
numSampL＝(availL&&predModeIntra＝＝INTRA_L_CCLM)？(nTbH+numLeftBelow)：0
在等式7中，nTbW可以表示属于与色度分量块的上侧相邻的区域的样本的数量，并且numTopRight可以表示连续地位于与上侧相邻的区域的右侧的可用样本的数量。在这种情况下，可用性的确定是从左到右依次确定样本是否可用，并且这可以一直执行到找到不可用的样本。nTbH可以表示属于与色度分量块的左侧相邻的区域的样本的数量，并且numLeftBelow可以表示连续地位于与左侧相邻的区域的下侧的可用样本的数量。在这种情况下，可用性的确定是从上到下依次确定样本是否可用，并且这可以一直执行到找到不可用的样本。
可以通过对亮度分量块的相邻区域进行下采样来确定亮度分量块的参考样本，并且以下将给出下采样方法的详细描述。
1.亮度分量块的左侧相邻区域的下采样
(实施方式1)
可以基于左侧相邻区域的对应样本pY[-2][2*y]和相邻样本得出左侧相邻区域的下采样样本pLeftDsY[y](y＝0..numSampL-1)。这里，相邻样本可以表示与对应样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式8中那样得出样本pLeftDsY[y]。
[等式8]
pLeftDsY[y]＝(PY[-2][2*y-1]+pY[-3][2*y]+4*pY[-2][2*y]+pY[-1][2*y]+pY[-2][2*y+1]+4)>>3
然而，如果亮度分量块的左上侧相邻区域不可用，则可以基于左侧相邻区域的对应样本pY[-2][0]和相邻样本得出左侧相邻区域的下采样样本pLeftDsY[0]。这里，相邻样本可以表示与对应样本的左侧或右侧中的至少一个相邻的样本。例如，可以如以下等式9中那样得出样本pLeftDsY[0]。
[等式9]
pLeftDsY[0]＝(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)>>2
(实施方式2)
可以基于左侧相邻区域的对应样本pY[-2][2*y]和相邻样本得出左侧相邻区域的下采样样本pLeftDsY[y](y＝0..numSampL-1)。这里，相邻样本可以表示与对应样本的下侧、左侧、右侧、左下侧或右下侧中的至少一个相邻的样本。例如，可以如以下等式10中那样得出样本pLeftDsY[y]。
[等式10]
pLeftDsY[y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+1]+4)>>3
同样，可以基于上述实施方式1和实施方式2中的任一个来执行左侧相邻区域的下采样。在这种情况下，可以基于预定标记来选择实施方式1或实施方式2中的任一个。该标记可以指示下采样亮度样本的位置是否与原始亮度样本相同。例如，当标记为第一值时，下采样的亮度样本的位置与原始亮度样本相同。另一方面，当标记为第二值时，下采样的亮度样本在水平方向上的位置与原始亮度样本相同，但在竖直方向上的位置移位了半个像素。
同时，可以仅当numSampL值大于0时执行左侧相邻区域的下采样。当numSampT值大于0时，则表示亮度分量块的左侧相邻区域可用，并且色度分量块的帧内预测模式为第一模式或第三模式。
2.亮度分量块的上侧相邻区域的下采样
(实施方式1)
可以考虑到上侧相邻区域是否属于与亮度分量块不同的编码树单元(CTU)，得出上侧相邻区域的下采样样本pTopDsY[x](x＝0..numSampT-1)。CTU可以表示在编码/解码装置中预定义的最大编码单元。
当上侧相邻区域与亮度分量块属于同一CTU时，基于上侧相邻区域的对应样本pY[2*x][-2]和相邻样本得出上侧相邻区域的下采样样本pTopDsY[x]。这里，相邻样本可以表示与对应样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式11中那样得出样本pTopDsY[x]。
[等式11]
pTopDsY[x]＝(pY[2*x][-3]+PY[2*x-1][-2]+4*PY[2*x][-2]+pY[2*x+1][-2]+pY[2*x][-1]+4)>>3
另一方面，当上侧相邻区域与亮度分量块属于不同的CTU时，可以基于上侧相邻区域的对应样本pY[2*x][-1]和相邻样本得出上侧相邻区域的下采样样本pTopDsY[x]。这里，相邻样本可以表示与对应样本的左侧或右侧中的至少一个相邻的样本。例如，可以如以下等式12中那样得出样本pTopDsY[x]。
[等式12]
pTopDsY[x]＝(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)>>2
替选地，当亮度分量块的左上侧相邻区域不可用时，相邻样本可以表示与对应样本的上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式13中那样得出样本pTopDsY[0]。
[等式13]
pTopDsY[0]＝(pY[0][-3]+2*pY[0][-2]+pY[0][-1]+2)>>2
替选地，当亮度分量块的左上侧相邻区域不可用并且上侧相邻区域与亮度分量块属于不同的CTU时，样本pTopDsY[0]可以被设定成上侧相邻区域的样本pY[0][-1]。
(实施方式2)
可以考虑到上侧相邻区域是否属于与亮度分量块不同的CTU，得出上侧相邻区域的下采样样本pTopDsY[x](x＝0..numSampT-1)。
当上侧相邻区域与亮度分量块属于同一CTU时，可以基于上侧相邻区域的对应样本pY[2*x][-2]和相邻样本得出上侧相邻区域的下采样样本pTopDsY[x]。这里，相邻样本可以表示与对应样本的下侧、左侧、右侧、左下侧或右下侧中的至少一个相邻的样本。例如，可以如以下等式14中那样得出样本pTopDsY[x]。
[等式14]
pTopDsY[x]＝(pY[2*x-1][-2]+pY[2*x-1][-1]+2*pY[2*x][-2]+2*pY[2*x][-1]+pY[2*x+1][-2]+pY[2*x+1][-1]+4)>>3
另一方面，当上侧相邻区域与亮度分量块属于不同的CTU时，可以基于上侧相邻区域的对应样本pY[2*x][-1]和相邻样本得出上侧相邻区域的下采样样本pTopDsY[x]。这里，相邻样本可以表示与对应样本的左侧或右侧中的至少一个相邻的样本。例如，可以如以下等式15中那样得出样本pTopDsY[x]。
[等式15]
pTopDsY[x]＝(pY[2*x-1][-1]+2*pY[2*x][-1]+PY[2*x+1][-1]+2)>>2
替选地，当亮度分量块的左上侧相邻区域不可用时，相邻样本可以表示与对应样本的上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式16中那样得出样本pTopDsY[0]。
[等式16]
pTopDsY[0]＝(pY[0][-2]+pY[0][-1]+1)>>1
替选地，当亮度分量块的左上侧相邻区域不可用并且上侧相邻区域与亮度分量块属于不同的CTU时，样本pTopDsY[0]可以被设定成上侧相邻区域的样本pY[0][-1]。
同样，可以基于上述实施方式1和实施方式2中的任一个来执行上侧相邻区域的下采样。在这种情况下，可以基于预定标记来选择实施方式1或实施方式2中的任一个。如上所述，该标记指示下采样亮度样本的位置是否与原始亮度样本相同。
同时，可以仅当numSampT值大于0时执行上侧相邻区域的下采样。当numSampT值大于0时，则表示亮度分量块的上侧相邻区域可用，并且色度分量块的帧内预测模式为第一模式或第二模式。
图6示出了作为根据本公开内容的实施方式的示例，其中，根据编码信息不同地构建用于得出分量问预测的线性模型参数的当前块的相邻样本。
具体地，图6示出了其中根据当前块的编码信息不同地配置用于执行分量间预测的色度分量块的空间相邻样本和当前亮度分量块的空间相邻样本的示例。这里，可以在编码器和解码器中使用相同方法来得出用于分量间预测的线性模型参数。
图6示出了用于根据当前块的编码信息得出用于分量间预测的线性模型参数的空间相邻样本的不同构建的示例。当前块的编码信息可以指诸如当前块的帧内预测模式、当前块的大小、当前图像的颜色格式等的信息。这里，当前块可以表示亮度分量块和/或色度分量块。
例如，在图6中，当执行分量间预测的当前色度块被构建为MxN的块并且M大于N(M＞N)时，可以仅使用位于亮度块上侧的样本来构建用于得出用于分量间预测的线性模型的参数的参考样本。
另外，在图6中，当执行分量间预测的当前色度块被构建为KxL的块，并且L大于K(L＞K)时，可以仅使用位于亮度块左侧的样本来构建用于得出用于分量间预测的线性模型的参数的参考样本。
图7是作为根据本公开内容的实施方式的流程图，其中，根据目标块的形状不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。
具体地，图7示出了在构建与目标分量块和参考分量块空间相邻的、用于得出分量间预测的线性模型参数的样本时根据目标分量块的形状不同地构建的流程图。这里，可以在编码器和解码器中使用相同方法来得出用于分量间预测的线性模型参数。
根据图7的实施方式，根据目标块是正方形块、宽度W大于高度H的矩形块、还是高度H大于宽度W的矩形块，可以不同地构建用于得出分量间预测的线性参数的参考样本。
具体地，参照图7，首先确定目标块的形状是否是正方形块(S700)。如果不是正方形块，则确定其是否是宽度W大于高度H的非正方形块(S730)。在步骤S700中，当目标块的形状被确定为正方形块时，可以使用当前块的相邻样本中的与上侧相邻的样本和与左侧相邻的样本来构建参考样本，所述样本用于得出用于分量间预测的线性模型参数(S740)。
另外，当在步骤S730中确定目标块的块宽度W大于块高度H时，即，在具有长宽度的非正方形块的情况下，可以仅使用与上侧相邻的样本来构建参考样本(S710)。另外，当在步骤730中确定目标块的块宽度(W)小于块高度(H)时，即，在具有长高度的非正方形块的情况下，可以仅使用与左侧相邻的样本来构建参考样本(S720)。
然而，在以上实施方式中，描述了在具有长宽度的非正方形块的情况下，仅使用与上侧相邻的样本，以及在具有长高度的非正方形块的情况下，仅使用与左侧相邻的样本。然而，它也可以包括在具有长宽度的非正方形块的情况下，使用与上侧相邻的样本和/或与左侧相邻的样本中的一些，以及包括在具有长高度的非正方形块的情况下，使用与左侧相邻的样本和/或与上侧相邻的样本中的一些。
以上实施方式描述了本公开内容中提出的根据目标块的形状不同地构建用于得出分量间预测的线性参数的参考样本的方法的实施方式，但是实施方式还可以包括根据目标块的形状、目标块的大小、帧内预测模式或者是否执行约束帧内预测，仅使用与上侧相邻的一些样本或者仅使用与左侧相邻的一些样本的方法。
图8是作为根据本公开内容的实施方式的其中根据当前块的帧内预测模式不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本的流程图。
首先，将描述确定当前块的帧内预测模式的方法。这里，当前块是包括亮度分量块和色度分量块的概念，并且可以对亮度分量块和色度分量块中的每个确定帧内预测模式。在下文中，假设在解码装置中预定义的帧内预测模式由非定向模式(平面模式、DC模式)和65个定向模式组成。
可以基于MPM列表和MPM索引来得出亮度分量块的帧内预测模式。MPM列表可以包括多个MPM，并且可以基于当前块的相邻块的帧内预测模式来确定MPM。MPM的数量为r，并且r可以是3、4、5、6或更大的整数。
例如，MPM列表可以包括相邻块的帧内预测模式(模式A)、(modeA-n)、(modeA+n)或默认模式中的至少一个。n值可以是1、2、3、4或更大的整数。相邻块可以表示与当前块的左侧和/或上侧相邻的块。默认模式可以是平面模式、DC模式或预定定向模式中的至少一个。预定定向模式可以包括水平模式(modeV)、竖直模式(modeH)、(modeV-k)、(modeV+k)、(modeH-k)或(modeH+k)中的至少一个。
MPM索引可以在MPM列表的MPM中指定与亮度块的帧内预测模式相同的MPM。即，可以将由MPM索引指定的MPM设定为亮度块的帧内预测模式。
可以基于由编码装置用信号通知的信息(intra_chroma_pred_mode)如以下表2或表3所示地得出色度分量块的帧内预测模式。
[表2]
根据表2，可以基于用信号通知的信息和亮度分量块的帧内预测模式来确定色度分量块的帧内预测模式。在表2中，mode66可以表示右上方向的对角线模式，mode50可以表示竖直模式，mode18可以表示水平模式，并且mode1可以表示DC模式。例如，当用信号通知的信息intra_chroma_pred_mode的值为4时，色度分量块的帧内预测模式可以被设定为与亮度分量块的帧内预测模式相同。
[表3]
当允许色度分量块的分量间预测时，可以应用表3。表3支持mode81、mode82和mode83作为色度分量块的帧内预测模式，其对应于指示分量间预测的模式。例如，上述第一模式可以是mode81、mode82和mode83中的任何一个，第二模式可以是mode81、mode82和mode83中的另一个，并且第三模式可以是除了第一模式和第二模式之外的其它模式。
通过上述方法确定当前块的帧内预测模式，并且可以基于确定的帧内预测模式构建用于分量间预测的参考样本。
参照图8，可以根据参考分量块的帧内预测模式来不同地构建用于得出用于分量间预测的线性模型参数的参考样本。这里，可以使用与目标分量块和参考分量块空间相邻的样本来构建参考样本。这里，可以在编码器和解码器中使用相同方法来得出用于分量间预测的线性模型参数。
根据图8的实施方式，可以根据参考分量块的帧内预测模式是具有竖直性的模式(VER_MODES)、具有水平性的模式(HOR_MODES)以及/或者剩余模式来不同地构建用于得出用于分量间预测的线性参数的参考样本。将参照图9描述帧内预测模式的方向。
具体地，参照图8，确定参考分量块的帧内预测模式是否不包括在竖直模式(VER_MODES)中并且不包括在水平模式(HOR_MODES)中(S800)。作为步骤S800中的确定的结果，当参考分量块的帧内预测模式不对应于竖直性模式(VER_MODES)和水平性模式(HOR_MODES)中的任何一个时，使用与当前块相邻的样本中的与上侧和左侧相邻的所有样本来构建参考样本，所述样本用于得出用于分量间预测的线性模型参数(S840)。
另一方面，在步骤S800中，当确定参考分量块的帧内预测模式对应于竖直性模式(VER_MODES)或水平性模式(HOR_MODES)中的任一个时， 确定其对应于竖直模式(VER_MODES)还是水平模式(HOR_MODES)(S830)。
如果，作为S830处的确定的结果，当参考分量块的帧内预测模式包括在具有竖直性的模式(VER_MODES)中时，则仅使用与当前块相邻的样本中的与上侧相邻的样本来构建参考样本(S810)。
另一方面，作为S830处的确定的结果，当参考分量块的帧内预测模式包括在具有水平性的模式(HOR_MODES)中时，则仅使用与当前块相邻的样本中的与左侧相邻的样本来构建参考样本(S820)。
然而，在上述实施方式中，描述了其中仅使用与上侧相邻的样本的竖直模式的情况， 以及其中仅使用与左侧相邻的样本的水平性模式的情况。然而，它也可以包括使用与左侧相邻的样本和/或与上侧相邻的样本中的一些样本的竖直性模式的情况， 以及使用与左侧相邻的样本和/或与上侧相邻的样本中的一些样本的水平模式的情况。
以上实施方式描述了本公开内容中提出的根据参考分量块的帧内预测模式不同地构建用于得出用于分量间预测的线性参数的参考样本的方法的实施方式，并且实施方式还可以包括根据目标块的形状、目标块的大小、帧内预测模式以及是否执行约束帧内预测，仅使用与上侧相邻的一些样本或者仅使用与左侧相邻的一些样本的方法。可以以相同/类似的方式将上述实施方式应用于目标分量块的帧内预测模式。
图9示出了作为应用了本公开内容的实施方式的帧内预测模式的方向性。
具体地，图9是用于根据帧内预测模式的方向性更详细地说明具有水平性的模式(HOR_MODES)和具有竖直性的模式(VER_MODES)的概念的图。
参照图9，根据从左下对角线模式(VDIA0)开始的角度的增加，存在由水平模式(HOR)、左上对角线模式(DIA)、竖直模式(VER)和右上对角线模式(VDIA1)组成的帧内预测模式的代表性模式。特别地，在左下对角线模式(VDIA0)与右上对角线模式(VDIA1)之间以规则的间隔存在多个定向模式。在这种情况下，具有方向性的帧内预测模式的数量可以是32、65、129等。
本公开内容中描述的具有水平性的模式(HOR_MODES)是指包括在基于水平模式(HOR)的特定角度(θH)范围内的一个或更多个帧内预测模式。在这种情况下，θH是指不超过|ang(VDIA0)-ang(DIA)|的特定角度，并且根据块的大小和当前块可用的帧内预测模式的数量可能有所不同。
本公开内容中描述的具有竖直性的模式(VER_MODES)是指包括在基于竖直模式(VER)的特定角度(θV)范围内的一个或更多个帧内预测模式。在这种情况下，θV是指不超过|ang(VDIA1)-ang(DIA)|的特定角度，并且根据块的大小和当前块可用的帧内预测模式的数量可能有所不同。
图10示出根据本公开内容的示例，其中，根据是否执行了约束帧内预测来不同地构建用于得出分量间预测的线性模型参数的当前块的相邻样本。具体地， 图10示出了根据在构建与目标分量块和参考分量块空间相邻的样本时是否执行约束帧内预测来进行不同构建的示例，所述样本用于得出用于分量间预测的线性模型参数。这里，可以在编码器和解码器中使用相同方法来得出用于分量间预测的线性模型参数。
图10是示出构建参考样本的实施方式的图，该参考样本用于通过反映是否执行由本公开内容提出的约束帧内预测来得出用于分量间预测的线性模型参数。即，在使用当前块的空间相邻的样本来构建用于分量间预测的参考样本时，可以根据是否执行约束帧内预测来不同地构建参考样本。
例如，在使用约束帧内预测的情况下，仅使用在与当前块空间相邻的样本中的以帧内预测模式重建的样本(1010、1030、1011、1031)来构建参考样本，以得出用于分量间预测的线性模型参数，并且得出线性模型的参数。即，在使用约束帧内预测的情况下，排除在与当前块空间相邻的样本中的以帧间预测模式重建的样本(1020、1040、1021、1041)， 以得出用于分量间预测的线性模型参数，并且仅利用以帧内预测模式重建的样本(1010、1030、1011、1031)构建参考样本，并且得出线性模型的参数。
图11是作为根据本公开内容的实施方式的流程图，其中，根据是否执行了约束帧内预测来不同地构建用于得出分量间预测的线性模型参数的与当前块相邻的样本。
图11示出了构建参考样本的流程图，该参考样本用于通过反映是否使用本公开内容中提出的约束帧内预测来得出用于分量间预测的线性模型参数(S1100)。
如果，作为步骤S1100中的确定的结果，当使用约束帧内预测时，排除与当前块空间相邻的样本中的以帧间预测模式重建的样本，以得出用于分量间预测的线性模型参数，并且仅利用以帧内预测模式重建的样本来构建参考样本(S1110)，并且得出线性模型的参数。
另一方面，作为步骤S1100中的确定的结果，当不使用约束帧内预测时，构建包括与当前块空间相邻的样本中的以帧内预测模式和帧间预测模式重建的所有样本的参考样本，以得出用于分量间预测的线性模型参数(S1120)，并且得出线性模型的参数。
图12示出了根据本公开内容的通过在空间上与当前块相邻的样本中填充可用样本来构建参考样本的示例，该样本用于得出分量间预测的线性模型参数。
具体地，图12示出了通过在构建与目标分量块和参考分量块空间相邻的样本时填充空间相邻样本中的可用样本来构建参考样本的示例，该样本用于得出用于分量间预测的线性模型参数。这里，可以在编码器和解码器中使用相同方法来得出用于分量间预测的线性模型参数。
根据图12的实施方式，在本公开内容中，可以在参考分量块的空间相邻样本中排除不可用样本来构建参考样本，或者可以通过用可用样本替换不可用样本来构建参考样本。具体地，在使用与图12中的用于分量间预测的当前块空间相邻的样本来构建参考样本时，可以通过使用以帧内预测模式重建的可用样本(1210、1230、1211、1231)对以帧间预测模式重建的样本(1220、1240、1221、1241)的位置执行填充来构建参考样本。
图13是根据本公开内容的通过在空间上与当前块相邻的样本中填充可用样本来构建参考样本的流程图，该样本用于得出分量间预测的线性模型参数。即，根据本公开内容的实施方式，可以通过排除与参考分量块空间相邻的样本中的不可用样本来构建参考样本，或者可以通过用可用样本替换不可用样本来构建参考样本。
参照图13，首先确定是否所有相邻样本都可以用作参考样本(S1300)。如果，作为步骤(S1300)中的确定的结果，所有相邻样本都可以用作参考样本，则利用对应样本构建参考样本(S1330)，并且得出线性模型的参数。
另一方面，如果，作为步骤(S1300)中的确定的结果，不可能使用所有相邻样本作为参考样本，首先，使用可用样本执行填充(S1310)，从而构建参考样本(S1320)。
图14至图18示出了作为根据本公开内容的实施方式的在分量间预测中与当前样本相对应的参考分量的对应样本的数量和位置分别不同的示例。
参照图14至图18，可以看出，通过分量间预测方法，可以使与当前样本相对应的参考分量的相应样本的数量和位置不同。这里，图14至图18示出了YUV 4：2：0颜色格式的实施方式。
特别地，在基于线性模型的分量间预测中，图14的方法可以基本上用于确定与色度分量相对应的亮度分量的样本值。在这种情况下，图14是使用四个亮度分量样本和两个相邻样本的情况，并且下采样滤波器如以下等式17。
[等式17]
Rec′L[x，y]＝(2*RecL[2x，2y]+2*RecL[2x，2y+1]+RecL[2x-1，2y]+RecL[2x+1，2y]+RecL[2x-1，2y+1]+RecL[2x+1，2y+1]+4)>>3
这里，当当前图片的颜色格式是YUV 4：2：0时，可以选择性地使用用于分量间预测的多个对应方法之一，并且直接用信号通知用于选择多个对应方法之一的信息。替选地，可以根据块大小或形状使用一个固定的对应方法。
图15示出了另一实施方式，其中使用亮度分量左上方的两个样本，并且在以下等式18中示出下采样滤波器。
[等式18]
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x+1，2y]+1)>>1
图16示出了另一实施方式，其中使用亮度分量的第二左列中的两个上侧样本，并且下采样滤波器如以下等式19。
[等式19]
Rec′L[x，y]＝(RecL[2x+1，2y]+RecL[2x+1，2y+1]+1)>>1
图17示出了另一实施方式，其中使用亮度分量的第二上行中的两个左侧样本，并且下采样滤波器如以下等式20。
[等式20]
Rec′L[x，y]＝(RecL[2x，2y+1]+RecL[2x+1，2y+1]+1)>>1
在执行如图17所示的下采样的情况下，通过不是用两行而是用一个参考样本行来构建亮度分量的参考样本，得出用于分量间预测的参数。
图18示出了另一实施方式，其中使用亮度分量左上方的四个样本，并且下采样滤波器如以下等式21。
[等式21]
Rec′L[x，y]＝(RecL[2x，2y]+RecL[2x，2y+1]+RecL[2x+1，2y]+RecL[2x+1，2y+1]+2)>>2
作为另一示例，不同于YUV 4：2：0颜色格式的所示实施方式，当使用YUV 4：2：2颜色格式时，使用除了图17的得出方法之外的方法中的至少一个方法。在使用YUV 4：4：4颜色格式而不是图14至图18的得出方法的情况下，可以基于与色度分量一一对应的亮度分量的线性模型来执行分量间预测。
如图3的等式1所示，可以通过将分量间预测参数应用于亮度分量块的样本来预测色度分量块的样本。这里，亮度分量块的样本与色度分量块的样本相对应，其可以根据颜色格式被下采样。可以基于预定标记选择性地执行下采样方法，并且以下将详细描述下采样方法。
(实施方式1)
可以基于亮度分量块的对应样本pY[2*x][2*y]和相邻样本得出亮度分量块的下采样样本pDsY[x][y](x＝0..nTbW-1，y＝0..nTbH-1)。这里，相邻样本可以表示与对应样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式22中那样得出pDsY[x][y]。
[等式22]
pDsY[x][y]＝(pY[2*x][2*y-1]+pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*y]+pY[2*x][2*y+1]+4)>>3
然而，可能存在亮度分量块的左侧/上侧相邻区域不可用的情况。如果亮度分量块的左侧相邻区域不可用，则可以基于亮度分量块的对应样本pY[0][2*y]和相邻样本来得出亮度分量块的下采样样本pDsY[0][y](y＝1..nTbH-1)。相邻样本可以表示与对应样本的上侧或下侧中的至少一个相邻的样本。例如，可以如以下等式23中那样得出pDsY[0][y](y＝1..nTbH-1)。
[等式23]
pDsY[0][y]＝(PY[0][2*y-1]+2*pY[0][2*y]+PY[0][2*y+1]+2)>>2
当亮度分量块的上侧相邻区域不可用时，可以基于亮度分量块的对应样本pY[2*x][0]和相邻样本来得出亮度分量块的下采样样本pDsY[x][0](x＝1..nTbW-1)。相邻样本可以表示与对应样本的左侧或右侧中的至少一个相邻的样本。例如，可以如以下等式24中那样得出pDsY[x][0](x＝1..nTbW-1)。
[等式24]
pDsY[x][0]＝(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)>>2
同时，可以基于亮度分量块的对应样本pY[0][0]和/或相邻样本来得出亮度分量块的下采样样本pDsY[0][0]。可以根据亮度分量块的左侧/上侧相邻区域的可用性而不同地确定相邻样本的位置。
例如，当左侧相邻区域可用而上侧相邻区域不可用时，可以如以下等式25中那样得出pDsY[0][0]。
[等式25]
pDsY[0][0]＝(PY[-1][0]+2*PY[0][0]+PY[1][0]+2)>>2
另一方面，当左侧相邻区域不可用而上侧相邻区域可用时，可以如以下等式26中那样得出pDsY[0][0]。
[等式26]
pDsY[0][0]＝(pY[0][-1]+2*pY[0][0]+pY[0][1]+2)>>2
同时，当左侧相邻区域和上侧相邻区域均不可用时，pDsY[0][0]可以被设定为亮度块的对应样本pY[0][0]。
(实施方式2)
基于亮度分量块的对应样本pY[2*x][2*y]和相邻样本得出亮度分量块的下采样样本pDsY[x][y](x＝0..nTbW-1，y＝0..nTbH-1)。相邻样本可以表示与对应样本的下侧、左侧、右侧、左下侧或右下侧中的至少一个相邻的样本。例如，可以如以下等式27中那样得出pDsY[x][y]。
[等式27]
pDsY[x][y]＝(PY[2*x-1][2*y]+PY[2*x-1][2*y+1]+2*PY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)>>3
然而，当亮度分量块的左侧相邻区域不可用时，可以基于亮度分量块的对应样本pY[0][2*y]和下侧相邻样本来得出亮度分量块的下采样样本pDsY[0][y](y＝0..nTbH-1)。例如，可以如以下等式28中那样得出pDsY[0][y](y＝0..nTbH-1)。
[等式28]
pDsY[0][y]＝(pY[0][2*y]+PY[0][2*y+1]+1)>>1
可以基于上述实施方式1和实施方式2中的任一个来执行亮度分量块的下采样。在这种情况下，可以基于预定标记来选择第一实施方式或第二实施方式之一。该标记可以指示下采样亮度样本的位置是否与原始亮度样本相同。例如，当标记为第一值时，下采样的亮度样本的位置与原始亮度样本相同。另一方面，当标记为第二值时，下采样的亮度样本在水平方向上的位置与原始亮度样本相同，但在竖直方向上的位置移位了半个像素。
图19是示出作为根据本公开内容的实施方式的使用多个线性模型执行分量间预测的方法的概念的图。
具体地，图19示出了在编码器和解码器中使用相同方法得出用于分量间预测的线性模型参数时使用一个或更多个线性模型执行分量间预测的方法的概念。
例如，如图19的左图所示，两个不同分量之间的采样值的分布可以用于表示单个线性模型，并且可以基于对应的线性模型来执行分量间预测。
另外，如图19的右图所示，两个不同分量之间的像素值的分布可以用于表示一个或更多个线性模型，并且可以根据样本值的范围基于不同的线性模型来执行分量间预测。
本公开内容的各种实施方式没有以所有可能的组合列出，而是旨在描述本公开内容的代表性方面，并且可以独立地应用或者可以以两个或更多个的组合应用在各种实施方式中描述的内容。
另外，可以通过硬件、固件、软件或其组合来实现本公开内容的各种实施方式。对于硬件实现，其可以由一个或更多个ASIC(Application Specific Integrated Circuits，专用集成电路)、DSP(Digital Signal Processors，数字信号处理器)、DSPD(DigitalSignal Processing Devices，数字信号处理装置)、PLD(Programmable Logic Devices，可编程逻辑器件)、FPGA(Field Programmable Gate Arrays，现场可编程门阵列)、通用处理器(general processor)、控制器、微控制器、微处理器等实现。
本公开内容的范围包括允许根据各种实施方式的方法的操作在装置或计算机上执行的软件或机器可执行指令(例如，操作系统、应用、固件、程序等)，以及存储这样的软件或指令等并且在装置或计算机上可执行的非暂态计算机可读介质(non-transitorycomputer-readable medium)。
工业适用性
本公开内容可以用于对视频信号进行编码/解码。
本技术还可以配置如下。
(1)一种对图像进行解码的方法，包括：
构建用于色度分量块的分量间预测的参考样本；
使用所述参考样本得出分量间预测参数；以及
基于与所述色度分量块相对应的亮度分量块和所述分量间预测参数来执行所述色度分量块的所述分量间预测。
(2)根据(1)所述的方法，其中，使用空间上与所述亮度分量块相邻的预重建的样本来构建所述参考样本。
(3)根据(2)所述的方法，其中，所述预重建的样本包括与所述亮度分量块的左侧或上侧中的至少一个相邻的样本。
(4)根据(3)所述的方法，其中，所述预重建的样本还包括连续地位于与所述左侧相邻的样本的下侧的样本或连续地位于与所述上侧相邻的样本的右侧的样本。
(5)根据(4)所述的方法，其中，基于所述色度分量块的帧内预测模式来构建所述参考样本。
(6)根据(1)所述的方法，其中，得出所述分量间预测参数包括：
从与所述亮度分量块相邻的参考样本中提取最大值和最小值；以及
通过使用所述最大值和所述最小值得出基于线性模型的分量间预测参数。
(7)根据(1)所述的方法，还包括对所述亮度分量块进行下采样。
(8)根据(7)所述的方法，其中，使用所述亮度分量块的对应样本和相邻样本执行所述下采样，并且
其中，所述相邻样本的数量是1或5。
(9)根据(8)所述的方法，其中，所述相邻样本包括与所述对应样本的左侧、右侧、下侧、左下侧或右下侧中的至少一个相邻的样本。

Claims (7)

1.一种对图像进行解码的方法，包括：
构建用于所述图像中的色度分量块的分量间预测的参考样本；
基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；
基于所述下采样的参考样本得出分量间预测参数；以及
基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，
其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，
其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及
其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
2.根据权利要求1所述的方法，其中，根据所述色度分量块的编码信息来可变地构建用于得出所述分量间预测参数的所述参考样本，以及
其中，所述编码信息包括所述色度分量块的帧内预测模式。
3.根据权利要求1所述的方法，其中，得出所述分量间预测参数包括：
基于所述下采样的参考样本来提取最大值和最小值；以及
基于所述最大值和所述最小值得出所述分量间预测参数。
4.根据权利要求1所述的方法，进一步包括：
对与所述色度分量块对应的亮度分量块中的样本进行下采样。
5.根据权利要求2所述的方法，其中，基于所述帧内预测模式等于第一值，仅使用属于所述左侧相邻块和所述左下侧相邻块的左侧参考样本来得出所述分量间预测参数，以及
其中，基于所述帧内预测模式等于第二值，仅使用属于所述上侧相邻块和所述右上侧相邻块的上侧参考样本来得出所述分量间预测参数。
6.一种对图像进行编码的方法，包括：
构建用于所述图像中的色度分量块的分量间预测的参考样本；
基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；
基于所述下采样的参考样本得出分量间预测参数；以及
基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，
其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，
其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及
其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
7.一种非暂态计算机可读介质，用于存储通过图像编码方法生成的比特流，所述图像编码方法包括：
构建用于色度分量块的分量间预测的参考样本；
基于所述参考样本得出下采样的参考样本，下采样的参考样本是基于参考样本和与所述参考样本相邻的相邻样本得出的，所述相邻样本包括与所述参考样本的左侧、右侧、上侧或下侧中的至少一个相邻的样本；
基于所述下采样的参考样本得出分量间预测参数；以及
基于所述分量间预测参数来执行所述色度分量块的所述分量间预测，
其中，用于所述分量间预测的所述参考样本包括左侧参考样本或上侧参考样本，
其中，用于所述分量间预测的所述左侧参考样本包括属于亮度分量块的左侧相邻块的第一样本和属于所述亮度分量块的左下侧相邻块的第二样本，以及
其中，用于所述分量间预测的所述上侧参考样本包括属于所述亮度分量块的上侧相邻块的第三样本和属于所述亮度分量块的右上侧相邻块的第四样本。
CN202311507116.XA 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质 Pending CN117528086A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2018-0054880 2018-05-14
KR20180054880 2018-05-14
PCT/KR2019/005727 WO2019221465A1 (ko) 2018-05-14 2019-05-13 영상 복호화 방법/장치, 영상 부호화 방법/장치 및 비트스트림을 저장한 기록 매체
CN201980031971.3A CN112136325B (zh) 2018-05-14 2019-05-13 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980031971.3A Division CN112136325B (zh) 2018-05-14 2019-05-13 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质

Publications (1)

Publication Number Publication Date
CN117528086A true CN117528086A (zh) 2024-02-06

Family

ID=68540501

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202311507116.XA Pending CN117528086A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN202311503469.2A Pending CN117459730A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN201980031971.3A Active CN112136325B (zh) 2018-05-14 2019-05-13 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质
CN202311507528.3A Pending CN117528087A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN202311507909.1A Pending CN117528088A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质

Family Applications After (4)

Application Number Title Priority Date Filing Date
CN202311503469.2A Pending CN117459730A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN201980031971.3A Active CN112136325B (zh) 2018-05-14 2019-05-13 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质
CN202311507528.3A Pending CN117528087A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质
CN202311507909.1A Pending CN117528088A (zh) 2018-05-14 2019-05-13 对图像进行解码和编码的方法、非暂态计算机可读介质

Country Status (4)

Country Link
US (1) US11758159B2 (zh)
KR (1) KR20190130502A (zh)
CN (5) CN117528086A (zh)
WO (1) WO2019221465A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8867854B2 (en) * 2008-10-01 2014-10-21 Electronics And Telecommunications Research Institute Image encoder and decoder using undirectional prediction
US10382772B1 (en) * 2018-07-02 2019-08-13 Tencent America LLC Method and apparatus for video coding
CN113261291A (zh) * 2018-12-22 2021-08-13 北京字节跳动网络技术有限公司 基于多个参数的两步交叉分量预测模式
CN113840142B (zh) * 2019-06-25 2023-07-07 Oppo广东移动通信有限公司 图像分量预测方法、装置及计算机存储介质
WO2021100450A1 (ja) * 2019-11-21 2021-05-27 日本放送協会 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
US11575909B2 (en) * 2020-04-07 2023-02-07 Tencent America LLC Method and apparatus for video coding
US20230345005A1 (en) * 2020-04-15 2023-10-26 Sharp Kabushiki Kaisha Systems and methods for performing intra prediction in video coding
CN118020300A (zh) * 2021-07-15 2024-05-10 抖音视界有限公司 用于视频处理的方法、装置和介质

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101742301B (zh) * 2008-11-24 2017-04-19 北京中星微电子有限公司 一种块模式编码方法及装置
KR101789478B1 (ko) 2011-03-06 2017-10-24 엘지전자 주식회사 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN103220508B (zh) * 2012-01-20 2014-06-11 华为技术有限公司 编解码方法和装置
WO2013169049A1 (ko) * 2012-05-10 2013-11-14 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
JP6005572B2 (ja) * 2013-03-28 2016-10-12 Kddi株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、およびプログラム
WO2016066028A1 (en) * 2014-10-28 2016-05-06 Mediatek Singapore Pte. Ltd. Method of guided cross-component prediction for video coding
US9998742B2 (en) * 2015-01-27 2018-06-12 Qualcomm Incorporated Adaptive cross component residual prediction
US10455249B2 (en) 2015-03-20 2019-10-22 Qualcomm Incorporated Downsampling process for linear model prediction mode
US10045023B2 (en) * 2015-10-09 2018-08-07 Telefonaktiebolaget Lm Ericsson (Publ) Cross component prediction in video coding
US10484712B2 (en) * 2016-06-08 2019-11-19 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
US10326986B2 (en) * 2016-08-15 2019-06-18 Qualcomm Incorporated Intra video coding using a decoupled tree structure
US10382781B2 (en) * 2016-09-28 2019-08-13 Qualcomm Incorporated Interpolation filters for intra prediction in video coding
US10477240B2 (en) * 2016-12-19 2019-11-12 Qualcomm Incorporated Linear model prediction mode with sample accessing for video coding
CN116708833A (zh) * 2018-07-02 2023-09-05 Lg电子株式会社 编解码和发送方法及存储介质
US11095921B2 (en) * 2018-12-18 2021-08-17 Tencent America LLC Method and apparatus for video encoding or decoding
KR20210100739A (ko) * 2019-03-06 2021-08-17 엘지전자 주식회사 Cclm 예측에 기반한 영상 디코딩 방법 및 그 장치

Also Published As

Publication number Publication date
WO2019221465A1 (ko) 2019-11-21
CN117528087A (zh) 2024-02-06
CN112136325B (zh) 2023-12-05
US20210243457A1 (en) 2021-08-05
CN117459730A (zh) 2024-01-26
CN112136325A (zh) 2020-12-25
KR20190130502A (ko) 2019-11-22
CN117528088A (zh) 2024-02-06
US11758159B2 (en) 2023-09-12

Similar Documents

Publication Publication Date Title
CN112136325B (zh) 图像解码方法/装置、图像编码方法/装置以及存储比特流的记录介质
KR102315455B1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
KR102213112B1 (ko) 휘도 샘플을 이용한 색차 블록의 화면 내 예측 방법 및 이러한 방법을 사용하는 장치
CN112369034B (zh) 使用合并候选的视频编码方法和装置
CN111213379A (zh) 用于将图像编码/解码的方法、装置和存储比特流的记录介质
KR102446669B1 (ko) 인트라 예측을 이용한 영상 부호화/복호화 방법 및 장치
JP2021536717A (ja) イントラ予測を用いた画像符号化／復号化方法及び装置
US11818378B2 (en) Image encoding/decoding method and device
KR20190116101A (ko) 어파인 모델 기반의 영상 부호화/복호화 방법 및 장치
US11356692B2 (en) Image decoding method/apparatus, image encoding method/apparatus, and recording medium storing bitstream
CN112425161A (zh) 基于帧内预测的视频编码方法和装置
US20230283795A1 (en) Video coding method and device using motion compensation of decoder side
US20240022740A1 (en) Image decoding method/device, image encoding method/device, and recording medium in which bitstream is stored

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination