CN118200589A - 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法 - Google Patents

视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法 Download PDF

Info

Publication number
CN118200589A
CN118200589A CN202410315424.0A CN202410315424A CN118200589A CN 118200589 A CN118200589 A CN 118200589A CN 202410315424 A CN202410315424 A CN 202410315424A CN 118200589 A CN118200589 A CN 118200589A
Authority
CN
China
Prior art keywords
prediction
merge candidate
index
motion information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202410315424.0A
Other languages
English (en)
Inventor
李培根
全东山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intellectual Discovery Co Ltd
Original Assignee
Intellectual Discovery Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intellectual Discovery Co Ltd filed Critical Intellectual Discovery Co Ltd
Publication of CN118200589A publication Critical patent/CN118200589A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

公开了视频信号解码和编码方法和视频信号比特流传输方法。视频信号解码方法包括：配置当前块的包括多个合并候选的合并候选列表；基于合并候选列表和合并候选索引来导出当前块运动信息；和基于运动信息来执行当前块帧间预测。合并候选索引包括从比特流信号通知的、当前块的第一和第二划分的第一和第二合并候选索引。用于第一划分的第一运动信息基于其索引等于第一合并候选索引的合并候选来被导出。当第二合并候选索引小于第一合并候选索引时，用于第二划分的第二运动信息基于其索引等于第二合并候选索引的合并候选来被导出。当第二合并候选索引大于或等于第一合并候选索引时，第二运动信息基于其索引比第二合并候选索引大1的合并候选来被导出。

Description

视频信号解码方法、视频信号编码方法和视频信号比特流的 传输方法
本申请是2019年12月27日提交的国际申请号为PCT/KR2019/018641，进入中国国家阶段的申请号为201980092856.7，标题为“视频编码/解码方法和装置”的专利申请的分案申请。
技术领域
本公开内容涉及用于处理视频信号的方法和装置。
背景技术
随着对高分辨率视频的市场需求增加，可以有效地压缩高分辨率图像的技术是必要的。根据这样的市场需求，ISO/IEC的MPEG(运动图片专家组)和ITU-T的VCEG(视频编码专家组)联合形成JCT-VC(视频编码联合协作组)，在2013年1月开发了HEVC(高效视频编码)视频压缩标准，并且已经在积极地研究和开发下一代压缩标准。
视频压缩主要由帧内预测、帧间预测、变换、量化、熵编码和环内滤波组成。另一方面，随着对高分辨率图像的需求增加，对作为新图像服务的立体图像内容的需求也增加。已经讨论了用于有效地提供高分辨率和超高分辨率立体图像内容的视频压缩技术。
发明内容
技术问题
本公开内容的目的是提供一种自适应地划分图片的方法和装置。
本公开内容的目的是提供一种帧内预测方法和装置。
本公开内容的目的是提供一种帧间预测方法和装置。
本公开内容的目的是提供一种使用三角形预测单元编码的帧间预测方法和装置。
本公开内容的目的是提供一种基于分量间参考的预测方法和装置。
技术解决方案
根据本公开内容的视频信号编码/解码方法和装置可以将当前块划分成两个预测单元，配置当前块的合并候选列表，通过使用当前块的合并候选列表和合并候选索引来导出当前块的运动信息，并且通过使用所导出的运动信息来执行当前块的帧间预测。
在根据本公开内容的视频信号编码/解码方法和装置中，两个预测单元中的至少一个的形状可以是三角形。
在根据本公开内容的视频信号编码/解码方法和装置中，可以基于关于预定划分线的信息来执行划分，并且该信息可以包括关于划分线的起始点、终止点、角度或方向中的至少一个的信息。
在根据本公开内容的视频信号编码/解码方法和装置中，仅在当前块的大小大于预定阈值大小或与预定阈值大小相同时，可以执行划分，并且当前块的大小可以表示为当前块的宽度、当前块高度、宽度与高度的比率或宽度与高度的乘积。
在根据本公开内容的视频信号编码/解码方法和装置中，合并候选列表可以配置有多个三角形合并候选，并且三角形合并候选可以包括空间合并候选、时间合并候选或存储在具有预定大小的缓冲器中的运动信息中的至少一个。
在根据本公开内容的视频信号编码/解码方法和装置中，存储在缓冲器中的运动信息可以是指在当前块之前被解码的块的运动信息。
根据本公开内容的视频信号编码/解码方法和装置可以对指示三角形合并候选的最大数目的数目信息进行编码/解码，并且可以基于经编码/解码的数目信息来设置三角形合并候选的最大数目。
在根据本公开内容的视频信号编码/解码方法和装置中，属于当前块的两个预测单元可以共享一个合并候选列表。
在根据本公开内容的视频信号编码/解码方法和装置中，合并候选索引可以包括当前块的第一预测单元的第一合并候选索引和当前块的第二预测单元的第二合并候选索引，并且可以分别对第一合并候选索引和第二合并候选索引进行编码/解码。
在根据本公开内容的视频信号编码/解码方法和装置中，可以通过使用由第一合并候选索引指定的三角形合并候选来导出第一预测单元的运动信息，并且可以通过使用基于第一合并候选索引和第二合并候选索引指定的三角形合并候选来导出第二预测的运动信息。
在根据本公开内容的视频信号编码/解码方法和装置中，可以根据合并候选索引的值来选择性地使用所指定的三角形合并候选的L0方向的运动信息或L1方向的运动信息中的任何一个。
在根据本公开内容的视频信号编码/解码方法和装置中，可以通过将预定权重应用于当前块的第一预测单元的像素和第二预测单元的像素来预测定位在划分线上的边界像素或边界像素的邻近像素中的至少一个。
一种用于存储视频流的数字存储介质，在该数字存储介质中记录有用于执行处理的视频解码程序，该处理可以包括：将当前块划分成两个预测单元，其中两个预测单元中的至少一个的形状为三角形；配置当前块的合并候选列表；通过使用当前块的合并候选索引和合并候选列表来导出当前块的运动信息；以及通过使用所导出的运动信息来执行当前块的帧间预测。
技术效果
本公开内容可以通过以预定单位划分图片并执行编码/解码来提高视频信号的编码/解码效率。
本公开内容可以通过使用细分方向模式和/或选择性像素线来提高帧内预测的编码效率。
本公开内容可以通过使用仿射模式或区域间(inter region)运动信息来提高帧间预测的编码效率。
本公开内容可以通过使用三角形预测单元编码的帧间预测方法来提高视频信号编码效率。
本公开内容可以通过对亮度区域进行下采样/子采样来提高基于分量间参考的预测效率。
附图说明
图1是示出根据本公开内容的图像编码装置的框图。
图2是示出根据本公开内容的图像解码装置的框图。
图3至图7示出了作为应用本公开内容的实施方式的将图片划分成多个块的方法。
图8粗略地示出了作为应用本公开内容的实施方式的重构当前块的处理。
图9示出了作为应用本公开内容的实施方式的帧间预测方法。
图10至图27示出了作为应用本公开内容的实施方式的基于合并模式来预测三角形预测单元的方法。
图28至图30示出了作为应用本公开内容的实施方式的仿射帧间预测方法。
图31至图35示出了作为应用本公开内容的实施方式的帧内预测方法。
图36至图39示出了作为应用本公开内容的实施方式的基于广角的帧内预测方法。
图40示出了作为应用本公开内容的实施方式的基于多线的帧内预测方法。
图41示出了作为应用本公开内容的实施方式的基于分量间参考的预测方法。
图42至图48示出了对亮度块的邻近区域进行下采样并导出用于分量间参考的参数的方法。
图49至图50示出了作为应用本公开内容的实施方式的将环路滤波器应用于重构块的方法。
具体实施方式
根据本公开内容的视频信号编码/解码方法和装置可以将当前块划分成两个预测单元，配置当前块的合并候选列表，通过使用当前块的合并候选列表和合并候选索引来导出当前块的运动信息，并且通过使用所导出的运动信息来执行当前块的帧间预测。
在根据本公开内容的视频信号编码/解码方法和装置中，两个预测单元中的至少一个的形状可以是三角形。
在根据本公开内容的视频信号编码/解码方法和装置中，可以基于关于预定划分线的信息来执行划分，并且该信息可以包括关于划分线的起始点、终止点、角度或方向中的至少一个的信息。
在根据本公开内容的视频信号编码/解码方法和装置中，仅在当前块的大小大于预定阈值大小或与预定阈值大小相同时，可以执行划分，并且当前块的大小可以表示为当前块的宽度、当前块高度、宽度与高度的比率或宽度与高度的乘积。
在根据本公开内容的视频信号编码/解码方法和装置中，合并候选列表可以配置有多个三角形合并候选，并且三角形合并候选可以包括空间合并候选、时间合并候选或存储在具有预定大小的缓冲器中的运动信息中的至少一个。
在根据本公开内容的视频信号编码/解码方法和装置中，存储在缓冲器中的运动信息可以是指在当前块之前被解码的块的运动信息。
根据本公开内容的视频信号编码/解码方法和装置可以对指示三角形合并候选的最大数目的数目信息进行编码/解码，并且可以基于经编码/解码的数目信息来设置三角形合并候选的最大数目。
在根据本公开内容的视频信号编码/解码方法和装置中，属于当前块的两个预测单元可以共享一个合并候选列表。
在根据本公开内容的视频信号编码/解码方法和装置中，合并候选索引可以包括当前块的第一预测单元的第一合并候选索引和当前块的第二预测单元的第二合并候选索引，并且可以分别对第一合并候选索引和第二合并候选索引进行编码/解码。
在根据本公开内容的视频信号编码/解码方法和装置中，可以通过使用由第一合并候选索引指定的三角形合并候选来导出第一预测单元的运动信息，并且可以通过使用基于第一合并候选索引和第二合并候选索引指定的三角形合并候选来导出第二预测的运动信息。
在根据本公开内容的视频信号编码/解码方法和装置中，可以根据合并候选索引的值来选择性地使用所指定的三角形合并候选的L0方向的运动信息或L1方向的运动信息中的任何一个。
在根据本公开内容的视频信号编码/解码方法和装置中，可以通过将预定权重应用于当前块的第一预测单元的像素和第二预测单元的像素来预测定位在划分线上的边界像素或边界像素的邻近像素中的至少一个。
一种用于存储视频流的数字存储介质，在该数字存储介质中记录有用于执行处理的视频解码程序，该处理可以包括：将当前块划分成两个预测单元，其中两个预测单元中的至少一个的形状为三角形；配置当前块的合并候选列表；通过使用当前块的合并候选索引和合并候选列表来导出当前块的运动信息；以及通过使用所导出的运动信息来执行当前块的帧间预测。
参照本说明书中所附的图，详细描述了本公开内容的实施方式，使得本发明所属领域的普通技术人员可以容易地实现本公开内容。然而，本公开内容可以以各种不同的形式来实现，并且不限于在本文中描述的实施方式。另外，省略了与描述无关的部分，并且贯穿说明书将类似的附图标记赋予类似的部分，以在图中清楚地描述本公开内容。
在本说明书中，当一部分被称为“连接至”另一部分时，它包括在插入另一元件的同时电连接的情况以及直接连接的情况。
另外，在本说明书中，当一部分被称为“包括”部件时，其是指可以另外包括其他部件而不排除其他部件，除非另有说明。
另外，可以使用术语例如第一、第二等来描述各种部件，但是部件不应受这些术语限制。这些术语仅用于区分一个部件与其他部件。
另外，在关于本说明书中描述的装置和方法的实施方式中，可以省略装置的一些配置或方法的一些步骤。另外，可以改变装置的一些配置或方法的一些步骤的顺序。另外，另一配置或另一步骤可以插入到装置的一些配置或方法的一些步骤中。
另外，本公开内容的第一实施方式中的一些配置或一些步骤可以被添加至本公开内容的第二实施方式，或者可以用第二实施方式中的一些配置或一些步骤替换。
另外，由于本公开内容的实施方式所示出的结构单元被独立地示出以表示不同的特征功能，因此并不意味着每个结构单元被配置在单独的硬件或一个软件结构单元中。换言之，为了便于描述，每个结构单元可以通过被列举为每个结构单元来描述，每个结构单元之中的至少两个结构单元可以被组合以配置一个结构单元，或者一个结构单元可以被分成多个构结构单元以执行功能。只要不超出本公开内容的本质，每个结构单元中的这样的集成实施方式和单独实施方式也包括在本公开内容的权利范围内。
在本说明书中，块可以被不同地表示为单元、区域、单位、分区等，并且样本可以被不同地表示为像素、像元、像素等。
在下文中，将参照附图更详细地描述本公开内容的实施方式。在描述本公开内容时，省略了对相同部件的重复描述。
图1是示出根据本公开内容的图像编码装置的框图。
参照图1，通常的图像编码装置100可以包括图片划分单元110、预测单元120和125、变换单元130、量化单元135、重排单元160、熵编码单元165、逆量化单元140、逆变换单元145、滤波器单元150和存储器155。
图片划分单元110可以将输入图片划分为至少一个处理单元。在该情况下，处理单元可以是预测单元(PU)、变换单元(TU)或编码单元(CU)。在下文中，在本公开内容的实施方式中，编码单元可以用作执行编码的单元，并且可以用作执行解码的单元。
预测单元可以在一个编码单元内以具有相同大小的至少一个正方形形状或矩形形状等进行划分，并且可以被划分成使得在一个编码单元中划分的预测单元之中的任何一个预测单元将具有与另一个预测单元不同的形状和/或大小。在生成基于编码单元执行帧内预测的预测单元时，当它不是最小编码单元时，可以在不划分为多个预测单元N×N的情况下执行帧内预测。
预测单元120和125可以包括执行帧间预测的帧间预测单元120和执行帧内预测的帧内预测单元125。可以确定针对预测单元执行帧间预测还是帧内预测，并且可以确定根据每种预测方法的详细信息(例如帧内预测模式、运动矢量、参考图片等)。所生成的预测块与原始块之间的残余值(残余块)可以被输入到变换单元130。另外，用于预测的预测模式信息、运动矢量信息等可以在熵编码单元165中利用残余值来编码，并且被发送到解码器。
帧间预测单元120可以基于当前图片的先前图片或后续图片中的至少一个图片的信息来预测预测单元，或者在一些情况下可以基于在当前图片中编码的一些区域的信息来预测预测单元。帧间预测单元120可以包括参考图片内插单元、运动预测单元和运动补偿单元。
在参考图片内插单元中，可以从存储器155提供参考图片信息，并且可以在参考图片中生成整数像素或更小的像素信息。对于亮度像素，可以使用具有不同滤波器系数的基于DCT的8抽头内插滤波器来生成以1/4像素为单位的整数像素或更小的像素信息。对于色度信号，可以使用具有不同滤波器系数的基于DCT的4抽头内插滤波器来生成以1/8像素为单位的整数像素或更小的像素信息。
运动预测单元可以基于由参考图片内插单元内插的参考图片来执行运动预测。作为计算运动矢量的方法，可以使用诸如FBMA(基于全搜索的块匹配算法)、TSS(三步搜索)、NTS(新三步搜索算法)等的各种方法。基于内插像素，运动矢量可以具有1/2或1/4像素单位的运动矢量值。在运动预测单元中，可以通过使运动预测方法不同来预测当前预测单元。对于运动预测方法，可以使用诸如跳过模式、合并模式、AMVP(高级运动矢量预测)模式、帧内块复制模式、仿射模式等的各种方法。
帧内预测单元125可以基于当前块周围的参考像素信息、当前图片中的像素信息生成预测单元。当因为当前预测单元的邻近块是执行帧间预测的块，所以参考像素是执行帧间预测的像素时，执行帧间预测的块中包括的参考像素可以通过用执行邻近帧内预测的块的参考像素信息替换而被使用。换言之，当参考像素不可用时，不可用的参考像素信息可以通过用可用参考像素中的至少一个参考像素替换而被使用。
另外，可以生成包括关于残余值的信息的残余块，该残余值是基于在预测单元120和125中生成的预测单元执行预测的预测单元与预测单元的原始块之间的差值。所生成的残余块可以被输入到变换单元130。
在变换单元130中，可以通过使用诸如DCT(离散余弦变换)、DST(离散正弦变换)和KLT的变换方法来对原始块和包括关于在预测单元120和125中生成的预测单元的残余值的信息的残余块进行变换。可以基于用于生成残余块的预测单元中的帧内预测模式信息来确定是否应用DCT、DST或KLT对残余块进行变换。
量化单元135可以对在变换单元130中被变换到频域的值进行量化。根据块或根据图像重要性，可以改变量化系数。在量化单元135中计算的值可以被提供给逆量化单元140和重排单元160。
重排单元160可以对量化后的残余值的系数值执行重排。
重排单元160可以通过系数扫描方法将二维块形式的系数改变为一维向量形式。例如，在重排单元160中，可以通过zig-zag扫描方法扫描DC系数至高频域中的系数，并且可以将其改变为一维向量形式。根据变换单元的大小和帧内预测模式，可以使用逐列扫描二维块形式的系数的垂直扫描或逐行扫描二维块形式的系数的水平扫描来代替zig-zag扫描。换言之，可以根据变换单元的大小和帧内预测模式来确定是否将使用zig-zag扫描、垂直方向扫描和水平方向扫描之中的哪种扫描方法。
熵编码单元165可以基于由重排单元160计算出的值来执行熵编码。例如，熵编码可以使用各种编码方法，例如指数哥伦布码(ExponentialGolomb)、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)。关于这一点，熵编码单元165可以对来自重排单元160以及预测单元120和125的编码单元中的残余值系数信息进行编码。另外，根据本公开内容，可以用信号通知和发送指示在解码器侧导出并且使用运动信息的信息以及关于用于导出运动信息的方法的信息。
在逆量化单元140和逆变换单元145中，对在量化单元135中量化的值进行逆量化，并且对在变换单元130中变换的值进行逆变换。在逆量化单元140和逆变换单元145中生成的残余值可以通过与预测单元组合来生成重构块，该预测单元通过包括在预测单元120和125中的运动预测单元、运动补偿单元和帧内预测单元被预测。
滤波器单元150可以包括去块滤波器、偏移修改单元或ALF(自适应环路滤波器)中的至少一个。去块滤波器可以去除由重构图片中的块之间的边界生成的块失真。偏移修改单元可以以像素为单位针对对其已经执行了去块的图像修改与原始图像的偏移。可以使用将包括在图像中的像素分成一定数量的区域、确定将执行偏移的区域、并将偏移应用于对应区域的方法，或者通过考虑每个像素的边缘信息来应用偏移的方法，来对特定图片执行偏移修改。可以基于通过将滤波的重构图像与原始图像进行比较而获得的值来执行ALF(自适应环路滤波器)。可以将包括在图像中的像素分成预定的组，可以确定将应用于对应组的一个滤波器，并且可以按组有区别地执行滤波。
存储器155可以存储在滤波器单元150中计算的重构块或图片，并且可以在执行帧间预测时将所存储的重构块或图片提供给预测单元120和125。
图2是示出根据本公开内容的图像解码装置的框图。
参照图2，图像解码器200可以包括熵解码单元210、重排单元215、逆量化单元220、逆变换单元225、预测单元230和235、滤波器单元240和存储器245。
当图像比特流被输入到图像编码器中时，输入比特流可以在与图像编码器的处理相反的处理中被解码。
熵解码单元210可以在与在图像编码器的熵编码单元中执行熵编码的处理相反的处理中执行熵解码。例如，可以对应于在图像编码器中执行的方法应用诸如指数Golomb、CAVLC(上下文自适应可变长度编码)和CABAC(上下文自适应二进制算术编码)的各种方法。
在熵解码单元210中，可以对与在编码器中执行的帧内预测和帧间预测有关的信息进行解码。
重排单元215可以基于编码单元的重排方法对在熵解码单元210中熵解码的比特流执行重排。以一维向量形式表示的系数可以被重构为二维块形式的系数，并且可以被重排。
逆量化单元220可以基于编码器中提供的量化参数和重排块的系数值来执行逆量化。
逆变换单元225可以执行逆DCT、逆DST和逆KLT，即，用于DCT、DST和KLT的逆变换，即，在变换单元中对图像编码器中执行的量化的结果执行的变换。可以基于在图像编码器中确定的传输单元来执行逆变换。在图像解码器的逆变换单元225中，可以根据多个信息(例如预测方法、当前块的大小、预测方向等)来选择性地执行变换方法(例如，DCT、DST、KLT)。
预测单元230和235可以基于与熵解码单元210中提供的预测块生成有关的信息和存储器245中提供的预解码块或图片信息来生成预测块。
如上所述，当在以与图像编码器中的操作相同的方式执行帧内预测时，预测单元的大小与变换单元的大小相同时，可以基于预测单元的左位置处的像素、预测单元的左上位置处的像素和预测单元的上位置处的像素执行对预测单元的帧内预测，但是当在执行帧内预测时，预测单元的大小与变换单元的大小不同时，可以通过使用基于变换单元的参考像素来执行帧内预测。另外，可以使用仅针对最小编码单元使用NxN个分区的帧内预测。
预测单元230和235可以包括预测单元确定单元、帧间预测单元和帧内预测单元。预测单元确定单元可以接收从熵解码单元210输入的各种信息，例如预测单元信息、帧内预测方法的预测模式信息以及与帧间预测方法的运动预测有关的信息等，对当前编码单元中的预测单元进行分类，并且确定预测单元执行帧间预测还是帧内预测。另一方面，如果在编码装置100中发送指示在解码器侧导出并使用运动信息的信息和关于用于导出运动信息的方法的信息，而不发送用于帧间预测的运动预测相关信息，则预测单元确定单元可以基于从编码器100发送的信息确定帧间预测单元230是否执行预测。
帧间预测单元230可以通过使用由图像编码器提供的当前预测单元的帧间预测所需的信息，基于包括当前预测单元的当前图片的先前图片或后续图片中的至少一个图片中包括的信息，对当前预测单元执行帧间预测。为了执行帧间预测，可以确定基于编码单元的对应编码单元中包括的预测单元中的运动预测方法是跳过模式、合并模式、AMVP模式、帧内块复制模式还是仿射模式。
帧内预测单元235可以基于当前图片中的像素信息来生成预测块。当预测单元是执行帧内预测的预测单元时，可以基于由图像编码器提供的预测单元的帧内预测模式信息来执行帧内预测。
帧内预测单元235可以包括自适应帧内平滑(AIS)滤波器、参考像素内插单元和DC滤波器。作为对当前块的参考像素执行滤波的部分，可以通过根据当前预测单元的预测模式确定是否应用滤波器来应用AIS滤波器。可以通过使用预测单元的预测模式和由图像编码器提供的AIS滤波器信息来对当前块的参考像素执行AIS滤波。在当前块的预测模式是不执行AIS滤波的模式时，可以不应用AIS滤波器。
当预测单元的预测模式是基于内插参考像素的像素值执行帧内预测的预测单元时，参考像素内插单元可以对参考像素进行内插以生成小于或等于整数值的像素单位的参考像素。在当前预测单元的预测模式是在不对参考像素进行内插的情况下生成预测块的预测模式时，可以不对参考像素进行内插。在当前块的预测模式是DC模式时，DC滤波器可以通过滤波来生成预测块。
可以将重构块或图片提供至滤波器单元240。滤波器单元240可以包括去块滤波器、偏移修改单元和ALF。
关于是否将去块滤波器应用于对应的块或图片的信息以及关于当应用去块滤波器时是应用强滤波器还是弱滤波器的信息可以由图像编码器提供。图像解码器的去块滤波器可以接收由图像编码器提供的与去块滤波器有关的信息，并且在图像解码器中对对应的块执行去块滤波。
偏移修改单元可以基于在编码中应用于图像的偏移修改的类型、偏移值信息等，对重构图像执行偏移修改。可以基于由编码器提供的关于是否应用ALF的信息、ALF系数信息等将ALF应用于编码单元。这样的ALF信息可以通过将其包括在特定参数集中来提供。
存储器245可以存储重构图片或块以用作参考图片或参考块，并且还将重构图片提供至输出单元。
图3至图7示出了作为应用本公开内容的实施方式的将图片划分为多个块的方法。
参照图3，图片300被划分为多个基本编码单元(编码树单元，在下文中称为CTU)。
可以以图片或视频序列为单位来调整CTU的大小，并且每个CTU被配置成不与其他CTU交叠。例如，CTU大小可以在整个序列中被设置为128×128，并且可以以图片为单位选择128×128至256×256中的任何一个并使用。
可以通过分层划分CTU来生成编码块/编码单元(在下文中，CU)。预测和变换可以以编码单元为单位执行，并且编码单元成为确定预测编码模式的基本单元。预测编码模式可以表示生成预测图像的方法，并且考虑帧内预测、帧间预测或组合预测等作为示例。具体地，例如，可以通过以编码单元为单位使用帧内预测、帧间预测或组合预测中的至少任何一个的预测编码模式来生成预测块。当参考图片在帧间预测模式下指示当前图片时，可以基于当前图片中已被解码的区域生成预测块。这可以被包括在帧间预测中，因为通过使用参考图片索引和运动矢量生成预测块。帧内预测是通过使用当前图片的信息来生成预测块的方法，帧间预测是通过使用已经解码的其他图片的信息来生成预测块的方法，并且组合预测是组合和使用帧间预测和帧内预测的方法。组合预测可以利用帧间预测对配置一个编码块的多个子区域中的一些区域进行编码/解码，并且可以利用帧内预测对其他区域进行编码/解码。替选地，组合预测可以首先对多个子区域执行帧间预测，并且其次执行帧内预测。在此情况下，可以通过对根据帧间预测的预测值和根据帧内预测的预测值执行加权平均来导出编码块的预测值。配置一个编码块的子区域的数目可以是2、3、4或更多，并且子区域的形状可以是四边形、三角形或其他多边形。
参照图4，CTU可以以四叉树、二叉树或三叉树的形式被划分。被划分的块可以另外以四叉树、二叉树或三叉树的形式被划分。将当前块划分为4个正方形分区的方法称为四叉树划分，将当前块划分为2个正方形或非正方形分区的方法称为二叉树划分，并且将当前块划分为3个分区的方法被定义为二叉树划分。
垂直方向上的二叉树划分(图4中的SPLIT_BT_VER)被称为垂直二叉树划分，而水平方向上的二叉树划分(图4中的SPLIT_BT_HOR)被称为水平二叉树划分。
垂直方向上的三叉树划分(图4中的SPLIT_TT_VER)被称为垂直三叉树划分，而水平方向上的三叉树划分(图4中的SPLIT_TT_HOR)被称为水平三叉树划分。
分区的数目可以被称为划分深度，并且可以针对每个序列、图片、子图片、切片或图块不同地设置划分深度的最大值，并且可以根据划分树形状(四叉树/二叉树/三叉树)将其设置成具有不同的划分深度，并且可以用信号发送代表其的语法。
可以通过以诸如四叉树划分、二叉树划分或其他多叉树划分(例如，三叉树划分)的方法对划分的编码单元进行额外划分来配置叶节点的编码单元，或者可以在没有额外划分的情况下配置叶节点的编码单元。
参照图5，可以通过分层划分一个CTU来设置编码单元，并且可以通过使用二叉树划分、四叉树划分/三叉树划分中的至少任意一种来划分编码单元。这样的方法被称为多叉树划分。
通过对划分深度为k的任意编码单位进行划分而生成的编码单元被称为低编码单元，并且划分深度变为(k+1)。包括划分深度为(k+1)的低编码单元的划分深度为k的编码单元被称为高编码单元。
可以根据高编码单元的划分类型和/或当前编码单元周围的编码单元的划分类型来限制当前编码单元的划分类型。
在此情况下，划分类型表示指示符，其指示使用二叉树划分、四叉树划分/三叉树划分中的哪一种划分。
当在硬件实现中使区域的运动形状大于64×64形状的数据单元时，会出现冗余地访问64×64数据单元并且难以同时处理数据的缺点。基本单元处理数据被称为虚拟处理数据单元(VPDU)。如图6的左图片中的64×64正方形单元或者如在中心图片或右图片中的具有小于或等于4096的样本的矩形单元可以被定义为VPDU。与图6所示的示例相反，可以定义非正方形VPDU。例如，可以定义和使用三角形、L形或多边形VPDU。
可以在比特流中用信号发送关于允许的VPDU的信息(大小/形状)。在示例中，根据该信息，可以确定仅允许正方形VPDU或者允许正方形和非正方形VPDU。在另一示例中，可以以图块集为单位或以序列为单位用信号发送VPDU大小，并且VPDU的单元可以被设置为小于CTU单元或与CTU单元相同。
CU的划分形状可以通过考虑VPDU来限制。在示例中，可以存在如下限制：不允许生成大于VPDU的非正方形块的CU划分形状。替选地，可能存在如下限制：对大于VPDU的非正方形CU应当执行二叉树/三叉树划分。换言之，即使表示二叉树/三叉树划分的标志未用信号发送，大于VPDU的非正方形CU的标志也可以被导出为1。
替选地，虽然允许大于VPDU的CU，但是大于VPDU的CU可以被划分成多个子块。在这种情况下，子块可以被设置为用于执行预测的预测单元或用于执行变换/量化的变换单元。
在示例中，当编码单元如图5中那样未被定义为一个VPDU时(即，当包括不同的VPDU时)，可以通过考虑VPDU来执行对CU的划分。在这种情况下，子块可以被定义为变换单元(TU)。将CU划分成多个变换单元被称为VPDU变换单元划分方法。可以以变换单元为单位执行变换并且可以以编码单元为单位执行预测。
具体地，例如，当仅允许正方形VPDU时，图7中的CU0和CU3包括两个不同的VPDU，而CU1包括4个不同的VPDU。因此，CU0和CU3可以被划分成两个变换单元，并且CU1可以被划分成4个变换单元。换言之，在CU1之中，属于VPDU0的子块可以用TU0来配置，属于VPDU1的子块可以用TU1来配置，属于VPDU2的子块可以用TU2来配置，属于VPDU3的子块可以用TU3来配置。
当允许非正方形VPDU时，虽然CU0和CU3被配置有1个VPDU，但CU1被配置有两个VPDU。因此，CU1可被划分成两个变换单元。具体地，可以通过上下划分CU1来生成两个正方形变换单元，或者可以通过左右划分CU1来生成两个非正方形变换单元。在这种情况下，可以在比特流中用信号发送关于CU的划分形状的信息。替选地，可以将以正方形形状进行的划分设置为比以非正方形形状进行的划分具有更高的优先级。替选地，可以根据父节点的划分形状来确定CU的划分形状。在示例中，虽然当父节点的划分形状是四叉树时，CU可以被划分成使得生成正方形变换单元，但当父节点的划分形状是二叉树或三叉树时，CU可以被划分成使得生成非正方形变换单元。
大于VPDU的CU可以被划分成多个预测单元。在这种情况下，可以以编码单元为单位来确定预测模式，并且可以以预测单元为单位来执行预测。
图8粗略地示出了作为应用本公开内容的实施方式的重构当前块的处理。
参照图8，在S800中，可以在编码/解码装置中基于预定义的预测模式生成当前块的预测块。
可以通过编码/解码视频中的多种方法来生成预测图像，并且生成预测图像的方法被称为预测编码模式。
预测编码模式可以配置有帧内预测编码模式、帧间预测编码模式、当前图片参考编码模式或组合编码模式(组合预测)等。
帧间预测编码模式被称为通过使用先前图片的信息来生成当前块的预测块(预测图像)的预测编码模式，而帧内预测编码模式被称为通过使用与当前块邻近的样本来生成预测块的预测编码模式。可以通过使用当前图片的预重构图像来生成预测块，这被称为当前图片参考模式或帧内块复制模式。
可以通过使用帧间预测编码模式、帧内预测编码模式或当前图片参考编码模式中的至少2种或更多种预测编码模式来生成预测块，这被称为组合编码模式(组合预测)。
将通过参照图9至图30详细描述帧间预测编码模式，并将通过参照图31至图48详细描述帧内预测编码模式。
参照图8，在S810中，可以通过预定变换来生成当前块的变换块。
从原始图像减去预测图像的图像被称为残余图像或变换块。
通过诸如DCT(离散余弦变换)的二维变换，可以将残余图像分解为二维频率分量。存在尽管从图像中去除了高频分量但不会显著生成视觉失真的特征。当对应于高频的值被设置为小或0时，可以提高压缩效率而没有显著的视觉失真。
可以根据预测块的大小或预测模式来使用DST(离散正弦变换)。具体地，例如，当其是帧内预测模式并且预测块/编码块的大小小于NxN时，可以设置DST变换以被使用，并且DCT变换可以被设置用于其他预测块/编码块。
DCT是通过使用cos变换将图像分解(变换)为二维频率分量的处理，并且在此情况下将频率分量表示为基本图像。例如，当在N×N块中执行DCT变换时，可以获得N2个基本模式分量。执行DCT变换是指找到包括在原始像素块中的每个基本模式分量的大小。每个基本模式分量的大小被称为DCT系数。
通常，在许多非零分量分布在低频的图像中，主要使用DCT(离散余弦变换)，而在分布有许多高频分量的图像中，可以使用DST(离散正弦变换)。
DST表示通过使用sin变换将图像分解(变换)为二维频率分量的处理。通过使用被称为二维图像变换的、DCT或DST变换以外的变换方法，二维图像可被分解(变换)为二维频率分量。
在残余图像的特定块中可以不执行二维图像变换，这被称为变换跳过。在变换跳过之后，可以应用量化。
DCT或DST或二维图像变换可以被应用于二维图像中的任意块，并且在此情况下使用的变换被称为第一变换。在执行第一变换之后，可以在变换块的一些区域中重新执行变换，这被称为第二变换。
第一变换可以使用多个变换核中的一个。具体地，例如，DCT2、DCT8或DST7中的任何一个可以被选择并在变换块中使用。替选地，在变换块中的水平方向上的变换和垂直方向上的变换中可以使用不同的变换核。
可以不同地设置执行第一变换和第二变换的块的单元。具体地，例如，在残余图像的8×8块中执行第一变换之后，可以分别对每个4×4子块执行第二变换。在另一示例中，在每个4×4块中执行第一变换之后，可以分别在8×8大小的块中执行第二变换。
应用第一变换的残余图像被称为第一变换残余图像。
DCT或DST或二维图像变换可以应用于第一变换残余图像，且在此情况下使用的变换被称为第二变换。应用第二变换的二维图像被称为第二变换残余图像。
在执行第一变换和/或第二变换之后的块中的样本值被称为变换系数。量化指的是将变换系数除以预定义值以减少块的能量的处理。被定义以对变换系数应用量化的值被称为量化参数。
可以以序列或块为单位来应用预定义的量化参数。通常，量化参数可以被定义为从1到51的值。
在执行变换和量化之后，可以通过执行逆量化和逆变换生成残余重构图像。可以通过将预测图像与残余重构图像相加来生成第一重构图像。
可以基于在编码/解码装置中预定义的n个变换类型中的至少一个来生成变换块。n可以是整数，例如1、2、3、4或更大。DCT2、DCT8、DST7、变换跳过模式等可以用于变换类型。分别地，在一个块的垂直/水平方向上可以仅应用一种相同的变换类型，或者在垂直/水平方向上可以应用不同的变换类型。为此，可以使用表示是否应用一种相同变换类型的标志。该标志可以在编码装置中用信号发送。
另外，可以基于在编码装置中用信号发送的信息来确定变换类型，或者可以基于预定编码参数来确定变换类型。在此情况下，编码参数可以指块的大小或形状、帧内预测模式或分量类型(例如，亮度、色度)中的至少一个。块的大小可以表示为宽度、高度、宽度和高度的比率、宽度和高度的乘积、宽度和高度的和/差等。例如，在当前块的大小大于预定阈值时，可以将水平方向上的变换类型确定为第一变换类型(例如，DCT2)，并且可以将垂直方向上的变换类型确定为第二变换类型(例如，DST7)。阈值可以是整数，例如0、4、8、16、32或更大。
另一方面，可以通过在第一变换之后执行第二变换来获得根据本公开内容的残余系数。可以对当前块中的一些区域的残余系数执行第二变换。在此情况下，解码装置可以通过对一些区域执行第二逆变换并对包括逆变换的一些区域的当前块执行第一逆变换，来获得当前块的变换块。
参照图8，在S820中，可以基于预测块和变换块来重构当前块。
可以将预定环内滤波器应用于重构的当前块。环内滤波器可以包括去块滤波器、SAO(样本自适应偏移)滤波器或ALF(自适应环路滤波器)中的至少一个，这将参照图48和图49来描述。
图9示出了作为应用本公开内容的实施方式的帧间预测方法。
通过使用先前图片的信息来生成当前图片中的块的预测块(预测图像)的方法被称为帧间预测编码模式。
例如，可以基于先前图片的对应块(共位块)来生成预测图像，或者可以基于先前图片的特定块来生成预测块(预测图像)。
在此情况下，可以从运动矢量中导出特定块。共位块表示左上样本的位置和大小与当前块相同的对应图片的块，如图9中那样。对应的图片可以由与参考图片参考相同的语法来指定。
可以通过在帧间预测编码模式中考虑对象的运动来生成预测块。
例如，如果知道先前图片中的对象在哪个方向移动以及移动了多少，则可以通过从当前块减去考虑运动的块来生成预测块(预测图像)，其被称为运动预测块。
可以通过从当前块减去运动预测块或对应的预测块来生成残余块。
当在对象中生成运动时，如果使用运动预测块而不是对应的预测块，则残余块的能量降低，因此可以提高压缩性能。
因此，使用运动预测块的方法被称为运动补偿预测，并且运动补偿预测被用于大多数帧间预测编码。
表示先前图片中的对象在哪个方向移动以及移动了多少的值被称为运动矢量。作为运动矢量，可以以序列、图片、子图片、切片、图块、CTU或CU为单位使用具有不同像素精度的运动矢量。例如，特定块中的运动矢量的像素精度可以是1/16、1/8、1/4、1/2、1、2、4或8中的至少任何一个。可用像素精度候选的类型和/或数目可以因下文描述的每个帧间预测编码模式而不同。例如，对于仿射帧间预测方法，k像素精度可用，而对于使用平移运动的帧间预测方法，i像素精度不可用。对于当前图片参考模式，j像素精度可用。在此情况下，k、i和j可以是自然数，例如1、2、3、4、5或更大。然而，k可以小于i并且i可以小于j。仿射帧间预测方法可以使用1/16、1/4或1中的至少一个像素精度，且使用平移运动的帧间预测方法(例如，合并模式、AMVP模式)可以使用1/4、1/2、1或4中的至少一个像素精度。当前图片参考模式可以使用1、4或8中的至少一个像素精度。
对于帧间预测模式，可以选择性地利用使用平移运动的帧间预测方法和使用仿射运动的仿射帧间预测方法。在下文中，将通过参照图10至图30对其进行描述。
图10至图27示出了作为应用本公开内容的实施方式的基于合并模式来预测三角形预测单元的方法。
当前编码单元的运动信息(运动矢量、参考图片索引、帧间预测模式方向(单预测和/或双预测信息等)可以从邻近块的运动信息中导出，而不需被编码。可以将邻近块中的至少一个或更多个的运动信息设置为当前编码单元的运动信息，这被称为合并模式。
在当前被编码/被解码的编码单元被划分成不具有正方形和/或矩形形状的至少一个或更多个预测单元之后，可以执行编码/解码。例如，当前编码单元可以被划分成两个三角形，可以被划分成1个三角形和1个五边形，或者可以被划分成两个四边形。
具体地，可以通过使用垂直线、水平线或具有预定角度的线(例如，对角线等)中的至少一条或更多条线将编码单元划分成至少两个或更多个预测单元。在这种情况下，关于划分编码单元的线的起始点和终止点、线的数目、线角度、线方向、划分的预测单元的数目或具有任意形状的预测块的形状中的至少一个或更多个的信息可以在比特流中用信号发送。替选地，根据帧内预测模式、帧间预测模式、编码单元的可用合并候选的位置等，可以在解码装置中隐式地导出关于划分编码单元的线的起始点和终止点、线的数目、线角度、线方向、划分的预测单元的数目或具有任意形状的预测块的形状中的至少一个的信息。编码单元可以被划分成具有与正方形和/或矩形预测单元不同的形状的至少两个或更多个预测单元，并且可以以划分的预测单元为单位执行帧内预测和/或帧间预测。
图10示出了通过使用对角线将编码单元划分成两个预测单元的示例。当通过使用对角线将编码单元划分成两个预测单元时，这可以被定义为对称对角线划分。在图10中，示出了编码单元被划分成具有相同大小的两个三角形预测单元。
参照图10，可以分别将左图片定义为左三角形划分并且可以将右图片定义为右三角形划分。换言之，左三角形划分可以是指其中通过使用连接当前块的左上角和右下角的对角线执行划分的方法，并且右三角形划分可以是指其中通过使用连接当前块的右上角和左下角的对角线执行划分的方法。编码单元的左上或左下样本所属的预测单元可以被定义为左三角形预测单元，编码单元的右上或右下样本所属的预测单元可以被定义为右三角形预测单元，并且可以将右三角形预测单元或左三角形预测单元共同定义为三角形预测单元。
对于对角线划分，可以在比特流中用信号发送表示对角线划分的方向的信息。例如，可以用信号发送三角形划分类型标志(triangle_partition_type_flag)、表示是使用左三角形划分还是使用右三角形划分的语法。当triangle_partition_type_flag的值为0时，它表示左三角形划分，并且当triangle_partition_type_flag的值为1时，它表示右三角形划分。相反地，当triangle_partition_type_flag的值为0时，它可以表示右三角形划分，并且当triangle_partition_type_flag的值为1时，它可以表示左三角形划分。
可以以序列、图片、切片、图块、CTU行、CTU或CU中的至少一个或更多个为单位用信号发送表示对角线划分的方向的信息。在这种情况下，在用信号发送信息的层级中包括的编码单元之中的应用了对角线划分的编码单元可以具有相同的划分形状。
在另一示例中，可以基于与编码单元邻近的邻近编码单元的三角形划分类型来确定编码单元的三角形划分类型。在示例中，编码单元的三角形划分类型可以被确定为与邻近编码单元的三角形划分类型相同。在这种情况下，邻近编码单元可以被定义为与当前编码单元的对角线方向相邻的邻近块、与当前编码单元的顶部或左侧相邻的邻近块、或共位块和共位块的邻近块中的至少一个或更多个块。
虽然可以针对应用CTU中的第一三角形划分的编码单元用信号发送表示对角线划分方向的信息，但是可以对应用三角形划分的第二编码单元和后续编码单元应用与第一编码单元相同的对角线划分方向。
当VPDU的大小被定义为N×N并且在编码单元(CU)的宽度或高度中的至少任何一个大于N的编码单元中使用三角形预测单元时，编码/解码速度可能由于VPDU的冗余访问而减慢。在这种情况下，N为正整数并且可以表示为作为2的倍数的正整数，并且在示例中，N可以被设置为64。因此，当编码单元的宽度和/或高度中的至少一个或更多个大于N(例如，当宽度或高度中的至少任何一个为128时)，可能存在不使用三角形预测单元的限制。在示例中，如图11中那样，可能存在如下限制：在128×N形状的编码单元或M×128形状的编码单元中不使用三角形预测单元。在这种情况下，M可以表示为正整数，其表示小于N的值或与N相同的值。
替选地，当编码块的宽度和/或高度中的至少一个或更多个的值大于任意设置的阈值或与任意设置的阈值相同时，可以不允许对角线划分。在这种情况下，阈值可以是编码器/解码器中的预定义值，或者可以在比特流中用信号发送关于阈值的信息。
替选地，可以根据合并估计区域的大小和编码块的大小来确定是否允许对角线划分。例如，当编码块大于合并估计区域时，可以限制使用三角形预测单元进行的编码/解码。
替选地，可以根据包括在编码单元中的样本的数目来确定是否允许对角线划分。例如，当包括在编码单元中的样本数目小于或等于以及/或者大于或等于任意设置的数目时，可以限制使用三角形预测单元进行的编码/解码。
根据编码单元的形状，可以确定是否允许对角线划分。具体地，当编码单元的高度比率大于编码单元的宽度比率或者仅当编码单元形状比率(whRatio)满足任意设置的范围时，可以允许和/或限制使用对角线预测单元编码方法。在这种情况下，编码单元形状比率可以如以下公式(1)中那样被定义(编码单元的宽度(cbWSize)：编码单元的高度(cbHSize)的比率)，并且可以通过交换公式1中的分母值和分子值来定义。
[公式1]
whRatio＝cbWSize/cbHSize
当whRatio满足任意设置的值和/或范围时，可以允许或限制对角线预测单元编码方法。具体地，例如，当whRatio的值被设置为16时，可能存在如下限制：在64×4大小或4×64大小的编码单元中不使用对角线预测单元编码。
是否允许对角线划分可以根据编码单元的父节点、叶节点的划分方法来确定。例如，虽然当父节点通过QT进行划分时，在编码单元、叶节点中允许对角线划分，但是可能存在如下限制：当父节点通过BT/TT进行划分时，在较低的叶节点中不使用三角形预测单元。
替选地，可能存在如下限制：三角形预测单元仅用于正方形编码单元中，并且三角形预测单元不用于非正方形编码单元中。
替选地，可以以编码树单元、图块、图块集(图块组)、切片、图片或序列中的至少一个或更多个为单位用信号发送表示是否允许对角线划分的信息。
替选地，仅当编码单元通过帧内预测来编码时，当编码单元通过帧间预测来编码时或者当编码单元通过特定帧间预测模式(例如，合并模式、AMVP模式、ATMVP模式或仿射模式中的任何一种)来编码时，可以允许或限制对角线划分。
对于上述对角线划分，可以使用表示当前块是否基于对角线划分进行划分的标志。例如，当标志是第一值时，可以对当前块应用对角线划分，并且否则，可以不应用对角线划分。
该标志可以在编码装置中被编码并且用信号发送，或者可以在解码装置中基于预定编码参数来导出。在这种情况下，编码参数可以包括切片类型、帧间模式的类型、块大小/形状、块的宽度和高度的比率等。
例如，仅在当前块所属的切片类型是B切片时，才可以将该标志设置为第一值。替选地，仅在当前块所属的切片类型不是I切片时，才可以将该标志设置为第一值。
替选地，仅在当前块的帧间预测编码模式是合并模式、跳过模式、AMVP模式或仿射模式中的至少一个时，才可以将该标志设置为第一值。
替选地，仅在当前块的宽度或高度中的至少一个大于预定阈值大小或与预定阈值大小相同时，才可以将标志设置为第一值。在这种情况下，阈值大小可以是4、8、16或更大。替选地，仅当属于当前块(W*H)的样本的数目大于预定阈值数目或与预定阈值数目相同时，才可以将标志设置为第一值。在这种情况下，阈值数目可以是32、64或更大。替选地，仅在当前块的宽度与高度的比率小于预定阈值时，才可以将标志设置为第一值。在这种情况下，阈值可以是4、8或更大。
当通过对角线划分对当前编码单元的邻近块进行编码时，可以根据空间合并候选的位置来使用左三角形预测单元或右三角形预测单元中的任一个的运动矢量作为合并候选。
在示例中，如图12中所示，与编码单元相邻的三角形预测单元的运动矢量可以用作合并候选。当在图12的左图片中选择A1作为合并候选时，可以将与当前编码单元相邻的右三角形预测单元P2的运动矢量用作合并候选，并且当在图12的左图片中选择B1作为合并候选时，可以将与当前编码单元相邻的左三角形预测单元P1的运动矢量用作合并候选。在另一示例中，当在图12的右图片中选择A1作为合并候选时，可以将与当前编码单元相邻的右三角形预测单元P2的运动矢量用作合并候选，并且当在图12的右图片中选择B1作为合并候选时，可以将与当前编码单元相邻的右三角形预测单元P2的运动矢量用作合并候选。
当通过对角线划分对当前编码单元的邻近块或共位块进行编码时，合并候选可以被设置为不可用。
当通过三角形预测单元(下文中被称为邻近三角形预测单元)对邻近编码单元进行编码时，邻近三角形预测单元的对角线划分方向和运动信息(运动矢量和参考图片索引等)可以用作当前编码单元的对角线划分方向和运动信息，这被定义为三角形合并编码方法。
例如，当如图13所示的那样包括A1的编码单元(在下文中，A1编码单元)被配置有三角形预测单元时，可以在A1编码单元中执行三角形合并编码。可以分别将A1编码单元的对角线划分方向(左三角形划分)、左三角形预测单元的运动信息(A1_MVP1等)和右三角形预测单元的运动信息(A1_MVP2等)设置为当前编码单元的对角线划分方向、左三角形预测单元的运动信息和右三角形预测单元的运动信息。
在另一示例中，当如图14所示的那样包括B1的编码单元(在下文中，B1编码单元)被配置有三角形预测单元时，可以在B1编码单元中执行三角形合并编码。可以分别将B1编码单元的对角线划分方向(右三角形划分)、左三角形预测单元的运动信息(B1_MVP1等)和右三角形预测单元的运动信息(B1_MVP2等)设置为当前编码单元的对角线划分方向、左三角形预测单元的运动信息和右三角形预测单元的运动信息。
左三角形预测单元和右三角形预测单元可以分别具有单独的运动信息。运动信息可以包括运动矢量、参考图片索引、预测方向标志或加权的预测信息中的至少一个。每个预测单元的运动信息可以从预定的合并候选列表中导出。合并候选列表可以包括空间合并候选或时间合并候选中的至少一个。
参照图15，空间合并候选可以包括当前编码单元的左块(0)、左下块(3)、上块(1)、右上块(2)或左上块(4)中的至少一个。
此外，参照图16，用于合并模式的邻近块可以是与当前编码单元相邻的诸如索引0至4的块(接触当前编码单元的边界的块)或者可以被定义为包括在作为被预编码/解码的块的当前图片、切片、图块组或图块中的至少一个中的重构块。在示例中，如图16的索引5至26，它可以是与当前编码单元不相邻的块。合并候选列表可以存储与在合并候选列表中任意定义的最大数目一样多的从至少一个或更多个邻近块导出的运动信息。
时间合并候选可以包括属于共位图片的一个或更多个共位块。在这种情况下，共位图片是属于参考图片列表的多个参考图片中的任何一个。共位图片可以是参考图片列表中位于第一个的图片或者可以是位于最后一个的图片。替选地，可以基于被编码以指示共位图片的索引来指定共位图片。共位块可以包括以下中的至少一个：包括当前块的中心位置的块(7)；或包括当前块的右下角位置的块(6)。
编码/解码装置可以包括缓冲器，该缓冲器存储在当前块之前被编码/解码的块的运动信息。缓冲器可以根据块的编码/解码顺序来顺序地存储运动信息并且可以通过考虑缓冲器的大小以FIFO(先进先出)方法进行更新。上述合并候选列表可以额外地包括存储在上述缓冲器中作为合并候选的运动信息，这将通过参照图21至图27来描述。
可以任意设置当前预测块所允许的三角形合并候选的数目的最大值。为此，可以对用于指定三角形合并候选的最大数目的数目信息进行编码并用信号发送。解码装置可以将用信号发送的数目信息设置为三角形合并候选的最大数目(MaxNumTriangleMergeCand)。替选地，解码装置可以将从属于合并候选列表的合并候选的最大数目(MaxNumMergeCand)减去数目信息的值设置为三角形合并候选的最大数目。可以在序列、图片、切片、图块、CTU行或CTU中的至少一个的层级中用信号发送数目信息。换言之，三角形合并候选的最大数目(MaxNumTriangleMergeCand)可以与合并候选的最大数目(MaxNumMergeCand)分开定义。
三角形预测单元可以使用不同的合并候选列表。在示例中，可以通过使用左三角形预测单元的合并候选之中的除了由左三角形预测单元的合并候选索引指示的合并候选以外的剩余合并候选来配置右三角形预测单元的合并候选列表。可以不同地设置左三角形预测单元和右三角形预测单元的三角形合并候选的最大值。在示例中，虽然左三角形预测单元具有M个三角形合并候选，但右三角形预测单元可以具有除由左三角形预测单元的合并候选索引指示的合并候选以外的M-1个三角形合并候选。
在另一示例中，三角形预测单元可以共享一个合并候选列表。
空间/时间合并候选可以以预定义的顺序添加至合并候选列表。在示例中，可以将图15中的合并候选按照0-->1-->2-->3-->7-->4-->6的顺序添加至合并候选列表。替选地，可以将合并候选按照1-->0-->2-->3-->7-->4-->6的顺序添加至合并候选列表。替选地，可以将合并候选按照1-->0-->2-->3-->4-->6-->7的顺序添加至合并候选列表。然而，空间合并候选的最大数目可能被限制为4，并且在这种情况下，仅当剩余块(0至3)不可用时，才可以添加左上块(4)。时间合并候选的最大数目可以被限制为1，并且在这种情况下，仅当包括当前块的右下角位置的块(6)不可用时，才可以添加包括当前块的中心位置的块(7)。相反地，仅当包括当前块的中心位置的块(7)不可用时，才可以添加包括当前块的右下角位置的块(6)。
可以基于合并候选索引(merge_triangle_idx)来选择属于合并候选列表的多个合并候选中的任何一个。
合并候选索引(merge_triangle_idx)可以将左三角形预测单元和右三角形预测单元的合并候选表示为一对，如表1中那样。例如，当merge_triangle_idx为0时，左三角形预测单元可以从合并候选索引为1的合并候选中导出运动信息并且右三角形预测单元可以从合并候选索引为0的合并候选中导出运动信息。
[表1]
merge_triangle_idx[xCb][yCb] 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
左三角形预测单元 1 0 0 0 2 0 0 1 3 4 0 1 1 0 0 1 1 1 1 2
右三角形预测单元 0 1 2 1 0 3 4 0 0 0 2 2 2 4 3 3 4 4 3 1
merge_triangle_idx[xCb][yCb] 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
左三角形预测单元 2 2 4 3 3 3 4 3 2 4 4 2 4 3 4 3 2 2 4 3
右三角形预测单元 0 1 3 0 2 4 0 1 3 1 1 3 2 2 3 1 4 4 2 4
在另一示例中，可以仅用信号发送左三角形预测单元或右三角形预测单元的合并候选索引，并且可以从用信号发送的合并候选索引导出剩余预测单元的合并候选索引。
在示例中，可以仅用信号发送左三角形预测单元的合并候选索引，并且可以导出与左三角形预测单元的合并候选索引邻近的合并候选索引作为右三角形预测单元的合并候选索引。
具体地，例如，当左三角形预测单元的合并候选索引为N时，右三角形预测单元的合并候选索引可以被导出为(N+1)。可以仅对左三角形预测单元的合并候选索引进行编码，并且可以通过使用左三角形预测单元的合并候选索引来导出右三角形预测单元的合并候选索引，而无需进行编码。
当左三角形预测单元的合并候选索引N是分配给合并候选列表的索引之中的最大值时，右三角形预测单元的合并候选索引可以被导出为(N-1)或0。
替选地，右三角形预测单元的运动信息可以从与由左三角形预测单元的合并候选索引指示的合并候选具有相同的参考图片的合并候选中导出。在这种情况下，相同的参考图片可以表示L0参考图片或L1参考图片中的至少一个相同的合并候选。当存在具有相同参考图片的多个合并候选时，可以基于是否执行双向预测或者与由左三角形预测单元的合并候选索引指示的合并候选的索引差值来选择任何一个合并候选。
可以针对左三角形预测单元和右三角形预测单元中的每一个用信号发送合并候选索引。在示例中，可以针对左三角形预测单元用信号发送第一合并候选索引，并且可以针对右三角形预测单元用信号发送第二合并候选索引。可以从由第一合并候选索引指定的合并候选导出左三角形预测单元的运动信息，并且可以从由第二合并候选索引指定的合并候选导出右三角形预测单元的运动信息。
在这种情况下，由左三角形预测单元的第一合并候选索引指示的合并候选可以被设置为不可用作为右三角形预测单元的合并候选。因此，第二合并候选索引可以指示除由第一合并候选索引指示的合并候选以外的剩余合并候选中的任何一个。在示例中，当第二合并候选索引的值小于第一合并候选索引的值时，可以从包括在合并候选列表中的合并候选之中的与第二合并候选索引具有相同索引的合并候选导出右三角形预测单元的运动信息。另一方面，当第二合并候选索引的值大于第一合并候选索引的值或与第一合并候选索引的值相同时，可以从包括在合并候选列表中的合并候选之中的具有比第二合并候选索引大1的索引的合并候选导出右三角形预测单元的运动信息。换言之，第二合并候选索引可以被重置为将用信号发送的第二合并候选索引加1的值。
然而，可以通过考虑上述三角形合并候选的最大数目(MaxNumTriangleMergeCand)来选择性地用信号发送合并候选索引。例如，仅当MaxNumTriangleMergeCand大于1时才可以用信号发送第一合并候选索引，并且仅当MaxNumTriangleMergeCand大于2时才可以用信号发送第二合并候选索引。当MaxNumTriangleMergeCand不大于1时，可以将第一合并候选索引设置为0。同样，当MaxNumTriangleMergeCand不大于2时，可以将第二合并候选索引导出为0。
对于对角线划分，可能存在如下限制：每个预测单元仅执行单向预测来减少存储器带宽，并且在下文中，将详细描述限制方法。
可能存在如下限制：对应的预测单元通过考虑每个预测单元的合并候选索引仅执行单向预测(实施方式1)。
例如，当第一预测单元的第一合并候选索引(mergeIdx1)为0或偶数(例如，2、4、6)时，可以通过仅使用与mergeIdx1对应的合并候选的L0方向的运动信息来导出第一预测单元的运动信息。然而，与mergeIdx1对应的合并候选可能不具有L0方向的运动信息。在这种情况下，可以通过使用对应的合并候选的L1方向的运动信息来导出第一预测单元的运动信息。
另一方面，当第一预测单元的第一合并候选索引(mergeIdx1)是奇数(例如，1、3、5)时，可以通过仅使用与mergeIdx1对应的合并候选的L1方向的运动信息来导出第一预测单元的运动信息。然而，与mergeIdx1对应的合并候选可能不具有L1方向的运动信息。在这种情况下，可以通过使用对应的合并候选的L0方向的运动信息来导出第一预测单元的运动信息。
相反地，当第一预测单元的第一合并候选索引(mergeIdx1)为0或偶数(例如，2、4、6)时，可以通过仅使用与mergeIdx1对应的合并候选的L1方向的运动信息来导出第一预测单元的运动信息，并且否则，可以通过仅使用与mergeIdx1对应的合并候选的L0方向的运动信息来导出第一预测单元的运动信息。
上述实施方式也可以同样地应用于第二预测单元，并且在这种情况下，第二预测单元的第二合并候选索引可以是指用信号发送的第二合并候选索引或者可以是指重置的第二合并候选索引。
替选地，可能存在如下限制：对应的预测单元根据当前编码单元中的预测单元的位置仅执行单向预测(实施方式2)。
例如，第一预测单元可以仅参考由第一合并候选索引(mergeIdx1)指定的合并候选的L0方向的运动信息，并且第二预测单元可以仅参考由第二合并候选索引(mergeIdx2)指定的合并候选的L1方向的运动信息。然而，当由mergeIdx1指定的合并候选不具有L0方向的运动信息(即，对于L1预测)时，可以参考对应的合并候选的L1方向的运动信息。同样地，当由mergeIdx2指定的合并候选不具有L1方向的运动信息(即，对于L0预测)时，可以参考对应的合并候选的L0方向的运动信息。
可以基于上述实施方式1或2中的任何一个来强制单向预测。替选地，可以基于上述实施方式1和2的组合来强制单向预测。可以不同地设置可以由左三角形预测单元和右三角形预测单元使用的合并候选的范围。在示例中，虽然左预测单元的运动信息是从与左预测单元相邻的合并候选中的至少一个导出的，但右预测单元的运动信息可以从与右预测单元相邻的合并候选中的至少一个导出。
替选地，与编码单元的左侧相邻的合并候选可以被设置为对于右三角形预测单元不可用。另一方面，与编码单元的顶部相邻的合并候选可以被设置为对于左三角形预测单元不可用。
具体地，例如，如图17中所示，可以将与左三角形预测单元相邻的A1、A0、B2设置为左三角形预测单元的合并候选，并且将与右三角形预测单元相邻的B0、B1、B2设置为右三角形预测单元的合并候选。
可以基于预测单元的位置和三角形划分类型(即，划分方向)来确定可以由每个预测单元使用的合并候选的范围或可用性。
可以通过仅在左三角形预测单元或右三角形预测单元中的任何一个预测单元中使用合并模式来导出运动矢量(在下文中，第一三角形预测单元运动矢量)和参考图片索引(在下文中，第一三角形预测单元参考图片索引)，可以通过在另一预测单元中细化第一三角形预测单元运动矢量来导出运动矢量，并且可以将参考图片索引设置为与第一三角形预测单元参考图片索引相同。在示例中，左三角形预测单元可以通过使用合并模式来导出运动矢量和参考图片索引，可以通过细化左三角形预测单元的运动矢量{(mvD1L0x,mvD1L0Y),(mvD1L1x,mvD1L1Y)}来导出右三角形预测单元的运动矢量，并且可以将右三角形预测单元的参考图片索引设置为与左三角形预测单元的参考图片索引相同。可以在右三角形预测单元中用信号发送细化的运动矢量。
当对左三角形预测单元的运动矢量进行细化时，可以从左三角形预测单元的运动矢量导出特定范围内的值。该特定范围内的值可以被设置为具有(-Nx+mvD1LXx)与(Nx+mvD1LXx)之间的值或(-Ny+mvD1Lxy)与(Ny+mvD1Lxy)之间的值。在这种情况下，X表示0或1。
可以基于三角形预测单元的位置或三角形预测划分类型(即，对角线划分方向)中的至少一个来导出细化的运动矢量(Nx或Ny)的符号。
可以仅在左三角形预测单元或右三角形预测单元中的任何一个预测单元中用信号发送运动信息(运动矢量和参考图片索引)，并且可以通过在另一预测单元中使用合并模式来导出运动信息。在示例中，可以用信号发送左三角形预测单元的运动矢量和参考图片索引，并且可以通过在右三角形预测单元中使用合并模式来导出运动信息。在这种情况下，可以在解码器中解析右三角形预测单元的合并索引或三角形合并索引，并且可以从由合并索引或三角形合并索引指定的邻近块中导出运动矢量和参考图片索引。
可以仅在左三角形预测单元或右三角形预测单元中的任何一个预测单元中用信号发送运动矢量(在下文中，第二三角形预测单元运动矢量)和参考图片索引(在下文中，第二三角形预测单元参考图片索引)，并且可以通过细化第二三角形预测单元运动矢量来导出另一预测单元的运动矢量。在示例中，可以在左三角形预测单元中用信号发送运动矢量和参考图片索引，并且可以在右三角形预测单元中用信号发送细化的运动矢量。可以通过将右三角形预测单元的细化的运动矢量与左三角形预测单元的运动矢量相加来导出右三角形预测单元的运动矢量。
可以根据如表2所示的三角形合并候选索引来导出将使用左三角形划分还是使用右三角形划分，而无需用信号发送三角形划分类型标志。在示例中，当三角形合并候选索引(merge_triangle_idx)的值为2时，可以设置为使用右三角形划分，并且当三角形合并候选索引为3时，可以设置为使用左三角形划分。
[表2]
merge_triangle_idx[xCb][yCb] 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19
TriangleDir 0 1 1 0 0 1 1 1 0 0 0 0 1 0 0 0 0 1 1 1
merge_triangle_idx[xCb][yCb] 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39
TriangleDir 1 0 0 1 1 1 1 1 1 1 0 0 1 0 1 0 0 1 0 0
编码单元可以被划分成具有不同大小的两个或更多个预测单元。例如，划分编码单元的线的起始点可以被定位在编码单元的左上角处或者可以被定位在编码单元的上边界、左边界或下边界中的至少一个上。线的终止点可以被定位在编码单元的右下角处，或者可以被定位在编码单元的上边界、右边界或下边界中的至少一个上。
例如，如图18所示，划分线可以用于划分以穿过编码单元边界的中心(在下文中，对角线中心样本)和编码单元的4个角中的任何一个(在下文中，对角线角样本)，这被称为非对称对角线划分，并且通过非对称对角线划分生成的预测单元可以被定义为非对称三角形预测单元。然而，图18仅是示例，并且其不限于划分线穿过编码单元边界的中心的情况。例如，当编码单元边界的中心被定义为1/2位置时，划分线可以穿过编码单元边界的1/3位置、2/3位置、1/4位置、3/4位置等。
编码/解码装置可以基于多个预定义的非对称对角线划分类型来划分当前编码单元(实施方式1)。
编码/解码装置可以与对角线划分分开地定义非对称对角线划分类型。可以通过上述起始点和终止点的各种组合来确定非对称对角线划分的类型。在这种情况下，在非对称对角线划分中不包括对角线划分。编码装置可以对指示当前编码单元的非对称对角线划分类型的索引进行编码。解码装置可以确定与用信号发送的索引对应的非对称对角线划分类型并且根据确定的划分类型来划分当前编码单元。然而，可以将非对称对角线划分设置为仅在不应用对角线划分时应用。
编码/解码装置可以基于多个预定义的划分类型来划分当前编码单元(实施方式2)。
在这种情况下，多个划分类型可以包括对角线划分和非对称对角线划分两者。可以通过上述起始点和终止点的各种组合来确定非对称对角线划分的类型。编码装置可以对指示当前编码单元的划分类型的索引进行编码。解码装置可以确定与用信号发送的索引对应的划分类型并且根据确定的划分类型来划分当前编码单元。
编码/解码装置可以基于关于划分线的信息来划分当前编码单元(实施方式3)。
在这种情况下，关于划分线的信息可以包括关于划分线的起始点、终止点、角度或方向中的至少一个的信息。起始点与上述相同，并且将省略详细的描述。然而，可能存在起始点仅被定位在编码单元的左上角或左下角处的限制。相比之下，终止点可以被定位在编码单元的上边界、右边界或下边界上，或者可以被定位在编码单元的右上角或右下角处。相反地，可能存在终止点仅被定位在编码单元的右上角或右下角处的限制，而起始点可以被定位在编码单元的上边界、左边界或下边界上或者可以被定位在编码单元的左上角或左下角处。
划分线的角度信息可以被定义为宽度与高度的比率。例如，假设具有划分线的直角(right-angled)三角形为四边形。在这种情况下，底边(宽度)与相对边(高度)的比率可以是1:2k或2k:1。在这种情况下，k可以是0、1、2、3、4或更大。但是，为了编码效率，k可以被限制为{0,2}、{0,3}、{1,2}、{1,3}、{2,3}、{0,1,2}、{0,1,3}、{0,2,3}、{1,2,3}或{1,2,4}等。
划分线的方向信息可以指示划分线从左上方向定位到右下方向还是从左下方向定位到右上方向。替选地，方向信息也可以指示由角度信息指定的划分线是否反转。在这种情况下，反转可能意味着上下反转和/或左右反转。替选地，方向信息可以包括关于由角度信息指定的划分线是否旋转、旋转角度或旋转方向中的至少一个的信息。旋转角度可以指示预定义角度中的任何一个，并且预定义角度可以包括-180度、-90度、90度或180度中的至少一个。旋转方向可以指示它是顺时针还是逆时针。
可以选择性地使用上述实施方式1至3中的任一个，并且可以基于实施方式1和实施方式2的组合或者实施方式1和实施方式3的组合来执行划分。
可以用信号发送表示是否将通过使用对称划分生成三角形预测单元的标志isSymTriangle_flag。当isSymTriangle_flag的值为1时，可以通过使用对称划分生成三角形预测单元，并且当isSymTriangle_flag的值为0时，可以通过使用非对称划分生成三角形预测单元。
Asym_traingle_index表示用于指定非对称三角形预测单元的索引，如图18中那样。可以通过使用如下面的表3中的语法表来生成三角形预测单元。
[表3]
如在图19中那样，可以使用表示对角线中心样本是否被定位在编码单元的上边界、下边界、右边界或左边界上的标志triangle_partition_type_flag。
当triangle_partition_type_flag的值为0时，这表示对角线中心样本被定位在编码单元的上边界上，并且当triangle_partition_type_flag的值为1时，这表示对角线中心样本被定位在编码单元的下边界上。当triangle_partition_type_flag的值为2时，这表示对角线中心样本被定位在编码单元的右边界上，并且当triangle_partition_type_flag的值为3时，这表示对角线中心样本被定位在编码单元的左边界上。
可以用信号发送表示左三角形预测单元的宽度是否大于右三角形预测单元的宽度的标志left_diag_flag。当left_diag_flag的值为0时，这表示左三角形预测单元的宽度小于右三角形预测单元的宽度，并且当left_diag_flag的值为1时，这表示左三角形预测单元的宽度大于右三角形预测单元的宽度。可以通过使用triangle_partition_type_flag和left_diag_flag来导出三角形预测单元的划分，并且可以通过如下面的表4中的语法表来生成三角形预测单元。
[表4]
即使对于上述非对称对角线划分，也可以以与对角线划分相同的方法来导出运动信息，并且将省略详细的描述。
在左三角形预测单元和右三角形预测单元中可以使用不同的预测方法，这被称为多三角形预测单元编码方法。在示例中，可以通过在左三角形预测单元中使用合并候选并在右三角形预测单元中使用帧内预测来生成预测图像。相反地，可以通过在左三角形预测单元中使用帧内预测并通过在右三角形预测单元中使用合并候选来生成预测图像。在多三角形预测单元编码方法中使用的帧内预测模式可以被限制于MPM模式。换言之，可能存在如下限制：从邻近块导出的仅N个MPM模式可以用作多三角形预测单元编码方法的帧内预测模式。
替选地，可能存在如下限制：仅第一MPM候选可以用作多三角形预测单元方法的帧内预测模式。
当导出MPM候选时，邻近帧内模式可以被设置为对于在邻近编码单元是多三角形预测单元方法时使用帧内模式的编码单元可用(在下文中，帧内三角形预测单元)，并且邻近帧内模式可以被设置为对于在邻近编码单元不是多三角形预测单元方法时使用帧内模式的编码单元不可用(在下文中，标准帧内模式)。
在另一示例中，左三角形预测单元和右三角形预测单元两者都可以使用帧内预测模式。在这种情况下，可以不同地设置左三角形预测单元(在下文中，第一帧内三角形预测单元)和右三角形预测单元(在下文中，第二帧内三角形预测单元)的帧内预测模式。
在三角形预测单元中，可以通过加权预测来使用不同的预测方法。例如，可以针对帧间预测和帧内预测执行加权预测。
如公式2中那样，可以通过在左三角形预测单元中使用加权预测参数w0来执行加权预测，并且可以通过在右三角形预测单元中使用加权预测参数w1来执行加权预测。在这种情况下，可以将w1设置为小于w0的值。
[公式2]
P0＝w0*PIntra(x，y)+(1-w0)*PInter(x，y)
P1＝w1*PIntra(x，y)+(1-w1)*PInter(x，y)
每个预测单元可以通过使用导出的运动信息分别执行运动补偿。然而，在左三角形预测单元和右三角形预测单元的边界(在下文中，对角线边界区域)周围可能产生质量劣化，或者在边缘周围可能使图像质量的连续性变差。可以通过在对角线边界区域中执行与平滑滤波或加权预测相同的处理来减少质量劣化。
如图20所示，可以对左三角形预测单元和右三角形预测单元的边界执行加权预测。可以通过对左三角形预测单元和右三角形预测单元执行加权预测来生成对角线边界区域中的预测样本P_Diag(x，y)。
[公式3]
P_Diag(x,y)＝w1*P1(x,y)+(1-w1)*P2(x,y)
在公式3中，P1可以是指根据左三角形预测单元的运动补偿的预测值，而P2可以是指根据右三角形预测单元的运动补偿的预测值。
可以为属于左三角形预测单元的对角线边界区域中的左三角形预测设置大的权重，并且可以为属于右三角形预测单元的对角线边界区域中的右三角形预测设置大的权重。
可以基于编码单元的大小、三角形预测单元的运动矢量差值、参考图片的POC、三角形预测单元边界上的预测样本的差值来确定应用加权预测的对角线边界区域的大小。
图21至图27示出了作为应用本公开内容的实施方式的使用区域间的运动信息的合并模式。
与合并候选列表分开地，在当前图片中的当前块之前通过帧间预测而编码/解码的块的运动信息(运动矢量、参考图片索引、预测方向(单预测和/或双预测信息)等)可以存储在预定义大小的列表(缓冲器)中，该列表可以被定义为区域间运动信息列表。关于列表的大小，该列表可以存储T个运动信息，并且在这种情况下，T可以为4、5、6或更大。
区域间运动信息列表中的运动信息可以被定义为区域间运动候选，并且区域间运动候选可以被包括在合并候选列表中。
因此，区域间运动候选可以被用作当前编码单元的合并候选，且针对其，区域间运动候选中的至少一个可以添加至当前编码单元的合并候选列表。这样的方法可以被定义为区域间合并方法。
可以以图片、切片、图块、CTU行或CTU中的任何一个为单位初始化区域间运动信息列表。初始化可以是指列表为空的状态。来自被编码和/或解码的图片的一些区域的运动信息可以被添加到区域间运动信息列表。可以通过切片报头和/或图块组报头用信号发送区域间运动信息列表的初始区域间合并候选。
当通过帧间预测对当前被编码的编码单元进行编码/解码时，可以如图21中那样在区域间运动信息列表中更新编码单元的运动信息。当区域间运动信息列表中的区域间合并候选的数目与任意设置的最大值相同时，可以移除在区域间运动信息列表中其索引具有最小值的运动信息(首先被添加到区域间运动信息列表的运动信息)，并且可以将最近被编码/解码的区域间的运动信息添加到区域间运动信息列表。
当最近的运动信息与预先添加的运动信息相同时，可以不将最近的运动信息添加到列表。替选地，可以从列表中移除与最近运动信息相同的运动信息，并且可以添加最近运动信息。在这种情况下，最近运动信息可以被添加到列表的最后位置。
在示例中，被解码的编码单元的运动矢量mvCand可以在区域间运动信息列表HmvpCandList中被更新。在这种情况下，当被解码的编码单元的运动信息与区域间运动信息列表中的运动信息中的任何一个相同时(当运动矢量和参考索引两者都相同时)，区域间运动信息列表可以不被更新，或者被解码的编码单元的运动矢量mvCand可以被存储在区域间运动信息列表的最后，如图23所示。在这种情况下，当具有与mvCand相同的运动信息的HmvpCandList的索引为hIdx时，对于大于hIdx的每个i，HMVPCandList[i]可以被设置为HVMPCandList[i-1]，如图23所示。
在示例中，在区域间运动信息列表(HmvpCandList)中配置的mvCand和区域间运动候选具有相同运动信息的标准中，当mvCand的运动矢量、参考图像索引、预测方向(单预测和/或双预测)中的全部不同于HmvpCandList的区域间运动候选时，它可以被视为新的运动信息并且可以更新区域间运动信息列表。
在示例中，在区域间运动信息列表(HmvpCandList)中配置的mvCand和区域间运动候选具有相同运动信息的标准中，当mvCand的运动矢量、参考图像索引、预测方向(单预测和/或双预测)中的至少一个或更多个不同于HmvpCandList的区域间运动候选时，它可以被视为新的运动信息并且可以更新区域间运动信息列表。
在示例中，在执行配置在区域间运动信息列表(HmvpCandList)中的mvCand与区域间运动候选之间的冗余检查时，两个候选具有相同的参考图像索引和预测方向(单预测和/或双预测)并且具有不同的运动矢量的情况下，如果mvCand与对应的区域间运动候选之间的运动矢量差在预定义的某范围内，则可以认为具有相同的运动信息并且可以不更新区域间运动信息列表。更具体地，当mvCand与对应的区域间运动候选之间的运动矢量的差在1(1像素)内时，可以不更新列表。
在示例中，可以通过仅将最近更新的区域间运动候选与具有与mvCand相同的运动信息的HmvpCandList[hIdx]交换来更新区域间运动信息列表(HmvpCandList)。在这种情况下，当最近更新的运动候选的索引为n时，只要HmvpCandList[hIdx]在根据HmvpCandList[n]任意定义的索引的差(DiffIdx)内，具有与mvCand相同的运动信息的HmvpCandList[hIdx]就可以如以上那样交换。更具体地，当预定义的DiffInx为3时，可以在hIdx为n-1、n-2或n-3时通过交换来更新区域间运动信息列表。
在示例中，在HmvpCandList[n]中存储具有与mvCand相同的运动信息的HmvpCandList[hIdx]之后，最近更新的区域间运动候选HmvpCandList[hIdx]可以通过使用hIdx周围的运动信息而不是通过交换方法来导出。例如，当HmvpCandList[hIdx-1]和HmvpCandList[hIdx+1]为双向帧间预测模式时，可以通过HmvpCandList[hIdx-1]和HmvpCandList[hIdx+1]的平均值来导出运动信息。在这种情况下，当参考图像索引不同时，可以根据通过缩放任意定义的参考图像索引来缩放运动矢量。
在示例中，可以仅对区域间运动信息列表(HmvpCandList)中的任意一些执行关于是否具有与mvCand相同的运动信息的冗余检查。例如，可以执行最近包括在区域间运动信息列表(HmvpCandList)中的k个区域间运动候选中的全部或部分的运动信息与mvCand之间的冗余检查。
在示例中，对于是否具有与mvCand相同的运动信息的冗余检查，可以执行区域间运动信息列表(HmvpCandList)中的具有奇数索引和/或偶数索引的区域间运动候选的运动信息与mvCand之间的冗余检查。例如，当区域间运动信息列表的大小为6时，可以仅对具有第0个、第2个、第4个索引的区域间运动候选执行冗余检查，或者可以仅对具有第1个、第3个、第5个索引的区域间运动候选执行冗余检查。
在当前块通过帧间预测被编码成三角形预测单元时，对应的编码单元的运动信息可以具有至少一个或更多个运动信息。在这种情况下，可以选择至少一个或更多个运动信息中的任何一个并将其包括在区域间运动信息列表(HmvpCandList)中，以及/或者至少一个或更多个运动信息可以根据任意顺序完整地被包括，作为区域间运动信息列表的区域间运动候选。在这种情况下，可以基于编码/解码装置中预先约定的位置(即，左预测单元或右预测单元)来执行选择。替选地，通过组合第一预测单元的运动信息和第二预测单元的运动信息而生成的运动信息(例如，平均运动信息、双向运动信息等)可以被添加到列表。替选地，可能存在如下限制：由三角形预测单元编码的当前块的运动信息不被添加到列表。
在示例中，当通过根据图7中的左三角形划分和/或右三角形划分的对称对角线划分执行帧间预测划分时，两个划分的分区中的每个分区可以具有不同的运动信息，并且在这种情况下，在可以在左三角形划分和/或右三角形划分中导出的PU1和PU2的运动信息之中，根据邻近编码环境(邻近块的帧内和/或帧间划分信息、当前块的大小/深度/形状等)，仅一个运动信息可以被包括作为区域间运动信息列表的解码区域间合并候选。
在示例中，当通过根据图10中的左三角形划分和/或右三角形划分的对称对角线划分执行划分时，两个划分的分区中的每个分区可以具有不同的运动信息，并且在这种情况下，可以在左三角形划分和/或右三角形划分中导出的PU1和PU2的两个运动信息可以根据任意顺序被包括作为区域间运动信息列表的区域间运动候选。
更详细地，当通过根据左三角形划分的对称对角线划分来执行划分时，其可以被包括作为区域间运动信息列表的区域间运动候选并且可以按照PU1-->PU2的顺序进行更新。
更详细地，当通过根据左三角形划分的对称对角线划分来执行划分时，其可以被包括作为区域间运动信息列表的区域间运动候选并且可以按照PU2-->PU1的顺序进行更新。
更详细地，当通过根据右三角形划分的对称对角线划分执行划分时，其可以被包括作为区域间运动信息列表的区域间运动候选并且可以按照PU1-->PU2的顺序进行更新。
更详细地，当通过根据右三角形划分的对称对角线划分执行划分时，其可以被包括作为区域间运动信息列表的区域间运动候选并且可以按照PU2-->PU1的顺序进行更新。
当在当前解码的编码单元中使用子块合并候选时，编码单元中的代表性子块的运动信息可以被存储在区域间运动信息列表中。
在示例中，编码单元中的代表性子块可以被设置为编码单元中的左上子块或可以被设置为编码单元中的中间子块，如图22中所示。
可以如在以下处理中那样导出以子块为单位的合并候选。
1.初始移位矢量(shVector)可以从当前块的邻近合并候选块的运动矢量导出。在此情况下，邻近合并候选块可以是当前块的左块、上块、左下块、右上块或左上块中的任何一个。替选地，可以仅将当前块的左块或上块设置为以固定方式使用。
2.如在公式4中，左上样本的位置是(xColSb，yColSb)的移位子块可以通过将初始移位矢量添加到编码单元中的子块的左上样本(xSb，ySb)来导出。
[公式4]
(xColSb,yColSb)＝(xSb+shVector[0]>>4,ySb+shVector[1]>>4)
3.对应于包括(xColSb，yColSb)的子块的中心位置的并置块的运动矢量可以被导出为包括左上样本(xSb，ySb)的子块的运动矢量。
可以将总NumHmvp运动信息(运动矢量和参考图片索引)存储在区域间运动信息列表中，并且NumHmvp被称为区域间运动信息列表的大小。
区域间运动信息列表的大小可以使用预定义值。可以在序列、图片、子图片、切片报头和/或图块报头中用信号发送区域间运动信息列表的大小。在示例中，区域间运动信息列表的大小可以被定义为16或可以被定义为6。
当编码/解码的编码单元是帧间预测并且具有仿射运动矢量时，其可以不包括在区域间运动信息列表中。
替选地，当编码/解码的编码单元是帧间预测并且具有仿射运动矢量时，仿射子块矢量可以被添加到区域间运动信息列表。在此情况下，子块的位置可以被设置为左上子块和/或右上子块和/或中心子块等。
替选地，可以将每个控制点的运动矢量平均值添加到区域间运动候选列表。
当通过编码/解码特定编码单元导出的运动矢量MV0与区域间运动候选中的任何一个相同时，MV0可以不被添加到区域间运动信息列表。替选地，可以删除具有与MV0相同的运动矢量的现有区域间运动候选，并且可以将MV0新包括在区域间运动信息列表中以更新分配给MV0的索引。
除了区域间运动信息列表HmvpLTList之外，可以配置区域间运动信息长期列表。区域间运动信息长期列表大小可以被设置为与区域间运动信息列表的大小相同或不同的值。
区域间运动信息长期列表可以被配置有首先添加到图块组的开始位置的区域间合并候选。可以在用所有可用值配置区域间运动信息长期列表之后配置区域间运动信息列表，或者可以将区域间运动信息列表中的运动信息设置为区域间运动信息长期列表的运动信息。
在此情况下，可以将先前配置的区域间运动信息长期列表设置成不更新，或者设置成当图块组的解码区域大于整个图块组的一半时被重新更新，或者设置成每m个CTU行被更新。区域间运动信息列表可以被设置成每当其被解码为区域间时被更新，或者被设置成以CTU行为单位被更新。
运动信息和分区信息或编码单元的形状可以被存储在区域间运动信息列表中。可以通过仅使用其分区信息和形状与当前编码单元类似的区域间运动候选来执行区域间合并方法。
替选地，可以根据块形状单独地配置区域间运动信息列表。在此情况下，可以根据当前块的形状选择和使用多个区域间运动信息列表中的一个。
如图24中所示，其可以被配置有区域间仿射运动信息列表和区域间运动信息列表。当解码的编码单元是仿射帧间或仿射合并模式时，第一仿射种子矢量和第二仿射种子矢量可以被存储在区域间仿射运动信息列表HmvpAfCandList中。区域间仿射运动信息列表中的运动信息被称为区域间仿射运动候选。
可以在当前编码单元中使用的合并候选可以被如下配置，并且可以具有与配置顺序相同的搜索顺序。
1.空间合并候选(A1、B1、B0、A0)
2.时间合并候选(从先前参考图片导出的合并候选)
3.空间合并候选(B2)
4.区域间合并候选
5.区域间仿射合并候选
6.零运动合并候选
首先，合并候选列表mergeCandList可以被配置有空间合并候选和时间合并候选。可用空间合并候选和时间合并候选的数目被称为可用合并候选的数目(NumMergeCand)。当可用合并候选的数目小于合并的最大可允许数目时，区域间运动信息列表的运动候选可以被添加到合并候选列表mergeCandList作为区域间合并候选。
当将区域间运动信息列表HmvpCandList添加到合并候选列表mergeCandList时，可以检查区域间运动信息列表中的运动候选的运动信息是否与现有合并候选列表mergeCandList的运动信息相同。当运动信息相同时，区域间合并候选可以不被添加到合并列表mergeCandList，且当运动信息不相同时，区域间合并候选可以被添加到合并列表mergeCandList。
在示例中，当HmvpCandList的最近更新的运动信息(HmvpCandList[n])被添加到合并候选列表(mergeCandList)时，可以仅对mergeCandList中的任何L个候选执行冗余检查。在此情况下，L是大于0的正整数，并且例如，当L是2时，可以仅对mergeCandList的第一运动信息和第二运动信息执行冗余检查。
在示例中，HmvpCandList与mergeCandList之间的冗余检查可以仅针对mergeCandList的合并候选的一部分和HmvpCandList的运动候选的一部分来执行。在此情况下，mergeCandList的一部分可以包括空间合并候选的左块和上块。然而，其不限于此，并且其可以限于空间合并候选中的任何一个的块，或者可以另外包括左下块、右上块、左上块或时间合并候选中的至少一个。另一方面，HmvpCandList的一部分可以指最近添加到HmvpCandList的K个区域间运动候选。在此情况下，K可以是1、2、3或更大，并且可以是在编码/解码装置中预先约定的固定值。假设5个区域间运动候选被存储在HmvpCandList中，并且1至5的索引被分配给每个区域间运动候选。当索引较大时，其是指最近存储的区域间运动候选。在此情况下，可以执行具有索引5、4和3的区域间运动候选与mergeCandList的合并候选之间的冗余检查。替选地，可以执行具有索引5和4的区域间运动候选与mergeCandList的合并候选之间的冗余检查。替选地，排除最近添加的索引5的区域间运动候选，可以执行在mergeCandList的合并候选与具有索引4和3的区域间运动候选之间的冗余检查。作为冗余检查的结果，当存在至少一个相同的区域间运动候选时，HmvpCandList的运动候选可以不被添加到mergeCandList。另一方面，当不存在相同的区域间运动候选时，HmvpCandList的运动候选可以被添加到mergeCandList的最后位置。在此情况下，其可以按照最近存储在HmvpCandList中的运动候选的顺序(即，按照从大索引到小索引的顺序)被添加到mergeCandList。然而，可能存在这样的限制，即最近存储在HmvpCandList中的运动候选(具有最大索引的运动信息)不被添加到mergeCandList。
在区域间运动候选之中，最近被包括在区域间运动信息列表中的区域间运动候选可以被添加到合并候选列表mergeCandList，并且可以使用以下处理。
对于索引HMVPIdx＝1…numCheckedHMVPCand的HMVPCandList中的每个候选，重复以下排序的步骤，直到combStop等于真：
—sameMotion被设置成假；
—如果HMVPCandList[NumHmvp-HMVPIdx]具有与任何mergeCandList[i]相同的运动矢量和相同的参考索引，其中i为0…numOrigMergeCand-1，并且HasBeenPrund[i]等于假，则sameMotion被设置成真；
—如果sameMotion等于假，则mergeCandList[numCurrMergeCand++]被设置成HMVPCandList[NumHmvp-HMVPIdx]；
—如果numCurrMergeCand等于(MaxNumMergeCand-1)，则hmvpStop被设置成真；
当索引为i的区域间运动候选HmvpCandList[i]与索引为j的合并候选列表mergeCandList[j]的运动信息相同时，可以将mergeCandList[j]设置为在比较HmvpCandList[i-1]的运动信息是否相同时不进行比较，如图25中所示。
替选地，可以仅比较HmvpCandList中的区域间运动候选的运动信息是否与合并候选列表中的合并候选的运动信息相同。在示例中，可以如图26中那样比较合并候选列表中具有最大索引的N个合并候选的运动信息是否与区域间运动候选的运动信息相同。
当尽管将区域间运动信息列表添加到合并候选列表但其小于图块组中所允许的最大合并数目(在下文中，最大可允许合并数目)时，可以如图27中那样使用区域间运动信息长期列表并且可以使用以下处理。
对于索引HMVPLTIdx＝1…numHMVPLTCand的HMVPCandList中的每个候选，重复以下排序的步骤，直到combStop等于真：
—sameMotion被设置成假；
—如果hmvpStop等于假并且numCurrMergeCand小于(MaxNumMergeCand-1)，则hvmpLT被设置成真；
—如果HMVPLTCandList[NumLTHmvp-HMVPLTIdx]具有与任何mergeCandList[i]相同的运动矢量和相同的参考索引，其中i为0…numOrigMergeCand-1，并且HasBeenPrund[i]等于假，则将sameMotion设置成真；
—如果sameMotion等于假，则mergeCandList[numCurrMergeCand++]被设置成HMVPLTCandList[NumLTHmvp-HMVPLTIdx]；
—如果numCurrMergeCand等于(MaxNumMergeCand-1)，则hmvpLTStop被设置成真。
区域间运动候选可以用作当前编码单元的运动矢量预测符(MVP)，并且这样的方法被称为区域间运动信息预测方法。
区域间仿射运动候选可以用作当前编码单元的运动矢量预测符(MVP)，并且这样的方法被称为区域间运动信息仿射预测方法。
可以在当前编码单元中使用的运动矢量预测符候选可以被如下配置，并且可以具有与配置顺序相同的搜索顺序。
1.空间运动预测符候选(和与编码块相邻的合并候选以及与编码块不相邻的合并候选相同)
2.时间运动预测符候选(从先前参考图像导出的运动预测符候选)
3.区域间运动预测符候选
4.区域间仿射运动预测符候选
5.零运动运动预测符候选
图28至图30示出了作为应用本公开内容的实施方式的仿射帧间预测方法。
在视频中，出现了许多特定对象的运动不是线性出现的情况。例如，如图28所示，当仅平移运动矢量用于使用了仿射运动——诸如放大、缩小、旋转、使得任意形式的变换成为可能的仿射变换等——的图像中的对象的运动时，对象的运动可能不能被有效地表示，并且编码性能可能降低。
仿射运动可以如以下公式5中那样表示。
[公式5]
Vx＝ax-by+e
vy＝cx+dy+f
当通过使用总共6个参数来表示仿射运动时，对于具有复杂运动的图像是有效的，但是使用许多比特来编码仿射运动参数，因此可能降低编码效率。
因此，可以简化仿射运动并用4个参数表示仿射运动，这被称为4参数仿射运动模型。公式6表示具有4个参数的仿射运动。
[公式6]
vx＝ax-by+e
vy＝bx+ay+f
4参数仿射运动模型可以包括当前块的2个控制点处的运动矢量。控制点可以包括当前块的左上角、右上角或左下角中的至少一个。在示例中，4参数仿射运动模型可以由编码单元的左上样本(x0，y0)处的运动矢量sv0及编码单元的右上样本(x1，y1)处的运动矢量sv1确定，如图29的左侧那样，且sv0及sv1被称为仿射种子矢量。在下文中，假设在左上位置处的仿射种子矢量sv0是第一仿射种子矢量，并且在右上位置处的仿射种子矢量sv1是第二仿射种子矢量。也可以用左下位置处的仿射种子矢量代替第一种子矢量和第二种子矢量之一，并且在4参数仿射运动模型中使用它。
6参数仿射运动模型是将残余控制点(例如，左下位置处的样本(x2，y2))的运动矢量sv2添加到4参数仿射运动模型的仿射运动模型，如图29的右侧图中那样。在下文中，假设左上位置处的仿射种子矢量sv0是第一仿射种子矢量，右上位置处的仿射种子矢量sv1是第二仿射种子矢量，以及左下位置处的仿射种子矢量sv2是第三仿射种子矢量。
可以在比特流中编码关于用于表示仿射运动的参数的数目的信息。例如，表示是否使用6参数的标志和表示是否使用4参数的标志可以以图片、子图片、切片、图块组、图块、编码单元或CTU中的至少一个为单位来编码。因此，可以在预定单元中选择性地使用4参数仿射运动模型或6参数仿射运动模型中的任何一个。
可以通过使用如图30中那样的仿射种子矢量来按编码单元的子块导出运动矢量，该仿射种子矢量被称为仿射子块矢量。
仿射子块矢量可以如以下公式7中那样导出。在此情况下，子块的基本样本位置(x，y)可以是位于块的角处的样本(例如，左上样本)，或者可以是x轴或y轴中的至少一个在中心处的样本(例如，中心样本)。
[公式7]
可以通过使用仿射子块矢量以编码单元为单位或者以编码单元中的子块为单位执行运动补偿，这被称为仿射帧间预测模式。在公式7中，(x1-x0)可以具有与编码单元的宽度相同的值。
图31至图35示出了作为应用本公开内容的实施方式的帧内预测方法。
对于帧内预测，如图31中所示，使用当前块周围的预编码的边界样本来生成帧内预测，预编码的边界样本被称为帧内参考样本。
帧内预测可以通过将帧内参考样本的平均值设置为预测块的所有样本的值(DC模式)；通过在生成通过对水平方向上的参考样本执行加权预测而生成的水平方向上的预测样本和通过对垂直方向上的参考样本执行加权预测而生成的垂直方向上的预测样本之后，通过对水平方向上的预测样本和垂直方向上的预测样本执行加权预测来生成预测样本(平面模式)；或者通过使用定向帧内预测模式等来执行。
帧内预测可以通过使用如图32的左图片中的33个方向(总共35个帧内预测模式)或者通过使用如右图片中的65个方向(总共67个帧内预测模式)来执行。当使用定向帧内预测时，可以通过考虑帧内预测模式的方向性来生成帧内参考样本(参考样本)，并且在此，可以执行帧内预测。
在编码单元的左位置处的帧内参考样本被称为左帧内参考样本，并且在编码单元的上位置处的帧内参考样本被称为上帧内参考样本。
当执行定向帧内预测时，可以根据如表5中的帧内预测模式来设置帧内定向参数(intraPredAng)，即表示预测方向(或预测角度)的参数。以下的表5仅仅是基于当使用35个帧内预测模式时具有2至34的值的定向帧内预测模式的示例。当然，当定向帧内预测模式的预测方向(或预测角度)被进一步细分时，可以使用33个或更多的定向帧内预测模式。
[表5]
PredModeIntra 1 2 3 4 5 6 7
IntraPredAng - 32 26 21 17 13 9
PredModeIntra 8 9 10 11 12 13 14
IntraPredAng 5 2 0 -2 -5 -9 -13
PredModeIntra 15 16 17 18 19 20 21
IntraPredAng -17 -21 -26 -32 -26 -21 -17
PredModeIntra 22 23 24 25 26 27 28
IntraPredAng -13 -9 -5 -2 0 2 5
PredModeIntra 29 30 31 32 33 34
IntraPredAng 9 13 17 21 26 32
当intraPredAng为负数(例如，帧内预测模式索引在11与25之间)时，当前块的左帧内参考样本和上帧内参考样本可以根据帧内预测模式的角度被重新配置为由一维配置的一维参考样本(Ref_1D)，如图33所示。
当帧内预测模式索引在11与18之间时，可以从位于当前块的上侧的右侧的帧内参考样本到位于当前块的左侧的下侧的帧内参考样本沿逆时针方向生成一维参考样本，如图34所示。
在其他模式中，可以通过仅使用上侧的帧内参考样本或左侧的帧内参考样本来生成一维参考样本。
当帧内预测模式索引在19与25之间时，可以从位于当前块的左侧的下侧的帧内参考样本到位于上侧的右侧的帧内参考样本沿顺时针方向生成一维参考样本，如图35所示。
应用于基于iIdx确定的至少一个参考样本的参考样本确定索引iIdx和权重相关参数ifact可以如以下公式8中那样导出。iIdx和ifact可以根据定向帧内预测模式的斜率可变地确定，并且由iIdx指定的参考样本可以对应于整数像素。
[公式8]
iIdx＝(y+1))*Pang/32
ifact＝[(y+1)*Pang]&31
可以通过为每个预测样本指定至少一个或多个一维参考样本来导出预测图像。例如，可以通过考虑定向帧内预测模式的斜率值来指定可用于生成预测样本的一维参考样本的位置。每个预测样本可以具有不同的定向帧内预测模式。多个帧内预测模式可以用于一个预测块。多个帧内预测模式可以由多个非定向帧内预测模式的组合表示，可以由一个非定向帧内预测模式和至少一个定向帧内预测模式的组合表示，或者可以由多个定向帧内预测模式的组合表示。可以对一个预测块中的每个预定样本组应用不同的帧内预测模式。预定的样本组可以配置有至少一个样本。样本组的数目可以根据当前预测块的大小/样本的数目而可变地确定，或者可以是独立于预测块的大小/样本的数目而在编码器/解码器中预设的固定数目。
具体地，例如，可以通过使用参考样本确定索引iIdx来指定一维参考样本的位置。
当帧内预测模式的斜率不能仅由根据帧内预测模式的斜率的一个一维参考样本表示时，可以通过如公式9中那样对相邻的一维参考样本进行内插来生成第一预测图像。当根据帧内预测模式的斜率/角度的角线不经过位于整数像素处的参考样本时，可以通过对与对应角线的左/右或上/下相邻的参考样本进行内插来生成第一预测图像。在此情况下使用的内插滤波器的滤波器系数可以基于ifact来确定。例如，可以基于位于角线上的分数像素与位于整数像素处的参考样本之间的距离来导出内插滤波器的滤波器系数。
[公式9]
P(x，y)＝((32-ifact)/32)*Ref_1D(x+iIdx+1)+(ifact/32)*Ref_1D(x+iIdx+2)
当帧内预测模式的斜率可以仅由一个一维参考样本表示时(当ifact的值为0时)，可以如以下公式10中那样生成第一预测图像。
[公式10]
P(x，y)＝Ref_1D(x+iIdx+1)
图36至图39示出了作为应用本公开内容的实施方式的基于广角的帧内预测方法。
定向帧内预测模式的预测角可以如图36中那样被设置在45度与-135度之间。
当在非正方形编码单元中执行帧内预测模式时，由于预定义的预测角，可能导致下述缺点：在远离当前样本的帧内参考样本中而不是在靠近当前样本的帧内参考样本中预测当前样本。
例如，如图37的左图片中所示，对于编码单元的宽度大于编码单元的高度的编码单元(在下文中，水平方向的编码单元)，可以在远样本L中而不是近样本T中执行帧内预测。在另一示例中，如图37的右图片中所示，对于编码单元高度大于编码单元宽度的编码单元(在下文中，垂直方向的编码单元)，可以在远样本T中而不是在近样本L中执行帧内预测。
在非正方形编码单元中，可以以比预定义的预测角宽的预测角执行帧内预测，这被称为广角帧内预测模式。
广角帧内预测模式可以具有45-α至-135-β的预测角，并且在现有帧内预测模式中使用的角度中的预测角被称为广角角度。
在图37的左图片中，水平方向的编码单元中的样本A可以通过使用广角帧内预测模式从帧内参考样本T执行预测。
在图37的右图片中，垂直方向的编码单元中的样本A可以通过使用广角帧内预测模式从帧内参考样本L执行预测。
N+M个帧内预测模式可以通过将M个广角角度添加到N个现有帧内预测模式来定义。具体地，例如，如表6所示，可以通过将67个帧内模式和28个广角角度相加来定义总共95个帧内预测模式。
可以由当前块使用的帧内预测模式可以根据当前块的形状来确定。在示例中，可以基于当前块的大小、宽高比(例如，宽度和高度的比率)或参考线索引中的至少一个来选择95个定向帧内预测模式中的65个定向帧内预测模式。
[表6]
predModeIntra -14 -13 -12 -11 -10 -9 -8 -7 -6 -5 -4 -3 -2 -1 2 3 4
intraPredAngle 512 341 256 171 128 102 86 73 64 57 51 45 39 35 32 29 26
predModeIntra 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21
intraPredAngle 23 20 18 16 14 12 10 8 6 4 3 2 1 0 -1 -2 -3
predModeIntra 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38
intraPredAngle -4 -6 -8 -10 -12 -14 -16 -18 -20 -23 -26 -29 -32 -29 -26 -23 -20
predModeIntra 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55
intraPredAngle -18 -16 -14 -12 -10 -8 -6 -4 -3 -2 -1 0 1 2 3 4 6
predModeIntra 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72
intraPredAngle 8 10 12 14 16 18 20 23 26 29 32 35 39 45 51 57 64
predModeIntra 73 74 75 76 77 78 79 80
intraPredAngle 73 86 102 128 171 256 341 512
可以基于当前块的形状或参考线索引中的至少一个来自适应地确定表6中所示的帧内预测模式角度。在示例中，模式15的intraPredAngle可以被设置成在当前块为正方形时比在当前块为非正方形时具有更大的值。替选地，模式75的intraPredAngle可以被设置成在选择非相邻参考线时比在选择相邻参考线时具有更大的值。
当使用广角帧内预测模式时，上帧内参考样本的长度可以被设置为2W+1，而左帧内参考样本的长度可以被设置为2H+1，如图38所示。
当使用广角帧内预测对广角帧内预测模式的帧内预测模式进行编码时，帧内预测模式的数目增加，因此编码效率可能降低。广角帧内预测模式可以通过用在广角帧内中不使用的现有帧内预测模式替换来进行编码，并且替换的预测模式被称为广角替换模式。广角替换模式可以是与广角帧内预测模式相反的方向上的帧内预测模式。
具体地，例如，当如图39中那样使用35帧内预测时，广角帧内预测模式35可以被编码为帧内预测模式2，即广角替换模式，并且广角帧内预测模式36可以被编码为帧内预测模式3，即广角替换模式。
可以根据编码块的形状或编码块的高度和宽度的比率来不同地设置替换模式和替换模式的数目。具体地，例如，可以如表7中那样根据编码块的形状来不同地设置替换模式和替换模式的数目。表7表示根据编码块的宽度和高度的比率使用的帧内预测替换模式。
[表7]
图40示出了作为应用本公开内容的实施方式的基于多线的帧内预测方法。
参照图40，可以通过使用多个帧内参考线中的至少一个来执行帧内预测。
在示例中，可以通过选择被配置有相邻帧内参考线和非相邻帧内参考线的多个帧内参考线中的任何一个来执行帧内预测，这被称为多线帧内预测方法。非相邻帧内参考线可以包括第一非相邻帧内参考线(非相邻参考线索引1)、第二非相邻帧内参考线(非相邻参考线索引2)或第三非相邻帧内参考线(非相邻参考线索引3)中的至少一个。可以仅使用非相邻帧内参考线的一部分。在示例中，可以仅使用第一非相邻帧内参考线和第二非相邻帧内参考线，或者可以仅使用第一非相邻帧内参考线和第三非相邻帧内参考线。
帧内参考线索引(intra_luma_ref_idx)，即指定用于帧内预测的参考线的语法，可以以编码单元为单位用信号发送。
具体地，当使用相邻帧内参考线、第一非相邻帧内参考线和第三非相邻帧内参考线时，intra_luma_ref_idx可以如以下表8中那样定义。
[表8]
替选地，根据当前块的大小或形状或帧内预测模式，可以指定非相邻参考线的位置。例如，线索引0可以表示相邻帧内参考线，而线索引1可以表示第一非相邻帧内参考线。另一方面，根据当前块的大小或形状或帧内预测模式，线索引2可以表示第二非相邻帧内参考线或第三非相邻帧内参考线。
根据帧内模式，可以确定可用的非相邻参考线。例如，当使用对角模式中的帧内预测时，可以仅使用相邻参考线、第一非相邻参考线和第三非相邻参考线，并且可以将相邻参考线、第一非相邻参考线和第二非相邻参考线设置成在垂直或水平帧内预测模式中使用。
当使用非相邻帧内参考线时，可以将非定向帧内预测模式设置成不使用。换言之，当使用非相邻帧内参考线时，可能存在不使用DC模式或平面模式的限制。
在另一示例中，当使用非相邻帧内参考线时，可以存在不使用非定向帧内预测模式或特定定向帧内预测模式中的至少一个的限制。非定向帧内预测模式可以包括DC模式或平面模式中的至少一个，并且特定定向帧内预测模式可以包括水平定向模式(INTRA_MODE18)、垂直定向模式(INTRA_MODE50)、对角线定向模式(INTRA_MODE2，66)或广角模式中的至少一个。
属于非相邻帧内参考线的样本的数目可以被设置成大于相邻帧内参考线的样本的数目。另外，第(i+1)条非相邻帧内参考线的样本的数目可以被设置成大于第i条非相邻帧内参考线的样本的数目。第i条非相邻帧内参考线的上样本的数目与第(i-1)条非相邻帧内参考线的上样本的数目之间的差可以被表示为参考样本数目的偏移offsetX[i]。offsetX[1]表示第一非相邻帧内参考线的上样本的数目与相邻帧内参考线的上样本的数目之间的差值。第i条非相邻帧内参考线的左样本的数目与第(i-1)条非相邻帧内参考线的左样本的数目之间的差可以被表示为参考样本数目的偏移offsetY[i]。offsetY[1]表示第一非相邻帧内参考线的左样本的数目与相邻帧内参考线的左样本的数目之间的差值。
可以用上非相邻参考线refW+offsetX[i]、左非相邻参考线refH+offsetY[i]和左上样本来配置帧内参考线索引为i的非相邻帧内参考线，并且可以用refW+refH+offsetX[i]+offsetY[i]+1来配置属于非相邻帧内参考线的样本的数目。
[公式11]
refW＝(nTbW*2)
refH＝(nTbH*2)
在公式11中，nTbW可表示编码单元的宽度，nTbH可以表示编码单元的高度，并且whRatio可以如以下公式12中那样定义。
[公式12]
whRatio＝log2(nTbW/nTbH)
在多线帧内预测编码方法中，当使用非相邻帧内参考线时，可以将广角帧内模式设置为不被使用。替选地，在当前编码单元的MPM模式是广角帧内模式时，可以将多线帧内预测编码方法设置成不被使用。在此情况下，帧内参考线索引为i的非相邻帧内参考线可以配置有上非相邻参考线W+H+offsetX[i]、左非相邻参考线H+W+offsetY[i]和左上样本，属于非相邻帧内参考线的样本的数目可以配置有2W+2H+offsetX[i]+offsetY[i]+1，并且offsetX[i]和offsetY[i]的值可以根据whRatio的值而变化。例如，当whRatio的值大于1时，offsetX[i]的值可以被设置成1，并且offsetY[i]的值可以被设置成0，并且当whRatio的值小于1时，offsetX[i]的值可以被设置成0，并且offsetY[i]的值可以被设置成1。
图41示出了作为应用本公开内容的实施方式的基于分量间参考的预测方法。
当前块可以根据分量类型被分类为亮度块和色度块。色度块可以通过使用被称为分量间参考的预重构的亮度块的像素来预测。在本实施方式中，假设色度块具有(nTbW×nTbH)的大小，并且与色度块对应的亮度块具有(2*nTbW×2*nTbH)的大小。
参照图41，在S4100中可以确定色度块的帧内预测模式。
色度块的预定义帧内预测模式可以被分类为第一组和第二组。在此情况下，第一组可以被配置有基于分量间参考的预测模式，并且第二组可以被配置有图32中所示的帧内预测模式的全部或部分。
作为基于分量间参考的预测模式，编码/解码装置可以定义INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM中的至少一个。INTRA_LT_CCLM可以是参考与亮度/色度块相邻的左区域和上区域两者的模式，INTRA_L_CCLM可以是参考与亮度/色度块相邻的左区域的模式，并且INTRA_T_CCLM可以是参考与亮度/色度块相邻的上区域的模式。
可以通过选择性地使用第一组或第二组中的任何一组来导出色度块的帧内预测模式。可以基于预定的第一标志来执行选择。第一标志可以表示色度块的帧内预测模式是基于第一组导出还是基于第二组导出。
例如，当第一标志是第一值时，色度块的帧内预测模式可以被确定为属于第一组的基于分量间参考的预测模式中的任何一个。预定索引可以用于选择基于分量间参考的预测模式中的任何一个。索引可以是指定INTRA_LT_CCLM、INTRA_L_CCLM或INTRA_T_CCLM中的任何一个的信息。在以下表9中示出了分配给基于分量间参考的预测模式和每个预测模式的索引。
[表9]
Idx 基于分量间参考的预测模式
0 INTRA_LT_CCLM
1 INTRA_L_CCLM
2 INTRA_T_CCLM
表9仅是分配给每个预测模式的索引的示例，并且其不限于此。换言之，如表9所示，索引可以以INTRA_LT_CCLM、INTRA_L_CCLM和INTRA_T_CCLM的优先级分配，或者索引可以以INTRA_LT_CCLM、INTRA_T_CCLM和INTRA_L_CCLM的优先级分配。替选地，INTRA_LT_CCLM可以具有低于INTRA_T_CCLM或INTRA_L_CCLM的优先级。
另一方面，当第一标志是第二值时，色度块的帧内预测模式可以被确定为属于第二组的多个帧内预测模式中的任何一个。在示例中，可以如表10中那样定义第二组，并且可以基于在编码装置中用信号发送的信息(intra_chroma_pred_mode)和亮度块的帧内预测模式(IntraPredModeY)导出色度块的帧内预测模式。
[表10]
可以基于表示是否允许分量间参考的信息来选择性地用信号发送第一标志。例如，如果信息的值为1，那么可以用信号发送第一标志，否则，可以不用信号发送第一标志。在此情况下，可以基于后面提到的预定条件将信息确定为0或1。
(条件1)当表示是否允许基于分量间参考的预测的第二标志为0时，信息可以被设置成0。第二标志可以在视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)或切片报头中的至少一个中用信号发送。
(条件2)当满足以下子条件中的至少一个时，信息可以被设置成1：
—当qtbtt_dual_tree_intra_flag的值为0时；
—当切片类型不是I切片时；
—当编码树块的大小小于64×64时。
在条件2中，qtbtt_dual_tree_intra_flag可以表示编码树块是否被隐式地划分为64×64大小的编码块以及64×64大小的编码块是否被双树划分。双树可以指其中亮度分量和色度分量被划分为具有彼此独立的分区结构的方法。编码树块的大小(CtbLog2Size)可以是编码/解码装置中的预定义大小(例如，64x64、128x128、256x256)，或者可以在编码装置中被编码和用信号发送。
(条件3)当满足以下子条件中的至少一个时，信息可以被设置成1：
—当第一较高块的宽度和高度为64时；
—当第一较高块的深度与(CtbLog2Size-6)相同，第一较高块被水平BT划分，并且第二较高块为64x32时；
—当第一较高区块的深度大于(CtbLog2Size-6)时；
—当第一较高区块的深度与(CtbLog2Size-6)相同，第一较高块被水平BT划分，并且第二较高块被垂直BT划分时。
在条件3中，第一较高块可以是包括作为较低块的当前色度块的块。例如，在当前色度块的深度为k时，第一较高块的深度可以是(k-n)并且n可以是1、2、3、4或更大。第一较高块的深度可以仅指根据基于四叉树的划分的深度，或者可以指根据四叉树、二叉树或三叉树中的至少一个的划分的深度。作为属于第一较高块的较低块，第二较高块可以具有小于当前色度块且大于第一较高块的深度。例如，在当前色度块的深度是k时，第二较高块的深度可以是(k-m)并且m可以是小于n的自然数。
当不满足上述条件1至3中的甚至任何一个时，可以将信息设置成0。
然而，即使满足条件1至3中的至少一个，当满足以下子条件中的至少一个时，信息也可以被重置为0：
—当第一较高块是64×64并且执行以子块为单位的上述预测时；
—当第一较高块的宽度或高度中的至少一个小于64且第一较高块的深度与(CtbLog2Size-6)相同时。
参照图41，在S4110中可以指定用于色度块的分量间参考的亮度区域。
亮度区域可以包括亮度块或与亮度块相邻的邻近区域中的至少一个。在此情况下，亮度块可以定义为包括像素pY[x][y](x＝0…nTbW*2-1、y＝0…nTbH*2-1)的区域。该像素可以指在应用环内滤波器之前的重构值。
邻近区域可以包括左邻近区域、上邻近区域或左上邻近区域中的至少一个。左邻近区域可以被设置为包括像素pY[x][y](x＝-1…-3，y＝0…2*numSampL-1)的区域。可以仅在numSampL的值大于0时执行该设置。上邻近区域可以被设置为包括像素pY[x][y](x＝0…2*numSampT-1，y＝-1…-3)的区域。可以仅在numSampT的值大于0时执行该设置。左上邻近区域可以被设置为包括像素pY[x][y](x＝-1，y＝-1，-2)的区域。可以仅在亮度块的左上区域可用时执行该设置。
可以基于当前块的帧内预测模式来确定上述numSampL和numSampT。在此情况下，当前块可以指色度块。
例如，在当前块的帧内预测模式是INTRA_LT_CCLM时，其可以如以下公式13中那样导出。在此情况下，INTRA_LT_CCLM可以指基于与当前块的左侧和上侧相邻的区域执行分量间参考的模式。
[公式13]
numSampT＝availT？nTbW：0
numSampL＝availL？nTbH：0
根据公式13，如果当前块的上邻近区域可用，则numSampT可以被导出为nTbW，否则，其可以被导出为0。同样，如果当前块的左邻近区域可用，则numSampL可以被导出为nTbH，否则，其可以被导出为0。
另一方面，在当前块的帧内预测模式不是INTRA_LT_CCLM时，其可以如以下公式14中那样导出。
[公式14]
numSampT＝(availT&&predModeIntra＝＝INTRA_T_CCLM)？(nTbW+numTopRight)：0
numSampL＝(availL&&predModeIntra＝＝INTRA_L_CCLM)？(nTbH+numLeftBelow)：0
在公式14中，INTRA_T_CCLM可以指基于与当前块的上侧相邻的区域执行分量间参考的模式，并且INTRA_L_CCLM可以指基于与当前块的左侧相邻的区域执行分量间参考的模式。numTopRight可以指属于与色度块的右上侧相邻的区域的所有或部分像素的数目。一些像素可以指属于对应区域的最低像素线(行)的像素之中的可用像素。为了确定可用性，从左方向到右方向顺序地确定像素是否可用，这可以被执行直到找到不可用像素。numLeftBelow可以指属于与色度块的左下侧相邻的区域的所有或部分像素的数目。一些像素可以指属于对应区域的最右像素线(列)的像素之中的可用像素。为了确定可用性，从上方向到下方向顺序地确定像素是否可用，这可以被执行直到找到不可用像素。
参照图41，在S4120中可以执行对在S4110中指定的亮度区域进行下采样。
下采样可以包括以下至少一个：1.对亮度块进行下采样，2.对亮度块的左邻近区域进行下采样，或3.对亮度块的上邻近区域进行下采样，并且这将在下面详细描述。
1.对亮度块进行下采样
(实施方式1)
下采样的亮度块的像素pDsY[x][y](x＝0…nTbW-1，y＝0…nTbH-1)可以基于亮度块的对应像素pY[2*x][2*y]和邻近像素而导出。邻近像素可以指在左方向、右方向、上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pDsY[x][y]可以如以下公式15中那样导出。
[公式15]
pDsY[x][y]＝(pY[2*x][2*y-1]+pY[2*x-1][2*y]+4*pY[2*x][2*y]+pY[2*x+1][2*y]+[Y[2*x][2*y+1]+4)＞＞3
然而，可能存在当前块的左/上邻近区域不可用的情况。在当前块的左邻近区域不可用时，可以基于亮度块的对应像素pY[0][2*y]和邻近像素导出下采样的亮度块的像素pDsY[0][y](y＝1…nTbH-1)。邻近像素可以指在上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pDsY[0][y](y＝1…nTbH-1)可以如以下公式16中那样导出。
[公式16]
pDsY[0][y]＝(pY[0][2*y-1]+2*pY[0][2*y]+pY[0][2*y+1]+2)＞＞2
在当前块的上邻近区域不可用时，可以基于亮度块的对应像素pY[2*x][0]和邻近像素来导出下采样的亮度块的像素pDsY[x][0](x＝1…nTbW-1)。邻近像素可以指在左方向或右方向中的至少一个方向上与对应像素相邻的像素。例如，像素pDsY[x][0](x＝1…nTbW-1)可以如以下公式17中那样导出。
[公式17]
pDsY[x][0]＝(pY[2*x-1][0]+2*pY[2*x][0]+pY[2*x+1][0]+2)＞＞2
另一方面，可以基于亮度块的对应像素pY[0][0]和/或邻近像素导出下采样的亮度块的像素pDsY[0][0]。可以根据当前块的左/上邻近区域是否可用来不同地确定邻近像素的位置。
例如，当左邻近区域可用而上邻近区域不可用时，pDsY[0][0]可以如以下公式18中那样导出。
[公式18]
pDsY[0][0]＝(pY[-1][0]+2*pY[0][0]+pY[1][0]+2)＞＞2
另一方面，当左邻近区域不可用而上邻近区域可用时，pDsY[0][0]可以如以下公式19中那样导出。
[公式19]
pDsY[0][0]＝([pY[0][-1]+2*pY[0][()]+pY[0][1]+2)＞＞2
另一方面，当左邻近区域和上邻近区域两者都不可用时，pDsY[0][0]可以被设置为亮度块的对应像素pY[0][0]。
(实施方式2)
下采样的亮度块的像素pDsY[x][y](x＝0…nTbW-1，y＝0…nTbH-1)可以基于亮度块的对应像素pY[2*x][2*y]和邻近像素而导出。邻近像素可以指在下方向、左方向、右方向、左下方向或右下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pDsY[x][y]可以如以下公式20中那样导出。
[公式20]
pDsY[x][y]＝(pY[2*x-1][2*y]+pY[2*x-1][2*y+1]+2*pY[2*x][2*y]+2*pY[2*x][2*y+1]+pY[2*x+1][2*y]+pY[2*x+1][2*y+1]+4)＞＞3
但是，在当前块的左邻近区域不可用时，也可以基于亮度块的对应像素pY[0][2*y]和下邻近像素来导出下采样的亮度块的像素pDsY[0][y](y＝0…nTbH-1)。例如，像素pDsY[0][y](y＝0…nTbH-1)可以如以下公式21中那样导出。
[公式21]
pDsY[0][y]＝(pY[0][2*y]+pY[0][2*y+1]+1)＞＞1
可以基于上述实施方式1和2中的任何一个来执行对亮度块进行下采样。在此情况下，可以基于预定标志来选择实施方式1或2中的任何一个。在此情况下，标志可以表示下采样的亮度像素是否具有与原始亮度像素相同的位置。例如，当标志是第一值时，下采样的亮度像素具有与原始亮度像素相同的位置。另一方面，当标志是第二值时，下采样的亮度像素在水平方向上具有与原始亮度像素相同的位置，但是它在垂直方向上具有移位半个像素的位置。
2.对亮度块的左邻近区域进行下采样
(实施方式1)
可以基于左邻近区域的对应像素pY[-2][2*y]和邻近像素来导出下采样的左邻近区域的像素pLeftDsY[y](y＝0…numSampL-1)。邻近像素可以指在左方向、右方向、上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pLeftDsY[y]可以如以下公式22中那样导出。
[公式22]
pLeftDsY[y]＝(pY[-2][2*y-1]+pY[-3][2*y]+4*pY[-2][2*y]+pY[-1][2*y]+pY[-2][2*y+1]+4)＞＞3
然而，在当前块的左上邻近区域不可用时，可以基于左邻近区域的对应像素pY[-2][0]和邻近像素导出下采样的左邻近区域的像素pLeftDsY[0]。邻近像素可以指在左方向或右方向中的至少一个方向上与对应像素相邻的像素。例如，像素pLeftDsY[0]可以如以下公式23中那样导出。
[公式23]
pLeftDsY[0]＝(pY[-3][0]+2*pY[-2][0]+pY[-1][0]+2)＞＞2
(实施方式2)
可以基于左邻近区域的对应像素pY[-2][2*y]和邻近像素来导出下采样的左邻近区域的像素pLeftDsY[y](y＝0…numSampL-1)。邻近像素可以指在下方向、左方向、右方向、左下方向或右下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pLeftDsY[y]可以如以下公式24中那样导出。
[公式24]
pLeftDsY[y]＝(pY[-1][2*y]+pY[-1][2*y+1]+2*pY[-2][2*y]+2*pY[-2][2*y+1]+pY[-3][2*y]+pY[-3][2*y+l]+4)＞＞3
同样地，可以基于上述实施方式1和2中的任何一个来执行对左邻近区域进行下采样。在此情况下，可以基于预定标志来选择实施方式1或2中的任何一个。该标志可以表示下采样的亮度像素是否具有与原始亮度像素相同的位置，这与上述相同。
另一方面，可以仅当numSampL的值大于0时执行对左邻近区域进行下采样。当numSampL的值大于0时，这可以指当前块的左邻近区域可用且当前块的帧内预测模式是INTRA_LT_CCLM或INTLM_L_CCLM的情况。
3.对亮度块的上邻近区域进行下采样
(实施方式1)
通过考虑上邻近区域是否属于不同于亮度块的CTU，可以导出下采样的上邻近区域的像素pTopDsY[x](x＝0…numSampT-1)。
当上邻近区域属于与亮度块相同的CTU时，可以基于上邻近区域的对应像素pY[2*x][-2]和邻近像素来导出下采样的上邻近区域的像素pTopDsY[x]。邻近像素可以指在左方向、右方向、上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[x]可以如以下公式25中那样导出。
[公式25]
pTopDsY[x]＝(pY[2*x][-3]+p[Y[2*x-1][-2]+4*pY[2*x][-2]+pY[2*x+1][-2]+pY[2*x][-1]+4)＞＞3
另一方面，在上邻近区域属于与亮度块不同的CTU时，可以基于上邻近区域的对应像素pY[2*x][-1]和邻近像素导出下采样的上邻近区域的像素pTopDsY[x]。邻近像素可以指在左方向或右方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[x]可以如以下公式26中那样导出。
[公式26]
pTopDsY[x]＝(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)＞＞2
替选地，在当前块的左上邻近区域不可用时，邻近像素可以指在上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[0]可以如以下公式27中那样导出。
[公式27]
pTopDsY[0]＝(pY[0][-3]+2*pY[0][-2]+pY[0][-1]+2)＞＞2
替选地，在当前块的左上邻近区域不可用且上邻近区域属于不同于亮度块的CTU时，可以将像素pTopDsY[0]设置为上邻近区域的像素pY[0][-1]。
(实施方式2)
通过考虑上邻近区域是否属于不同于亮度块的CTU，可以导出下采样的上邻近区域的像素pTopDsY[x](x＝0…numSampT-1)。
当上邻近区域属于与亮度块相同的CTU时，可以基于上邻近区域的对应像素pY[2*x][-2]和邻近像素来导出下采样的上邻近区域的像素pTopDsY[x]。邻近像素可以指在下方向、左方向、右方向、左下方向或右下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[x]可以如以下公式28中那样导出。
[公式28]
pTopDsY[x]＝(pY[2*x-1][-2]+pY[2*x-1][-1]+2*pY[2*x][-2]+
2*pY[2*x][-1]+pY[2*x+1][-2]+pY[2*x+1][-1]+4)＞＞3
另一方面，在上邻近区域属于与亮度块不同的CTU时，可以基于上邻近区域的对应像素pY[2*x][-1]和邻近像素导出下采样的上邻近区域的像素pTopDsY[x]。邻近像素可以指在左方向或右方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[x]可以如以下公式29中那样导出。
[公式29]
pTopDsY[x]＝(pY[2*x-1][-1]+2*pY[2*x][-1]+pY[2*x+1][-1]+2)＞＞2
替选地，在当前块的左上邻近区域不可用时，邻近像素可以指在上方向或下方向中的至少一个方向上与对应像素相邻的像素。例如，像素pTopDsY[0]可以如以下公式30中那样导出。
[公式30]
pTopDsY[0]＝(pY[0][-2]+pY[0][-1]+1)＞＞1
替选地，在当前块的左上邻近区域不可用且上邻近区域属于不同于亮度块的CTU时，可以将像素pTopDsY[0]设置为上邻近区域的像素pY[0][-1]。
同样地，可以基于上述实施方式1和2中的任何一个来执行对上邻近区域进行下采样。在此情况下，可以基于预定标志来选择实施方式1或2中的任何一个。该标志表示下采样的亮度像素是否具有与原始亮度像素相同的位置，这与上述相同。
另一方面，可以仅当numSampT的值大于0时执行对上邻近区域进行下采样。当numSampT的值大于0时，这可以指当前块的上邻近区域可用并且当前块的帧内预测模式是INTRA_LT_CCLM或INTLM_T_CCLM的情况。
可以通过仅使用特定位置的对应像素pY[-2][2*y]和邻近像素来执行对上述亮度块的左邻近区域或上邻近区域(在下文中，亮度参考区域)中的至少一个进行下采样。在此情况下，可以基于从属于色度块的左邻近区域或上邻近区域(在下文中，色度参考区域)中的至少一个的多个像素之中选择的像素的位置来确定特定位置。
所选择的像素可以是色度参考区域中的奇数编号像素或偶数编号像素。替选地，所选择的像素可以是起始像素和从起始像素开始以每个预定间隔定位的一个或更多个像素。在此情况下，起始像素可以是位于色度参考区域中的第一位置、第二位置或第三位置的像素。该间隔可以是1、2、3、4或更多个采样间隔。例如，当间隔是1个采样间隔时，所选择的像素可以包括第n个像素、第(n+2)个像素等。所选择的像素的数目可以是2、4、6、8或者更多。
可以基于色度参考区域的长度(即，numSampL和/或numSampT)或色度块的帧内预测模式中的至少一个来可变地确定所选择的像素的数目、起始像素和间隔。替选地，所选择的像素的数目可以是在编码/解码装置中预先约定的固定数目(例如，4)，而与色度参考区域的长度和色度块的帧内预测模式无关。
参照图41，在S4130中可以导出用于色度块的分量间参考的参数。
参数可以包括权重或偏移中的至少一个。可以通过考虑当前块的帧内预测模式来确定参数。可以通过使用色度参考区域的所选像素和通过对亮度参考区域进行下采样而获得的像素来导出参数。
具体地，通过比较通过对亮度参考区域进行下采样而获得的n个像素之间的大小，可以将n个像素分类为2组。例如，第一组可以是n个像素之中具有相对大的值的像素的组，并且第二组可以是n个样本之中除了第一组的像素之外的其他像素的组。换言之，第二组可以是具有相对小的值的像素的组。在此情况下，n可以是4、8、16或更大。属于第一组的像素的平均值可以被设置为最大值(MaxL)，并且属于第二组的像素的平均值可以被设置为最小值(MinL)。
色度参考区域的所选择的像素可以根据通过对亮度参考区域进行下采样而获得的n个像素的分组来分组。可以通过使用对应于亮度参考区域的第一组的像素的色度参考区域的像素来配置色度参考区域的第一组，并且可以通过使用对应于亮度参考区域的第二组的像素的色度参考区域的像素来配置色度参考区域的第二组。同样，属于第一组的像素的平均值可以被设置为最大值(MaxC)，并且属于第二组的像素的平均值可以被设置为最小值(MinC)。
可以基于所计算的最大值(MaxL，MaxC)和最小值(MinL，MaxC)来导出参数的权重和/或偏移。
在S4140中可以基于下采样的亮度块及参数来预测色度块。
可以通过将预先导出的权重或偏移中的至少一个应用于下采样的亮度块的像素来预测色度块。
然而，图41仅是用于亮度块的邻近区域的下采样方法的示例，并且可以应用其他下采样/子采样方法，这将通过参照图42至图48来详细描述。
图42至图48示出了对亮度块的邻近区域进行下采样并导出用于分量间参考的参数的方法。
如公式31所示，通过基于执行下采样或子采样中的至少一个的图像来线性地预测当前编码单元的邻近样本，可以生成预测图像。
[公式31]
Predc(ij)＝(α*rec1'(i,j)>>S)+β
在公式31中，recl'可以指下采样的亮度块的重构样本，而Predc可以指由线性色度预测生成的色度块的预测样本。
当前编码单元的邻近样本可以被配置有如图42的右图所示的当前编码单元的左边界和上边界的样本，其可以被下采样(下采样到图42的右图中的灰色样本)且被称为亮度邻近模板图像。
在此情况下，使得在公式31中的预测误差最小的线性色度预测参数α和β的值可以如以下公式32中那样导出。
[公式32]
α＝(yB-yA)/(xB-xA)
β＝yA-α*xA
在此情况下，如图43所示，xA表示子采样的亮度邻近样本(即，亮度邻近模板图像)之中的最小值，并且xB表示子采样的亮度邻近样本之中的最大值。yA表示对应于xA的色度邻近样本，并且yB表示对应于xB的色度邻近样本。
替选地，如图44所示，可以通过对亮度邻近模板图像进行子采样来导出最大值和最小值。如上所述，通过下采样/子采样获得的n个样本可以被分类为2个组。例如，第一组可以是n个样本之中具有相对大的值的样本的组，并且第二组可以是n个样本之中除了第一组的样本之外的其他样本的组。换言之，第二组可以是具有相对小的值的样本的组。在此情况下，n可以是4、8、16或更大。属于第一组的样本的平均值可以被设置为最大值(Max)，并且属于第二组的样本的平均值可以被设置为最小值(Min)。
在远离其他样本的具有最小值或最大值的孤立样本的情况下，如果通过使用公式32执行色度预测，则预测性能很可能降低。
当亮度邻近模板图像被子采样时，几乎不存在孤立样本变为最大值或最小值的情况，并且存在可以改善预测性能的优点。此外，应该执行比较操作以找到最大值和最小值，并且操作的次数可以从4N(最大值2N和最小值2N)次减少到2N(最大值N和最小值N)次。
可以从与亮度块的上边界相邻的i条线和与左边界相邻的j条线导出亮度邻近模板图像。i和j可以是2、3、4或更大。i可以与j相同，或者i可以被设置为大于j的值。
如图45所示，可以执行子采样/下采样以便与上边界相邻的4条线变成2条线，并且可以执行子采样/下采样以便与左边界相邻的4条线变成2条线，其被称为第一亮度模板。线性预测色度参数α和β可以通过导出第一亮度模板的最大值和最小值来导出。可以通过使用导出的线性预测色度参数和亮度块的重构样本来执行色度块的线性预测色度预测。在此情况下，亮度块的重构样本可以是被下采样以对应于色度块的分辨率的样本。
如图46所示，可以通过在通过下采样生成的第一亮度模板中执行子采样来生成亮度邻近模板图像。
在示例中，在第一亮度模板中的上行(top line)，具有相同x轴坐标的样本可以被配置成不同时进行子采样。同样，在第一亮度模板中的上行，具有相同y轴坐标的样本可以被配置成不同时进行子采样。
替选地，当在亮度块中使用多线帧内预测方法时，可以根据帧内参考线索引(intra_luma_ref_idx)来不同地配置亮度邻近模板图像。具体地，例如，当intra_luma_ref_idx的值是0时，与亮度边界相邻的亮度邻近模板图像可以被配置为如图47的左图所示，而当intra_luma_ref_idx的值不是0时，与亮度边界不相邻的亮度邻近模板图像可以被配置为如右图所示。
替选地，当在亮度中使用多线帧内预测方法时，可以通过根据帧内参考线索引(intra_luma_ref_idx)对亮度邻近模板图像中的样本执行加权预测来导出亮度邻近模板图像的最大值和最小值。具体地，例如，可以在2个上行中具有相同x轴坐标的样本之间执行加权预测，并且可以在2个左行中具有相同y轴坐标的样本之间执行加权预测，以生成第二邻近模板样本。可以计算第二邻近模板样本的最大值和最小值，可以通过使用其来导出线性预测色度参数α和β，并且可以执行线性预测色度预测。
如图48所示，可以根据intra_luma_ref_idx的值来不同地设置在生成第二邻近模板样本中使用的加权的预测参数的值。具体地，例如，当intra_luma_ref_idx的值为0时，可以为属于与块边界相邻的行的样本设置大的权重，并且当intra_luma_ref_idx的值不为0时，可以为属于与块边界不相邻的行的样本设置大的权重。
可以通过对现有预测模式中的至少两个预测模式(例如帧间预测、帧内预测、合并模式或跳过模式)执行加权预测来生成新的预测图像，这被称为组合的预测模式(多假设预测模式)，并且用于加权预测的权重被称为组合的预测权重。
例如，可以通过帧间预测和帧内预测的加权预测来生成组合的预测。具体地，例如，可以分别基于合并模式和帧内预测中的每一个生成预测块，并且可以通过对这些预测块执行加权预测来生成最终的预测块，这被称为合并帧内组合预测。
当合并标志(merge_flag)的值为1时，可以选择性地应用合并帧内组合预测方法。可以用信号发送表示是否使用合并帧内组合预测的合并帧内组合预测标志mh_intra_flag。当mh_intra_flag的值为1时，它表示使用合并帧内组合预测方法。可以通过对在合并模式下生成的合并预测图像Pmerge和在帧内预测图像中生成的帧内预测图像Pintra执行加权预测来导出合并帧内组合预测图像Pcomb，如公式33中那样。
[公式33]
Pcomb＝(w*Pmerge+(N-W)*Pintra+4)＞＞log2N
在示例中，在公式33中，N可以被设置为3。
可能存在如下限制：在合并帧内组合预测中不使用多线帧内方法。
可能存在当使用合并帧内组合预测时仅使用帧内预测模式的特定预测模式的限制。具体地，例如，可能存在仅使用帧内预测模式的DC模式、平面模式、水平模式和垂直模式的限制。
在另一示例中，可能存在如下限制：在帧内预测模式之中，仅使用平面模式、水平模式和垂直模式，或仅使用平面模式、DC模式和水平模式，或仅使用平面模式、DC模式和垂直模式。
在另一示例中，可能存在如下限制：在帧内预测模式之中，仅使用从邻近块或其一部分导出的6个MPM模式。具体地，例如，可能存在如下限制：当MPM模式被配置有{PLANAR、DC、INTRA_MODE32、INTRA_MODE31、INTRA_MODE33、INTRA_MODE30}时，仅使用PLANAR、DC、INTRA_MODE32和INTRA_MODE31。
多线帧内方法可以用于合并帧内组合预测中。换言之，可以对通过合并模式生成的预测图像和通过使用多线帧内方法生成的预测图像执行组合预测。当通过使用非相邻参考线生成帧内预测时，可能存在仅使用垂直、水平模式、INTRA_MODE2和INTRA_MODE66的限制。替选地，当通过使用非相邻参考线生成帧内预测时，可能存在仅使用垂直和水平的限制。
合并帧内预测索引mh_intra_idx可以被用信号发送以用信号发送在合并帧内组合预测方法中使用的帧内预测模式。在示例中，它可以如下面的表11至表12中那样被表示。
[表11]
mh_intra_idx 0 1 2 3
帧内模式 平面 DC 垂直 水平
[表12]
mh_intra_idx 0 1 2
帧内模式 平面 垂直 水平
可以通过使用组合预测来生成三角形预测单元的预测图像。在示例中，可以通过使用合并帧内组合预测方法来生成三角形预测单元的预测图像。可以用信号发送关于左三角形预测单元的合并索引和帧内预测模式以及右三角形预测单元的合并索引和帧内预测模式的信息。
图49和图50示出了作为应用本公开内容的实施方式的将环内滤波器应用于重构块的方法。
环内滤波是一种自适应地对解码图像执行滤波以减少在量化和编码的处理中生成的信息的损失的技术。去块滤波器、样本自适应偏移滤波器(SAO)和自适应环路滤波器(ALF)是环内滤波的示例。
可以通过对第一重构图像执行去块滤波器、样本自适应偏移滤波器(SAO)或自适应环路滤波器(ALF)中的至少任何一个来生成第二重构图像。
在将去块滤波器应用于重构图像之后，可以应用SAO及ALF。
在视频编码处理中以块为单位执行变换和量化。出现在量化处理中生成的损失，并且在重构其的图像的边界上出现不连续性。在块边界上生成的不连续图像被称为块伪影。
去块滤波器是减轻在第一图像的块边界上生成的块伪像并提高编码性能的方法。
如图49所示，通过对块边界执行滤波可以减轻块伪影，并且可以基于是否通过帧内预测模式对块进行编码、邻近块的运动矢量的绝对值的差是否大于预定义的预定阈值、或者邻近块的参考图片是否彼此相同中的至少任何一个来确定块强度(在下文中，BS)的值。当BS的值是0时，可以不执行滤波，而当BS的值是1或2时，可以对块边界执行滤波。
因为在频域中执行量化，所以在对象的边缘上生成振铃伪影，或者像素值与原始值相比变大或变小某个值。
通过考虑第一重构图像的图案，SAO可以通过以块为单位增加或减去特定偏移来有效地减少振铃伪影。根据重构图像的特征，SAO被配置有边缘偏移(在下文中，EO)和带偏移(在下文中，BO)。边缘偏移是根据邻近像素样本图案将偏移不同地添加到当前样本的方法。带偏移是通过对区域中具有相似像素亮度值的像素组增加特定值来减小编码误差。像素亮度可以被分成32个均匀的带，以将具有类似亮度值的像素设置为一组。例如，4个相邻带可以被组合成一个类别。可以将相同的偏移值设置成在一个类别中使用。
ALF(自适应环路滤波器)是一种通过使用用于第一重构图像或对第一重构图像执行去块滤波后的重构图像的任何一个预定义滤波器来生成第二重构图像的方法，如公式34中所示。
[公式34]
在这种情况下，可以以图片为单位或以CTU为单位选择滤波器。
对于亮度分量，可以选择5x5、7x7或9x9菱形中的任何一种，如以下图50所示。对于色度分量，可能存在仅使用5x5菱形的限制。
可能存在如下限制：不在使用对角划分的编码单元的预测块边界上使用环内滤波。
本发明的实施方式公开了但不限于如下方案：
方案1.一种视频信号解码方法，包括：
将当前块划分成两个预测单元，两个预测单元中的至少一个的形状是三角形；
配置当前块的合并候选列表；
通过使用当前块的合并候选列表和合并候选索引来导出当前块的运动信息；以及
通过使用所导出的运动信息来执行当前块的帧间预测。
方案2.根据方案1的方法，其中，基于关于预定划分线的信息来执行划分，以及
其中，信息包括关于划分线的起始点、终止点、角度或方向中的至少一个的信息。
方案3.根据方案1的方法，其中，仅当当前块的大小大于预定阈值大小或与预定阈值大小相同时，执行划分，以及
其中，当前块的大小被表示为当前块的宽度、当前块的高度、宽度与高度的比率或宽度与高度的乘积。
方案4.根据方案1的方法，其中，合并候选列表被配置有多个三角形合并候选，
其中，三角形合并候选包括空间合并候选、时间合并候选或存储在具有预定大小的缓冲器中的运动信息中的至少一个，以及
其中，存储在缓冲器中的运动信息是指在当前块之前被解码的块的运动信息。
方案5.根据方案4的方法，其中，方法还包括：对指示三角形合并候选的最大数目的数目信息进行解码，以及
其中，解码装置基于经解码的数目信息来设置三角形合并候选的最大数目。
方案6.根据方案1的方法，其中，属于当前块的两个预测单元共享一个合并候选列表。
方案7.根据方案1的方法，其中，合并候选索引包括当前块的第一预测单元的第一合并候选索引和当前块的第二预测单元的第二合并候选索引，以及
其中，分别用信号发送第一合并候选索引和第二合并候选索引。
方案8.根据方案7的方法，其中，通过使用由第一合并候选索引指定的三角形合并候选来导出第一预测单元的运动信息，以及
其中，通过使用基于第一合并候选索引和第二合并候选索引指定的三角形合并候选来导出第二预测单元的运动信息。
方案9.根据方案8的方法，其中，根据合并候选索引的值来选择性地使用所指定的三角形合并候选的L0方向的运动信息或L1方向的运动信息中的任何一个。
方案10.根据方案2的方法，其中，通过将预定权重应用于当前块的第一预测单元的像素和第二预测单元的像素来预测定位在划分线上的边界像素或边界像素的邻近像素中的至少一个。
方案11.一种视频信号编码方法，包括：
将当前块划分成两个预测单元，两个预测单元中的至少一个的形状是三角形；
配置当前块的合并候选列表；
通过使用当前块的合并候选列表和合并候选索引来导出当前块的运动信息；以及
通过使用所导出的运动信息来执行当前块的帧间预测。
方案12.一种用于存储视频流的数字存储介质，在数字存储介质中记录有用于执行处理的视频解码程序，处理包括：
将当前块划分成两个预测单元，两个预测单元中的至少一个的形状是三角形；配置当前块的合并候选列表；通过使用当前块的合并候选列表和合并候选索引来导出当前块的运动信息；以及通过使用所导出的运动信息来执行当前块的帧间预测。
本公开内容的各种实施方式并不列举所有可能的组合，而是描述本公开内容的代表性方面，并且在各种实施方式中描述的内容可以独立地应用或者可以通过两个或更多个组合来应用。
另外，本公开内容的各种实施方式可以由硬件、固件、软件、其组合等来实现。为了通过硬件实现，可以通过一个或更多个ASIC(专用集成电路)、DSPD(数字信号处理装置)、DSPD(数字信号处理装置)、PLD(可编程逻辑装置)、FPGA(现场可编程门阵列)、通用处理器、控制器、微控制器、微处理器等来执行实现。
本公开内容的范围包括在装置或计算机中根据各种实施方式的方法执行动作的软件或机器可执行指令(例如，操作系统、应用、固件、程序等)以及这样的软件、指令等被存储在装置或计算机中并且在装置或计算机中可执行的非暂态计算机可读介质。
工业适用性
本公开内容可以用于编码/解码视频。

Claims (9)

1.一种视频信号解码方法，包括：
配置当前块的合并候选列表，所述合并候选列表包括多个合并候选；
基于所述当前块的合并候选列表和合并候选索引来导出所述当前块的运动信息；以及
基于所述当前块的运动信息来执行所述当前块的帧间预测，
其中，所述当前块被分成多个划分，所述多个划分包括第一划分和第二划分，
其中，所述合并候选索引包括用于所述第一划分的第一合并候选索引和用于所述第二划分的第二合并候选索引，
其中，所述第一合并候选索引和所述第二合并候选索引分别从比特流用信号通知，
其中，所述当前块的运动信息包括用于所述第一划分的第一运动信息和用于所述第二划分的第二运动信息，
其中，用于所述第一划分的第一运动信息是基于所述多个合并候选之中的其索引等于所述第一合并候选索引的合并候选来被导出的，
其中，在所述第二合并候选索引小于所述第一合并候选索引的情况下，用于所述第二划分的第二运动信息是基于所述多个合并候选中的其索引等于所述第二合并候选索引的合并候选来被导出的，以及
其中，在所述第二合并候选索引大于或等于所述第一合并候选索引的情况下，用于所述第二划分的第二运动信息是基于所述多个合并候选中的其索引比所述第二合并候选索引大1的合并候选来被导出的。
2.根据权利要求1所述的方法，其中，所述当前块是基于关于预定划分线的信息来被导出的，以及
其中，所述信息包括关于所述划分线的起始点、终止点、角度和方向中的至少一个的信息。
3.根据权利要求1所述的方法，其中，仅当所述当前块的大小大于或等于预定阈值大小时，才对所述当前块进行划分，以及
其中，所述当前块的大小被表示为所述当前块的宽度、高度、所述宽度与所述高度的比率或所述宽度与所述高度的乘积。
4.根据权利要求1所述的方法，还包括：
对指示所述合并候选的最大数目的数目信息进行解码，
其中，所述合并候选的最大数目是基于经解码的数目信息来被设置的。
5.根据权利要求1所述的方法，其中，属于所述当前块的所述第一划分和所述第二划分共享所述合并候选列表。
6.根据权利要求1所述的方法，其中，所述第一运动信息根据所述第一合并候选索引的值而具有L0方向的运动信息和L1方向的运动信息中之一，以及
其中，所述第二运动信息根据所述第二合并候选索引的值或比所述第二合并候选索引大1的索引的值而具有L0方向的运动信息和L1方向的运动信息中之一。
7.根据权利要求2所述的方法，其中，基于所述第一划分的像素和所述第二划分的像素的加权和，来预测定位在所述划分线上的边界像素或所述边界像素的邻近像素中的至少一个。
8.一种视频信号编码方法，包括：
配置当前块的合并候选列表，所述合并候选列表包括多个合并候选；和
基于所述当前块的合并候选列表来导出所述当前块的运动信息，
其中，所述当前块被分成多个划分，所述多个划分包括第一划分和第二划分，
其中，所述当前块的运动信息包括用于所述第一划分的第一运动信息和用于所述第二划分的第二运动信息，
其中，所述多个合并候选之中的具有所述第一运动信息的第一合并候选的索引被编码为用于所述第一划分的第一合并候选索引，
其中，在所述多个合并候选之中的具有所述第二运动信息的第二合并候选的索引小于所述第一合并候选的索引的情况下，所述第二合并候选的索引被编码为用于所述第二划分的第二合并候选索引，以及
其中，在所述第二合并候选的索引大于所述第一合并候选的索引的情况下，比所述第二合并候选的索引小1的索引被编码为用于所述第二划分的第二合并候选索引。
9.一种用于视频信号的比特流的传输方法，包括：
配置当前块的合并候选列表，所述合并候选列表包括多个合并候选；
基于所述当前块的合并候选列表来导出所述当前块的运动信息；
生成与所述运动信息有关的合并候选索引；和
传输包括所述合并候选索引的比特流，
其中，所述当前块被分成多个划分，所述多个划分包括第一划分和第二划分，
其中，所述合并候选索引包括用于所述第一划分的第一合并候选索引和用于所述第二划分的第二合并候选索引，
其中，所述当前块的运动信息包括用于所述第一划分的第一运动信息和用于所述第二划分的第二运动信息，
其中，所述多个合并候选中的具有所述第一运动信息的第一合并候选的索引被编码为用于所述第一划分的所述第一合并候选索引，
其中，在所述多个合并候选中的具有所述第二运动信息的第二合并候选的索引小于所述第一合并候选的索引的情况下，所述第二合并候选的索引被编码为用于所述第二划分的所述第二合并候选索引，以及
其中，在所述第二合并候选的索引大于所述第一合并候选的索引的情况下，比所述第二合并候选的索引小1的索引被编码为用于所述第二划分的第二合并候选索引。
CN202410315424.0A 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法 Pending CN118200589A (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2018-0171319 2018-12-27
KR20180171319 2018-12-27
KR20190027609 2019-03-11
KR10-2019-0027609 2019-03-11
CN201980092856.7A CN113455001B (zh) 2018-12-27 2019-12-27 视频编码/解码方法和装置
PCT/KR2019/018641 WO2020139037A1 (ko) 2018-12-27 2019-12-27 비디오 부/복호화 방법 및 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201980092856.7A Division CN113455001B (zh) 2018-12-27 2019-12-27 视频编码/解码方法和装置

Publications (1)

Publication Number Publication Date
CN118200589A true CN118200589A (zh) 2024-06-14

Family

ID=71127330

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202410315513.5A Pending CN118200577A (zh) 2018-12-27 2019-12-27 图像解码方法、图像编码方法和用于传输图像的比特流的方法
CN202410315512.0A Pending CN118200592A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法
CN202410315428.9A Pending CN118200590A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法
CN202410315424.0A Pending CN118200589A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法
CN201980092856.7A Active CN113455001B (zh) 2018-12-27 2019-12-27 视频编码/解码方法和装置
CN202410315433.XA Pending CN118200591A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法

Family Applications Before (3)

Application Number Title Priority Date Filing Date
CN202410315513.5A Pending CN118200577A (zh) 2018-12-27 2019-12-27 图像解码方法、图像编码方法和用于传输图像的比特流的方法
CN202410315512.0A Pending CN118200592A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法
CN202410315428.9A Pending CN118200590A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201980092856.7A Active CN113455001B (zh) 2018-12-27 2019-12-27 视频编码/解码方法和装置
CN202410315433.XA Pending CN118200591A (zh) 2018-12-27 2019-12-27 视频信号解码方法、视频信号编码方法和视频信号比特流的传输方法

Country Status (4)

Country Link
US (1) US12010304B2 (zh)
KR (1) KR20200081326A (zh)
CN (6) CN118200577A (zh)
WO (1) WO2020139037A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118055249A (zh) * 2018-09-22 2024-05-17 Lg 电子株式会社 使用间预测处理视频信号的方法和装置
US20220159239A1 (en) * 2019-03-23 2022-05-19 Lg Electronics Inc. Intra prediction-based image coding in image coding system
US11212523B2 (en) * 2020-01-12 2021-12-28 Mediatek Inc. Video processing methods and apparatuses of merge number signaling in video coding systems

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102127401B1 (ko) * 2010-01-12 2020-06-26 엘지전자 주식회사 비디오 신호의 처리 방법 및 장치
CN103281527B (zh) * 2010-04-15 2015-12-23 华为技术有限公司 图像编解码方法及相关装置
US10070152B2 (en) * 2011-08-24 2018-09-04 Texas Instruments Incorporated Sample adaptive offset (SAO) parameter signaling
WO2013051209A1 (ja) * 2011-10-05 2013-04-11 パナソニック株式会社 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および、画像符号化復号装置
GB2561487B (en) * 2011-10-18 2019-01-02 Kt Corp Method for encoding image, method for decoding image, image encoder, and image decoder
JP5561348B2 (ja) * 2011-12-16 2014-07-30 株式会社Ｊｖｃケンウッド 動画像復号装置、動画像復号方法、及び動画像復号プログラム、並びに、受信装置、受信方法、及び受信プログラム
CN107566836B (zh) * 2011-12-23 2020-04-07 韩国电子通信研究院 图像解码方法、图像编码方法和记录介质
WO2016034058A1 (en) 2014-09-01 2016-03-10 Mediatek Inc. Method of intra picture block copy for screen content and video coding
CN104935938B (zh) * 2015-07-15 2018-03-30 哈尔滨工业大学 一种混合视频编码标准中帧间预测方法
WO2017039117A1 (ko) 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
CN116708782A (zh) 2016-07-12 2023-09-05 韩国电子通信研究院 图像编码/解码方法以及用于该方法的记录介质
KR102438181B1 (ko) * 2017-06-09 2022-08-30 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체

Also Published As

Publication number Publication date
CN113455001A (zh) 2021-09-28
CN118200592A (zh) 2024-06-14
US12010304B2 (en) 2024-06-11
WO2020139037A1 (ko) 2020-07-02
CN118200577A (zh) 2024-06-14
CN113455001B (zh) 2024-04-09
CN118200590A (zh) 2024-06-14
CN118200591A (zh) 2024-06-14
US20220070457A1 (en) 2022-03-03
KR20200081326A (ko) 2020-07-07

Similar Documents

Publication Publication Date Title
JP7500691B2 (ja) ビデオ信号の符号化／復号化方法及び前記方法のための装置
CN112823513B (zh) 图像编码/解码方法和装置
US11418808B2 (en) Method and device for encoding or decoding image on basis of inter mode
CN116055720A (zh) 视频信号编码/解码方法及其设备
CN113455001B (zh) 视频编码/解码方法和装置
CN113574878A (zh) 用于对视频信号进行编码/解码的方法及其设备
CN113382234A (zh) 视频信号编码/解码方法以及用于所述方法的设备
KR20200115322A (ko) 영상 부호화/복호화 방법 및 장치
US20240291973A1 (en) Image encoding/decoding method and device
CN113228642A (zh) 图像编码/解码方法和装置
US20240297994A1 (en) Video encoding/decoding method and apparatus utilizing merge candidate indices
KR20210112660A (ko) 비디오 신호 처리 방법 및 장치
KR20210113914A (ko) 비디오 신호 처리 방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination