CN113785566A - 基于帧内预测处理视频信号的方法和设备 - Google Patents

基于帧内预测处理视频信号的方法和设备 Download PDF

Info

Publication number
CN113785566A
CN113785566A CN202080031899.7A CN202080031899A CN113785566A CN 113785566 A CN113785566 A CN 113785566A CN 202080031899 A CN202080031899 A CN 202080031899A CN 113785566 A CN113785566 A CN 113785566A
Authority
CN
China
Prior art keywords
block
current
luma
mode
mip
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080031899.7A
Other languages
English (en)
Inventor
金东哲
高建重
郑在洪
孙周亨
郭真三
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Humax Co Ltd
Original Assignee
Humax Co Ltd
Wilus Institute of Standards and Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Humax Co Ltd, Wilus Institute of Standards and Technology Inc filed Critical Humax Co Ltd
Publication of CN113785566A publication Critical patent/CN113785566A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

公开了一种用于编码和解码视频信号的视频信号处理方法和设备。该视频信号处理方法可以包括以下步骤：基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于当前色度块的色度帧内预测模式；基于色度帧内预测模式生成当前色度块的色度预测样本；以及基于色度预测样本恢复当前色度块。

Description

基于帧内预测处理视频信号的方法和设备
技术领域
本公开涉及一种视频信号处理方法和设备，更具体地，涉及一种基于帧内预测编码或解码视频信号的视频信号处理方法和设备。
背景技术
压缩编译指代用于通过通信线路发送数字化信息或以适合于存储介质的形式存储信息的一系列信号处理技术。压缩编码的对象包括诸如语音、视频和文本的对象，并且特别地，用于对图像执行压缩编码的技术被称为视频压缩。考虑到空间相关性、时间相关性和随机相关性，通过去除过多的信息来执行对视频信号的压缩编译。然而，随着各种媒体和数据传输媒体的最新发展，需要更有效的视频信号处理方法和装置。
发明内容
技术问题
本发明的一个目的是提高视频信号的编译效率。具体地，本发明的目的是提供一种用于在基于矩阵的帧内预测(MIP)被应用于亮度分量时有效地推导色度分量的帧内预测模式的方法。
另外，本发明的目的是提供一种考虑到对其应用了基于矩阵的帧内预测(MIP)的相邻块，有效地构建最可能模式(MPM)列表的方法。
技术方案
为了解决上述问题，本发明提供了一种用于处理视频信号的设备和方法，如下所述。
根据本发明的实施例，提供一种用于处理视频信号的方法，包括：基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及基于所述色度预测样本恢复所述当前色度块，其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
在实施例中，可以根据预设特定亮度位置的MIP标志的值，确定是否所述MIP模式被应用于与所述当前色度块相对应的所述亮度块，以及所述MIP标志指示是否应用所述MIP模式。
在实施例中，所述预设特定亮度位置可以为与所述当前色度块相对应的亮度块的中心的右下像素位置。
在实施例中，该方法可以进一步包括：解析指示是否所述MIP模式被应用于当前亮度块的MIP标志；当所述MIP模式被应用于所述当前亮度块时，通过将所述MIP应用于所述当前亮度块，生成所述当前亮度块的亮度预测样本；通过对所述当前亮度块执行逆变换来生成所述当前亮度块的残差块；以及基于所述亮度预测样本和所述当前亮度块的所述残差块来恢复所述当前亮度块。
在实施例中，生成所述当前亮度块的所述残差块可以包括：基于所述MIP标志，确定是否使用所述当前亮度块的逆二次变换以及是否解析指示用于所述逆二次变换的变换核的二次变换索引。
在实施例中，解析所述MIP标志可以包括：获得指示是否在当前序列中使用所述MIP模式的语法元素，以及基于所获得的语法元素，确定是否解析所述MIP标志。
在实施例中，该方法可以进一步包括：当所述MIP模式不被应用于所述当前亮度块时，基于与所述当前亮度块的左下和右上相邻的相邻块的帧内预测模式，生成所述当前亮度块的最可能模式(MPM)列表；基于所述MPM列表，推导所述当前亮度块的亮度帧内预测模式；以及通过使用所述亮度帧内预测模式，生成所述当前亮度块的亮度预测样本。
在实施例中，当所述MIP模式被应用于与所述当前亮度块的左下和右上相邻的相邻块当中的至少一个块时，将对其应用了所述MIP模式的块的帧内预测模式设置为预设特定帧内预测模式。
根据本发明的实施例，提供一种用于处理视频信号的设备，包括：处理器，其中，所述处理器被配置为：基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及基于所述色度预测样本恢复所述当前色度块，其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
在实施例中，可以根据预设特定亮度位置的MIP标志的值，确定是否所述MIP模式被应用于与所述当前色度块相对应的所述亮度块，以及所述MIP标志指示是否应用所述MIP模式。
在实施例中，所述预设特定亮度位置可以为与所述当前色度块相对应的亮度块的中心的右下像素位置。
在实施例中，所述处理器可以被配置为：解析指示是否所述MIP模式被应用于当前亮度块的MIP标志；当所述MIP模式被应用于所述当前亮度块时，通过将所述MIP应用于所述当前亮度块，生成所述当前亮度块的亮度预测样本；通过对所述当前亮度块执行逆变换来生成所述当前亮度块的残差块；以及基于所述亮度预测样本和所述当前亮度块的所述残差块来恢复所述当前亮度块。
在实施例中，所述处理器可以被配置为：基于所述MIP标志，确定是否使用所述当前亮度块的逆二次变换以及是否解析指示用于所述逆二次变换的变换核的二次变换索引。
在实施例中，所述处理器可以被配置为：获得指示是否在当前序列中使用所述MIP模式的语法元素，以及基于所获得的语法元素，确定是否解析所述MIP标志。
在实施例中，所述处理器可以被配置为：当所述MIP模式不被应用于所述当前亮度块时，基于与所述当前亮度块的左下和右上相邻的相邻块的帧内预测模式，生成所述当前亮度块的最可能模式(MPM)列表；基于所述MPM列表，推导所述当前亮度块的亮度帧内预测模式；以及通过使用所述亮度帧内预测模式，生成所述当前亮度块的亮度预测样本。
在实施例中，当所述MIP模式被应用于与所述当前亮度块的左下和右上相邻的相邻块当中的至少一个块时，可以将对其应用了所述MIP模式的块的帧内预测模式设置为预设特定帧内预测模式。
根据本发明的实施例，提供一种非暂时性计算机可执行介质，其上存储有被配置为在计算设备的一个或多个处理器上执行的计算机可执行组件，所述计算机可执行组件执行操作，所述操作包括：基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及基于所述色度预测样本恢复所述当前色度块，其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
发明效果
根据本发明的实施例，可以提高视频信号的编译效率。根据本发明的实施例，当基于矩阵的帧内预测(MIP)被应用于亮度分量时，通过将色度分量的帧内预测模式设置为默认模式，可以改进复杂度并且可以提高压缩效率。
另外，根据本发明的实施例，在构建最可能模式(MPM)列表时，通过将对其应用了基于矩阵的帧内预测(MIP)的相邻块的预测模式设置为预设模式，可以提高MPM列表构建的有效性并且可以提高编译效率。
附图说明
图1是根据本发明的实施例的视频信号编码装置的示意性框图。
图2是根据本发明的实施例的视频信号解码装置的示意性框图。
图3示出在图片中编译树单元被划分为编译单元的实施例。
图4示出用于用信号通知四叉树和多类型树的划分的方法的实施例。
图5和图6根据本公开的实施例，更详细地图示帧内预测方法。
图7图示根据本公开的实施例的帧间预测方法。
图8是具体地图示用于通过编码器变换残差信号的方法的图。
图9是具体地图示用于通过编码器和解码器对变换系数进行逆变换来获得残差信号的方法的图。
图10是用于描述根据本发明实施例的基于矩阵的帧内预测方法的图。
图11是图示根据本发明的实施例的基于矩阵的帧内预测过程的图。
图12是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
图13是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
图14是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
图15是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
图16是图示根据本发明的实施例的用于描述发信号通知和获得MIP相关信息的方法的编译单元语法结构的示例的图。
图17是图示根据本发明的实施例的用于描述发信号通知和获得MIP相关信息的方法的编译单元语法结构的示例的图。
图18是图示根据本发明的实施例的用于描述发信号通知和获得二次变换相关信息的方法的编译单元语法结构的示例的图。
图19和20是图示根据本发明的实施例的用于描述发信号通知和获得二次变换相关信息的方法的残差编译单元语法结构的示例的图。
图21是图示根据本发明的实施例的用于描述发信号通知和获得变换相关信息的方法的变换单元语法结构的示例的图。
图22是图示根据本发明的实施例的用于构建最可能模式(MPM)列表的方法的图。
图23是用于描述根据本发明的实施例的根据树结构描述亮度块和色度块之间的关系的图。
图24是图示根据本发明的实施例的用于构建最可能模式(MPM)列表的方法的图。
图25是图示根据本发明的实施例的在构建MPM列表时被参考的相邻块的图。
图26是图示根据本发明的实施例的用于处理视频信号的方法的流程图。
具体实施方式
考虑到本公开中的功能，本说明书中使用的术语可以是当前广泛使用的通用术语，但是可以根据本领域的技术人员的意图、习俗或新技术的出现而改变。另外，在某些情况下，可能存在申请人任意选择的术语，并且在这种情况下，其含义在本公开的相应描述部分中进行了描述。因此，应基于整个说明书中的术语和内容的实质含义来解释本说明书中使用的术语。
在本说明书中，一些术语可以解释如下。在一些情况下，编译可以解释为编码或解码。在本说明书中，通过执行视频信号的编码(编译)来生成视频信号比特流的装置被称为编码装置或编码器，并且执行视频信号比特流的解码(解码)以重构视频信号的装置被称为解码装置或解码器。另外，在本说明书中，视频信号处理装置被用作包括编码器和解码器两者的概念的术语。信息是包括所有值、参数、系数、元素等的术语。在一些情况下，含义被不同地解释，因此本公开不限于此。“单元”被用作指代图像处理的基本单位或图片的特定位置的含义，并且指代包括亮度分量和色度分量两者的图像区域。另外，“块”指代包括亮度分量和色度分量(即，Cb和Cr)当中的特定分量的图像区域。然而，取决于实施例，诸如“单元”、“块”、“分区(partition)”和“区域”的术语可以互换使用。另外，在本说明书中，单元可以用作包括编译单元、预测单元和变换单元的全部的概念。图片指示场或帧，并且根据实施例，这些术语可以互换使用。
图1是根据本发明的实施例的视频信号编码装置的示意性框图。参考图1，本发明的编码装置100包括变换单元110、量化单元115、逆量化单元120、逆变换单元125、滤波单元130、预测单元150和熵编译单元160。
变换单元110通过对残差信号进行变换来获得变换系数的值，该残差信号是输入的视频信号与由预测单元150生成的预测信号之间的差。例如，可以使用离散余弦变换(DCT)、离散正弦变换(DST)或小波变换。DCT和DST通过将输入图片信号分割成多个块来执行变换。在变换中，编译效率可以根据变换区域中的值的分布和特性而变化。量化单元115对从变换单元110输出的变换系数值的值进行量化。
为了改进编译效率，代替照原样对图片信号进行编译的方法，使用一种方法，其使用通过预测单元150已经编码的区域来预测图片，并通过将在原始图片和预测的图片之间的残差值添加到预测的图片来获得重构图片。为了防止编码器和解码器中的不匹配，当在编码器中执行预测时，应该使用可以在解码器中使用的信息。为此，编码器再次执行重构编码的当前块的处理。逆量化单元120对变换系数的值进行逆量化，并且逆变换单元125使用逆量化的变换系数值来重构残差值。同时，滤波单元130执行滤波操作以改善重构图片的质量并改善编译效率。例如，可以包括去块滤波器、样本自适应偏移(SAO)和自适应环路滤波器。滤波后的图片被输出或存储在解码图片缓冲器(DPB)156中，以用作参考图片。
为了提高编译效率，不原样编译图片信号，而是使用通过使用已编译的区域并且将原始图片和预测图片之间的残差值与预测图片相加来经由预测单元150预测图片，从而获得重构图片的方法。帧内预测单元152在当前图片内执行帧内预测，并且帧间预测单元154通过使用存储在解码图片缓冲器156中的参考图片来预测当前图片。帧内预测单元152从当前图片中的重构区域执行帧内预测，并且将帧内编译信息传送到熵编译单元160。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a通过参考特定的重构区域来获得当前区域的运动矢量值。运动估计单元154a将参考区域的位置信息(参考帧、运动矢量等)传递到熵编译单元160，以使得将该位置信息包括在比特流中。运动补偿单元154b通过使用从运动估计单元154a传递的运动矢量值来执行帧间运动补偿。
预测单元150包括帧内预测单元152和帧间预测单元154。帧内预测单元152在当前图片内执行帧内预测，并且帧间预测单元154执行帧间预测以通过使用存储在DBP 156中的参考图片来预测当前图片。帧内预测单元152从当前图片中的重构样本执行帧内预测，并且将帧内编码信息传送到熵编译单元160。帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一个。帧内编码信息可以包括关于参考样本的信息。帧间预测单元154可以包括运动估计单元154a和运动补偿单元154b。运动估计单元154a通过参考重构参考图片的特定区域来获得当前区域的运动矢量值。运动估计单元154a将用于参考区域的运动信息集(参考图片索引、运动矢量信息等)传递到熵编译单元160。运动补偿单元154b通过使用从运动估计单元154a传递的运动矢量值来执行运动补偿。帧间预测单元154将包括关于参考区域的运动信息的帧间编码信息传递到熵编译单元160。
根据另一实施例，预测单元150可以包括帧内块复制(BC)预测单元(未示出)。帧内BC预测单元基于当前图片中的重构样本来执行帧内BC预测，并将帧内BC编码信息传送到熵编译单元160。帧内BC预测单元获得参考当前图片中的特定区域，指示用于预测当前区域的参考区域的块矢量值。帧内BC预测单元可以使用所获得的块矢量值来执行帧内BC预测。帧内BC预测单元将帧内BC编码信息传送到熵编译单元160。帧内BC编码信息可以包括块矢量信息。
当执行上述图片预测时，变换单元110变换在原始图片和预测图片之间的残差值以获得变换系数值。在这种情况下，可以以图片内的特定块为单位执行变换，并且可以在预设范围内改变特定块的大小。量化单元115对在变换单元110中生成的变换系数值进行量化，并将其发送到熵编译单元160。
熵编译单元160对指示量化的变换系数的信息、帧内编码信息、帧间编码信息等进行熵编译，以生成视频信号比特流。在熵编译单元160中，可以使用可变长度编译(VLC)方案、算术编译方案等。可变长度编译(VLC)方案包括将输入符号变换成连续的码字，并且码字的长度可以是可变的。例如，频繁出现的符号由短码字表示，而很少出现的符号由长码字表示。基于上下文的自适应可变长度编译(CAVLC)方案可以被用作可变长度编译方案。算术编译可以将连续数据符号变换成单个质数，其中，算术编译可以获得表示每个符号所需的最佳比特。基于上下文的自适应二进制算术编译(CABAC)可以被用作算术编译。例如，熵编译单元160可以二值化指示量化的变换系数的信息。熵编译单元160可以通过算术编译二进制信息来生成比特流。
使用网络抽象层(NAL)单元作为基本单位来封装所生成的比特流。NAL单元包括整数个编译的编译树单元。为了在视频解码器中对比特流进行解码，首先，必须将比特流分离成NAL单元，并且然后必须对每个分离的NAL单元进行解码。同时，可以通过诸如图片参数集(PPS)、序列参数集(SPS)、视频参数集(VPS)等等的高层集合的原始字节序列有效载荷(RBSP)来发送对视频信号比特流进行解码所需的信息。
同时，图1的框图示出根据本发明的实施例的编码装置100，并且分开显示的块在逻辑上区分并示出编码装置100的元件。因此，取决于设备的设计上述编码装置100的元件可以被安装为一个芯片或多个芯片。根据实施例，上述编码装置100的每个元件的操作可以由处理器(未示出)执行。
图2是根据本发明的实施例的视频信号解码装置200的示意性框图。参考图2，本发明的解码装置200包括熵解码单元210、逆量化单元220、逆变换单元225、滤波单元230和预测单元250。
熵解码单元210对视频信号比特流进行熵解码，以提取每个区域的变换系数信息、帧内编码信息、帧间编码信息等。例如，熵解码单元210可以从视频信号比特流中获得用于特定区域的变换系数信息的二值化码。熵解码单元210通过对二进制码进行逆二值化来获得量化的变换系数。逆量化单元220对量化的变换系数进行逆量化，并且逆变换单元225通过使用逆量化的变换系数来恢复残差值。视频信号处理设备200通过将由逆变换单元225获得的残差值与由预测单元250获得的预测值相加来恢复原始像素值。
同时，滤波单元230对图片执行滤波以改善图像质量。这可以包括用于减少块失真的去块滤波器和/或用于去除整个图片的失真的自适应环路滤波器。滤波后的图片被输出或存储在DPB 256中，以用作下一个图片的参考图片。
预测单元250包括帧内预测单元252和帧间预测单元254。预测单元250通过使用通过上述熵解码单元210解码的编码类型、每个区域的变换系数和帧内/帧间编码信息来生成预测图片。为了重构其中执行解码的当前块，可以使用当前图片或包括当前块的其他图片的解码区域。在重构中，仅将当前图片，即，仅执行帧内预测或者帧内BC预测的图片(或图块(tile)/切片(slice))称为帧内图片或I图片(或图块/切片)，并且将能够执行所有帧内预测、帧间预测以及帧内BC预测的图片(或图块/切片)称为帧间图片(或图块/切片)。为了预测帧间图片(或图块/切片)当中的每个块的样本值，使用最多一个运动矢量和参考图片索引的图片(或者图块/切片)被称为预测图片或P图片(或图块/切片)，并且使用最多两个运动矢量和参考图片索引的图片(或图块/切片)称为双向预测图片或B图片(或图块/切片)。换句话说，P图片(或图块/切片)使用最多一个运动信息集来预测每个块，并且B图片(或图块/切片)使用最多两个运动信息集来预测每个块。这里，运动信息集包括一个或多个运动矢量和一个参考图片索引。
帧内预测单元252使用帧内编码信息和当前图片中的重构的样本来生成预测块。如上所述，帧内编码信息可以包括帧内预测模式、最可能模式(MPM)标志和MPM索引中的至少一种。帧内预测单元252通过使用位于当前块的左边和/或上边的重构的样本作为参考样本来预测当前块的样本值。在本公开中，重构的样本、参考样本和当前块的样本可以表示像素。而且，样本值可以表示像素值。
根据实施例，参考样本可以是当前块的相邻块中包括的样本。例如，参考样本可以是与当前块的左边界相邻的样本和/或样本可以是与上边界相邻的样本。而且，参考样本可以是当前块的相邻块的样本当中的位于距当前块的左边界预定距离内的线上的样本和/或位于距当前块的上边界预定距离内的线上的样本。在这种情况下，当前块的相邻块可以包括左(L)块、上(A)块、左下(BL)块、右上(AR)块或左上(AL)块。
帧间预测单元254使用存储在DPB 256中的参考图片和帧间编码信息来生成预测块。帧间编译信息可以包括用于参考块的当前块的运动信息集(参考图片索引、运动矢量信息等)。帧间预测可以包括L0预测、L1预测和双向预测。L0预测意指使用L0图片列表中包括的一个参考图片进行预测，而L1预测意指使用L1图片列表中包括的一个参考图片进行预测。为此，可能需要一个运动信息集合(例如，运动矢量和参考图片索引)。在双向预测方法中，可以使用最多两个参考区域，并且两个参考区域可以存在于同一参考图片中或可以存在于不同图片中。即，在双向预测方法中，可以使用最多两个的运动信息集合(例如，运动矢量和参考图片索引)，并且两个运动矢量可以对应于相同的参考图片索引或不同的参考图片索引。在这种情况下，在时间方面，可以在当前图片之前和之后显示(或输出)参考图片。根据实施例，在双向预测方案中使用的两个参考区域可以是分别从图片列表L0和图片列表L1中选择的区域。
帧间预测单元254可以使用运动矢量和参考图片索引来获得当前块的参考块。参考块在与参考图片索引相对应的参考图片中。而且，由运动矢量指定的块的样本值或其内插值可以用作当前块的预测子(predictor)。对于具有子像素(sub-pel)单位像素准确度的运动预测，例如，可以使用用于亮度信号的8抽头内插滤波器和用于色度信号的4抽头内插滤波器。然而，以子像素为单位的用于运动预测的内插滤波器不限于此。以这种方式，帧间预测单元254执行运动补偿以根据先前使用运动信息重构的运动图片来预测当前单元的纹理。在这样的情况下，帧间预测单元可以使用运动信息集。
根据另一实施例，预测单元250可以包括帧内BC预测单元(未示出)。帧内BC预测单元可以通过参考包括当前图片内的重构样本的特定区域来重构当前区域。帧内BC预测单元从熵解码单元210获得当前区域的帧内BC编码信息。帧内BC预测单元获得指示当前图片中的特定区域的当前区域的块矢量值。帧内BC预测单元可以通过使用所获得的块矢量值来执行帧内BC预测。帧内BC编码信息可以包括块矢量信息。
通过将从帧内预测单元252或帧间预测单元254输出的预测值与从逆变换单元225输出的残差值相加生成重构的视频图片。即，视频信号解码装置200使用由预测单元250生成的预测块和从逆变换单元225获得的残差来重构当前块。
同时，图2的框图示出根据本发明的实施例的解码装置200，并且分开显示的块在逻辑上区分并示出解码装置200的元件。因此，取决于设备的设计上述解码装置200的元件可以被安装为一个芯片或多个芯片。根据实施例，上述解码装置200的每个元件的操作可以由处理器(未示出)执行。
图3图示其中在图片中编译树单元(CTU)被分割成编译单元(CU)的实施例。在视频信号的编码过程中，可以将图片分割成一系列编译树单元(CTU)。编译树单元由亮度样本的NXN块和与其相对应的色度样本的两个块组成。编译树单元可以被分割成多个编译单元。编译树单元可以不被分割，并且可以是叶节点。在这种情况下，编译树单元本身可以是编译单元。编译单元指代在上述视频信号的处理过程中，即，帧内/帧间预测、变换、量化和/或熵编译中用于处理图片的基本单元。一个图片中编译单元的大小和形状可能不恒定。编译单元可以具有正方形或矩形形状。矩形编译单元(或矩形块)包括垂直编译单元(或垂直块)和水平编译单元(或水平块)。在本说明书中，垂直块是其高度大于宽度的块，并且水平块是其宽度大于高度的块。此外，在本说明书中，非正方形块可以指代矩形块，但是本公开不限于此。
参考图3，首先将编译树单元分割成四叉树(QT)结构。即，在四叉树结构中具有2NX2N大小的一个节点可以被分割成具有NXN大小的四个节点。在本说明书中，四叉树也可以称为四元树。可以递归地执行四叉树分割，并非所有节点都需要以相同的深度分割。
同时，上述四叉树的叶节点可以进一步被分割成多类型树(MTT)结构。根据本发明的实施例，在多类型树结构中，一个节点可以被分割成水平或垂直划分的二叉或三叉树结构。即，在多类型树结构中，存在四个分割结构，诸如垂直二元分割、水平二元分割、垂直三元分割和水平三元分割。根据本发明的实施例，在每个树结构中，节点的宽度和高度都可以具有2的幂。例如，在二叉树(BT)结构中，2NX2N大小的节点可以通过垂直二元分割被分割成两个NX2N节点，并通过水平二元分割将其分割成两个2NXN节点。另外，在三叉树(TT)结构中，将2NX2N大小的节点通过垂直三元分割被分割成(N/2)X2N、NX2N和(N/2)X2N节点，并通过水平三元分割被分割成2NX(N/2)、2NXN和2NX(N/2)节点。可以递归地执行此多类型树分割。
多类型树的叶节点可以是编译单元。如果未指示用于编译单元的分割或针对最大变换长度该编译单元不大，则无需进一步划分就将编译单元用作预测和变换的单元。另一方面，可以通过诸如PPS、SPS、VPS等的高层集合的RBSP来预定义或发送上述四叉树和多类型树中的以下参数中的至少一个。1)CTU大小：四叉树的根节点大小，2)最小QT大小MinQtSize：允许的最小QT叶节点大小，3)最大BT大小MaxBtSize：允许的最大BT根节点大小，4)最大TT大小MaxTtSize：允许的最大TT根节点大小，5)最大MTT深度MaxMttDepth：从QT的叶节点分割而来的MTT的最大允许深度，6)最小BT大小MinBtSize：允许的最小BT叶节点大小，7)最小TT大小MinTtSize：允许的最小TT叶节点大小。
图4示出用于发信号告知四叉树和多类型树的分割的方法的实施例。可以使用预设标志来发信号告知上述四叉树和多类型树的分割。参考图4，指示是否分割四叉树节点的标志“qt_split_flag”、指示是否分割多类型树节点的标志“mtt_split_flag”、指示多类型树节点的分割方向的标志“mtt_split_vertical_flag”或者指示多类型树节点的分割类型的标志“mtt_split_binary_flag”中的至少一个可以被使用。
根据本发明的实施例，编译树单元是四叉树的根节点，并且可以首先被分割成四叉树结构。在四叉树结构中，为每个节点“QT_node”发信号告知“qt_split_flag”。如果“qt_split_flag”的值为1，则将该节点分割成4个正方形节点，并且如果“qt_split_flag”的值为0，则相应的节点成为四叉树的叶节点“QT_leaf_node”。
每个四叉树叶节点“QT_leaf_node”可以进一步被分割成多类型树结构。在多类型树结构中，为每个节点“MTT_node”发信号告知“mtt_split_flag”。当“mtt_split_flag”的值是1时，相应的节点被分割成多个矩形节点，并且当“mtt_split_flag”的值是0时，相应的节点是多类型树的叶节点“MTT_leaf_node”。当将多类型树节点“MTT_node”分割成多个矩形节点时(即，当“mtt_split_flag”的值是1时)，可以附加地发信号告知节点“MTT_node”的“mtt_split_vertical_flag”和“mtt_split_binary_flag”。当“mtt_split_vertical_flag”的值是1时，指示节点“MTT_node”的垂直分割，并且当“mtt_split_vertical_flag”的值是0时，指示节点“MTT_node”的水平分割。另外，当“mtt_split_binary_flag”的值为1时，节点“MTT_node”被分割成2个矩形节点，并且当“mtt_split_binary_flag”的值为0时，节点“MTT_node”被分割成3个矩形节点。
对不再被划分的编译单元(即，编译单元树的叶节点)上执行用于编码的图片预测(运动补偿)。在下文中，用于执行预测的基本单元将被称为“预测单元”或“预测块”。
在下文中，在此使用的术语“单元”可以代替预测单元，该预测单元是用于执行预测的基本单元。然而，本公开不限于此，并且“单元”可以被理解为广泛地涵盖编译单元的概念。
图5和图6更加具体地图示根据本发明的实施例的帧内预测方法。如上所述，帧内预测单元通过使用位于当前块的左边和/或上边的重构的样本作为参考样本来预测当前块的样本值。
首先，图5示出在帧内预测模式中用于当前块的预测的参考样本的实施例。根据实施例，参考样本可以是与当前块的左边界相邻的样本和/或与上边界相邻的样本。如图5中所示，在当前块的大小是WXH并且与当前块相邻的单个参考线的样本被用于帧内预测时，可以使用位于当前块的左边和上边的最大2W+2H+1个邻近样本来配置参考样本。
当尚未恢复要用作参考样本的至少一些样本时，帧内预测单元可以通过执行参考样本填充过程来获得参考样本。帧内预测单元可以执行参考样本滤波过程以减少帧内预测中的误差。也就是说，可以对通过参考样本填充过程获得的相邻样本和/或参考样本执行滤波，以便获得滤波的参考样本。帧内预测单元通过使用如上获得的参考样本来预测当前块的样本。帧内预测单元通过使用未滤波的参考样本或滤波的参考样本来预测当前块的样本。在本公开中，相邻样本可以包括至少一个参考线上的样本。例如，相邻样本可以包括在与当前块的边界相邻的线上的相邻样本。
接下来，图6示出用于帧内预测的预测模式的实施例。对于帧内预测，可以发信号告知指示帧内预测方向的帧内预测模式信息。帧内预测模式信息指示被包括在帧内预测模式集中的多个帧内预测模式中的一个。在当前块是帧内预测块时，解码器从比特流接收当前块的帧内预测模式信息。解码器的帧内预测单元基于提取的帧内预测模式信息对当前块执行帧内预测。
根据本发明的实施例，帧内预测模式集可以包括在帧内预测中使用的所有帧内预测模式(例如，总共67个帧内预测模式)。更具体地说，帧内预测模式集可以包括平面模式、DC模式以及多个(例如65个)角度模式(即，定向模式)。可以通过预设索引(即，帧内预测模式索引)来指示每个帧内预测模式。例如，如图6所示，帧内预测模式索引0指示平面模式，而帧内预测模式索引1指示DC模式。此外，帧内预测模式索引2至66可以分别指示不同的角度模式。角度模式分别指示在预设角度范围内彼此不同的角度。例如，角度模式可以指示在顺时针方向的45度和-135度之间的角度范围(即，第一角度范围)内的角度。可以基于12点钟方向来定义角度模式。在这种情况下，帧内预测模式索引2指示水平对角线(HDIA)模式，帧内预测模式索引18指示水平(水平，HOR)模式，帧内预测模式索引34指示对角(DIA)模式，帧内预测模式索引50指示垂直(VER)模式，而帧内预测模式索引66指示垂直对角(VDIA)模式。
在下文中，参照图7描述根据本公开的实施例的帧间预测方法。在本公开中，帧间预测方法可以包括为平移运动优化的一般帧间预测方法和基于仿射模型的帧间预测方法。此外，运动矢量可以包括用于根据一般帧间预测方法的运动补偿的一般运动矢量和用于仿射补偿的控制点运动矢量中的至少一个。
图7图示了根据本公开的实施例的帧间预测方法。如上所述，解码器可以参考另一解码图片的重构样本来预测当前块。参照图7，解码器基于当前块701的运动信息集来获取参考图片720内的参考块702。在这种情况下，运动信息集可以包括参考图片索引和运动矢量(MV)。参考图片索引指示参考图片列表中，包括用于当前块的帧间预测的参考块的参考图片720。根据实施例，参考图片列表可以包括L0图片列表或L1图片列表中的至少一个。运动矢量指示当前图片710内的当前块701的坐标值与参考图片720内的参考块702的坐标值之间的偏移。解码器基于参考块702的样本值，获取当前块701的预测子并且使用预测子，重构当前块701。
具体地，编码器可以通过在具有较高恢复序列的图片中搜索与当前块相似的块来获取参考块。例如，编码器可以在预设搜索区域内搜索与当前块的样本值的差值之和最小的参考块。在这种情况下，为了测量当前块和参考块的样本之间的相似性，可以使用绝对差和(SAD)和哈达玛变换差和(SATD)中的至少一个。在此，SAD可以是通过将包括在两个块中的样本值的差的所有绝对值相加而获得的值。此外，SATD可以是通过将通过包括在两个块中的样本值的差的哈达玛变换获取的哈达玛变换系数的所有绝对值相加而获得的值。
同时，可以使用一个或多个参考区域来预测当前块。如上所述，可以使用两个或更多个参考区域，通过一对预测方法来帧间预测当前块。根据实施例，解码器可以基于当前块的两个运动信息集来获取两个参考块。进一步地，解码器可以基于两个所获取的参考块的样本值，获取当前块的第一预测子和第二预测子。此外，解码器可以使用第一预测子和第二预测子来重构当前块。例如，解码器可以基于第一预测子和第二预测子的每个样本的平均值来重构当前块。
如上所述，对于当前块的运动补偿，可以发信号告知一个或多个运动信息集。在这种情况下，可以使用用于多个块中的每一个的运动补偿的运动信息集之间的相似性。例如，可以由用于预测其他重构样本中的一个的运动信息集推导出用于预测当前块的运动信息集。为此，编码器和解码器可以减少信令开销。
例如，可能存在很可能基于与当前块的运动信息集相同或相似的运动信息集预测出的多个候选块。解码器可以基于多个候选块生成合并候选列表。在此，合并候选列表可以包括与在比当前块更早重构的样本之中，很可能已经根据与当前块的运动信息集相关的运动信息集预测出的样本相对应的候选。编码器和解码器可以根据预定义的规则，配置当前块的合并候选列表。在此，分别由编码器和解码器配置的合并候选列表可以相同。例如，编码器和解码器可以基于当前块在当前图片中的位置来配置当前块的合并候选列表。将参考图9描述由编码器和解码器配置当前块的合并候选列表的方法。在本公开中，特定块的位置指示特定块的左上样本在包括该特定块的图片中的相对位置。
同时，为了提高编译效率，可以使用量化对残差信号进行变换获得的变换系数值并且对量化的变换系数进行编译，而不是原样编译上述残差的方法。如上所述，变换单元可以通过对残差信号进行变换来获得变换系数值。在这种情况下，特定块的残差信号可以分布在当前块的整个区域上。因此，可以通过残差信号的频域转换，将能量集中在低频区域中，从而提高编译效率。在下文中，将详细地描述变换或逆变换残差信号的方法。
图8是具体示出用于通过编码器变换残差信号的方法的图。如上所述，可以将空间域中的残差信号变换成频域。编码器可以通过变换所获得的残差信号来获得变换系数。首先，编码器可以获得包括用于当前块的残差信号的至少一个残差块。残差块可以是当前块，也可以是从当前块划分的块之一。在本公开中，残差块可以被称为残差阵列或残差矩阵，其包括当前块的残差样本。在本公开中，残差块可以表示变换单元或具有与变换块相同大小的块。
接下来，编码器可以通过使用变换核来变换残差块。用于变换残差块的变换核可以是具有垂直变换和水平变换的可分离特性的变换核。在这种情况下，可以将用于残差块的变换分别执行为垂直变换和水平变换。例如，编码器可以通过在残差块的垂直方向上应用变换核来执行垂直变换。编码器可以通过在残差块的水平方向上应用变换核来执行水平变换。在本公开中，变换核可以被用作指代用于残差信号的变换的参数集的术语，诸如变换矩阵、变换阵列、变换函数和变换。根据实施例，变换核可以是多个可用核中的任何一个。基于不同变换类型的变换核可以被用于垂直变换和水平变换中的每一个。将参考图12至图26描述用于选择多个可用变换核之一的方法。
编码器可以将从残差块变换的变换块传递到量化单元，并且量化该变换块。变换块可以包括多个变换系数。具体地，变换块可以包括以二维排列的多个变换系数。与残差块的情况一样，变换块的大小可以与当前块或从当前块划分的块的大小相同。传递到量化单元的变换系数可以被表示为量化值。
编码器可以在对变换系数进行量化之前执行附加变换。如图8所示，上述变换方法可以被称为初次变换，以及附加变换可以被称为二次变换。对于每个残差块，二次变换是可选择的。根据实施例，编码器可以通过对仅通过初次变换难以将能量集中在低频区域中的区域执行二次变换来提高编译效率。例如，可以将二次变换添加到其中在除了残差块的水平或垂直方向外的方向中残差值显示出较大的块。与帧间预测块的残差值相比，帧内预测块的残差值在除了水平或垂直方向以外的方向上具有更高的变换概率。因此，编码器可以对帧内预测块的残差信号附加地执行二次变换。编码器可以省略用于帧间预测块的残差信号的二次变换。
作为另一示例，可以根据当前块或残差块的大小来确定是否执行二次变换。另外，可以根据当前块或残差块的大小，使用具有不同大小的变换核。例如，可以将8X8二次变换应用于宽度或高度中的较短边的长度等于或大于第一预配置的长度的块。此外，4X4二次变换可以应用于宽度或高度中的较短边的长度等于或大于第二预配置长度并且小于第一预配置长度的块。第一预配置长度可以大于第二预配置长度，但本公开不限于此。此外，与初次变换不同，二次变换可以不分为垂直变换和水平变换。这种二次变换可以被称为低频不可分离变换(LFNST)。
执行了频率变换，也不会减少高频带中的能量。因此，可能劣化归因于量化的压缩性能。当对残差值很少存在的区域执行变换时，可能会不必要地增加编码时间和解码时间。因此，可以省略对特定区域的残差信号的变换。可以通过与特定区域的变换有关的语法元素来确定是否对特定区域的残差信号执行变换。例如，语法元素可以包括变换跳过信息。变换跳过信息可以是变换跳过标志。如果关于残差块的变换跳过信息指示变换跳过，则不执行对残差块的变换。在这种情况下，编码器可以立即量化未对其执行相应区域的变换的残差信号。可以经由图1的变换单元，执行参考图8描述的编码器的操作。
上述变换相关语法元素可以是从视频信号比特流解析的信息。解码器可以对视频信号比特流进行熵解码，以便获得变换相关语法元素。编码器可以对变换相关语法元素进行熵编译，以便生成视频信号比特流。
图9是具体图示用于通过编码器和解码器，对变换系数进行逆变换来获得残差信号的方法的图。为了便于描述，将描述经由编码器和解码器中的每一个的逆变换单元执行逆变换操作。逆变换单元可以通过对逆量化的变换系数进行逆变换来获得残差信号。首先，逆变换单元可以从区域的变换相关语法元素中检测是否对特定区域执行逆变换。根据实施例，当用于特定变换块的变换相关语法元素指示变换跳过时，可以省略对变换块的变换。在这种情况下，可以省略上述关于变换块的初次逆变换和二次逆变换。可以将逆量化的变换系数用作残差信号。例如，解码器可以通过将逆量化的变换系数用作残差信号来重构当前块。
根据另一实施例，用于特定变换块的变换相关语法元素可以不指示变换跳过。在这种情况下，逆变换单元可以确定是否对二次变换执行二次逆变换。例如，当变换块是帧内预测块的变换块时，可以对变换块执行二次逆变换。可以基于与变换块相对应的帧内预测模式来确定用于变换块的二次变换核。作为另一示例，可以基于变换块的大小来确定是否执行二次逆变换。可以在逆量化之后并且在初次逆变换之前执行二次逆变换。
逆变换单元可以对逆量化的变换系数或二次逆变换的变换系数执行初次逆变换。在初次逆变换的情况下，与初次变换的情况一样，可以单独地执行垂直变换和水平变换。例如，逆变换单元可以通过对变换块执行垂直逆变换和水平逆变换来获得残差块。逆变换单元可以基于用于对变换块进行变换的变换核来对变换块进行逆变换。例如，编码器可以显式地或隐式地发信号告知指示多个可用变换核当中的被应用于当前变换块的变换核的信息。解码器可以通过使用指示发信号告知的变换核的信息，从多个可用变换核当中选择要用于变换块的逆变换的变换核。逆变换单元可以通过使用经由对变换系数进行逆变换而获得的残差信号来重构当前块。
图10是用于描述根据本发明的实施例的基于矩阵的帧内预测方法的图。
根据本发明的实施例，如图10所示，编码器/解码器可以通过基于与当前块的左侧和上侧相邻的参考样本应用矩阵值和偏移来生成用于当前块的预测块。参考图10，bdrytop1001指示当前块上方的参考样本，并且可以由图10中的W表示。此外，bdryleft 1002指示当前块的左参考样本，并且可以由图10中的H表示。作为实施例，用于基于矩阵的帧内预测的参考样本线可以是最接近当前块的参考样本线。在本说明书中，这种基于矩阵的帧内预测方法可以被称为基于矩阵的帧内预测(MIP)或仿射线性加权帧内预测(ALWIP)。
图11是图示根据本发明的实施例的基于矩阵的帧内预测过程的图。
参考图11，在步骤S1101中，编码器/解码器可以对相邻参考样本执行平均化过程。平均化过程可以被称为下采样过程。例如，在步骤S1101中，可以将当前块上方的参考样本bdrytop表示(或设置、替换)为特定捆绑(或数量)单位的平均值。例如，在图11的步骤S1101中，可以通过两个参考样本平均参考样本bdrytop中的八个参考样本，以分别生成四个新的(或下采样的)参考样本。新的参考样本在图11中可以被称为bdrytop red。以相同的方式，在步骤S1101中，可以将当前块的八个左参考样本bdryleft下采样为四个新参考样本bdryleft red。在实施例中，可以根据当前预测块的大小来确定平均化过程之后的参考样本的数量(即，下采样的参考样本的数量)。
在步骤S1102中，编码器/解码器可以执行矩阵向量乘法过程。换句话说，编码器/解码器可以在步骤S1101中将矩阵运算应用于下采样的参考样本。作为矩阵向量乘法过程的结果，可以生成临时预测样本。编码器/解码器可以基于特定模式将矩阵向量和/或偏移值应用于步骤S1101的结果值。作为示例，特定模式可以被表示为如图11所示的模式k。编码器/解码器可以使用下面的等式1将矩阵向量和偏移值应用于步骤S1101的结果值。
[等式1]
predred＝A·bdryred+b
在等式1中，A是表示矩阵的变量。在实施例中，可以在编码器和解码器中预定义矩阵。此外，A可以包括Wred x Hred列，并且如果W＝H＝4，则可以包括4列，并且在其他情况下，可以包括8列。另外，b是指示偏移的变量(或向量)，并且大小可以被定义为Wred x Hred。根据本发明的实施例，矩阵A和向量b可以是由S0、S1和S2组成的三个集合中的任何一个。在实施例中，S0可以由18个矩阵组成，每个矩阵包括16行、4列和18个偏移向量。此外，S1可以由10个矩阵组成，每个矩阵具有16行、8列和10个偏移向量。此外，S2可以由6个矩阵组成，每个矩阵具有64行、8列和6个偏移向量。在实施例中，可以如下面的等式2中确定指示上述集合中的特定集合的索引idx。
[等式2]
(2对于max(W，H)＞8
此外，在实施例中，可以基于下面的等式3来确定上述模式k。
[等式3]
对于W＝H＝4且模式<18，模式
对于W＝H＝4且模式>＝18，模式-17
对于max(W,H)＝8且模式<10，模式
对于max(W,H)＝8且模式>＝10，模式-9
对于max(W,H)>8且模式<6，模式
对于max(W,H)>8且模式>＝6，模式-5
在步骤S1103中，编码器/解码器可以对步骤S1102的结果值执行插值过程。在本发明中，插值过程可以被称为上采样过程。可以将步骤S1102的结果值(即，临时预测样本)映射到当前预测块的指定位置。在当前预测块大于下采样的参考样本(或参考块)时，在垂直方向、水平方向或两个方向上应用单步线性插值以生成最终预测块(或最终预测样本)。在实施例中，可以将上述插值过程应用于具有大小为W×H的块中的max(W,H)>＝8的块。在下文中，将详细地描述用于根据当前处理块的大小应用MIP的方法。
图12是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
参考图12，假设当前块(或当前预测块)是4×4块。编码器/解码器首先对当前块的参考样本执行平均化过程(S1201)。在步骤S1201的平均化过程之后，可以生成四个新的参考样本(即，下采样的参考样本)。编码器/解码器基于下采样的参考样本执行矩阵向量乘法过程(S1202)，并且在没有附加线性插值的情况下完成预测(S1203)。在4×4块的情况下，预测块的样本总数是16，其与步骤S1202的结果样本相同。因此，在当前块(或当前预测块)是4×4块时，可以省略插值过程。
图13是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
参考图13，假设当前块(或当前预测块)是8×8块。编码器/解码器首先对当前块的参考样本执行平均化过程(S1301)。编码器/解码器可以通过将当前块的参考样本按2个进行平均来生成总共八个新的参考样本(即，下采样的参考样本)。
编码器/解码器可以通过执行矩阵向量乘法过程来生成总共16个新样本(S1302)。如上所述，在本发明中，作为矩阵向量乘法过程的结果而生成的样本可以被称为临时预测样本。此外，如图13所示，编码器/解码器可以将作为矩阵向量乘法过程的结果而生成的临时预测样本映射(或分配)到当前预测块的特定位置。
在本发明的实施例中，在执行线性插值过程(S1303)时，可以将通过步骤S1301的平均化过程生成的参考样本(即，下采样的参考样本)映射到与宽度相对应的参考样本(即，水平参考样本或上参考样本)中的特定位置。例如，当前块上方的下采样的参考样本可以被映射到奇数编号的位置。对于与高度相对应的参考样本(即，垂直参考样本或左参考样本)，可以原样使用在平均化过程中使用的参考样本。在这种情况下，编码器/解码器可以对参考样本执行参考样本滤波。在实施例中，编码器/解码器可以通过基于当前样本应用较高和较低权重(或权重滤波器)[1,2,1]来执行滤波。可替代地，可以应用已知的方法。编码器/解码器可以基于映射(或推导)的参考样本来执行线性插值过程。
图14是图示根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
参考图14，假设当前块(或当前预测块)是8×4块。在当前块是8×4块时，编码器/解码器对八个上参考样本按2个进行平均以生成四个下采样的参考样本，并且左参考样本可以原样使用这些值而不取平均值(S1401)。编码器/解码器可以通过基于八个新参考样本执行矩阵向量乘法过程来生成16个临时预测样本，并且可以将所生成的临时预测样本映射到预设特定位置(S1402)。编码器/解码器基于所生成的临时预测样本来执行线性插值过程(S1403)。在实施例中，线性插值过程可能仅需要垂直样本。也就是说，可以仅在水平方向上执行线性插值过程，并且通过此，可以生成最终预测块。
图15是示出根据应用本发明的实施例的用于将MIP应用于特定大小的块的方法的图。
参考图15，假设当前块(或当前预测块)是16×16块。在当前块是16×16块时，在S1501中，编码器/解码器通过将上参考样本按2个进行平均来生成八个新的参考样本(即，下采样的参考样本)。所生成的八个下采样的参考样本可以用于后续的线性插值。另外，编码器/解码器可以通过再次将八个下采样的参考样本按2个进行平均来生成四个新的参考样本(即，下采样的参考样本)。编码器/解码器可以通过对左参考样本按4个进行平均来生成四个新的参考样本(即，下采样的参考样本)。
在步骤S1502中，编码器/解码器可使用下采样的参考样本(垂直方向上的四个和水平方向上的四个)来执行矩阵向量乘法，并且生成临时预测样本。临时预测样本可以为64。
在步骤S1503中，编码器/解码器可以使用在步骤S1501中生成的八个下采样的参考样本作为用于线性插值的水平参考样本。另外，作为垂直方向，原始参考样本可以原样用于线性插值。在实施例中，线性插值可以应用于水平和垂直方向两者。
图16是图示根据本发明的实施例的用于描述发信号通知和获得MIP相关信息的方法的编译单元语法结构的示例的图。
参考图16，将集中于解码器描述本发明的实施例，但是本发明不限于此，并且根据本实施例的语法信令/解析方法可以基本上同样地应用于编码器。在图16中，CuPredMode[x0][y0]是指示当前编译单元的预测模式的变量。预测模式可以包括MODE_INTRA和MODE_INTER中的任一个，并且当预测模式是MODE_INTRA时，当前编译单元的预测模式可以是帧内预测模式。Pcm_flag[x0][y0]表示指示当前预测块是否通过脉冲编译调制方法被编译的语法元素。
因此，参考图16，当CuPredMode[x0][y0]指示MODE_INTRA，并且pcm_flag[x0][y0]指示0时，解析MIP相关信令信息是可能的。在实施例中，MIP可以应用于亮度分量。treeType为指示亮度和色度分量的分割类型的变量，SINGLE_TREE可以指示亮度及色度以相同方式(或分割结构)分割，且DUAL_TREE_LUMA可以指示亮度和色度以不同方式分割的亮度分量。当树类型是SINGLE_TREE和DUAL_TREE_LUMA中的任何一个时，可以解析MIP相关信令信息。
在图16中，intra_lwip_flag[x0][y0]指示语法元素(或标志)，其指示MIP是否被应用于当前编译块。在本发明中，intra_lwip_flag可以被称为intra_mip_flag[x0][y0](MIP标志)。在步骤S1601中，当满足预设条件时，解码器可以解析MIP标志。根据本发明的实施例，用于解析MIP标志的条件可以如下面的等式4中所定义。
[等式4]
(Abs(Log2(cbWidth)–Log2(cbHeight))<＝2&&(cbWidth<＝INTRA_MIP_MAX_WIDTH&&cbHeight<＝INTRA_MIP_MAX_HEIGHT))
在等式4中，Abs()表示取绝对值作为结果值而没有符号的运算符。此外，Log2()表示以2为底的二进制对数，并且A&&B中的&&表示当A和B都为真时使结果为真的运算符。cbWidth是表示编译块的宽度的变量，并且cbHeight是表示编译块的高度的变量。INTRA_MIP_MAX_WIDTH是表示最大MIP可应用宽度的变量，INTRA_MIP_MAX_HEIGTH是表示最大MIP可应用高度的变量。
在当前编译块满足等式4的条件时，解码器可以解析MIP标志。当满足等式4中的Abs(Log2(cbWidth)-Log2(cbHeight))<＝2(被称为第一条件)时，通过取log2获得的宽度与高度之差可以小于或等于2。当在等式4中满足(cbWidth<＝INTRA_MIP_MAX_WIDTH&&cbHeight<＝INTRA_MIP_MAX_HEIGHT)(被称为第二条件)和(cbWidth<＝INTRA_MIP_MAX_WIDTH||cbHeight<＝INTRA_MIP_MAX_HEIGHT)(被称为第三条件)时，当前编译块的宽度和高度可以是要应用预设MIP的块大小。例如，要应用预设MIP的块大小可以是256、128、64、32、16、8或4。当MIP标志为真时，解码器可以通过解析intra_lwip_mpm_flag[x0][y0]并且基于此解析intra_lwip_mpm_idx[x0][y0]或intra_lwip_mpm_remains[x0][y0]来获得在MIP模式中使用的预测模式信息。
图17是图示根据本发明的实施例的用于描述发信号通知和获得MIP相关信息的方法的编译单元语法结构的示例的图。
参考图17，将集中于解码器描述本发明的实施例，但是本发明不限于此，并且根据本实施例的语法信令/解析方法可以基本上同样地应用于编码器。根据本发明的实施例，解码器可以基于在较高级别处发信号通知的语法元素(或标志)来确定是否解析MIP标志。在实施例中，较高级别可以是序列、图片、切片或图块。例如，上文参照图16描述的等式4的条件可以包括sps_mip_enabled_flag是否为真。这可以被称为第四条件。在实施例中，可以通过序列参数集RBSP(SPS)语法中的sps_mip_enabled_flag来指示是否使用MIP。
图18是图示根据本发明的实施例的用于描述发信号通知和获得二次变换相关信息的方法的编译单元语法结构的示例的图。
参考图18，将着重于解码器描述本发明的实施例，但是本发明不限于此，并且根据本实施例的语法信令/解析方法可以基本上同样地应用于编码器。编码器可以将初次变换应用于当前编译块，然后应用二次变换，并且解码器可以首先应用二次变换(即，逆二次变换)，然后应用初次变换(即，逆初次变换)。
根据本发明的实施例，解码器可以在确定是否解析二次变换索引时考虑MIP标志的值。在图18中，st_idx[x0][y0]可以表示指示用于二次变换的二次变换核的语法元素，并且在本发明中可以被称为二次变换索引。在实施例中，在步骤S1801中，在st_idx[x0][y0]的解析条件中，可以包括intra_lwip_flag[x0][y0]值不为真的情况。也就是说，不将二次变换应用于应用了MIP的块，并且可以仅应用初次变换。
图19和20是图示根据本发明的实施例的用于描述发信号通知和获得二次变换相关信息的方法的残差编译单元语法结构的示例的图。
参考图19和20，将集中于解码器来描述本发明的实施例，但是本发明不限于此，并且根据本实施例的语法信令/解析方法可以基本上同样地应用于编码器。参考图19，根据本发明的实施例，解码器可以将MIP标志不为真的情况定义为用于对numZeroOutSigCoeff进行计数的条件。numZeroOutSigCoeff是指示归零有效系数的数量的变量。当满足步骤S1901中定义的条件时，解码器可以对numSigCoeff进行计数。
参考图20，解码器可以将MIP标志不为真的情况定义为甚至不能对变量numSigCoeff计数的上位条件。numSigCoeff是指示有效系数的数量的变量。在这种情况下，numSigCoeff和numZeroOutSigCoeff变量的值都不存在，因此，可以在语义上定义它们的值。例如，当由于两个变量未被解析而不存在值时，解码器可以将numSigCoeff设置(或推断)为0，并且可以将numZeroOutSigCoeff设置(或推断)为大于0的特定值。例如，解码器可以将大于0的特定值设置为与可以不解析二次变换索引(即，st_idx[x0][y0])的条件相对应的值。可替代地，当MIP标志在语义上为真时，numZeroOutSigCoeff的值可以被设定为大于0的值。在这种情况下，可以仅在numZeroOutSigCoeff的值为0时应用二次变换。当st_idx[x0][y0]指示0时，其可指示不应用二次变换。
图21是图示根据本发明的实施例的用于描述发信号通知和获得变换相关信息的方法的变换单元语法结构的示例的图。
参考图21，将着重于解码器描述本发明的实施例，但是本发明不限于此，并且根据本实施例的语法信令/解析方法可以基本上同样地应用于编码器。在图21中，tu_mts_idx[x0][y0]表示指示变换核(或变换核集)的语法元素，并且在本发明中可以被称为MTS索引。在实施例中，当MTS索引指示0时，可以使用预设默认变换核。当MTS索引大于0时，可以使用核的若干预设组合。在实施例中，解码器可以使用预设基本变换核，而不解析MIP被应用于当前块的MTS索引。这可以降低编码器和解码器的复杂度。
因此，在步骤S2101中，解析tu_mts_idx[x0][y0]的条件可以包括intra_lwip_flag[x0][y0]不为真的情况。可替代地，当intra_lwip_flag[x0][y0]为真时，可以使用针对MIP优化的变换核而非应用默认变换集。当构造一个变换核集时，可以在没有单独的信令/解析的情况下确定变换核。
另外，根据本发明的实施例，在推导色度块的预测模式时，编码器/解码器可以基于与色度块相对应的亮度块中的特定位置的亮度模式来确定色度块的预测模式。
在实施例中，当MIP模式不应用于与色度块相对应的亮度块时，编码器/解码器可以基于对应亮度的预测模式来推导色度预测模式。此外，根据实施例，在确认与色度块相对应的亮度块中的MIP模式时，可以预定义亮度位置。亮度位置可以是对应亮度块的中心的右下像素位置。也就是说，当相应亮度位置[xCb+cbWidth/2][yCb+cbHeight/2]中的intra_lwip_flag[xCb+cbWidth/2][yCb+cbHeight/2]值指示0时，编码器/解码器可以基于相应亮度块的预测模式来推导色度预测模式。
当MIP模式被应用于与色度块相对应的亮度块时，即，当特定亮度位置的MIP标志指示1时，可以将用于确定(或推导)色度块的预测模式的亮度帧内预测模式映射到一般预测模式，并且可以基于变换成一般预测模式的亮度帧内预测模式来推导色度预测模式。在实施例中，还可以考虑包括[xCb+cbWidth/2][yCb+cbHeight/2]的亮度块的大小sizeID。
在实施例中，当intra_lwip_flag[xCb+cbWidth/2][yCb+cbHeight/2]为真时，编码器/解码器可以使用预设基本模式而不是使用相应亮度位置的预测模式。换句话说，当应用MIP时，可以将对应亮度位置的预测模式设置为预设基本模式。这是因为应用MIP的块的预测模式可以具有与一般预测模式不同的特性，因此可能不适合用作色度块的预测模式。例如，预设基本模式可以是统计上选择最多的预测模式(例如，平面模式)。
图22是图示根据本发明的实施例的用于构造最可能模式(MPM)列表的方法的图。
参考图22，编码器/解码器可以参考与当前编译块2201相邻的相邻块的预测模式，以便构建(或生成)用于当前编译块2201的MPM列表(或MPM候选列表)。在实施例中，编码器/解码器可以参考如图22所示的L位置(左、左下位置)和A位置(上方、右上位置)的预测模式来构建MPM列表。在本说明书中，为了便于描述，可以将L位置的帧内预测模式简称为L，并且可以将A位置的帧内预测模式简称为A。
当前编译块的左上角的坐标可以是xCb,yCb。在这种情况下，L的位置可以是(xCb-1,Height-1)，并且A的位置可以是(Width-1,yCb-1)。在此，Height表示当前编译块2201的高度，以及Width表示当前编译块2201的宽度。在图22中，假设位置A处的相邻块是以MIP模式被预测的块，并且通过MIP编译的编译A块可以具有与由其他一般方法预测的块不同的预测模式。在构建MPM列表时，编码器/解码器可以将位置A处的相邻块(其是由MIP编译的块)的帧内预测模式映射(或解释、设置)为另一预设预测模式。下表1图示了通过将由MIP预测的块中使用的预测模式映射到一般预测模式而定义的表。
[表1]
Figure BDA0003324101940000331
参考表1，MipSizeId可以是MipSizeId[xNbX][yNbX]。例如，当相邻块的intra_mip_flag[xNbX][yNbX]指示1以指示其是用MIP预测的块时，编码器/解码器可以获得相邻块的MipSizeId值并获得表1中的对应值。此时，X可以是L和A。表1示出了使用MIP的预测模式与对应于每个MipSizeId的一般预测模式之间的关系。MipSizeId也可以被表示为MipSizeId[x][y]，并且可以具有x＝xCb+cbWidth..xCb+cbWidth-1和y＝yCb..yCb+cbHeight–1的范围/宽度。编码器/解码器可以以下述方式确定MipSizeId值。
1)当cbWidth及cbHeight两者均等于4时，MipSizeId[x][y]等于0。
2)当cbWidth和cbHeight两者都小于或等于8时，MipSizeId[x][y]等于1。
3)在其它情况下，MipSizeId[x][y]等于2。
在图22中，由于与位置L相对应的块是使用一般预测模式而不是MIP模式编码的块，因此编码器/解码器可以在构建MPM列表时使用位置L的块的预测模式，而无需单独的变换过程。
因此，编码器/解码器可以检查A及L的相邻块中的intra_mip_flag[xNbX][yNbX]的值。当intra_mip_flag[xNbX][yNbX]为1时，可以根据IntraPredModeY[xNbX][yNbX]和MipSizeId[xNbX][yNbX]，将candIntraPredModeX重新解译(或设定)为来自上文所述的表1的一般预测模式。此外，当intra_mip_flag[xNbX][yNbX]的值为0时，candIntraPredModeX可以等于IntraPredModeY[xNbX][yNbX]。
编码器/解码器可以基于两个位置的相邻块的预测模式来构建MPM列表。在本发明中，已经将参考两个相邻块的情况描述为示例，但是本发明不限于此，并且可以使用两个或更多个相邻块来构建MPM列表。
另外，根据本发明的实施例，在构建未应用MIP的当前编译块的MPM列表时，当将MIP应用于预设位置的相邻块时，可以将预设位置的相邻块的帧内预测模式设置为预设模式。预设模式可以是被定义为帧内预测模式的若干预测模式中的任何一个。例如，预设模式可以是基本预测模式。例如，预设模式可以是统计上选择最多的预测模式(例如，平面模式)。也就是说，当预设位置的相邻块的intra_mip_flag[xNbX][yNbX]为1时，编码器/解码器可以将预设模式用作相邻块的预测模式来构建MPM列表。
图23是用于描述根据本发明的实施例的根据树结构的亮度块和色度块之间的关系的图。
图23的(a)示出单树分割结构中的色度块与对应亮度块之间的关系。亮度与色度的比率是例如色度格式4：2：0。对于色度预测模式被用作亮度预测模式的DM模式，可以使用亮度编译块的左上角的LT(左上)位置(xCb,yCb)坐标中的intraPredModeY[xCb][yCb]的值。另外，编码器/解码器可以检查该位置处的intra_mip_flag[xCb][yCb]的值。当值为1时，编码器/解码器可以在指示使用MIP预测模式时，获得对应位置处的MipSizeId[xCb][yCb]的值，然后使用下表2将其重新解释为一般预测模式，并且将其用作色度预测模式。
[表2]
Figure BDA0003324101940000361
图23的(b)示出双树分割结构中的色度块与对应亮度块之间的关系。在对应分割结构中，用于色度和亮度的分割方法可以不同。色度格式具有例如4：2：0的结构。在色度预测模式用作亮度预测模式的直接模式(DM)模式的情况下，可以使用图23的(b)的位置C的intraPredModeY值。也就是说，考虑到位置C，DM模式可以是IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]。
因此，在色度帧内预测模式中，检查对应于对应亮度块中的位置C的intra_mip_flag[xCb+cbWidth/2][yCb+cbHeight/2]的值，并且当检查结果指示1时，可以获得IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]和MipSizeId[xCb+cbWidth/2][yCb+cbHeight/2]的值，并且可以使用表16-1中所示的映射方法，在一般预测模式中重新解释，并用作色度帧内预测模式。在另一种情况下，如果intra_mip_flag[xCb+cbWidth/2][yCb+cbHeight/2]的值为0，则可以原样使用IntraPredModeY[xCb+cbWidth/2][yCb+cbHeight/2]的值。在本发明中，仅通过示例描述了C的位置，但是本发明不限于此，并且该位置可以是指定坐标并且可以是多个位置。
在图23的单树结构中，作为示例，基于LT位置检查intra_mip_flag、intraPredModeY和MipSizeId，但是在单树结构中，对应于色度的亮度块是一个块，并且三个值可以相同。因此，在双树结构中，可以将两种分割方法的参考位置设定为相同，诸如参考位置C。即使在单树结构中，也可以使用[xCb+cbWidth/2][yCb+cbHeight/2]的坐标而非LT来参考与双树结构相同的位置。这可以简化软件/硬件的实现。
已经在上述实施例中图示过的色度格式、被参考的相邻块的数量和位置、双树结构中C的位置以及将MIP模式重新解释为一般预测模式的表1和2是示例，并且本发明不限于此。
根据本发明的实施例，当亮度编码块是使用MIP的模式时，编码器/解码器可以在确定色度预测模式时，将亮度帧内预测模式用作预设模式。例如，当存储在对应于色度的亮度块的指定位置中的intra_mip_flag[x][y]的值等于1时，intraPredModeY[x][y]可以被设置(或使用)为预设模式。预设模式可以是帧内预测模式之一。例如，预设模式可以是基本预测模式。例如，预设模式可以是统计上选择最多的预测模式(例如，平面模式)。
图24是图示根据本发明实施例的用于构建最可能模式(MPM)列表的方法的图。
参考图24，在当前预测块使用MIP时，用于构建MPM的方法可以如下。编码器/解码器可以通过使用相邻块A和L的预测模式值来构建用于MIP的MPM列表。在实施例中，L的位置可以是(xCb-1,yCb)，并且L的位置可以是(xCb,yCb-1)。当前预测块的左上位置可以是(xCb,yCb)。可以如下获得candMipModeX。在这种情况下，X可以是L和A。
当满足以下条件中的一个或多个时，编码器/解码器将candMipModeX设置为-1。
1.当availableX变量为假时。
2.当CuPredMode[xNbX][yNbX]不是MODE_INTRA，且ciip_flag[xNbX][yNbX]不是1时。
3.当pcm_flag[xNbX][yNbX]不为1时。
4.当X等于B且YCb-1小于((yCb>>CtbLog2SizeY)<<CtbLog2SizeY)时。
在实施例中，在与上述情况不同的情况下，编码器/解码器应用以下方法。
1)当intra_mip_flag[xNbX][yNbX]等于1时。
检查MipSizeId[xCb][yCb]和MipSizeId[xNbX][yNbX]是否相同，然后，当检查结果指示两者彼此相等时，将candMipModeX设置为IntraPredModeY[xNbX][yNbX]的值，并且当MipSizeId[xCb][xCb]和MipSizeId[xCb]yNbX]彼此不相等时，将candMipModeX设置为-1。
2)当intra_mip_flag[xNbX][yNbX]不等于1时。
可以基于IntraPredModeY[xNbX][yNbX]和MipSizeId[xCb][yCb]的值，通过表3中的MIP，将candMipModeX重新解释为/映射到预测模式。在表3中，MipSizeId可以是MipSizeId[xCb][yCb]。
[表3]
Figure BDA0003324101940000391
在如上所述的使用MIP构建编译块的MPM列表的方法中，作为相邻块的位置，可以使用不使用图22的MIP的编译块的相邻块A和L的位置来代替图24的A和L的位置。这使得可以在实现HW/SW时参考一个统一的相邻块位置，从而简化实现。可替代地，在相反的情况下，可以参考一个统一的相邻块位置。
在当前编译块是使用MIP的块并且在相邻块中存在未使用MIP编译的块时，可如下考虑当前MIP块的MPM。可以使用针对当前块的每个块MIP大小预设的预测模式。当MIP大小有三种情况时，可以使用为每个大小预设的预测模式。当MipSizeId为0时，预测模式可以被设置为模式17，当为1时，设置为模式0，并且当为2时，设置为模式1。预测模式可由对每个MipSizeId统计上频繁使用的模式来确定。在另一种情况下，可以在不考虑MIP大小的情况下使用一种预设预测模式。预设预测模式可以是用作帧内预测模式的模式。该值可以是平面模式。然而，本发明不限于此。
图25是图示根据本发明实施例的在构建MPM列表时被参考的相邻块的图。
在图25的(a)中，当前块是不使用MIP的一般编译块，并且相邻参考块的位置参考先前在图22中描述的内容。另外，图25的(b)是示出使用MIP的当前编译块和相邻参考块之间的关系的图，并且相邻参考块的位置参考先前描述的图24的内容。
在实施例中，在不使用表1、2和3的使用预设模式的方法中存在两种情况。该方法可以被划分为如在图25的(a)中，在不使用MIP的当前块中，通过MIP编译相邻块中的至少一个的情况，以及如在图25的(b)中，当前块是使用MIP的块，并且在相邻块中存在不使用MIP的编译块的情况。前者被称为第一种情况，而后者被称为第二种情况。仅在第一种情况下，可以使用预设模式。或者仅在第二种情况下，可以使用预设模式。可替代地，在第一种情况和第二种情况下，可以使用预设模式来推导MPM。可以应用图22中描述的使用预设模式的方法、图23中描述的使用预设模式的方法以及图24中描述的使用预设模式的方法。在图25的(a)和图25的(b)中，参考相邻块的位置是实施例，并且无论位置如何，都可考虑当前块是否使用MIP以及相邻块是否使用MIP来应用预设模式。
尽管上面已经根据解码器进行了描述，但是也可以将其应用于编码器。在上文中，已经着重于从比特流获得信息的过程描述了术语“解析”，但是就编码器而言，其可以被解释为在比特流中构建相应的信息。因此，术语“解析”不限于解码器操作，并且可以被解释为在编码器中构建比特流的动作。
图26是图示根据本发明的实施例的用于处理视频信号的方法的流程图。参考图26，为方便起见，将重点描述解码器，但是本发明不限于此，并且根据本实施例的用于处理视频信号的方法可以基本上同样地用于编码器。
解码器基于与当前色度块相对应的亮度块的亮度帧内预测模式来推导应用于当前色度块的色度帧内预测模式(S2601)。
解码器基于色度帧内预测模式生成当前色度块的色度预测样本(S2602)。
解码器基于色度预测样本来恢复当前色度块(S2603)。
在实施例中，可以基于是否基于矩阵的帧内预测(MIP)模式被应用于与当前色度块相对应的亮度块，将亮度帧内预测模式设置为预设的特定模式。
此外，如上所述，可以根据预设的特定亮度位置的MIP标志值来确定是否MIP模式被应用于与当前色度块相对应的亮度块，并且MIP标志可指示是否应用MIP模式。
另外，如上所述，预设特定亮度位置可以是与当前色度块相对应的亮度块的中心的右下像素位置。
另外，如上所述，解码器可以解析指示是否MIP模式被应用于当前亮度块的MIP标志。解码器可以在MIP模式被应用于当前亮度块时，通过将MIP应用于当前亮度块来生成当前亮度块的亮度预测样本。解码器可以通过对当前亮度块执行逆变换来生成当前亮度块的残差块。解码器可以基于亮度预测样本和当前亮度块的残差块来恢复当前亮度块。
另外，如上所述，解码器可以基于MIP标志来确定是否使用当前亮度块的逆二次变换以及是否解析指示用于逆二次变换的变换核的二次变换索引。
另外，如上所述，解码器可以获得指示是否在当前序列中使用MIP模式的语法元素，并且基于所获得的语法元素来确定是否解析MIP标志。
另外，如上所述，当MIP模式未应用于当前亮度块时，解码器可以基于与当前亮度块的左下及右上相邻的相邻块的帧内预测模式生成当前亮度块的最可能模式(MPM)列表。解码器可以基于MPM列表，推导当前亮度块的亮度帧内预测模式。解码器可以通过使用亮度帧内预测模式，生成当前亮度块的亮度预测样本。
另外，如上所述，当MIP模式被应用于与当前亮度块的左下和右上相邻的相邻块当中的至少一个块时，对其应用了MIP模式的块的帧内预测模式可以被设置为预设的特定帧内预测模式。
可以通过各种手段来实现本发明的上述实施例。例如，可以通过硬件、固件、软件或其组合来实现本发明的实施例。
对于通过硬件实现的情况，可以通过专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑设备(PLD)、现场可编程门阵列(FPGA)、处理器、控制器、微控制器、微处理器等中的一个或多个来实现根据本发明的实施例的方法。
在通过固件或软件实现的情况下，可以以执行上述功能或操作的模块、过程或函数的形式来实现根据本发明的实施例的方法。可以将软件代码存储在存储器中并由处理器驱动。存储器可以位于处理器内部或外部，并且可以通过各种已知的方式与处理器交换数据。
还可以以诸如由计算机执行的程序模块的包括计算机可执行指令的记录介质的形式来实现某些实施例。计算机可读介质可以是可由计算机访问的任何可用介质，并且可以包括所有易失性、非易失性、可移除和不可移除的介质。另外，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括以任何用于存储诸如计算机可读指令、数据结构、程序模块或其他数据的信息的方法或技术实现的所有易失性、非易失性、可移动和不可移动介质。通常，通信介质包括计算机可读指令、调制数据信号的其他数据(诸如数据结构或程序模块)或其他传输机制，并且包括任何信息传输介质。
本发明的上述描述仅用于说明目的，并且将会理解，本发明所属的本领域的普通技术人员可以在不改变本发明的技术思想或者基本特征的情况下对本发明进行改变，并且本发明可以以其他特定形式容易地被修改。因此，上述实施例是说明性的，并且在所有方面均不受限制。例如，被描述为单个实体的每个组件可以被分布和实现，并且同样，被描述为被分布的组件也可以以关联的方式被实现。
本发明的范围由所附权利要求书而不是上述详细描述来限定，并且从所附权利要求书的含义和范围及其等效物导出的所有改变或修改都应解释为包括在本发明的范围内。

Claims (17)

1.一种用于处理视频信号的方法，包括：
基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；
基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及
基于所述色度预测样本恢复所述当前色度块，
其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
2.根据权利要求1所述的方法，其中，根据预设特定亮度位置的MIP标志值，确定是否所述MIP模式被应用于与所述当前色度块相对应的所述亮度块，以及
所述MIP标志指示是否应用所述MIP模式。
3.根据权利要求2所述的方法，其中，所述预设特定亮度位置为与所述当前色度块相对应的亮度块的中心的右下像素位置。
4.根据权利要求1所述的方法，进一步包括：
解析指示是否所述MIP模式被应用于当前亮度块的MIP标志；
当所述MIP模式被应用于所述当前亮度块时，通过将所述MIP应用于所述当前亮度块，生成所述当前亮度块的亮度预测样本；
通过对所述当前亮度块执行逆变换生成所述当前亮度块的残差块；以及
基于所述亮度预测样本和所述当前亮度块的所述残差块来恢复所述当前亮度块。
5.根据权利要求4所述的方法，其中，生成所述当前亮度块的所述残差块包括：基于所述MIP标志，确定是否使用所述当前亮度块的逆二次变换以及是否解析指示用于所述逆二次变换的变换核的二次变换索引。
6.根据权利要求4所述的方法，其中，解析所述MIP标志包括：
获得指示是否在当前序列中使用所述MIP模式的语法元素，以及
基于所获得的语法元素，确定是否解析所述MIP标志。
7.根据权利要求4所述的方法，进一步包括：
当所述MIP模式不被应用于所述当前亮度块时，基于与所述当前亮度块的左下和右上相邻的相邻块的帧内预测模式，生成所述当前亮度块的最可能模式(MPM)列表；
基于所述MPM列表，推导所述当前亮度块的亮度帧内预测模式；以及
通过使用所述亮度帧内预测模式，生成所述当前亮度块的亮度预测样本。
8.根据权利要求7所述的方法，其中，当所述MIP模式被应用于与所述当前亮度块的左下和右上相邻的相邻块当中的至少一个块时，将对其应用了所述MIP模式的块的帧内预测模式设置为预设特定帧内预测模式。
9.一种用于处理视频信号的设备，包括：
处理器，
其中，所述处理器被配置为：
基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；
基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及
基于所述色度预测样本恢复所述当前色度块，
其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
10.根据权利要求9所述的设备，其中，根据预设特定亮度位置的MIP标志值，确定是否所述MIP模式被应用于与所述当前色度块相对应的所述亮度块，以及
所述MIP标志指示是否应用所述MIP模式。
11.根据权利要求10所述的设备，其中，所述预设特定亮度位置为与所述当前色度块相对应的亮度块的中心的右下像素位置。
12.根据权利要求9所述的设备，其中，所述处理器被配置为：
解析指示是否所述MIP模式被应用于当前亮度块的MIP标志；
当所述MIP模式被应用于所述当前亮度块时，通过将所述MIP应用于所述当前亮度块，生成所述当前亮度块的亮度预测样本；
通过对所述当前亮度块执行逆变换来生成所述当前亮度块的残差块；以及
基于所述亮度预测样本和所述当前亮度块的所述残差块来恢复所述当前亮度块。
13.根据权利要求12所述的设备，其中，所述处理器被配置为：
基于所述MIP标志，确定是否使用所述当前亮度块的逆二次变换以及是否解析指示用于所述逆二次变换的变换核的二次变换索引。
14.根据权利要求12所述的设备，其中，所述处理器被配置为：
获得指示是否在当前序列中使用所述MIP模式的语法元素，以及
基于所获得的语法元素，确定是否解析所述MIP标志。
15.根据权利要求12所述的设备，其中，所述处理器被配置为：
当所述MIP模式不被应用于所述当前亮度块时，基于与所述当前亮度块的左下和右上相邻的相邻块的帧内预测模式，生成所述当前亮度块的最可能模式(MPM)列表；
基于所述MPM列表，推导所述当前亮度块的亮度帧内预测模式；以及
通过使用所述亮度帧内预测模式，生成所述当前亮度块的亮度预测样本。
16.根据权利要求15所述的设备，其中，当所述MIP模式被应用于与所述当前亮度块的左下和右上相邻的相邻块当中的至少一个块时，将对其应用了所述MIP模式的块的帧内预测模式设置为预设特定帧内预测模式。
17.一种非暂时性计算机可执行介质，其上存储有被配置为在计算设备的一个或多个处理器上执行的计算机可执行组件，所述计算机可执行组件执行操作，所述操作包括：
基于与当前色度块相对应的亮度块的亮度帧内预测模式，推导应用于所述当前色度块的色度帧内预测模式；
基于所述色度帧内预测模式生成所述当前色度块的色度预测样本；以及
基于所述色度预测样本恢复所述当前色度块，
其中，基于是否基于矩阵的帧内预测(MIP)模式被应用于与所述当前色度块相对应的亮度块，将所述亮度帧内预测模式设置为预设特定模式。
CN202080031899.7A 2019-04-27 2020-04-27 基于帧内预测处理视频信号的方法和设备 Pending CN113785566A (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
KR10-2019-0049454 2019-04-27
KR20190049454 2019-04-27
KR10-2019-0063527 2019-05-30
KR20190063527 2019-05-30
KR10-2019-0074416 2019-06-21
KR20190074416 2019-06-21
PCT/KR2020/005541 WO2020222484A1 (ko) 2019-04-27 2020-04-27 인트라 예측 기반 비디오 신호 처리 방법 및 장치

Publications (1)

Publication Number Publication Date
CN113785566A true CN113785566A (zh) 2021-12-10

Family

ID=73028933

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080031899.7A Pending CN113785566A (zh) 2019-04-27 2020-04-27 基于帧内预测处理视频信号的方法和设备

Country Status (4)

Country Link
US (1) US20220217366A1 (zh)
KR (1) KR20210148321A (zh)
CN (1) CN113785566A (zh)
WO (1) WO2020222484A1 (zh)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020207491A1 (en) 2019-04-12 2020-10-15 Beijing Bytedance Network Technology Co., Ltd. Calculation in matrix-based intra prediction
EP3939270A4 (en) 2019-04-16 2022-05-11 Beijing Bytedance Network Technology Co., Ltd. MATRIX DERIVATION IN AN INTRA CODING MODE
WO2020221373A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Matrix-based intra prediction using filtering
WO2020221372A1 (en) 2019-05-01 2020-11-05 Beijing Bytedance Network Technology Co., Ltd. Context coding for matrix-based intra prediction
SG11202112517QA (en) 2019-05-22 2021-12-30 Beijing Bytedance Network Technology Co Ltd Matrix-based intra prediction using upsampling
JP2022535726A (ja) 2019-05-31 2022-08-10 北京字節跳動網絡技術有限公司 行列ベースイントラ予測における制約されたアップサンプリングプロセス
JP2022534320A (ja) * 2019-06-05 2022-07-28 北京字節跳動網絡技術有限公司 マトリクスベースイントラ予測のためのコンテキスト決定
CN112640461A (zh) 2019-06-25 2021-04-09 Oppo广东移动通信有限公司 映射方法、编码器、解码器以及计算机存储介质
KR20210126771A (ko) 2019-07-24 2021-10-20 후아웨이 테크놀러지 컴퍼니 리미티드 인트라 예측 모드에 관련된 인코더, 디코더 및 대응하는 방법들
KR20220038127A (ko) * 2019-08-22 2022-03-25 엘지전자 주식회사 매트릭스 기반 인트라 예측 장치 및 방법
KR20220036970A (ko) * 2019-08-22 2022-03-23 엘지전자 주식회사 매트릭스 인트라 예측 기반 영상 코딩 장치 및 방법
KR20220082847A (ko) 2019-10-28 2022-06-17 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 색상 성분에 기초한 신택스 시그널링 및 파싱
WO2023140547A1 (ko) * 2022-01-19 2023-07-27 현대자동차주식회사 다중 참조라인들을 이용하는 크로마 채널 코딩을 위한 방법 및 장치
WO2024080771A1 (ko) * 2022-10-12 2024-04-18 엘지전자 주식회사 인트라 예측에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
CN107483938A (zh) * 2011-11-04 2017-12-15 英孚布瑞智有限私人贸易公司 视频数据的解码设备
US20180310000A1 (en) * 2015-09-23 2018-10-25 Lg Electronics Inc. Method and apparatus for intra prediction in video coding system
WO2020213945A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 인트라 예측 기반 영상 코딩에서의 변환

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130058524A (ko) * 2011-11-25 2013-06-04 오수미 색차 인트라 예측 블록 생성 방법
GB2501535A (en) * 2012-04-26 2013-10-30 Sony Corp Chrominance Processing in High Efficiency Video Codecs
US10271052B2 (en) * 2014-03-14 2019-04-23 Qualcomm Incorporated Universal color-space inverse transform coding
US10200713B2 (en) * 2015-05-11 2019-02-05 Qualcomm Incorporated Search region determination for inter coding within a particular picture of video data
KR20200074081A (ko) * 2017-11-14 2020-06-24 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2019183986A1 (zh) * 2018-03-31 2019-10-03 华为技术有限公司 一种图像块的帧内模式预测方法及装置
WO2019194500A1 (ko) * 2018-04-01 2019-10-10 엘지전자 주식회사 인트라 예측에 기반한 영상 코딩 방법 및 그 장치
TWI815927B (zh) * 2018-07-15 2023-09-21 大陸商北京字節跳動網絡技術有限公司 視頻編解碼的塊尺寸限制
US11134257B2 (en) * 2019-04-04 2021-09-28 Tencent America LLC Simplified signaling method for affine linear weighted intra prediction mode

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107483938A (zh) * 2011-11-04 2017-12-15 英孚布瑞智有限私人贸易公司 视频数据的解码设备
US20180310000A1 (en) * 2015-09-23 2018-10-25 Lg Electronics Inc. Method and apparatus for intra prediction in video coding system
US20170359595A1 (en) * 2016-06-08 2017-12-14 Qualcomm Incorporated Implicit coding of reference line index used in intra prediction
WO2020213945A1 (ko) * 2019-04-16 2020-10-22 엘지전자 주식회사 인트라 예측 기반 영상 코딩에서의 변환

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS等: "Versatile Video Coding (Draft 3)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN, 3–12 OCT. 2018，JVET-L1001-V1》, pages 1 - 160 *
BENJAMIN BROSS等: "Versatile Video Coding (Draft 5)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 14TH MEETING: GENEVA, CH, 19–27 MAR. 2019，JVET-N1001-V1》, pages 1 - 346 *

Also Published As

Publication number Publication date
WO2020222484A1 (ko) 2020-11-05
US20220217366A1 (en) 2022-07-07
KR20210148321A (ko) 2021-12-07

Similar Documents

Publication Publication Date Title
CN113785566A (zh) 基于帧内预测处理视频信号的方法和设备
KR102618079B1 (ko) 복수개의 참조 라인을 위한 mpm 구성 방법을 이용한 비디오 신호 처리 방법 및 장치
CN112840654B (zh) 使用多假设预测的视频信号处理方法和装置
EP4358514A2 (en) Video signal processing method and device
CN117294852A (zh) 跨分量编解码顺序导出
AU2016253621A1 (en) Method and apparatus for encoding image and method and apparatus for decoding image
CN116193116A (zh) 使用画面划分信息对视频进行编码和解码的方法和设备
CN113196780A (zh) 使用多变换核处理视频信号的方法和设备
KR102625145B1 (ko) 예측 모드를 시그널링하는 비디오 신호 처리 방법 및 장치
EP4002847A1 (en) Method and device for processing video signal
US20210377519A1 (en) Intra prediction-based video signal processing method and device
CN112823526B (zh) 通过使用交叉分量线性模型来处理视频信号的方法和设备
KR20210084567A (ko) 화면 내 예측 필터링을 이용한 비디오 신호 처리 방법 및 장치
JP7399973B2 (ja) イントラ予測ベースのビデオ信号処理方法及び装置
CN113966610A (zh) 使用块dpcm预测方法的视频信号处理方法和设备
CN117939122A (zh) 用于编码或解码视频信号的视频信号处理方法和设备
TW202415068A (zh) 視訊寫碼中之三角合併模式索引之發信

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20220829

Address after: Gyeonggi Do, South Korea

Applicant after: HUMAX Co.,Ltd.

Address before: Gyeonggi Do, South Korea

Applicant before: WILUS INSTITUTE OF STANDARDS AND TECHNOLOGY Inc.

Applicant before: HUMAX Co.,Ltd.