CN115066900A - 基于具有不同分辨率的参考图片的图像编码和解码 - Google Patents

基于具有不同分辨率的参考图片的图像编码和解码 Download PDF

Info

Publication number
CN115066900A
CN115066900A CN202180008157.7A CN202180008157A CN115066900A CN 115066900 A CN115066900 A CN 115066900A CN 202180008157 A CN202180008157 A CN 202180008157A CN 115066900 A CN115066900 A CN 115066900A
Authority
CN
China
Prior art keywords
prediction
current block
block
reference picture
picture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202180008157.7A
Other languages
English (en)
Inventor
沈东圭
朴时奈
崔韩松
朴胜煜
林和平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Original Assignee
Hyundai Motor Co
Industry Academic Collaboration Foundation of Kwangwoon University
Kia Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hyundai Motor Co, Industry Academic Collaboration Foundation of Kwangwoon University, Kia Corp filed Critical Hyundai Motor Co
Priority claimed from PCT/KR2021/000109 external-priority patent/WO2021141372A1/ko
Publication of CN115066900A publication Critical patent/CN115066900A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本实施例涉及使用具有不同分辨率的参考图片的图像编码和解码，并且通过考虑参考图片的分辨率来对当前图像执行帧间预测或帧内预测以提高编码/解码效率。另外，提供了一种用于在帧间预测期间通过参考具有与当前图像不同的分辨率的参考<1/>图片的运动矢量来对当前图像的运动矢量进行解码的图像编码/解码方法。

Description

基于具有不同分辨率的参考图片的图像编码和解码
技术领域
本发明涉及视频编码和解码，更具体地，涉及一种用于考虑参考之前的不同分辨率通过参考具有不同分辨率的参考图片来提高编码/解码效率的视频编码和解码方法。
背景技术
该部分中的陈述仅提供与本公开相关的背景信息，并且不一定构成现有技术。
由于视频数据的体积大于语音数据或静止图像数据的体积，在没有进行压缩处理的情况下存储或传输视频数据需要包括存储器的大量硬件资源。
因而，在存储或传输视频数据时，通常使用编码器压缩视频数据以便存储或传输。然后，解码器接收压缩的视频数据，并解压缩和再现视频数据。用于这种视频的压缩技术包括H.264/AVC和高效率视频编码(HEVC)，高效率视频编码比H.264/AVC提高了约40％的编码效率。
然而，图片尺寸、分辨率和帧速率逐渐增加，则要编码的数据量也相应地增加。因而，需要比现有的压缩技术具有更好的编码效率和更高的图像质量的新的压缩技术。
在视频编码/解码中，可以参考先前解码的图片对当前图片进行编码/解码，以便提高编码/解码效率。例如，在用于具有不同分辨率的多个层或多个视图的视频编码/解码的情况下，当前图片和参考图片可具有不同分辨率。在这种情况下，需要考虑参考图片的分辨率来编码/解码当前图片的方法。
发明内容
技术问题
在本发明中，在使用具有不同分辨率的参考图片的视频编码和解码中，考虑到参考图片的分辨率，对当前图片执行帧间预测或帧内预测，以便提高编码/解码效率。本发明的目的是提供一种用于在帧间预测期间通过参考具有与当前图片不同的分辨率的参考图片的运动矢量，来解码用于当前图片的运动矢量的视频编码/解码方法。
技术方案
根据本公开的实施例，一种由视频解码装置基于包括在低级别层中并具有不同分辨率的参考图片来执行的用于包括在高级别层中的当前图片中的当前块中的当前块的视频解码方法，所述视频解码方法包括：获得用于当前块的预测模式；获得所述当前块的经解码的残差信号和解码信息，其中当所述预测模式是帧间预测时，所述解码信息包括参考图片索引和用于所述参考图片的运动矢量，并且当所述预测模式是帧内预测时，所述解码信息包括所述参考图片和在所述参考图片中的参考位置；当所述预测模式是所述帧间预测时，基于所述解码信息产生用于所述当前块的预测信号；以及通过将所述预测信号添加到所述残差信号生成重建块，其中，当使用帧间预测时，将用于校正不同分辨率的滤波应用于包括在参考图片中的参考块，使得不同分辨率匹配当前块的分辨率。
根据本公开的另一实施例，一种由视频编码装置基于包括在低级别层中并具有不同分辨率的参考图片执行的用于包括在高级别层中的当前块的视频编码方法，所述视频编码方法包括：产生用于当前块的预测模式；获得关于所述当前块的编码信息，其中当所述预测模式是帧间预测时，所述编码信息包括参考图片索引和用于所述参考图片的运动矢量，并且当所述预测模式是帧内预测时，所述编码信息包括所述参考图片和在所述参考图片中的参考位置；当所述预测模式是所述帧间预测时，基于所述编码信息来产生用于所述当前块的预测信号；以及通过从所述当前块减去所述预测信号来产生残差信号，其中，当使用帧间预测时，将用于校正不同分辨率的滤波应用于包括在参考图片中的参考块，使得不同分辨率匹配当前块的分辨率。
有益效果
如上所述，根据本实施例，能够通过提供在使用具有不同分辨率的参考图片的视频编码和解码中考虑参考图片的分辨率来对当前图片执行帧间预测或帧内预测的方法来提高编码/解码效率。
此外，根据本实施例，通过提供一种在帧间预测中参考具有与当前图片不同的分辨率的参考图片的运动矢量而对运动矢量进行解码的方法，可以提供编码/解码效率。
附图说明
图1是能够实施本公开的技术的视频编码装置的示例性框图。
图2示例性地示出了使用QTBTTT结构的块分区结构。
图3是示出包括广角帧内预测模式的多个帧内预测模式的示图。
图4示例性地示出了围绕当前块的相邻块。
图5是能够实施本公开的技术的视频解码装置的示例性框图。
图6是概念性地示出根据本公开的实施例的用于具有不同分辨率的多层的解码处理的示例性示图。
图7为根据本公开的实施例的使用具有不同分辨率的参考图片的视频解码方法的示意性流程图。
图8是示出根据本公开的实施例的使用具有不同分辨率的参考图片确定帧内预测模式的示例性示图。
图9是示出根据本公开的实施例的使用具有不同分辨率的参考图片的帧内/帧间混合预测的概念示例性示图。
图10是示出根据本公开的实施例的使用具有不同分辨率的参考图片的分量间参考的概念示例性示图。
图11示出根据本公开的实施例的当前图片和运动矢量参考图片的分层划分结构的示例。
图12是示出根据本公开的实施例的使用具有不同分辨率的参考图片推导运动矢量并生成预测块的方法的流程图。
具体实施方式
在下文中，将参考附图详细描述本公开的一些实施例。应注意，在各个附图中向组成元件添加参考标号时，尽管元件在不同的附图中示出，但是相同的参考标号表示相同的元件此外，在本公开的以下描述中，将省略合并于此的已知功能和配置的详细描述，以避免模糊本公开的主题。
图1是能够实施本公开的技术的视频编码装置的示例性框图。在下文中，将参考图1描述视频编码装置和该装置的元件。
视频编码装置包括块划分器110、预测器120、减法器130、变换器140、量化器145、重新布置单元150、熵编码器155、逆量化器160、逆变换器165、加法器170、环路滤波器单元180和存储器190。
视频编码装置的每个元件可在硬件或软件或硬件和软件的组合中实现。各个元件的功能可以实现为软件，并且微处理器可以被实现为执行与各个元件相对应的软件功能。
一个视频由包含多个图片的一或多个序列组成。每个图片被划分为多个区域，并对每个区域执行编码。例如，将一个图片被划分成一个或一个以上图块或/和切片。在此，一个或多个图块可以被定义图块组。每一图块或切片被划分成一或多个编码树单元(CTU)。每一CTU通过树结构被划分成一或多个编码单元(CU)。将应用于每个CU的信息编码为CU的语法，并且将应用于包括在共同的一个CTU中的CU的信息编码为CTU的语法。另外，共同应用于一个切片中的所有块的信息被编码为切片报头的语法，并且应用于构成一个或多个图片的所有块的信息在图片参数集(PPS)或图片报头中被编码。此外，在序列参数集(SPS)中对由多个图片组成的序列共同指代的信息进行编码。另外，共同应用于一个图块或图块组的信息可编码为图块或图块组报头的语法。包括在SPS、PPS、切片报头和图块或图块组报头中的语法可以被称为高级语法。
块划分器110确定编码树单元(CTU)的尺寸。关于CTU的尺寸(CTU大小)的信息被编码为SPS或PPS的语法并且被发送到视频解码装置。
块划分器110将构成视频的各图片划分为具有预定尺寸的多个CTU，然后使用树结构递归地划分CTU。在树结构中，叶节点用作编码单元(CU)，其是编码的基本单元。
树结构可以是四叉树(QT)(其中，节点(或父节点)被划分为具有相同尺寸的四个子节点(或子节点))、双叉树(BT)(其中，节点被划分为两个子节点)、三叉树(TT)(其中，节点以1：2：1的比率被划分为三个子节点)或者通过QT结构、BT结构和TT结构中的两个以上的组合形成的结构。例如，可以使用四叉树加二叉树(QTBT)结构，或者可以使用四叉树加二叉树三叉树(QTBTTT)结构。这里，BTTT可统称为多类型树(MTT)。
图2示例性地示出了QTBTTT划分树结构。
如图2所示，CTU可以最初划分成QT结构。可以重复QT划分，直到划分块的尺寸达到在QT中允许的叶节点的最小块尺寸(MinQTSize)。指示QT结构的每个节点是否被划分为下层的四个节点的第一标记(QT_split_flag)由熵编码器155编码，并被发送到视频解码装置。当QT的叶节点不大于在BT中允许的根节点的最大块尺寸(MaxBTSize)时，可将其进一步划分为BT结构和TT结构中的一个或多个。BT结构和/或TT结构可以具有多个划分方向。例如，可以有两个方向，即，节点的块被水平划分的方向和块被垂直划分的方向。如图2所示，当MTT划分开始时，指示节点是否被划分的第二标记(mtt_split_flag)、指示在划分的情况下的划分方向(垂直或水平)的标记和/或指示划分类型(二进制或三进制)的标记由熵编码器155编码并用信号发送给视频解码装置。
可替选地，在编码指示每个节点是否被划分为低层的4个节点的第一标记(QT_split_flag)之前，指示节点是否被划分的CU划分标记(split_cu_flag)可以被编码。当CU划分标记(split_cu_flag)的值指示不执行划分时，节点的块变成划分树结构中的叶节点并且服务于作为编码的基本单元的编码单元(CU)。当CU划分标记(split_cu_flag)的值指示执行划分时，视频编码装置开始以上述方式对标记进行编码，从第一标记开始。
当QTBT被用作树结构的另一示例时，可存在两种划分类型，即，将块水平划分为相同尺寸的两个块的类型(即，对称水平划分)和将块垂直划分为相同尺寸的两个块的类型(即，对称垂直划分)。指示BT结构的每个节点是否被划分为下层的块的划分标记(split_flag)和指示划分类型的划分类型信息由熵编码器155编码，并被发送到视频解码装置。可存在将节点的块划分为两个非对称块的附加类型。非对称划分类型可包括以1：3的尺寸比将块划分为两个矩形块的类型，或者对角地划分节点的块的类型。
根据CTU的QTBT或QTBTTT划分，CU可具有不同尺寸。在下文中，对应于待编码或解码的CU(即，QTBTTT的叶节点)的块被称为“当前块”。由于采用QTBTTT划分，当前块的形状可以是正方形或矩形。
预测器120预测当前块以生成预测块。预测器120包括帧内预测器122和帧间预测器124。
一般来说，图片中的当前块中的每一者可被预测性编码。一般来说，当前块的预测可使用帧内预测技术(使用来自包含当前块的图片的数据)或帧间预测技术(使用来自在包含当前块的图片之前编码的图片的数据)来执行。帧间预测包括单向预测和双向预测两者。
帧内预测器122使用在包括当前块的当前图片中位于当前块周围的像素(参考像素)来预测当前块中的像素。根据预测方向存在多个帧内预测模式。例如，如图3a所示，多个帧内预测模式可包括两个非定向模式(包括平面模式和DC模式)和65个定向模式。根据每个预测模式，不同地限定要使用的相邻像素和计算公式。
为了矩形当前块的有效定向预测，可另外使用由图3b中的虚线箭头指示的定向模式(帧内预测模式#67到#80和#-1到#-14)。这些可被称为“广角帧内预测模式”。图3b中的箭头指示用于预测的对应参考样本，而不是预测方向。预测方向与箭头所示的方向相反。广角帧内预测模式是当当前块为矩形时在相反方向上预测特定方向模式而无需额外位传输的模式。在此情况下，在广角帧内预测模式中，可通过矩形当前块的宽度与高度的比率确定可用于当前块的一些广角帧内预测模式。例如，当当前块具有高度小于宽度的矩形形状时，具有小于45度的角度的广角帧内预测模式(帧内预测模式#67到#80)是可用的，并且当当前块具有宽度大于高度的矩形形状时，具有大于-135度的角度的广角帧内预测模式(帧内预测模式#-1到#-14)是可用的。
帧内预测器122可确定将用于对当前块进行编码的帧内预测模式。在一些示例中，帧内预测器122可使用若干帧内预测模式对当前块进行编码，且从测试模式中选择适当的帧内预测模式来使用。例如，帧内预测器122可使用若干测试的帧内预测模式的速率-失真分析来计算速率失真值，并可在测试的模式中选择具有最佳速率失真特性的帧内预测模式。
帧内预测器122从多个帧内预测模式中选择一个帧内预测模式，并使用相邻像素(参考像素)和根据选择的帧内预测模式确定的等式来预测当前块。关于选择的帧内预测模式的信息由熵编码器155编码，并被发送到视频解码装置。
帧间预测器124通过运动补偿产生用于当前块的预测块。帧间预测器124在早于当前图片已经被编码和解码的参考图片中，搜索与当前块最相似的块，并且使用搜索到的块产生用于当前块的预测块。然后，帧间预测器产生与在当前图片中的当前块和参考图片中的预测块之间的位移相对应的运动矢量。通常，对亮度分量执行运动估计，并且基于亮度分量计算的运动矢量被用于亮度分量和色度分量两者。包括关于参考图片的信息和关于用于预测当前块的运动矢量的信息的运动信息，由熵编码器155编码，并被发送到视频解码装置。
帧间预测器124可对参考图片或参考块执行内插以便增加预测准确度。也就是说，通过将滤波器系数应用于包括两个整数采样的多个连续整数采样，来对两个连续整数采样之间的子采样进行插值。当对插值的参考图片执行搜索与当前块最相似的块的操作时，能够以分数采样单元的精度水平而不是整数采样单元的精度水平，来表示运动矢量。可针对待编码的每一目标区域(例如，例如切片、图块、CTU或CU等每一单元)不同地设定运动矢量的精度或分辨率。当应用此自适应运动矢量分辨率时，应针对每一目标区域用信号发送关于待应用于每一目标区域的运动矢量分辨率的信息。例如，当目标区域是CU时，用信号发送关于应用于每个CU的运动矢量分辨率的信息。关于运动矢量分辨率的信息可以是指示稍后将描述的运动矢量差的精度的信息。
帧间预测器124可使用双向预测来执行帧间预测。在双向预测中，帧间预测器124使用两个参考图片和表示与相应参考图片中的当前块最相似的块位置的两个运动矢量。帧间预测器124分别从参考图片列表0(RefPicList0)和参考图片列表1(RefPicList1)选择第一参考图片和第二参考图片，在相应参考图片中搜索类似于当前块的块，并且产生第一参考块和第二参考块。然后，通过对第一参考块和第二参考块进行平均或加权来产生当前块的预测块。然后，它将运动信息传送到编码器150，所述运动信息包括关于用于预测当前块的两个参考图片和两个运动矢量的信息。在这里，RefPicList0可以由重建的图片当中的按照显示顺序在当前图片之前的图片组成，并且RefPicList1可以由重建的图片当中的按照显示顺序在当前图片之后的图片组成。然而，实施例不限于此。按显示顺序在当前图片之后的预重构图片可进一步包含在RefPicList0中，并且相反地，在当前图片之前的预重构图片可进一步包含在RefPicList1中。
可使用不同方法来最小化编码运动信息所需的比特数目。
例如，在当前块的参考图片和运动矢量与相邻块的参考图片和运动矢量相同时，可通过对用于识别相邻块的信息进行编码来将关于当前块的运动信息发送到解码装置。这种方法被称为“合并模式”。
在合并模式中，帧间预测器124从当前块的相邻块中选择预定数量的合并候选块(以下称为“合并候选”)。
如图4中所示，与当前图片中的当前块相邻的左块L、上块A、右上块AR、左下块BL、以及左上块AL的全部或部分可以用作用于推导合并候选的相邻块。另外，位于除了当前块位于其中的当前图片之外的参考图片(其可以与用于预测当前块的参考图片相同或不同)内的块可以用作合并候选。例如，在参考图片中处于与当前块相同的位置的共处块或者邻近于共处块的块，可以另外用作合并候选。
帧间预测器124使用这种相邻块来配置包括预定数目的合并候选的合并列表。帧间预测器124从包括在合并列表中的合并候选之中选择将用作关于当前块的运动信息的合并候选，并且产生用于识别所选择的候选的合并索引信息。产生的合并索引信息由编码器155编码并被发送到解码装置。
编码运动信息的另一方法是AMVP模式。
在AMVP模式中，帧间预测器124通过使用当前块的相邻块推导用于当前块的运动矢量的预测的运动矢量候选。与图2中的当前图片中的当前块相邻的左块L、上块A、右上块AR、左下块BL和左上块AL的全部或部分可以用作用于推导预测的运动矢量候选的相邻块。另外，位于除了包括当前块的当前图片之外的参考图片(其可以与用于预测当前块的参考图片相同或不同)内的块可以用作用于推导预测的运动矢量候选的相邻块。例如，可以使用在参考图片中处于与当前块相同位置的共处块或者邻近于共处块的块。
帧间预测器124使用相邻块的运动矢量推导出预测的运动矢量候选，并且使用预测的运动矢量候选确定用于当前块的运动矢量的预测的运动矢量。然后，通过从当前块的运动矢量减去预测的运动矢量来计算运动矢量差。
预测运动矢量可以通过将预定义的函数(例如，用于计算中值、平均值等的函数)应用于预测运动矢量候选来获得。在这种情况下，视频解码装置还知道预定义的函数。由于用于推导预测运动矢量候选的相邻块已经被编码和解码，所以视频解码装置也已经知道相邻块的运动矢量。因而，视频编码装置不需要对用于识别预测运动矢量候选的信息进行编码。因此，在这种情况下，关于运动矢量差的信息和关于用于预测当前块的参考图片的信息被编码。
预测运动矢量可以通过选择预测运动矢量候选中的任何一个来确定。在这种情况下，用于识别所选择的预测运动矢量候选的信息与关于运动矢量差的信息和关于将被用于预测当前块的参考图片的信息一起被进一步编码。
减法器130从当前块中减去由帧内预测器122或帧间预测器124生成的预测块以生成残差块。
变换器140将残差块中具有空间域中的像素值的残差信号转换为频域中的变换系数。变换器140可通过将残差块的整个尺寸用作变换单元来对残差块中的残差信号进行变换，或者可将残差块划分成多个子块并将子块用作变换单元来执行变换。可替换地，可通过将子块分类为作为变换区域和非变换区域的两个子块并且仅将变换区域子块用作变换单元，来变换残差信号。在这里，变换区域子块可以是基于水平轴(或垂直轴)具有1：1的尺寸比的两个矩形块之一。在这种情况下，指示仅子块已经被变换的标记(cu_sbt_flag)、方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或位置信息(cu_sbt_pos_flag)由熵编码器155编码，并用用信号通知视频解码装置。另外，变换区域子块的尺寸可基于水平轴(或垂直轴)具有1：3的尺寸比。在这种情况下，用于区分相应划分的标记(cu_sbt_quad_flag)另外由熵编码器155编码，并用信号通知视频解码装置。
变换器140可在水平方向和垂直方向上单独地变换残差块。对于变换，可以使用不同类型的变换函数或变换矩阵。例如，用于水平变换和垂直变换的变换函数对可定义为多变换集合(MTS)。变换器140可在MTS中选择具有最佳变换效率的一对变换函数，并分别在水平方向和垂直方向上变换残差块。关于在MTS中选择的变换函数对的信息(mts_idx)由熵编码器155编码并用信号通知视频解码装置。
量化器145使用量化参数量化从变换器140输出的变换系数，并将量化的变换系数输出到熵编码器155。对于一些块或帧，量化器145可以在没有变换的情况下直接量化相关的残差块。量化器145可以根据变换块中的变换系数的位置应用不同的量化系数(缩放值)。应用于二维布置的量化的变换系数的量化的系数的矩阵，可被编码并用信号通知视频解码装置。
重新布置单元150可以对用于量化的残差值的系数值重新排序。
重新布置单元150可以通过系数扫描将系数的二维阵列改变为一维系数序列。例如，重新布置单元150可以使用Z字形扫描或者对角线扫描将系数从DC系数扫描到高频区域中的系数，以输出1维系数序列。取决于变换器的尺寸及帧内预测模式，可使用垂直扫描(在列方向上扫描二维系数阵列)或水平扫描(在行方向上扫描二维块形系数)，来代替Z字形扫描。也就是说，可根据变换器的尺寸和帧内预测模式，在Z字形扫描、对角扫描、垂直扫描和水平扫描中确定要使用的扫描模式。
熵编码器155使用诸如基于上下文的自适应二进制算术码(CABAC)和指数哥伦布的各种编码技术，来对从重新布置单元150输出的一维量化的变换系数进行编码，以产生比特流。
熵编码器155对与块划分相关联的信息(诸如，CTU尺寸、CU划分标记、QT划分标记、MTT划分类型和MTT划分方向)进行编码，使得视频解码装置能够以与视频编码装置中相同的方式对块进行划分。另外，熵编码器155对关于指示当前块是通过帧内预测还是帧间预测进行编码的预测类型的信息进行编码，并且根据预测类型对帧内预测信息(即，关于帧内预测模式的信息)或帧间预测信息(用于合并模式的合并索引、关于参考图片索引以及用于AMVP模式的运动矢量差的信息)进行编码。熵编码器155还对与量化相关的信息(即，关于量化参数的信息和关于量化矩阵的信息)进行编码。
逆量化器160对从量化器145输出的量化的变换系数进行逆量化以产生变换系数。逆变换器165将从逆量化器160输出的变换系数从频域变换到空间域，并且重建残差块。
加法器170将重建的残差块与由预测器120生成的预测块相加以重建当前块。重建的当前块中的样本在执行下一块的帧内预测中被用作参考样本。
环路滤波器单元180对重构的样本进行滤波以减少由于基于块的预测和变换/量化而产生的块假影、振铃假影和模糊假影。环路滤波器单元180可至少包括去块化滤波器182、样本自适应偏移(SAO)滤波器184和自适应环路滤波器(ALF)186。
去块化滤波器180对重建的块之间的边界进行滤波以便去除由逐块编码/解码引起的块伪影，并且SAO滤波器184和ALF186对去块化滤波的图像执行附加滤波。SAO滤波器184和ALF186是用于补偿由有损编码引起的重构的像素与原始像素之间的差的滤波器。SAO滤波器184通过以CTU为单位应用偏移来提高编码效率以及主观图像质量。另一方面，ALF186执行逐块滤波，并且通过根据相应块的边缘和改变程度应用不同的滤波器来补偿失真。关于将用于ALF的滤波器系数的信息可被编码并用信号通知视频解码装置。
通过去块化滤波器182、SAO滤波器184和ALF186滤波的重建的块被存储在存储器190中。一旦一个图片中的所有块被重建，则重建的图片可以被用作用于接下来要编码的图片中的块的帧间预测的参考图片。
图5是能够实施本公开的技术的视频解码装置的示例性功能框图。在下文中，将参考图5描述视频解码装置和该装置的元件。
视频解码装置可包括熵解码器510、重新布置单元515、逆量化器520、逆变换器530、预测器540、加法器550、环路滤波器单元560和存储器570。
与图1的视频编码装置相似，视频解码装置的每个元件可在硬件、软件或硬件和软件的组合中实现。此外，每个元件的功能可以在软件中实现，并且微处理器可以被实现为执行与每个元件相对应的软件的功能。
熵解码器510通过对由视频编码装置产生的比特流进行解码并提取与块划分相关的信息来确定将被解码的当前块，并提取重建当前块所需的预测信息和关于残差信号的信息等。
熵解码器510从序列参数集合(SPS)或图片参数集合(PPS)提取关于CTU尺寸的信息，确定CTU的尺寸，并且将图片划分成具有确定尺寸的CTU。然后，解码器确定CTU为最上层，即树结构的根节点，并提取CTU的划分信息，以使用树结构对CTU进行划分。
例如，当使用QTBTTT结构对CTU进行划分时，提取与QT的划分相关的第一标记(QT_split_flag)，以将每个节点划分为子层的四个节点。对于与QT的叶节点对应的节点，提取第二标记(MTT_split_flag)和与MTT的划分相关的划分方向(垂直/水平)和/或划分类型(二进制/三元)的信息，以在MTT结构中划分相应的叶节点。因此，QT的叶节点下面的每个节点在BT或TT结构中递归地划分。
作为另一示例，当使用QTBTTT结构来划分CTU时，可提取指示是否划分CU的CU划分标记(split_cu_flag)。当对应的块被划分时，可提取第一标记(QT_split_flag)。在划分操作中，在零个或多个递归QT划分之后，对于每个节点可以发生零个或多个递归MTT划分。例如，CTU可以直接经历MTT划分而不经历QT划分，或者仅经历多次QT划分。
作为另一示例，当CTU使用QTBT结构进行划分时，与QT划分相关的第一标记(QT_split_flag)被提取，并且每个节点被划分成下层的四个节点。然后，提取指示与QT的叶节点相对应的节点是否在BT中被进一步划分的划分标记(split_flag)以及划分方向信息。
一旦通过以树结构划分确定将被解码的当前块，熵解码器510就提取关于指示当前块是帧内预测还是帧间预测的预测类型的信息。当预测类型信息指示帧内预测时，熵解码器510提取用于当前块的帧内预测信息(帧内预测模式)的语法元素。当预测类型信息指示帧间预测时，熵解码器510提取用于帧间预测信息的语法元素，即，指示运动矢量和由运动矢量参考的参考图片的信息。
熵解码器510还提取关于当前块的量化的变换系数的信息作为与量化有关的信息和关于残差信号的信息。
重新布置单元515可以按照由视频编码装置执行的系数扫描的逆顺序，将由熵解码器510熵解码的一维量化的变换系数的序列改变为二维系数阵列(即，块)。
逆量化器520使用量化参数逆量化已量化的变换系数。逆量化器520可将不同的量化系数(缩放值)应用于布置为二维的量化的变换系数。逆量化器520可通过将来自视频编码装置的量化系数的矩阵(缩放值)应用于量化的变换系数的二维阵列来执行逆量化。
逆变换器530将逆量化的变换系数从频域逆变换到空间域以重建残差信号，从而生成用于当前块的重建的残差块。
此外，当逆变换器530仅对变换块的部分区域(子块)逆变换时，逆变换器530提取指示仅变换块的子块已经被变换的标记(cu_sbt_flag)、子块方向(垂直/水平)信息(cu_sbt_horizontal_flag)和/或子块位置信息(cu_sbt_pos_flag)，将子块的变换系数从频域逆变换到空间域以重建残差信号，并且使用“0”填充没有被逆变换为残差信号的区域以产生用于当前块的最终残差块。
另外，当应用MTS时，逆变换器530使用从视频编码装置信号通知的MTS信息(mts_idx)，来确定将在水平方向和垂直方向上分别应用的变换函数或变换矩阵，并使用确定的变换函数在水平方向和垂直方向上逆变换变换块中的变换系数。
预测器540可包括帧内预测器542和帧间预测器544。在当前块的预测类型是帧内预测时激活帧内预测器542，并且在当前块的预测类型是帧间预测时激活帧间预测器544。
帧内预测器542基于从熵解码器510提取的帧内预测模式的语法元素，在多个帧内预测模式中确定当前块的帧内预测模式，并根据帧内预测模式使用围绕当前块的参考样本来预测当前块。
帧间预测器544使用从熵解码器510提取的帧内预测模式的语法元素确定当前块的运动矢量和由运动矢量参考的参考图片，并且基于运动矢量和参考图片预测当前块。
加法器550通过将从逆变换器输出的残差块与从帧间预测器或帧内预测器输出的预测块相加来重建当前块。当稍后将被解码的块被帧内预测时，重建的当前块中的像素被用作参考像素。
环路滤波器单元560是环路滤波器，并可包括去块化滤波器562、SAO滤波器564和ALF 566。去块化滤波器562对重建的块之间的边界执行去块化滤波，以便去除由逐块解码引起的块假影。SAO滤波器564和ALF 566在去块化滤波之后对重建的块执行附加滤波以补偿由有损编码引起的重建像素和原始像素之间的差。ALF的滤波器系数是使用关于从比特流解码的滤波器系数的信息来确定的。
通过去块化滤波器562、SAO滤波器564和ALF 566滤波的重建块被存储在存储器570中。当一个图片中的所有块被重建时，重建的图片用作用于稍后要编码的图片中的块的帧间预测的参考图片。
本实施例涉及如上所述的视频编码和解码。更具体地说，在使用具有不同分辨率的参考图片的视频编码和解码中，考虑到参考图片的分辨率对当前图片进行编码/解码，以便提高编码/解码效率。另外，一种视频编码/解码方法，用于通过参考具有与当前图片不同的分辨率的参考图片的运动矢量，在帧间预测期间解码用于当前图片的运动矢量。
在根据本公开的以下描述中，假设如图5中所示的视频编码/解码装置的存储器190和570包括解码图片缓冲器(DPB)和解码缓冲器(DB)。
图6是概念性地示出根据本公开的实施例的用于具有不同分辨率的多个层的解码处理的示例性示图。
在图6的示例中，高级别层和低级别层(或序列)通过以不同的分辨率编码相同的图像而获得，并且在解码期间可参考这样的分辨率特征、相同的图片序列号(POC)信息等执行视频解码。此外，视频解码装置可基于预先存储的低级别层的解码信息和关于当前图片的解码的残差信号，使用当前图片的解码信息对高级别层进行解码。在这里，低级别层的解码信息可以包括以下中的至少一个：(i)语法方面的解码信息，诸如块划分信息、预测模式、预测方向、变换内核、运动矢量、参考图片索引、滤波器信息(例如，关于环路滤波器、插值滤波器等的信息)、以及权重预测参数(例如，用于双向参考块的加权平均的权重)，(ii)具有用于解码的匹配当前图片的位置的其他特征(例如，不同的分辨率)的解码的块的像素信息，以及(iii)用于参考图片的残差信号。与当前图片匹配的位置可以是相同的POC的低级别层的图片或者由当前图片参考的低级别层的图片(即，参考图片)。
同时，为了获得低级别解码信息和残差信号，视频解码装置可使用以下方法中的至少一个：使用通过对从视频编码装置发送的比特流进行解析而获得的信息的方法和使用通过对从视频编码装置发送的比特流进行解析然后对解析的比特流进行解码而产生的重构图像的像素信息的方法。
在下文中，在根据本公开的描述中，假设当前图片包括用于解码的当前块并且被包括在高级别层中。假设参考图片包括用于解码当前块的参考块或将被参考的参考位置，并且被包括在低级别层中。
图7为根据本公开的实施例的使用具有不同分辨率的参考图像的视频解码方法的示意性流程图。
图7的示例示出了在基于块的解码过程期间基于具有不同分辨率的参考图片执行帧间预测的方法。在确定参考图片索引和运动矢量的约束条件之后(S700)，视频解码装置产生关于参考图片索引的信息(S702)，并产生关于运动矢量的信息(S704)。在这里，参考图片索引和运动矢量可以基于如上所述的低级别解码信息。
在基于参考图片索引产生第一参考图片之后，视频解码装置使用第一参考图片产生第一预测信号(S706)。在产生第一预测信号的过程中，可以使用运动矢量。
当用于解码的当前块的分辨率与参考图片的分辨率不同时，视频解码装置可在对参考图片应用分辨率校正滤波之后参考参考图片。也就是说，视频解码装置通过将分辨率校正滤波应用于具有与当前块不同的分辨率的第一参考图片来产生第二参考图片(S708)，然后使用第二参考图片产生第二预测信号(S710)。在产生第二预测信号的处理中，可以使用考虑到分辨率差的运动矢量。稍后将描述考虑分辨率差产生运动矢量的一种方法。同时，第二参考图片可以存储在解码图片缓冲器(DPB)中。
视频解码装置选择第一预测信号和第二预测信号中的一个作为预测信号，并通过将关于当前块的残差信号与预测信号相加来产生重建块(S712)。这里，当具有不同分辨率的图像被裁剪并因此产生第一预测信号时，可在不调整分辨率的情况下参考第一预测信号，因此视频解码装置可选择第一预测信号作为预测信号。
在下文中，将描述用于参考图片索引和运动矢量的约束条件。当参考具有不同分辨率的参考图片时，当不同层的相同POC的图片是参考图片时，可以省略参考图片索引或运动矢量的传输。当参考图片索引被省略时，视频解码装置可针对高级别层参考相同POC的低级别层。另外，当省略运动矢量时，视频解码装置可考虑参考关系中的高级别层图片和低级别层图片的分辨率以及它们之间的对应位置关系，参考低级别层图片，而无需关于高级别层的运动矢量的信息。
可替换地，视频解码装置可使用相同的POC的低级层图片的参考图片索引和运动矢量作为预测值。首先，当低级别层图片的参考图片索引用作预测值时，视频解码装置可通过将参考图片索引的差值加到参考图片索引来确定高级别层图片的参考图片索引。在这里，高级别层图片的参考图片索引可以限于低级别层的参考图片索引。也就是说，在对包括在高级别层中的当前块进行解码时，相对于包括在相应的低级别层中的参考块的参考图片索引的预测值照原样使用，并且可以省略索引的差值的传输。当低级别层图片的运动矢量被用作预测值时，可以考虑高级别层图片和低级别层图片的分辨率以及它们之间的对应位置关系，来确定运动矢量的预测值。
同时，用于当前块的参考图片的运动矢量可以被限制为包括0的特定值。在这里，用于参考图片的运动矢量是0的事实指示在通过将分辨率校正滤波应用于第一参考图片获得的第二参考图片中参考与当前块的位置相同的位置。
如上所述，当参考图片索引和运动矢量被限制时，可根据视频编码装置和视频解码装置之间的协定，省略参考图片索引和运动矢量的传输，并且视频解码装置可使用协定的值对当前块进行解码。
同时，即使运动矢量的传输被省略，基于视频解码装置执行的解码器运动矢量细化(DMVR)，考虑分辨率校正的低级别层的参考图片索引和运动矢量可被恢复为最适合于高级别层的运动信息。
在此，可以使用在当前块周围的先前解码的块的重建样本执行DMVR。通常，当解码顺序从左上至右下时，周围的重构样本由在左侧和上侧的J(J是自然数)个样本线组成。视频解码装置可计算用于DMVR的样本和滤波的低级别层的参考图片之间的误差，以确定在参考图片中具有最小误差的位置，并使用确定的位置确定当前块的参考位置。
在本公开的另一实施例中，视频解码装置可计算用于DMVR的样本的运动矢量的加权平均值，并针对当前块的运动矢量确定所述加权平均值，如上所述。
图8是示出根据本公开的实施例的使用具有不同分辨率的参考图片确定帧内预测模式的示例性示图。
当在帧内预测模式下对低级别层的参考图片进行解码时，根据本实施例的视频解码装置可使用预先存储用于低级别层的参考图片的帧内预测模式信息，来确定当前块的帧内预测模式。视频解码装置可获得关于将参考预测模式的低级别层图片的信息，从低级别层的参考图片获得关于参考位置(将由当前块参考的块的位置)的信息，然后使用与参考位置对应的块的帧内预测模式信息对当前块执行帧内预测以产生预测信号。在这里，参考图片和参考位置可以基于如上所述的低级别解码信息。视频解码装置可通过将预测信号与当前块的残差信号相加来产生重建块。
同时，根据视频编码/解码装置之间的协定，低级别层的参考图片和参考位置可被限制到特定值。相对于视频编码/解码装置的当前图片的低级别层中的参考图片可被限制为特定索引的图片。此外，参考位置可被限制为包括0的特定值。
参考位置信息是0的事实指示在考虑参考图片和将被解码的当前图片的分辨率以及它们之间的对应位置关系来确定其预测模式将被参考的块的位置时，参考与当前块的位置相同的位置。限制参考图片索引指示仅具有与高级别层的POC相同的POC或具有特定时间位置关系的低级别层的图片被用于帧内预测模式的参考。当受限的参考图片索引是固定值或者视频解码装置可以根据在视频编码/解码装置之间的协定的方法确定参考图片索引时，省略帧内预测模式的参考位置信息、参考图片索引、帧内预测模式等的传输，并且视频解码装置可以使用协定的值对当前块进行解码。
图9是示出根据本公开的实施例的使用具有不同分辨率的参考图片的帧内/帧间混合预测的概念示例性示图。
根据本实施例的视频解码装置可基于帧内/帧间混合预测对当前块进行解码。视频解码装置可通过对通过对低级别层的参考块执行分辨率校正滤波而获得的第一参考信号和使用当前块周围的解码的参考像素帧内预测的第二参考信号进行加权求和来产生第三参考信号，并参考这些信号中的至少一个来执行解码。这里，可使用从视频编码装置接收权重并使用权重的方法、接收和使用权重列表的索引的方法和根据视频编码/解码装置之间的协定使用固定值的方法中的至少一个，来确定第一参考信号和第二参考信号的权重(图9的示例中的a和b)。
在本发明的另一实施例中，当用于第一参考信号的预测模式是帧内预测模式时，可根据视频编码/解码装置之间的协定省略用于第二参考信号的帧内预测模式的传输，并可使用第一参考信号的预测模式预测第二参考信号。
在本发明的另一实施例中，当使用具有不同分辨率的参考图片时，可以省略参考图片索引和运动矢量。此外，用于视频编码/解码装置的当前图片的参考图片可被限制为特定索引的图片。例如，在当前图片和参考图片之间的关系是层关系，并且当前图片可将低级别层称为高级别层时，如在图6的示例中，视频解码装置可针对高级别层图片参考同一POC的低级别层图片。此外，高级别层图片的参考图片索引可以限于低级别层的相同POC图片。
在本公开的另一实施例中，当前块的参考块的运动矢量可被限制为包括0的特定值。参考块的运动矢量是0的事实指示在通过将分辨率校正滤波应用于第一参考图片而获得的第二参考图片中，参考与当前块的位置相同的位置。
如上所述，当参考图片索引和运动矢量被限制时，根据视频编码/解码装置之间的协定省略参考图片索引和运动矢量的传输，并且视频解码装置可以使用协定的值对当前块进行解码。也就是说，视频解码装置可将低级别层中的位于同一位置的解码块确定为第一参考信号，使用当前块周围的解码的参考像素预测第二参考信号，对第一参考信号和第二参考信号执行加权求和以产生第三参考信号，并参考这些信号中的至少一个来执行解码。
同时，用于帧内/帧间混合预测的权重能够以列表的索引、权重值和加权预测差值中的任何一个的形式从视频编码装置发送到解码装置。视频解码装置可通过使用索引、权重值和加权预测差值中的一个来确定当前块的帧内/帧间混合预测的权重，并产生当前块的预测信号。可以以基本解码块、解码块组、图块、切片、子帧、子帧组、帧、帧组、或者序列为单位，或者以补充增强信息(SEI)消息的形式发送权重，并且视频解码装置可以根据传输单元应用在属于相应的传输单元的解码单元中发送的权重。
尽管图9的示例示出了低级别层的分辨率低于高级别层的分辨率的情况，但是即使当低级别层的分辨率高于高级别层的分辨率时，在本公开的另一个实施例中也可以使用相同的方法。
图10是示出根据本公开的实施例的使用具有不同分辨率的参考图片的分量间参考的概念示例性示图。
在本实施例中，当根据分量间参考对在参考位置处的块(即，参考块)进行解码时，视频解码装置可在用于当前块的分量间参考期间使用基于参考块的分量间权重和偏移来执行解码。在这里，根据分量间参考的解码意味着使用当前块的亮度分量、分量间权重和偏移来解码当前块的色度分量，如在图10的示例和等式1中所示。
【等式1】
predC(i，j)＝α·recL(i，j)+β。
在此，recL(i，j)表示当前块中的(i，j)亮度样本中的解码的重构像素值，并且predC(i，j)表示当前块中的重采样的(i，j)色度样本中的预测值。另外，α和β指示基于参考块的分量之间的权重和偏移。在本实施例中，如图10所示，当根据分量间参考对参考块进行解码并且使用分量间参考解码对当前块进行解码时，视频解码装置可使用参考块的亮度和色度分量的像素值来计算当前块的分量之间的权重和偏移。可选地，可以仅使用参考块的亮度和色度分量块的一些像素或使用分辨率校正滤波的像素值来计算分量之间的权重和偏移。
在本发明的另一实施例中，当使用具有不同分辨率的参考图片时，根据视频编码/解码装置之间的协定，低级别层的参考图片和参考位置可被限制为特定值。此外，用于视频编码/解码装置的当前图片的参考图片可被限制为特定索引的图片。例如，如在图6的示例中，在当前图片和参考图片之间的关系是层关系并且当前图片可以将低级别层称为高级别层时，视频解码装置可以针对高级别层图片参考相同POC的低级别层图片。此外，高级别层图片的参考图片索引可以限于低级别层的相同POC图片。
在本公开的另一实施例中，当前块的参考位置可被限制为包括0的特定值。参考位置信息是0的事实指示在考虑参考图片和将被解码的当前图片的分辨率和其对应关系来确定其预测模式将被参考的块的位置时，参考与当前块的位置相同的位置。
如上所述，当参考图片索引和参考位置被限制时，根据视频编码/解码装置之间的协定省略参考图片索引和参考位置信息的传输，并且视频解码装置可以使用协定的值对当前块进行解码。也就是说，当通过分量间参考来预测位于低级别层中的共同位置的解码块时，视频解码装置可使用位于低级别层的共同位置的解码块的亮度块和色度块中的一些或全部的像素值，来预测分量之间的权重，并使用所述权重来执行当前块的分量间预测。
尽管图10的示例示出了低级别层的分辨率低于高级别层的分辨率的情况，但是在本公开的另一实施例中，即使当低级别层的分辨率高于高级别层的分辨率时，也可应用相同的方法。
在本发明的另一实施例中，当使用具有不同分辨率的参考图片时，如果矩阵加权帧内预测(MIP)被应用于在参考位置处的块(即，参考块)，则视频解码装置可使用由参考块使用的MIP模式作为当前块的MIP模式来对当前块进行解码。这里，因为不需要发送用于当前块的MIP模式，所以可以提高编码效率。
在本发明的另一实施例中，当使用具有不同分辨率的参考图片时，根据视频编码/解码装置之间的协定，低级别层的参考图片和参考位置可被限制为特定值。此外，用于视频编码/解码装置的当前图片的参考图片可被限制为特定索引的图片。例如，如在图6的示例中，在当前图片和参考图片之间的关系是层关系并且当前图片可以将低级别层称为高级别层时，视频解码装置可以针对高级别层图片参考相同POC的低级别层图片。此外，高级别层图片的参考图片索引可以限于低级别层的相同POC图片。
在本公开的另一实施例中，当前块的参考位置可被限制为包括0的特定值。参考位置信息是0的事实指示在考虑参考图片和将被解码的当前图片的分辨率和其对应关系来确定其预测模式将被参考的块的位置时，参考与当前块的位置相同的位置。
如上所述，当参考图片索引和参考位置被限制时，根据视频编码/解码装置之间的协定省略参考图片索引和参考位置信息的传输，并且视频解码装置可以使用协定的值对当前块进行解码。
尽管本实施例示出了低级别层的分辨率低于高级别层的分辨率的情况，但是在本公开的另一实施例中，即使当低级别层的分辨率高于高级别层的分辨率时，也可应用相同的方法。
当对具有不同分辨率的多个层执行编码的视频编码装置对高级别层进行编码时，可使用如上所述的使用具有不同分辨率的参考图片的视频解码方法中的全部或一些。
在下文中，在根据本公开的描述中，当前图片包括用于解码的当前块。参考图片包括要参考用于解码当前块的参考块。
当从具有不同于当前图片的分辨率的参考图片执行运动矢量预测时，运动矢量的编码效率可能由于当前块所需的运动矢量和基于参考图片的运动矢量的预测值之间的比例差而降低。在下文中，将参考图11和图12描述在考虑分辨率差异时通过视频解码装置从具有与当前块不同的分辨率的参考图片的区域预测当前块的运动矢量的方法。
如上文所描述，可将图片分层划分成例如子图片、CTU、切片、图块和编码单元的结构。图片可被划分为多个子图片，并且视频解码装置可从SPS的高级别信息解析划分信息。可以将图片划分成多个CTU，并且可以从PPS的高级别信息中解析划分信息。
另外，视频解码装置可从例如SPS的高级别信息解析子图片的起始地址和结束地址、关于图片分辨率、参考图片的宽度和高度等的子图片重采样缩放值(wSSP和hSSP)。另外，可从SPS的高级别信息解析运动矢量偏移值与运动矢量偏移索引匹配的表。运动矢量偏移表示运动矢量之间的差。
视频解码装置可从PPS的高级别信息解析参考图片的宽度和高度，并针对参考图片的宽度和高度对图片的缩放值(wSP和hSP)进行重采样。当前图片的宽度和高度可通过将参考图片的宽度和高度分别乘以或除以wSP和hSP来导出。此外，可以从PPS的高级别信息中解析CTU的数量、CTU的宽度和高度以及关于子图片的分辨率的CTU的重采样缩放值(wSCTU和hSCTU)。可通过将用信号发送的CTU的宽度乘以wSCTU或将其除以wSCTU来导出改变的CTU的宽度。可通过将用信号发送的CTU的高度乘以hSCTU或将用信号发送的CTU的高度除以hSCTU来导出改变的CTU的高度。
此外，视频解码装置可从图片报头中解析子图片的数量、子图片索引、子图片的宽度和高度、wSSP、hSSP等。可通过将用信号发送的子图片的宽度乘以或除以wSSP或wSP来导出改变的CTU的宽度。可通过将用信号通知的子图片的高度乘以hSSP或hSP或除以hSSP或hSP来导出改变的CTU的高度。
图11示出根据本发明实施例的当前图片和运动矢量参考图片的分层划分结构的示例。
在图11的示例中，运动矢量参考图片指示由相对于当前块的参考图片索引指定的图片。图11的示例示出了包括当前块A和运动矢量参考块B、子图片和图片的每个CTU的宽度和高度的缩放。包括当前块A和运动矢量参考块B的CTU之间的缩放差可以是当前块A和运动矢量参考块B之间的缩放差(wSdiff_curr_ref和hSdiff_curr_ref)。可使用当前块A相对于参考图片的缩放值和运动矢量参考块B相对于参考图片的缩放值来推导wSdiff_curr_ref和hSdiff_curr_ref。可使用wSCTU×wSSP×wSP推导编码单元相对于参考图片的宽度的缩放值。可使用hSCTU×hSSP×hSP推导编码单元相对于参考图片的高度的缩放值。
图12是示出根据本公开的实施例的使用具有不同分辨率的参考图片推导运动矢量并生成预测块的方法的流程图。
视频解码装置可通过解析运动矢量参考列表上的索引来导出第一参考运动矢量(S1200)。可以解析和使用用于运动矢量参考列表的配置方法模式。运动示例参考列表可由在接近于与当前块或另一图片相同的图片的位置处的块组成。此外，运动矢量参考列表可以通过顺序地更新解码的块来配置。
视频解码装置可通过使用当前块和运动矢量参考块之间的分辨率差改变第一参考运动矢量的缩放来推导第二参考运动矢量(S1202)。可以使用包括当前块的CTU的分辨率缩放与包括运动矢量参考块的CTU的分辨率缩放之间的差，推导出当前块与运动矢量参考块之间的分辨率缩放差。当前块相对于参考图片的分辨率的缩放可使用wSCTU、wSSP和wSP中的一者或一者以上通过乘法或除法来导出。运动矢量参考块相对于参考块的分辨率的缩放可通过使用存储在解码缓冲器(DB)中的一个或多个wSCTU、wSSP和wSP进行乘法或除法来导出。当前块与运动矢量预测块之间的分辨率缩放差可以通过将当前块相对于参考图片的分辨率的缩放乘以或除以运动矢量预测块相对于参考图片的分辨率的缩放来导出。
视频解码装置可通过将第一参考运动矢量乘以或除以推导出的分辨率缩放差来推导出第二参考运动矢量。可选择地，视频解码装置可通过将第一参考运动矢量乘以或除以推导出的分辨率缩放差并将运动矢量偏移加到结果来推导出第二参考运动矢量。这里，可使用分辨率缩放差来解析或导出运动矢量偏移索引。视频解码装置可参考从高级别信息解析的运动矢量偏移表，来推导与运动矢量偏移索引相应的运动矢量偏移。
基于预测模式(例如，合并模式或AMVP)，视频解码装置可选择性地推导残差运动矢量(S1204)。可从高级别信息解析残差运动矢量的值、残差运动矢量的符号索引、残差运动矢量的大小索引等。
另外，可从高级别信息或CTU级别信息中解析残差运动矢量的符号和索引匹配的表。视频解码装置可通过使用解析的索引和匹配表来推导残差运动矢量的符号。另外，可从高级别信息或CTU级别信息解析残差运动矢量大小和索引匹配的表。视频解码装置可通过使用解析的索引和匹配表来推导残差运动矢量的大小。
可通过将推导的残差运动矢量的大小乘以或除以wSCTU、wSSP和wSP中的一者或一者以上，来推导第二残差运动矢量的大小。视频解码装置可通过使用残差运动矢量的符号、残差运动矢量的大小或第二残差运动矢量的大小，来产生残差运动矢量。当推导残差运动矢量时，视频解码装置将残差运动矢量添加到参考运动矢量以导出运动矢量。
可根据预测模式在不执行第二参考运动矢量推导过程的情况下导出残差运动矢量。视频解码装置可通过将第一参考运动矢量添加到残差运动矢量来推导出第一运动矢量(S1206)。此外，视频解码装置可通过将第一运动矢量乘以或除以分辨率缩放参数来产生第二运动矢量(S1208)。
另一方面，当未推导出残差运动矢量时，视频解码装置可将第二参考运动矢量指定为运动矢量。
视频解码装置可使用当前块和预测块之间的分辨率缩放差产生预测块(S1210)。当前块和预测块的分辨率缩放可以使用与每个块相对应的wSCTU、wSSP和wSP来计算。视频解码装置可通过将当前块的分辨率缩放乘以或除以预测块的分辨率缩放来推导出当前块和预测块之间的缩放差。参考块的分辨率可以使用所导出的缩放差进行重采样，从而使得分辨率被改变为与当前块的分辨率相同。经重采样的参考块可以用作第一预测块。
在使用两条以上运动矢量信息的预测模式中，视频解码装置可通过执行图12中示出的处理多次来产生多个预测块，并随后对所产生的预测块进行加权平均以产生第二预测块。在加权平均处理中使用的每个预测块的权重可以被设置为相同的值、被解析、基于时间/空间距离推导出、或基于与当前块的缩放差推导出。
当块解码完成时，恢复的样本值可被存储在DPB中，并且高级别信息、运动矢量、图片划分结构、wSCTU、wSSP、wSP等可被存储在DB中。在DPB中存储样本值所需的存储器容量可以等于N×M×c(M、N和c是自然数)。这里，N×M是CTU、子图片或图片的宽度的公约数，并且c是CTU、子图片或图片的数量。另外，当前存储在DPB中的CTU、子图片或图片的数量为d(d为自然数)时，如果d小于或等于c，则可以将重建的CTU、子图片或图片存储在DPB中。
如上所述，根据本实施例，能够通过提供一种在使用具有不同分辨率的参考图片的视频编码和解码中考虑参考图片的分辨率来对当前图片执行帧间预测或帧内预测的方法，来提高编码/解码效率。
此外，根据本实施例，通过提供一种在帧间预测中参考具有与当前图片不同的分辨率的参考图片的运动矢量对运动矢量进行解码的方法，可以提高编码/解码效率。
虽然描述了根据本实施例的在每个流程图中顺序执行处理，但是本公开不限于此。换言之，因为可以改变流程图的处理的顺序或者可以并行执行一个或多个处理，所以流程图不限于时间序列顺序。
本实施例中描述的各种功能或方法可实现为可由一个或多个处理器读取和执行并存储在非暂时性记录介质中的指令。例如，非暂时性记录介质包括数据以计算机系统可读的形式存储的所有种类的记录装置。例如，非暂时性记录介质包括诸如可擦除可编程只读存储器(EPROM)、闪存驱动器、光盘驱动器、磁硬盘驱动器和固态驱动器(SSD)的存储介质。
尽管出于说明性的目的已描述了示例性实施例，但本领域技术人员将认识到，在不背离实施例的思想和范围的情况下，各种修改和变化是可能的。为了简洁和清晰起见，已经描述了示例性实施例。因此，本领域普通技术人员将理解，实施例的范围不受以上明确描述的实施例的限制，而是包括权利要求及其等同物。
(标记说明)
120：预测器
122：帧内预测器 124：帧间预测器
190：存储器
540：预测器
542：帧内预测器 544：帧间预测器
570：存储器。
相关申请的交叉引用
本专利申请要求享有2020年1月6日向韩国提交的专利申请号第10-2020-0001674号、2020年1月6日向韩国提交的专利申请号第10-2020-0001675号以及2021年1月6日向韩国提交的专利申请号第10-2021-0001214号的优先权，其全部内容作为引用并入本专利申请。

Claims (15)

1.一种视频解码方法，所述视频解码方法由视频解码装置基于包括在低级别层中并具有不同分辨率的参考图片执行，用于包括在高级别层中的当前图片中的当前块，所述视频解码方法包括：
获得所述当前块的预测模式；
获得所述当前块的解码的残差信号和解码信息，其中当所述预测模式是帧间预测时，所述解码信息包括参考图片索引和用于所述参考图片的运动矢量，并且当所述预测模式是帧内预测时，所述解码信息包括所述参考图片和在所述参考图片中的参考位置；
当所述预测模式是所述帧间预测时，基于所述解码信息产生用于所述当前块的预测信号；并且
通过将所述预测信号添加到所述残差信号，产生重建块，
其中，当使用所述帧间预测时，将用于校正所述不同分辨率的滤波应用于包括在所述参考图片中的参考块，使得所述不同分辨率匹配所述当前块的分辨率。
2.根据权利要求1所述的视频解码方法，其中，所述帧间预测包括：
基于所述参考图片索引产生第一参考图片；并且
通过将所述滤波应用于所述第一参考图片来产生第二参考图片，然后考虑所述不同分辨率和所述第二参考图片使用运动矢量来产生所述当前块的预测信号。
3.根据权利要求2所述的视频解码方法，其中，所述帧间预测包括：当所述参考图片索引的传输被省略时，参考包括在所述低级别层中的与所述第一参考图片相同的图片序列号(POC)的图片。
4.根据权利要求2所述的视频解码方法，其中，当所述运动矢量的传输被省略时，所述帧间预测包括基于所述当前块和所述参考图片的分辨率以及所述当前块和所述参考图片之间的对应位置关系，来产生所述当前块的预测信号。
5.根据权利要求4所述的视频解码方法，其中，所述帧间预测包括：考虑分辨率校正，基于所述运动矢量使用解码器运动矢量细化(DMVR)生成用于所述当前块的细化运动矢量，其中，使用所述当前块周围的先前解码的样本，执行DMVR。
6.根据权利要求5所述的视频解码方法，其中，所述DMVR计算所述先前解码的样本与所述第二参考图片之间的误差，并且基于所述第二参考图片中具有最小误差的位置确定所述当前块的参考位置。
7.根据权利要求1所述的视频解码方法，其中，所述帧间预测包括：使用所述参考图片索引和在所述低级别层中的图片中具有与所述当前图片相同的POC的图片的运动矢量作为预测值，来产生用于所述当前块的参考图片索引和运动矢量。
8.根据权利要求1所述的视频解码方法，其中，所述预测模式是帧内预测，
其中，所述帧内预测包括使用在所述参考位置处的块的帧内预测模式信息，来生成用于所述当前块的预测信号。
9.根据权利要求8所述的视频解码方法，其中，所述帧内预测包括将所述参考图片中与所述当前块的位置相同的位置设置为所述参考位置，并且使用在所述参考位置处的所述块的所述帧内预测模式信息生成用于所述当前块的预测信号。
10.根据权利要求1所述的视频解码方法，其中，基于帧内/帧间混合预测对所述当前块进行解码，
其中所述混合预测包括：
通过将滤波应用于所述参考块来产生第一参考信号；
使用所述当前块周围的解码的参考像素，预测第二参考信号；以及
通过基于预设权重，对所述第一参考信号和所述第二参考信号进行加权相加来产生所述当前块的预测信号。
11.根据权利要求8所述的视频解码方法，其中，所述帧内预测包括：使用所述参考位置处的所述块的分量之间的权重和偏移、以及当根据分量间参考对所述参考位置处的所述块进行解码时所述当前块的亮度分量的像素值，来生成所述当前块的色度分量的像素值的预测信号。
12.根据权利要求11所述的视频解码方法，其中，所述帧内预测包括：使用所述参考位置处的所述块的全部或部分的所述亮度分量和所述色度分量的像素值、或应用分辨率校正滤波的所述参考位置处的所述块的像素值，来计算分量之间的所述权重和所述偏移。
13.一种视频编码方法，所述视频编码方法由视频编码装置基于包括在低级别层中并具有不同分辨率的参考图片来执行，用于包括在高级别层中的当前块，所述视频编码方法包括：
产生用于所述当前块的预测模式；
获得关于所述当前块的编码信息，其中，当所述预测模式是帧间预测时，所述编码信息包括参考图片索引和用于所述参考图片的运动矢量，并且当所述预测模式是帧内预测时，所述编码信息包括所述参考图片和在所述参考图片中的参考位置；
当所述预测模式是所述帧间预测时，基于所述编码信息来产生用于所述当前块的预测信号；以及
通过从所述当前块减去所述预测信号生成残差信号，
其中，当使用所述帧间预测时，将用于校正不同分辨率的滤波应用于包括在所述参考图片中的参考块，使得所述不同分辨率匹配所述当前块的分辨率。
14.根据权利要求13所述的视频编码方法，其中，所述帧间预测包括：
基于所述参考图片索引从所述参考图片产生第一参考图片；并且
通过将所述滤波应用于所述第一参考图片来产生第二参考图片，然后考虑所述不同分辨率和所述第二参考图片使用运动矢量来产生所述当前块的预测信号。
15.根据权利要求13所述的视频编码方法，其中，所述预测模式是所述帧内预测，
其中，所述帧内预测包括使用在所述参考位置处的块的帧内预测模式信息，来生成用于所述当前块的所述预测信号。
CN202180008157.7A 2020-01-06 2021-01-06 基于具有不同分辨率的参考图片的图像编码和解码 Pending CN115066900A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR10-2020-0001674 2020-01-06
KR20200001674 2020-01-06
KR10-2020-0001675 2020-01-06
KR20200001675 2020-01-06
PCT/KR2021/000109 WO2021141372A1 (ko) 2020-01-06 2021-01-06 이종 해상도를 갖는 참조 픽처 기반의 영상 부호화 및 복호화

Publications (1)

Publication Number Publication Date
CN115066900A true CN115066900A (zh) 2022-09-16

Family

ID=76862943

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202180008157.7A Pending CN115066900A (zh) 2020-01-06 2021-01-06 基于具有不同分辨率的参考图片的图像编码和解码

Country Status (3)

Country Link
EP (1) EP4090027A4 (zh)
KR (1) KR20210088448A (zh)
CN (1) CN115066900A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
WO2013133639A1 (ko) * 2012-03-09 2013-09-12 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
US20150215632A1 (en) * 2012-07-06 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for multilayer video encoding for random access, and method and apparatus for multilayer video decoding for random access
US20160029029A1 (en) * 2013-04-04 2016-01-28 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
EP3139612A1 (en) * 2014-06-10 2017-03-08 Hangzhou Hikvision Digital Technology Co., Ltd. Image encoding method and device, and image decoding method and device
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
JP2018032913A (ja) * 2016-08-22 2018-03-01 沖電気工業株式会社 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012050758A1 (en) * 2010-10-12 2012-04-19 Dolby Laboratories Licensing Corporation Joint layer optimization for a frame-compatible video delivery

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080267291A1 (en) * 2005-02-18 2008-10-30 Joseph J. Laks Thomson Licensing Llc Method for Deriving Coding Information for High Resolution Images from Low Resolution Images and Coding and Decoding Devices Implementing Said Method
WO2013133639A1 (ko) * 2012-03-09 2013-09-12 엘지전자 주식회사 인터 레이어 예측 방법 및 이를 이용하는 장치
US20150215632A1 (en) * 2012-07-06 2015-07-30 Samsung Electronics Co., Ltd. Method and apparatus for multilayer video encoding for random access, and method and apparatus for multilayer video decoding for random access
US20160029029A1 (en) * 2013-04-04 2016-01-28 Electronics And Telecommunications Research Institute Image encoding/decoding method and device
EP3139612A1 (en) * 2014-06-10 2017-03-08 Hangzhou Hikvision Digital Technology Co., Ltd. Image encoding method and device, and image decoding method and device
US20170099490A1 (en) * 2015-10-02 2017-04-06 Qualcomm Incorporated Constrained intra-prediction for block copy mode
JP2018032913A (ja) * 2016-08-22 2018-03-01 沖電気工業株式会社 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FANGDONG CHEN， LI WANG: "CE9: Unidirectional Template based DMVR and its Combination with Simplified Bidirectional DMVR (Test 9.2.10 and Test 9.2.11)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING: MACAO, CN》, 12 October 2018 (2018-10-12), pages 2 *
JIANLE CHEN， YAN YE， SEUNG HWAN KIM: "Algorithm description for Versatile Video Coding and Test Model 6 (VTM 6)", 《JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 15TH MEETING: GOTHENBURG, SE》, 12 July 2019 (2019-07-12), pages 3 *

Also Published As

Publication number Publication date
EP4090027A4 (en) 2024-01-17
EP4090027A1 (en) 2022-11-16
KR20210088448A (ko) 2021-07-14

Similar Documents

Publication Publication Date Title
CN113812147B (zh) 使用块内复制的图像编码和解码
CN115104307A (zh) 基于重采样色度信号的视频编码和解码
CN113892268A (zh) 基于预测模式估计的帧内预测装置和方法
CN116472709A (zh) 用于视频编码和解码的装置和方法
CN116113985A (zh) 利用基于深度学习的环内滤波器进行视频编码和解码
CN116134812A (zh) 使用任意块划分的视频编码和解码
US20230055497A1 (en) Image encoding and decoding based on reference picture having different resolution
EP4090027A1 (en) Image encoding and decoding based on reference picture having different resolution
US20230283768A1 (en) Method for predicting quantization parameter used in a video encoding/decoding apparatus
US20220417552A1 (en) Method and apparatus for inter-prediction of pictures with different resolutions
US20240114131A1 (en) Video encoding/decoding method and apparatus
US20230396795A1 (en) Inter prediction-based video encoding and decoding
US20230300347A1 (en) Video codec using deep learning model based on block
EP4258667A1 (en) Video codec using block-based deep learning model
US20230308662A1 (en) Method and apparatus for video coding using block merging
US20230412811A1 (en) Method and apparatus for video coding using spiral scan order
US20240137528A1 (en) Video encoding/decoding method and apparatus
US20230421752A1 (en) Method and apparatus for video coding using matrix based cross-component prediction
US20240196009A1 (en) Method and apparatus for video coding using subblock coding order change and intra prediction according to same
US20240179303A1 (en) Video encoding/decoding method and apparatus
US20240179326A1 (en) Method and apparatus for video coding using nonrectangular block splitting structure
CN116941241A (zh) 利用基于矩阵的交叉分量预测的视频编解码方法和装置
KR20220017372A (ko) 영상 부/복호화 장치에서 이용하는 양자화 파라미터 예측 방법
KR20230059135A (ko) 다양한 블록 분할 구조를 이용하는 비디오 코딩방법 및 장치
KR20230036967A (ko) 서브블록 코딩 순서 변경 및 그에 따른 인트라 예측을 이용하는 비디오 코딩방법 및 장치

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination