CN111630859A - 根据图像编码系统中的帧间预测进行图像解码的方法和装置 - Google Patents

根据图像编码系统中的帧间预测进行图像解码的方法和装置 Download PDF

Info

Publication number
CN111630859A
CN111630859A CN201880085985.9A CN201880085985A CN111630859A CN 111630859 A CN111630859 A CN 111630859A CN 201880085985 A CN201880085985 A CN 201880085985A CN 111630859 A CN111630859 A CN 111630859A
Authority
CN
China
Prior art keywords
current block
block
prediction
motion vector
deriving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201880085985.9A
Other languages
English (en)
Other versions
CN111630859B (zh
Inventor
李在镐
金昇焕
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Publication of CN111630859A publication Critical patent/CN111630859A/zh
Application granted granted Critical
Publication of CN111630859B publication Critical patent/CN111630859B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors

Abstract

根据本公开的一种由解码装置执行的图像解码方法包括以下步骤：推导参考图片列表0(L0)和参考图片列表1(L1)的步骤；推导当前块的两个运动矢量(MV)的步骤，所述两个MV包括所述L0的MVL0和所述L1的MVL1；确定是否向所述当前块应用按子块推导精化运动矢量的双向预测光流(BIO)预测的步骤；如果向所述当前块应用所述BIO预测则基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量的步骤；以及基于所述精化运动矢量来推导预测样本的步骤。

Description

根据图像编码系统中的帧间预测进行图像解码的方法和装置
技术领域
本公开涉及图像编码技术，并且更具体地，涉及在图像编码系统中根据帧间预测进行的图像解码方法和用于该图像解码方法的装置。
背景技术
在各种领域中，对诸如HD(高清)图像和UHD(超高清)图像这样的高分辨率、高质量图像的需求正在增长。因为图像数据具有高分辨率和高质量，所以相对于传统图像数据，待传输的信息或比特的量增加。因此，当使用诸如传统有线/无线宽带线路这样的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要用于有效地发送、存储和再现高分辨率高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开要解决的技术问题在于提供提高图像编码效率的方法和装置。
本公开要解决的技术问题在于提供提高帧间预测效率的方法和装置。
本公开要解决的另一技术问题在于提供通过应用BIO预测来推导子块单元的精细运动矢量的方法和装置。
本公开要解决的又一技术问题在于提供通过确定是否应用BIO预测来降低推导精化运动矢量的计算的计算复杂度的方法和装置。
技术方案
根据本公开的示例，提供了一种由解码装置执行的图像解码方法。该方法包括以下步骤：推导参考图片列表0(L0)和参考图片列表1(L1)；推导当前块的两个运动矢量(MV)，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1；确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测；当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量；以及基于所述精化运动矢量来推导预测样本。
根据本公开的另一示例，提供了一种执行图像解码的解码装置。该解码装置包括：熵解码器，该熵解码器被配置为通过比特流获得关于当前块的帧间预测的信息；以及预测器，该预测器被配置为推导参考图片列表0(L0)和参考图片列表1(L1)；推导所述当前块的两个运动矢量(MV)，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1；确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测；当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量；以及基于所述精化运动矢量来推导预测样本。
根据本公开的另一示例，提供了一种由编码装置执行的视频编码方法。该方法包括以下步骤：推导参考图片列表0(L0)和参考图片列表1(L1)；推导当前块的两个运动矢量(MV)，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1；确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测；当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量；基于所述精化运动矢量来推导预测样本；以及对关于所述当前块的帧间预测的信息进行熵编码。
根据本公开的另一示例，提供了一种视频编码装置。该编码装置包括：预测器，该预测器被配置为推导参考图片列表0(L0)和参考图片列表1(L1)，推导所述当前块的两个运动矢量(MV)，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1，确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测，当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量，并且基于所述精化运动矢量来推导预测样本；以及熵编码器，该熵编码器被配置为对关于所述当前块的帧间预测的信息进行熵编码。
技术效果
根据本公开，能够通过确定是否向当前块应用BIO预测来降低使用基于子块而推导的精化运动矢量的帧间预测的计算复杂度，由此能够提高整体编码效率。
根据本公开，通过基于FRUC的模式确定是否应用BIO预测，能够降低使用基于子块而推导的精化运动矢量的帧间预测的计算复杂度，由此能够提高整体编码效率。
附图说明
图1是例示了适用本公开的视频编码装置的配置的示意图。
图2是例示了适用本公开的视频解码装置的配置的示意图。
图3例示性表示在BCC以及物体在短时间段内以恒定速度移动的假定下的双向预测运动矢量。
图4表示执行基于样本的BIO预测和基于块的BIO预测的示例。
图5表示基于当前块的大小来确定是否应用BIO预测的示例。
图6例示性表示通过BM方法推导运动信息的示例。
图7例示性表示通过TM方法推导运动信息的示例。
图8a和图8b表示基于FRUC执行的编码处理和解码处理的示例。
图9a和图9b表示对应用FRUC和/或BIO的当前块进行编码/解码的示例。
图10示意性表示根据本公开的由编码装置进行的图像编码方法。
图11示意性表示根据本公开的执行图像编码方法的编码装置。
图12示意性表示根据本公开的由解码装置进行的图像解码方法。
图13示意性表示根据本公开的执行图像解码方法的解码装置。
具体实施方式
本公开可以按各种形式进行修改，并且将在附图中描述和例示其具体实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语用于仅仅描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地理解即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除有可能存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合。
此外，出于方便说明不同特定功能的目的，独立地绘制本公开中描述的图中的元件，这并不意味着这些元件是由独立硬件或独立软件实施的。例如，可以将这些元件中的两个或更多个元件组合，以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本公开的构思的情况下，其中组合和/或划分元件的实施方式属于本公开。
下文中，将参考附图来详细地描述本公开的实施方式。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。
此外，本公开涉及视频/图像编码。例如，本公开中公开的方法/实施方式可以应用于多功能视频编码(VVC)标准或下一代视频/图像编码标准中公开的方法。
在本公开中，通常，图片意指表示特定时隙中的图像的单元，并且切片是构成编码中的图片的一部分的单元。图片可以包括多个切片，并且在某些情况下，图片和切片可以以混合方式使用。
像素或画素(pel)可以意指构成图片(或图像)的最小单元。另外，术语“样本”可以与像素对应地使用。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素/像素值或者仅表示色度分量的像素/像素值。
单元表示图像处理的基本单位。单元可以包括图片的特定区域和与对应区域相关的信息中的至少一个。在某些情况下，可以将单元与块或区域以混合方式使用。在一般情况下，M×N块可以表示包括M列N行的样本或变换系数的集合。
图1是简要例示了适用本公开的视频编码装置的示图。
参考图1，视频编码装置100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125和逆变换器126。
图片分割器105可以将输入图片分割成至少一个处理单元。
例如，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树三叉树(QTBT)结构从最大编码单元(LCU)递归地分割编码单元。例如，可以基于四叉树结构和/或二叉树结构将一个编码单元分割成深度较深的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，随后可以应用二叉树结构。另选地，可以首先应用二叉树结构。可以基于不再被分割的最终编码单元来执行根据本公开的编码过程。在这种情况下，可以根据图像特性基于编码效率将最大的编码单元用作最终编码单元，或者可以在必要时将编码单元递归地分割成深度较深的编码单元，并且可以使用具有最佳尺寸的编码单元作为最终编码单元。这里，编码过程可以包括随后将描述的预测、变换和重构的过程。
在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换单元(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分割成深度较深的编码单元。在这种情况下，可以根据图像特性基于编码效率等直接将最大的编码单元用作最终编码单元，或者可以在必要时将编码单元递归地分割成深度较深的编码单元，并且可以使用具有最佳尺寸的编码单元作为最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分割成比最小编码单元小的编码单元。这里，最终编码单元是指被分割或划分成预测单元或变换单元的编码单元。预测单元是从编码单元分割出的单元，并且可以是样本预测的单元。这里，预测单元可以被分成子块。可以根据四叉树结构从编码单元分出变换单元，并且变换单元可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换单元可以被称为变换块(TB)。预测块或预测单元可以是指采用图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换单元可以是指采用图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，当前块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是帧间预测。例如，预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属图片(下文中，当前图片)中的当前块之外的参考样本来推导当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均或插值来推导预测样本(情况(i))，或者可以基于当前块的邻近参考样本当中的预测样本在特定(预测)方向上存在的参考样本来推导预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，作为示例，预测模式可以包括33种定向模式和至少两种非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于参考图片上的运动向量所指定的样本来推导当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动向量预测(MVP)模式中的任一种来推导当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，并不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动向量被用作运动向量预测器，因此被用作当前块的运动向量预测器来推导当前块的运动向量。
在帧间预测的情况下，邻近块可以包括当前图片中存在的空间邻近块和参考图片中存在的时间邻近块。包括时间邻近块的参考图片也可以被称为并置图片(colPic)。运动信息可以包括运动向量和参考图片索引。诸如预测模式信息和运动信息这样的信息可以被(熵)编码，然后被作为比特流的形式输出。
当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考图片列表中的最高图片可以被用作参考图片。可以基于当前图片与对应的参考图片之间的图片序号(POC)差来对齐参考图片列表中所包括的参考图片。POC对应于显示顺序并且可以与编码顺序区分开。
减法器121生成残差样本，残差样本是原始样本与预测样本之间的差。如果应用跳过模式，则可以不如上所述地生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于对应变换块的尺寸和应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如，如果向与变换块交叠的预测块或编码块应用帧内预测，则可以使用离散正弦变换(DST)变换核来变换残差样本，变换块为4×4残差阵列，并且在其它情况下使用离散余弦变换(DCT)变换核来变换它。
量化器123可以量化变换系数，以生成量化后的变换系数。
重排器124对量化后的变换系数进行重排。重排器124可以通过系数扫描方法将块形式的量化后的变换系数重排成一维向量。尽管将重排器124描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可以对量化后的变换系数执行熵编码。熵编码可以包括诸如(例如)指数哥伦布(exponential Golomb)、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等这样的编码方法。熵编码器130可以一起或分别地对除了量化后的变换系数之外的视频重构所必需的信息(例如，语法元素的值等)进行编码。熵编码后的信息可以以比特流的形式以NAL(网络抽象层)为单位发送或存储。
反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换，以生成残差样本。
加法器140将残差样本与预测样本相加，以重构图片。可以以块为单位将残差样本与预测样本相加，以生成重构块。尽管将加法器140描述为单独的组件，但是加法器140可以是预测器110的一部分。此外，加法器140可以被称为重构器或重构块生成器。
滤波器150可以向重构图片应用去块滤波和/或样本自适应偏移。可以通过去块滤波和/或样本自适应偏移来校正重构图片中块边界处的伪像或量化中的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以向重构图片应用自适应环路滤波器(ALF)。可以向已应用了去块滤波和/或样本自适应偏移的重构图片应用ALF。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是经滤波器150滤波的重构图片。所存储的重构图片可以被用作用于其它图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2是例示了适用本公开的视频解码装置的配置的示意图。
参考图2，视频解码装置200包括图像解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。这里，残差处理器220可以包括重排器221、反量化器222和逆变换器223。
当输入包括视频信息的比特流时，视频解码装置200可以重构与在视频编码装置中处理视频信息的处理对应的视频。
例如，视频解码装置200可以使用在视频编码装置中应用的处理器来执行视频解码。因此，视频解码的处理单元块例如可以是编码单元，或者又如可以是编码单元、预测单元或变换单元。可以根据四叉树结构和/或二叉树结构从最大编码单元中分割出编码单元。
在某些情况下，还可以使用预测单元和变换单元，并且在这种情况下，预测块是从编码单元推导或分割出的块并且可以是样本预测的单元。这里，预测单元可以被分成子块。可以根据四叉树结构从编码单元分割出变换单元，并且变换单元可以是推导变换系数的单元或从变换系数推导残差信号的单元。
熵解码器210可以解析比特流，以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等这样的编码方法对比特流中的信息进行解码，并且可以输出视频重构所需的语法元素的值和用于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素对应的bin，使用解码目标语法元素信息和邻近和解码目标块的解码信息或先前步骤中解码的符号/bin的信息来确定上下文模型，根据所确定的上下文模型来预测bin生成概率并且对bin执行算术解码以生成与每个语法元素值对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后，使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
在熵解码器210中解码的信息当中的用于预测的信息可以被提供到预测器250，并且残差值即熵解码器210已对其执行了熵解码的量化后的变换系数可以被输入到重排器221。
重排器221可以将量化后的变换系数重排为二维块形式。重排器221可以执行与由编码装置执行的系数扫描对应的重排。尽管将重排器221描述为单独的组件，但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化后的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码装置发信号发送用于推导量化参数的信息。
逆变换器223可以对变换系数进行逆变换，以推导残差样本。
预测器230可以对当前块执行预测，并且可以生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块或者可以是变换块或者可以是预测块。
预测器230可以基于用于预测的信息来确定是应用帧内预测还是帧间预测。在这种情况下，用于确定将使用帧内预测和帧间预测中的哪种的单元可以不同于用于生成预测样本的单元。另外，在帧间预测和帧内预测中，用于生成预测样本的单元也可以不同。例如，可以以CU为单位确定将应用帧间预测和帧内预测中的哪种。另外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，而在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本推导当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下，可以通过使用邻近块的帧内预测模式来确定将应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动向量在参考图片中指定的样本来推导当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一种来推导当前块的预测样本。这里，可以基于用于预测的信息来获取或推导由视频编码装置提供的当前块的帧间预测所需的运动信息，例如，运动向量和用于参考图片索引的信息。
在跳过模式和合并模式下，可以将邻近块的运动信息作为当前块的运动信息。这里，邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用的邻近块的运动信息来构造合并候选列表，并且使用由合并候选列表上的合并索引所指示的信息作为当前块的运动向量。可以由编码装置发信号通知合并索引。运动信息可以包括运动向量和参考图片。当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考图片列表中的最高图片可以被用作参考图片。
在跳过模式的情况下，与合并模式不同，不发送预测样本与原始样本之间的差(残差)。
在MVP模式的情况下，可以使用邻近块的运动向量作为运动向量预测器来推导当前块的运动向量。这里，邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时，例如，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成合并候选列表。在合并模式下，从合并候选列表中选择的候选块的运动向量被用作当前块的运动向量。以上提到的用于预测的信息可以包括合并索引，合并索引指示从合并候选列表中所包括的候选块中选择的具有最佳运动向量的候选块。这里，预测器230可以使用合并索引来推导当前块的运动向量。
当作为另一示例应用MVP(运动向量预测)模式时，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成运动向量预测器候选列表。即，可以使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量作为运动向量候选。以上提到的用于预测的信息可以包括指示从列表中所包括的运动向量候选中选择的指示最佳运动向量的预测运动向量索引。这里，预测器230可以使用运动向量索引，从运动向量候选列表中所包括的运动向量候选中选择当前块的预测运动向量。编码装置的预测器可以获得当前块的运动向量与运动向量预测器之间的运动向量差(MVD)，对MVD进行编码并且以比特流的形式输出编码后的MVD。即，MVD可以是通过从当前块的运动向量中减去运动向量预测器来获得的。这里，预测器230可以获取用于预测的信息中所包括的运动向量，并且通过将运动向量差与运动向量预测器相加来推导当前块的运动向量。另外，预测器可以从以上提到的用于预测的信息获得或推导指示参考图片的参考图片索引。
加法器240可以将残差样本与预测样本相加，以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本与预测样本相加来重构当前图片。当应用跳过模式时，不发送残差，因此预测样本可以成为重构样本。尽管将加法器240描述为单独的组件，但是加法器240可以是预测器230的一部分。此外，加法器240可以被称为重构器或重构块生成器。
滤波器250可以向重构图片应用去块滤波、样本自适应偏移和/或ALF。这里，在去块滤波之后，可以以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以被用作其它图片的参考图片。存储器260可以按输出顺序输出重构图片。
如上所述，一个或两个参考图片列表可以被用于当前块的帧间预测。即，对于当前块的帧间预测，可以使用参考图片列表0或参考图片列表1，或者可以构造参考图片列表0和参考图片列表1二者。例如，如果包括当前块的切片的切片类型为B(B切片)，则可以使用以上提到的两个参考图片列表中的至少一个，而如果包括当前块的切片的切片类型为P(P切片)，则只能使用参考图片列表0。参考图片列表0可以被称为L0(列表0)，并且参考图片列表1可以被称为L1(列表1)。在对当前块执行预测时，关于帧间预测的运动信息可以是双向预测运动信息或单向预测运动信息。可以基于当前块的邻近块来推导关于当前块的运动信息。这里，双向预测运动信息可以包括L0参考图片索引和L0运动矢量(L0运动信息)、L1参考图片索引和L1运动矢量(L1运动信息)，并且单向预测运动信息可以包括LO参考图片索引和L0运动矢量(L0运动信息)，或者可以包括L1参考图片索引和L1运动矢量(L1运动信息)。L0表示参考图片列表L0(列表0)，并且L1表示参考图片列表L1(列表1)。基于L0运动信息执行的帧间预测可以被称为L0预测，基于L1运动信息执行的帧间预测可以被称为L1预测，并且基于L0运动信息和L1运动信息即双向预测运动信息执行的帧间预测可以被称为双向预测。此外，单独的运动矢量可以被用于L0预测和L1预测中的每一个。即，例如，可以分别推导当前块的L0预测的运动矢量L0(MVL0)和L1预测的运动矢量L1(MVL1)。在这种情况下，例如，如果MVL0指示L0内的L0参考图片中的第一参考区域，并且MVL1指示L1内的L1参考图片中的第二参考区域，则当前块的预测样本可以是通过从第一参考区域的重构样本获得的第一预测子与从第二参考区域的重构样本获得的第二预测子的加权和推导的。这里，可以基于当前图片与第一参考图片之间的第一时间距离以及当前图片与第二参考图片之间的第二时间距离来执行加权和。这里，时间距离可以表示图片顺序计数(POC)差。即，当前图片的POC值与L0参考图片的POC值之间的差可以是第一时间距离，并且当前图片的POC值与L1参考图片的POC值之间的差可以是第二时间距离。
此外，根据本公开，如果应用上述的双向预测，则可以基于当前块的MVL0、MVL1、第一预测子和第二预测子来获得样本单元运动矢量或块单元运动矢量，由此可以推导其它改进的预测性能的预测样本。它可以被称为双向预测光流(BIO)预测，并且所述预测样本可以被称为精化预测样本或BIO预测样本，以与现有预测样本区分开。另外，样本单元运动矢量或块单元运动矢量可以被称为精化运动矢量或BIO运动矢量。如果推导出块单位运动矢量，则从其推导出块单元运动矢量的目标块可以具有Bw×Bh的预设大小。例如，目标块的大小可以被预设为4×4。在这种情况下，可以推导当前块中所包括的4×4大小的目标块的精化运动矢量。此外，当前块的目标块可以被表示为当前块的子块。
例如，可以通过以下方法推导精化运动矢量和精化预测样本。
如果假定亮度恒定约束(BCC)即连续帧中物体的样本(像素)值没有变化，则物体沿着光流(OF)的运动可以用下式来表示：
[式1]
I(x，y，t)＝I(x+Δx，y+Δy，t+Δt)，
其中，I(x，y，t)表示样本位置(x，y)和时间t处的样本值，并且Δ表示变化量。如果假定运动小，则上式1的右项可以被如下地表示为泰勒级数的一阶方程。
[式2]
Figure BDA0002576864150000121
这里，式2可以被除以Δt并总结如下。
[式3]
Figure BDA0002576864150000122
其中，Vx＝Δx/Δt，Vy＝Δy/Δt。
上式包括两个未知数(运动和信号的空间导数)。因此，空间导数对于运动分析是必要的。
根据本公开，通过使用光流(OF)特性，可以在不发送附加运动矢量的情况下获得基于样本(像素)或基于特定块而精化的运动矢量和参考样本值。例如，除了BCC之外，如果物体还在短时间段内以恒定速度移动，则MVL0和MVL1可以被表示为相同大小的对称值。换句话说，MVL0和MVL1的x分量可以具有相同的大小和彼此不同的符号，或者MVL0和MVL1的y分量可以具有相同的大小和彼此不同的符号。例如，如果MVL0的x分量和y分量分别为Vx和Vy，则MVL1的x分量和y分量可以分别为-Vx和-Vy。
图3例示性表示在BCC以及物体在短时间段内以恒定速度移动的假定下的双向预测运动矢量。
参考图3，在BCC以及在物体在短时间段内以恒定速度移动的假定下的当前图片300中的当前块的双向预测中，MVL0表示指示第一参考图片(参考0)310中的与当前块对应的第一参考块的运动矢量，并且MVL1表示指示第二参考图片(参考1)320中的与当前块对应的第二参考块的运动矢量。第一参考图片可以是L0中所包括的参考图片中的一个，并且第二参考图片可以是L1中所包括的参考图片中的一个。在这种情况下，各个块的代表位置可以是块中的每一个的左上样本位置。在这种情况下，MVL0和MVL1可以由相互对称的值表示。
在图3中，可以基于当前块中的目标样本301来推导根据MVL0的位置311的第一参考样本值和根据MVL1的位置321的第二参考样本值。本文中，第一参考样本值可以被称为第一预测子或L0预测子，第二参考样本值可以被称为第二预测子或L1预测子。第一参考样本值与第二参考样本值之间的差可以如下式中地总结。
[式4]
Δ[i，j]＝I0[i+vx，j+vy]-I1[i-vx，j-vy]，
其中，I0[i+vx，j+vy]表示第一参考图片(参考0)310的样本位置311处的样本值(即，第一参考样本值)，I1[i-vx，j-vy]表示第二参考图片(参考1)320的样本位置321处的样本值(即，第二参考样本值)。样本值可以由下式来表示。
[式5]
Figure BDA0002576864150000131
Figure BDA0002576864150000132
并且，通过将上式5代入式4，它可以如下式6中地被总结和表示。
[式6]
Figure BDA0002576864150000133
其中I(0)[i，j]表示L0参考样本值，I(1)[i，j]表示L1参考样本值，Ix (k)[i，j]和Iy (k)[i，j]分别表示x轴变化量和y轴变化量，即，梯度。具体地，
Figure BDA0002576864150000134
和
Figure BDA0002576864150000135
分别是L0中的第一参考图片(参考0)310的位置[i，j]处的x轴偏微分值和y轴偏微分值，并且
Figure BDA0002576864150000136
和
Figure BDA0002576864150000137
分别是L1中的第二参考图片(参考1)320的位置[i，j]处的x轴偏微分值和y轴偏微分值。偏微分值可以被称为梯度。
此外，为了提高精度和预测效率，可以基于插值滤波器如下式7中一样地表示梯度。此外，插值滤波器的滤波器系数被分配到的位置和/或单元可以被称为滤波器抽头。可以基于1/4分数样本来分配插值滤波器的滤波器系数。
[式7]
Figure BDA0002576864150000138
Figure BDA0002576864150000139
其中，2M表示插值滤波器的滤波器抽头的数量，
Figure BDA0002576864150000141
和
Figure BDA0002576864150000142
分别表示运动矢量的x分量和y分量的分数部分，
Figure BDA0002576864150000143
和
Figure BDA0002576864150000144
分别表示
Figure BDA0002576864150000145
和
Figure BDA0002576864150000146
的第n滤波器抽头的滤波器系数，并且R(k)[i+n，j]表示在双向预测之后的位置[i+n，j]处的重构样本值，即，参考图片的位置[i+n，j]处的参考样本值。运动矢量的x分量和/或y分量的分数部分的值可以为0、1/4、2/4和3/4中的一个。
具体地，
Figure BDA0002576864150000147
和
Figure BDA0002576864150000148
分别表示MVL0的x分量和y分量的分数部分，
Figure BDA0002576864150000149
和
Figure BDA00025768641500001410
分别表示
Figure BDA00025768641500001411
和
Figure BDA00025768641500001412
处的第n滤波器抽头的滤波器系数，并且R(0)[i+n，j]表示第一参考图片(参考0)310的位置[i+n，j]处的参考样本值。另外，
Figure BDA00025768641500001413
和
Figure BDA00025768641500001414
分别表示MVL1的x分量和y分量的分数部分，
Figure BDA00025768641500001415
和
Figure BDA00025768641500001416
分别表示
Figure BDA00025768641500001417
和
Figure BDA00025768641500001418
处的第n滤波器抽头的滤波器系数，并且R(1)[i+n，j]表示第二参考图片(参考1)320的位置[i+n，j]处的参考样本值。
作为示例，如果滤波器抽头的数量为六个(即，如果2M为6)，则可以如下表中一样地定义针对运动矢量的x分量和y分量的分数部分的插值滤波器的滤波器抽头系数。
[表1]
分数画素位置 针对梯度的插值滤波器
0 {8，-39，-3，46，-17，5}，
1/4 {4，-17，-36，60，-15，4}，
2/4 {-1，4，-57，57，-4，1}，
3/4 {-4，15，-60，36，17，-4}
可以基于上式6来计算使Δ2[i，j]具有最小值的样本单元运动矢量vx[i，j]和vy[i，j]。例如，可以假定以[i，j]为中心的特定区域(即，窗口Ω)内的样本具有局部稳定运动。本文中，窗口Ω可以包括(2M+1)×(2M+1)个样本。在这种情况下，窗口Ω内的样本位置可以被表示为[i′，j′]。此时，在[i′，j′]处，满足i-M≤i’≤i+M和j-M≤j’≤j+M。可以基于此来计算使∑ΩΔ2[i′，j’]最小化的运动矢量。在这种情况下，当考虑到窗口Ω内的样本具有局部稳定运动的假定时，Δ2[i，j]可以被如下式中地表示。
[式8]
Figure BDA0002576864150000151
其中，
Figure BDA0002576864150000152
目.δP＝(P(0)[i′，j′]-P(1)[i′，j′])。本文中，P(0)[i’，j’]和p(1)[i’，j’]分别表示L0预测子和L1预测子。P(0)[i’，j’]和p(1)[i’，j’]分别对应于I0[i’，j’]和I1[i’，j’]。
如果用Vx和Vy对上式7进行偏微分，则可以如下地总结它。
[式9]
Vx∑ΩG2x+Vy∑ΩGxGy+∑ΩGxδP＝0
Vx∑ΩGxGy+Vy∑ΩG2y+∑ΩGyδP＝0，
其中，s1＝∑ΩG2x，s2＝s4＝∑ΩGxGy，s3＝-∑ΩGxδP，s5＝∑ΩG2y且s6＝-∑ΩGyδP，并且如果将s1、s2、s3和s4代入上式9，则可以如下式10和式11中地总结和表示它们。
[式10]
Figure BDA0002576864150000153
Figure BDA0002576864150000154
Figure BDA0002576864150000155
0＝2VxS1+2VyS2-2S3
Figure BDA0002576864150000156
[式11]
Figure BDA0002576864150000157
Figure BDA0002576864150000158
Figure BDA0002576864150000159
0＝2VxS4+2VyS5-2S6
Figure BDA00025768641500001510
如果基于上式10和式11总结Vx和Vy，则它们将分别如下。
[式12]
Figure BDA0002576864150000161
Figure BDA0002576864150000162
即，Vx和Vy可以被如下地总结。
[式13]
Figure BDA0002576864150000163
因此，可以使用Vx和Vy如下地计算目标样本的精化预测子，即，精化预测样本。
[式14]
Figure BDA0002576864150000164
可以基于与上述相同的方法来获得样本单元的精化预测样本和精化运动矢量。本文中，P表示目标样本的精化预测样本，并且Vx和Vy分别表示目标样本的精化运动矢量的x分量和y分量。
此外，上述方法是假定大小相同的两个对称运动矢量(即，MVL0和MVL1)的恒定运动的方法。换句话说，上述推导精化预测样本的方法可以是以下的方法：假定当前图片和与MVL0关联的第一参考图片之间的第一时间距离和当前图片和与MVL1关联的第二参考图片之间的第二时间距离相同。当前图片的POC值与第一参考图片的POC值之间的差可以成为第一时间距离，并且第二参考图片的POC值与第二参考图片的POC值之间的差值可以成为第二时间距离。
可以如下地描述当第一时间距离与第二时间距离不同时考虑具有恒定运动的两个运动矢量来推导精化预测样本的方法。
例如，如果鉴于第一时间距离的值与第二时间距离的值不同而再次计算上式14，则它可以被如下地表示。
[式15]
Figure BDA0002576864150000165
其中，P表示目标样本的精化预测子，P(0)和P(1)分别表示当前样本的第一预测子和第二预测子，Ix (0)和Iy (0)分别表示第一预测子中的x轴梯度和y轴梯度，Ix (1)和Iy (1)分别表示第二预测子中的x轴梯度和y轴梯度，Vx和Vy分别表示目标样本的精化运动矢量的x分量和y分量，τ0表示第一时间距离，并且τ1表示第二时间距离。第一时间距离和第二时间距离可以表示当前图片(或当前帧)与参考图片(或参考帧)之间的距离。
可以基于下式来推导第一时间距离和第二时间距离。
[式16]
τ0＝POC(当前)-POC(Ref0)
τ1＝POC(Ref1)-POC(当前)
其中，POC(当前)表示当前图片的图片顺序计数(POC)值，POC(Ref0)表示第一参考图片的POC值，POC(Ref1)表示第二参考图片的POC值。
此外，为了降低推导精化预测样本的方法中的计算复杂度，可以近似并使用上式13。可以如下地推导上式13的近似方程。
可以通过将上式13和15中的Vx的分子和分母除以s5来推导下式。
[式17]
Figure BDA0002576864150000171
如果上式17的s5的值足够大，则上式17的分母s2×s6/s5及其分子s2×s4/s5可近似为零。因此，式17可以被表示为下式。
[式18]
Figure BDA0002576864150000172
如果通过上式18推导出的Vx被代入上式11的Vy，则可以基于下式来推导Vy。
[式19]
Figure BDA0002576864150000173
可以基于上式19如下地总结Vy。
[式20]
Figure BDA0002576864150000174
能够降低基于上式18和20推导Vx和Vy的计算复杂度，由此可以降低推导精化预测样本的方法的整体计算复杂度。
此外，尽管如上所述可以应用推导样本单元的精化运动矢量的BIO预测，但是可以提出推导块单元的精化运动矢量的BIO预测。与基于样本执行精化的BIO预测相比，基于块执行精化的BIO预测能降低计算复杂度。
例如，如果被执行精化的目标块的宽度Bw和高度Bh二者被预设为4，则可以以4×4大小的块为基础精化预测子。在基于样本执行精化的BIO预测中，可以如上所述地生成样本中的每一个的梯度图，可以推导样本中的每一个的偏移量，并且可以通过基于上式14针对样本中的每一个将偏移量与预测子相加来推导精化预测样本。然而，在基于块执行精化的BIO预测中(这可以被称为基于块的BIO预测)，可以推导4×4大小的目标块中的偏移量，并且可以将所述偏移量与目标块中所包括的目标样本的预测子相加。即，所述精化运动矢量可以被应用于目标块。
图4表示执行基于样本的BIO预测和基于块的BIO预测的示例。参考图4，如果对其执行精化的目标块的大小被预设为Bw×Bh(例如，4×4)，则可以基于通过编码/解码处理推导的MVL0和MVL1来推导w×h大小的目标块的参考样本值的时间轴梯度图。此后，可以基于目标块的梯度图来推导目标块中所包括的目标样本的偏移量。可以基于Bw×Bh内核来推导目标块单元的偏移量，并且可以通过将偏移量添加到针对目标样本的预测子来推导针对目标样本的精化预测样本。
具体地，可以基于当前块的目标块中所包括的目标样本的梯度(即，目标块的梯度图)来推导块单元精化运动矢量。可以基于当前块的目标块来推导块单元精化运动矢量，并且块单元精化运动矢量可以被表示为当前块的目标块的精化运动矢量。例如，当前块的目标块中所包括的目标样本的Sn之和可以被推导为目标块的Sn。目标块的Sn可以被表示为Sn,bk。例如，可以如下式地推导目标块的S1,bk、S2,bk、S3,bk、S4,bk、S5,bk和S6,bk。
[式21]
Figure BDA0002576864150000181
Figure BDA0002576864150000182
Figure BDA0002576864150000183
Figure BDA0002576864150000184
Figure BDA0002576864150000185
其中，
Figure BDA0002576864150000186
且δP＝(P(0)[i′，j′]-P(1)[i′，j′])
此后，可以基于通过将(Sn，bk＞＞n)代替Sn插入上式13或上式18和20中而获得的公式来推导目标块的精化运动矢量。例如，如果用其推导块单元运动矢量的目标块的大小是4×4，则可以基于通过将(Sn，bk＞＞16)代替Sn插入上式13中而获得的公式来推导目标块的精化运动矢量。如果目标块的大小为4×4，则可以基于下式来推导块单元精化运动矢量。
[式22]
Figure BDA0002576864150000191
Figure BDA0002576864150000192
另选地，可以基于近似公式来推导块单元精化运动矢量。即，可以基于通过将(Sn，bk＞＞n)代替Sn插入上式13或上式18和20中而获得的公式来推导目标块的精化运动矢量。如果目标块的大小为4×4，则可以基于下式来推导块单元精化运动矢量。
[式23]
Figure BDA0002576864150000193
Figure BDA0002576864150000194
此后，可以通过在上式14中用Vx，bk取代Vx并用Vy，bk取代Vy来推导目标样本的精化预测样本。
此外，本公开提出了基于当前块的特定条件来自适应地应用BIO预测的方法。据此，能够通过优化其中应用BIO预测特别是基于块的BIO预测的帧间预测来提高编码效率。
作为示例，基于当前块的大小来确定是否应用上述BIO预测。例如，如果当前块的大小为W×H，则可以基于当前块的大小和预设临界值进行关于是否应用预测的确定。
例如，如果当前块的宽度与该宽度的临界值相同，并且当前块的高度与该高度的临界值相同，则可以确定不向当前块应用BIO预测。另选地，如果当前块大小W×H小于预设的最小大小N×M，则可以确定不向当前块应用BIO预测。另选地，如果当前块的样本数目小于预设的临界值，则可以确定不向当前块应用BIO预测。
具体地，例如，如果当前块的大小为4×4，则可以不向当前块应用BIO预测。
图5表示基于当前块的大小来确定是否应用BIO预测的示例。
编码装置/解码装置可以推导当前块的运动矢量(S500)。运动矢量可以包括MVL0和MVL1。
编码装置/解码装置可以确定当前块的大小是否为4×4(S510)。如果当前块的大小为4×4，则可以不对当前块执行BIO预测。在这种情况下，可以基于推导出的运动矢量来执行对当前块的帧间预测。
如果当前块的大小不为4×4，则编码装置/解码装置可以对当前块执行基于块的BIO预测(S520)。在这种情况下，从其推导出块单元运动矢量的目标块可以具有4×4的大小。即，编码装置/解码装置可以推导当前块中所包括的具有4×4大小的目标块的精化运动矢量，并且可以基于该精化运动矢量来推导当前块的目标块中所包括的目标样本的精化预测样本。
此外，在推导当前块的运动信息的处理中，可以应用帧速率上转换(FRUC)，并且可以基于通过FRUC推导出的运动信息来执行BIO预测。FRUC可以被称为模式匹配运动矢量推导(PMMVD)。FRUC可以表示在物体在图像中以恒定速度移动并且像素值(样本值)没有变化的假定下通过模板匹配(TM)方法或双边匹配(BM)方法来推导运动信息的方法。可以如下地描述其细节：
图6例示性表示通过BM方法推导运动信息的示例。如果向当前块应用FRUC，则可以依次逐个选择当前块的MVL0和MVL1，然后，可以通过在当前块所属图片的周围执行插值来推导与L0方向和L1方向中的和与运动矢量关联的方向不同的方向的运动矢量对应的运动矢量。
具体地，编码装置/解码装置可以基于当前块的邻近块来推导当前块的运动信息候选列表。邻近块的运动矢量候选可以是双向预测运动矢量候选或单向预测运动矢量候选。编码装置/解码装置可以对运动矢量候选中所包括的运动矢量进行分类，将它们分为L0方向和L1方向。即，编码装置/解码装置可以将运动矢量候选中的运动矢量分为MVL0和MVL1。
此后，依次逐个选择分类的运动矢量，然后，可以通过在当前块所属图片的周围执行插值来推导与L0方向和L1方向中的和与运动矢量关联的方向不同的方向的运动矢量对应的运动矢量。
例如，如果当前块的运动矢量候选为MVL0，则可以通过基于针对MVL0的L0参考图片与包括当前块的当前图片之间的时间距离以及L1参考图片与当前图片之间的时间距离进行缩放来推导对应于MVL0的MVL1。换句话说，可以通过基于针对MVL0的L0参考图片与当前图片之间的第一时间距离以及L1参考图片与当前图片之间的第二时间距离缩放MVL0来推导MVL1。本文中，第一时间距离可以是L0参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是L1参考图片的POC与当前图片的POC之间的差值。另外，可以从L1中所包括的L1参考图片当中推导L1参考图片。例如，L1参考图片可以被推导为L1中所包括的L1参考图片当中的包括具有MVLO指示的参考区域与推导出的MVL1指示的参考区域之间的最小差值(即，最小残差)的参考区域的参考图片。MVL0指示的参考区域与推导出的MVL1指示的参考区域之间的差值可以被表示为运动矢量候选的代价。
另外，例如，如果当前块的运动矢量候选为MVL1，则可以通过基于针对MVL1的L1参考图片与包括当前块的当前图片之间的时间距离以及L0参考图片与当前图片之间的时间距离进行缩放来推导对应于MVL1的MVL0。换句话说，可以通过基于针对MVL1的L1参考图片与当前图片之间的第一时间距离以及L0参考图片与当前图片之间的第二时间距离缩放MVL1来推导MVL1。本文中，第一时间距离可以是L1参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是L0参考图片的POC和当前图片的POC之间的差值。图6中示出的TD0表示第一时间距离，并且TD1表示第二时间距离。另外，可以从L0中所包括的L0参考图片当中推导L0参考图片。例如，L0参考图片可以被推导为L0中所包括的L0参考图片当中的包括具有MVL1指示的参考区域与推导出的MVL0指示的参考区域之间的最小差值(即，最小残差)的参考区域的参考图片。MVL1指示的参考区域与推导出的MVL0指示的参考区域之间的差值可以被表示为代价。
编码装置/解码装置可以推导运动矢量候选的代价，并且可以推导代价最小的运动矢量候选(包括MVL0和MVL1的双向预测运动信息)作为当前块的运动信息。
此外，如果向当前块应用FRUC，则可以通过TM方法来推导当前块的运动信息。
图7例示性表示通过TM方法推导运动信息的示例。参考图7，L0参考图片中所包括的L0参考块当中的模板与当前块的模板最相似的参考块可以被推导为当前块的L0参考块，并且指示L0参考块的运动矢量可以被推导为当前块的MVL0。换句话说，L0参考图片中所包括的参考块当中的相对于当前块的模板而言具有最小代价的模板的参考块可以被推导为当前块的L0参考块，并且指示L0参考块的运动矢量可以被推导为当前块的MVL0。
当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L0参考块的模板可以是与当前块的模板对应的区域，并且参考块的模板可以包括参考块的左邻近区域和/或上邻近区域。参考块的代价可以被推导为当前块的模板与参考块的模板之间的绝对差之和(SAD)。
可以基于下式来推导代价：
[式24]
Figure BDA0002576864150000221
其中，i和j表示样本在块的模板内的位置(i,j)，Costdistortion表示代价，Tempref表示参考块的模板的样本值，并且Tempcur表示当前块的模板的样本值。参考块的模板与当前块的模板之间的对应样本之间的差可以被累积，并且差的累积可以被用作参考块的代价。L0参考图片中所包括的L0参考块当中的具有最小代价的L0参考块可以被推导为当前块的L0参考块，并且指示L0参考块的运动矢量可以被推导为当前块的MVL0。如上所述，可以基于当前块的模板和L0参考块的模板来推导代价。
另外，参考图7，L1参考图片中所包括的L1参考块当中的模板与当前块的模板最相似的参考块可以被推导为当前块的L1参考块，并且指示L1参考块的运动矢量可以被推导为当前块的MVL1。换句话说，L1参考图片中所包括的参考块当中的相对于当前块的模板而言具有最小代价的模板的参考块可以被推导为当前块的L1参考块，并且指示L1参考块的运动矢量可以被推导为当前块的MVL1。
当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L1参考块的模板可以是与当前块的模板对应的区域，并且参考块的模板可以包括参考块的左邻近区域和/或上邻近区域。参考块的代价可以被推导为当前块的模板与参考块的模板之间的绝对差之和(SAD)。L1参考图片中所包括的L1参考块当中的具有最小代价的L1参考块可以被推导为当前块的L1参考块，并且指示L1参考块的运动矢量可以被推导为当前块的MVL1。如上所述，可以基于当前块的模板和L1参考块的模板来推导代价。
此外，解码装置可以从编码装置获得关于推导最佳运动矢量的匹配方法的信息，并且在这种情况下，可以根据匹配方法来推导最佳运动矢量。例如，解码装置可以通过比特流获得关于BM方法或TM方法的选择的标记。该标记可以被称为BM/TM选择标记。解码装置可以基于标记的值来选择匹配方法。例如，如果标记的值为1，则解码装置可以通过执行BM方法来推导当前块的运动信息，或者如果标记的值为0，则解码装置可以通过执行TM方法来推导当前块的运动信息。另选地，如果标记的值为0，则解码装置可以通过执行BM方法来推导当前块的运动信息，或者，如果标记的值为1，则解码装置可以通过执行TM方法来推导当前块的运动信息。
图8a和图8b表示基于FRUC执行的编码处理和解码处理的示例。
图8a表示基于FRUC执行的编码处理的示例。
参考图8a，编码装置通过应用BM模式来推导当前块的运动信息(S800)。此外，基于上述BM方法推导运动信息的方法可以被表示为BM模式。
例如，编码装置可以基于当前块的邻近块来推导当前块的运动信息候选列表。运动信息候选列表中所包括的候选可以包括LO运动信息或L1运动信息。
此后，编码装置可以通过BM方法来推导运动信息候选列表中所包括的候选的代价，并且可以基于代价最小的候选来推导关于当前块的运动信息。
可以如下地推导运动信息候选列表中所包括的候选的代价。编码装置可以通过在当前图片的周围对候选的运动矢量进行插值来推导与L0方向和L1方向当中的和与运动矢量关联的方向不同的方向的运动矢量对应的运动矢量，并且可以将候选的运动矢量指示的参考块与推导出的运动矢量指示的参考块之间的SAD推导为候选的代价。
例如，如果运动候选包括L0运动信息，则编码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL0来推导MVL1。编码装置可以将MVL0指示的L0参考块与MVL1指示的L1参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L0参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL1的L1参考图片的POC和当前图片的POC之间的差值。
另外，例如，如果运动候选包括L1运动信息，则编码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL1来推导MVL0。编码装置可以将MVL1指示的L1参考块与MVL0指示的L0参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L1参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL0的L0参考图片的POC与当前图片的POC之间的差值。
编码装置可以比较候选的代价，并且可以将代价最小的候选的运动信息(L0运动信息或L1运动信息)以及基于该候选推导出的运动信息(L1运动信息或L0运动信息)推导为当前块的运动信息。推导出的运动信息可以表示基于BM模式推导出的运动信息。
编码装置通过应用TM模式来推导当前块的运动信息(S810)。此外，基于上述TM方法推导运动信息的方法可以被表示为TM模式。
编码装置可以将指示L0参考图片中所包括的L0参考块当中的相对于当前块的模板而言具有最小代价的模板的L0参考块的运动矢量推导为当前块的MVL0。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L0参考块的模板可以是与当前块的模板对应的区域，并且L0参考块的模板可以包括L0参考块的左邻近区域和/或上邻近区域。L0参考块的代价可以被推导为当前块的模板与L0参考块的模板之间的绝对差之和(SAD)。
另外，编码装置可以将指示L1参考图片中所包括的L1参考块当中的相对于当前块的模板而言具有最小代价的模板的L1参考块的运动矢量推导为当前块的MVL1。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L1参考块的模板可以是与当前块的模板对应的区域，并且L1参考块的模板可以包括L1参考块的左邻近区域和/或上邻近区域。L1参考块的代价可以被推导为当前块的模板与L1参考块的模板之间的绝对差之和(SAD)。
编码装置可以将包括L0运动信息和L1运动信息的运动信息推导为当前块的运动信息。L0运动信息可以包括指示L0参考图片和MVL0的参考图片索引，并且L1运动信息可以包括指示L1参考图片和MVL1的参考图片索引。
编码装置可以对基于TM模式推导出的运动信息和基于BM模式推导出的运动信息执行速率失真(RD)检查，并且可以从BM模式和TM模式当中选择对于当前块而言最佳的模式(S820)。编码装置可以针对基于TM模式推导出的运动信息和基于BM模式推导出的运动信息基于RD代价从BM模式和TM模式当中选择应用于当前块的模式。此外，编码装置可以生成指示所选择模式的信息。例如，编码装置可以生成指示BM模式或TM模式中的一种的标记，并且可以通过比特流发信号通知该标记。
图8b表示基于FRUC执行的解码处理的示例。
参考图8b，解码装置可以确定是否向当前块应用BM模式(S830)。解码装置可以确定向当前块应用BM模式还是TM模式。例如，解码装置可以通过比特流获得指示BM模式和TM模式中的一种的标记。解码装置可以将BM模式和TM模式当中的标记指示的模式推导为应用于当前块的模式。
如果向当前块应用BM模式，则解码装置基于BM模式来推导关于当前块的运动信息(S840)。
例如，解码装置可以基于当前块的邻近块来推导当前块的运动信息候选列表。运动信息候选列表中所包括的候选可以包括LO运动信息或L1运动信息。
此后，解码装置可以通过BM方法来推导运动信息候选列表中所包括的候选的代价，并且可以基于代价最小的候选来推导关于当前块的运动信息。
可以如下地推导运动信息候选列表中所包括的候选的代价。解码装置可以通过在当前图片的周围对候选的运动矢量进行插值来推导与L0方向和L1方向当中的和与运动矢量关联的方向不同的方向的运动矢量对应的运动矢量，并且可以将候选的运动矢量指示的参考块与推导出的运动矢量指示的参考块之间的SAD推导为候选的代价。
例如，如果运动候选包括L0运动信息，则解码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL0来推导MVL1。解码装置可以将MVL0指示的L0参考块与MVL1指示的L1参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L0参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL1的L1参考图片的POC和当前图片的POC之间的差值。
另外，例如，如果运动候选包括L1运动信息，则解码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL1来推导MVL0。解码装置可以将MVL1指示的L1参考块与MVL0指示的L0参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L1参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL0的L0参考图片的POC与当前图片的POC之间的差值。
解码装置可以比较候选的代价，并且可以将代价最小的候选的运动信息(L0运动信息或L1运动信息)以及基于该候选推导出的运动信息(L1运动信息或L0运动信息)推导为当前块的运动信息。
此外，如果向当前块应用TM模式，则解码装置基于TM模式来推导关于当前块的运动信息(S850)。
解码装置可以将指示L0参考图片中所包括的L0参考块当中的相对于当前块的模板而言具有最小代价的模板的L0参考块的运动矢量推导为当前块的MVL0。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L0参考块的模板可以是与当前块的模板对应的区域，并且L0参考块的模板可以包括L0参考块的左邻近区域和/或上邻近区域。L0参考块的代价可以被推导为当前块的模板与L0参考块的模板之间的绝对差之和(SAD)。
另外，解码装置可以将指示L1参考图片中所包括的L1参考块当中的相对于当前块的模板而言具有最小代价的模板的L1参考块的运动矢量推导为当前块的MVL1。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L1参考块的模板可以是与当前块的模板对应的区域，并且L1参考块的模板可以包括L1参考块的左邻近区域和/或上邻近区域。L1参考块的代价可以被推导为当前块的模板与L1参考块的模板之间的绝对差之和(SAD)。
解码装置可以将包括L0运动信息和L1运动信息的运动信息推导为当前块的运动信息。L0运动信息可以包括指示L0参考图片和MVL0的参考图片索引，并且L1运动信息可以包括指示L1参考图片和MVL1的参考图片索引。
此外，如果如上所述通过FRUC推导当前块的运动信息，则基于应用于当前块的模式(BM模式或TM模式)自适应地应用BIO可以进一步提高编码效率。具体地，FRUC和BIO的BM模式是考虑到随后将描述的假定1和2的预测方法。
-假定1。目标物体在短时间段内匀速地移动。
-假定2。目标物体的样本值在连续的帧中没有发生变化。
如果应用BM模式，则可以考虑以上提到的假定来推导每个(子)块的运动矢量，另外，如果应用BIO，则可以考虑以上提到的假定来推导每个(子)块的偏移量(基于每个(子)块的运动矢量推导出的值)。因此，不冗余地应用在相同假定下执行的方法可以进一步提高编码效率。因此，在向当前块应用FRUC的情况下，如果基于TM模式来推导运动信息，则应用BIO，并且如果基于BM模式来推导运动信息，则可以提出不应用BIO的方法。
图9a和图9b表示对应用FRUC和/或BIO的当前块进行编码/解码的示例。
图9a表示对应用FRUC和/或BIO的当前块进行编码的示例。
参考图9a，编码装置可以通过向当前块应用FRUC来推导当前块的运动信息(S900)。编码装置可以基于针对当前块的BM模式和TM模式来推导关于当前块的运动信息。基于BM模式来推导关于当前块的运动信息的特定方法如上所述。另外，基于TM模式来推导关于当前块的运动信息的特定方法如上所述。
编码装置可以确定是否向当前块应用TM模式(S910)。编码装置可以将基于BM模式推导出的运动信息与基于TM模式推导出的运动信息进行比较，并且可以选择应用于当前块的模式。
如果向当前块应用TM模式，则编码装置可以基于关于当前块的运动信息来执行BIO预测(S920)。编码装置可以以基于TM模式推导出的运动信息为基础来执行BIO预测。例如，运动信息可以包括当前块的MVL0和MVL1，并且编码装置可以基于当前块的MVL0和MVL 1以及第一预测子和第二预测子来获得当前块的块单元精化运动矢量。例如，可以推导当前块中所包括的4×4大小的块的精化运动矢量。编码装置可以基于当前块的MVL0和MVL1以及第一预测子和第二预测子来推导当前块的目标块的精化运动矢量，并且可以基于精化运动矢量来推导精化预测样本。
具体地，编码装置可以基于目标块的样本中的每一个来推导根据MVL0的位置的第一预测子和根据MVL1的位置的第二预测子，并且可以基于第一预测子和第二预测子来推导目标样本的梯度。此后，编码装置可以基于样本的梯度来推导目标块的精化运动矢量。例如，可以基于上式16来推导目标块的精化运动矢量。编码装置可以基于精化运动矢量来推导目标块的精化预测样本。
此外，如果向当前块应用BM模式，则编码装置可以不对当前块执行BIO预测，而是基于推导出的运动信息来执行预测。
图9b表示对应用FRUC和/或BIO的当前块进行解码的示例。
参考图9b，解码装置可以确定是否向当前块应用TM模式(S930)。解码装置可以确定向当前块应用BM模式还是TM模式。例如，解码装置可以通过比特流获得指示BM模式和TM模式中的一种的标记。解码装置可以将BM模式和TM模式当中的标记指示的模式推导为应用于当前块的模式。
此外，如果向当前块应用TM模式，则解码装置基于TM模式来推导关于当前块的运动信息(S940)。
解码装置可以将指示L0参考图片中所包括的L0参考块当中的相对于当前块的模板而言具有最小代价的模板的L0参考块的运动矢量推导为当前块的MVL0。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L0参考块的模板可以是与当前块的模板对应的区域，并且L0参考块的模板可以包括L0参考块的左邻近区域和/或上邻近区域。L0参考块的代价可以被推导为当前块的模板与L0参考块的模板之间的绝对差之和(SAD)。
另外，解码装置可以将指示L1参考图片中所包括的L1参考块当中的相对于当前块的模板而言具有最小代价的模板的L1参考块的运动矢量推导为当前块的MVL1。本文中，当前块的模板可以包括当前块的左邻近区域和/或上邻近区域，L1参考块的模板可以是与当前块的模板对应的区域，并且L1参考块的模板可以包括L1参考块的左邻近区域和/或上邻近区域。L1参考块的代价可以被推导为当前块的模板与L1参考块的模板之间的绝对差之和(SAD)。
解码装置可以将包括L0运动信息和L1运动信息的运动信息推导为当前块的运动信息。L0运动信息可以包括指示L0参考图片和MVL0的参考图片索引，并且L1运动信息可以包括指示L1参考图片和MVL1的参考图片索引。
如果向当前块应用TM模式，则解码装置可以基于关于当前块的运动信息来执行BIO预测(S950)。解码装置可以以基于TM模式推导出的运动信息为基础来执行BIO预测。例如，运动信息可以包括当前块的MVL0和MVL1，并且解码装置可以基于当前块的MVL0和MVL1以及第一预测子和第二预测子来获得当前块的块单元精化运动矢量。例如，可以推导当前块中所包括的4×4大小的块的精化运动矢量。解码装置可以基于当前块的MVL0和MVL1以及第一预测子和第二预测子来推导当前块的目标块的精化运动矢量，并且可以基于精化运动矢量来推导精化预测样本。
具体地，解码装置可以基于目标块的样本中的每一个来推导根据MVL0的位置的第一预测子和根据MVL1的位置的第二预测子，并且可以基于第一预测子和第二预测子来推导目标样本的梯度。此后，解码装置可以基于样本的梯度来推导目标块的精化运动矢量。例如，可以基于上式16来推导目标块的精化运动矢量。解码装置可以基于精化运动矢量来推导目标块的精化预测样本。
此外，如果向当前块应用BM模式，则解码装置基于BM模式来推导关于当前块的运动信息(S960)。
例如，解码装置可以基于当前块的邻近块来推导当前块的运动信息候选列表。运动信息候选列表中所包括的候选可以包括LO运动信息或L1运动信息。
此后，解码装置可以通过BM方法来推导运动信息候选列表中所包括的候选的代价，并且可以基于代价最小的候选来推导关于当前块的运动信息。
可以如下地推导运动信息候选列表中所包括的候选的代价。解码装置可以通过在当前图片的周围对候选的运动矢量进行插值来推导与L0方向和L1方向当中的和与运动矢量关联的方向不同的方向的运动矢量对应的运动矢量，并且可以将候选的运动矢量指示的参考块与推导出的运动矢量指示的参考块之间的SAD推导为候选的代价。
例如，如果运动候选包括L0运动信息，则解码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL0来推导MVL1。解码装置可以将MVL0指示的L0参考块与MVL1指示的L1参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L0参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL1的L1参考图片的POC和当前图片的POC之间的差值。
另外，例如，如果运动候选包括L1运动信息，则解码装置可以通过基于第一时间距离和第二时间距离缩放运动候选的MVL1来推导MVL0。解码装置可以将MVL1指示的L1参考块与MVL0指示的L0参考块之间的SAD推导为运动候选的代价。本文中，第一时间距离可以是运动候选的L1参考图片的POC与当前图片的POC之间的差值，并且第二时间距离可以是针对MVL0的L0参考图片的POC与当前图片的POC之间的差值。
解码装置可以比较候选的代价，并且可以将代价最小的候选的运动信息(L0运动信息或L1运动信息)以及基于该候选推导出的运动信息(L1运动信息或L0运动信息)推导为当前块的运动信息。解码装置可以基于运动信息对当前块执行预测。
图10示意性表示根据本公开的由编码装置进行的图像编码方法。图10中公开的方法可以由图1中公开的编码装置执行。具体地，例如，图10中的S1000至S1040可以由编码装置的预测器执行，并且S1050可以由编码装置的熵编码器执行。
编码装置推导参考图片列表0(L0)和参考图片列表1(L1)(S1000)。编码装置可以推导参考图片列表0L0和参考图片列表1L1，参考图片列表0可以被称为L0(列表0)，并且参考图片列表1可以被称为L1(列表1)。
编码装置推导当前块的两个运动矢量(MV)，并且这两个MV包括关于L0的MVL0和关于L1的MVL1(S1010)。如果当前块被包括在B切片中，并且向当前块应用双向预测，则编码装置可以推导这两个MV。这两个MV可以是用于L0的MVL0和用于L1的MVL1。
编码装置可以基于当前块的邻近块来推导当前块的这两个MV。
例如，编码装置可以基于邻近块的运动信息来生成运动信息候选列表，并且可以基于RD代价从运动信息候选列表中所包括的候选当中选择特定候选。编码装置可以生成指示特定候选的索引。该索引可以被包括在关于以上提到的帧间预测的信息中。编码装置可以将特定候选的MVL0和MVL1推导为当前块的这两个MV。
另选地，编码装置可以通过向当前块应用FRUC来推导这两个MV。
具体地，例如，编码装置可以确定向当前块应用模板匹配(TM)模式还是双边匹配(BM)模式。另外，编码装置可以生成指示TM模式或BM模式的标记。关于帧间预测的信息可以包括该标记。
如果向当前块应用BM模式，则编码装置可以基于当前块的邻近块来推导当前块的运动信息候选列表，并且可以从运动信息候选列表中所包括的候选当中选择特定候选。编码装置可以通过基于第一时间距离和第二时间距离缩放特定候选的第一运动矢量来推导与L0和L1当中的除了与运动矢量关联的列表之外的另一列表关联的第二运动矢量，并且可以将第一运动矢量和第二运动矢量推导为当前块的MV。本文中，第一时间距离可以是针对第一运动矢量的参考图片的图片顺序计数(POC)与包括当前块的当前图片的POC之间的差值，并且第二时间距离可以是针对第二运动矢量的参考图片的POC与当前图片的POC之间的差值。此外，由于可以从运动信息候选列表中所包括的候选当中选择代价最小的候选作为特定候选，因此可以将特定候选的代价推导为第一运动矢量指示的参考块与第二运动矢量指示的参考块之间的SAD。即，编码装置可以通过推导运动信息候选列表的候选的第二运动矢量来推导候选的代价，并且可以通过将代价彼此进行比较来选择特定候选。
另外，如果向当前块应用TM模式，则编码装置可以推导当前块的L0参考图片和L1参考图片，将指示L0参考图片的L0参考块当中的代价最小的L0参考块的运动矢量推导为MVL0，并且将指示L1参考图片的L1参考块当中的代价最小的L1参考块的运动矢量推导为MVL1。这里，L0参考块的代价可以被推导为当前块的模板与L0参考块的模板之间的绝对差(SAD)之和，并且L1参考块的代价可以被推导为当前块的模板和L1参考块的模板之间的SAD。另外，当前块的模板可以表示包括当前块的邻近样本的特定区域，L0参考块的模板可以表示包括与当前块的邻近样本对应的L0参考块的邻近样本的特定区域，并且L1参考块的模板可以表示包括与当前块的邻近样本对应的L1参考块的邻近样本的特定区域。此外，可以基于上式24来推导L0参考块或L1参考块的代价。另外，L0参考图片可以被推导为L0中所包括的L0参考图片中的一个，并且L1参考图片可以被推导为L1中所包括的L1参考图片中的一个。此外，可以基于当前块的邻近块的运动信息来推导L0参考图片和L1参考图片。
此外，编码装置可以生成指示是否向当前块应用FRUC的FRUC标记。关于帧间预测的信息可以包括当前块的FRUC标记。
编码装置确定是否向当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测(S1020)。例如，编码装置可以基于当前块的大小来确定是否向当前块应用BIO预测。例如，如果当前块的大小小于或等于4×4大小，则可以不向当前块应用BIO预测，并且如果当前块的大小大于4×4大小，则可以向当前块应用BIO预测。
另外，作为另一示例，编码装置可以基于是否应用TM模式来确定是否向当前块应用BIO预测。在一个示例中，如果向当前块应用BM模式，则可以不向当前块应用BIO预测，并且如果向当前块应用TM模式，则可以向当前块应用BIO预测。
如果向当前块应用BIO预测，则编码装置基于MVL0和MVL1来推导当前块的子块的精化运动矢量(S1030)。就此而言，子块的大小可以是预设的。例如，子块的大小可以为4×4大小。可以基于当前块的子块来推导精化运动矢量。
可以基于MVL0和MVL1来推导子块的参考样本值的x轴、y轴和时间轴梯度图，并且可以基于子块的梯度图来推导子块的精化运动矢量。可以基于上式21或23来推导子块的精化运动矢量。
编码装置基于精化运动矢量来推导预测样本(S1040)。编码装置可以基于精化运动矢量来推导预测样本。在上述式14中，可以基于通过用Vx,bk取代Vx并用Vy,bk取代Vy而获得的公式来推导当前块的子块的预测样本。另外，如果第一时间距离与第二时间距离在大小上彼此不同，则可以基于通过在上述式15中用Vx,bk取代Vx并用Vy,bk取代Vy而获得的公式来推导当前块的子块的预测样本。
此外，尽管未在图10中示出，但是如果确定不应用BIO预测，则编码装置可以基于MVL0和MVL1来推导目标样本的预测样本。
编码装置对关于当前块的帧间预测的信息进行熵编码(S1050)。编码装置可以对关于帧间预测的信息进行熵编码，并且以比特流的形式输出熵编码后的信息。可以通过网络或存储介质将比特流发送到解码装置。
关于帧间预测的信息可以包括当前块的预测模式信息。预测模式信息可以表示应用于当前块的帧间预测模式。另外，关于帧间预测的信息可以包括指示TM模式或BM模式的标记。另外，关于帧间预测的信息可以包括当前块的FRUC标记。
此外，编码装置可以基于原始图片的原始样本和所生成的预测样本来生成残差样本。编码装置可以基于残差样本生成关于残差的信息。关于残差的信息可以包括与残差样本相关的变换系数。编码装置可以基于预测样本和残差样本来推导重构样本。即，编码装置可以通过将预测样本与残余样本相加来推导重构样本。另外，编码装置可以对关于残差的信息进行编码，并且以比特流的形式输出编码后的信息。可以通过网络或存储介质将比特流发送到解码装置。
图11示意性表示根据本公开的执行图像编码方法的编码装置。图10中公开的方法可以由图11中公开的编码装置执行。具体地，例如，图11的编码装置的预测器可以执行图10中的S1000至S1040，并且编码装置的熵编码器可以执行图10中的S1050。
图12示意性表示根据本公开的由解码装置进行的图像解码方法。图12中公开的方法可以由图2中公开的解码装置执行。具体地，例如，图12的S1200至S1240可以由解码装置的预测器执行。
解码装置推导参考图片列表0(L0)和参考图片列表1(L1)(S1200)。解码装置可以推导参考图片列表0L0和参考图片列表1L1，参考图片列表0可以被称为L0(列表0)，并且参考图片列表1可以被称为L1(列表1)。
解码装置推导当前块的两个运动矢量(MV)，并且这两个MV包括关于L0的MVL0和关于L1的MVL1(S1210)。解码装置可以通过比特流获得关于帧间预测的信息，并且可以基于关于帧间预测的信息来推导应用于当前块的帧间预测模式。
如果当前块被包括在B切片中，并且向当前块应用双向预测，则解码装置可以推导这两个MV。这两个MV可以是用于L0的MVL0和用于L1的MVL1。
解码装置可以基于当前块的邻近块来推导当前块的这两个MV。
例如，解码装置可以基于邻近块的运动信息来生成运动信息候选列表，并且可以基于指示特定候选的索引从运动信息候选列表中所包括的候选当中选择特定候选。该索引可以被包括在关于以上提到的帧间预测的信息中。解码装置可以将特定候选的MVL0和MVL1推导为当前块的这两个MV。
另选地，解码装置可以通过向当前块应用FRUC来推导这两个MV。
具体地，例如，解码装置可以确定向当前块应用模板匹配(TM)模式还是双边匹配(BM)模式。作为示例，解码装置可以获得指示TM模式或BM模式的标记，并且可以确定向当前块应用由该标记指示的模式。关于帧间预测的信息可以包括该标记。
如果向当前块应用BM模式，则解码装置可以基于当前块的邻近块来生成当前块的运动信息候选列表，并且可以从运动信息候选列表中所包括的候选当中选择特定候选。解码装置可以通过基于第一时间距离和第二时间距离缩放特定候选的第一运动矢量来推导与L0和L1当中的除了与运动矢量关联的列表之外的另一列表关联的第二运动矢量，并且可以将第一运动矢量和第二运动矢量推导为当前块的MV。本文中，第一时间距离可以是针对第一运动矢量的参考图片的图片顺序计数(POC)与包括当前块的当前图片的POC之间的差值，并且第二时间距离可以是针对第二运动矢量的参考图片的POC与当前图片的POC之间的差值。此外，由于可以从运动信息候选列表中所包括的候选当中选择代价最小的候选作为特定候选，因此可以将特定候选的代价推导为第一运动矢量指示的参考块与第二运动矢量指示的参考块之间的SAD。即，解码装置可以通过推导运动信息候选列表的候选的第二运动矢量来推导候选的代价，并且可以通过将代价彼此进行比较来选择特定候选。
另外，如果向当前块应用TM模式，则解码装置可以推导当前块的L0参考图片和L1参考图片，将指示L0参考图片的L0参考块当中的代价最小的L0参考块的运动矢量推导为MVL0，并且将指示L1参考图片的L1参考块当中的代价最小的L1参考块的运动矢量推导为MVL1。这里，L0参考块的代价可以被推导为当前块的模板与L0参考块的模板之间的绝对差(SAD)之和，并且L1参考块的代价可以被推导为当前块的模板和L1参考块的模板之间的SAD。另外，当前块的模板可以表示包括当前块的邻近样本的特定区域，L0参考块的模板可以表示包括与当前块的邻近样本对应的L0参考块的邻近样本的特定区域，并且L1参考块的模板可以表示包括与当前块的邻近样本对应的L1参考块的邻近样本的特定区域。此外，可以基于上式24来推导L0参考块或L1参考块的代价。另外，L0参考图片可以被推导为L0中所包括的L0参考图片中的一个，并且L1参考图片可以被推导为L1中所包括的L1参考图片中的一个。此外，可以基于当前块的邻近块的运动信息来推导L0参考图片和L1参考图片。
此外，关于帧间预测的信息可以包括当前块的FRUC标记，并且FRUC标记可以表示是否向当前块应用FRUC。
解码装置确定是否向当前块应用基于子块推导精化运动矢量的双向预测光流(BIO)预测(S1220)。例如，解码装置可以基于当前块的大小来确定是否向当前块应用BIO预测。例如，如果当前块的大小小于或等于4×4大小，则可以不向当前块应用BIO预测，并且如果当前块的大小大于4×4大小，则可以向当前块应用BIO预测。
另外，作为另一示例，解码装置可以基于是否应用TM模式来确定是否向当前块应用BIO预测。在一个示例中，如果向当前块应用BM模式，则可以不向当前块应用BIO预测，并且如果向当前块应用TM模式，则可以向当前块应用BIO预测。
如果向当前块应用BIO预测，则解码装置基于MVL0和MVL1来推导当前块的子块的精化运动矢量(S1230)。就此而言，子块的大小可以是预设的。例如，子块的大小可以为4×4大小。可以基于当前块的子块来推导精化运动矢量。
可以基于MVL0和MVL1来推导子块的参考样本值的x轴、y轴和时间轴梯度图，并且可以基于子块的梯度图来推导子块的精化运动矢量。可以基于上式21或23来推导子块的精化运动矢量。
解码装置基于精化运动矢量来推导预测样本(S1240)。解码装置可以基于精化运动矢量来推导预测样本。在上述式14中，可以基于通过用Vx,bk取代Vx并用Vy,bk取代Vy而获得的公式来推导当前块的子块的预测样本。另外，如果第一时间距离与第二时间距离在大小上彼此不同，则可以基于通过在上述式15中用Vx,bk取代Vx并用Vy,bk取代Vy而获得的公式来推导当前块的子块的预测样本。
解码装置可以根据预测模式直接将预测样本用作重构样本，或者可以通过将残差样本与预测样本相加来生成重构样本。
如果存在当前块的残差样本，则解码装置可以从比特流获得关于当前块的残差的信息。关于残差的信息可以包括与残差样本相关的变换系数。解码装置可以基于残差信息来推导当前块的残差样本(或残差样本阵列)。解码装置可以基于预测样本和残差样本来生成重构样本，并且可以基于重构样本来推导重构块或重构图片。此后，如上所述，解码装置可以向重构图片应用诸如SAO过程和/或去块滤波这样的环路滤波过程，以便按需要提高主观/客观视频质量。
此外，尽管未在图12中示出，但是如果确定不应用BIO预测，则解码装置可以基于MVL0和MVL1来推导目标样本的预测样本。解码装置可以根据预测模式直接将预测样本用作重构样本，或者可以通过将残差样本与预测样本相加来生成重构样本。
图13示意性表示根据本公开的执行图像解码方法的解码装置。图12中公开的方法可以由图13中公开的解码装置执行。具体地，例如，图13的解码装置的预测器可以执行图12的S1200至S1240。此外，可以由图13中公开的解码装置的熵解码器获得关于帧间预测的信息和/或关于残差的信息。
根据上述的本公开，能够通过确定是否向当前块应用BIO预测来降低使用基于子块推导的精化运动矢量的帧间预测的计算复杂度，由此能够提高整体编码效率。
另外，根据本公开，通过基于FRUC的模式确定是否应用BIO预测，能够降低使用基于子块推导的精化运动矢量的帧间预测的计算复杂度，由此能够提高整体编码效率。
在上述实施方式中，借助一系列步骤或框基于流程图来解释方法，但是本公开不限于步骤的顺序，并且某个步骤可以以与上述顺序或步骤不同的顺序或步骤发生，或者与另一步骤同时发生。另外，本领域的普通技术人员可以理解，流程图中示出的步骤不是排他性的，并且可以在不影响本公开的范围的情况下，去除可以被并入的另一步骤或流程图的一个或更多个步骤。
根据本公开的上述方法可以被实现为软件形式，并且根据本公开的编码装置和/或解码装置可以被包括在诸如TV、计算机、智能电话、机顶盒、显示装置等这样的用于图像处理的装置中。
当本公开中的实施方式由软件实施时，上述方法可以被实施为模块(进程、功能等)以执行上述功能。模块可以被存储在存储器中并且可以由处理器执行。存储器可以在处理器的内部或外部，并且可以经由各种公知装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪速存储器、存储卡、存储介质和/或其它存储装置。即，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上实施和执行。另外，每幅图中示出的功能单元可以在计算机、处理器、微处理器、控制器或芯片上实施和执行。
另外，应用本公开的解码装置和编码装置可以被包括在多媒体广播收发器、移动通信终端、家庭影院视频装置、数字影院视频装置、监视相机、视频聊天装置、诸如视频通信这样的实时通信装置、移动流传输装置、存储介质、便携式摄像机、视频点播(VoD)服务提供装置、顶置(OTT)视频装置、互联网流传输服务提供装置、三维(3D)视频装置、视频电话视频装置和医疗视频装置中，并且可以被用于处理视频信号或数据信号。例如，顶置(OTT)视频装置可以包括游戏控制台、蓝光播放器、互联网访问TV、家庭影院系统、智能手机、平板PC、数字视频录像机(DVR)等。
另外，应用本公开的处理方法可以以由计算机执行的程序的形式产生，并且被存储在计算机可读记录介质中。根据本公开的具有数据结构的多媒体数据也可以被存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的所有种类的存储装置和分布式存储装置。计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、柔性盘和光学数据存储装置。另外，计算机可读记录介质包括以载波(例如，互联网上的传输)的形式实施的媒体。另外，通过编码方法生成的比特流可以被存储在计算机可读记录介质中，或者可以通过有线或无线通信网络传输。另外，本公开的实施方式可以通过程序代码被实施为计算机程序产品，并且程序代码可以通过本公开的实施方式在计算机上执行。程序代码可以被存储在计算机可读载体上。
另外，应用本公开的内容流传输系统可以主要包括编码服务器、流传输服务器、网络服务器、媒体存储器、用户设备和多媒体输入装置。
编码服务器用于将从诸如智能电话、相机、摄录机等这样的多媒体输入装置输入的内容压缩为数字数据以生成比特流，并将其发送到流传输服务器。作为另一示例，在诸如智能电话、相机、摄录机等这样的多媒体输入装置直接生成比特流的情况下，可以省去编码服务器。可以通过应用本公开的编码方法或比特流生成方法来生成比特流。并且，流传输服务器可以在发送或接收比特流的处理期间临时存储比特流。
流传输服务器基于用户通过网络服务器的请求将多媒体数据发送到用户设备，网络服务器用作将存在什么服务告知用户的仪器。当用户请求他或她想要的服务时，网络服务器将其传送到流传输服务器，并且流传输服务器将多媒体数据发送到用户。就此而言，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用于控制内容流传输系统中的各个设备间的命令/响应。
流传输服务器可以从媒体存储器和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时地接收内容。在这种情况下，流传输服务器可以将比特流存储预定时间段，以平稳地提供流传输服务。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航仪、触屏PC、平板PC、超级本、可穿戴装置(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字TV、台式计算机、数字标牌等。内容流传输系统中的服务器中的每一个都可以作为分布式服务器操作，并且在这种情况下，每个服务器接收到的数据都可以被以分布式方式处理。

Claims (15)

1.一种由解码装置执行的图像解码方法，该图像解码方法包括以下步骤：
推导参考图片列表0L0和参考图片列表1L1；
推导当前块的两个运动矢量MV，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1；
确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流BIO预测；
当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量；以及
基于所述精化运动矢量来推导预测样本。
2.根据权利要求1所述的图像解码方法，其中，确定是否向所述当前块应用基于子块推导所述精化运动矢量的所述双向预测光流BIO预测的步骤包括以下步骤：
基于所述当前块的大小来确定是否向所述当前块应用所述BIO预测，
其中，当所述当前块的大小小于或等于4×4大小时，不向所述当前块应用所述BIO预测，并且
其中，当所述当前块的大小大于4×4大小时，向所述当前块应用所述BIO预测。
3.根据权利要求1所述的图像解码方法，其中，推导所述当前块的所述两个MV的步骤还包括以下步骤：
确定向所述当前块应用模板匹配TM模式还是双边匹配BM模式。
4.根据权利要求3所述的图像解码方法，其中，推导所述当前块的所述两个MV的步骤还包括以下步骤：
当向所述当前块应用所述BM模式时，基于所述当前块的邻近块来推导所述当前块的运动信息候选列表；
从所述运动信息候选列表中所包括的候选当中选择特定候选；
通过基于第一时间距离和第二时间距离缩放所述特定候选的第一运动矢量来推导与除了所述L0和所述L1中的与所述第一运动矢量关联的列表之外的其他列表关联的第二运动矢量；以及
将所述第一运动矢量和所述第二运动矢量推导为所述当前块的MV，并且
其中，所述第一时间距离是所述第一运动矢量的参考图片的图片顺序计数POC与包括所述当前块的当前图片的POC之间的差值，并且
所述第二时间距离是所述第二运动矢量的参考图片的POC与所述当前图片的POC之间的差值。
5.根据权利要求4所述的图像解码方法，其中，从所述运动信息候选列表中所包括的候选当中选择代价最小的候选作为所述特定候选，并且
所述特定候选的代价被推导为所述第一运动矢量指示的参考块与所述第二运动矢量指示的参考块之间的绝对差之和SAD。
6.根据权利要求3所述的图像解码方法，其中，推导所述当前块的所述两个MV的步骤还包括以下步骤：
当向所述当前块应用所述TM模式时，推导所述当前块的L0参考图片和L1参考图片；
将指示所述L0参考图片的L0参考块当中的代价最小的L0参考块的运动矢量推导为所述MVL0；以及
将指示所述L1参考图片的L1参考块当中的代价最小的L1参考块的运动矢量推导为所述MVL1，并且
其中，所述L0参考块的代价被推导为所述当前块的模板与所述L0参考块的模板之间的绝对差之和SAD，并且
所述L1参考块的代价被推导为所述当前块的模板与所述L1参考块的模板之间的SAD。
7.根据权利要求6所述的图像解码方法，其中，所述当前块的模板表示包括所述当前块的邻近样本的特定区域，所述L0参考块的模板表示包括与所述当前块的邻近样本对应的所述L0参考块的邻近样本的特定区域，并且所述L1参考块的模板表示包括与所述当前块的邻近样本对应的所述L1参考块的邻近样本的特定区域。
8.根据权利要求7所述的图像解码方法，其中，所述L0参考块或所述L1参考块的代价是基于下式而推导的：
Figure FDA0002576864140000021
其中，Costdistortion表示所述L0参考块或所述L1参考块的代价，Tempcur(i,j)表示所述当前块的模板中坐标(i,j)处的重构样本，并且Tempref(i,j)表示所述L0参考块或所述L1参考块的模板中的坐标(i,j)处的重构样本。
9.根据权利要求3所述的图像解码方法，其中，确定是否向所述当前块应用基于子块推导所述精化运动矢量的所述双向预测光流BIO预测的步骤包括以下步骤：
基于是否应用所述TM模式来确定是否向所述当前块应用所述BIO预测，并且
其中，当向所述当前块应用所述BM模式时，不向所述当前块应用所述BIO预测，并且
其中，当向所述当前块应用所述TM模式时，向所述当前块应用所述BIO预测。
10.一种执行图像解码的图像解码装置，该图像解码装置包括：
熵解码器，该熵解码器被配置为通过比特流获得关于当前块的帧间预测的信息；以及
预测器，该预测器被配置为推导参考图片列表0L0和参考图片列表1L1，推导所述当前块的两个运动矢量MV，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1，确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流BIO预测，当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量，并且基于所述精化运动矢量来推导预测样本。
11.一种由编码装置执行的图像编码方法，该图像编码方法包括以下步骤：
推导参考图片列表0L0和参考图片列表1L1；
推导当前块的两个运动矢量MV，其中，所述两个MV包括所述L0的MVL0和所述L1的MVL1；
确定是否向所述当前块应用基于子块推导精化运动矢量的双向预测光流BIO预测；
当向所述当前块应用所述BIO预测时，基于所述MVL0和所述MVL1来推导所述当前块的子块的精化运动矢量；
基于所述精化运动矢量来推导预测样本；以及
对关于所述当前块的帧间预测的信息进行熵编码。
12.根据权利要求11所述的图像编码方法，其中，确定是否向所述当前块应用基于子块推导所述精化运动矢量的所述BIO预测的步骤包括以下步骤：
基于所述当前块的大小来确定是否向所述当前块应用所述BIO预测，并且
其中，当所述当前块的大小小于或等于4×4大小时，不向所述当前块应用所述BIO预测，并且
其中，当所述当前块的大小大于4×4大小时，向所述当前块应用所述BIO预测。
13.根据权利要求11所述的图像编码方法，其中，推导所述当前块的所述两个MV的步骤包括以下步骤：
确定向所述当前块应用模板匹配TM模式还是双边匹配BM模式。
14.根据权利要求13所述的图像编码方法，其中，确定是否向所述当前块应用基于子块推导所述精化运动矢量的所述BIO预测的步骤包括以下步骤：
基于是否应用所述TM模式来确定是否向所述当前块应用所述BIO预测，
其中，当向所述当前块应用所述BM模式时，不向所述当前块应用所述BIO预测，并且
其中，当向所述当前块应用所述TM模式时，向所述当前块应用所述BIO预测。
15.根据权利要求13所述的图像编码方法，其中，推导所述当前块的所述两个MV的步骤还包括以下步骤：
当向所述当前块应用所述TM模式时，推导所述当前块的L0参考图片和L1参考图片；
将指示所述L0参考图片的L0参考块当中的代价最小的L0参考块的运动矢量推导为所述MVL0；以及
将指示所述L1参考图片的L1参考块当中的代价最小的L1参考块的运动矢量推导为所述MVL1，并且
其中，所述L0参考块的代价被推导为所述当前块的模板与所述L0参考块的模板之间的绝对差之和SAD，并且
其中，所述L1参考块的代价被推导为所述当前块的模板与所述L1参考块的模板之间的SAD。
CN201880085985.9A 2017-12-14 2018-12-13 根据图像编码系统中的帧间预测进行图像解码的方法和装置 Active CN111630859B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762598992P 2017-12-14 2017-12-14
US62/598,992 2017-12-14
PCT/KR2018/015818 WO2019117640A1 (ko) 2017-12-14 2018-12-13 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치

Publications (2)

Publication Number Publication Date
CN111630859A true CN111630859A (zh) 2020-09-04
CN111630859B CN111630859B (zh) 2024-04-16

Family

ID=66819384

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880085985.9A Active CN111630859B (zh) 2017-12-14 2018-12-13 根据图像编码系统中的帧间预测进行图像解码的方法和装置

Country Status (7)

Country Link
US (2) US11647221B2 (zh)
EP (1) EP3713236A4 (zh)
JP (2) JP7366901B2 (zh)
KR (5) KR102638336B1 (zh)
CN (1) CN111630859B (zh)
MX (1) MX2020006250A (zh)
WO (1) WO2019117640A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699689A (zh) * 2019-06-25 2020-09-22 北京大学 视频处理方法、装置和设备

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI752341B (zh) * 2018-08-04 2022-01-11 大陸商北京字節跳動網絡技術有限公司 不同解碼器側運動矢量推導模式之間的交互
CN111010569B (zh) 2018-10-06 2023-02-28 北京字节跳动网络技术有限公司 Bio中的时间梯度计算的改善
CN113785570A (zh) * 2019-04-03 2021-12-10 Lg 电子株式会社 视频或图像编译方法及其装置
CN113596478B (zh) * 2019-06-21 2022-04-26 杭州海康威视数字技术股份有限公司 一种编解码方法、装置及其设备
JP7313533B2 (ja) * 2019-07-10 2023-07-24 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド オプティカルフローによる予測洗練化における方法および装置
WO2021040426A1 (ko) 2019-08-31 2021-03-04 엘지전자 주식회사 Prof를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
US20230093043A1 (en) * 2021-09-22 2023-03-23 Tencent America LLC Method and apparatus for adaptive reordering for reference frames
WO2023085704A1 (ko) * 2021-11-09 2023-05-19 삼성전자 주식회사 비디오 복호화 방법, 비디오 복호화 장치, 비디오 부호화 방법, 및 비디오 부호화 장치
WO2023195824A1 (ko) * 2022-04-08 2023-10-12 한국전자통신연구원 영상 부호화/복호화를 위한 방법, 장치 및 기록 매체

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141093A (zh) * 2010-07-22 2013-06-05 Sk电信有限公司 使用扩展跳过模式编码/解码图像的方法和设备
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法
WO2017157281A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
WO2017188566A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013047811A1 (ja) 2011-09-29 2013-04-04 シャープ株式会社 画像復号装置、画像復号方法および画像符号化装置
CN103858430B (zh) 2011-09-29 2017-05-03 夏普株式会社 图像解码装置、图像解码方法及图像编码装置
IN2014CN02604A (zh) * 2011-10-19 2015-08-07 Panasonic Corp
US10499068B2 (en) * 2014-12-31 2019-12-03 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
US20180249172A1 (en) * 2015-09-02 2018-08-30 Mediatek Inc. Method and apparatus of motion compensation for video coding based on bi prediction optical flow techniques
US10375413B2 (en) 2015-09-28 2019-08-06 Qualcomm Incorporated Bi-directional optical flow for video coding
US10284845B2 (en) * 2016-05-25 2019-05-07 Arris Enterprises Llc JVET quadtree plus binary tree (QTBT) structure with multiple asymmetrical partitioning
US10931969B2 (en) * 2017-01-04 2021-02-23 Qualcomm Incorporated Motion vector reconstructions for bi-directional optical flow (BIO)
US10701366B2 (en) * 2017-02-21 2020-06-30 Qualcomm Incorporated Deriving motion vector information at a video decoder
EP3737093A4 (en) * 2017-11-28 2022-02-09 Electronics and Telecommunications Research Institute METHOD AND DEVICE FOR CODING/DECODING IMAGES AND RECORDING MEDIA STORED WITH A BITSTREAM

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103141093A (zh) * 2010-07-22 2013-06-05 Sk电信有限公司 使用扩展跳过模式编码/解码图像的方法和设备
WO2017157281A1 (en) * 2016-03-16 2017-09-21 Mediatek Inc. Method and apparatus of pattern-based motion vector derivation for video coding
WO2017188566A1 (ko) * 2016-04-25 2017-11-02 엘지전자 주식회사 영상 코딩 시스템에서 인터 예측 방법 및 장치
CN105847804A (zh) * 2016-05-18 2016-08-10 信阳师范学院 一种基于稀疏冗余表示模型的视频帧率上转换方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "Algorithm Description of Joint Exploration Test Model 7 (JEM 7)", 《JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699689A (zh) * 2019-06-25 2020-09-22 北京大学 视频处理方法、装置和设备
CN111699689B (zh) * 2019-06-25 2023-03-31 北京大学 视频处理方法、装置和设备

Also Published As

Publication number Publication date
EP3713236A1 (en) 2020-09-23
MX2020006250A (es) 2020-09-25
EP3713236A4 (en) 2021-04-21
KR20200078648A (ko) 2020-07-01
JP2023134651A (ja) 2023-09-27
KR20230057473A (ko) 2023-04-28
CN111630859B (zh) 2024-04-16
JP7366901B2 (ja) 2023-10-23
US20200314444A1 (en) 2020-10-01
KR20240025058A (ko) 2024-02-26
KR102523002B1 (ko) 2023-04-18
KR20210118254A (ko) 2021-09-29
US20230239492A1 (en) 2023-07-27
KR102305966B1 (ko) 2021-09-28
US11647221B2 (en) 2023-05-09
KR102414180B1 (ko) 2022-06-28
KR20220093394A (ko) 2022-07-05
WO2019117640A1 (ko) 2019-06-20
KR102638336B1 (ko) 2024-02-19
JP2021507589A (ja) 2021-02-22

Similar Documents

Publication Publication Date Title
CN111630859B (zh) 根据图像编码系统中的帧间预测进行图像解码的方法和装置
US11785248B2 (en) Affine motion prediction-based image decoding method and device using affine merge candidate list in image coding system
US11943470B2 (en) Method and apparatus for inter prediction in video coding system
US20230179794A1 (en) Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
CN114208171A (zh) 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
US20200260110A1 (en) Image decoding method and device on basis of affine motion prediction using constructed affine mvp candidate in image coding system
CN114375573A (zh) 使用合并候选推导预测样本的图像解码方法及其装置
CN114270833A (zh) 用于在视频/图像编译系统中移除重叠信令的方法和装置
US11601643B2 (en) Method and apparatus for inter prediction in video processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant