CN112042198A - 基于仿射运动预测的图像编码方法及其装置 - Google Patents

基于仿射运动预测的图像编码方法及其装置 Download PDF

Info

Publication number
CN112042198A
CN112042198A CN201980029205.3A CN201980029205A CN112042198A CN 112042198 A CN112042198 A CN 112042198A CN 201980029205 A CN201980029205 A CN 201980029205A CN 112042198 A CN112042198 A CN 112042198A
Authority
CN
China
Prior art keywords
block
affine
affine mvp
current block
mvp candidate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980029205.3A
Other languages
English (en)
Other versions
CN112042198B (zh
Inventor
李在镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong Oppo Mobile Telecommunications Corp Ltd
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310901139.2A priority Critical patent/CN116684590A/zh
Priority to CN202310904885.7A priority patent/CN116684639A/zh
Priority to CN202310910010.8A priority patent/CN116781929A/zh
Priority to CN202310904249.4A priority patent/CN116684638A/zh
Publication of CN112042198A publication Critical patent/CN112042198A/zh
Application granted granted Critical
Publication of CN112042198B publication Critical patent/CN112042198B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

根据本发明，一种由解码装置实现的图片解码方法包括以下步骤：从比特流中获取运动预测信息；生成包括针对当前块的仿射MVP候选的仿射MVP候选列表；基于包括在仿射MVP候选列表中的仿射MVP候选中的一个仿射MVP候选推导针对当前块的各个CP的CPMVP；基于包括在所获取的运动预测信息中的关于各个CP的CPMVD的信息推导针对当前块的CP的CPMVD；以及基于CPMVP和CPMVD推导针对当前块的CP的CPMV。

Description

基于仿射运动预测的图像编码方法及其装置
技术领域
本公开总地涉及图像编码技术，并且更具体地，涉及图像编码系统中基于仿射(affine)运动预测的图像编码方法和设备。
背景技术
对于诸如HD(高清晰度)图像和UHD(超高清)图像之类的高分辨率且高质量的图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量，所以要发送的信息量或比特量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种用于有效地发送、存储和再现高分辨率和高质量的图像的信息的高效图像压缩技术。
发明内容
技术任务
本公开的一技术目的是提供一种提高图像编码效率的方法和设备。
本公开的另一技术目的是提供一种基于仿射运动预测来提高图像编码效率的方法和设备。
本公开的另一技术目的是提供一种通过有效地确定仿射运动预测中使用的相邻块的组合来提高图像编码效率的方法和设备。
本公开的另一技术目的是提供一种通过发信号通知关于在仿射运动预测中使用的仿射MVP候选列表的信息来增加图像编码效率的方法和设备。
解决方案
根据本公开的示例，提供了一种由解码设备执行的图片解码方法。该方法包括从比特流获得运动预测信息；生成包括针对当前块的仿射运动矢量预测值(MVP)候选的仿射MVP候选列表；基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个控制点(CP)的控制点运动矢量预测值(CPMVP)；基于包括在所获得的运动预测信息中的关于各个CP的控制点运动矢量差(CPMVD)的信息推导针对当前块的CP的CPMVD；基于CPMVP和CPMVD推导针对当前块的CP的控制点运动矢量(CPMV)；基于CPMV推导针对当前块的预测样本；以及基于推导出的预测样本生成针对当前块的重构样本。
根据本公开的另一示例，提供了一种执行图片解码的解码设备。该解码设备包括：熵解码器，熵解码器从比特流获得运动预测信息；预测器，预测器生成包括针对当前块的仿射运动矢量预测值(MVP)候选的仿射MVP候选列表，基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP，基于包括在所获得的运动预测信息中的关于针对各个CP的CPMVD的信息来推导针对当前块的CP的CPMVD，基于CPMVP和CPMVD来推导针对当前块的CP的CPMV，并且基于CPMV来推导针对当前块的预测样本；以及加法器，加法器基于推导出的预测样本来生成针对当前块的重构样本。
根据本公开的又一实施方式，提供了一种由编码设备执行的图片编码方法。该方法包括生成包括针对当前块的仿射MVP候选的仿射MVP候选列表，基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP，推导针对当前块的各个CP的CPMV，基于针对各个CP的CPMV和CPMVP推导针对当前块的CP的CPMVD，基于CPMV推导针对当前块的预测样本，基于推导出的预测样本推导针对当前块的残差样本，以及对关于推导出的CPMVD的信息和关于残差样本的残差信息进行编码。
根据本公开的又一实施方式，提供了一种执行图片编码的编码设备。该编码设备包括：预测器，预测器生成包括针对当前块的仿射MVP候选的仿射MVP候选列表，基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP，推导针对当前块的各个CP的CPMV，基于针对各个CP的CPMV和CPMVP推导针对当前块的CP的CPMVD，以及基于CPMV推导针对当前块的预测样本；残差处理器，残差处理器基于推导出的预测样本推导针对当前块的残差样本；以及熵编码器，熵编码器对关于推导出的CPMVD的信息和关于残差样本的残差信息进行编码。
有益效果
根据本公开，可以提高整体图像/视频压缩效率。
根据本公开，可以基于仿射运动预测来提高图像编码的效率。
根据本公开，可以通过发信号通知关于用于仿射运动预测的仿射MVP候选列表的信息来提高图像编码效率。
附图说明
图1是示意性示出根据实施方式的编码设备的配置的图。
图2是示意性示出根据实施方式的解码设备的配置的图。
图3是示出根据实施方式通过仿射运动模型表达的运动的示例的图。
图4是示出使用针对当前块的三个控制点(CP)的控制点运动矢量(CPMV)的仿射运动模型的示例的图。
图5是示出使用针对当前块的两个CP的CPMV的仿射运动模型的示例的图。
图6是示出基于仿射运动模型推导子块单元中的运动矢量的示例的图。
图7至图10示出检测基于仿射运动预测而编码的相邻块的方法的示例。
图11是示出根据实施方式的编码设备的操作方法的流程图。
图12是示出根据实施方式的编码设备的配置的框图。
图13是示出根据实施方式的解码设备的操作方法的流程图。
图14是示出根据实施方式的解码设备的配置的框图。
具体实施方式
根据本公开的实施方式，呈现了一种由解码设备执行的图片解码方法。该方法包括：从比特流获得运动预测信息；生成包括针对当前块的仿射运动矢量预测值(MVP)候选的仿射MVP候选列表；基于包括在仿射MVP候选列表中的仿射MVP候选中的一个针对当前块的各个控制点(CP)推导控制点运动矢量预测值(CPMVP)；基于包括在所获得的运动预测信息中的关于针对各个CP的控制点运动矢量差(CPMVD)的信息，推导针对当前块的CP的CPMVD；基于CPMVP和CPMVD针对当前块的CP推导控制点运动矢量(CPMV)；基于CPMV推导当前块的预测样本；以及基于推导出的预测样本来生成当前块的重构样本。
本公开的实施方式
本公开可以按各种形式进行修改，并且将在附图中描述和例示其特定实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
另外，为了便于解释不同的特定功能，独立地绘制本实施方式中描述的附图中的元件，并不意味着这些元件由独立的硬件或独立的软件实现。例如，可以组合元件中的两个或更多个以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本实施方式的概念的情况下，元件被组合和/或划分的实施方式属于本公开。
以下描述可以应用于处理视频、图像或图片的技术领域。例如，以下描述中公开的方法或示例性实施方式可以与通用视频编码(VVC)标准(ITU-T H.266建议书)、VVC之后的下一代视频/图像编码标准、或VVC之前的标准(例如，高效视频编码(HEVC)标准(ITU-TH.265建议书)等)的公开内容相关联。
下文中，将参照附图详细地描述本实施方式的示例。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。
在本公开中，视频可以意指根据时间推移的一系列图像的集合。通常，图片意指表示特定时间的图像的单元，切片是构成图片的一部分的单元。一个图片可以由多个切片构成，并且术语图片和切片可以根据场合需要彼此混合。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地，单元可以与诸如块、区域等的术语混合。在典型情况下，M×N块可以表示以M列和N行排列的样本或变换系数的集合。
图1简要示出本公开适用的编码设备的结构。在下文中，编码/解码设备可以包括视频编码/解码设备和/或图像编码/解码设备，并且视频编码/解码设备可以用作包括图像编码/解码设备的概念，或者图像编码/解码设备可以用作包括视频编码/解码设备的概念。
参照图1，视频编码设备100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125、逆变换器126。
图片分割器105可以将输入图片分离成至少一个处理单元。
在示例中，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地分离出编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分离为更深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和三叉树结构。另选地，可以首先应用二叉树结构/三叉树结构。可以基于不再进一步被分离的最终编码单元执行根据本实施方式的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而用作最终编码单元，或者编码单元可以根据需要递归地分离成较低深度的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构这样的过程，这将在后面描述。
在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换器(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分离为更深深度的编码单元。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而直接用作最终编码单元，或者编码单元可以根据需要递归地分离为更深深度的编码单元，并且具有最佳尺寸的编码单元可以用作最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分离为比最小编码单元小的编码单元。这里，最终编码单元是指被分割或分离成预测单元或变换器的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。这里，预测单元可以被划分成子块。可以根据四叉树结构从编码单元划分出变换器，并且变换器可以是推导变换系数的单元和/或从变换系数推导残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换器可以被称为变换块(TB)。预测块或预测单元可以是指图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换器可以是指图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，它可以表示当前块或残差块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是应用帧间预测。例如，预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(下文中，当前图片)中的当前块之外的参考样本来推导当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均值或内插来推导预测样本(情况(i))，或者可以基于当前块的邻近参考样本当中的在相对于预测样本的特定(预测)方向中存在的参考样本来推导预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于相邻块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于参考图片上的由运动矢量指定的样本来推导针对当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来推导针对当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用相邻块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。在MVP模式的情况下，相邻块的运动矢量被用作运动矢量预测值(predictor)，以推导当前块的运动矢量。
在帧间预测的情况下，相邻块可以包括存在于当前图片中的空间相邻块和存在于参考图片中的时间相邻块。包括时间相邻块的参考图片也可以称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息之类的信息可以被(熵)编码，并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间相邻块的运动信息时，参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和相应的参考图片之间的图片顺序号(POC)差来对齐包括在参考图片列表中的参考图片。POC对应于显示顺序，并且可以与编码顺序区分开。
减法器121生成残差样本，该残差样本是原始样本和预测样本之间的差。如果应用跳过模式，则如上所述可以不生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于相应变换块的尺寸和被应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如，如果帧内预测被应用于与变换块交叠的预测块或编码块并且变换块是4×4残差阵列，则可以使用离散正弦变换(DST)变换核来变换残差样本，并且在其他情况下，使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成经量化的变换系数。
重排器124重新排列经量化的变换系数。重排器124可以通过系数扫描方法将块形式的经量化的变换系数重新排列成一维矢量。尽管重排器124被描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可以对经量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了经量化的变换系数之外，熵编码器130还可以根据熵编码或根据预先配置的方法一起或单独地对视频重构所需的信息(例如，语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单位发送或存储熵编码信息。比特流可以经由网络发送或存储在数字存储介质中。这里，网络可以包括广播网络或通信网络，数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SDD等的各种存储介质。
反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重构图片。可以以块为单位将残差样本添加到预测样本以生成重构块。虽然加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。另外，加法器140可以被称为重构器或重构块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重构图片。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化时的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重构的图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是由滤波器150滤波的重构图片。存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2简要地示出本公开适用的视频/图像解码设备的结构。下文中，视频解码设备可以包括图像解码设备。
参照图2，视频解码设备200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重排器221、反量化器222、逆变换器223。另外，尽管并未描绘，但是视频解码设备200可以包括用于接收包括视频信息的比特流的接收器。接收器可以被配置为单独的模块，或者可以被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时，视频解码设备200可以与在视频编码设备中处理视频信息的过程关联地重构视频/图像/图片。
例如，视频解码设备200可以使用在视频编码设备中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，并且在另一示例中是编码单元、预测单元或变换器。可以根据四叉树结构和/或二叉树结构和/或三叉树结构从最大编码单元分离编码单元。
在一些情况下可以进一步使用预测单元和变换器，并且在这种情况下，预测块是从编码单元推导或分割出的块，并且可以是样本预测的单位。这里，预测单元可以被划分为子块。变换器可以根据四叉树结构从编码单元分离出，并且可以是推导变换系数的单元或从变换系数推导残差信号的单元。
熵解码器210可以解析比特流以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来解码比特流中的信息，并且可以输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息以及相邻块和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型预测bin生成概率，并执行bin的算术解码以生成与每个语法元素值相对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器250，并且可以将已经由熵解码器210执行熵解码的残差值(即，经量化的变换系数)输入到重排器221。
重排器221可以将经量化的变换系数重新排列成二维块形式。重排器221可以执行与由编码设备执行的系数扫描相对应的重新排列。尽管重排器221被描述为单独的组件，但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码设备发信号通知用于推导量化参数的信息。
逆变换器223可以对变换系数进行逆变换以推导残差样本。
预测器230可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块，或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定在帧间预测和帧内预测之间将应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本推导针对当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导针对当前块的预测样本。在这种情况下，可以通过使用相邻块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动矢量在参考图片中指定的样本来推导针对当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一个来推导针对当前块的预测样本。这里，由视频编码设备提供的当前块的帧间预测所要求的运动信息(例如，运动矢量和关于参考图片索引的信息)可以基于关于预测的信息来获取或推导。
在跳过模式和合并模式中，相邻块的运动信息可以用作当前块的运动信息。这里，相邻块可以包括空间相邻块和时间相邻块。
预测器230可以使用可用相邻块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码设备发信号通知。运动信息可以包括运动矢量和参考图片。在跳过模式和合并模式中，当使用时间相邻块的运动信息时，参考图片列表中的最上面的图片可以用作参考图片。
在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。
在MVP模式的情况下，可以使用相邻块的运动矢量作为运动矢量预测值来推导当前块的运动矢量。这里，相邻块可以包括空间相邻块和时间相邻块。
当应用合并模式时，例如，可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引，该合并索引指示从包括在合并候选列表中的候选块中选择的具有最佳运动矢量的候选块。这里，预测器230可以使用合并索引推导当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时，可以使用经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量来生成运动矢量预测值候选列表。也就是说，经重构的空间相邻块的运动矢量和/或与作为时间相邻块的Col块相对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里，预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码设备的预测器可以获得当前块的运动矢量与运动矢量预测值之间的运动矢量差(MVD)，对MVD进行编码并以比特流的形式输出经编码的MVD。也就是说，可以通过从当前块的运动矢量中减去运动矢量预测值来获得MVD。这里，预测器230可以获取包括在关于预测的信息中的运动矢量，并且通过将运动矢量差添加到运动矢量预测值来推导当前块的运动矢量。另外，预测器可以从上述关于预测的信息获得或推导指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重构当前图片。当应用跳过模式时，不发送残差，并且因此预测样本可以变为重构样本。虽然加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。另外，加法器240可以被称为重构器或重构块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器260可以按输出顺序输出重构图片。
此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。因此，可以生成包括针对作为要编码的块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块在编码设备和解码设备中被以相同的方式推导，并且编码设备可以将关于原始块与预测块之间的残差的信息(残差信息)而不是原始块的原始样本值发信号通知给解码设备，从而提高图像编码效率。解码设备可以基于残差信息来推导包括残差样本的残差块，将残差块与预测块相加以生成包括重构样本的重构块，并且生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码设备可以推导原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本阵列)执行变换过程以推导变换系数，对变换系数执行量化过程以推导量化变换系数，并且可以(通过比特流)向解码设备发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核以及量化参数等。解码设备可以基于残差信息执行反量化/逆变换过程，并且可以推导残差样本(或残差块)。解码设备可以基于预测块和残差块来生成重构图片。另外，为了以后参考图片的帧间预测，编码设备还可以对量化变换系数执行反量化/逆变换以推导残差块，并且基于残差块生成重构图片。
图3是示出根据实施方式通过仿射运动模型表达的运动的示例的图。
在本说明书中，作为控制点的缩写的“CP”可以表示当将仿射运动模型应用于当前块时用作参考的参考点或样本。CP的运动矢量可以被称为“控制点运动矢量(CPMV)”，并且CPMV可以基于作为CPMV预测器的“控制点运动矢量预测值(CPMVP)”来推导。
参照图3，可以通过根据实施方式的仿射运动模型表达的运动可以包括平移运动、缩放运动、旋转运动和剪切运动(shearing motion)。也就是说，仿射运动模型可有效地表达图像(或其一部分)随时间在平面中移动的平移运动、图像(或其一部分)随时间缩放的缩放运动、图像(或其一部分)随时间旋转的旋转运动、以及图像(或其一部分)随时间变形为平行四边形的剪切运动。
可以使用根据实施方式的仿射运动模型来执行仿射帧间预测。编码设备/解码设备可以通过仿射帧间预测基于当前块的CP处的运动矢量来预测图像的失真形状，这可以导致预测精确度的增加，因此改进图像的压缩性能。此外，可以使用当前块的相邻块的运动矢量来推导当前块的至少一个CP的运动矢量，因此可以减少添加的附加信息的数据量，并提高帧间预测效率。
在一个示例中，仿射帧间预测可以基于针对当前块的三个CP(即，三个参考点)处的运动信息来执行。针对当前块的三个CP处的运动信息可以包括每个CP的CPMV。
图4示意性地示出其中使用三个CP的运动矢量的仿射运动模型。
当当前块内左上样本的位置是(0，0)，当前块的宽度是‘w’，并且其高度是‘h’时，如图4所示，可以将位于(0，0)、(w，0)和(0，h)的样本确定为针对当前块的CP。在下文中，样本位置(0，0)处的CP可以表示为CP0，样本位置(w，0)处的CP可以表示为CP1，并且样本位置(0，h)处的CP可以表示为CP2。
可以使用上述各个CP和相应CP的运动矢量来应用根据实施方式的仿射运动模型。仿射运动模型可表示为以下式1。
[式1]
Figure BDA0002751314230000121
这里，w表示当前块的宽度，h表示当前块的高度，v0x和v0y分别表示CP0的运动矢量的x分量和y分量，v1x和v1y分别表示CP1的运动矢量的x分量和y分量，v2x和v2y分别表示CP2的运动矢量的x分量和y分量。另外，x表示目标样本在当前块内的位置的x分量，y表示目标样本在当前块内的位置的y分量，vx表示目标样本在当前块内的运动矢量的x分量，并且vy表示目标样本在当前块内的运动矢量的y分量。
另外，表示仿射运动模型的式1仅是示例，并且用于表示仿射运动模型的式子不限于式1。例如，在一些情况下，式1中公开的每个系数的符号可以从式1的符号改变，并且在一些情况下，每个系数的绝对值的大小也可以从式1的绝对值的大小改变。
由于CP0的运动矢量、CP1的运动矢量和CP2的运动矢量是已知的，所以可以基于上面的式1推导根据当前块内的样本位置的运动矢量。也就是说，根据仿射运动模型，CP处的运动矢量v0(v0x，v0y)、v1(v1x，v1y)、v2(v2x，v2y)可以基于目标样本的坐标(x，y)与三个CP之间的距离比来缩放，以使得可以推导根据目标样本位置的目标样本的运动矢量。也就是说，根据仿射运动模型，可以基于CP的运动矢量推导当前块内的每个样本的运动矢量。另外，根据仿射运动模型推导出的当前块内的样本的运动矢量的集合可以称为仿射运动矢量场。
另外，以上式1的六个参数可以表示为以下等式的a、b、c、d、e和f，并且使用六个参数表示的仿射运动模型的等式可以如下：
[式2]
Figure BDA0002751314230000131
Figure BDA0002751314230000132
Figure BDA0002751314230000133
其中，w表示当前块的宽度，h表示当前块的高度，v0x和v0y分别表示CP0的运动矢量的x分量和y分量，v1x和v1y分别表示CP1的运动矢量的x分量和y分量，v2x和v2y分别表示CP2的运动矢量的x分量和y分量。另外，x表示目标样本在当前块内的位置的x分量，y表示目标样本在当前块内的位置的y分量，vx表示目标样本在当前块内的运动矢量的x分量，vy表示目标样本在当前块内的运动矢量的y分量。
另外，表示基于六个参数的仿射运动模型的式2仅是示例，并且用于表示基于六个参数的仿射运动模型的式子不限于式2。例如，在一些情况下，式2中公开的每个系数的符号可以从式2的符号改变，并且在一些情况下，每个系数的绝对值的大小也可以从式2的绝对值的大小改变。
使用六个参数的仿射帧间预测或仿射运动模型可以称为六参数仿射运动模型或AF6。
在一个示例中，仿射帧间预测可以基于针对当前块的三个CP(即，三个参考点)处的运动信息来执行。当前块的三个CP处的运动信息可以包括每个CP的CPMV。
在一个示例中，仿射帧间预测可以基于针对当前块的两个CP(即，两个参考点)处的运动信息来执行。当前块的两个CP处的运动信息可以包括每个CP的CPMV。
图5示意性地示出其中使用两个CP的运动矢量的仿射运动模型。
使用两个CP的仿射运动模型可以表示包括平移运动、缩放运动和旋转运动的三个运动。表示三个运动的仿射运动模型可以称为相似性仿射运动模型或简化仿射运动模型。
当当前块内左上样本的位置是(0，0)，当前块的宽度是‘w’，并且其高度是‘h’时，如图5所示，可以将位于(0，0)和(w，0)的样本确定为当前块的CP。在下文中，样本位置(0，0)处的CP可以表示为CP0，样本位置(w，0)处的CP可以表示为CP1。
基于四个参数的仿射运动模型可以使用上述各个CP和对应CP的运动矢量来应用。仿射运动模型可以如下式3表示。
[式3]
Figure BDA0002751314230000141
这里，w表示当前块的宽度，v0x和v0y分别表示CP0的运动矢量的x分量和y分量，并且v1x和v1y分别表示CP1的运动矢量的x分量和y分量。另外，x表示目标样本在当前块内的位置的x分量，y表示目标样本在当前块内的位置的y分量，vx表示目标样本在当前块内的运动矢量的x分量，vy表示目标样本在当前块内的运动矢量的y分量。
另外，表示基于四个参数的仿射运动模型的式3仅是示例，并且用于表示基于四个参数的仿射运动模型的式子不限于式3。例如，在一些情况下，式3中公开的每个系数的符号可以从式3的符号改变，并且在一些情况下，每个系数的绝对值的大小也可以从式3的绝对值的大小改变。
另外，以上式3的四个参数可表示为以下式4的a、b、c和d，且使用所述四个参数表示的仿射运动模型的式4可以如下表达：
[式4]
Figure BDA0002751314230000151
Figure BDA0002751314230000152
这里，w表示当前块的宽度，v0x和v0y分别表示CP0的运动矢量的x分量和y分量，并且v1x和v1y分别表示CP1的运动矢量的x分量和y分量。另外，x表示目标样本在当前块内的位置的x分量，y表示目标样本在当前块内的位置的y分量，vx表示目标样本在当前块内的运动矢量的x分量，vy表示目标样本在当前块内的运动矢量的y分量。由于使用两个CP的仿射运动模型可以使用如式4中的四个参数a、b、c和d来表示，因此使用四个参数的仿射帧间预测或仿射运动模型可以称为四参数仿射运动模型或AF4。也就是说，根据仿射运动模型，可以基于控制点的运动矢量推导当前块内的每一样本的运动矢量。此外，根据仿射运动模型推导出的当前块内的样本的运动矢量的集合可以称为仿射运动矢量场。
此外，表示基于四个参数的仿射运动模型的式4仅是一个示例，并且用于表示基于四个参数的仿射运动模型的式子不限于式4。例如，在一些情况下，式4中公开的每个系数的符号可以从式4的符号改变，并且在一些情况下，每个系数的绝对值的大小也可以从式4的绝对值的大小改变。
此外，如上所述，可以通过仿射运动模型推导样本单元的运动矢量，并且通过此可以显着地提高帧间预测的精度。然而，在这种情况下，在运动补偿处理中，复杂度可能会大大增加。
在另一实施方式中，可以限制为推导当前块内的子块单元的运动矢量而不是样本单元的运动矢量。
图6是示出基于仿射运动模型推导子块单元中的运动矢量的示例的图。
图6示例性地表示了当前块的尺寸是16×16并且运动矢量在4×4子块单元中推导出的情况。子块可以以各种尺寸设置，并且例如，如果子块被设置为n×n尺寸(n为正整数，并且例如，n为4)，则可以基于仿射运动模型在当前块内的n×n子块单元中推导运动矢量，并且可以应用用于推导表示每个子块的运动矢量的各种方法。
例如，参照图6，可以推导每个子块的运动矢量，将每个子块的中心或中心右下侧样本位置设置为代表坐标。这里，中心右下侧位置可以表示在位于子块中心的四个样本中位于右下侧的样本位置。例如，如果n是奇数，则一个样本可以位于子块的中心，并且在这种情况下，中心样本位置可以用于推导子块的运动矢量。然而，如果n是偶数，则四个样本可以位于子块的中心附近，并且在这种情况下，右下侧样本位置可以用于推导运动矢量。例如，参照图6，每个子块的代表坐标可以被推导为(2，2)、(6，2)、(10，2)、…、(14，14)，并且编码设备/解码设备可以通过将子块的代表坐标中的每一个输入到上面的式1到式3中来推导每个子块的运动矢量。通过仿射运动模型推导出的当前块内的子块的运动矢量可以称为仿射MVF。
在一实施方式中，当上述仿射运动模型被概括为两个步骤时，它可以包括推导CPMV的步骤和执行仿射运动补偿的步骤。
另外，在使用上述仿射运动模型的帧间预测(即，仿射运动预测)中，可以存在仿射合并模式(AF_MERGE或AAM)和仿射帧间模式(AF_INTER或AAMVP)。
与传统的跳跃/合并模式类似，根据实施方式的仿射合并模式可以表示一种编码/解码方法，该方法通过从当前块的相邻块推导两个或三个CP中的每一个的CPMV而不对运动矢量差(MVD)进行编码来执行预测。类似于AMVP，仿射帧间模式(AAMVP)可以明确地表示对CPMV与CPMVP之间的差信息进行编码/解码的方法。
另外，以上在图3至图6中描述的仿射运动模型的描述旨在帮助理解将在本说明书中稍后描述的根据本公开的实施方式的编码方法/解码方法的原理，因此本领域的技术人员将容易理解，本公开的范围不受以上参照图3至图6描述的内容的限制。
在一实施方式中，将描述构造用于仿射帧间预测的仿射MVP候选列表的方法。在本说明书中，仿射MVP候选列表包括仿射MVP候选，并且每个仿射MVP候选可以表示四参数(仿射)运动模型中CP0和CP1的CPMVP的组合，并且可以表示六参数(仿射)运动模型中CP0、CP1和CP2的CPMVP的组合。在本说明书中描述的仿射MVP候选可以被不同地称为诸如CPMVP候选、仿射CPMVP候选、CPMVP对候选和CPMVP对之类的各种名称。仿射MVP候选列表可以包括n个仿射MVP候选，并且当n是大于1的整数时，可以需要对指示最佳仿射MVP候选的信息进行编码和解码。当n是1时，可以不需要对指示最佳仿射MVP候选的信息进行编码和解码。当n是大于1的整数时的语法的示例在下面的表1中示出，并且当n是1时的语法的示例在下面的表2中示出。
[表1]
Figure BDA0002751314230000171
[表2]
Figure BDA0002751314230000172
在表1和表2中，merge_flag是用于指示其是否处于合并模式的标志。当merge_flag的值为1时，可以执行合并模式，并且当merge_flag的值为0时，可以不执行合并模式。affine_flag是用于指示是否使用仿射运动预测的标志。当affine_flag的值为1时，可以使用仿射运动预测，并且当affine_flag的值为0时，可以不使用仿射运动预测。aamvp_idx是用于指示n个仿射MVP候选中的最佳仿射MVP候选的索引信息。可以理解，在表示n是大于1的整数的情况的表1中，基于aamvp_idx表示最佳仿射MVP候选，而在表示n是1的情况的表2中，仅有一个仿射MVP候选，因此不解析aamvp_idx。
在一实施方式中，当确定仿射MVP候选时，可以使用基于仿射运动预测而编码的相邻块(下文中也可称为“仿射编码块”)的仿射运动模型。在一实施方式中，当确定仿射MVP候选时，可以执行第一步骤和第二步骤。在第一步骤中，可以在以预定顺序扫描相邻块的同时，检查是否基于仿射运动预测对每个相邻块进行了编码。在第二步骤中可以使用基于仿射运动预测而编码的相邻块来确定当前块的仿射MVP候选。
在第一步骤中可以考虑基于仿射运动预测而编码的最多m个块。例如，当m是1时，仿射MVP候选可以使用在扫描顺序中排在第一的仿射编码块来确定。例如，当m是2时，仿射MVP候选可以使用在扫描顺序中排在第一和第二的仿射编码块来确定。此时，当执行修剪检查(pruning check)并且第一仿射MVP候选和第二仿射MVP候选相同时，可以附加地执行扫描过程以确定附加仿射MVP候选。此外，在一实施方式中，在本实施方式中描述的m可以不超过以上在表1和表2的描述中描述的n的值。
此外，在第一步骤中，在扫描相邻块的同时检查是否基于仿射运动预测对每个相邻块进行编码的过程可以以各种方式实施。下文中，将在图7至图10中描述在扫描相邻块的同时检查是否基于仿射运动预测对每个相邻块进行编码的过程的实施方式。
图7至图10示出检测基于仿射运动预测而编码的相邻块的方法的示例。
参照图7，4×4块A、B、C、D和E在当前块的相邻处显示。作为左上角相邻块的块E位于CP0的相邻处，作为右上角相邻块的块C和作为上相邻块的块B位于CP1的相邻处，并且作为左下角相邻块的块D和作为左相邻块的块A位于CP2的相邻处。根据图7的布置可以有助于降低设计成本，因为其可与根据AMVP或合并模式的方法共享结构。
参照图8，4×4块A、B、C、D、E、F和G在当前块的相邻处显示。作为左上角相邻块的块E、作为第一左相邻块的块G、以及作为上相邻块的块F位于CP0的相邻处，作为右上角相邻块的块C和作为第二上相邻块的块B位于CP1的相邻处，并且作为左下角相邻块的块D、作为第二左相邻块的A块位于CP2的相邻处。根据图8的布置仅基于与三个CP相邻的4×4块来确定是否基于仿射运动预测对其进行编码，因此可以使扫描复杂度的增加最小化，并且其在编码性能方面也是有效的。
图9示出当检测基于仿射运动预测而编码的相邻块时所扫描的相邻块的布置，其与图8中所示的布置相同。然而，在根据图9的实施方式中，仿射MVP候选可以基于包含在位于当前块左侧的闭合虚线内的最多p个4×4相邻块和包含在位于当前块上部的闭合虚线内的最多q个4×4相邻块来确定。例如，如果p和q均为1，则仿射MVP候选可以基于包含在位于当前块左侧的闭合虚线内的4×4相邻块中的在扫描顺序中排在第一的仿射编码块和包含在位于当前块上部的闭合虚线内的4×4相邻块中的在扫描顺序中排在第一的仿射编码块来确定。
参照图10，可以基于在位于CP0的相邻处的作为左上角相邻块的块E、作为第一左相邻块的块G和作为第一上相邻块的块F中的在扫描顺序中排在第一的仿射编码块，基于在位于CP1的相邻处的作为上右相邻块的块C和作为第二上相邻块的块B中的在扫描顺序中排在第一的仿射编码块，并且基于在位于CP2的相邻处的作为左下角相邻块的块D和作为第二左相邻块的块A中的在扫描顺序中排在第一的仿射编码块，来确定仿射MVP候选。
此外，上述扫描方法的扫描顺序可以基于特定编码设备或解码设备的概率和性能分析来确定。因此，根据一实施方式，可以基于应用本实施方式的编码设备或解码设备的统计特性或性能来确定扫描顺序，而不是指定扫描顺序。
图11是示出根据实施方式的编码设备的操作方法的流程图，并且图12是示出根据实施方式的编码设备的配置的框图。
根据图11和图12的编码设备可以执行与根据稍后将描述的图13和图14的解码设备的操作相对应的操作。因此，稍后在图13和图14中描述的内容可以类似地应用于图11和图12的编码设备。
图11中公开的每个步骤可以由图1中公开的编码设备100执行。更具体地说，S1100到S1140可以由图1中公开的预测器1150执行，S1150可以由图1中公开的残差处理器120执行，并且S1160可以由图1中公开的熵编码器130执行。此外，根据S1100至S1160的操作是基于以上在图3至图10中描述的一些内容。因此，将省略或简要说明与上述图1和图3至图10中的内容重复的特定内容。
如图12所示，根据实施方式的编码设备可以包括预测器110和熵编码器130。然而，在一些情况下，图12中所示的所有组件可以不是编码设备的必要组件，并且编码设备可以由比图12中所示的组件更多或更少的组件来实现。
在根据实施方式的编码设备中，预测器110和熵编码器130可以由单独的芯片来实现，或者至少两个或更多个组件可以由单个芯片实现。
根据实施方式的编码设备可以生成包括针对当前块的仿射MVP候选的仿射MVP候选列表(S1100)。更具体地，编码设备的预测器110可以生成包括针对当前块的仿射MVP候选的仿射MVP候选列表。
根据实施方式的编码设备可以基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP(S1110)。更具体地，编码设备的预测器110可以基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP。
根据实施方式的编码设备可以针对当前块的各个CP推导CPMV(S1120)。更具体地，编码设备的预测器110可以针对当前块的各个CP推导CPMV。
根据实施方式的编码设备可以基于各个CP的CPMV和CPMVP推导当前块的CP的CPMVD(S1130)。更具体地，编码设备的预测器110可以基于针对各个CP的CPMV和CPMVP推导针对当前块的CP的CPMVD。
根据实施方式的编码设备可以基于CPMV推导针对当前块的预测样本(S1140)。更具体地，编码设备的预测器110可以基于CPMV推导针对当前块的预测样本。
根据实施方式的编码设备可以基于推导出的预测样本推导针对当前块的残差样本(S1150)。更具体地，编码设备的残差处理器120可以基于推导出的预测样本推导针对当前块的残差样本。
根据实施方式的编码设备可以对关于推导出的CPMVD的信息和关于残差样本的残差信息进行编码(S1160)。更具体地，编码设备的熵编码器130可以对关于推导出的CPMVD的信息和关于残差样本的残差信息进行编码。
根据在图11和图12中公开的编码设备和编码设备的操作方法，编码设备可以生成包括针对当前块的仿射MVP候选的仿射MVP候选列表(S1100)，基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP(S1110)，推导针对当前块的各个CP的CPMV(S1120)，基于各个CP的CPMV和CPMVP推导针对当前块的CPMVD(S1130)，基于CPMV推导针对当前块的预测样本(S1140)，基于推导出的预测样本推导针对当前块的残差样本(S1150)，以及对关于推导出的CPMVD的信息和关于残差样本的残差信息进行编码(S1160)。也就是说，可以通过发信号通知关于用于仿射运动预测的仿射MVP候选列表的信息来增加图像编码效率。
图13是示出根据实施方式的解码设备的操作方法的流程图，图14是示出根据实施方式的解码设备的配置的框图。
图13中公开的每个步骤可以由图2中公开的解码设备200执行。更具体地，S1300可以由图2中公开的熵解码器210执行，S1310至S1350可以由图2中公开的预测器230执行，并且S1360可以由图2中公开的加法器240执行。此外，根据S1300至S1360的操作是基于以上在图3至图10中描述的一些内容。因此，将省略或简要说明与上述图2至图10中的内容重复的特定内容。
根据实施方式的解码设备可以包括熵解码器210、预测器230和加法器240。然而，在某些情况下，图14所示的所有组件可以不是解码设备的必要组件，并且解码设备可以由比图14所示的组件更多或更少的组件来实现。
在根据实施方式的解码设备中，熵解码器210、预测器230和加法器240可以由单独的芯片实现，或者至少两个或更多个组件可以由单个芯片实现。
根据实施方式的解码设备可以从比特流获得运动预测信息(S1300)。更具体地，解码设备的熵解码器210可以从比特流获得运动预测信息。
根据实施方式的解码设备可以生成包括针对当前块的仿射运动矢量预测值(MVP)候选的仿射MVP候选列表(S1310)。更具体地，解码设备的预测器230可以生成包括当前块的仿射MVP候选的仿射MVP候选列表。
在一实施方式中，仿射MVP候选可以包括第一仿射MVP候选和第二仿射MVP候选，第一仿射MVP候选可以从包括当前块的左下角相邻块和左相邻块的左块组推导，并且第二仿射MVP候选可以从包括当前块的右上角相邻块、上相邻块和左上角相邻块的上块组推导。在这方面，第一仿射MVP候选可以基于包括在左块组中的第一块来推导，第一块可以基于仿射运动预测而编码，第二仿射MVP候选可以基于包括在上块组中的第二块来推导，并且第二块可以基于仿射运动预测而编码。
在另一实施方式中，仿射MVP候选可以包括第一仿射MVP候选和第二仿射MVP候选，第一仿射MVP候选可以从包括当前块的左下角相邻块、第一左相邻块和第二左相邻块的左块组推导，并且第二仿射MVP候选可以从包括当前块的右上角相邻块、第一上相邻块的上块组、第二上相邻块和左上角相邻块推导。在这方面，第一仿射MVP候选可以基于包括在左块组中的第一块来推导，第一块可以基于仿射运动预测而编码，第二仿射MVP候选可以基于包括在上块组中的第二块来推导，并且第二块可以基于仿射运动预测而编码。
在又一实施方式中，仿射MVP候选可以包括第一仿射MVP候选、第二仿射MVP候选及第三仿射MVP候选，第一仿射MVP候选可以从包括当前块的左下角相邻块和第一左相邻块的左下块组推导，第二仿射MVP候选可以从包括当前块的右上角相邻块和第一上相邻块的右上块组推导，并且第三仿射MVP候选可以从包括当前块的左上角相邻块、第二上相邻块和第二左相邻块的左上块组推导。在这方面，第一仿射MVP候选可以基于包括在左下块组中的第一块来推导，第一块可以基于仿射运动预测而编码，第二仿射MVP候选可以基于包括在右上块组中的第二块来推导，第二块可以基于仿射运动预测而编码，第三仿射MVP候选可以基于包括在左上块组中的第三块来推导，并且第三块可以基于仿射运动预测而编码。
根据实施方式的解码设备可以基于包括在仿射MVP候选列表中的仿射MVP候选中的一个来推导针对当前块的各个CP的CPMVP(S1320)。更具体地，解码设备的预测器230可以基于包括在仿射MVP候选列表中的仿射MVP候选中的一个仿射MVP候选来推导当前块的各个CP的CPMVP。
在一个实施方式中，可以基于包括在运动预测信息中的仿射MVP候选索引从仿射MVP候选中选择一个仿射MVP候选。
根据实施方式的解码设备可以基于包括在所获得的运动预测信息中的关于针对每个CP的CPMVD的信息来推导针对当前块的CP的CPMVD(S1330)。更具体地，解码设备的预测器230可以基于包括在所获得的运动预测信息中的关于针对每个CP的CPMVD的信息来推导针对当前块的CP的CPMVD。
根据实施方式的解码设备可以基于CPMVP和CPMVD来推导针对当前块的CP的CPMV(S1340)。更具体地，解码设备的预测器230可以基于CPMVP和CPMVD来推导针对当前块的CP的CPMV。
根据实施方式的解码设备可以基于CPMV推导针对当前块的预测样本(S1350)。更具体地，解码设备的预测器230可以基于CPMV推导针对当前块的预测样本。
根据实施方式的解码设备可以基于推导出的预测样本生成针对当前块的重构样本(S1360)。更具体地，解码设备的加法器240可以基于推导出的预测样本生成针对当前块的重构样本。
在实施方式中，运动预测信息可以包括关于指示是否存在基于仿射运动预测而编码的当前块的相邻块的上下文索引的信息。
在实施方式中，针对以上在第一步骤的描述中描述的m的值是1，并且以上在表1和表2的描述中描述的n的值是2的情况，可以构造用于编码和解码用于指示最佳仿射MVP候选的索引信息的CABAC上下文模型。当仿射编码块存在于当前块的邻近处时，可以基于以上参照图7至图10描述的仿射运动模型来确定当前块的仿射MVP候选，但当仿射编码块不存在于当前块的邻近处时，可以应用本实施方式。由于当基于仿射编码块确定仿射MVP候选时仿射MVP候选具有高可靠性，因此可以设计上下文模型，以使得其可以在基于仿射编码块确定仿射MVP候选的情况与以不同方式确定仿射MVP候选的情况之间进行区分。在这种情况下，可以将索引0分配给基于仿射编码块确定的仿射MVP候选。根据本实施方式的CABAC上下文索引在下面的式5中示出。
[式5]
Figure BDA0002751314230000231
可以如下表3所示确定根据CABAC上下文索引的初始值，并且CABAC上下文索引和初始值需要满足下面式6的条件。
[表3]
ctx_idx_for_aamvp_idx 0 1
Init_val N<sub>0</sub> N<sub>1</sub>
[式6]
p(aamvp_idx＝0|init_val＝N0)＞p(1|N0)
p(aamvp_idx＝0|init_val＝N0)＞p(0|N1)
p(aamvp_idx＝0|init_val＝N0)＞p(1|N1)
根据图13和图14的解码设备以及解码设备的操作方法，解码设备可以从比特流获得运动预测信息(S1300)，生成包括针对当前块的仿射MVP候选的仿射MVP候选列表(S1310)，基于包括在仿射MVP候选列表中的仿射MVP候选中的一个推导针对当前块的各个CP的CPMVP(S1320)，基于包括在所获得的运动预测信息中的关于针对各个CP的CPMVD的信息来推导针对当前块的CP的CPMVD(S1330)，基于CPMVP和CPMVD来推导针对当前块的CP的控制点运动矢量(CPMV)(S1340)，基于CPMV来推导针对当前块的预测样本(S1350)，并且基于所推导出的预测样本生成针对当前块的重构样本(S1360)。也就是说，可以通过发信号通知关于用于仿射运动预测的仿射MVP候选列表的信息来增加图像编码效率。
此外，根据本说明书的上述实施方式的方法针对图像和视频压缩，可以应用于编码设备和解码设备，可以应用于生成比特流的设备和接收比特流的设备，并且无论终端是否通过显示装置输出，都可以应用。例如，可以由具有编码设备的终端生成图像作为压缩数据，该压缩数据可以具有比特流形式，并且比特流可以存储在各种类型的存储装置中，并且通过网络进行流传输并传送到具有解码设备的终端。当终端配备有显示装置时，解码图像可以显示在显示装置上，或者比特流数据可以简单地存储在终端中。
根据本公开的上述方法可以实现为软件形式，并且根据本公开的编码设备和/或解码设备可以包括在诸如TV、计算机、智能电话、机顶盒、显示装置等的用于图像处理的装置中。
上述部件、模块或单元中的每一个可以是执行存储在存储器(或存储单元)中的连续处理的处理器或硬件部分。上述实施方式中描述的每个步骤可以由处理器或硬件部分执行。上述实施方式中的每个模块/块/单元可以作为硬件/处理器操作。另外，本公开所提出的方法可以用代码来实现。该代码可以被写入可以由处理器读取的存储介质，并因此可以由该设备提供的处理器读取。
在上述实施方式中，借助于一系列步骤或框图基于流程图来解释方法，但是本公开不限于步骤的顺序，并且某个步骤可以按与上述不同的顺序发生，或者与上述其他步骤同时发生。另外，本领域的技术人员可以理解，流程图中示出的步骤不是排他性的，并且在不影响本公开的范围的情况下，可以并入另一步骤或者可以去除流程图的一个或更多个步骤。
当用软件实现本公开中的实施方式时，可以用执行上述功能的模块(进程、功能等)来实现上述方法。这些模块可以存储在存储器中并且可以由处理器执行。存储器可以在处理器内部或外部，并且可以以各种熟知的方式连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片集、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存存储器、存储卡、存储介质和/或其它存储装置。

Claims (15)

1.一种由解码设备执行的图片解码方法，该方法包括以下步骤：
从比特流中获得运动预测信息；
生成包括针对当前块的多个仿射运动矢量预测值MVP候选的仿射MVP候选列表；
基于包括在所述仿射MVP候选列表中的多个仿射MVP候选中的一个仿射MVP候选来针对所述当前块的各个控制点CP推导控制点运动矢量预测值CPMVP；
基于所获得的运动预测信息中包括的关于各个CP的控制点运动矢量差CPMVD的信息来推导针对所述当前块的CP的所述CPMVD；
基于所述CPMVP和所述CPMVD推导针对所述当前块的所述CP的控制点运动矢量CPMV；
基于所述CPMV推导针对所述当前块的预测样本；以及
基于推导出的预测样本生成针对所述当前块的重构样本。
2.根据权利要求1所述的图片解码方法，其中：
所述多个仿射MVP候选包括第一仿射MVP候选和第二仿射MVP候选；
所述第一仿射MVP候选是从包括所述当前块的左下角相邻块和左相邻块的左块组推导出的；并且
所述第二仿射MVP候选是从包括所述当前块的右上角相邻块、上相邻块和左上角相邻块的上块组推导出的。
3.根据权利要求2所述的图片解码方法，其中：
所述第一仿射MVP候选是基于包括在所述左块组中的第一块推导出的，并且所述第一块基于仿射运动预测而被编码；并且
所述第二仿射MVP候选是基于包括在所述上块组中的第二块推导出的，并且所述第二块基于仿射运动预测而被编码。
4.根据权利要求1所述的图片解码方法，其中：
所述多个仿射MVP候选包括第一仿射MVP候选和第二仿射MVP候选；
所述第一仿射MVP候选是从包括所述当前块的左下角相邻块、第一左相邻块和第二左相邻块的左块组推导出的；并且
所述第二仿射MVP候选是从包括所述当前块的右上角相邻块、第一上相邻块、第二上相邻块和左上角相邻块的上块组推导出的。
5.根据权利要求4所述的图片解码方法，其中：
所述第一仿射MVP候选是基于包括在所述左块组中的第一块推导出的，并且所述第一块基于仿射运动预测而被编码；并且
所述第二仿射MVP候选是基于包括在所述上块组中的第二块推导出的，并且所述第二块基于仿射运动预测而被编码。
6.根据权利要求1所述的图片解码方法，其中：
所述多个仿射MVP候选包括第一仿射MVP候选、第二仿射MVP候选和第三仿射MVP候选；
所述第一仿射MVP候选是从包括所述当前块的左下角相邻块和第一左相邻块的左下块组推导出的；
所述第二仿射MVP候选是从包括所述当前块的右上角相邻块和第一上相邻块的右上块组推导出的；并且
所述第三仿射MVP候选是从包括所述当前块的左上角相邻块、第二上相邻块和第二左相邻块的左上块组推导出的。
7.根据权利要求6所述的图片解码方法，其中：
所述第一仿射MVP候选是基于包括在所述左下块组中的第一块推导出的，并且所述第一块基于仿射运动预测而被编码；
所述第二仿射MVP候选是基于包括在所述右上块组中的第二块推导出的，并且所述第二块基于仿射运动预测而被编码；并且
所述第三仿射MVP候选是基于包括在所述左上块组中的第三块推导出的，并且所述第三块基于仿射运动预测而被编码。
8.根据权利要求1所述的图片解码方法，其中，基于包括在所述运动预测信息中的仿射MVP候选索引从所述多个仿射MVP候选中选择所述仿射MVP候选。
9.根据权利要求1所述的图片解码方法，其中，所述运动预测信息包括关于上下文索引的信息，所述上下文索引指示是否存在基于仿射运动预测而编码的针对所述当前块的相邻块。
10.一种由编码设备执行的图片编码方法，该方法包括以下步骤：
生成包括针对当前块的多个仿射MVP候选的仿射MVP候选列表；
基于包括在所述仿射MVP候选列表中的所述多个仿射MVP候选中的一个仿射MVP候选来推导针对所述当前块的各个CP的CPMVP；
推导针对所述当前块的所述各个CP的CPMV；
基于针对各个CP的所述CPMV和所述CPMVP推导针对所述当前块的所述CP的CPMVD；
基于所述CPMV推导针对所述当前块的预测样本；
基于推导出的预测样本推导针对所述当前块的残差样本；以及
对关于推导出的CPMVD的信息和关于所述残差样本的残差信息进行编码。
11.根据权利要求10所述的图片编码方法，其中：
所述多个仿射MVP候选包括第一仿射MVP候选和第二仿射MVP候选；
所述第一仿射MVP候选是从包括所述当前块的左下角相邻块和左相邻块的左块组推导出的；并且
所述第二仿射MVP候选是从包括所述当前块的右上角相邻块、上相邻块和左上角相邻块的上块组推导出的。
12.根据权利要求11所述的图片编码方法，其中：
所述第一仿射MVP候选是基于包括在所述左块组中的第一块推导出的，并且所述第一块基于仿射运动预测而被编码；并且
所述第二仿射MVP候选是基于包括在所述上块组中的第二块推导出的，并且所述第二块基于仿射运动预测而被编码。
13.根据权利要求10所述的图片编码方法，其中：
所述多个仿射MVP候选包括第一仿射MVP候选和第二仿射MVP候选；
所述第一仿射MVP候选是从包括所述当前块的左下角相邻块、第一左相邻块和第二左相邻块的左块组推导出的；并且
所述第二仿射MVP候选是从包括所述当前块的右上角相邻块、第一上相邻块、第二上相邻块和左上角相邻块的上块组推导出的。
14.根据权利要求13所述的图片编码方法，其中：
所述第一仿射MVP候选是基于包括在所述左块组中的第一块推导出的，并且所述第一块基于仿射运动预测而被编码；并且
所述第二仿射MVP候选是基于包括在所述上块组中的第二块推导出的，并且所述第二块基于仿射运动预测而被编码。
15.一种执行图片解码的解码设备，该设备包括：
熵解码器，所述熵解码器从比特流中获得运动预测信息；
预测器，所述预测器生成包括针对当前块的仿射运动矢量预测值MVP候选的仿射MVP候选列表，基于包括在所述仿射MVP候选列表中的仿射MVP候选中的一个推导针对所述当前块的各个CP的CPMVP，基于包括在所获得的运动预测信息中的关于针对所述各个CP的CPMVD的信息来推导针对所述当前块的所述CP的CPMVD，基于所述CPMVP和所述CPMVD来推导针对所述当前块的所述CP的CPMV，并且基于所述CPMV来推导针对所述当前块的预测样本；以及
加法器，所述加法器基于推导出的预测样本来生成针对所述当前块的重构样本。
CN201980029205.3A 2018-04-01 2019-04-01 基于仿射运动预测的图像编码方法及其装置 Active CN112042198B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202310901139.2A CN116684590A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质
CN202310904885.7A CN116684639A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310910010.8A CN116781929A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310904249.4A CN116684638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862651244P 2018-04-01 2018-04-01
US62/651,244 2018-04-01
PCT/KR2019/003816 WO2019194507A1 (ko) 2018-04-01 2019-04-01 어파인 움직임 예측에 기반한 영상 코딩 방법 및 그 장치

Related Child Applications (4)

Application Number Title Priority Date Filing Date
CN202310904885.7A Division CN116684639A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310910010.8A Division CN116781929A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310901139.2A Division CN116684590A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质
CN202310904249.4A Division CN116684638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质

Publications (2)

Publication Number Publication Date
CN112042198A true CN112042198A (zh) 2020-12-04
CN112042198B CN112042198B (zh) 2023-08-08

Family

ID=68101360

Family Applications (5)

Application Number Title Priority Date Filing Date
CN202310910010.8A Pending CN116781929A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN201980029205.3A Active CN112042198B (zh) 2018-04-01 2019-04-01 基于仿射运动预测的图像编码方法及其装置
CN202310904249.4A Pending CN116684638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质
CN202310904885.7A Pending CN116684639A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310901139.2A Pending CN116684590A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202310910010.8A Pending CN116781929A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202310904249.4A Pending CN116684638A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质
CN202310904885.7A Pending CN116684639A (zh) 2018-04-01 2019-04-01 图像编码/解码设备和图像数据发送设备
CN202310901139.2A Pending CN116684590A (zh) 2018-04-01 2019-04-01 图像编码/解码方法、视频数据发送方法和存储介质

Country Status (6)

Country Link
US (3) US11323696B2 (zh)
EP (1) EP3761644A4 (zh)
JP (3) JP2021517797A (zh)
KR (3) KR20230124767A (zh)
CN (5) CN116781929A (zh)
WO (1) WO2019194507A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117294837A (zh) 2018-04-02 2023-12-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
WO2020050281A1 (ja) * 2018-09-06 2020-03-12 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
WO2020233662A1 (en) 2019-05-21 2020-11-26 Beijing Bytedance Network Technology Co., Ltd. Syntax signaling for optical-flow based inter coding
EP4032290A4 (en) 2019-10-18 2022-11-30 Beijing Bytedance Network Technology Co., Ltd. SYNTAX CONSTRAINTS IN REPORTING SUBPICTURE PARAMETER SETS
CN115280774A (zh) * 2019-12-02 2022-11-01 抖音视界有限公司 在仿射模式下与运动向量差分merge
WO2024017224A1 (en) * 2022-07-22 2024-01-25 Mediatek Inc. Affine candidate refinement

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105163116A (zh) * 2015-08-29 2015-12-16 华为技术有限公司 图像预测的方法及设备
CN106537915A (zh) * 2014-07-18 2017-03-22 联发科技（新加坡）私人有限公司 用于视频编码的运动向量导出的方法
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5716437B2 (ja) * 2011-02-08 2015-05-13 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
KR102081213B1 (ko) * 2015-03-10 2020-02-25 후아웨이 테크놀러지 컴퍼니 리미티드 화상 예측 방법 및 관련 장치
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN107925758B (zh) * 2015-08-04 2022-01-25 Lg 电子株式会社 视频编译系统中的帧间预测方法和设备
CN111526360A (zh) * 2016-02-06 2020-08-11 华为技术有限公司 图像编解码方法及装置
KR102584349B1 (ko) * 2016-03-28 2023-10-04 로즈데일 다이나믹스 엘엘씨 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US10448010B2 (en) * 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20190116376A1 (en) * 2017-10-12 2019-04-18 Qualcomm Incorporated Motion vector predictors using affine motion model in video coding
US11451816B2 (en) * 2018-04-24 2022-09-20 Mediatek Inc. Storage of motion vectors for affine prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106537915A (zh) * 2014-07-18 2017-03-22 联发科技（新加坡）私人有限公司 用于视频编码的运动向量导出的方法
CN105163116A (zh) * 2015-08-29 2015-12-16 华为技术有限公司 图像预测的方法及设备
WO2017118411A1 (en) * 2016-01-07 2017-07-13 Mediatek Inc. Method and apparatus for affine inter prediction for video coding system
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JAEHO LEE, JAEHYUN LIM, SEUNG-HWAN KIM: "A unified condition for affine merge and affine inter mode JVET-E0039", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 5TH MEETING: GENEVA, CH *
YI-WEN CHEN, WEI-JUNG CHIEN, JIANLE CHEN 等: "Improved Affine Motion Vector Coding JVET-D0128", JOINT VIDEO EXPLORATION TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 4TH MEETING: CHENGDU, CN *

Also Published As

Publication number Publication date
JP2024019534A (ja) 2024-02-09
US20220224889A1 (en) 2022-07-14
KR102568879B1 (ko) 2023-08-21
EP3761644A4 (en) 2021-01-20
KR20220143964A (ko) 2022-10-25
CN116684638A (zh) 2023-09-01
JP2023010845A (ja) 2023-01-20
JP7404488B2 (ja) 2023-12-25
KR102455561B1 (ko) 2022-10-17
CN116684590A (zh) 2023-09-01
US20230209044A1 (en) 2023-06-29
KR20230124767A (ko) 2023-08-25
CN116781929A (zh) 2023-09-19
KR20200108084A (ko) 2020-09-16
US11323696B2 (en) 2022-05-03
WO2019194507A1 (ko) 2019-10-10
EP3761644A1 (en) 2021-01-06
CN112042198B (zh) 2023-08-08
CN116684639A (zh) 2023-09-01
US11611744B2 (en) 2023-03-21
US20210021813A1 (en) 2021-01-21
JP2021517797A (ja) 2021-07-26

Similar Documents

Publication Publication Date Title
US11750834B2 (en) Method and apparatus for inter prediction in video coding system
US11122290B2 (en) Inter prediction method and apparatus in video coding system
CN108370441B (zh) 在图像编译系统中用于系数引起的帧内预测的方法和装置
US11570452B2 (en) Image coding method on basis of secondary transform and device therefor
CN112042198B (zh) 基于仿射运动预测的图像编码方法及其装置
US10721479B2 (en) Intra prediction method and apparatus in image coding system
CN110546952A (zh) 图像编码系统中的变换方法和用于该变换方法的设备
KR20180048739A (ko) 비디오 코딩 시스템에서 레지듀얼 신호 코딩 방법 및 장치
US11418803B2 (en) Intra-prediction-based image coding method and device therefor
US10778985B2 (en) Method and apparatus for intra prediction in video coding system
US11838546B2 (en) Image decoding method and apparatus relying on intra prediction in image coding system
US20230300342A1 (en) Image coding method based on motion vector and apparatus therefor
CN112204980A (zh) 视频编码系统中用于帧间预测的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240408

Address after: No. 18 Wusha Haibin Road, Chang'an Town, Dongguan City, Guangdong Province

Patentee after: GUANGDONG OPPO MOBILE TELECOMMUNICATIONS Corp.,Ltd.

Country or region after: China

Address before: Seoul, South Kerean

Patentee before: LG ELECTRONICS Inc.

Country or region before: Republic of Korea