CN112204980A - 视频编码系统中用于帧间预测的方法和装置 - Google Patents

视频编码系统中用于帧间预测的方法和装置 Download PDF

Info

Publication number
CN112204980A
CN112204980A CN201980036473.8A CN201980036473A CN112204980A CN 112204980 A CN112204980 A CN 112204980A CN 201980036473 A CN201980036473 A CN 201980036473A CN 112204980 A CN112204980 A CN 112204980A
Authority
CN
China
Prior art keywords
block
candidate
affine
motion vector
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980036473.8A
Other languages
English (en)
Other versions
CN112204980B (zh
Inventor
李在镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TCL King Electrical Appliances Huizhou Co Ltd
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310815502.9A priority Critical patent/CN116708819A/zh
Priority to CN202310814200.XA priority patent/CN116708817A/zh
Priority to CN202310814349.8A priority patent/CN116708818A/zh
Publication of CN112204980A publication Critical patent/CN112204980A/zh
Application granted granted Critical
Publication of CN112204980B publication Critical patent/CN112204980B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种由解码装置执行视频编码的方法，包括以下步骤：生成当前块的运动信息候选列表；选择包括在运动信息候选列表中的候选中的一个；基于选择的候选导出当前块的控制点运动矢量(CPMV)；基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量；基于运动矢量导出预测块；以及基于预测块重构当前图片，其中，运动信息候选列表包括继承仿射候选，基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选，并且生成继承仿射候选直到预定的最大数量。

Description

视频编码系统中用于帧间预测的方法和装置
技术领域
本公开涉及视频编码技术，并且更具体地，涉及视频处理系统中使用继承仿射候选的帧间预测方法和装置。
背景技术
对于诸如高清晰度(HD)图像和超高清(UHD)图像之类的高分辨率且高质量的图像的需求在各个领域都在增加。因为图像数据具有高分辨率和高质量，所以要发送的信息量或比特量相对于传统图像数据增加。因此，当使用诸如传统有线/无线宽带线的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种用于有效地发送、存储和再现高分辨率和高质量的图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开的一个目的是提供一种增强视频编码效率的方法和装置。
本公开的另一目的是提供一种视频编码系统中的帧间预测方法和装置。
本公开的又一目的是提供一种导出包括继承仿射候选的运动信息候选列表的方法和装置。
本公开的又一目的是提供一种基于空间邻近块导出继承仿射候选的方法和装置。
本公开的又一目的是提供一种对空间邻近块进行分组的方法和装置。
本公开的又一目的是提供一种基于组导出继承仿射候选的方法和装置。
技术方案
本公开的一个示例性实施方式提供一种由解码装置执行的视频解码方法。该解码方法包括：生成当前块的运动信息候选列表，选择包括在运动信息候选列表中的候选中的一个，基于选择的候选导出当前块的控制点运动矢量(CPMV)，基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量，基于子块单元运动矢量或样本单元运动矢量导出预测块，以及基于预测块重构当前图片，其中运动信息候选列表包括继承仿射候选，基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选，并且生成继承仿射候选直到预定的最大数量。
本公开的另一示例性实施方式提供一种由编码装置执行的视频编码方法。该编码方法包括：生成当前块的运动信息候选列表，选择包括在运动信息候选列表中的候选中的一个，基于选择的候选导出当前块的控制点运动矢量(CPMV)，基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量，基于子块单元运动矢量或样本单元运动矢量导出预测块，基于预测块生成当前块的残差块，以及通过对包括关于残差块的信息的图像信息进行编码来输出比特流，其中，运动信息候选列表包括继承仿射候选，基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选，并且生成继承仿射候选直到预定的最大数量。
本公开的又一示例性实施方式提供一种用于执行视频解码的解码装置。该解码装置包括：预测器，其用于生成当前块的运动信息候选列表，选择包括在运动信息候选列表中的候选中的一个，基于选择的候选导出当前块的控制点运动矢量(CPMV)，基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量，并且基于运动矢量导出预测块；以及重构器，其用于基于预测块重构当前图片，其中运动信息候选列表包括继承仿射候选，基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选，并且生成继承仿射候选直到预定的最大数量。
本公开的又一示例性实施方式提供一种用于执行视频编码的编码装置。该编码装置包括：预测器，其用于生成当前块的运动信息候选列表，选择包括在运动信息候选列表中的候选中的一个，基于选择的候选导出当前块的控制点运动矢量(CPMV)，基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量，并且基于子块单元运动矢量或样本单元运动矢量导出预测块；减法器，其用于基于预测块生成当前块的残差块；以及熵编码器，其用于通过对包括关于残差块的信息的图像信息进行编码来输出比特流，其中，运动信息候选列表包括继承仿射候选，基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选，并且生成继承仿射候选直到预定的最大数量。
技术效果
本公开可以通过继承仿射候选执行帧间预测，从而提高总体编码效率。
本公开可以配置包括继承仿射候选的运动信息候选列表，从而提高帧间预测的性能和效率。
附图说明
图1是示意性地图示根据本公开的示例性实施方式的视频编码装置的框图。
图2是示意性地图示根据本公开的示例性实施方式的视频解码装置的框图。
图3示例性地图示根据本公开的示例性实施方式的内容流传输系统。
图4示例性地图示根据本公开的示例性实施方式的仿射运动模型。
图5a和图5b示例性地图示根据本公开的示例性实施方式的4参数仿射模型和6参数仿射模型。
图6示例性地图示以子块为单位确定根据本公开的示例性实施方式的仿射运动矢量场的情况。
图7示例性地图示根据本公开的示例性实施方式的仿射运动预测方法的流程图。
图8示例性地图示根据本公开的示例性实施方式的用于检查邻近仿射块的邻近块的位置。
图9示例性地图示根据本公开的示例性实施方式的使用两个组以检查邻近仿射块的情况。
图10示例性地图示根据本公开的示例性实施方式的使用三个组以检查邻近仿射块的情况。
图11示意性地图示根据本公开的示例性实施方式的编码装置的视频编码方法。
图12示意性地图示根据本公开的示例性实施方式的解码装置的视频解码方法。
具体实施方式
由于本公开可以以各种形式修改并且可以具有各种示例性实施方式，因此，将详细描述特定的示例性实施方式并且在附图中图示。然而，这并不旨在将本公开限制为特定的示例性实施方式。本说明书中使用的术语仅用于描述特定的示例性实施方式，而不旨在限制本公开的技术精神。除非上下文另外明确指出，否则单数的表述包括复数的表述。在本说明书中，诸如“包括”和“具有”的术语旨在指示存在本说明书中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
此外，为了便于解释视频编码装置/解码装置中的不同的特定功能，独立地绘制在本公开中描述的附图中的各个元件，但这并不表示各个元件由独立硬件或独立软件实现。例如，可以将两个或更多个对应的元件组合以形成单个元件，并且可以将一个元件划分为多个元件。在不脱离本公开的概念的情况下，组合和/或划分各个元件的实施方式也属于本公开。
在本公开中，术语“/”和“，”应解释为指示“和/或”。例如，表达“A/B”可以意指“A和/或B”，而“A，B”可以意指“A和/或B”。此外，“A/B/C”可以意指“A、B和/或C中的至少一个”。另外，“A、B、C”可以意指“A、B和/或C中的至少一个”。
此外，在本公开中，术语“或”应解释为指示“和/或”。例如，表达“A或B”可以包括1)仅A，2)仅B和/或3)A和B两者。换句话说，本文档中的术语“或”可以解释为指示“另外或可替代地”。
本公开可以按各种形式进行修改，并且将在附图中描述和例示其特定实施方式。然而，这些实施方式并不旨在限制本公开。以下描述中使用的术语仅仅用于描述特定的实施方式，而不旨在限制本公开。单数的表述包括复数的表述，只要它被清楚不同地读出即可。诸如“包括”和“具有”这样的术语旨在指示存在以下描述中使用的特征、数字、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数字、步骤、操作、元件、组件或其组合的可能性。
此外，为了便于解释不同的特定功能，独立地绘制本公开中描述的附图中的元件，但这并不表示这些元件由独立硬件或独立软件实现。例如，可以组合元件中的两个或更多个元件以形成单个元件，或者可以将一个元件划分成多个元件。在不脱离本公开的概念的情况下，组合和/或划分元件的实施方式也属于本公开。
以下描述可以应用于处理视频、图像或图片的技术领域。例如，以下描述中公开的方法或示例性实施方式可以与通用视频编码(VVC)标准(ITU-T H.266建议书)、VVC之后的下一代视频/图像编码标准、或VVC之前的标准(例如，高效视频编码(HEVC)标准(ITU-TH.265建议书)等)的公开内容相关联。
下文中，将参考附图详细地描述本实施方式的示例。另外，在整个附图中，类似的附图标记用于指示类似的元件，并且将省略对类似元件的相同描述。
在本公开中，视频可以意指根据时间推移的一系列图像的集合。通常，图片意指表示特定时间的图像的单元，切片是构成图片的一部分的单元。一个图片可以由多个切片构成，并且术语图片和切片可以根据场合需要彼此混合。
像素或画素(pel)可以意指构成一个图片(或图像)的最小单元。另外，“样本”可以被用作与像素对应的术语。样本通常可以表示像素或像素的值，可以仅表示亮度分量的像素(像素值)，并且可以仅表示色度分量的像素(像素值)。
单元指示图像处理的基本单元。单元可以包括特定区域和与该区域相关的信息中的至少一个。可选地，单元可以与诸如块、区域等的术语混合。在典型情况下，M×N块可以表示以M列和N行排列的样本或变换系数的集合。
图1是简要地图示根据本公开的实施方式的编码装置的结构的框图。在下文中，编码/解码装置可以包括视频编码/解码装置和/或图像编码/解码装置，并且视频编码/解码装置可以用作包括图像编码/解码装置的概念，或者图像编码/解码装置可以用作包括视频编码/解码装置的概念。
参考图1，视频编码装置100可以包括图片分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可以包括减法器121、变换器122、量化器123、重排器124、反量化器125、逆变换器126。
图片分割器105可以将输入图片分离成至少一个处理单元。
在一个示例中，处理单元可以被称为编码单元(CU)。在这种情况下，可以根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地分离出编码单元。例如，可以基于四叉树结构、二叉树结构和/或三叉树结构将一个编码单元分离为更深深度的多个编码单元。在这种情况下，例如，可以首先应用四叉树结构，并且可以稍后应用二叉树结构和三叉树结构。另选地，可以首先应用二叉树结构/三叉树结构。可以基于不再进一步被分离的最终编码单元执行根据本实施方式的编码过程。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而用作最终编码单元，或者编码单元可以根据需要递归地分离成较低深度的编码单元并且具有最佳尺寸的编码单元可以用作最终编码单元。这里，编码过程可以包括诸如预测、变换和重构这样的过程，这将在后面描述。
在另一示例中，处理单元可以包括编码单元(CU)、预测单元(PU)或变换器(TU)。可以根据四叉树结构将编码单元从最大编码单元(LCU)分离为更深深度的编码单元。在这种情况下，最大编码单元可以根据图像特性基于编码效率等而直接用作最终编码单元，或者编码单元可以根据需要递归地分离为更深深度的编码单元，并且具有最佳尺寸的编码单元可以用作最终编码单元。当设置了最小编码单元(SCU)时，编码单元可以不被分离为比最小编码单元小的编码单元。这里，最终编码单元是指被分割或分离成预测单元或变换器的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。这里，预测单元可以被划分成子块。可以根据四叉树结构从编码单元划分出变换器，并且变换器可以是导出变换系数的单元和/或从变换系数导出残差信号的单元。下文中，编码单元可以被称为编码块(CB)，预测单元可以被称为预测块(PB)，并且变换器可以被称为变换块(TB)。预测块或预测单元可以是指图片中的块的形式的特定区域，并且包括预测样本的阵列。另外，变换块或变换器可以是指图片中的块的形式的特定区域，并且包括变换系数或残差样本的阵列。
预测器110可以对处理目标块(下文中，它可以表示当前块或残差块)执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可以确定对当前块是应用帧内预测还是应用帧间预测。例如，预测器110可以确定以CU为单位应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可以基于当前块所属的图片(下文中，当前图片)中的当前块之外的参考样本来导出当前块的预测样本。在这种情况下，预测器110可以基于当前块的邻近参考样本的平均值或内插来导出预测样本(情况(i))，或者可以基于当前块的邻近参考样本当中的在相对于预测样本的特定(预测)方向中存在的参考样本来导出预测样本(情况(ii))。情况(i)可以被称为非定向模式或非角度模式，并且情况(ii)可以被称为定向模式或角度模式。在帧内预测中，预测模式可以包括作为示例的33个定向模式和至少两个非定向模式。非定向模式可以包括DC模式和平面模式。预测器110可以通过使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可以基于参考图片上的由运动矢量指定的样本来导出针对当前块的预测样本。预测器110可以通过应用跳过模式、合并模式和运动矢量预测(MVP)模式中的任何一个来导出针对当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可以使用邻近块的运动信息作为当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动矢量被用作运动矢量预测器(predictor)，以导出当前块的运动矢量。
在帧间预测的情况下，邻近块可以包括存在于当前图片中的空间邻近块和存在于参考图片中的时间邻近块。包括时间邻近块的参考图片也可以被称为并置图片(colPic)。运动信息可以包括运动矢量和参考图片索引。诸如预测模式信息和运动信息之类的信息可以被(熵)编码，并且然后作为比特流的形式输出。
当在跳过模式和合并模式中使用时间邻近块的运动信息时，参考图片列表中的最高图片可以用作参考图片。可以基于当前图片和对应的参考图片之间的图片顺序号(POC)差来对齐包括在参考图片列表中的参考图片。POC对应于显示顺序，并且可以与编码顺序区分开。
减法器121生成残差样本，该残差样本是原始样本和预测样本之间的差。如果应用跳过模式，则如上所述可以不生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可以基于对应变换块的尺寸和被应用于与变换块在空间上交叠的预测块或编码块的预测模式来执行变换。例如，如果帧内预测被应用于与变换块交叠的预测块或编码块并且变换块是4×4残差阵列，则可以使用离散正弦变换(DST)变换核来变换残差样本，并且在其他情况下，使用离散余弦变换(DCT)变换核来变换残差样本。
量化器123可以量化变换系数以生成经量化的变换系数。
重排器124重新排列经量化的变换系数。重排器124可以通过系数扫描方法将块形式的经量化的变换系数重新排列成一维矢量。尽管重排器124被描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可以对经量化的变换系数执行熵编码。熵编码可以包括编码方法，例如，指数哥伦布、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等。除了经量化的变换系数之外，熵编码器130还可以根据熵编码或根据预先配置的方法一起或单独地对视频重构所需的信息(例如，语法元素值等)执行编码。可以以比特流形式以网络抽象层(NAL)为单位发送或存储熵编码信息。比特流可以经由网络发送或存储在数字存储介质中。这里，网络可以包括广播网络或通信网络，数字存储介质可以包括诸如USB、SD、CD、DVD、蓝光、HDD、SDD等的各种存储介质。
反量化器125对由量化器123量化的值(变换系数)进行反量化，并且逆变换器126对由反量化器125反量化的值进行逆变换以生成残差样本。
加法器140将残差样本添加到预测样本以重构图片。可以以块为单位将残差样本添加到预测样本以生成重构块。虽然加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。另外，加法器140可以被称为重构器或重构块生成器。
滤波器150可以将去块滤波和/或样本自适应偏移应用于重构图片。可以通过去块滤波和/或样本自适应偏移来校正重构图片中的块边界处的伪像或量化时的失真。在去块滤波完成之后，可以以样本为单位应用样本自适应偏移。滤波器150可以将自适应环路滤波器(ALF)应用于重构的图片。可以将ALF应用于已经应用去块滤波和/或样本自适应偏移的重构图片。
存储器160可以存储重构图片(解码图片)或编码/解码所需的信息。这里，重构图片可以是由滤波器150滤波的重构图片。存储的重构图片可以用作用于其他图片的(帧间)预测的参考图片。例如，存储器160可以存储用于帧间预测的(参考)图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。
图2是简要地图示根据本公开的实施方式的视频/图像解码装置的框图。
在下文中，视频解码装置可以包括图像解码装置。
参考图2，视频解码装置200可以包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可以包括重排器221、反量化器222、逆变换器223。
另外，尽管并未描绘，但是视频解码装置200可以包括用于接收包括视频信息的比特流的接收器。接收器可以被配置为单独的模块，或者可以被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时，视频解码装置200可以与在视频编码装置中处理视频信息的过程关联地重构视频/图像/图片。
例如，视频解码装置200可以使用在视频编码装置中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，并且在另一示例中是编码单元、预测单元或变换器。可以根据四叉树结构和/或二叉树结构和/或三叉树结构从最大编码单元分离编码单元。
在一些情况下可以进一步使用预测单元和变换器，并且在这种情况下，预测块是从编码单元导出或分割出的块，并且可以是样本预测的单位。这里，预测单元可以被划分为子块。变换器可以根据四叉树结构从编码单元分离出，并且可以是导出变换系数的单元或从变换系数导出残差信号的单元。
熵解码器210可以解析比特流以输出视频重构或图片重构所需的信息。例如，熵解码器210可以基于诸如指数哥伦布编码、CAVLC、CABAC等的编码方法来解码比特流中的信息，并且可以输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可以接收与比特流中的每个语法元素相对应的bin，使用解码目标语法元素信息以及邻近块和解码目标块的解码信息或者在先前步骤中解码的符号/bin的信息来确定上下文模型，根据确定的上下文模型预测bin生成概率，并执行bin的算术解码以生成与每个语法元素值相对应的符号。这里，CABAC熵解码方法可以在确定上下文模型之后使用针对下一个符号/bin的上下文模型解码的符号/bin的信息来更新上下文模型。
可以将在熵解码器210中解码的信息中的关于预测的信息提供给预测器250，并且可以将已经由熵解码器210执行熵解码的残差值(即，经量化的变换系数)输入到重排器221。
重排器221可以将经量化的变换系数重新排列成二维块形式。重排器221可以执行与由编码装置执行的系数扫描相对应的重新排列。尽管重排器221被描述为单独的组件，但是重排器221可以是反量化器222的一部分。
反量化器222可以基于(反)量化参数对量化的变换系数进行反量化，以输出变换系数。在这种情况下，可以从编码装置发信号通知用于导出量化参数的信息。
逆变换器223可以对变换系数进行逆变换以导出残差样本。
预测器230可以对当前块执行预测，并且可以生成包括针对当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块，或者可以是变换块或者可以是预测块。
预测器230可以基于关于预测的信息确定是应用帧内预测还是应用帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一个的单元可以与用于生成预测样本的单元不同。另外，用于生成预测样本的单元在帧间预测和帧内预测中也可以不同。例如，可以以CU为单位确定在帧间预测和帧内预测之间将应用哪一个。此外，例如，在帧间预测中，可以通过以PU为单位确定预测模式来生成预测样本，并且在帧内预测中，可以通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可以基于当前图片中的邻近参考样本导出针对当前块的预测样本。预测器230可以通过基于当前块的邻近参考样本应用定向模式或非定向模式来导出针对当前块的预测样本。在这种情况下，可以通过使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可以基于根据运动矢量在参考图片中指定的样本来导出针对当前块的预测样本。预测器230可以使用跳过模式、合并模式和MVP模式中的一个来导出针对当前块的预测样本。这里，由视频编码装置提供的当前块的帧间预测所要求的运动信息(例如，运动矢量和关于参考图片索引的信息)可以基于关于预测的信息来获取或导出。
在跳过模式和合并模式中，邻近块的运动信息可以用作当前块的运动信息。这里，邻近块可以包括空间邻近块和时间邻近块。
预测器230可以使用可用邻近块的运动信息来构造合并候选列表，并且使用合并候选列表上的合并索引所指示的信息作为当前块的运动矢量。合并索引可以由编码装置发信号通知。运动信息可以包括运动矢量和参考图片。在跳过模式和合并模式中，当使用时间邻近块的运动信息时，参考图片列表中的首先排序的图片可以用作参考图片。
在跳过模式的情况下，与合并模式不同，不发送预测样本和原始样本之间的差(残差)。
在MVP模式的情况下，可以使用邻近块的运动矢量作为运动矢量预测器来导出当前块的运动矢量。这里，邻近块可以包括空间邻近块和时间邻近块。
当应用合并模式时，例如，可以使用经重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量来生成合并候选列表。从合并候选列表中选择的候选块的运动矢量被用作合并模式中的当前块的运动矢量。上述关于预测的信息可以包括合并索引，该合并索引指示从包括在合并候选列表中的候选块中选择的具有最佳运动矢量的候选块。这里，预测器230可以使用合并索引导出当前块的运动矢量。
当作为另一示例应用MVP(运动矢量预测)模式时，可以使用经重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量来生成运动矢量预测器候选列表。也就是说，经重构的空间邻近块的运动矢量和/或与作为时间邻近块的Col块相对应的运动矢量可以用作运动矢量候选。上述关于预测的信息可以包括指示从包括在列表中的运动矢量候选中选择的最佳运动矢量的预测运动矢量索引。这里，预测器230可以使用运动矢量索引从包括在运动矢量候选列表中的运动矢量候选中选择当前块的预测运动矢量。编码装置的预测器可以获得当前块的运动矢量与运动矢量预测器之间的运动矢量差(MVD)，对MVD进行编码并以比特流的形式输出经编码的MVD。也就是说，可以通过从当前块的运动矢量中减去运动矢量预测器来获得MVD。这里，预测器230可以获取包括在关于预测的信息中的运动矢量，并且通过将运动矢量差添加到运动矢量预测器来导出当前块的运动矢量。另外，预测器可以从上述关于预测的信息获得或导出指示参考图片的参考图片索引。
加法器240可以将残差样本添加到预测样本以重构当前块或当前图片。加法器240可以通过以块为单位将残差样本添加到预测样本来重构当前图片。当应用跳过模式时，不发送残差，并且因此预测样本可以变为重构样本。虽然加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。另外，加法器240可以被称为重构器或重构块生成器。
滤波器250可以将去块滤波、样本自适应偏移和/或ALF应用于重构图片。这里，可以在去块滤波之后以样本为单位应用样本自适应偏移。可以在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可以存储重构图片(解码图片)或解码所需的信息。这里，重构图片可以是经滤波器250滤波的重构图片。例如，存储器260可以存储用于帧间预测的图片。这里，可以根据参考图片集或参考图片列表来指定用于帧间预测的图片。重构图片可以用作其他图片的参考图片。存储器260可以按输出顺序输出重构图片。
此外，如上所述，在执行视频编码时，执行预测以提高压缩效率。因此，可以生成包括针对作为要编码的块(即，编码目标块)的当前块的预测样本的预测块。这里，预测块包括空间域(或像素域)中的预测样本。预测块在编码装置和解码装置中被以相同的方式导出，并且编码装置可以将关于原始块与预测块之间的残差的信息(残差信息)而不是原始块的原始样本值发信号通知给解码装置，从而提高图像编码效率。解码装置可以基于残差信息来导出包括残差样本的残差块，将残差块与预测块相加以生成包括重构样本的重构块，并且生成包括重构块的重构图片。
可以通过变换和量化过程来生成残差信息。例如，编码装置可以导出原始块与预测块之间的残差块，对残差块中所包括的残差样本(残差样本阵列)执行变换过程以导出变换系数，对变换系数执行量化过程以导出量化变换系数，并且可以(通过比特流)向解码装置发信号通知相关残差信息。这里，残差信息可以包括量化变换系数的值信息、位置信息、变换技术、变换核以及量化参数等。解码装置可以基于残差信息执行反量化/逆变换过程，并且可以导出残差样本(或残差块)。解码装置可以基于预测块和残差块来生成重构图片。另外，为了以后参考图片的帧间预测，编码装置还可以对量化变换系数进行反量化/逆变换以导出残差块，并且基于残差块生成重构图片。
图3示例性地图示根据本公开的实施方式的内容流传输系统。
参考图3，本公开中描述的实施方式可以在处理器、微处理器、控制器或芯片上体现和执行。例如，每个附图中所示的功能单元可以在计算机、处理器、微处理器、控制器或芯片上体现和执行。在这种情况下，可以将用于实施方式的信息(例如，关于指令的信息)或算法存储在数字存储介质中。
此外，本公开所应用的解码装置和编码装置可以包括在多媒体广播收发器、移动通信终端、家庭影院视频设备、数字影院视频设备、监视摄像机、视频聊天设备、诸如视频通信的实时通信设备、移动流设备、存储介质、便携式摄像机、视频点播(VoD)服务提供设备、顶置(OTT)视频设备、互联网流服务提供设备、三维(3D)视频设备、视频电话视频设备和医疗视频设备，并且可以用于处理视频信号或数据信号。例如，顶置(OTT)视频设备可以包括游戏机、蓝光播放器、互联网访问电视、家庭影院系统、智能手机、平板电脑、数字录像机(DVR)等等。
此外，可以将本公开所应用的处理方法以由计算机执行的程序的形式来产生，并存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可以存储在计算机可读记录介质中。计算机可读记录介质包括其中存储有计算机可读数据的各种存储设备和分布式存储设备。该计算机可读记录介质可以包括例如蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD-ROM、磁带、软盘和光学数据存储设备。此外，计算机可读记录介质包括以载波形式体现的介质(例如，通过互联网的传输)。另外，可以将通过编码方法生成的比特流存储在计算机可读记录介质中，或者通过有线或无线通信网络来发送。
另外，本公开的示例性实施方式可以通过程序代码体现为计算机程序产品，并且程序代码可以通过根据本公开的示例性实施方式的计算机执行。程序代码可以存储在计算机可读载体上。
本公开所应用的内容流传输系统可以主要包括编码服务器、流传输服务器、web服务器、媒体存储设备、用户设备和多媒体输入设备。
编码服务器用作以将从多媒体输入设备(诸如智能电话、相机、便携式摄像机等)输入的内容压缩为数字数据，以生成比特流，并将其发送到流传输服务器。作为另一示例，在诸如智能电话、相机、便携式摄像机等的多媒体输入设备直接生成比特流的情况下，可以省略编码服务器。
可以通过本公开所应用的编码方法或比特流生成方法来生成比特流。并且流传输服务器可以在发送或接收比特流的过程期间临时存储比特流。
流传输服务器基于用户的请求通过web服务器将多媒体数据发送到用户设备，该web服务器用作通知用户存在哪些服务的工具。当用户请求用户想要的服务时，web服务器将请求传输到流传输服务器，并且流传输服务器将多媒体数据发送给用户。就这一点而言，内容流传输系统可以包括单独的控制服务器，并且在这种情况下，控制服务器用作控制内容流传输系统中的各自设备之间的命令/响应。
流传输服务器可以从媒体存储设备和/或编码服务器接收内容。例如，在从编码服务器接收内容的情况下，可以实时接收内容。在这种情况下，流传输服务器可以在预定时间段内存储比特流以平滑地提供流传输服务。
例如，用户设备可以包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航、平板PC、平板电脑、超级本、可穿戴设备(例如，手表型终端(智能手表)、眼镜型终端(智能眼镜)、头戴式显示器(HMD))、数字电视、台式计算机、数字标牌等。
内容流传输系统中的每个服务器可以作为分布式服务器来操作，并且在这种情况下，可以以分布式方式处理每个服务器接收到的数据。
在下文中，将会详细地描述参考图1和图2描述的帧间预测方法。
各种帧间预测模式可以用于预测图片内的当前块。例如，可以使用诸如合并模式、跳过模式、运动矢量预测(MVP)模式、仿射模式和历史运动矢量预测(HMVP)模式这样的各种模式。解码器侧运动矢量细化(DMVR)模式、自适应运动矢量分辨率(AMVR)模式等可以进一步用作附加模式。仿射模式也可以被称为仿射运动预测模式。MVP模式也可以被称为高级运动矢量预测(AMVP)。在本文档中，一些模式和/或由一些模式导出的运动信息候选也可以被包括为其它模式中的运动信息相关候选中的一个。
指示当前块的帧间预测模式的预测模式信息可以从编码装置发信号通知到解码装置。预测模式信息可以被包括在比特流中并且由解码装置接收。预测模式信息可以包括指示多个候选模式中的一个的索引信息。另选地，预测模式信息还可以通过标志信息的分层信令来指示帧间预测模式。在这种情况下，预测模式信息可以包括一个或更多个标志。例如，预测模式信息可以通过发信号通知跳过标志来指示是否应用跳过模式，在不应用跳过模式时通过发信号通知合并标志来指示是否应用合并模式，在不应用合并模式的情况下指示应用MVP模式或者进一步发信号通知标志以用于附加识别。仿射模式可以发信号通知为独立模式，或者也可以发信号通知为依赖于合并模式、MVP模式等的模式。例如，仿射模式可以包括仿射合并模式和仿射MVP模式。
可以使用当前块的运动信息来执行帧间预测。编码装置可以通过运动估计过程来导出当前块的最佳运动信息。例如，编码装置可以使用当前块的原始图片内的原始块来以分数像素为单位在参考图片内的预定搜索范围内搜索具有高相关性的相似参考块，从而导出运动信息。块的相似性可以基于以相位为基础的样本值之间的差来导出。例如，可以基于当前块(或当前块的模板)与参考块(或参考块的模板)之间的绝对差之和(SAD)来计算块的相似性。在这种情况下，可以基于搜索区域内具有最小SAD的参考块来导出运动信息。可以基于帧间预测模式根据各种方法将导出的运动信息发信号通知给解码装置。
图4示例性地图示根据本公开的示例性实施方式的仿射运动模型。
一般的视频编码系统使用一个运动矢量来表示编码块的运动。然而，这种方法可以以块为单位表示最佳运动，但是实际上可能不会表示每个像素的最佳运动。因此，为了进一步提高编码效率，可以使用仿射模式或仿射运动预测模式，该模式使用能够以像素为单位确定最佳运动矢量的仿射运动模型来执行编码。这里，仿射模式还可以确定当前块的子块单元中的最佳运动矢量，以进一步提高编码效率。仿射运动预测模式可以使用两个、三个或四个运动矢量来表示块的每个像素单元中的运动矢量。
参考图4，仿射运动模型可以包括四个运动模型，但是这是示例性运动模型，而本公开的范围不限于此。上述四种运动可以包括平移、缩放、旋转和剪切。
图5a和图5b示例性地图示根据本公开的示例性实施方式的4参数仿射模型和6参数仿射模型。
参考图5a和图5b，仿射运动预测可以定义控制点(CP)以使用仿射运动模型，并且使用两个或更多个控制点运动矢量(CPMV)来确定块中包括的像素位置或子块的运动矢量。这里，块中包括的像素位置或子块的一组运动矢量可以被称为仿射运动矢量场(仿射MVF)。
参考图5a，4参数仿射模型可以意指使用两个CPMV确定像素位置或子块的运动矢量的模型，并且像素位置或子块的运动矢量或仿射运动矢量场可以如式1中所表达地导出。
[式1]
Figure BDA0002806951120000151
参考图5b，6参数仿射模型可以意指使用三个CPMV运动矢量来确定像素位置或子块的运动矢量的模型，并且像素位置或子块的运动矢量或仿射运动矢量场可以如式2中所表达地导出。
[式2]
Figure BDA0002806951120000152
在式1和式2中，mv0x和mv0y可以是指当前块的左上角位置的CP的CPMV，mv1x和mv1y可以是指当前块的右上角位置的CP的CPMV，并且mv2x和mv2y可以是指当前块的左下角位置的CP的CPMV。此外，W可以是指当前块的宽度，并且H可以是指当前块的高度。mvx和mvy可以是指(x,y)位置的像素或包括(x,y)位置的子块的运动矢量。
也就是说，本公开的示例性实施方式可以提出一种仿射运动预测方法。
通常，在视频编码中，基于有效地表示简单运动的平移运动模型来执行运动估计(ME)和运动补偿(MC)。然而，此模型可能无法有效地表示自然视频中的复杂运动，例如缩放、旋转和其它不规则运动。因此，可以基于仿射运动模型来提出仿射运动预测，以克服平移运动模型的局限性。
如果使用4参数仿射运动模型，则仿射运动矢量场(MVF)可以由两个运动矢量表示。参考图5a，左上角的点和右上角的点可以被表示为第0控制点(CP0)和第一控制点(CP1)，并且对应的两个运动矢量可以被表示为第0控制点运动矢量(CPMV0)和第一控制点运动矢量(CPMV1)。在图5a中，mv0可以是指CPMV0，并且mv1可以是指CPMV1。
图6示例性地图示以子块为单位确定根据本公开的示例性实施方式的仿射运动矢量场的情况。
在仿射运动补偿中，为了减少仿射运动补偿复杂性，可以以子块级别确定仿射MVF。如果使用4参数仿射运动模型，则可以如式1中所表达地计算每个子块的中心位置的运动矢量。例如，图6可以是以4×4子块级别确定仿射MVF的示例，但是也可以以具有不同尺寸的子块级别确定仿射MVF，并且还可以以样本为单位确定仿射MVF，使得本公开的范围不限于此。
图7示例性地示出根据本公开的示例性实施方式的仿射运动预测方法的流程图。
参考图7，仿射运动预测方法可以大致表示如下。当仿射运动预测方法开始时，可以首先获取CPMV对(S700)。这里，如果使用4参数仿射模型，则CPMV对可以包括CPMV0和CPMV1。
可以首先获取CPMV对(S700)。这里，如果使用4参数仿射模型，则CPMV对可以包括CPMV0和CPMV1。
此后，可以基于CPMV对执行仿射运动补偿(S710)，并且可以终止仿射运动预测。
为了确定CPMV0和CPMV1，可以存在两种仿射预测模式。这里，两种仿射预测模式可以包括仿射帧间模式和仿射合并模式。仿射帧间模式可以通过发信号通知CPMV0和CPMV1两者的运动矢量差(MVD)信息来清楚地确定CPMV0和CPMV1。另一方面，仿射合并模式可以在不发信号通知MVD信息的情况下导出CPMV对。
也就是说，仿射合并模式可以使用以仿射模式编码的邻近块的CPMV来导出当前块的CPMV，并且如果以子块为单位确定了运动矢量，则仿射合并模式也可以被称为子块合并模式。
在仿射合并模式中，编码装置可以向解码装置发信号通知用于导出当前块的CPMV的以仿射模式编码的邻近块的索引，并且还发信号通知邻近块的CPMV和当前块的CPMV之间的差值。这里，仿射合并模式可以基于邻近块来配置仿射合并候选列表，并且邻近块的索引可以表示在仿射合并候选列表中为了导出当前块的CPMV而将引用的邻近块。仿射合并候选列表也可以被称为子块合并候选列表。
仿射帧间模式也可以被称为仿射MVP模式。仿射MVP模式可以基于控制点运动矢量预测子(CPMVP)和控制点运动矢量差(CPMVD)导出当前块的CPMV。也就是说，编码装置可以确定关于当前块的CPMV的CPMVP，并且导出作为当前块的CPMVP和CPMV之间的差值的CPMVVD，以将关于CPMVP的信息和关于CPMVD的信息发信号通知给解码装置。这里，仿射MVP模式可以基于邻近块配置仿射MVP候选列表，并且关于CPMVP的信息可以表示为了在仿射MVP候选列表中导出当前块的CPMV的CPMVP而将引用的邻近块。仿射MVP候选列表也可以被称为控制点运动矢量预测子候选列表。
图8示例性地图示根据本公开的示例性实施方式的用于检查邻近仿射块的邻近块的位置。
本公开的示例性实施方式可以提供用于仿射合并模式的继承仿射候选。也就是说，继承仿射候选可以被视为仿射合并模式的候选。
这里，使用继承仿射候选的方法可以是如下方法：如果邻近块是通过仿射预测而编码的块(在下文中，称为邻近仿射块)则使用邻近仿射块的仿射运动模型来诱导当前块的运动信息(运动矢量和参考图片索引)，并且使用诱导出的运动信息来对编码块进行编码/解码。因此，仅当邻近仿射块存在时，继承仿射候选才可能有效，并且可以生成预定最多n个继承仿射合并候选。这里，n可以为0或自然数。
假设n为1，如果邻近仿射块的数量为1，则可以生成一个仿射合并候选。如果邻近仿射块的数量为两个或更多个，则可以选择邻近仿射块以生成仿射合并候选，并且可以使用以下方法中的任何一种作为选择方法。
(1)通过根据预定顺序检查邻近块而首先确认的邻近仿射块可以用于仿射合并模式。邻近块可以包括图8所示的块A、B、C、D、E、F、G或其中的一些块。这里，可以对检查顺序进行各种考虑。(2)邻近仿射块中具有最小参考索引或具有最接近当前块的参考帧的邻近仿射块可以用于仿射合并模式。(3)可以使用在包括具有最频繁出现的参考索引的邻近仿射块的块中按预定优先级确定的块。这里，最频繁出现的参考索引可以意指基于所有邻近块的参考索引或邻近仿射块的参考索引的数量的最常见参考索引。(4)可以使用邻近仿射块中具有最大块尺寸的块。这里，如果存在具有最大块尺寸的两个或更多个块，则可以根据预定顺序来确定这些块。
已经在假设n为1的情况下描述了前述方法，但是也可以广泛考虑n为2或更大的情况。例如，假设n为2，每种方法可以执行修剪检查，如下所示。此外，在每种方法中，也可以广泛考虑n超过2的情况。
(1)通过根据预定顺序检查邻近块而首先确认的两个邻近仿射块可以用于仿射合并模式。邻近块可以包括图8所示的块A、B、C、D、E、F、G或其中的一些块。(2)在邻近仿射块中具有最小参考索引或具有最接近当前块的参考帧的邻近仿射块可以用于仿射合并模式。如果具有最小参考索引的邻近仿射块的数量为三个或更多个，则按预定优先级确定的两个邻近仿射块可以用于仿射合并模式。(3)可以使用在包括具有最频繁出现的参考索引的邻近仿射块的块中按预定优先级确定的两个块。这里，最频繁出现的参考索引可以意指基于所有邻近块的参考索引或邻近仿射块的参考索引的数量的最频繁出现的参考索引。(4)可以使用邻近仿射块中具有最大块尺寸的块。这里，如果存在具有最大块尺寸的三个或更多个块，则可以根据预定顺序确定这些块。
本公开的示例性实施方式可以提供用于仿射帧间模式的继承仿射候选。也就是说，继承仿射候选可以被视为仿射帧间模式的候选。
这里，使用继承仿射候选的方法可以是如下方法：使用仿射运动模型诱导当前块的运动矢量并且使用诱导出的运动矢量来对编码块进行编码/解码。因此，仅当邻近仿射块存在时，继承仿射候选才可能有效，并且可以生成预定最多n个继承仿射候选。这里，n可以为0或自然数。
假设n为1，如果邻近仿射块的数量为1，则可以生成一个继承仿射候选。这里，如果当前块的参考图片和邻近仿射块的参考图片不同，则可以基于当前块的参考图片来缩放和使用仿射合并候选。这可以被称为经缩放仿射候选。如果邻近仿射块的数量为两个或更多个，则可以选择邻近仿射块以生成仿射合并候选，并且可以使用以下方法中的任何一种作为选择方法。
(1)通过根据预定顺序检查邻近块而首先确认的邻近仿射块可以用于仿射合并模式。邻近块可以包括图8所示的块A、B、C、D、E、F、G或其中的一些块。如果当前块和邻近仿射块的参考图片不同，则可以使用经缩放仿射候选。(2)邻近仿射块当中与当前(编码)块具有相同的参考图片或索引的邻近仿射块可以用作仿射候选。如果具有相同参考索引的邻近仿射块的数量为两个或更多个，则按预定优先级确定的邻近仿射块可以用作仿射候选。如果不存在具有相同参考索引的参考仿射块，则可以使用预定顺序的邻近仿射块的经缩放仿射候选。另选地，可以使用具有与当前块接近的参考图片的邻近仿射块的经缩放仿射候选。可以不考虑继承仿射候选。
假设n为2，如果邻近仿射块的数量为1，则可以生成一个仿射合并候选。这里，如果当前块的参考图片和邻近仿射块的参考图片不同，则可以基于当前块的参考图片来缩放和使用仿射合并候选。这可以被称为经缩放仿射合并候选。如果邻近仿射块的数量为两个或更多个，则可以选择邻近仿射块以生成仿射合并候选，并且可以使用以下方法中的任何一种作为选择方法。
(1)通过根据预定顺序检查邻近块而首先确认的两个邻近仿射块可以用于仿射合并模式。邻近块可以包括图8所示的块A、B、C、D、E、F、G或其中的一些块。这里，如果当前块和邻近仿射块的参考图片不同，则可以使用经缩放仿射合并候选。(2)邻近仿射块当中与当前(编码)块具有相同的参考图片或索引的邻近仿射块可以用作仿射候选。如果具有相同参考索引的邻近仿射块为三个或更多个，则按预定优先级确定的邻近仿射块可以用作仿射候选。如果具有相同参考索引的邻近仿射块少于两个，则可以使用预定顺序的邻近仿射块的经缩放仿射候选。另选地，可以使用具有与当前块接近的参考图片的邻近仿射块的经缩放仿射候选。另选地，可以使用具有与当前块的参考图片接近的参考图片的邻近仿射块的经缩放仿射候选。另选地，可以不考虑继承仿射候选。
图9示例性地图示根据本公开的示例性实施方式的使用两个组来检查邻近仿射块的情况。
本公开的示例性实施方式可以提出一种使用组来将继承仿射候选考虑为仿射帧间模式的候选的方法。可以配置两个或三个组，下面将描述使用两个组的情况，并且后面将参考图10描述使用三个组的情况。
参考图9，可以将待检查的块划分成两个组，并且可以确定每个组中的一个候选。检查邻近仿射块的位置可以是图9所示的块A、B、C、D、E、F、G或其中的一些块，并且这可以被称为邻近块。两个组可以包括组A和组B。组A可以包括邻近块中的块A、D、G或其中的一些块，并且组B可以包括邻近块中的块B、C、E、F或其中的一些块。
组的检查顺序可以是组A→组B，但不限于此。组A的检查顺序可以是块A→块D→块G，但是检查也可以按各种顺序执行，因此不限于此。组B的检查顺序可以是块B→块C→块F→块E，但是检查也可以按各种顺序执行，因此不限于此。
作为确定组A中的仿射候选的详细方法，可以使用以下方法中的任何一种，并且还可以将其同样应用于组B。(1)可以将组A的检查顺序中的第一邻近仿射块考虑为继承候选。这里，如果当前块的参考图片与邻近仿射块的参考图片不同，则可以考虑经缩放的继承候选。(2)可以将在组A的检查顺序中具有与当前参考图片相同的参考图片的邻近仿射块考虑为候选，并且如果不存在邻近仿射块，则可以考虑经缩放候选。(3)可以将在组A的检查顺序中具有与当前参考图片相同的参考图片的邻近仿射块考虑为候选，并且如果不存在邻近仿射块，则可以不将邻近仿射块考虑为候选。
图10示例性地图示根据本公开的示例性实施方式的使用三个组来检查邻近仿射块的情况。
参考图10，可以将待检查的块划分成三个组，并且可以确定每个组中的一个候选。检查邻近仿射块的位置可以是图10中所示的块A、B、C、D、E、F、G或其中的一些块，并且这可以被称为邻近块。三个组可以包括组A、组B和组C。组A可以包括邻近块中的块A、D或其中的一些块，组B可以包括邻近块中的块B、C或其中的一些块，并且组C可以包括邻近块中的块E、F、G或其中的一些块。
组的检查顺序可以是组A→组B→组C，但不限于此。组A的检查顺序可以是块A→块D或块D→块A，组B的检查顺序可以是块B→块C或块C→块B，并且组C的检查顺序可以是块G→块E→块F，但是检查也可以按各种顺序执行，因此不限于此。
作为确定组A中的仿射候选的详细方法，可以使用以下方法中的任何一种，并且还可以将其同样应用于组B和组C。(1)可以将组A的检查顺序中的第一邻近仿射块考虑为继承候选。这里，如果当前块的参考图片与邻近仿射块的参考图片不同，则可以考虑经缩放继承候选。(2)可以将在组A的检查顺序中具有与当前参考图片相同的参考图片的邻近仿射块考虑为候选，并且如果不存在邻近仿射块，则可以考虑经缩放候选。(3)可以将在组A的检查顺序中具有与当前参考图片相同的参考图片的邻近仿射块考虑为候选，并且如果不存在邻近仿射块，则可以不将邻近仿射块考虑为候选。
图11示意性地图示根据本公开的示例性实施方式的编码装置的视频编码方法。
图11所示的方法可以由图1所示的编码装置执行。例如，图11所示的S1100至S1140可以由编码装置的预测器执行，S1150可以由编码装置的减法器执行，并且S1160可以由编码装置的熵编码器执行。
编码装置生成当前块的运动信息候选列表(S1100)。这里，运动信息候选列表可以包括仿射候选列表。另选地，运动信息候选列表可以包括继承仿射候选。可以基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选。
候选块可以是当前块的空间邻近块中的一些块。也就是说，候选块可以被包括在空间邻近块中。可以生成继承仿射候选直到预定的最大数量。继承仿射候选可以是根据仿射合并模式的候选，并且还可以是根据仿射帧间模式的候选，因此，运动信息候选列表可以包括合并候选列表或仿射合并候选列表，或者包括MVP候选列表或仿射MVP候选列表。
例如，继承仿射候选可以是根据仿射合并模式的候选。如果候选块的数量等于最大数量，则可以针对每个候选块逐个导出继承仿射候选。例如，如果通过仿射预测而编码的候选块的数量为1，则可以基于以上内容导出一个继承仿射候选。
然而，如果候选块的数量大于最大数量，则可以基于通过根据预定扫描顺序检查空间邻近块而优先确认的通过仿射预测而编码的候选块来导出继承仿射候选。这里，可以使用最大数量的候选块，并且预定扫描顺序也可以是指预定顺序或检查顺序。
另选地，如果候选块的数量大于最大数量，则可以基于具有最小参考索引的候选块或具有与当前图片最接近的参考图片的候选块来导出继承仿射候选。这里，当前图片可以是指包括当前块的图片。
另选地，如果候选块的数量大于最大数量，则可以基于具有在空间邻近块的参考索引或候选块的参考索引中最频繁出现的参考索引的候选块来导出继承仿射候选。另选地，可以基于具有最大块尺寸的候选块来导出继承仿射候选。参考图8对其进行了详细描述。在图8中，最大数量可以是指n，并且已经作为示例描述了n为1的情况和n为2的情况，但是n的值不限于此并且可以增加。
例如，继承仿射候选可以是根据仿射帧间模式的候选。如果候选块的数量等于最大数量，则可以针对每个候选块逐个导出继承仿射候选。例如，如果通过仿射预测而编码的候选块的数量为1，则可以基于以上内容导出一个继承仿射候选。
这里，如果当前块的参考图片和候选块的参考图片不同，则可以基于候选块的运动矢量导出继承仿射候选，并且可以基于当前块的参考图片缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。
然而，如果候选块的数量大于最大数量，则可以基于具有与当前块的参考图片或参考索引相同的参考图片或参考索引的候选块来导出继承仿射候选。另选地，如果候选块的数量大于最大数量并且不存在具有与当前块的参考图片或参考索引相同的参考图片或参考索引的候选块，则可以基于预定扫描顺序中的候选块的运动矢量、具有与当前图片最接近的参考图片的候选块的运动矢量或具有与当前块的参考图片最接近的参考图片的候选块的运动矢量来导出继承仿射候选，并且可以基于当前块的参考图片来缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。这里，当前图片可以是指包括当前块的图片，并且预定扫描顺序也可以是指预定顺序或检查顺序。参考图8对其进行了详细描述。在图8中，最大数量可以是指n，并且已经作为示例描述了n为1的情况和n为2的情况，但是n的值不限于此并且可以增加。
例如，如果继承仿射候选是根据仿射帧间模式的候选，则可以将当前块的空间邻近块划分成组。另选地，可以将当前块的空间邻近块划分成两个或更多个组。可以基于组导出继承仿射候选。另选地，可以针对每个组逐个导出继承仿射候选。另选地，可以基于组内的候选块针对每个组导出继承仿射候选。另选地，继承仿射候选可以针对每个组逐个选择候选块，并且可以基于选择的候选块导出继承仿射候选。
例如，这些组可以包括第一组和第二组。第一组可以包括当前块的左下角邻近块和与左下角邻近块的顶部相邻的左侧邻近块。此外，第一组还可以包括与当前块的左上角邻近块的底部相邻的左侧邻近块。第二组可以包括当前块的左上角邻近块、右上角邻近块和与右上角邻近块的左侧相邻的顶部邻近块。此外，第二组还可以包括与左上角邻近块的右侧相邻的顶部邻近块。参考图9对其进行了详细描述。在图9中，组A可以是指第一组，并且组B可以是指第二组。
例如，这些组可以包括第一组、第二组和第三组。第一组可以包括当前块的左下角邻近块和与左下角邻近块的顶部相邻的左侧邻近块，第二组可以包括当前块的右上角邻近块和与右上角邻近块的左侧相邻的顶部邻近块，并且第三组可以包括当前块的左上角邻近块、与左上角邻近块的右侧相邻的顶部邻近块和与左上角邻近块的底部相邻的左侧邻近块。参考图10对其进行了详细描述。在图10中，组A可以是指第一组，组B可以是指第二组，并且组C可以是指第三组。
这里，可以基于通过在每个组中根据预定扫描顺序检查组内的块而优先确认的通过仿射预测而编码的候选块来导出继承仿射候选。另选地，如果当前块的参考图片与候选块的参考图片不同，则可以基于候选块的运动矢量来导出继承仿射候选，并且可以基于当前块的参考图片来缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。另选地，可以基于每个组中具有与当前块的参考图片相同的参考图片的候选块来导出继承仿射候选。参考图9和图10对其进行了详细描述。如果存在两个或三个组，则已经参考图9和图10描述了组之间的检查顺序和每个组的检查顺序，但这是为了便于解释，并且适用于本公开的检查顺序不限于此。此外，上述描述中的候选块可以与邻近块互换使用。
编码装置选择包括在运动信息候选列表中的候选中的一个(S1110)。这里，可以生成选择信息。选择信息可以包括关于从运动信息候选列表中选择的一个候选的信息，并且还可以包括关于从运动信息候选列表中选择的一个候选的索引信息。
编码装置基于选择的候选导出当前块的控制点运动矢量(CPMV)(S1120)。控制点运动矢量可以是指控制点处的运动矢量。参考图8，控制点可以包括位于当前块的左上样本位置的控制点CP0和位于当前块的右上样本位置的控制点CP1，并且还可以包括位于当前块的左下样本位置的控制点CP2。已经参照图5a和图5b对其进行了详细描述。
编码装置基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量(S1130)。编码装置可以基于CPMV导出仿射运动矢量场。仿射运动矢量场可以基于CPMV的x分量和y分量导出子块单元运动矢量或样本单元运动矢量。这里，子块单元运动矢量可以表示子块的中心处的运动矢量。仿射运动矢量场可以根据CPMV的数量通过式1或式2导出，但不限于此。
编码装置基于子块单元运动矢量或样本单元运动矢量导出预测块(S1140)。这里，预测块可以意指与当前块具有高相关性的块。
编码装置基于预测块生成当前块的残差块(S1150)。可以基于预测块和当前块来导出残差块。另选地，可以基于预测块与当前块之间的差导出残差块。
编码装置通过对包括关于残差块的信息的图像信息进行编码来输出比特流(S1160)。关于残差块的信息可以包括残差块和关于残差块的信息。这里，图像信息还可以包括选择信息，并且编码装置可以发信号通知还包括选择信息的图像信息。另选地，编码装置可以通过对还包括选择信息的图像信息进行编码来输出比特流。可以通过网络或存储介质将比特流发送到解码装置。
图12示意性地图示根据本公开的示例性实施方式的解码装置的视频解码方法。
图12所示的方法可以由图2所示的解码装置执行。例如，图12所示的S1200至S1240可以由解码装置的预测器执行，并且S1250可以由解码装置的重构器执行。
解码装置生成当前块的运动信息候选列表(S1200)。这里，运动信息候选列表可以包括仿射候选列表。另选地，运动信息候选列表可以包括继承仿射候选。可以基于当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出继承仿射候选。
候选块可以是当前块的空间邻近块中的一些块。也就是说，候选块可以被包括在空间邻近块中。可以生成继承仿射候选直到预定的最大数量。继承仿射候选可以是根据仿射合并模式的候选，并且还可以是根据仿射帧间模式的候选，因此，运动信息候选列表可以包括合并候选列表或仿射合并候选列表，或者包括MVP候选列表或仿射MVP候选列表。
例如，继承仿射候选可以是根据仿射合并模式的候选。如果候选块的数量等于最大数量，则可以针对每个候选块逐个导出继承仿射候选。例如，如果通过仿射预测而编码的候选块的数量为1，则可以基于上述内容导出一个继承仿射候选。
然而，如果候选块的数量大于最大数量，则可以基于通过根据预定扫描顺序检查空间邻近块而优先确认的通过仿射预测而编码的候选块来导出继承仿射候选。这里，可以使用最大数量的候选块，并且预定扫描顺序也可以被称为预定顺序或检查顺序。
另选地，如果候选块的数量大于最大数量，则可以基于具有最小参考索引的候选块或具有与当前图片最接近的参考图片的候选块来导出继承仿射候选。这里，当前图片可以是指包括当前块的图片。
另选地，如果候选块的数量大于最大数量，则可以基于具有在空间邻近块的参考索引或候选块的参考索引中最频繁出现的参考索引的候选块来导出继承仿射候选。另选地，可以基于具有最大块尺寸的候选块来导出继承仿射候选。参考图8对其进行了详细描述。在图8中，最大数量可以是指n，并且已经作为示例描述了n为1的情况和n为2的情况，但是n的值不限于此并且可以增加。
例如，继承仿射候选可以是根据仿射帧间模式的候选。如果候选块的数量等于最大数量，则可以针对每个候选块逐个导出继承仿射候选。例如，如果通过仿射预测而编码的候选块的数量为1，则可以基于上述内容导出一个继承仿射候选。
这里，如果当前块的参考图片和候选块的参考图片不同，则可以基于候选块的运动矢量来导出继承仿射候选，并且可以基于当前块的参考图片来缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。
然而，如果候选块的数量大于最大数量，则可以基于具有与当前块的参考图片或参考索引相同的参考图片或参考索引的候选块来导出继承仿射候选。另选地，如果候选块的数量大于最大数量并且不存在具有与当前块的参考图片或参考索引相同的参考图片或参考索引的候选块，则可以基于预定扫描顺序中的候选块的运动矢量、具有与当前图片最接近的参考图片的候选块的运动矢量或具有与当前块的参考图片最接近的参考图片的候选块的运动矢量来导出继承仿射候选，并且可以基于当前块的参考图片来缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。这里，当前图片可以是指包括当前块的图片，并且预定扫描顺序也可以是指预定顺序或检查顺序。参考图8对其进行了详细描述。在图8中，最大数量可以是指n，并且已经作为示例描述了n为1的情况和n为2的情况，但是n的值不限于此并且可以增加。
例如，如果继承仿射候选是根据仿射帧间模式的候选，则可以将当前块的空间邻近块划分成组。另选地，可以将当前块的空间邻近块划分成两个或更多个组。可以基于组导出继承仿射候选。另选地，可以针对每个组逐个导出继承仿射候选。另选地，可以基于组内的候选块针对每个组导出继承仿射候选。另选地，继承仿射候选可以针对每个组逐个选择候选块，并且可以基于选择的候选块导出继承仿射候选。
例如，这些组可以包括第一组和第二组。第一组可以包括当前块的左下角邻近块和与左下角邻近块的顶部相邻的左侧邻近块。此外，第一组还可以包括与当前块的左上角邻近块的底部相邻的左侧邻近块。第二组可以包括当前块的左上角邻近块、右上角邻近块和与右上角邻近块的左侧相邻的顶部邻近块。此外，第二组还可以包括与左上角邻近块的右侧相邻的顶部邻近块。参考图9对其进行了详细描述。在图9中，组A可以是指第一组，并且组B可以是指第二组。
例如，这些组可以包括第一组、第二组和第三组。第一组可以包括当前块的左下角邻近块和与左下角邻近块的顶部相邻的左侧邻近块，第二组可以包括当前块的右上角邻近块和与右上角邻近块的左侧相邻的顶部邻近块，并且第三组可以包括当前块的左上角邻近块、与左上角邻近块的右侧相邻的顶部邻近块和与左上角邻近块的底部相邻的左侧邻近块。参考图10对其进行了详细描述。在图10中，组A可以是指第一组，组B可以是指第二组，并且组C可以是指第三组。
这里，可以基于通过在每个组中根据预定扫描顺序检查组内的块而优先确认的通过仿射预测而编码的候选块来导出继承仿射候选。另选地，如果当前块的参考图片与候选块的参考图片不同，则可以基于候选块的运动矢量来导出继承仿射候选，并且可以基于当前块的参考图片来缩放候选块的运动矢量。另选地，可以基于当前块与当前块的参考图片之间的距离以及候选块与候选块的参考图片之间的距离来缩放候选块的运动矢量。另选地，可以基于每个组中具有与当前块的参考图片相同的参考图片的候选块来导出继承仿射候选。参考图9和图10对其进行了详细描述。如果存在两个或三个组，则已经参考图9和图10描述了组之间的检查顺序和每个组的检查顺序，但这是为了便于解释，并且适用于本公开的检查顺序不限于此。此外，上述描述中的候选块可以与邻近块互换使用。
解码装置选择包括在运动信息候选列表中的候选中的一个(S1210)。这里，可以使用选择信息。选择信息可以包括关于从运动信息候选列表中选择的一个候选的信息，并且还可以包括关于从运动信息候选列表中选择的一个候选的索引信息。选择信息可以包括在图像信息中，并且可以将包括选择信息的图像信息发信号通知给解码装置。解码装置可以通过针对图像信息解析比特流来获取选择信息。可以通过网络或存储介质从编码装置发送比特流。
解码装置基于选择的候选导出当前块的控制点运动矢量(CPMV)(S1220)。控制点运动矢量可以是指控制点处的运动矢量。参考图8，控制点可以包括位于当前块的左上样本位置的控制点(CP0)和位于当前块的右上样本位置的控制点(CP1)，并且还可以包括位于当前块的左下样本位置的控制点(CP2)。已经参照图5a和图5b对其进行了详细描述。
解码装置基于CPMV导出当前块的子块单元运动矢量或样本单元运动矢量(S1230)。解码装置可以基于CPMV导出仿射运动矢量场。仿射运动矢量场可以基于CPMV的x分量和y分量导出子块单元运动矢量或样本单元运动矢量。这里，子块单元运动矢量可以表示子块的中心处的运动矢量。仿射运动矢量场可以根据CPMV的数量通过式1或式2导出，但不限于此。
解码装置基于子块单元运动矢量或样本单元运动矢量导出预测块(S1240)。这里，预测块可以意指与当前块具有高相关性的块。
解码装置基于预测块重构当前图片(S1250)。这里，可以使用关于残差块的信息。关于残差块的信息可以包括残差块和关于残差块的信息。残差块可以是基于预测块和当前块导出的块。另选地，残差块可以是基于预测块与当前块之间的差导出的块。解码装置可以基于预测块和关于残差块的信息来重构当前图片。关于残差块的信息可以被包括在图像信息中，并且可以将包括关于残差块的信息的图像信息发信号通知给解码装置。解码装置可以通过针对图像信息解析比特流来获取关于残差块的信息。可以通过网络或存储介质从编码装置发送比特流。
在上述示例性实施方式中，借助于一系列步骤或块基于流程图来解释方法，但本公开不限于步骤的顺序，并且某个步骤可能以与上述内容不同的顺序或步骤发生，或者与另一步骤同时发生。此外，本领域普通技术人员可以理解，流程图中所示的步骤不是排他的，并且在不影响本公开的范围的情况下，可以结合另一步骤或者可以去除流程图的一个或更多个步骤。
根据本公开的上述方法可以实现为软件形式，并且根据本公开的编码装置和/或解码装置可以被包括在用于图像处理的装置中，例如电视机、计算机、智能电话、机顶盒、显示装置等。
当通过软件实现本公开中的示例性实施方式时，可以将上述方法实施为执行上述功能的模块(处理、功能等)。这些模块可以存储在存储器中并且可以由处理器执行。存储器可以位于处理器内部或外部，并且可以经由公知的各种装置连接到处理器。处理器可以包括专用集成电路(ASIC)、其它芯片组、逻辑电路和/或数据处理装置。存储器可以包括只读存储器(ROM)、随机存取存储器(RAM)、闪存、存储卡、存储介质和/或其它存储装置。

Claims (15)

1.一种由解码装置执行的视频解码方法，该视频解码方法包括：
生成当前块的运动信息候选列表；
选择包括在所述运动信息候选列表中的候选中的一个；
基于选择的所述候选导出所述当前块的控制点运动矢量CPMV；
基于所述CPMV导出所述当前块的子块单元运动矢量或样本单元运动矢量；
基于所述子块单元运动矢量或所述样本单元运动矢量导出预测块；以及
基于所述预测块重构当前图片；
其中，所述运动信息候选列表包括继承仿射候选，
其中，基于所述当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出所述继承仿射候选，并且
其中，生成所述继承仿射候选直到预定的最大数量。
2.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量，则基于通过根据预定扫描顺序检查所述空间邻近块而优先确认的通过仿射预测而编码的所述候选块来导出所述继承仿射候选。
3.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量，则基于具有最小参考索引的候选块或具有最接近当前图片的参考图片的候选块来导出所述继承仿射候选。
4.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量，则基于具有所述候选块的参考索引或所述空间邻近块的参考索引中最频繁出现的参考索引的候选块来导出所述继承仿射候选。
5.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量，则基于具有最大块尺寸的候选块来导出所述继承仿射候选。
6.根据权利要求1所述的视频解码方法，其中，如果所述当前块的参考图片与所述候选块的参考图片不同，则基于所述候选块的运动矢量导出所述继承仿射候选，并且基于所述当前块的所述参考图片缩放所述候选块的所述运动矢量。
7.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量，则基于具有与所述当前块的参考图片或参考索引相同的参考图片或参考索引的候选块来导出所述继承仿射候选。
8.根据权利要求1所述的视频解码方法，其中，如果候选块的数量大于所述最大数量并且基于不存在具有与所述当前块的参考图片或参考索引相同的参考图片或参考索引的候选块，则基于预定扫描顺序中的所述候选块的运动矢量、具有与当前图片最接近的参考图片的候选块的运动矢量或具有与所述当前块的所述参考图片最接近的参考图片的候选块的运动矢量来导出所述继承仿射候选，并且基于所述当前块的所述参考图片缩放所述候选块的所述运动矢量。
9.根据权利要求1所述的视频解码方法，其中，将所述当前块的所述空间邻近块划分成两个或更多个组，并且
其中，针对每个组逐个导出所述继承仿射候选。
10.根据权利要求9所述的视频解码方法，其中，基于通过在每个组中根据预定扫描顺序检查该组内的块而优先确认的仿射预测而编码的候选块来导出所述继承仿射候选。
11.根据权利要求10所述的视频解码方法，其中，如果所述当前块的参考图片与所述候选块的参考图片不同，则基于所述候选块的运动矢量导出所述继承仿射候选，并且基于所述当前块的所述参考图片缩放所述候选块的所述运动矢量。
12.根据权利要求9所述的视频解码方法，其中，基于具有与每个组中的所述当前块的所述参考图片相同的参考图片的候选块来导出所述继承仿射候选。
13.根据权利要求9所述的视频解码方法，其中，所述组包括第一组和第二组，
其中，所述第一组包括所述当前块的左下角邻近块和与所述左下角邻近块的顶部相邻的左侧邻近块，并且
其中，所述第二组包括所述当前块的左上角邻近块、所述当前块的右上角邻近块和与所述右上角邻近块的左侧相邻的顶部邻近块。
14.根据权利要求9所述的视频解码方法，其中，所述组包括第一组、第二组和第三组，
其中所述第一组包括所述当前块的左下角邻近块和与所述左下角邻近块的顶部相邻的左侧邻近块，
其中，所述第二组包括所述当前块的右上角邻近块和与所述右上角邻近块的左侧相邻的顶部邻近块，并且
其中，所述第三组包括所述当前块的左上角邻近块、与所述左上角邻近块的右侧相邻的顶部邻近块和与所述左上角邻近块的底部相邻的左侧邻近块。
15.一种由编码装置执行的视频编码方法，该视频编码方法包括：
生成当前块的运动信息候选列表；
选择包括在所述运动信息候选列表中的候选中的一个；
基于选择的候选导出所述当前块的控制点运动矢量CPMV；
基于所述CPMV导出所述当前块的子块单元运动矢量或样本单元运动矢量；
基于所述子块单元运动矢量或所述样本单元运动矢量导出预测块；
基于所述预测块生成所述当前块的残差块；以及
通过对包括关于所述残差块的信息的图像信息进行编码来输出比特流；
其中，所述运动信息候选列表包括继承仿射候选，
其中，基于所述当前块的空间邻近块当中的通过仿射预测而编码的候选块来导出所述继承仿射候选，并且其中，生成所述继承仿射候选直到预定的最大数量。
CN201980036473.8A 2018-04-24 2019-04-24 视频编码系统中用于帧间预测的方法和装置 Active CN112204980B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310815502.9A CN116708819A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置
CN202310814200.XA CN116708817A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置
CN202310814349.8A CN116708818A (zh) 2018-04-24 2019-04-24 解码方法、编码方法、存储介质和数据发送方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862662175P 2018-04-24 2018-04-24
US62/662,175 2018-04-24
PCT/KR2019/004957 WO2019209026A1 (ko) 2018-04-24 2019-04-24 비디오 코딩 시스템에서 인터 예측 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202310815502.9A Division CN116708819A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置
CN202310814349.8A Division CN116708818A (zh) 2018-04-24 2019-04-24 解码方法、编码方法、存储介质和数据发送方法
CN202310814200.XA Division CN116708817A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置

Publications (2)

Publication Number Publication Date
CN112204980A true CN112204980A (zh) 2021-01-08
CN112204980B CN112204980B (zh) 2023-07-21

Family

ID=68295506

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980036473.8A Active CN112204980B (zh) 2018-04-24 2019-04-24 视频编码系统中用于帧间预测的方法和装置
CN202310814200.XA Pending CN116708817A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置
CN202310814349.8A Pending CN116708818A (zh) 2018-04-24 2019-04-24 解码方法、编码方法、存储介质和数据发送方法
CN202310815502.9A Pending CN116708819A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202310814200.XA Pending CN116708817A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置
CN202310814349.8A Pending CN116708818A (zh) 2018-04-24 2019-04-24 解码方法、编码方法、存储介质和数据发送方法
CN202310815502.9A Pending CN116708819A (zh) 2018-04-24 2019-04-24 解码装置、编码装置和数据发送装置

Country Status (11)

Country Link
US (3) US11109058B2 (zh)
EP (2) EP3780617B1 (zh)
KR (2) KR20230109772A (zh)
CN (4) CN112204980B (zh)
ES (1) ES2960029T3 (zh)
FI (1) FI3780617T3 (zh)
HR (1) HRP20231300T1 (zh)
HU (1) HUE063886T2 (zh)
PL (1) PL3780617T3 (zh)
SI (1) SI3780617T1 (zh)
WO (1) WO2019209026A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102463478B1 (ko) * 2018-01-26 2022-11-04 에이치에프아이 이노베이션 인크. 비디오 코딩 시스템을 위한 아핀 인터 예측 방법 및 장치
WO2019240493A1 (ko) * 2018-06-12 2019-12-19 한국전자통신연구원 문맥 적응적 이진 산술 부호화 방법 및 장치
CN111953997A (zh) * 2019-05-15 2020-11-17 华为技术有限公司 候选运动矢量列表获取方法、装置及编解码器

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240549A1 (en) * 2007-03-29 2008-10-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling dynamic depth of stereo-view or multi-view sequence images
CA3148065A1 (en) * 2011-11-02 2013-05-10 Tagivan Ii Llc Moving picture decoding method and moving picture decoding apparatus
EP2613535A2 (en) * 2010-09-02 2013-07-10 LG Electronics Inc. Method for encoding and decoding video, and apparatus using same
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
KR20180028513A (ko) * 2015-08-04 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
WO2018067823A1 (en) * 2016-10-05 2018-04-12 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
WO2018065296A1 (en) * 2016-10-03 2018-04-12 Thomson Licensing Method and apparatus for encoding and decoding motion information

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101318869B1 (ko) * 2009-08-28 2013-10-16 에스케이텔레콤 주식회사 동영상 부호화를 위한 움직임 벡터 부호화/복호화 방법 및 장치와 그를 이용한 영상 부호화/복호화 방법 및 장치
US9591328B2 (en) * 2012-01-20 2017-03-07 Sun Patent Trust Methods and apparatuses for encoding and decoding video using temporal motion vector prediction
CN109005407B (zh) * 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
CN108432250A (zh) * 2016-01-07 2018-08-21 联发科技股份有限公司 用于视频编解码的仿射帧间预测的方法及装置
WO2017147765A1 (en) * 2016-03-01 2017-09-08 Mediatek Inc. Methods for affine motion compensation
RU2696551C1 (ru) * 2016-03-15 2019-08-02 МедиаТек Инк. Способ и устройство для кодирования видео с компенсацией аффинного движения
WO2017171107A1 (ko) * 2016-03-28 2017-10-05 엘지전자(주) 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
US20190273943A1 (en) * 2016-10-10 2019-09-05 Sharp Kabushiki Kaisha Systems and methods for performing motion compensation for coding of video data
US10701390B2 (en) * 2017-03-14 2020-06-30 Qualcomm Incorporated Affine motion information derivation

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080240549A1 (en) * 2007-03-29 2008-10-02 Samsung Electronics Co., Ltd. Method and apparatus for controlling dynamic depth of stereo-view or multi-view sequence images
EP2613535A2 (en) * 2010-09-02 2013-07-10 LG Electronics Inc. Method for encoding and decoding video, and apparatus using same
CA3148065A1 (en) * 2011-11-02 2013-05-10 Tagivan Ii Llc Moving picture decoding method and moving picture decoding apparatus
CN107113424A (zh) * 2014-11-18 2017-08-29 联发科技股份有限公司 基于来自单向预测的运动矢量和合并候选的双向预测视频编码方法
KR20180028513A (ko) * 2015-08-04 2018-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
WO2018065296A1 (en) * 2016-10-03 2018-04-12 Thomson Licensing Method and apparatus for encoding and decoding motion information
WO2018067823A1 (en) * 2016-10-05 2018-04-12 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding

Also Published As

Publication number Publication date
HUE063886T2 (hu) 2024-02-28
ES2960029T3 (es) 2024-02-29
CN116708818A (zh) 2023-09-05
EP3780617A4 (en) 2021-02-17
HRP20231300T1 (hr) 2024-02-02
CN116708817A (zh) 2023-09-05
EP4246979A2 (en) 2023-09-20
FI3780617T3 (fi) 2023-10-16
US11622125B2 (en) 2023-04-04
US20230224490A1 (en) 2023-07-13
PL3780617T3 (pl) 2024-02-05
CN116708819A (zh) 2023-09-05
KR20230109772A (ko) 2023-07-20
US20210344949A1 (en) 2021-11-04
EP3780617B1 (en) 2023-09-13
EP3780617A1 (en) 2021-02-17
KR102553665B1 (ko) 2023-07-10
CN112204980B (zh) 2023-07-21
US11109058B2 (en) 2021-08-31
EP4246979A3 (en) 2023-11-01
SI3780617T1 (sl) 2023-11-30
US11943470B2 (en) 2024-03-26
KR20200122395A (ko) 2020-10-27
US20210037257A1 (en) 2021-02-04
WO2019209026A1 (ko) 2019-10-31

Similar Documents

Publication Publication Date Title
CN111630859A (zh) 根据图像编码系统中的帧间预测进行图像解码的方法和装置
CN111418212B (zh) 基于图像编码系统中的仿射运动预测的图像解码方法和设备
CN112673627B (zh) 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置
CN111615830A (zh) 基于选择性变换的图像编码方法和用于该方法的装置
US11943470B2 (en) Method and apparatus for inter prediction in video coding system
US20240121430A1 (en) Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
CN114009016A (zh) 从合并数据语法移除冗余语法的方法和装置
CN114145022A (zh) 推导双向预测的权重索引信息的图像解码方法及其装置
CN114303375A (zh) 使用双向预测的视频解码方法和用于该方法的装置
KR102513585B1 (ko) 비디오 처리 시스템에서 인터 예측 방법 및 장치
CN118044201A (zh) 基于mdmvr的图像编译方法及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20240201

Address after: No. 78 Huifeng Fourth Road, Zhongkai High tech Industrial Development Zone, Huizhou City, Guangdong Province

Patentee after: TCL KING ELECTRICAL APPLIANCE (HUIZHOU) Co.,Ltd.

Country or region after: China

Address before: Seoul, South Kerean

Patentee before: LG ELECTRONICS Inc.

Country or region before: Republic of Korea

TR01 Transfer of patent right