CN112673627A - 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置 - Google Patents

在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置 Download PDF

Info

Publication number
CN112673627A
CN112673627A CN201980058612.7A CN201980058612A CN112673627A CN 112673627 A CN112673627 A CN 112673627A CN 201980058612 A CN201980058612 A CN 201980058612A CN 112673627 A CN112673627 A CN 112673627A
Authority
CN
China
Prior art keywords
block
candidate
affine
motion vector
neighboring
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980058612.7A
Other languages
English (en)
Other versions
CN112673627B (zh
Inventor
李在镐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to CN202310877316.8A priority Critical patent/CN116708816A/zh
Priority to CN202310878918.5A priority patent/CN116708820A/zh
Priority to CN202310875451.9A priority patent/CN116708815A/zh
Publication of CN112673627A publication Critical patent/CN112673627A/zh
Application granted granted Critical
Publication of CN112673627B publication Critical patent/CN112673627B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

根据本公开的通过解码装置执行的图像解码方法包括以下步骤：针对当前块配置仿射合并候选列表；基于仿射合并候选列表针对当前块的CP推导CPMV；基于CPMV针对当前块推导预测样本；以及基于所推导的预测样本针对当前块生成重构画面，其中，继承的仿射候选的最大数量为2，基于当前块的左块组来推导第一继承仿射候选，并且基于当前块的上块组来推导第二继承仿射候选。

Description

在图像编码系统中使用仿射合并候选列表的基于仿射运动预 测的图像解码方法和装置
技术领域
本公开涉及视频编码技术，更具体地，涉及一种在视频编码系统中使用仿射合并候选列表基于仿射运动预测的图像解码方法和设备。
背景技术
在各种领域中，对诸如HD(高清)图像和UHD(超高清)图像的高分辨率、高质量图像的需求正在增长。随着图像数据具有高分辨率和高质量，相对于传统图像数据，要发送的信息或比特的量增加。因此，当使用诸如传统有线/无线宽带线路的介质发送图像数据或者使用现有存储介质存储图像数据时，其传输成本和存储成本增加。
因此，需要一种有效地发送、存储和再现高分辨率和高质量图像的信息的高效图像压缩技术。
发明内容
技术问题
本公开提供了一种用于改进视频编码效率的方法和设备。
本公开还提供了一种构造包括最多两个继承的仿射候选的当前块的仿射合并候选列表并基于构造的仿射合并候选列表对当前块执行预测的图像解码方法和设备。
技术方案
在一方面，提供了一种由解码设备执行的图像解码方法。该方法包括以下步骤：构造当前块的仿射合并候选列表，其中，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选；基于仿射合并候选列表来推导当前块的控制点(CP)的控制点运动向量(CPMV)；基于CPMV来推导当前块的预测样本；以及基于所推导的预测样本来生成当前块的重构画面，其中，继承的仿射候选的最大数量为2，其中，从包括左下角邻近块和左邻近块的左块组推导第一继承仿射候选，其中，从包括右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
在另一方面，提供了一种执行视频解码的解码设备。该解码设备包括：预测器，其被配置为构造当前块的仿射合并候选列表，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选，基于仿射合并候选列表来推导当前块的控制点(CP)的控制点运动向量(CPMV)，基于CPMV来推导当前块的预测样本；以及加法器，其被配置为基于所推导的预测样本来生成当前块的重构画面，其中，继承的仿射候选的最大数量为2，其中，从包括左下角邻近块和左邻近块的左块组推导第一继承仿射候选，并且其中，从包括右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
在另一方面，提供了一种由编码设备执行的图像编码方法。该方法包括以下步骤：构造当前块的仿射合并候选列表，其中，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选；基于仿射合并候选列表来推导当前块的控制点(CP)的控制点运动向量(CPMV)；以及对包括当前块的预测信息的图像信息进行编码，其中，继承的仿射候选的最大数量为2，其中，从包括左下角邻近块和左邻近块的左块组推导第一继承仿射候选，并且其中，从包括右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
在另一方面，提供了一种视频编码设备。该编码设备包括：预测器，其被配置为构造当前块的仿射合并候选列表，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选，并且基于仿射合并候选列表来推导当前块的控制点(CP)的控制点运动向量(CPMV)；以及熵编码器，其被配置为对包括当前块的预测信息的图像信息进行编码，其中，继承的仿射候选的最大数量为2，其中，从包括左下角邻近块和左邻近块的左块组推导第一继承仿射候选，并且其中，从包括右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
有益效果
根据本公开，总体图像/视频压缩效率可改进。
根据本公开，仿射合并模式的计算复杂度可降低，从而增加总体视频编码效率。
根据本公开，在推导仿射合并候选列表时，继承的仿射候选的最大数量可被设定为2并且可从左块组和上块组中的每一个推导一个继承的仿射候选，从而降低推导继承的仿射候选的处理和构造仿射合并候选列表的处理的计算复杂度并增强编码效率。
附图说明
图1是示出适用本公开的视频编码设备的配置的示意图。
图2是示出适用本公开的视频解码设备的配置的示意图。
图3示出通过仿射运动模型表达的运动。
图4示出使用3个控制点的运动向量的仿射运动模型。
图5示出使用2个控制点的运动向量的仿射运动模型。
图6示出基于仿射运动模型以子块为基础推导运动向量的方法。
图7是示出根据本公开的实施方式的仿射运动预测方法的流程图。
图8示出构造当前块的仿射合并候选列表的示例。
图9示出用于推导继承的仿射候选的当前块的邻近块。
图10示出用于推导构造的仿射候选的当前块的邻近块。
图11示出推导构造的仿射候选的示例。
图12示意性地示出根据本公开的编码设备的图像编码方法。
图13示意性地示出根据本公开的执行图像编码方法的编码设备。
图14示意性地示出根据本公开的解码设备的图像解码方法。
图15示意性地示出根据本公开的执行图像解码方法的解码设备。
图16示出应用了本公开的内容流系统的结构的示例。
具体实施方式
本公开可按各种形式修改，并且将在附图中描述和示出其特定实施方式。然而，这些实施方式并非旨在限制本公开。以下描述中使用的术语仅用于描述特定实施方式，而非旨在限制本公开。单数表达包括复数表达，只要其清楚地不同理解即可。诸如“包括”和“具有”的术语旨在指示存在以下描述中使用的特征、数量、步骤、操作、元件、组件或其组合，因此应该理解，没有排除存在或添加一个或更多个不同特征、数量、步骤、操作、元件、组件或其组合的可能。
此外，为了方便说明不同的特定功能而独立地绘制了本公开中描述的图中的元件，这并非意指这些元件由独立硬件或独立软件具体实现。例如，这些元件中的两个或更多个可被组合以形成单个元件，或者一个元件可被划分成多个元件。在不脱离本公开的概念的情况下，元件被组合和/或划分的实施方式属于本公开。
以下，将参照附图详细描述本公开的实施方式。另外，贯穿附图，相似的标号用于指示相似的元件，并且将省略对相似元件的相同描述。
在本公开中，视频可指随时间推移的一系列图像。画面通常是指表示特定时区中的一个图像的单元，切片是在编码中构成画面的部分的单元。一个画面可包括多个切片或拼块组，并且如果需要，画面、切片和拼块组可彼此混合并使用。在本文献中，图像可以是静止图像，或者可表示构成视频的特定时间的图像。以下，图像编码可与视频编码混合。另外，图像编码可与画面编码或帧编码混合。
像素或画素(pal)可指构成一个画面(或图像)的最小单元。此外，“样本”可用作与像素对应的术语。样本通常可表示像素或像素的值，可仅表示亮度分量的像素(像素值)，并且可仅表示色度分量的像素(像素值)。
单元表示图像处理的基本单元。单元可包括画面的特定区域以及与该区域有关的信息中的至少一个。在一些情况下，单元可与诸如块或区域的术语可互换地使用。另选地，单元可包括亮度分量块cb和色度分量块cr。在一般情况下，M×N块可表示包括M列和N行的样本或变换系数的集合。
图1是示意性地示出可应用本公开的视频/图像编码设备的配置的图。以下，视频编码设备可包括图像编码设备。
参照图1，视频编码设备100可包括画面分割器105、预测器110、残差处理器120、熵编码器130、加法器140、滤波器150和存储器160。残差处理器120可包括减法器121、变换器122、量化器123、重排器124、解量化器125、逆变换器126。
画面分割器105可将输入的画面分割成至少一个处理单元。
作为示例，处理单元可被称为编码单元(CU)。在这种情况下，编码单元可根据四叉树二叉树(QTBT)结构从最大编码单元(LCU)递归地拆分。例如，一个编码单元可基于四叉树结构、二叉树结构和/或三叉树结构被划分成深度更深的多个编码单元。在这种情况下，例如，可首先应用四叉树结构，稍后可应用二叉树结构和三叉树结构。另选地，可首先应用二叉树结构/三叉树结构。可基于不再进一步拆分的最终编码单元来执行根据本公开的编码过程。在这种情况下，最大编码单元可根据图像特性基于编码效率直接用作最终编码单元，或者如果需要，编码单元可被递归地拆分成深度更深的编码单元并且具有最优尺寸的编码单元可用作最终编码单元。这里，编码过程可包括将稍后描述的预测、变换和重构的过程。
在另一示例中，处理单元可包括编码单元(CU)、预测单元(PU)或变换单元(TU)。可根据四叉树结构将编码单元从最大编码单元(LCU)拆分成深度更深的编码单元。在这种情况下，可根据图像特性基于编码效率等将最大编码单元直接用作最终编码单元，或者可在必要时将编码单元递归地拆分成深度更深的编码单元并且具有最优尺寸的编码单元可用作最终编码单元。当设定最小编码单元(SCU)时，编码单元可不被拆分成比最小编码单元更小的编码单元。这里，最终编码单元是指被分割或拆分成预测单元或变换单元的编码单元。预测单元是从编码单元分割的单元，并且可以是样本预测的单元。这里，预测单元可被划分成子块。变换单元可根据四叉树结构从编码单元划分并且可以是用于推导变换系数的单元和/或用于从变换系数推导残差信号的单元。以下，编码单元可被称为编码块(CB)，预测单元可被称为预测块(PB)，并且变换单元可被称为变换块(TB)。预测块或预测单元可指画面中的块形式的特定区域并且包括预测样本的阵列。另外，变换块或变换单元可指画面中的块形式的特定区域并且包括变换系数或残差样本的阵列。
预测器110可对处理目标块(以下，当前块)执行预测，并且可生成包括当前块的预测样本的预测块。在预测器110中执行的预测的单元可以是编码块，或者可以是变换块，或者可以是预测块。
预测器110可确定对当前块是应用帧内预测还是应用帧间预测。例如，预测器110可以CU为单位确定应用帧内预测还是帧间预测。
在帧内预测的情况下，预测器110可基于当前块所属的画面(以下，当前画面)中当前块之外的参考样本来推导当前块的预测样本。在这种情况下，预测器110可基于当前块的邻近参考样本的平均或插值来推导预测样本(情况(i))，或者可基于当前块的邻近参考样本当中关于预测样本存在于特定(预测)方向上的参考样本来推导预测样本(情况(ii))。情况(i)可被称为非定向模式或非角度模式，情况(ii)可被称为定向模式或角度模式。在帧内预测中，作为示例，预测模式可包括33种定向模式和至少两种非定向模式。非定向模式可包括DC模式和平面模式。预测器110可使用应用于邻近块的预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器110可基于参考画面上运动向量所指定的样本来推导当前块的预测样本。预测器110可通过应用跳过模式、合并模式和运动向量预测(MVP)模式中的任一种来推导当前块的预测样本。在跳过模式和合并模式的情况下，预测器110可将邻近块的运动信息用作当前块的运动信息。在跳过模式的情况下，与合并模式不同，不发送预测样本与原始样本之间的差(残差)。在MVP模式的情况下，邻近块的运动向量用作运动向量预测器，因此用作当前块的运动向量预测器以推导当前块的运动向量。
在帧间预测的情况下，邻近块可包括存在于当前画面中的空间邻近块和存在于参考画面中的时间邻近块。包括时间邻近块的参考画面也可被称为并置画面(colPic)。运动信息可包括运动向量和参考画面索引。诸如预测模式信息和运动信息的信息可被(熵)编码，然后作为比特流的形式输出。
当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考画面列表中的最高画面可用作参考画面。可基于当前画面与对应参考画面之间的画面序号(POC)差来使包括在参考画面列表中的参考画面对齐。POC对应于显示顺序并且可与编码顺序相区分。
减法器121生成作为原始样本与预测样本之间的差的残差样本。如果应用跳过模式，则可不如上所述生成残差样本。
变换器122以变换块为单位变换残差样本以生成变换系数。变换器122可基于对应变换块的尺寸和应用于与变换块空间交叠的预测块或编码块的预测模式来执行变换。例如，如果对与变换块交叠的预测块或编码块应用帧内预测，则可使用离散正弦变换(DST)变换核来变换残差样本，并且变换块是4×4残差阵列并且在其它情况下使用离散余弦变换(DCT)变换核来变换。
量化器123可将变换系数量化以生成量化的变换系数。
重排器124对量化的变换系数进行重排。重排器124可通过系数扫描方法将块形式的量化的变换系数重排成一维向量。尽管重排器124被描述为单独的组件，但是重排器124可以是量化器123的一部分。
熵编码器130可对量化的变换系数执行熵编码。例如，熵编码可包括诸如指数Golomb、上下文自适应可变长度编码(CAVLC)、上下文自适应二进制算术编码(CABAC)等的编码方法。熵编码器130可根据熵编码或预定方法一起或单独地对量化的变换系数(例如，语法元素的值)以外的视频重构所需的信息进行编码。可按照比特流的形式以网络抽象层(NAL)为单位发送或存储编码的信息。比特流可经由网络发送或者可被存储在数字存储介质中。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。
解量化器125对由量化器123量化的值(变换系数)进行解量化，并且逆变换器126对由解量化器125解量化的值进行逆变换以生成残差样本。
加法器140将残差样本与预测样本相加以重构画面。可以块为单位将残差样本与预测样本相加以生成重构块。尽管加法器140被描述为单独的组件，但是加法器140可以是预测器110的一部分。此外，加法器140可被称为重构器或重构块生成器。
滤波器150可对重构画面应用去块滤波和/或样本自适应偏移。可通过去块滤波和/或样本自适应偏移来校正重构画面中的块边界处的伪像或量化中的失真。在去块滤波完成之后，可以样本为单位应用样本自适应偏移。滤波器150可对重构画面应用自适应环路滤波器(ALF)。可对已应用了去块滤波和/或样本自适应偏移的重构画面应用ALF。
存储器160可存储重构画面(解码画面)或编码/解码所需的信息。这里，重构画面可以是通过滤波器150滤波的重构画面。所存储的重构画面可用作用于其它画面的(帧间)预测的参考画面。例如，存储器160可存储用于帧间预测的(参考)画面。这里，可根据参考画面集或参考画面列表来指定用于帧间预测的画面。
图2是示意性地示出可应用本公开的视频/图像解码设备的配置的图。以下，视频解码设备可包括视频解码设备。
参照图2，视频解码设备200可包括熵解码器210、残差处理器220、预测器230、加法器240、滤波器250和存储器260。残差处理器220可包括重排器221、解量化器222和逆变换器223。另外，尽管未示出，视频解码设备200可包括接收包括视频信息的比特流的接收器。接收器可被配置成单独的模块或者可被包括在熵解码器210中。
当输入包括视频/图像信息的比特流时，视频解码设备200可根据在视频编码设备中处理视频/图像信息的处理来重构视频/图像/画面。
例如，视频解码设备200可使用视频编码设备中应用的处理单元来执行视频解码。因此，视频解码的处理单元块可以是例如编码单元，并且在另一示例中可以是编码单元、预测单元或变换单元。可根据四叉树结构、二叉树结构和/或三叉树结构从最大编码单元拆分编码单元。
在一些情况下还可使用预测单元和变换单元，并且在这种情况下，预测块是从编码单元推导或分割的块并且可以是样本预测的单元。这里，预测单元可被划分成子块。变换单元可根据四叉树结构从编码单元拆分并且可以是推导变换系数的单元或者从变换系数推导残差信号的单元。
熵解码器210可解析比特流以输出视频重构或画面重构所需的信息。例如，熵解码器210可基于诸如指数Golomb编码、CAVLC、CABAC等的编码方法对比特流中的信息进行解码，并且可输出视频重构所需的语法元素的值和关于残差的变换系数的量化值。
更具体地，CABAC熵解码方法可接收与比特流中的各个语法元素对应的信元(bin)，使用解码目标语法元素信息和邻近和解码目标块的解码信息或先前步骤中解码的符号/信元的信息来确定上下文模型，根据所确定的上下文模型来预测信元生成概率，并且执行信元的算术解码以生成与各个语法元素值对应的符号。这里，CABAC熵解码方法可在确定上下文模型之后使用针对下一符号/信元的上下文模型解码的符号/信元的信息来更新上下文模型。
在熵解码器210中解码的信息当中关于预测的信息可被提供到预测器250，并且已由熵解码器210执行了熵解码的残差值(即，量化的变换系数)可被输入到重排器221。
重排器221可将量化的变换系数重排为二维块形式。重排器221可执行与编码设备所执行的系数扫描对应的重排。尽管重排器221被描述为单独的组件，但是重排器221可以是解量化器222的一部分。
解量化器222可基于(逆)量化参数对量化的变换系数进行解量化以输出变换系数。在这种情况下，可从编码设备用信号通知用于推导量化参数的信息。
逆变换器223可对变换系数进行逆变换以推导残差样本。
预测器230可对当前块执行预测，并且可生成包括当前块的预测样本的预测块。在预测器230中执行的预测的单元可以是编码块或者可以是变换块或者可以是预测块。
预测器230可基于关于预测的信息来确定是应用帧内预测还是帧间预测。在这种情况下，用于确定在帧内预测和帧间预测之间将使用哪一种的单元可不同于用于生成预测样本的单元。另外，在帧间预测和帧内预测中，用于生成预测样本的单元也可以不同。例如，可以CU为单位确定在帧间预测和帧内预测之间将应用哪一种。此外，例如，在帧间预测中，可通过以PU为单位确定预测模式来生成预测样本，而在帧内预测中，可通过以PU为单位确定预测模式来以TU为单位生成预测样本。
在帧内预测的情况下，预测器230可基于当前画面中的邻近参考样本来推导当前块的预测样本。预测器230可通过基于当前块的邻近参考样本应用定向模式或非定向模式来推导当前块的预测样本。在这种情况下，可使用邻近块的帧内预测模式来确定要应用于当前块的预测模式。
在帧间预测的情况下，预测器230可基于根据运动向量在参考画面中指定的样本来推导当前块的预测样本。预测器230可使用跳过模式、合并模式和MVP模式中的一种来推导当前块的预测样本。这里，可基于关于预测的信息来获取或推导视频编码设备所提供的当前块的帧间预测所需的运动信息(例如，运动向量和关于参考画面索引的信息)。
在跳过模式和合并模式下，邻近块的运动信息可用作当前块的运动信息。这里，邻近块可包括空间邻近块和时间邻近块。
预测器230可使用可用邻近块的运动信息来构造合并候选列表，并且使用合并候选列表上由合并索引指示的信息作为当前块的运动向量。合并索引可由编码设备用信号通知。运动信息可包括运动向量和参考画面。当在跳过模式和合并模式下使用时间邻近块的运动信息时，参考画面列表中的最高画面可用作参考画面。
在跳过模式的情况下，与合并模式相区分，不发送预测样本与原始样本之间的差(残差)。
在MVP模式的情况下，可使用邻近块的运动向量作为运动向量预测器来推导当前块的运动向量。这里，邻近块可包括空间邻近块和时间邻近块。
例如，当应用合并模式时，可使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成合并候选列表。在合并模式下，从合并候选列表选择的候选块的运动向量用作当前块的运动向量。上述关于预测的信息可包括合并索引，该合并索引指示从合并候选列表中所包括的候选块选择的具有最佳运动向量的候选块。这里，预测器230可使用合并索引来推导当前块的运动向量。
当作为另一示例应用MVP(运动向量预测)模式时，可使用重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量来生成运动向量预测器候选列表。即，重构的空间邻近块的运动向量和/或与作为时间邻近块的Col块对应的运动向量可用作运动向量候选。上述关于预测的信息可包括指示从列表中所包括的运动向量候选选择的最佳运动向量的预测运动向量索引。这里，预测器230可使用运动向量索引来从运动向量候选列表中所包括的运动向量候选选择当前块的预测运动向量。编码设备的预测器可获得当前块的运动向量与运动向量预测器之间的运动向量差(MVD)，对MVD进行编码，并且以比特流的形式输出编码的MVD。即，MVD可通过从当前块的运动向量减去运动向量预测器来获得。这里，预测器230可获取关于预测的信息中所包括的运动向量，并且通过将运动向量差与运动向量预测器相加来推导当前块的运动向量。另外，预测器可从上述关于预测的信息获得或推导指示参考画面的参考画面索引。
加法器240可将残差样本与预测样本相加以重构当前块或当前画面。加法器240可通过以块为单位将残差样本与预测样本相加来重构当前画面。当应用跳过模式时，不发送残差，因此预测样本可成为重构样本。尽管加法器240被描述为单独的组件，但是加法器240可以是预测器230的一部分。此外，加法器240可被称为重构器或重构块生成器。
滤波器250可对重构画面应用去块滤波、样本自适应偏移和/或ALF。这里，在去块滤波之后，可以样本为单位应用样本自适应偏移。可在去块滤波和/或应用样本自适应偏移之后应用ALF。
存储器260可存储重构画面(解码画面)或解码所需的信息。这里，重构画面可以是通过滤波器250滤波的重构画面。例如，存储器260可存储用于帧间预测的画面。这里，可根据参考画面集或参考画面列表来指定用于帧间预测的画面。重构画面可用作其它画面的参考画面。存储器260可按输出顺序输出重构画面。
此外，在帧间预测的情况下，已提出了考虑图像的失真的帧间预测方法。具体地，已提出了仿射运动模型以高效地推导当前块的子块或样本点的运动向量并增加帧间预测的精度，而不管图像旋转、放大或缩小的变形。即，已提出了推导当前块的子块或样本点的运动向量的仿射运动模型。使用仿射运动模型的预测可被称为仿射帧间预测或仿射运动预测。
例如，如下所述，使用仿射运动模型的仿射帧间预测可高效地表达四个运动，即，四个变形。
图3示出通过仿射运动模型表达的运动。参照图3，可通过仿射运动模型表示的运动可包括平移运动、缩放运动、旋转运动和剪切运动。即，如图3所示可有效地表示图像(的一部分)根据时间流逝缩放的缩放运动、图像(的一部分)根据时间流逝旋转的旋转运动和图像(的一部分)根据时间流逝按平行四边形变形的剪切运动以及图3所示的图像(的一部分)根据时间流逝平面移动的平移运动。
编码设备/解码设备可通过仿射帧间预测基于当前块的控制点(CP)处的运动向量来预测图像的失真形状，可通过增加预测的精度来改进图像的压缩性能。另外，由于可使用当前块的邻近块的运动向量来推导当前块的至少一个控制点的运动向量，所以关于附加信息的数据量的负担可降低，并且帧间预测效率可大大改进。
作为仿射帧间预测的示例，可能需要三个控制点(即，三个参考点)的运动信息。
图4示出使用三个控制点的运动向量的仿射运动模型。
如图4所示，当当前块400中的左上样本位置是(0,0)时，样本位置(0,0)、(w,0)和(0,h)可被定义为控制点。以下，样本位置(0,0)的控制点可被表示为CP0，样本位置(w,0)的控制点可被表示为CP1，样本位置(0,h)的控制点可被表示为CP2。
可使用上述控制点和对应控制点的运动向量来推导用于仿射运动模型的方程。用于仿射运动模型的方程可如下表达。
[方程1]
Figure BDA0002966098070000111
这里，w表示当前块400的宽度，h表示当前块400的高度，v0x和v0y分别表示CP0的运动向量的x分量和y分量，v1x和v1y分别表示CP1的运动向量的x分量和y分量，v2x和v2y分别表示CP2的运动向量的x分量和y分量。另外，x表示当前块400中的目标样本的位置的x分量，y表示当前块400中的目标样本的位置的y分量，vx表示当前块400中的目标样本的运动向量的x分量，vy表示当前块400中的目标样本的运动向量的y分量。
由于CP0的运动向量、CP1的运动向量和CP2的运动向量已知，所以可基于方程1来推导基于当前块中的样本位置的运动向量。即，根据仿射运动模型，可基于目标样本和三个控制点的坐标(x,y)之间的距离比来缩放控制点处的运动向量v0(v0x,v0y)、v1(v1x,v1y)和v2(v2x,v2y)，以根据目标样本的位置推导目标样本的运动向量。即，根据仿射运动模型，可基于控制点的运动向量来推导当前块中的各个样本的运动向量。此外，根据仿射运动模型推导的当前块中的样本的运动向量的集合可被称为仿射运动向量场(MVF)。
此外，如下面的方程1所示，方程1的六个参数可由a、b、c、d、e和f表示，并且由这六个参数表示的用于仿射运动模型的方程可如下。
[方程2]
Figure BDA0002966098070000121
c＝v0x
Figure BDA0002966098070000122
f＝v0y
Figure BDA0002966098070000123
这里，w表示当前块400的宽度，h表示当前块400的高度，v0x和v0y表示CP0的运动向量的x分量、y分量，v1x和v1y分别表示CP1的运动向量的x分量和y分量，v2x和v2y分别表示CP2的运动向量的x分量和y分量。另外，x表示当前块400中的目标样本的位置的x分量，y表示当前块400中的目标样本的位置的y分量，vx表示当前块400中的目标样本的运动向量的x分量，vy表示当前块400中的目标样本的运动向量的y分量。
使用六个参数的仿射运动模型或仿射帧间预测可被称为6参数仿射运动模型或AF6。
另外，作为仿射帧间预测的示例，可能需要两个控制点(即，两个参考点)的运动信息。
图5示出使用两个控制点的运动向量的仿射运动模型。使用两个控制点的仿射运动模型可表示包括平移运动、缩放运动和旋转运动的三个运动。表示这三个运动的仿射运动模型可被称为相似性仿射运动模型或简化仿射运动模型。
如图5所示，当当前块500中的左上样本位置为(0,0)时，样本位置(0,0)和(w,0)可被定义为控制点。以下，样本位置(0,0)的控制点可被表示为CP0，样本位置(w,0)的控制点可被表示为CP1。
可使用上述控制点和对应控制点的运动向量来推导用于仿射运动模型的方程。用于仿射运动模型的方程可如下表达。
[方程3]
Figure BDA0002966098070000131
这里，w表示当前块500的宽度，v0x和v0y分别表示CP0的运动向量的x和y分量，v1x和v1y表示CP1的运动向量的x和y分量。另外，x表示当前块500中的目标样本的位置的x分量，y表示当前块500中的目标样本的位置的y分量，vx表示当前块500中的目标样本的运动向量的x分量，vy表示当前块500中的目标样本的运动向量的y分量。
此外，如下面的方程中一样，方程3的四个参数可由a、b、c和d表示，由这四个参数表示的用于仿射运动模型的方程可如下。
[方程4]
Figure BDA0002966098070000132
c＝v0x d＝v0y
Figure BDA0002966098070000133
这里，w表示当前块500的宽度，v0x和v0y分别表示CP0的运动向量的x和y分量，v1x和v1y分别表示CP1的运动向量的x和y分量。另外，x表示当前块500中的目标样本的位置的x分量，y表示当前块500中的目标样本的位置的y分量，vx表示当前块500中的目标样本的运动向量的x分量，vy表示当前块500中的目标样本的运动向量的y分量。如方程4所示，使用两个控制点的仿射运动模型可由四个参数a、b、c和d表示，因此，使用四个参数的仿射运动模型或仿射帧间预测可被称为4参数仿射运动模型或AF4。即，根据仿射运动模型，可基于控制点的运动向量来推导当前块中的各个样本的运动向量。此外，根据仿射运动模型推导的当前块中的样本的运动向量的集合可被称为仿射运动向量场(MVF)。
此外，如上所述，可通过仿射运动模型来推导样本单元的运动向量，因此帧间预测的精度可显著改进。然而，在这种情况下，运动补偿处理的复杂度可显著增加。
因此，可限制为使得推导当前块的子块单元的运动向量，而非推导样本单元的运动向量。
图6示出基于仿射运动模型以子块为基础推导运动向量的方法。图6示出当前块的尺寸为16×16并且以4×4子块为单位推导运动向量的情况。子块可被设定为各种尺寸。例如，当子块被设定为n×n尺寸(n是正整数，例如n为4)时，可基于仿射运动模型在当前块中以n×n子块为单位推导运动向量，并且可应用推导表示各个子块的运动向量的各种方法。
例如，参照图6，可使用各个子块的中心或右下侧样本位置作为代表性坐标来推导各个子块的运动向量。这里，中心右下位置可指示位于子块的中心的四个样本当中位于右下侧的样本位置。例如，当n是奇数时，一个样本可位于子块的中心，并且在这种情况下，中心样本位置可用于推导子块的运动向量。然而，当n是偶数时，四个样本可与子块的中心相邻，并且在这种情况下，右下样本位置可用于推导运动向量。例如，参照图6，各个子块的代表性坐标可被推导为(2,2)、(6,2)、(10,2)、...、(14,14)，并且编码设备/解码设备可通过将子块的各个代表性坐标代入上述方程1或3来推导各个子块的运动向量。通过仿射运动模型推导的当前块中的子块的运动向量可被称为仿射MVF。
此外，作为示例，当前块中的子块的尺寸可基于下面的方程来推导。
[方程5]
Figure BDA0002966098070000141
这里，M表示子块的宽度，N表示子块的高度。另外，v0x和v0y表示当前块的CPMV0的x分量和y分量，v1x和v1y表示当前块的CPMV1的x分量和y分量，w表示当前块的宽度，h表示当前块的高度，MvPre表示运动向量分数精度。例如，运动向量分数精度可被设定为1/16。
此外，在使用上述仿射运动模型的帧间预测中，即，仿射运动预测可具有仿射合并模式AF_MERGE和仿射帧间模式AF_INTER。这里，仿射帧间模式可被称为仿射MVP模式AF_MVP。
仿射合并模式类似于现有合并模式，不发送控制点的运动向量的MVD。即，类似于所有跳过/合并模式，仿射合并模式可指通过从当前块的邻近块推导两个或三个控制点中的每一个的CPMV来执行预测的编码/解码方法。
例如，当对当前块应用AF_MRG模式时，可从当前块的邻近块当中应用仿射模式的邻近块推导CP0和CP1的MV(即，CPMV0和CPMV1)。即，应用仿射模式的邻近块的CPMV0和CPMV1可被推导为合并候选，并且合并候选可被推导为当前块的CPMV0和CPMV1。
仿射帧间模式可表示通过推导控制点的运动向量的运动向量预测器(MVP)，基于运动向量差(MOD)和MVP驱动控制点的运动向量，并且基于控制点的运动向量驱动当前块的仿射MVF来基于仿射MVP执行预测的帧间预测。这里，控制点的运动向量可被表示为控制点运动向量(CPMV)，控制点的MVP可被表示为控制点运动向量预测器(CPMVP)，控制点的MVD可被表示为控制点运动向量差(CPMVD)。具体地，例如，编码设备可推导CP0和CP1(或CP0、CP1和CP2)中的每一个的控制点运动向量预测器(CPMVP)和控制点运动向量(CPMV)，并且发送或存储关于CPMVP和/或CPMVD(CPMVP和CPMV之间的差)的信息。
这里，当对当前块应用仿射帧间模式时，编码设备/解码设备可基于当前块的邻近块来构造仿射MVP候选列表，仿射MVP候选可被称为CPMVP对候选，仿射MVP候选列表可被称为CPMVP候选列表。
另外，各个仿射MVP候选在4参数仿射运动模型中可指CP0和CP1的CPMVP的组合，在6参数仿射运动模型中可指CP0、CP1和CP2的CPMVP的组合。
图7是示出根据本公开的实施方式的仿射运动预测方法的流程图。
参照图7，仿射运动预测方法可表示如下。当仿射运动预测方法开始时，首先，可获得CPMV对(S700)。这里，当使用4参数仿射模型时，CPMV对可包括CPMV0和CPMV1。
此后，可基于CPMV对执行仿射运动补偿(S710)，并且仿射运动预测可终止。
另外，可存在两个仿射预测模式以确定CPMV0和CPMV1。这里，这两个仿射预测模式可包括仿射帧间模式和仿射合并模式。在仿射帧间模式下，可通过用信号通知CPMV0和CPMV1的两个运动向量差(MVD)信息来清楚地确定CPMV0和CPMV1。此外，在仿射合并模式下，可推导CPMV对而无需MVD信息信令。
换言之，在仿射合并模式下，可使用在仿射模式下编码的邻近块的CPMV来推导当前块的CPMV，并且在以子块为单位确定运动向量的情况下，仿射合并模式可被称为子块合并模式。
在仿射合并模式下，编码设备可用信号通知解码设备在仿射模式下编码的邻近块的索引以用于推导当前块的CPMV，并且还可用信号通知邻近块的CPMV和当前块的CPMV之间的差值。这里，在仿射合并模式下，可基于邻近块来构造仿射合并候选列表，并且邻近块的索引可表示仿射合并候选列表上要参考以便推导当前块的CPMV的邻近块。仿射合并候选列表可被称为子块合并候选列表。
仿射帧间模式可被称为仿射MVP模式。在仿射MVP模式下，可基于控制点运动向量预测器(CPMVP)和控制点运动向量差(CPMVD)来推导当前块的CPMV。换言之，编码设备可确定当前块的CPMV的CPMVP，推导作为当前块的CPMV与CPMVP之间的差的CPMVD，并且用信号通知解码设备关于CPMVP的信息和关于CPMVD的信息。这里，仿射MVP模式可基于邻近块来构造仿射MVP候选列表，并且关于CPMVP的信息可表示仿射MVP候选列表上要参考以推导当前块的CPMV的CPMVP的邻近块。仿射MVP候选列表可被称为控制点运动向量预测器候选列表。
此外，例如，当对当前块应用仿射合并模式时，当前块可如下所述编码。
编码设备/解码设备可构造包括当前块的仿射合并候选的仿射合并候选列表并且基于仿射合并候选列表的仿射合并候选之一来推导当前块的CP的CPMV。编码设备/解码设备可基于CPMV来推导当前块的预测样本，并且基于推导的预测样本来生成当前块的重构画面。
具体地，仿射合并候选列表可如下构造。
图8示出构造当前块的仿射合并候选列表的示例。
参照图8，编码设备/解码设备可将继承的仿射候选添加到仿射合并候选列表(S800)。
详细地，编码设备/解码设备可基于当前块的邻近块来推导继承的仿射候选。这里，邻近块可包括当前块的左下角邻近块A0、左邻近块A1、上邻近块B0、右上角邻近块B1和左上角邻近块B2。
图9示出用于推导继承的仿射候选的当前块的邻近块。参照图9，当前块的邻近块包括当前块的左下角邻近块A0、当前块的左邻近块A1、当前块的上邻近块B0、当前块的右上角邻近块B1和当前块的左上角邻近块B2。
例如，当当前块的尺寸为W×H并且当前块的左上样本位置的x分量为0，y分量为0时，左邻近块可以是包括坐标(-1,H-1)的样本的块，上邻近块可以是包括坐标(W-1,-1)的样本的块，右上角邻近块可以是包括坐标(W,-1)的样本的块，左下角邻近块可以是包括坐标(-1,H)的样本的块，左上角邻近块可以是包括坐标(-1,-1)的样本的块。
继承的仿射候选可基于在仿射模式下编码的有效外围重构块来推导。例如，编码设备/解码设备可依次检查邻近块A0、A1、B0、B1和B2，并且如果邻近块在仿射模式下编码(即，如果邻近块是使用仿射运动模型有效重构的邻近块)，则编码设备/解码设备可基于邻近块的仿射运动模型为当前块推导两个CPMV或三个CPMV，并且这些CPMV可被推导为当前块的继承的仿射候选。例如，最多五个继承的仿射候选可被添加到仿射合并候选列表。即，可基于邻近块推导至多五个继承的仿射候选。
此后，编码设备/解码设备可将构造的仿射候选添加到仿射合并候选列表(S810)。
例如，当仿射合并候选列表上的仿射候选的数量少于五个时，构造的仿射候选可被添加到仿射合并候选列表。构造的仿射候选可表示通过将当前块的各个CP的外围运动信息(即，运动向量和参考画面索引)组合而生成的仿射候选。可基于对应CP的空间邻近块或时间邻近块来推导各个CP的运动信息。各个CP的运动信息可被表示为对应CP的候选运动向量。
图10示出用于推导构造的仿射候选的当前块的邻近块。
参照图10，邻近块可包括空间邻近块和时间邻近块。空间邻近块可包括邻近块A0、邻近块A1、邻近块A2、邻近块B0、邻近块B1、邻近块B2和邻近块B3。图10所示的邻近块T可表示时间邻近块。
这里，邻近块B2可表示位于当前块的左上样本位置的左上端的邻近块，邻近块B3可表示位于当前块的左上样本位置的顶部的邻近块，邻近块A2可表示位于当前块的左上样本位置的左端的邻近块。另外，邻近块B1可表示位于当前块的右上样本位置的顶部的邻近块，邻近块B0可表示位于当前块的右上样本位置的右上端的邻近块。另外，邻近块A1可表示位于当前块的左下样本位置的左端的邻近块，邻近块A0可表示位于当前块的左下样本位置的左下端的邻近块。
另外，参照图10，当前块的CP可包括CP1、CP2、CP3和/或CP4。CP1可表示当前块的左上位置，CP2可表示当前块的右上位置，CP3可表示当前块的左下位置，CP4可表示当前块的右下位置。例如，当当前块的尺寸为W×H并且当前块的左上样本位置的x分量为0，y分量为0时，CP1可表示坐标(0,0)的位置，CP2可表示坐标(W,0)的位置，CP3可表示坐标(0,H)的位置，CP4可表示坐标(W,H)的位置。此外，图10所示的CP1可表示上述CP0，图10所示的CP2可表示上述CP1，图10所示的CP3可表示上述CP2。
上述CP中的每一个的候选运动向量可如下推导。
例如，编码设备/解码设备可根据第一顺序来检查第一组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP1的候选运动向量。即，CP1的候选运动向量可以是通过按第一顺序检查第一组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块的运动向量。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，例如，第一组可包括邻近块B2、邻近块B3和邻近块A2。第一顺序可以是从第一组中的邻近块B2到邻近块B3和邻近块A2的顺序。例如，当邻近块B2可用时，邻近块B2的运动向量可被推导为CP1的候选运动向量。当邻近块B2不可用并且邻近块B3可用时，邻近块B3的运动向量可被推导为CP1的候选运动向量。当邻近块B2和邻近块B3不可用并且邻近块A2可用时，邻近块A2的运动向量可被推导为CP1的候选运动向量。
另外，例如，编码设备/解码设备可根据第二顺序检查第二组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP2的候选运动向量。即，CP2的候选运动向量可以是通过按第二顺序检查第二组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块的运动向量。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第二组可包括邻近块B1和邻近块B0。第二顺序可以是从第二组中的邻近块B1到邻近块B0的顺序。例如，当邻近块B1可用时，邻近块B1的运动向量可被推导为CP2的候选运动向量。当邻近块B1不可用并且邻近块B0可用时，邻近块B0的运动向量可被推导为CP2的候选运动向量。
另外，例如，编码设备/解码设备可根据第三顺序检查第三组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP3的候选运动向量。即，CP3的候选运动向量可以是通过按第三顺序检查第三组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块的运动向量。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第三组可包括邻近块A1和邻近块A0。第三顺序可以是从第三组中的邻近块A1到邻近块A0的顺序。例如，当邻近块A1可用时，邻近块A1的运动向量可被推导为CP3的候选运动向量。当邻近块A1不可用并且邻近块A0可用时，邻近块A0的运动向量可被推导为CP3的候选运动向量。
此外，例如，编码设备/解码设备可检查时间邻近块(即，邻近块T)是否可用，并且当时间邻近块(即，邻近块T)可用时，编码设备/解码设备可将时间邻近块(即，邻近块T)的运动向量推导为CP4的候选运动向量。
CP1的候选运动向量、CP2的候选运动向量、CP3的候选运动向量和/或CP4的候选运动向量的组合可被推导为构造的仿射候选。
例如，如上所述，六个仿射模型需要三个CP的运动向量。可为六个仿射模型选择CP1、CP2、CP3和CP4当中的三个CP。例如，CP可选自{CP1,CP2,CP4}、{CP1,CP2,CP3}、{CP2,CP3,CP4}和{CP1,CP3,CP4}之一。例如，六个仿射模型可使用CP1、CP2和CP3来配置。在这种情况下，CP可被称为{CP1,CP2,CP3}。
另外，例如，如上所述，4个仿射模型需要两个CP的运动向量。可为四个仿射模型选择CP1、CP2、CP3和CP4当中的两个CP。例如，CP可选自{CP1,CP4}、{CP2,CP3}、{CP1,CP2}、{CP2,CP4}、{CP1,CP3}和{CP3,CP4}之一。例如，四个仿射模型可使用CP1和CP2来配置。在这种情况下，CP可被称为{CP1,CP2}。
作为候选运动向量的组合的构造的仿射候选可按以下顺序添加到仿射合并候选列表。即，在推导CP的候选运动向量之后，可按以下顺序推导构造的仿射候选。
{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4}、{CP1,CP2}、{CP1,CP3}、{CP2,CP3}、{CP1,CP4}、{CP2,CP4}、{CP3,CP4}
即，例如，包括CP1的候选运动向量、CP2的候选运动向量、CP3的候选运动向量的构造的仿射候选、包括CP1的候选运动向量、CP2的候选运动向量和CP4的候选运动向量的构造的仿射候选、包括CP1的候选运动向量、CP3的候选运动向量和CP4的候选运动向量的构造的仿射候选、包括CP2的候选运动向量、CP3的候选运动向量和CP4的候选运动向量的构造的仿射候选、包括CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选、包括CP1的候选运动向量和CP3的候选运动向量的构造的仿射候选、包括CP2的候选运动向量和CP3的候选运动向量的构造的仿射候选、包括CP1的候选运动向量和CP4的候选运动向量的构造的仿射候选、包括CP2的候选运动向量和CP4的候选运动向量的构造的仿射候选以及包括CP3的候选运动向量和CP4的候选运动向量的构造的仿射候选可按此顺序添加到仿射合并候选列表。
此后，编码设备/解码设备可将0运动向量作为仿射候选添加到从属合并候选列表(S820)。
例如，如果仿射合并候选列表中的仿射候选的数量少于五个，则包括0运动向量的仿射候选可被添加到仿射合并候选列表，直至仿射合并候选列表包括最大数量的仿射候选。仿射候选的最大数量可为5。另外，0运动向量可表示向量值为0的运动向量。
此外，如上所述，可构造仿射合并候选列表，并且下表中可示出用于构造仿射合并候选列表的计算。
[表1]
描述 数量 细节
运动模型的参数数量 6
候选列表的长度 5
继承的候选的最大数量 5
构造的候选的最大数量 10
对MV的缩放处理的最大次数 22 12+8+2(表2)
对候选的精简处理的最大次数 50 1+2+3+4*(5+10-4)
表1可示出推导仿射合并候选列表的现有实施方式的计算。参照表1，仿射运动模型的参数的数量为6(即，六仿射运动模型)，仿射候选的数量为5，继承的仿射候选的最大数量为5，并且构造的仿射候选的最大数量可为10。在这种情况下，缩放运动向量的处理可被执行至多22次，精简检查处理可被执行至多50次。此外，精简检查处理可表示确定仿射候选是否与已经推导的仿射候选相同并且仅当不相同时才将其添加到仿射合并候选列表的处理。
下表中可示出在推导仿射候选的过程中缩放运动向量的处理。
[表2]
Figure BDA0002966098070000211
参照表2，可推导在推导仿射候选的过程中缩放运动向量的处理的次数。
另外，下表中可示出根据缩放处理和精简处理的比较处理和划分处理。
[表3]
处理次数 比较次数 划分次数
MV的缩放处理 22 242＝22*11 22＝22*1
候选的精简处理 50 700＝50*14(表4) 0＝50*0
参照表3，可推导缩放处理的次数和根据缩放处理的比较处理和划分处理的数量以及精简处理的次数和根据精简处理的比较处理的次数和划分处理的次数。
另外，在比较两个仿射候选的情况下比较计算的次数可如下表所示。
[表4]
运动模型 比较次数 细节
6参数 14 12(3个CPMV)+2(列表0和列表1的参考索引)
参照表4，比较六仿射运动模型的两个仿射候选的计算次数可被推导为14次。
精简处理和缩放处理的次数可指示计算复杂度。即，在推导上述从属合并候选列表的现有实施方式中，可如表3所示执行大量比较处理和划分处理，并且计算复杂度可较高。因此，需要减少精简处理和缩放处理的次数的努力，因此，本公开提出了减少精简处理和缩放处理的次数并降低计算复杂度的实施方式。
例如，可提出将继承的仿射候选的最大数量限制为1的方法。即，仿射合并候选列表可包括继承的仿射候选，并且继承的仿射候选的最大数量可为1(maxInheritedCandNum＝1)。
例如，可依次检查邻近块，并且可基于首先标识出的仿射块的仿射运动模型来推导继承的仿射候选。此后，不执行推导继承的仿射候选的处理，因此，上述比较操作的数量可减少，并且用于构造仿射合并候选列表的计算的复杂度可降低。
在本实施方式中，用于构造仿射合并候选列表的计算可如下表所示。
[表5]
描述 数量 细节
运动模型的参数数量 6
候选列表的长度 5
继承的候选的最大数量 1
构造的候选的最大数量 10
对MV的缩放处理的最大次数 22 12+8+2(表2)
对候选的精简处理的最大次数 34 1+2+3+4*(1+10-4)
参照表5，继承的仿射候选的最大数量可为1，并且由此，用于候选配置的精简处理的最大次数可被推导为34次。即，与继承的仿射候选的最大数量为5的情况相比，精简处理的次数可减少。
另外，下表中可示出在本实施方式中根据缩放处理和精简处理的比较处理和划分处理。
[表6]
处理次数 比较次数 划分次数
MV的缩放处理 22 242＝22*11 22＝22*1
候选的精简处理 34 476＝34*14(表4) 0＝50*0
参照表6，可推导缩放处理的次数和根据缩放处理的比较处理和划分处理的次数以及精简处理的次数和根据精简处理的比较处理和划分处理的次数。参照表6，根据本实施方式的用于候选配置的精简处理的最大次数可为34次，并且根据精简处理的比较处理的次数可被推导为476次。因此，根据本实施方式，与继承的仿射候选的最大数量为5的现有情况相比，根据精简处理的比较处理的次数可减少。
在另一示例中，可提出一种将继承的仿射候选的最大数量限制为2(maxInheritedCandNum＝2)并且使用HEVC标准中的AMVP候选推导的扫描顺序的方法。即，例如，可提出一种从左块组推导第一继承仿射候选并从上块组推导第二继承仿射候选的方法。
详细地，可按特定顺序检查左块组中的邻近块，并且可基于首先标识出的仿射块的仿射运动模型来推导第一继承仿射候选。这里，左块组可包括当前块的左下角邻近块A0和左邻近块A1，特定顺序可以是从左下角邻近块A0到左邻近块A1的顺序。
另外，可按特定顺序检查上块组中的邻近块，并且可基于首先标识出的仿射块的仿射运动模型来推导第二继承仿射候选。这里，上块组可包括当前块的右上角邻近块B0、上邻近块B1和左上角邻近块B2，特定顺序可以是从右上角邻近块B0到上邻近块B1和左上角邻近块B2的顺序。
在本实施方式中，尽管与继承的仿射候选的最大数量被限制为1的实施方式相比计算复杂度较高，但是其程度较小。另外，计算复杂度远低于构造包括继承的仿射候选的仿射合并候选列表的现有方法。另外，可考虑当前块的上区域和左区域中的每一个的继承的仿射候选，因此可补偿性能劣化。
例如，在本实施方式中，下表中可示出用于构造仿射合并候选列表的计算。
[表7]
描述 数量 细节
运动模型的参数数量 6
候选列表的长度 5
继承的候选的最大数量 2
构造的候选的最大数量 10
对MV的缩放处理的最大次数 22 12+8+2(表2)
对候选的精简处理的最大次数 38 1+2+3+4*(2+10-4)
参照表7，继承的仿射候选的最大数量可为2，因此，用于候选配置的精简处理的最大次数可被推导为38次。与上述将继承的仿射候选的最大数量限制为1的实施方式相比精简处理的次数略微增加(34→38)，但是与继承的仿射候选的最大数量为5的情况相比精简处理的次数可略微减少。
另外，在本实施方式中，下表中可示出根据缩放处理和精简处理的比较处理和划分处理。
[表8]
处理次数 比较次数 划分次数
MV的缩放处理 22 242＝22*11 22＝22*1
候选的精简处理 38 532＝38*14 0＝50*0
参照表8，可推导缩放处理的次数和根据缩放处理的比较处理和划分处理的次数以及精简处理的次数和根据精简处理的比较处理和划分处理的次数。参照表8，根据本实施方式的用于候选配置的精简处理的最大次数可为38次，并且根据精简处理的比较处理的次数可被推导为532次。因此，与上述将继承的仿射候选的最大数量限制为1的实施方式相比精简处理的次数略微增加(476→532)，但是与继承的仿射候选的最大数量为5的现有情况相比根据精简处理的比较处理的次数可略微减少。
此外，例如，可提出一种通过按扫描顺序检查邻近块基于仿射块来推导继承的仿射候选并从不同参考画面的邻近块推导推导的仿射候选的方法。提出此实施方式在于，以相同的参考画面基于邻近块推导的继承的仿射候选可能相同或相似。这里，扫描顺序可为左下角邻近块A0→右上角邻近块B0→左邻近块A1→上邻近块B1→左上角邻近块B2。
例如，根据本实施方式的继承的仿射候选可如下表所示推导。
[表9]
Figure BDA0002966098070000241
参照表9，可按照左下角邻近块A0、右上角邻近块B0、左邻近块A1、上邻近块B1和左上角邻近块B2的顺序检查邻近块。
参照表9，左下角邻近块A0可以是应用了仿射预测的块(即，仿射块)，因此，可推导基于左下角邻近块A0继承的仿射候选。
接下来，右上角邻近块B0可以是应用了仿射预测的块(即，仿射块)，并且可具有与已经推导的继承的仿射候选的左下角邻近块A0的画面索引{0,0}不同的参考画面索引{1,0}。因此，可推导基于右上角邻近块B0继承的仿射候选。
接下来，由于左邻近块A1不是应用了仿射预测的块(即，仿射块)，所以可不推导基于左邻近块A1继承的仿射候选。
接下来，上邻近块B1是应用了仿射预测的块(即，仿射块)，但是其具有与已经推导的继承的仿射候选的左下角邻近块A0的参考画面索引{0,0}相同的参考画面索引{0,0}。因此，可不推导基于上邻近块B1继承的仿射候选。
接下来，左上角邻近块B2可以是应用了仿射预测的块(即，仿射块)，并且可具有与已经推导的继承的仿射候选的参考画面索引不同的参考画面索引{0,1}。因此，可推导基于左上角邻近块B2继承的仿射候选。
此实施方式的计算复杂度可如下表所示。
[表10]
描述 数量 细节
运动模型的参数数量 6
候选列表的长度 5
继承的候选的最大数量 5
构造的候选的最大数量 10
对MV的缩放处理的最大次数 22 12+8+2(表2)
对候选的精简处理的最大次数 49 1+2+3+3+4*(5+10-4-1)
[表11]
处理次数 比较次数 划分次数
MV的缩放处理 22 242＝22*11 22＝22*1
继承的候选的精简处理 9＝1+2+3+3 18＝9*2 0＝50*0
构造的候选的精简处理 40＝4*(5+10-4-1) 560＝40*14
[表12]
运动模型 比较次数 细节
6参数(继承) 2 2(列表0和列表1的参考索引)
6参数(构造) 14 12(3个CPMV)+2(列表0和列表1的参考索引)
如表12所示，根据本实施方式，在比较两个仿射候选的情况下精简处理的次数可从先前实施方式的10减少至2。因此，如表11所示，用于推导继承的仿射候选的比较操作的次数可从140减少至18次，从而降低由于精简检查处理导致的计算复杂度。
另外，本公开提出了在推导构造的仿射候选的过程中降低计算复杂度的实施方式。
此外，可基于CP的候选运动向量来推导构造的仿射候选。可基于邻近块来推导候选运动向量。
例如，可如下选择当前块的CP0的候选运动向量CPMV0、当前块的CP1的候选运动向量CPMV1和当前块的CP2的候选运动向量CPMV2。
[式6]
CPMV0＝{mvA，mvB，mvC}
CPMV1＝{mvD，mvE}
CPMV2＝{mvF，mvG}
这里，CP0可表示当前块的左上位置，CP1可表示当前块的右上位置，CP2可表示当前块的左下位置。
例如，编码设备/解码设备可根据第一顺序检查第一组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP0的候选运动向量。即，CP0的候选运动向量可以是通过按第一顺序检查第一组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，例如，第一组可包括邻近块B2、邻近块B3和邻近块A2。第一顺序可以是从第一组中的邻近块B2到邻近块B3和邻近块A2的顺序。例如，当邻近块B2可用时，邻近块B2的运动向量可被推导为CP0的候选运动向量。当邻近块B2不可用并且邻近块B3可用时，邻近块B3的运动向量可被推导为CP0的候选运动向量。当邻近块B2和邻近块B3不可用并且邻近块A2可用时，邻近块A2的运动向量可被推导为CP0的候选运动向量。此外，邻近块B2可被称为邻近块A，邻近块B3可被称为邻近块B，邻近块A2可被称为邻近块C。
另外，例如，编码设备/解码设备可根据第二顺序检查第二组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP1的候选运动向量。即，CP1的候选运动向量可以是通过按第二顺序检查第二组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第二组可包括邻近块B1和邻近块B0。第二顺序可以是从第二组中的邻近块B1到邻近块B0的顺序。例如，当邻近块B1可用时，邻近块B1的运动向量可被推导为CP1的候选运动向量。当邻近块B1不可用并且邻近块B0可用时，邻近块B0的运动向量可被推导为CP1的候选运动向量。此外，邻近块B1可被称为邻近块D，邻近块B0可被称为邻近块E。
另外，例如，编码设备/解码设备可根据第三顺序检查第三组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP2的候选运动向量。即，CP2的候选运动向量可以是通过按第三顺序检查第三组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第三组可包括邻近块A1和邻近块A0。第三顺序可以是从第三组中的邻近块A1到邻近块A0的顺序。例如，当邻近块A1可用时，邻近块A1的运动向量可被推导为CP2的候选运动向量。当邻近块A1不可用并且邻近块A0可用时，邻近块A0的运动向量可被推导为CP2的候选运动向量。此外，邻近块A1可被称为邻近块F，邻近块A0可被称为邻近块G。
可基于CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量来推导当前块的构造的仿射候选。本公开提出了以下实施方式以降低推导构造的仿射候选的处理的计算复杂度。此外，可不考虑当前块的CP3的候选运动向量。即，可不推导CP3的候选运动向量。这里，CP3可表示当前块的右下位置。如上所述，可基于时间邻近块的运动向量(或时间运动向量预测器(TMVP))来推导CP3，因此，可能需要执行用于推导CP3的候选运动向量的缩放处理，这可能是计算复杂度增加的主要原因。因此，可不推导CP3的候选运动向量。
在推导构造的仿射候选的实施方式中，构造的仿射候选的最大数量可被限制为1，并且构造的仿射候选可被推导为相同参考画面的候选运动向量的组合。例如，如上所述，编码设备/解码设备可根据第一顺序检查第一组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP0的候选运动向量。即，CP0的候选运动向量可以是通过根据第一顺序检查第一组中的邻近块而首先标识出的可用邻近块的运动向量。第一组可包括邻近块A、邻近块B和邻近块C。第一顺序可以是从第一组中的邻近块A到邻近块B和邻近块C的顺序。另外，可用性可指示存在邻近块的运动向量。即，可用性可指示存在邻近块并且邻近块通过帧间预测编码。编码设备/解码设备可将邻近块的参考画面推导为目标参考画面。
此后，编码设备/解码设备可根据第二顺序检查第二组中的邻近块是否可用，并且可将在检查处理中首先标识为可用并且具有与目标参考画面相同的参考画面的邻近块的运动向量推导为CP1的候选运动向量。即，邻近块的参考画面索引可表示目标参考画面索引。第二组可包括邻近块D和邻近块E。第二顺序可以是从第二组中的邻近块D到邻近块E的顺序。
另外，编码设备/解码设备可根据第三顺序检查第三组中的邻近块是否可用，并且可将在检查处理中首先标识为可用并且具有与目标参考画面相同的参考画面的邻近块的运动向量推导为CP2的候选运动向量。即，邻近块的参考画面索引可表示目标参考画面索引。第三组可包括邻近块F和邻近块G。第三顺序可以是从第三组中的邻近块F到邻近块G的顺序。
接下来，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用。当CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量可用时，即，当推导出CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量时，编码设备/解码设备可将{CPMV0,CPMV1,CPMV2}推导为构造的仿射候选。即，构造的仿射候选可包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量。这里，CPMV0可表示CP0的候选运动向量，CPMV1可表示CP1的候选运动向量，CPMV2可表示CP2的候选运动向量。
如果CP0的候选运动向量、CP1的候选运动向量或CP2的候选运动向量中的至少一个不可用，则编码设备/解码设备可确定CP0的候选运动向量和CP1的候选运动向量是否可用。如果CP0的候选运动向量和CP1的候选运动向量可用，即，如果推导出CP0的候选运动向量和CP1的候选运动向量，则编码设备/解码设备可将{CPMV0,CPMV1}推导为构造的仿射候选。即，构造的仿射候选可包括CP0的候选运动向量和CP1的候选运动向量。
如果CP0的候选运动向量和CP1的候选运动向量中的至少一个不可用，则编码设备/解码设备可确定CP0的候选运动向量和CP2的候选运动向量是否可用。如果CP0的候选运动向量和CP2的候选运动向量可用，即，如果推导出CP0的候选运动向量和CP2的候选运动向量，则编码设备/解码设备可将{CPMV0,CPMV2}推导为构造的仿射候选。即，构造的仿射候选可包括CP0的候选运动向量和CP2的候选运动向量。
当上述推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表13]
Figure BDA0002966098070000281
此外，与按照{CPMV0,CPMV1,CPMV2}、{CPMV0,CPMV1}和{CPMV0,CPMV2}的顺序考虑推导为构造的仿射候选的候选运动向量的组合的上述实施方式不同，还可提出一种基于当前块的宽度和高度推导的顺序考虑的方法。
例如，当当前块的宽度大于或等于高度时，编码设备/解码设备可按此顺序确定{CPMV0,CPMV1,CPMV2}、{CPMV0,CPMV1}是否可用并且推导构造的仿射候选。具体地，当当前块的宽度大于或等于高度时，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用。如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选。如果至少一个候选运动向量不可用，则编码设备/解码设备可确定CP0的候选运动向量和CP1的候选运动向量是否可用，并且如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量和CP1的候选运动向量的构造的仿射候选。如果至少一个候选运动向量不可用，则编码设备/解码设备可不推导构造的仿射候选。
另外，例如，当当前块的宽度小于高度时，编码设备/解码设备可按此顺序确定{CPMV0,CPMV1,CPMV2}、{CPMV0,CPMV2}是否可用并且推导构造的仿射候选。具体地，当当前块的宽度小于高度时，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用。如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选。如果至少一个候选运动向量不可用，则编码设备/解码设备可确定CP0的候选运动向量和CP2的候选运动向量是否可用，并且如果候选运动向量可用，编码设备/解码设备可推导包括CP0的候选运动向量和CP2的候选运动向量的构造的仿射候选。如果至少一个候选运动向量不可用，则编码设备/解码设备可不推导构造的仿射候选。
当推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表14]
Figure BDA0002966098070000301
在上述方法中，如果两个CP之间的距离较短，则CP的CPMV可能相似或相同，因此不太可能推导包括这些CPMV的构造的仿射候选。因此，可不考虑这种情况。由于没有考虑上述情况而导致的性能劣化较小并且所需计算可减少。此外，当两个CP彼此远离时，CP的CPMV可能不同并且反映更宽范围的改变。因此，可通过上述方法有效地推导构造的仿射候选。
另外，作为推导构造的仿射候选的实施方式，构造的仿射候选的最大数量可被限制为2，并且构造的仿射候选可被推导为相同参考画面的候选运动向量的组合。例如，如上所述，编码设备/解码设备可基于第一组中的邻近块来推导CP0的候选运动向量，并且生成与第二组中的邻近块相同的参考画面，可基于具有与第二组中的邻近块相同的参考画面的可用邻近块来推导CP1的候选运动向量，并且可基于具有与第三组中的邻近块相同的参考画面的可用邻近块来推导CP2的候选运动向量。
此后，编码设备/解码设备可按此顺序检查{CPMV0,CPMV1,CPMV2}、{CPMV0,CPMV1}、{CPMV0,CPMV2}是否可用，并且推导至多两个构造的仿射候选。
当上述推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表15]
Figure BDA0002966098070000302
参照表15，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用，并且当候选运动向量可用时，编码设备/解码设备可推导包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选。接下来，编码设备/解码设备可确定CP0的候选运动向量和CP1的候选运动向量是否可用，并且如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量和CP1的候选运动向量的构造的仿射候选。此后，编码设备/解码设备可确定所推导的构造的仿射候选的数量是否小于2以及CP0的候选运动向量和CP2的候选运动向量是否可用。如果所推导的构造的候选的数量小于2并且候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量和CP2的候选运动向量的构造的仿射候选。
另外，可提出一种通过按照基于当前块的宽度和高度推导的顺序检查候选运动向量的组合是否可用来推导至多两个构造的仿射候选的方法。
例如，当推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表16]
Figure BDA0002966098070000311
参照表16，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用，并且当候选运动向量可用时，编码设备/解码设备可推导包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选。
接下来，当当前块的宽度大于或等于高度时，编码设备/解码设备可确定CP0的候选运动向量和CP1的候选运动向量是否可用，并且如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量和CP1的候选运动向量的构造的仿射候选。
另选地，当当前块的宽度小于高度时，编码设备/解码设备可确定CP0的候选运动向量和CP2的候选运动向量是否可用，并且如果候选运动向量可用，则编码设备/解码设备可推导包括CP0的候选运动向量和CP2的候选运动向量的构造的仿射候选。
另外，在推导构造的仿射候选的实施方式中，构造的仿射候选的最大数量可被限制为3并且构造的仿射候选可被推导为相同参考画面的候选运动向量的组合。例如，如上所述，编码设备/解码设备可基于第一组中的邻近块来推导CP0的候选运动向量，基于具有与第二组中的邻近块相同的参考画面的可用邻近块来推导CP1的候选运动向量，并且基于具有与第三组中的邻近块相同的参考画面的可用邻近块来推导CP2的候选运动向量。
此后，编码设备/解码设备可按此顺序检查{CPMV0,CPMV1,CPMV2}、{CPMV0,CPMV1}、{CPMV0,CPMV2}是否可用，并且推导至多三个构造的仿射候选。
当上述推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表17]
Figure BDA0002966098070000321
参照表17，编码设备/解码设备可确定CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量是否可用，并且如果候选运动向量可用，则可推导包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量的构造的仿射候选。接下来，编码设备/解码设备可确定CP0的候选运动向量和CP1的候选运动向量是否可用，并且如果候选运动向量可用，则可推导包括CP0的候选运动向量和CP1的候选运动向量的构造的仿射向量。此后，编码设备/解码设备可确定CP0的候选运动向量和CP2的候选运动向量是否可用，并且如果候选运动向量可用，则可推导包括CP0的候选运动向量和CP2的候选运动向量的构造的仿射候选。
另外，可提出实施方式(下面描述)作为推导构造的仿射候选的另一示例。
图11示出推导构造的仿射候选的示例。
参照图11，编码设备/解码设备推导当前块的CP的候选运动向量(S1100)。
例如，编码设备/解码设备可根据第一顺序检查第一组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP0的候选运动向量。即，CP0的候选运动向量可以是通过按第一顺序检查第一组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，例如，第一组可包括邻近块A、邻近块B和邻近块C。第一顺序可以是从第一组中的邻近块A到邻近块B和邻近块C的顺序。例如，当邻近块A可用时，邻近块A的运动向量可被推导为CP0的候选运动向量。当邻近块A不可用并且邻近块B可用时，邻近块B的运动向量可被推导为CP0的候选运动向量。当邻近块A和邻近块B不可用并且邻近块C可用时，邻近块C的运动向量可被推导为CP0的候选运动向量。
另外，例如，编码设备/解码设备可根据第二顺序检查第二组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP1的候选运动向量。即，CP1的候选运动向量可以是通过按第二顺序检查第二组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第二组可包括邻近块D和邻近块E。第二顺序可以是从第二组中的邻近块D到邻近块E的顺序。例如，当邻近块D可用时，邻近块D的运动向量可被推导为CP1的候选运动向量。当邻近块D不可用并且邻近块E可用时，邻近块E的运动向量可被推导为CP1的候选运动向量。
另外，例如，编码设备/解码设备可根据第三顺序检查第三组中的邻近块是否可用，并且将在检查处理中首先标识出的可用邻近块的运动向量推导为CP2的候选运动向量。即，CP2的候选运动向量可以是通过按第三顺序检查第三组中的邻近块而首先标识出的可用邻近块的运动向量。可用性可指示存在邻近块并且邻近块通过帧间预测编码。即，可用邻近块可以是通过帧间预测编码的块(即，应用了帧间预测的块)。这里，第三组可包括邻近块F和邻近块G。第三顺序可以是从第三组中的邻近块F到邻近块G的顺序。例如，当邻近块F可用时，邻近块F的运动向量可被推导为CP2的候选运动向量。当邻近块F不可用并且邻近块G可用时，邻近块G的运动向量可被推导为CP2的候选运动向量。
此外，可不考虑当前块的CP3的候选运动向量。即，可不推导CP3的候选运动向量。这里，CP3可表示当前块的右下位置。如上所述，可基于时间邻近块的运动向量(或时间运动向量预测器(TMVP))来推导CP3，因此，可能需要执行用于推导CP3的候选运动向量的缩放处理，这可能是计算复杂度增加的主要原因。因此，可不推导CP3的候选运动向量。
编码设备/解码设备可基于可用CPMV组合来确定CPMV图案(S1110)。可用CPMV组合可表示具有相同参考画面的候选运动向量的组合。
参照表18，诸如“0”、“1”、“2”、“3”和“4”的整数值可被分配给CPMV图案。
例如，当CP0的候选运动向量的参考画面、CP1的候选运动向量的参考画面和CP2的候选运动向量的参考画面相同时，可用CPMV组合可被表示为{CPMV0,CPMV1,CPMV2}。可用CPMV组合{CPMV0,CPMV1,CPMV2}的CPMV图案可被推导为CPMV图案1。
此外，例如，当CP0的候选运动向量的参考画面和CP1的候选运动向量的参考画面相同，而CP2的候选运动向量的参考画面不同时，可用CPMV组合可被表示为{CPMV0,CPMV1}。可用CPMV组合{CPMV0,CPMV1}的CPMV图案可被推导为CPMV图案2。
此外，例如，当CP0的候选运动向量的参考画面和CP2的候选运动向量的参考画面相同并且CP1的候选运动向量的参考画面不同时，可用CPMV组合可被表示为{CPMV0,CPMV2}。可用CPMV组合{CPMV0,CPMV2}的CPMV图案可被推导为CPMV图案3。
此外，例如，当CP1的候选运动向量的参考画面和CP2的候选运动向量的参考画面相同并且CP0的候选运动向量的参考画面不同时，可用CPMV组合可被表示为{CPMV1,CPMV2}。可用CPMV组合{CPMV1,CPMV2}的CPMV图案可被推导为CPMV图案4。
此外，当CP1的候选运动向量的参考画面、CP1的候选运动向量的参考画面和CP0的候选运动向量的参考画面全部不同时，CPMV图案可被推导为CPMV图案0。
编码设备/解码设备可基于所推导的CPMV图案来推导构造的仿射候选(S1120)。
例如，当推导出CPMV图案0时，可不推导构造的仿射候选。
另外，例如，当推导出CPMV图案1时，包括{CPMV0,CPMV1,CPMV2}的构造的仿射候选、包括{CPMV0,CPMV1}的构造的仿射候选、包括{CPMV0,CPMV2}的构造的仿射候选以及包括{CPMV1,CPMV2}的构造的仿射候选可按此顺序被添加到当前块的仿射合并候选列表，直至仿射合并候选列表的候选数量达到最大数量。
例如，当推导出CPMV图案2时，包括{CPMV0,CPMV1}的构造的仿射候选可被添加到仿射合并候选列表。
另外，例如，当推导出CPMV图案3时，包括{CPMV0,CPMV2}的构造的仿射候选可被添加到仿射合并候选列表。
例如，当推导出CPMV图案4时，包括{CPMV1,CPMV2}的构造的仿射候选可被添加到仿射合并候选列表。
基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表18]
Figure BDA0002966098070000351
当上述推导构造的仿射候选的处理由伪代码表示时，可如下表所示推导。
[表19]
Figure BDA0002966098070000352
另外，本实施方式的计算复杂度可如下表所示。
[表20]
描述 数量 细节
运动模型的参数数量 6
候选列表的长度 5
继承的候选的最大数量 5
构造的候选的最大数量 4
对MV的缩放处理的最大次数 0
对候选的精简处理的最大次数 16 (1+2+3+3)+(4+3)
[表21]
候选类型 处理次数 比较次数 划分次数
继承的候选的精简处理 9＝1+2+3+3 18＝9*2 0＝50*0
构造的候选的精简处理 7＝4+3 68＝14*4+4*3
[表22]
Figure BDA0002966098070000361
[表23]
Figure BDA0002966098070000362
在上述实施方式中，计算复杂度最高的最差情况可以是CPMV图案被推导为CPMV图案1的情况，并且在这种情况下，构造的仿射候选的最大数量可为4。另外，在上述实施方式中，精简检查处理可包括比较继承的仿射候选的情况以及比较继承的仿射候选和构造的候选的情况。参照表20，精简检查处理的最大次数可为16次。
另外，在如表22所示比较两个继承的仿射候选的情况下比较操作的次数可为2，在比较继承的仿射候选和构造的仿射候选的情况下比较操作的次数可为14。因此，如表21所示，用于推导继承的仿射候选的比较操作的次数可从140减少至18，用于推导构造的仿射候选的比较操作的次数可从560减少至68。因此，通过上述实施方式，由于精简检查处理而导致的计算复杂度可降低。
此外，在构造上述构造的仿射候选的实施方式中可提出CPMV图案或根据CPMV图案可用的构造的构造候选的数量减少的实施方式。
作为示例，可提出未考虑包括CPMV0和CPMV2的组合和包括CPMV1和CPMV2的组合的方法。
即，编码设备/解码设备可基于可用CPMV组合来确定CPMV图案，并且CPMV图案可以是CPMV图案0、CPMV图案1和CPMV图案2之一。另外，可用构造的候选可不包括包括{CPMV0,CPMV2}的构造的仿射候选和包括{CPMV1,CPMV2}的构造的仿射候选。
在此实施方式中，基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表24]
Figure BDA0002966098070000371
在4仿射运动模型的情况下，使用CPMV0和CPMV1，并且在6仿射运动模型的情况下，使用CPMV0、CPMV1和CPMV2，因此，可考虑在统一性方面如上述实施方式中一样推导构造的仿射候选的方法。
另选地，作为示例，可提出一种不考虑包括CPMV1和CPMV2的组合的方法。
即，编码设备/解码设备可基于可用CPMV组合来确定CPMV图案，并且CPMV图案可以是CPMV图案0、CPMV图案1、CPMV图案2或CPMV图案3之一。另外，可用构造的仿射候选可不包括包括{CPMV1,CPMV2}的构造的仿射候选。
在本实施方式中，基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表25]
Figure BDA0002966098070000372
可考虑使用CPMV0和CPMV2的仿射运动模型的仿射预测，因此，可提出上述实施方式。
另选地，作为示例，可提出一种考虑上述所有候选运动向量组合并将根据CPMV图案的可用构造的仿射候选限制为1的方法。
即，当CPMV图案1被推导为当前块的CPMV图案时，编码设备/解码设备可推导包括{CPMV0,CPMV1,CPMV2}的构造的仿射候选并将构造的仿射候选添加到候选合并候选列表。
在本实施方式中，基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表26]
CPMV图案 可用CPMV组合 可用构造的候选
0 无 无
1 {CPMV0,CPMV1,CPMV2} 仿射(CPMV0,CPMV1,CPMV2)
2 {CPMV0,CPMV1} 仿射(CPMV0,CPMV1)
3 {CPMV0,CPMV2} 仿射(CPMV0,CPMV2)
4 {CPMV1,CPMV2} 仿射(CPMV1,CPMV2)
另选地，例如，可提出一种将基于CPMV图案的可用构造的仿射候选限制为1而不考虑包括CPMV0和CPMV2的组合和包括CPMV1和CPMV2的组合的方法。
即，编码设备/解码设备可基于可用CPMV组合来确定CPMV图案，并且CPMV图案可以是CPMV图案0、CPMV图案1和CPMV图案2之一。另外，可用构造的仿射候选可不包括包括{CPMV0,CPMV2}的构造的仿射候选和包括{CPMV1,CPMV2}的构造的仿射候选。另外，当CPMV图案1被推导为当前块的CPMV图案时，编码设备/解码设备可推导包括{CPMV0,CPMV1,CPMV2}的构造的仿射候选并将构造的仿射候选添加到仿射合并候选列表。
在本实施方式中，基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表27]
CPMV图案 可用CPMV组合 可用构造的候选
0 无 无
1 {CPMV0,CPMV1,CPMV2} 仿射(CPMV0,CPMV1,CPMV2)
2 {CPMV0,CPMV1} 仿射(CPMV0,CPMV1)
另选地，作为示例，可提出一种将基于CPMV图案的可用构造的仿射候选限制为1而不考虑包括CPMV1和CPMV2的组合的方法。
即，编码设备/解码设备基于可用CPMV组合来确定CPMV图案，并且CPMV图案可以是CPMV图案0、CPMV图案1、CPMV图案2或CPMV图案3之一。另外，可用构造的仿射候选可不包括包括{CPMV1,CPMV2}的构造的仿射候选。另外，当CPMV图案1被推导为当前块的CPMV图案时，编码设备/解码设备可推导包括{CPMV0,CPMV1,CPMV2}的构造的仿射候选并将构造的仿射候选添加到仿射合并候选列表。
在本实施方式中，基于可用CPMV组合的CPMV图案和可用构造的仿射候选可如下表所示推导。
[表28]
CPMV图案 可用CPMV组合 可用构造的候选
0 无 无
1 {CPMV0,CPMV1,CPMV2} 仿射(CPMV0,CPMV1,CPMV2)
2 {CPMV0,CPMV1} 仿射(CPMV0,CPMV1)
3 {CPMV0,CPMV2} 仿射(CPMV0,CPMV2)
此外，在执行推导继承的仿射候选的处理和推导构造的仿射候选的处理之后，如果仿射合并候选列表的有效仿射候选的数量大于最大候选数量，则零候选可被添加到仿射合并候选列表，直至仿射合并候选列表包括最大数量的候选。零候选可被定义为包括0运动向量和参考画面索引的候选。这里，0运动向量可表示具有向量值0的运动向量。
参考画面索引可包括参考画面列表0的参考画面索引(列表0,L0)和参考画面列表1的参考画面索引(列表1,L1)。在这种情况下，可按下表所示的顺序推导零候选。
[表29]
优选顺序 列表0和列表1的参考索引 细节
1 {0,0}
2 {0,1}
3 {1,0}
4 {1,1}
例如，参照表29，可按较少零候选的顺序将参考画面索引添加到仿射合并候选列表。具体地，当仿射合并候选列表包括比最大候选数量少一个的仿射候选时，优先级为1的零候选(即，值为0的L0参考画面索引和值为0的L1参考画面索引)可被添加到仿射合并候选列表。另外，当仿射合并候选列表包括比最大候选数量少两个的候选时，优先级为1的零候选(即，值为0的L0参考画面索引和值为0的L1参考画面索引)和优先级为2的零候选(即，值为0的L0参考画面索引和值为1的L1参考画面索引)可被添加到仿射合并候选列表。另外，当仿射合并候选列表包括比最大候选数量少三个的候选时，优先级为1的零候选(即，值为0的L0参考画面索引和值为0的L1参考画面索引)、优先级为2的零候选(即，值为0的L0参考画面索引和值为1的L1参考画面索引)和优先级为3的零候选(即，值为1的L0参考画面索引和值为0的L1参考画面索引)可被添加到仿射合并候选列表。另外，当仿射合并候选列表包括比最大候选数量少四个的候选时，优先级为1的零候选(即，值为0的L0参考画面索引和值为0的L1参考画面索引)、优先级为2的零候选(即，值为0的L0参考画面索引和值为1的L1参考画面索引)、优先级为3的零候选(即，值为1的L0参考画面索引和值为0的L1参考画面索引)和优先级为4的零候选(即，值为1的L0参考画面索引和值为1的L1参考画面索引)可被添加到仿射合并候选列表。
另选地，作为另一示例，零候选可按照当前块的邻近块的参考画面索引最频繁出现的顺序来推导，并且可被添加到仿射合并候选列表。即，包括邻近块的参考画面索引当中频繁出现的参考画面索引的零候选可被推导为第一等级并被添加到仿射合并候选列表。此后，包括次最频繁生成的参考画面索引的零候选可被推导为第二等级并被添加到仿射合并候选列表。这里，邻近块可包括邻近块A、邻近块B、邻近块C、邻近块D、邻近块E、邻近块F和邻近块G。
在另一示例中，包括邻近块A1的参考画面索引的零候选、包括邻近块B1的参考画面索引的零候选、包括邻近块A0的参考画面索引的零候选、包括邻近块B0的参考画面索引的零候选和包括邻近块B2的参考画面索引的零候选可按此顺序添加，直至仿射合并候选列表包括最大候选数量。
图12示出根据本公开的编码设备的图像编码方法。图12中所公开的方法可由图1所示的编码设备执行。具体地，例如，图12的步骤S1200至S1210可由编码设备的预测器执行，并且步骤S1220可由编码设备的熵编码器执行。另外，尽管未示出，基于CPMV来推导当前块的预测样本的处理可由编码设备的预测器执行，基于当前块的原始样本和预测样本来推导当前块的残差样本的处理可由编码设备的减法器执行，基于残差样本来生成关于当前块的残差的信息的处理可由编码设备的变换器执行，并且对关于残差的信息进行编码的处理可由编码设备的熵编码器执行。
编码设备构造当前块的从属合并候选列表(S1200)。编码设备可构造包括当前块的候选的仿射合并候选列表。候选可包括继承的仿射候选和构造的仿射候选。
例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的最大数量可为2。例如，继承的仿射候选可包括第一继承仿射候选和第二继承仿射候选。
具体地，可基于包括当前块的左下角邻近块和左邻近块的左块组来推导第一继承仿射候选。例如，可按第一顺序检查左块组中的邻近块，并且可基于利用首先检查出的仿射运动模型编码的邻近块来推导第一继承仿射候选。这里，第一顺序可以是从左下角邻近块到左邻近块的顺序。
另外，可基于包括当前块的右上角邻近块、上邻近块和左上角邻近块的上块组来推导第二继承仿射候选。例如，可按第二顺序检查上块组中的邻近块，并且可基于利用首先检查出的仿射运动模型编码的邻近块来推导第二继承仿射候选。这里，第二顺序可以是从右上角邻近块到上邻近块和左上角邻近块的顺序。
此外，当尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，左下角邻近块可以是包括坐标(-1,H)的样本的块，左邻近块可以是包括坐标(-1,H-1)的样本的块，右上角邻近块可以是包括坐标(W,-1)的样本的块，上邻近块可以是包括坐标(W-1,-1)的样本的块，左上角邻近块可以是包括坐标(-1,-1)的样本的块。即，左邻近块可以是当前块的左邻近块当中位于最下的左邻近块，并且上邻近块可以是当前块的上邻近块当中位于最左的上邻近块。
另选地，例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的最大数量可为1。
具体地，例如，可按特定顺序检查邻近块，并且可基于通过首先检查出的仿射运动模型编码的邻近块来推导继承的仿射候选。这里，邻近块可包括当前块的左邻近块、上邻近块、左下角邻近块、右上角邻近块和左上角邻近块。特定顺序可以是从左邻近块到上邻近块、左下角邻近块、右上角邻近块和左上角邻近块的顺序。
此外，当尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，左下角邻近块可以是包括坐标(-1,H)的样本的块，右上角邻近块可以是包括坐标(W,-1)的样本的块，上邻近块可以是包括坐标(W-1,-1)的样本的块，左上角邻近块可以是包括坐标(-1,-1)的样本的块。即，左邻近块可以是当前块的左邻近块当中位于最下的左邻近块，上邻近块可以是当前块的上邻近块当中位于最左的上邻近块。
另选地，例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的参考画面索引可表示不同的参考画面。例如，可按特定顺序检查邻近块，并且可基于利用仿射运动模型编码的第一邻近块来推导第一继承仿射候选。此后，当按特定顺序在第一邻近块之后利用仿射运动模型编码的第二邻近块的参考画面索引表示与第一邻近块的参考画面索引不同的参考画面时，可基于第二邻近块来推导第二继承仿射候选。如果第二邻近块的参考画面索引表示与第一邻近块的参考画面索引相同的参考画面，则可不基于第二邻近块推导继承的仿射候选。
另外，作为示例，可基于当前块的邻近块来推导构造的仿射候选。
例如，可基于邻近块来推导当前块的控制点(CP)的候选运动向量。这里，CP可包括CP0、CP1、CP2。CP0可表示当前块的左上位置，CP1可表示当前块的右上位置，CP2可表示当前块的左下位置。另外，邻近块可包括当前块的邻近块A、邻近块B、邻近块C、邻近块D、邻近块E、邻近块F和邻近块G。当当前块的尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，邻近块A可以是包括坐标(-1,-1)的样本的块，邻近块B可以是包括坐标(0,-1)的样本的块，邻近块C可以是包括坐标(-1,0)的样本的块，邻近块D可以是包括坐标(W-1,-1)的样本的块，邻近块E可以是包括坐标(W,-1)的样本的块，邻近块F可以是包括坐标(-1,H-1)的样本的块，邻近块G可以是包括(-1,H)坐标的样本的块。即，邻近块A可以是当前块的左上角邻近块，邻近块B可以是当前块的上邻近块当中位于最左的上邻近块，邻近块C可以是当前块的左邻近块当中位于最上的左邻近块，邻近块D可以是当前块的上邻近块当中位于最右的上邻近块，邻近块E可以是当前块的右上角邻近块，邻近块F可以是当前块的左邻近块当中位于最下的左邻近块，邻近块G可以是当前块的左下角邻近块。
具体地，例如，可按第一顺序检查第一组中的邻近块，并且首先标识为可用的第一邻近块的运动向量可被推导为CP0的候选运动向量。即，CP0的候选运动向量可被推导为通过按第一顺序检查第一组中的邻近块是否可用而首先标识为可用的第一邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，例如，第一组可包括邻近块A、邻近块B和邻近块C。第一顺序可以是从第一组中的邻近块A到邻近块B和邻近块C的顺序。例如，当邻近块A可用时，邻近块A的运动向量可被推导为CP0的候选运动向量。当邻近块A不可用并且邻近块B可用时，邻近块B的运动向量可被推导为CP0的候选运动向量。当邻近块A和邻近块B不可用并且邻近块C可用时，邻近块C的运动向量可被推导为CP0的候选运动向量。
另外，例如，可按第二顺序检查第二组中的邻近块，并且首先标识为可用的第二邻近块的运动向量可被推导为CP1的候选运动向量。即，CP1的候选运动向量可被推导为通过按第二顺序检查第二组中的邻近块是否可用而首先标识为可用的第二邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，第二组可包括邻近块D和邻近块E。第二顺序可以是从第二组中的邻近块D到邻近块E的顺序。例如，当邻近块D可用时，邻近块D的运动向量可被推导为CP1的候选运动向量。当邻近块D不可用并且邻近块E可用时，邻近块E的运动向量可被推导为CP1的候选运动向量。
另外，例如，可按第三顺序检查第三组中的邻近块，并且首先标识为可用的第三邻近块的运动向量可被推导为CP2的候选运动向量。即，CP2的候选运动向量可被推导为通过按第三顺序检查第三组中的邻近块是否可用而首先标识为可用的第三邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，第三组可包括邻近块F和邻近块G。第三顺序可以是从第三组中的邻近块F到邻近块G的顺序。例如，当邻近块F可用时，邻近块F的运动向量可被推导为CP2的候选运动向量。当邻近块F不可用并且邻近块G可用时，邻近块G的运动向量可被推导为CP2的候选运动向量。
此后，可基于CP的候选运动向量来推导构造的仿射候选。
例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选(包括CP1的候选运动向量、CP2的候选运动向量和CP3的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选和第二构造的仿射候选(包括CP0的候选运动向量和CP1的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选、第二构造的仿射候选和第三构造的仿射候选(包括CP0的候选运动向量和CP2的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选、第二构造的仿射候选、第三构造的仿射候选和第四构造的仿射候选(包括CP1的候选运动向量和CP2的候选运动向量)。
此外，例如，当第一邻近块的参考画面和第二邻近块的参考画面相同时，构造的仿射候选可包括第二构造的仿射候选(包括CP0的候选运动向量和CP1的候选运动向量)。
此外，例如，当第一邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第三构造的仿射候选(包括CP0的候选运动向量和CP2的候选运动向量)。
此外，例如，当第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第四构造的仿射候选(包括CP1的候选运动向量和CP2的候选运动向量)。
此外，如果通过上述处理推导的仿射候选(即，继承的仿射候选和/或构造的仿射候选)的数量小于最大候选数量，则仿射合并候选列表可包括零候选。例如，零候选可包括值为0的候选运动向量和参考画面索引。
另外，当继承的仿射候选和构造的仿射候选的数量小于仿射合并候选列表的最大候选数量时，即，当所推导的候选的数量小于最大候选数量时，仿射合并候选列表可包括零候选。零候选可包括CP的值为零的候选运动向量和值为零的参考画面索引。或者，例如，当所推导的候选的数量小于最大候选数量时，第一零候选、第二零候选、第三零候选、…、第n候选可按此顺序被添加到仿射候选合并列表，直至仿射合并候选列表中的仿射候选的数量达到最大候选数量。例如，第一零候选可包括值为0的候选运动向量、值为0的L0(列表0)参考画面索引和L1(列表1)参考画面索引，第二零候选可包括值为0的候选运动向量、值为0的L0参考画面索引和值为1的L1参考画面索引，第三零候选可包括值为0的候选运动向量、值为1的L0参考画面索引和值为0的L1参考画面索引，第四零候选可包括值为0的候选运动向量、值为1的L0参考画面索引和值为1的L1参考画面索引。另选地，例如，邻近块A、邻近块B、邻近块C、邻近块D、邻近块E、邻近块F和邻近块G的参考画面索引可按频率更高的顺序包括在第一零候选至第n零候选中。另选地，例如，第一零候选可包括值为0的候选运动向量以及值与当前块的左邻近块的参考画面索引相同的参考画面索引，第二零候选可包括值为0的候选运动向量以及值与当前块的上邻近块参考画面索引的相同的参考画面索引，第三零候选可包括值为0的候选运动向量以及值与当前块的左下角邻近块的参考画面索引相同的参考画面索引，第四零候选可包括值为0的候选运动向量以及值与当前块的右上角邻近块的参考画面索引相同的参考画面索引，第五零候选可包括值为0的候选运动向量以及值与当前块的左上角邻近块的参考画面索引相同的参考画面索引。
编码设备基于仿射合并候选列表来推导当前块的控制点(CP)的控制点运动向量(CPMV)(S1210)。编码设备可推导具有最优RD成本的当前块的CP的CPMV，并且选择仿射合并候选列表的仿射候选当中与CPMV最相似的仿射候选作为当前块的仿射候选。编码设备可基于包括在候选合并候选列表中的仿射候选当中所选择的仿射候选来推导当前块的控制点(CP)的控制点运动向量(CPMV)。具体地，当所选择的仿射候选包括CP0的候选运动向量和CP1的候选运动向量时，CP0的仿射候选的候选运动向量可被推导为CP0的CPMV，CP1的仿射候选的候选运动向量可被推导为CP1的CPMV。另外，当所选择的仿射候选包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量时，CP0的仿射候选的候选运动向量可被推导为CP0的CPMV，CP1的仿射候选的候选运动向量可被推导为CP1的CPMV，CP2的仿射候选的候选运动向量可被推导为CP2的CPMV。另外，当所选择的仿射候选包括CP0的候选运动向量和CP2的候选运动向量时，CP0的仿射候选的候选运动向量可被推导为CP0的CPMV，CP2的仿射候选的候选运动向量可被推导为CP2的CPMV。
编码设备可对指示仿射候选当中所选择的候选的仿射候选索引进行编码。仿射候选索引可指示包括在当前块的仿射合并候选列表中的仿射候选当中的一个仿射候选。
编码设备对包括关于当前块的预测信息的图像信息进行编码(S1220)。编码设备可将包括关于当前块的信息的图像信息以比特流的形式输出。编码设备可对图像信息进行编码，图像信息可包括当前块的预测信息，并且预测信息可包括仿射候选索引。
如上所述，仿射候选索引可指示包括在当前块的仿射合并候选列表中的仿射候选当中所选择的仿射候选。
此外，作为示例，编码设备可基于CPMV来推导当前块的预测样本，基于当前块的原始样本和预测样本来推导当前块的残差样本，基于残差样本来生成关于当前块的残差的信息，并且对关于残差的信息进行编码。图像信息可包括关于残差的信息。
此外，比特流可通过网络或(数字)存储介质发送到解码设备。网络可包括广播网络和/或通信网络，并且数字存储介质可包括诸如USB、SD、CD、DVD、蓝光、HDD、SSD等的各种存储介质。
图13示出根据本公开的用于执行图像编码方法的编码设备。图12中所公开的方法可由图13中所公开的编码设备执行。具体地，例如，图13的编码设备的预测器可执行图12的S1200至S1210，图13的编码设备的熵编码器可执行图12的S1220。另外，尽管未示出，基于CPMV来推导当前块的预测样本的处理可由图13的编码设备的预测器执行，基于当前块的原始样本和预测样本来推导当前块的残差样本的处理可由图13的编码设备的减法器执行，基于残差样本来生成关于当前块的残差的信息的处理可由图13的编码设备的变换器执行，并且对关于残差的信息进行编码的处理可由图13的编码设备的熵编码器执行。
图14示出根据本公开的解码设备的图像解码方法。图14中所公开的方法可由图2中所公开的解码设备执行。具体地，例如，图14的步骤S1400至S1420可由解码设备的预测器执行，并且步骤S1430可由解码设备的加法器执行。另外，尽管未示出，通过比特流获得包括关于当前块的残差的信息和/或预测信息的图像信息的处理可由解码设备的熵解码器执行，并且基于关于残差的信息来推导当前块的残差样本的处理可由解码设备的逆变换器执行。
解码设备构造当前块的从属合并候选列表(S1400)。解码设备可构造包括当前块的候选的仿射合并候选列表。候选可包括继承的仿射候选和构造的仿射候选。
例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的最大数量可为2。例如，继承的仿射候选可包括第一继承仿射候选和第二继承仿射候选。
具体地，可基于包括当前块的左下角邻近块和左邻近块的左块组来推导第一继承仿射候选。例如，可按第一顺序检查左块组中的邻近块，并且可基于利用首先检查出的仿射运动模型编码的邻近块来推导第一继承仿射候选。这里，第一顺序可以是从左下角邻近块到左邻近块的顺序。
另外，可基于包括当前块的右上角邻近块、上邻近块和左上角邻近块的上块组来推导第二继承仿射候选。例如，可按第二顺序检查上块组中的邻近块，并且可基于利用首先检查出的仿射运动模型编码的邻近块来推导第二继承仿射候选。这里，第二顺序可以是从右上角邻近块到上邻近块和左上角邻近块的顺序。
此外，当尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，左下角邻近块可以是包括坐标(-1,H)的样本的块，左邻近块可以是包括坐标(-1,H-1)的样本的块，右上角邻近块可以是包括坐标(W,-1)的样本的块，上邻近块可以是包括坐标(W-1,-1)的样本的块，左上角邻近块可以是包括坐标(-1,-1)的样本的块。即，左邻近块可以是当前块的左邻近块当中位于最下的左邻近块，上邻近块可以是当前块的上邻近块当中位于最左的上邻近块。
另选地，例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的最大数量可为1。
具体地，例如，可按特定顺序检查邻近块，并且可基于利用首先检查出的仿射运动模型编码的邻近块来推导继承的仿射候选。这里，邻近块可包括当前块的左邻近块、上邻近块、左下角邻近块、右上角邻近块和左上角邻近块。特定顺序可以是从左邻近块到上邻近块、左下角邻近块、右上角邻近块和左上角邻近块的顺序。
此外，当尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，左下角邻近块可以是包括坐标(-1,H)的样本的块，左邻近块可以是包括坐标(-1,H-1)的样本的块，右上角邻近块可以是包括坐标(W,-1)的样本的块，上邻近块可以是包括坐标(W-1,-1)的样本的块，左上角邻近块可以是包括坐标(-1,-1)的样本的块。即，左邻近块可以是当前块的左邻近块当中位于最下的左邻近块，上邻近块可以是当前块的上邻近块当中位于最左的上邻近块。
另选地，例如，可基于当前块的邻近块来推导继承的仿射候选，并且继承的仿射候选的参考画面索引可表示不同的参考画面。例如，可按特定顺序检查邻近块，并且可基于利用仿射运动模型编码的第一邻近块来推导第一继承仿射候选。此后，当按特定顺序在第一邻近块之后利用仿射运动模型编码的第二邻近块的参考画面索引表示与第一邻近块的参考画面索引不同的参考画面时，可基于第二邻近块来推导第二继承仿射候选。如果第二邻近块的参考画面索引表示与第一邻近块的参考画面索引相同的参考画面，则可不基于第二邻近块推导继承的仿射候选。
另外，作为示例，可基于当前块的邻近块来推导构造的仿射候选。
例如，可基于邻近块来推导当前块的CP的候选运动向量。这里，CP可包括CP0、CP1和CP2。CP0可表示当前块的左上位置，CP1可表示当前块的右上位置，CP2可表示当前块的左下位置。另外，邻近块可包括当前块的邻近块A、邻近块B、邻近块C、邻近块D、邻近块E、邻近块F和邻近块G。当当前块的尺寸为W×H并且当前块的左上样本位置的x分量为0，其y分量为0时，邻近块A可以是包括坐标(-1,-1)的样本的块，邻近块B可以是包括坐标(0,-1)的样本的块，邻近块C可以是包括坐标(-1,0)的样本的块，邻近块D可以是包括坐标(W-1,-1)的样本的块，邻近块E可以是包括坐标(W,-1)的样本的块，邻近块F可以是包括坐标(-1,H-1)的样本的块，邻近块G可以是包括坐标(-1,H)的样本的块。即，邻近块A可以是当前块的左上角邻近块，邻近块B可以是当前块的上邻近块当中位于最左的上邻近块，邻近块C可以是当前块的左邻近块当中位于最上的左邻近块，邻近块D可以是当前块的上邻近块当中位于最右的上邻近块，邻近块E可以是当前块的右上角邻近块，邻近块F可以是当前块的左邻近块当中位于最下的左邻近块，邻近块G可以是当前块的左下角邻近块。
具体地，例如，可按第一顺序检查第一组中的邻近块是否可用，并且首先检查为可用的第一邻近块的运动向量可被推导为CP0的候选运动向量。即，CP0的候选运动向量可被推导为通过按第一顺序检查第一组中的邻近块是否可用而首先标识为可用的第一邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，例如，第一组可包括邻近块A、邻近块B和邻近块C。第一顺序可以是从第一组中的邻近块A到邻近块B和邻近块C的顺序。例如，当邻近块A可用时，邻近块A的运动向量可被推导为CP0的候选运动向量。当邻近块A不可用并且邻近块B可用时，邻近块B的运动向量可被推导为CP0的候选运动向量。当邻近块A和邻近块B不可用并且邻近块C可用时，邻近块C的运动向量可被推导为CP0的候选运动向量。
此外，例如，可按第二顺序检查第二组中的邻近块是否可用，并且首先检查为可用的第二邻近块的运动向量可被推导为CP1的候选运动向量。即，CP1的候选运动向量可被推导为通过按第二顺序检查第二组中的邻近块是否可用而首先标识为可用的第二邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，第二组可包括邻近块D和邻近块E。第二顺序可以是从第二组中的邻近块D到邻近块E的顺序。例如，当邻近块D可用时，邻近块D的运动向量可被推导为CP1的候选运动向量。当邻近块D不可用并且邻近块E可用时，邻近块E的运动向量可被推导为CP1的候选运动向量。
此外，例如，可按第三顺序检查第三组中的邻近块是否可用，并且首先检查为可用的第二邻近块的运动向量可被推导为CP2的候选运动向量。即，CP2的候选运动向量可被推导为通过按第三顺序检查第三组中的邻近块是否可用而首先标识为可用的第三邻近块的运动向量。可用性可指示邻近块通过帧间预测编码。即，可用邻近块可以是应用了帧间预测的块。这里，第三组可包括邻近块F和邻近块G。第三顺序可以是从第三组中的邻近块F到邻近块G的顺序。例如，当邻近块F可用时，邻近块F的运动向量可被推导为CP2的候选运动向量。当邻近块F不可用并且邻近块G可用时，邻近块G的运动向量可被推导为CP2的候选运动向量。
此后，可基于CP的候选运动向量来推导构造的仿射候选。
例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选(包括CP1的候选运动向量、CP2的候选运动向量和CP3的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选和第二构造的仿射候选(包括CP0的候选运动向量和CP1的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选、第二构造的仿射候选和第三构造的仿射候选(包括CP0的候选运动向量和CP2的候选运动向量)。或者，例如，当第一邻近块的参考画面、第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第一构造的仿射候选、第二构造的仿射候选、第三构造的仿射候选和第四构造的仿射候选(包括CP1的候选运动向量和CP2的候选运动向量)。
此外，例如，当第一邻近块的参考画面和第二邻近块的参考画面相同时，构造的仿射候选可包括第二构造的仿射候选(包括CP0的候选运动向量和CP1的候选运动向量)。
此外，例如，当第一邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第三构造的仿射候选(包括CP0的候选运动向量和CP2的候选运动向量)。
此外，例如，当第二邻近块的参考画面和第三邻近块的参考画面相同时，构造的仿射候选可包括第四构造的仿射候选(包括CP1的候选运动向量和CP2的候选运动向量)。
另外，当继承的仿射候选和构造的仿射候选的数量小于仿射合并候选列表的最大候选数量时，即，当所推导的仿射候选的数量小于最大候选数量时，仿射合并候选列表可包括零候选。零候选可包括CP的值为零的候选运动向量和值为零的参考画面索引。或者，例如，当所推导的候选的数量小于最大候选数量时，第一零候选、第二零候选、第三零候选、…、第n零候选可按此顺序被添加到仿射合并候选列表，直至仿射合并候选列表的仿射候选的数量达到最大候选数量。例如，第一零候选可包括值为0的候选运动向量、值为0的L0(列表0)参考画面索引和值为0的L1(列表1)参考画面索引，第二零候选可包括值为0的候选运动向量、值为0的L0参考画面索引和值为1的L1参考画面索引，第三零候选可包括值为0的候选运动向量、值为1的L0参考画面索引和值为0的L1参考画面索引，第四零候选可包括值为0的候选运动向量、值为1的L0参考画面索引和值为1的L1参考画面索引。或者，例如，邻近块A、邻近块B、邻近块C、邻近块D、邻近块E、邻近块F和邻近块G的参考画面索引可按频率更高的顺序包括在第一零候选至第n零候选中。另选地，例如，第一零候选可包括值为0的候选运动向量以及值与当前块的左邻近块的参考画面索引相同的参考画面索引，第二零候选可包括值为0的候选运动向量以及值与当前块的上邻近块的参考画面索引相同的参考画面索引，第三零候选可包括值为0的候选运动向量以及值与当前块的左下角邻近块的参考画面索引相同的参考画面索引，第四零候选可包括值为0的候选运动向量以及值与当前块的右上角邻近块的参考画面索引相同的参考画面索引，第五零候选可包括值为0的候选运动向量以及值与当前块的左上角邻近块的参考画面索引相同的参考画面索引。
解码设备基于仿射合并候选列表来推导当前块的CP的CPMV(控制点运动向量)(S1410)。
解码设备可选择包括在仿射合并候选列表中的仿射候选之一，并且基于所选择的仿射MVP候选来推导CP的当前块的CPMV。
例如，解码设备可从比特流获得当前块的仿射候选索引并且基于包括在仿射合并候选列表中的仿射候选当中仿射候选索引所指示的仿射候选来推导CP的当前块的CPMV。解码设备可从比特流获得图像信息，并且图像信息可包括关于当前块的预测信息。预测信息可包括仿射候选索引。
具体地，当仿射候选包括CP0的候选运动向量和CP1的候选运动向量时，CP0的仿射候选的候选运动向量可被推导为CP0的CPMV，并且CP1的仿射候选的候选运动向量可被推导为CP1的CPMV。另外，当仿射候选包括CP0的候选运动向量、CP1的候选运动向量和CP2的候选运动向量时，CP0的候选的候选运动向量可被推导为CP0的CPMV，CP1的仿射候选的候选运动向量可被推导为CP1的CPMV，CP2的仿射候选的候选运动向量可被推导为CP2的CPMV。另外，当仿射候选包括CP0的候选运动向量和CP2的候选运动向量时，CP0的仿射候选的候选运动向量可被推导为CP0的CPMV，并且CP2的仿射候选的候选运动向量可被推导为CP2的CPMV。
解码设备基于CPMV来推导当前块的预测样本(S1420)。解码设备可基于CPMV以子块单元或样本单元来推导当前块的运动向量。即，解码设备可基于CPMV来推导当前块的各个子块或各个样本的运动向量。可基于上述式1或式3推导子块单元或样本单元中的运动向量。运动向量可被称为仿射运动向量场(MVF)或运动向量阵列。
解码设备可基于子块单元或样本单元的运动向量来推导当前块的预测样本。解码设备可基于子块单元或样本单元的运动向量来推导参考画面中的参考区域，并且基于参考区域中的重构样本来生成当前块的预测样本。
解码设备基于所推导的预测样本来生成当前块的重构画面(S1430)。解码设备可基于所推导的预测样本来生成当前块的重构画面。解码设备可直接将预测样本用作重构样本，或者通过根据预测模式将残差样本与预测样本相加来生成重构样本。如果存在当前块的残差样本时，解码设备可从比特流获得包括关于当前块的残差的信息的图像信息。关于残差的信息可包括关于残差样本的变换系数。解码设备可基于关于残差的信息来推导当前块的残差样本(或残差样本阵列)。解码设备可基于预测样本和残差样本来生成重构样本，并且可基于重构样本来推导重构块或重构画面。此后，如上所述，解码设备可对重构画面应用诸如去块滤波和/或SAO过程的环路滤波过程，以便根据需要改进主观/客观画面质量。
图15示出根据本公开的用于执行图像解码方法的解码设备。图14中所公开的方法可由图15中所公开的解码设备执行。具体地，例如，图15的解码设备的预测器可执行图14的步骤S1400至S1420，并且图15的解码设备的加法器可执行图14的步骤S1430。另外，尽管未示出，通过比特流获得包括关于当前块的残差的信息和/或预测信息的图像信息的处理可由图15的解码设备的熵解码器执行，并且基于残差信息来推导当前块的残差样本的处理可由图15的解码设备的逆变换器执行。
根据上述本公开，仿射合并模式的计算复杂度可降低，从而改进总体视频编码效率。
此外，根据本公开，在推导仿射合并候选列表时，继承的仿射候选的最大数量可被设定为2，并且可推导左块组和上块组中的每一个中的一个继承的仿射候选，从而在推导继承的仿射候选并构造仿射合并候选列表的过程中降低计算复杂度并改进编码效率。
在上述示例性系统中，尽管使用一系列步骤或方框基于流程图描述了方法，但是本公开不限于该步骤顺序，一些步骤可按照与剩余步骤不同的顺序执行，或者可与剩余步骤同时执行。此外，本领域技术人员将理解，流程图中所示的步骤不是排他性的，可包括其它步骤，或者可在不影响本公开的范围的情况下删除流程图的一个或更多个步骤。
本文献中所描述的实施方式可在处理器、微处理器、控制器或芯片上实现和执行。例如，各个图中所示的功能单元可在计算机、处理器、微处理器、控制器或芯片上实现和执行。在这种情况下，用于实现的信息(例如，关于指令的信息)或算法可被存储在数字存储介质中。
另外，应用了本公开的解码设备和编码设备可被应用于诸如多媒体广播发送和接收装置的多媒体通信装置、移动通信终端、家庭影院视频装置、数字影院视频装置、监控相机、视频聊天装置、(3D)视频装置、视频电话视频装置和医疗视频装置等，其可包括在例如存储介质、摄像机、视频点播(VoD)服务提供装置、OTT视频(顶置视频)、互联网流线服务提供装置、3D视频装置、视频呼叫装置、运输工具终端(例如，车辆终端、飞机终端、轮船终端等)中，并且可用于处理视频信号或数据信号。例如，OTT视频(顶置视频)装置可包括游戏机、蓝光播放器、互联网访问TV、家庭影院系统、智能电话、平板PC、DVR(数字视频记录器)。
此外，应用了本公开的处理方法可按照计算机执行程序的形式生成，并且可被存储在计算机可读记录介质中。具有根据本公开的数据结构的多媒体数据也可被存储在计算机可读记录介质中。计算机可读记录介质包括存储有计算机可读数据的所有类型的存储装置和分布式存储装置。例如，计算机可读记录介质可以是蓝光盘(BD)、通用串行总线(USB)、ROM、PROM、EPROM、EEPROM、RAM、CD数据存储装置。另外，计算机可读记录介质包括以载波的形式实现的介质(例如，经由互联网的传输)。另外，通过编码方法生成的比特流可被存储在计算机可读记录介质中或者经由有线或无线通信网络发送。
此外，本公开的实施方式可通过程序代码被实现为计算机程序产品，并且程序代码可根据本公开的实施方式在计算机中执行。程序代码可被存储在可由计算机读取的载体上。
图16示出应用了本公开的内容流系统结构。
应用了本公开的内容流系统可包括编码服务器、流服务器、web服务器、媒体存储部、用户装置和多媒体输入装置。
编码服务器将从诸如智能电话、相机、摄像机等的多媒体输入装置输入的内容压缩为数字数据以生成比特流并将该比特流发送到流服务器。作为另一示例，当诸如智能电话、相机、摄像机等的多媒体输入装置直接生成比特流时，可省略编码服务器。
可通过应用了本公开的编码方法或比特流生成方法来生成比特流，并且流服务器可在发送或接收比特流的过程中暂时存储比特流。
流服务器通过web服务器基于用户请求向用户装置发送多媒体数据，并且web服务器用作告知用户提供了什么服务的中介。当用户向web服务器请求期望的服务时，web服务器将其传送至流服务器，并且流服务器向用户发送多媒体数据。这里，内容流系统可包括单独的控制服务器，并且在这种情况下，该控制服务器控制内容流系统中的装置之间的命令/响应。
流服务器可从媒体存储库和/或编码服务器接收内容。例如，当从编码服务器接收内容时，可实时接收内容。在这种情况下，为了提供平滑的流服务，流服务器可将比特流存储预定时间。
用户装置的示例包括移动电话、智能电话、膝上型计算机、数字广播终端、个人数字助理(PDA)、便携式多媒体播放器(PMP)、导航装置和石板PC、平板PC、超级本、可穿戴装置(例如，智能手表、玻璃眼镜、头戴式显示器)、数字TV、台式计算机、数字标牌等。内容流系统中的各个服务器可作为分布式服务器操作，并且在这种情况下，从各个服务器接收的数据可按分布式方式处理。

Claims (15)

1.一种由解码设备进行的图像解码方法，该图像解码方法包括以下步骤：
构造当前块的仿射合并候选列表，其中，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选；
基于所述仿射合并候选列表来推导所述当前块的控制点CP的控制点运动向量CPMV；
基于所述CPMV来推导所述当前块的预测样本；以及
基于所推导的预测样本来生成所述当前块的重构画面，
其中，所述继承的仿射候选的最大数量为2，
其中，从包括所述当前块的左下角邻近块和左邻近块的左块组推导第一继承仿射候选，
其中，从包括所述当前块的右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
2.根据权利要求1所述的图像解码方法，其中，
按第一顺序检查所述左块组中的邻近块，
基于通过首先检查出的仿射运动模型编码的邻近块来推导所述第一继承仿射候选，并且
所述第一顺序是从所述左下角邻近块到所述左邻近块的顺序。
3.根据权利要求1所述的图像解码方法，其中，
按第二顺序检查所述上块组的邻近块，
基于通过首先检查出的仿射运动模型编码的邻近块来推导所述第二继承仿射候选，并且
所述第二顺序是从所述右上角邻近块到所述上邻近块并且到所述左下角邻近块的顺序。
4.根据权利要求1所述的图像解码方法，其中，
基于所述当前块的邻近块来推导所述CP的候选运动向量，并且
基于所述CP的所述候选运动向量来推导所述构造的仿射候选。
5.根据权利要求4所述的图像解码方法，其中，
所述CP包括CP0、CP1和CP2，并且
所述CP0表示所述当前块的左上位置，所述CP1表示所述当前块的右上位置，并且所述CP2表示所述当前块的左下位置。
6.根据权利要求5所述的图像解码方法，其中，
所述CP0的候选运动向量被推导为当按第一顺序检查第一组的邻近块时首先确定为可用的第一邻近块的运动向量，
所述CP1的候选运动向量被推导为当按第二顺序检查第二组的邻近块时首先确定为可用的第二邻近块的运动向量，并且
所述CP2的候选运动向量被推导为当按第三顺序检查第三组的邻近块时首先确定为可用的第三邻近块的运动向量。
7.根据权利要求6所述的图像解码方法，其中，
所述第一组包括邻近块A、邻近块B和邻近块C，
所述第二组包括邻近块D和邻近块E，并且
所述第三组包括邻近块F和邻近块G，并且
当所述当前块的尺寸为W×H并且所述当前块的左上样本位置的x分量和y分量为0时，所述邻近块A是包括坐标(-1,-1)的样本的块，所述邻近块B是包括坐标(0,-1)的样本的块，所述邻近块C是包括坐标(-1,0)的样本的块，所述邻近块D是包括坐标(W-1,-1)的样本的块，所述邻近块E是包括坐标(W,-1)的样本的块，所述邻近块F是包括坐标(-1,H-1)的样本的块，并且所述邻近块G是包括坐标(-1,H)的样本的块。
8.根据权利要求7所述的图像解码方法，其中，
所述第一顺序是从所述第一组中的所述邻近块A到所述邻近块B并且到所述邻近块C的顺序，
所述第二顺序是从所述第二组中的所述邻近块D到所述邻近块E的顺序，并且
所述第三顺序是从所述第三组中的所述邻近块F到所述邻近块G的顺序。
9.根据权利要求8所述的图像解码方法，其中，
当所述第一邻近块的参考画面、所述第二邻近块的参考画面和所述第三邻近块的参考画面相同时，所述构造的仿射候选包括第一构造的仿射候选，该第一构造的仿射候选包括所述CP1的候选运动向量、所述CP2的候选运动向量和CP3的候选运动向量。
10.根据权利要求8所述的图像解码方法，其中，
当所述第一邻近块的参考画面和所述第二邻近块的参考画面相同时，所述构造的仿射候选包括第二构造的仿射候选，该第二构造的仿射候选包括所述CP0的候选运动向量和所述CP1的候选运动向量。
11.根据权利要求8所述的图像解码方法，其中，
当所述第一邻近块的参考画面和所述第三邻近块的参考画面相同时，所述构造的仿射候选包括第三构造的仿射候选，该第三构造的仿射候选包括所述CP0的候选运动向量和所述CP2的候选运动向量。
12.根据权利要求1所述的图像解码方法，其中，
当所述继承的仿射候选和所述构造的仿射候选的数量小于所述仿射合并候选列表的最大候选数量时，所述仿射合并候选列表包括零候选，并且所述零候选包括值为0的候选运动向量和值为0的参考画面索引。
13.一种由编码设备进行的图像编码方法，该图像编码方法包括以下步骤：
构造当前块的仿射合并候选列表，其中，该仿射合并候选列表包括继承的仿射候选和构造的仿射候选；
基于所述仿射合并候选列表来推导所述当前块的控制点CP的控制点运动向量CPMV；以及
对包括所述当前块的预测信息的图像信息进行编码，
其中，所述继承的仿射候选的最大数量为2，
其中，从包括左下角邻近块和左邻近块的左块组推导第一继承仿射候选，并且
其中，从包括右上角邻近块、上邻近块和左上角邻近块的上块组推导第二继承仿射候选。
14.根据权利要求13所述的图像编码方法，其中，
按第一顺序检查所述左块组中的邻近块，
基于通过首先检查出的仿射运动模型编码的邻近块来推导所述第一继承仿射候选，并且
所述第一顺序是从所述左下角邻近块到所述左邻近块的顺序。
15.根据权利要求13所述的图像编码方法，其中，
按第二顺序检查所述上块组的邻近块，
基于通过首先检查出的仿射运动模型编码的邻近块来推导所述第二继承仿射候选，并且
所述第二顺序是从所述右上角邻近块到所述上邻近块并且到所述左下角邻近块的顺序。
CN201980058612.7A 2018-08-09 2019-08-08 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置 Active CN112673627B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202310877316.8A CN116708816A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备
CN202310878918.5A CN116708820A (zh) 2018-08-09 2019-08-08 图像编解码方法、存储介质和数据发送方法
CN202310875451.9A CN116708815A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
KR20180093238 2018-08-09
KR10-2018-0093238 2018-08-09
KR20180095143 2018-08-14
KR10-2018-0095143 2018-08-14
PCT/KR2019/009950 WO2020032609A1 (ko) 2018-08-09 2019-08-08 영상 코딩 시스템에서 어파인 머지 후보 리스트를 사용하는 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN202310877316.8A Division CN116708816A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备
CN202310875451.9A Division CN116708815A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备
CN202310878918.5A Division CN116708820A (zh) 2018-08-09 2019-08-08 图像编解码方法、存储介质和数据发送方法

Publications (2)

Publication Number Publication Date
CN112673627A true CN112673627A (zh) 2021-04-16
CN112673627B CN112673627B (zh) 2023-08-04

Family

ID=69413800

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201980058612.7A Active CN112673627B (zh) 2018-08-09 2019-08-08 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置
CN202310877316.8A Pending CN116708816A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备
CN202310878918.5A Pending CN116708820A (zh) 2018-08-09 2019-08-08 图像编解码方法、存储介质和数据发送方法
CN202310875451.9A Pending CN116708815A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN202310877316.8A Pending CN116708816A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备
CN202310878918.5A Pending CN116708820A (zh) 2018-08-09 2019-08-08 图像编解码方法、存储介质和数据发送方法
CN202310875451.9A Pending CN116708815A (zh) 2018-08-09 2019-08-08 编码设备、解码设备和数据发送设备

Country Status (4)

Country Link
US (4) US10893289B2 (zh)
CN (4) CN112673627B (zh)
BR (3) BR122021006490A2 (zh)
WO (1) WO2020032609A1 (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11356657B2 (en) * 2018-01-26 2022-06-07 Hfi Innovation Inc. Method and apparatus of affine inter prediction for video coding system
CN117241039A (zh) * 2018-08-28 2023-12-15 华为技术有限公司 帧间预测方法、装置以及视频编码器和视频解码器
CN114208171A (zh) * 2019-06-14 2022-03-18 Lg电子株式会社 用于推导用于生成预测样本的权重索引信息的图像解码方法和装置
US12022226B2 (en) * 2022-03-29 2024-06-25 Rovi Guides, Inc. Systems and methods for enabling user-controlled extended reality
US12010157B2 (en) 2022-03-29 2024-06-11 Rovi Guides, Inc. Systems and methods for enabling user-controlled extended reality

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
WO2018021373A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20180192069A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735249B1 (en) * 1999-08-11 2004-05-11 Nokia Corporation Apparatus, and associated method, for forming a compressed motion vector field utilizing predictive motion coding
US9282338B2 (en) * 2011-06-20 2016-03-08 Qualcomm Incorporated Unified merge mode and adaptive motion vector prediction mode candidates selection
US9883203B2 (en) * 2011-11-18 2018-01-30 Qualcomm Incorporated Adaptive overlapped block motion compensation
WO2014053090A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding
KR101863487B1 (ko) * 2014-05-06 2018-05-31 에이치에프아이 이노베이션 인크. 인트라 블록 카피 모드 부호화를 위한 블록 벡터 예측 방법
WO2016008157A1 (en) * 2014-07-18 2016-01-21 Mediatek Singapore Pte. Ltd. Methods for motion compensation using high order motion model
CN104363451B (zh) * 2014-10-27 2019-01-25 华为技术有限公司 图像预测方法及相关装置
CN112929661B (zh) * 2015-10-13 2023-04-21 三星电子株式会社 解码方法和编码方法
CN116886930A (zh) * 2016-11-28 2023-10-13 韩国电子通信研究院 对图像编码/解码的方法和设备及存储比特流的记录介质
JP7109558B2 (ja) * 2018-02-14 2022-07-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 適応型補間フィルタ
US20200021836A1 (en) * 2018-07-10 2020-01-16 Tencent America LLC Method and apparatus for ordering and selection of affine merge candidates in motion compensation
US10958934B2 (en) * 2018-07-27 2021-03-23 Tencent America LLC History-based affine merge and motion vector prediction
US10944984B2 (en) * 2018-08-28 2021-03-09 Qualcomm Incorporated Affine motion prediction
TWI840413B (zh) * 2018-09-23 2024-05-01 大陸商北京字節跳動網絡技術有限公司 仿射模式中的子塊的運動矢量推導
US11089325B2 (en) * 2019-02-08 2021-08-10 Qualcomm Incorporated Constrained affine motion inheritance for video coding

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017156705A1 (en) * 2016-03-15 2017-09-21 Mediatek Inc. Affine prediction for video coding
US20170332095A1 (en) * 2016-05-16 2017-11-16 Qualcomm Incorporated Affine motion prediction for video coding
WO2018021373A1 (ja) * 2016-07-29 2018-02-01 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法及び復号方法
US20180098063A1 (en) * 2016-10-05 2018-04-05 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US20180192069A1 (en) * 2016-12-29 2018-07-05 Qualcomm Incorporated Motion vector generation for affine motion model for video coding

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Description of Core Experiment 4 (CE4): Inter prediction and motion vector coding", JVET-K1024-V1，JOINT VIDEO EXPERTS TEAM (JVET) OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 *

Also Published As

Publication number Publication date
BR122021006509A2 (pt) 2021-05-18
US10893289B2 (en) 2021-01-12
US20230412833A1 (en) 2023-12-21
WO2020032609A1 (ko) 2020-02-13
US11785248B2 (en) 2023-10-10
US20210120264A1 (en) 2021-04-22
US20220385937A1 (en) 2022-12-01
CN112673627B (zh) 2023-08-04
BR112021002335A2 (pt) 2021-05-04
US11438622B2 (en) 2022-09-06
CN116708820A (zh) 2023-09-05
CN116708815A (zh) 2023-09-05
US20200221119A1 (en) 2020-07-09
CN116708816A (zh) 2023-09-05
BR122021006490A2 (pt) 2021-05-18

Similar Documents

Publication Publication Date Title
KR102523002B1 (ko) 영상 코딩 시스템에서 인터 예측에 따른 영상 디코딩 방법 및 장치
CN112673627B (zh) 在图像编码系统中使用仿射合并候选列表的基于仿射运动预测的图像解码方法和装置
KR102490854B1 (ko) 영상 코딩 시스템에서 어파인 움직임 예측에 기반한 영상 디코딩 방법 및 장치
US12114010B2 (en) Image decoding method and apparatus based on motion prediction using merge candidate list in image coding system
US20240214603A1 (en) Image decoding method and device on basis of affine motion prediction using constructed affine mvp candidate in image coding system
KR102553665B1 (ko) 비디오 코딩 시스템에서 인터 예측 방법 및 장치
US12081738B2 (en) Method and apparatus for inter prediction in video processing system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant