CN113454991A - 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备 - Google Patents

用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备 Download PDF

Info

Publication number
CN113454991A
CN113454991A CN201980092641.5A CN201980092641A CN113454991A CN 113454991 A CN113454991 A CN 113454991A CN 201980092641 A CN201980092641 A CN 201980092641A CN 113454991 A CN113454991 A CN 113454991A
Authority
CN
China
Prior art keywords
motion vector
mmvd
current block
mode
vector difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980092641.5A
Other languages
English (en)
Inventor
郑丞洙
朴慜祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN113454991A publication Critical patent/CN113454991A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

提供了一种视频解码方法，包括：从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示是否对当前序列启用MMVD模式；当根据序列MMVD信息可应用MMVD模式时，从比特流获得指示MMVD模式是否在针对包括在当前序列中的当前块的第一帧间预测模式中被应用的第一MMVD信息；当根据第一MMVD信息在第一帧间预测模式中可应用MMVD模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向，重建将在第一帧间预测模式中使用的当前块的运动矢量；以及通过使用当前块的运动矢量重建当前块。

Description

用于对运动矢量差进行编码的方法和设备以及用于对运动矢 量差进行解码的方法和设备
技术领域
本公开涉及图像编码和解码领域。具体地，本公开涉及一种用于对被用于对图像进行编码和解码的运动矢量进行编码的方法和设备，以及一种用于对运动矢量进行解码的方法和设备。
背景技术
在对图像进行编码和解码的方法中，一个画面可以被划分为块以对图像进行编码，并且可以经由帧间预测或帧内预测对每个块进行预测编码。
帧间预测的代表性示例是使用通过去除画面之间的时间冗余来压缩图像的方法的运动估计编码。在运动估计编码中，通过使用至少一个参考画面来预测当前画面的块。可以通过使用预定评估函数在预定搜索范围内搜索与当前块最相似的参考块。基于参考块预测当前块，并且通过从当前块中减去作为预测结果而生成的预测块来生成残差块，然后对残差块进行编码。在这方面，为了进一步准确地执行预测，对参考画面的搜索范围执行插值，以便生成小于整数像素单位的子像素单位的像素，并且可以基于生成的子像素单位的像素来执行帧间预测。
在诸如H.264高级视频编码(AVC)和高效视频编码(HEVC)的标准中，与预编码画面中包括的一个或多个当前块相邻的预编码块的运动矢量被用作当前块的预测运动矢量，以便预测当前块的运动矢量。经由预定方法将作为当前块的运动矢量与预测运动矢量之间的差的差分运动矢量用信号发送给解码器。
发明内容
技术问题
根据实施例，关于运动矢量差的编码方法和编码设备以及关于运动矢量差的解码方法和解码设备有效地对在被应用于帧间模式的各种工具中使用的运动矢量差进行编码和解码。
问题的解决方案
根据本公开的实施例的视频解码方法可包括：从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示MMVD模式是否应用于当前序列；当根据序列MMVD信息可应用MMVD模式时，从比特流获得指示是否在第一帧间预测模式中对包括在当前序列中的当前块应用MMVD模式的第一MMVD信息；当根据第一MMVD信息，MMVD模式可应用于第一帧间预测模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向，重建将在第一帧间预测模式中使用的当前块的运动矢量；以及通过使用当前块的运动矢量重建当前块。
公开的有益效果
根据实施例，提供了一种关于运动矢量差的编码方法和编码设备以及关于运动信息差的解码方法和解码设备，其确定是否在每个序列、画面或块单元的等级的高级语法中使用运动矢量差，以便有效地对在应用于帧间模式的各种工具中使用的运动矢量差进行编码。
然而，根据实施例，通过对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的设备可实现的效果不限于上面提到的那些，并且本领域普通技术人员鉴于下面的描述将清楚地理解其他未陈述的效果。
附图说明
提供每个附图的简要描述是为了更好地理解本文引用的附图。
图1是根据实施例的图像解码设备的示意性框图。
图2是根据实施例的图像解码方法的流程图。
图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。
图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个对编码单元进行划分的处理。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。
图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
图8示出根据实施例的当编码单元不能按照预定顺序进行处理时由图像解码设备执行的确定当前编码单元将被划分为奇数个编码单元的处理。
图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
图10示出根据实施例的当图像解码设备对第一编码单元进行划分而确定的非正方形形状的第二编码单元满足预定条件时第二编码单元可被划分为的形状受到限制。
图11示出根据实施例的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时由图像解码设备执行的对正方形编码单元进行划分的处理。
图12示出根据实施例的多个编码单元之间的处理顺序可根据对编码单元进行划分的处理而改变。
图13示出根据实施例的当编码单元被递归划分从而确定多个编码单元时在编码单元的形状和尺寸改变时确定编码单元的深度的处理。
图14示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于将编码单元区分开的部分索引(PID)。
图15示出根据实施例的基于画面中包括的多个预定数据单元来确定多个编码单元。
图16是图像编码和解码系统的框图。
图17是根据实施例的视频解码设备的详细框图。
图18是根据实施例的视频解码方法的流程图。
图19是根据实施例的视频编码设备的框图。
图20是根据实施例的视频编码方法的流程图。
图21示出根据实施例的运动矢量候选的位置。
图22是示出在坐标平面上显示的运动矢量候选的图。
图23示出根据实施例的合并索引、合并差的距离索引和合并差的方向索引的值和含义。
图24示出根据实施例的用于通过使用基础运动矢量和合并运动矢量差来获得运动矢量的等式。
图25示出根据实施例的用于当合并差的距离索引的精度为64时调整运动矢量预测算子或基础运动矢量的精度的等式。
图26示出根据实施例的用于在合并差的距离索引的精度为16时调整运动矢量预测算子或基础运动矢量的精度的等式。
图27示出根据实施例的用于确定多条合并相关信息的二进制化的参考表。
图28示出根据各种二进制化的8个合并差的距离索引的二进制串的比较表。
图29示出k阶指数哥伦布二进制化的实施例。
图30示出根据各种二进制化的6个合并差的距离索引的二进制串的比较表。
图31示出根据实施例的通过根据合并差的距离索引组改变二进制化而生成的二进制串。
图32示出根据实施例的8个合并差的距离索引的情况的码字。
图33示出根据实施例的6个合并差的距离索引的情况的码字。
图34示出根据实施例的在三角形分区预测模式中可用的三角形分区。
图35示出根据实施例的通过在三角形分区预测模式中使用三角形分区确定的预测块。
图36示出根据另一实施例的视频解码方法的流程图。
图37示出根据另一实施例的视频编码方法的流程图。
具体实施方式
根据本公开的实施例的视频解码方法可包括：从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示MMVD模式是否可应用于当前序列；当根据序列MMVD信息可应用MMVD模式时，从比特流获得是否在第一帧间预测模式中对包括在当前序列中的当前块应用MMVD模式的第一MMVD信息；当根据第一MMVD信息在第一帧间预测模式中可应用MMVD模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向，重建将在第一帧间预测模式中使用的当前块的运动矢量；以及通过使用当前块的运动矢量重建当前块。
根据实施例，从比特流获得第一MMVD信息的步骤可包括：当根据序列MMVD信息可应用MMVD模式时，获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息；并且当根据序列MMVD信息可应用MMVD模式时，获得指示MMVD模式是否用于包括在当前序列中的当前块的MMVD信息，并且当前块的运动矢量的重建的步骤可包括：当根据MMVD信息MMVD模式被用于当前块时，根据子像素MMVD信息根据从比特流获得的当前块的运动矢量差的距离索引重建整数像素单位的或子像素单位的运动矢量差的距离；以及通过使用运动矢量差的距离来确定当前块的运动矢量。
根据实施例，根据当前块的运动矢量差的距离索引重建整数像素单位或子像素单位的运动矢量差的距离的步骤可包括：当根据MMVD信息MMVD模式被用于当前块并且根据子像素MMVD信息使用整数像素单位的运动矢量差时，根据从比特流获得的当前块的运动矢量差的距离索引重建整数像素单位的运动矢量差的距离；以及当根据MMVD信息MMVD模式被用于当前块并且根据子像素MMVD信息使用子像素单位的运动矢量差时，根据从比特流获得的当前块的运动矢量差的距离索引重建子像素单位的运动矢量差的距离。
根据实施例，重建当前块的运动矢量的步骤可以包括：从比特流获得指示当前块的基础运动矢量和当前块的运动矢量差的方向索引的信息；通过使用当前块的运动矢量差的距离索引和运动矢量差的方向索引来确定当前块的运动矢量差；通过使用指示当前块的基础运动矢量的信息来确定当前块的基础运动矢量；以及通过使用基础运动矢量和当前块的运动矢量差来确定当前块的运动矢量。
根据实施例，当根据序列MMVD信息在当前序列中不可应用MMVD模式时，整数像素单位的运动矢量差和子像素单位的运动矢量差可能在当前序列和当前块中不可用。
根据实施例，确定当前块的运动矢量的步骤可以包括：当重建的运动矢量差的距离是整数像素单位时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到整数像素单位，并通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值重建整数像素单位的运动矢量；以及当重建的运动矢量差的距离是子像素单位时，通过使用子像素单位的运动矢量差的距离以及被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值重建子像素单位的运动矢量。
根据本发明的实施例，一种视频解码设备可包括：语法元素获得器，被配置为从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示MMVD模式是否可应用于当前序列，并且当根据序列MMVD信息可应用MMVD模式时，从比特流获得指示是否在第一帧间预测模式中对包括在当前序列中的当前块应用MMVD模式的第一MMVD信息；及解码器，被配置为当根据第一MMVD信息在第一帧间预测模式中可应用MMVD模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向来重建将在第一帧间预测模式中使用的当前块的运动矢量，并通过使用当前块的运动矢量来重建当前块。
根据实施例，所述语法元素获得器可被配置为：当根据序列MMVD信息可应用MMVD模式时，获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息，并且当根据序列MMVD信息可应用MMVD模式时，获得指示MMVD模式是否被用于包括在当前序列中的当前块的MMVD信息，并且解码器可被配置为：当根据MMVD信息MMVD模式被用于当前块时，根据子像素MMVD信息，根据从比特流获得的当前块的运动矢量差的距离索引重建整数像素单位或子像素单位的运动矢量差的距离，并且通过使用运动矢量差的距离确定当前块的运动矢量。
根据本公开的实施例，一种视频编码方法可包括：对具有运动矢量差的序列合并模式(序列MMVD)信息进行编码，其中，序列MMVD信息指示MMVD模式是否可应用于当前序列；当MMVD模式可应用于当前序列时，对指示MMVD模式是否在第一帧间预测模式中被用于包括在当前序列中的当前块的第一MMVD信息进行编码；以及当在第一帧间预测模式中应用MMVD模式时，对当前块的运动矢量差的距离索引及运动矢量差的方向索引进行编码。
根据实施例，该视频编码方法还可包括：当在当前序列中可应用MMVD模式时，对指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息进行编码；并且当可应用MMVD模式时，对指示MMVD模式是否被用于包括在当前序列中的当前块的MMVD信息进行编码，以及对当前块的运动矢量差的距离索引和运动矢量差的方向索引的编码的步骤可包括：当MMVD模式被用于当前块时，对根据整数像素单位或子像素单位的运动矢量差的距离确定的当前块的运动矢量差的距离索引进行编码。
根据实施例，对当前块的运动矢量差的距离索引的编码的步骤可包括：当MMVD模式被用于当前块并且使用整数像素单位的运动矢量差时，基于整数像素单位的运动矢量差确定当前块的运动矢量差的距离索引；以及当MMVD模式被用于当前块并且使用子像素单位的运动矢量差时，基于子像素单位的运动矢量差确定当前块的运动矢量差的距离索引。
对当前块的运动矢量差的距离索引的编码的步骤可包括：当以整数像素单位对运动矢量差的距离进行编码时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到整数像素单位，通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值来确定整数像素单位的运动矢量差的距离，并对与整数像素单位的运动矢量差的距离对应的距离索引进行编码；以及当以子像素单位对运动矢量差的距离进行编码时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到子像素单位，通过使用被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值来确定子像素单位中的运动矢量差的距离，并对与子像素单位的运动矢量差的距离对应的距离索引进行编码。
根据本公开的实施例，一种视频解码方法可以包括：从比特流获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示是否对当前块启用三角形分区预测模式；从比特流获得指示是否对当前块启用帧内/帧间组合预测模式的第二信息；当根据序列MMVD信息针对当前块启用三角形分区预测模式时，基于当前块的尺寸和宽度确定是否将三角形分区预测模式应用于当前块；以及当根据序列MMVD信息对当前块启用三角形分区预测模式并且根据第二信息对当前块启用帧内/帧间组合预测模式时，基于当前块的尺寸和宽度确定是否将帧内/帧间组合预测模式应用于当前块。
根据实施例，基于当前块的尺寸和宽度确定是否将三角形分区预测模式应用于当前块的步骤可包括：当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸或者当前块的宽度大于编码单元的最大尺寸时，确定不可将三角形分区预测模式应用于当前块。
根据实施例，基于当前块的尺寸和宽度确定是否将帧内/帧间组合预测模式应用于当前块的步骤可以包括：当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸或者当前块的宽度大于编码单元的最大尺寸时，确定不可将帧内/帧间组合预测模式应用于当前块。
根据本公开的实施例，提供了一种计算机可读记录介质，其上记录有用于在计算机上实现视频解码方法的程序。
根据本公开的实施例，提供了一种计算机可读记录介质，其上记录有用于在计算机上实现视频编码方法的程序。
公开方式
由于本公开允许各种改变和许多实施例，因此将在附图中示出并在书面描述中详细描述特定实施例。然而，这不旨在将本公开限于实践的特定模式，并且将理解，不脱离各种实施例的精神和技术范围的所有改变、等同和替代都被包含在本公开中。
在实施例的描述中，当认为相关技术的详细解释可能不必要地模糊本公开的本质时，省略相关技术的详细解释。此外，在说明书的描述中使用的数字(例如，第一、第二等)仅仅是用于将一个元素与另一个元素区分开的标识符码。
此外，在本说明书中，将理解，当元件彼此“连接”或“耦接”时，元件可以彼此直接连接或耦接，但是可选地可通过所述元件之间的中间元件彼此连接或耦接，除非另有说明。
在本说明书中，关于表示为“单元”或“模块”的元件，可将两个或更多个元件组合为一个元件，或者可以根据细分的功能将一个元件划分为两个或更多个元件。此外，在下文描述的每个元件除了其自身的主要功能之外，还可以另外执行由另一元件执行的功能的一些或全部，并且每个元件主要功能中的一些可完全由另一元件执行。
此外，在本说明书中，“图像”或“画面”可以表示视频的静止图像或运动图像，即视频本身。
此外，在本说明书中，“样点”表示分配给图像的采样位置的数据，即，要被处理的数据。例如，空间域中的图像的像素值及变换域上的变换系数可以是样点。包括至少一个这样的样点的单元可被定义为块。
此外，在本说明书中，“当前块”可表示待编码或解码的当前图像的最大编码单元、编码单元、预测单元或变换单元的块。
在本说明书中，列表0的方向上的运动矢量可表示被用于指示包括在列表0中的参考画面中的块的运动矢量，且列表1的方向上的运动矢量可表示被用于指示包括在列表1中的参考画面中的块的运动矢量。此外，单向运动矢量可表示被用于指示包括在列表0或列表1中的参考画面中的块的运动矢量，且双向运动矢量可表示运动矢量包括列表0的方向上的运动矢量和列表1的方向上的运动矢量。
在下文中，将参照图1至图16描述根据实施例的图像编码设备和图像解码设备以及图像编码方法和图像解码方法。将参照图3至图16描述根据实施例的确定图像的数据单元的方法，并且将参照图17至图37描述使用具有运动矢量差的合并模式(MMVD)的视频编码/解码方法。
在下文中，参照图1和图2，将描述根据本公开的实施例的用于基于各种形状的编码单元的自适应选择的方法和设备。
图1是根据实施例的图像解码设备的示意性框图。
图像解码设备100可包括接收器110和解码器120。接收器110和解码器120可包括至少一个处理器。此外，接收器110和解码器120可包括存储将由至少一个处理器执行的指令的存储器。
接收器110可接收比特流。比特流包括由下面将描述的图像编码设备2200编码的图像的信息。此外，可从图像编码设备2200发送比特流。图像编码设备2200和图像解码设备100可通过有线方式或无线方式连接，并且接收器110可通过有线或无线接收比特流。接收器110可从诸如光学介质或硬盘的存储介质接收比特流。解码器120可基于从接收到的比特流获得的信息来重建图像。解码器120可从比特流获得用于重建图像的语法元素。解码器120可基于语法元素重建图像。
将参照图2详细描述图像解码设备100的操作。
图2是根据实施例的图像解码方法的流程图。
根据本公开的实施例，接收器110接收比特流。
图像解码设备100从比特流获得与编码单元的划分形状模式对应的二进制比特串(操作210)。图像解码设备100确定编码单元的划分规则(操作220)。此外，图像解码设备100基于与划分形状模式对应的二进制比特串和划分规则中的至少一个将编码单元划分为多个编码单元(操作230)。图像解码设备100可根据编码单元的宽高比来确定编码单元的尺寸的可允许的第一范围，以便确定划分规则。图像解码设备100可根据编码单元的划分形状模式确定编码单元的尺寸的可允许的第二范围，以便确定划分规则。
在下文中，将根据本公开的实施例详细描述对编码单元的划分。
首先，一个画面可被划分为一个或更多个条带或者一个或更多个并行块。一个条带或一个并行块可以是一个或更多个最大编码单元(编码树单元(CTU))的序列。存在在概念上与最大编码单元(CTU)相比的最大编码块(编码树块(CTB))。
最大编码块(CTB)表示包括N×N个样点(其中，N为整数)的N×N的块。每个颜色分量可被划分为一个或更多个最大编码块。
当画面具有三个样点阵列(针对Y、Cr和Cb分量的样点阵列)时，最大编码单元(CTU)包括亮度样点的最大编码块、色度样点的两个对应最大编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面为单色画面时，最大编码单元包括单色样点的最大编码块以及用于对单色样点进行编码的语法结构。当画面是在根据颜色分量而分离的颜色平面中编码的画面时，最大编码单元包括用于对画面和画面的样点进行编码的语法结构。
一个最大编码块(CTB)可被划分为包括M×N个样点(M和N为整数)的M×N的编码块。
当画面具有针对Y分量、Cr分量和Cb分量的样点阵列时，编码单元(CU)包括亮度样点的编码块、色度样点的两个对应编码块以及用于对亮度样点和色度样点进行编码的语法结构。当画面为单色画面时，编码单元包括单色样点的编码块以及用于对单色样点进行编码的语法结构。当画面是在根据颜色分量而分离的颜色平面中编码的画面时，编码单元包括用于对画面和画面的样点进行编码的语法结构。
如上所述，最大编码块和最大编码单元在概念上彼此区分开，并且编码块和编码单元在概念上彼此区分开。也就是说，(最大)编码单元是指包括包含对应样点的(最大)编码块和与(最大)编码块对应的语法元素的数据结构。然而，因为本领域普通技术人员理解(最大)编码单元或(最大)编码块是指包括预定数量的样点的预定尺寸的块，所以除非另有描述，否则在以下说明书中在不进行区分的情况下提及最大编码块和最大编码单元或者编码块和编码单元。
图像可被划分为最大编码单元(CTU)。可基于从比特流获得的信息来确定每个最大编码单元的尺寸。每个最大编码单元的形状可以是相同尺寸的正方形形状。然而，实施例不限于此。
例如，可从比特流获得关于亮度编码块的最大尺寸的信息。例如，由关于亮度编码块的最大尺寸的信息指示的亮度编码块的最大尺寸可以是4×4、8×8、16×16、32×32、64×64、128×128和256×256中的一个。
例如，可从比特流获得关于亮度块尺寸差和可被一分为二的亮度编码块的最大尺寸的信息。关于亮度块尺寸差的信息可指亮度最大编码单元与可被一分为二的最大亮度编码块之间的尺寸差。因此，当从比特流获得的关于可被一分为二的亮度编码块的最大尺寸的信息和关于亮度块尺寸差的信息被彼此组合时，可确定亮度最大编码单元的尺寸。可通过使用亮度最大编码单元的尺寸来确定色度最大编码单元的尺寸。例如，当Y：Cb：Cr比率根据颜色格式为4：2：0时，色度块的尺寸可以是亮度块的尺寸的一半，并且色度最大编码单元的尺寸可以是亮度最大编码单元的尺寸的一半。
根据实施例，因为关于可被二划分的亮度编码块的最大尺寸的信息是从比特流获得的，所以可以可变地确定可被二划分的亮度编码块的最大尺寸。相反，可被三划分的亮度编码块的最大尺寸可以是固定的。例如，I画面中的可被三划分的亮度编码块的最大尺寸可以是32×32，并且P画面或B画面中的可被三划分的亮度编码块的最大尺寸可以是64×64。
此外，可基于从比特流获得的划分形状模式信息将最大编码单元分层地划分为编码单元。可从比特流获得指示是否执行四划分的信息、指示是否执行多划分的信息、划分方向信息和划分类型信息中的至少一个作为划分形状模式信息。
例如，指示是否执行四划分的信息可指示当前编码单元是将被四划分(QUAD_SPLIT)还是不被四划分。
当当前编码单元不被四划分时，指示是否执行多划分的信息可指示当前编码单元是不再被划分(NO_SPLIT)还是被二划分/三划分。
当当前编码单元被二划分或三划分时，划分方向信息指示当前编码单元在水平方向和垂直方向中的一个方向上被划分。
当当前编码单元在水平方向或垂直方向上被划分时，划分类型信息指示当前编码单元被二划分或三划分。
可根据划分方向信息和划分类型信息来确定当前编码单元的划分模式。当前编码单元在水平方向上被二划分时的划分模式可被确定为水平二划分模式(SPLIT_BT_HOR)，当前编码单元在水平方向上被三划分时的划分模式可被确定为水平三划分模式(SPLIT_TT_HOR)，当前编码单元在垂直方向上被二划分时的划分模式可被确定为垂直二划分模式(SPLIT_BT_VER)，并且当前编码单元在垂直方向上被三划分时的划分模式可被确定为垂直三划分模式(SPLIT_TT_VER)。
图像解码设备100可从比特流从一个二进制比特串获得划分形状模式信息。由图像解码设备100接收到的比特流的形式可包括固定长度二进制码、一元码、截断一元码、预定二进制码等。二进制比特串是二进制数的信息。二进制比特串可包括至少一个比特。图像解码设备100可基于划分规则获得与二进制比特串对应的划分形状模式信息。图像解码设备100可基于一个二进制比特串确定是否对编码单元进行四划分、是否不对编码单元进行划分、划分方向和划分类型。
编码单元可小于或等于最大编码单元。例如，因为最大编码单元是具有最大尺寸的编码单元，所以最大编码单元是编码单元之一。当关于最大编码单元的划分形状模式信息指示不执行划分时，在最大编码单元中确定的编码单元与该最大编码单元具有相同的尺寸。当关于最大编码单元的划分形状模式信息指示执行划分时，可将最大编码单元划分为编码单元。此外，当关于编码单元的划分形状模式信息指示执行划分时，可将编码单元划分为更小的编码单元。然而，图像的划分不限于此，并且最大编码单元和编码单元可不被区分开。将参照图3至图16详细描述编码单元的划分。
此外，可从编码单元确定用于预测的一个或更多个预测块。预测块可等于或小于编码单元。此外，可从编码单元确定用于变换的一个或更多个变换块。变换块可等于或小于编码单元。
变换块和预测块的形状和尺寸可彼此不相关。
在另一实施例中，可通过将编码单元用作预测单元来执行预测。此外，可通过将编码单元用作变换块来执行变换。
将参照图3至图16详细描述编码单元的划分。本公开的当前块和相邻块可指示最大编码单元、编码单元、预测块和变换块中的一个。此外，当前编码单元的当前块是当前正被解码或编码的块或者当前被划分的块。相邻块可以是在当前块之前重建的块。相邻块可在空间上或时间上与当前块相邻。相邻块可位于当前块的左下方、左侧、左上方、上方、右上方、右侧、右下方中的一个。
图3示出根据实施例的由图像解码设备执行的通过对当前编码单元进行划分来确定至少一个编码单元的处理。
块形状可包括4N×4N、4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N。这里，N可以是正整数。块形状信息是指示编码单元的形状、方向、宽高比或尺寸中的至少一个的信息。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度和高度长度相同时(即，当编码单元的块形状为4N×4N时)，图像解码设备100可将编码单元的块形状信息确定为正方形。图像解码设备100可将编码单元的形状确定为非正方形。
当编码单元的宽度和高度彼此不同时(即，当编码单元的块形状为4N×2N、2N×4N、4N×N、N×4N、32N×N、N×32N、16N×N、N×16N、8N×N或N×8N时)，图像解码设备100可将编码单元的块形状信息确定为非正方形形状。当编码单元的形状是非正方形时，图像解码设备100可将编码单元的块形状信息中的宽高比确定为1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、1:32和32:1中的至少一个。此外，图像解码设备100可基于编码单元的宽度长度和高度长度来确定编码单元是沿水平方向还是沿垂直方向。此外，图像解码设备100可基于编码单元的宽度长度、高度长度或面积中的至少一个来确定编码单元的尺寸。
根据实施例，图像解码设备100可通过使用块形状信息来确定编码单元的形状，并且可通过使用划分形状模式信息来确定编码单元的划分方法。也就是说，可基于由图像解码设备100使用的块形状信息所指示的块形状来确定由划分形状模式信息指示的编码单元划分方法。
图像解码设备100可从比特流获得划分形状模式信息。然而，实施例不限于此，并且图像解码设备100和图像编码设备2200可基于块形状信息确定预先约定的划分形状模式信息。图像解码设备100可确定针对最大编码单元或最小编码单元的预先约定的划分形状模式信息。例如，图像解码设备100可将针对最大编码单元的划分形状模式信息确定为四划分。此外，图像解码设备100可将关于最小编码单元的划分形状模式信息确定为“不执行划分”。具体地，图像解码设备100可确定最大编码单元的尺寸为256×256。图像解码设备100可将预先约定的划分形状模式信息确定为四划分。四划分是编码单元的宽度和高度均被二等分的划分形状模式。图像解码设备100可基于划分形状模式信息从256×256尺寸的最大编码单元获得128×128尺寸的编码单元。此外，图像解码设备100可确定最小编码单元的尺寸为4×4。图像解码设备100可获得针对最小编码单元的指示“不执行划分”的划分形状模式信息。
根据实施例，图像解码设备100可使用指示当前编码单元具有正方形形状的块形状信息。例如，图像解码设备100可基于划分形状模式信息来确定是否不对正方形编码单元进行划分、是否对正方形编码单元进行垂直划分、是否对正方形编码单元进行水平划分、或者是否将正方形编码单元划分为四个编码单元。参照图3，当当前编码单元300的块形状信息指示正方形形状时，解码器120可基于指示不执行划分的划分形状模式信息不对与当前编码单元300具有相同尺寸的编码单元310a进行划分，或者可确定基于指示预定划分方法的划分形状模式信息而划分出的编码单元310b、310c、310d、310e或310f。
参照图3，根据实施例，图像解码设备100可基于指示在垂直方向上执行划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的两个编码单元310b。图像解码设备100可基于指示在水平方向上执行划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的两个编码单元310c。图像解码设备100可基于指示在垂直方向和水平方向上执行划分的划分形状模式信息来确定通过在垂直方向和水平方向上划分当前编码单元300而获得的四个编码单元310d。根据实施例，图像解码设备100可基于指示在垂直方向上执行三划分的划分形状模式信息来确定通过在垂直方向上划分当前编码单元300而获得的三个编码单元310e。图像解码设备100可基于指示在水平方向上执行三划分的划分形状模式信息来确定通过在水平方向上划分当前编码单元300而获得的三个编码单元310f。然而，正方形编码单元的划分方法不限于上述方法，并且划分形状模式信息可指示各种方法。下面将关于各种实施例详细描述对正方形编码单元进行划分的预定划分方法。
图4示出根据实施例的由图像解码设备执行的通过对非正方形编码单元进行划分来确定至少一个编码单元的处理。
根据实施例，图像解码设备100可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码设备100可基于划分形状模式信息来确定是否不对非正方形当前编码单元进行划分或者是否通过使用预定划分方法来对非正方形当前编码单元进行划分。参照图4，当当前编码单元400或450的块形状信息指示非正方形形状时，图像解码设备100可基于指示不执行划分的划分形状模式信息来确定与当前编码单元400或450具有相同的尺寸的编码单元410或460，或者可确定基于指示预定划分方法的划分形状模式信息而划分出的编码单元420a和420b、430a至430c、470a和470b或者480a至480c。下面将关于各种实施例详细描述对非正方形编码单元进行划分的预定划分方法。
根据实施例，图像解码设备100可通过使用划分形状模式信息来确定编码单元的划分方法，并且在这种情况下，划分形状模式信息可指示通过划分编码单元而生成的一个或更多个编码单元的数量。参照图4，当划分形状模式信息指示将当前编码单元400或450划分为两个编码单元时，图像解码设备100可通过基于划分形状模式信息对当前编码单元400或450进行划分来确定当前编码单元400或450中包括的两个编码单元420a和420b或者470a和470b。
根据实施例，当图像解码设备100基于划分形状模式信息来对非正方形当前编码单元400或450进行划分时，图像解码设备100可考虑非正方形当前编码单元400或450的长边的位置以对当前编码单元进行划分。例如，图像解码设备100可通过考虑当前编码单元400或450的形状在对当前编码单元400或450的长边进行划分的方向上划分当前编码单元400或450，来确定多个编码单元。
根据实施例，当划分形状模式信息指示将编码单元划分(三划分)为奇数个块时，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元。例如，当划分形状模式信息指示将当前编码单元400或450划分为三个编码单元时，图像解码设备100可将当前编码单元400或450划分为三个编码单元430a、430b和430c或者480a、480b和480c。
根据实施例，当前编码单元400或450的宽高比可以是4:1或1:4。当宽高比为4:1时，因为宽度长度长于高度长度，所以块形状信息可指示水平方向。当宽高比为1:4时，因为宽度长度短于高度长度，所以块形状信息可指示垂直方向。图像解码设备100可基于划分形状模式信息来确定将当前编码单元划分为奇数个块。此外，图像解码设备100可基于当前编码单元400或450的块形状信息来确定当前编码单元400或450的划分方向。例如，当当前编码单元400沿垂直方向时，图像解码设备100可通过在水平方向上划分当前编码单元400来确定编码单元430a、430b和430c。此外，当当前编码单元450沿水平方向时，图像解码设备100可通过在垂直方向上划分当前编码单元450来确定编码单元480a、480b和480c。
根据实施例，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元，并且不是所有确定的编码单元可具有相同的尺寸。例如，所确定的奇数个编码单元430a、430b和430c或者480a、480b和480c中的预定编码单元430b或480b可具有与其他编码单元430a和430c或者480a和480c的尺寸不同的尺寸。也就是说，可通过划分当前编码单元400或450而确定的编码单元可具有多个尺寸，并且在一些情况下，全部奇数个编码单元430a、430b和430c或者480a、480b和480c可具有不同的尺寸。
根据实施例，当划分形状模式信息指示将编码单元划分为奇数个块时，图像解码设备100可确定当前编码单元400或450中包括的奇数个编码单元，并且此外，可对通过划分当前编码单元400或450而生成的奇数个编码单元中的至少一个编码单元施加预定限制。参照图4，图像解码设备100可将关于编码单元430b或480b的解码处理设置为与其他编码单元430a和430c或者480a和480c的解码处理不同，其中，编码单元430b或480b位于对当前编码单元400或450进行划分而生成的三个编码单元430a、430b和430c或者480a、480b和480c中的中心。例如，与其他编码单元430a和430c或者480a和480c不同，图像解码设备100可限制中心位置处的编码单元430b或480b不再被划分或仅被划分预定次数。
图5示出根据实施例的由图像解码设备执行的基于块形状信息和划分形状模式信息中的至少一个对编码单元进行划分的处理。
根据实施例，图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个，确定将正方形的第一编码单元500划分为编码单元或不对正方形的第一编码单元500进行划分。根据实施例，当划分形状模式信息指示在水平方向上划分第一编码单元500时，图像解码设备100可通过在水平方向上划分第一编码单元500来确定第二编码单元510。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和在划分编码单元之后的关系的术语。例如，可通过划分第一编码单元来确定第二编码单元，并且可通过划分第二编码单元来确定第三编码单元。将理解，第一编码单元、第二编码单元和第三编码单元的关系遵循以上描述。
根据实施例，图像解码设备100可基于划分形状模式信息确定将所确定的第二编码单元510划分为编码单元或不对所确定的第二编码单元510进行划分。参照图5，图像解码设备100可基于划分形状模式信息和划分形状模式信息中的至少一个将通过划分第一编码单元500而确定的非正方形的第二编码单元510划分为一个或更多个第三编码单元520a、520b、520c和520d，或者可不对非正方形的第二编码单元510进行划分。图像解码设备100可获得划分形状模式信息，并且可基于获得的划分形状模式信息通过划分第一编码单元500来获得多个各种形状的第二编码单元(例如，510)，并且可基于划分形状模式信息通过使用第一编码单元500的划分方法来划分第二编码单元510。根据实施例，当基于第一编码单元500的划分形状模式信息将第一编码单元500划分为第二编码单元510时，也可基于第二编码单元510的划分形状模式信息将第二编码单元510划分为第三编码单元(例如，520a、或者520b、520c和520d)。也就是说，可基于每个编码单元的划分形状模式信息来递归地划分编码单元。因此，可通过划分非正方形编码单元来确定正方形编码单元，并且可通过递归地划分正方形编码单元来确定非正方形编码单元。
参照图5，可递归地划分通过划分非正方形的第二编码单元510而确定的奇数个第三编码单元520b、520c和520d中的预定编码单元(例如，中心位置处的编码单元或正方形编码单元)。根据实施例，奇数个第三编码单元520b、520c和520d中的正方形的第三编码单元520c可在水平方向上被划分为多个第四编码单元。多个第四编码单元530a、530b、530c和530d中的非正方形的第四编码单元530b或530d可再次被划分为多个编码单元。例如，非正方形的第四编码单元530b或530d可再次被划分为奇数个编码单元。下面将关于各种实施例描述可用于递归地划分编码单元的方法。
根据实施例，图像解码设备100可基于划分形状模式信息将第三编码单元520a、或者520b、520c和520d中的每一个划分为编码单元。此外，图像解码设备100可基于划分形状模式信息确定不对第二编码单元510进行划分。根据实施例，图像解码设备100可将非正方形的第二编码单元510划分为奇数个第三编码单元520b、520c和520d。图像解码设备100可对奇数个第三编码单元520b、520c和520d中的预定第三编码单元施加预定限制。例如，图像解码设备100可限制奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c不再被划分或被划分可设置的次数。
参照图5，图像解码设备100可将非正方形的第二编码单元510中所包括的奇数个第三编码单元520b、520c和520d中的中心位置处的第三编码单元520c限制为不再被划分、限制为通过使用预定划分方法被划分(例如，仅被划分为四个编码单元或通过使用第二编码单元510的划分方法被划分)或者限制为仅被划分预定次数(例如，仅被划分n次(其中，n>0))。然而，对中心位置处的第三编码单元520c的限制不限于上述示例，并且可包括用于与其他第三编码单元520b和520d不同地对中心位置处的第三编码单元520c进行解码的各种限制。
根据实施例，图像解码设备100可从当前编码单元中的预定位置获得用于对当前编码单元进行划分的划分形状模式信息。
图6示出根据实施例的由图像解码设备执行的从奇数个编码单元中确定预定编码单元的方法。
参照图6，可从当前编码单元600或650中包括的多个样点中的预定位置的样点(例如，中心位置的样点640或690)获得当前编码单元600或650的划分形状模式信息。然而，当前编码单元600中的可获得至少一条划分形状模式信息的预定位置不限于图6中的中心位置，并且可包括当前编码单元600中包括的各种位置(例如，上方、下方、左侧、右侧、左上方、左下方、右上方、右下方位置等)。图像解码设备100可从预定位置获得划分形状模式信息，并且可确定将当前编码单元划分为各种形状和各种尺寸的编码单元或者不对当前编码单元进行划分。
根据实施例，在当前编码单元被划分为预定数量的编码单元时，图像解码设备100可选择编码单元中的一个编码单元。如下面将关于各种实施例描述的，各种方法可被用于选择多个编码单元中的一个编码单元。
根据实施例，图像解码设备100可将当前编码单元划分为多个编码单元，并且可确定预定位置处的编码单元。
根据实施例，图像解码设备100可使用指示奇数个编码单元的位置的信息来确定奇数个编码单元中的中心位置处的编码单元。参照图6，图像解码设备100可通过划分当前编码单元600或当前编码单元650来确定奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c。图像解码设备100可通过使用关于奇数个编码单元620a、620b和620c或奇数个编码单元660a、660b和660c的位置的信息来确定中间编码单元620b或中间编码单元660b。例如，图像解码设备100可通过基于指示编码单元620a、620b和620c中包括的预定样点的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置的编码单元620b。详细地，图像解码设备100可通过基于指示编码单元620a、620b和620c的左上样点630a、630b和630c的位置的信息确定编码单元620a、620b和620c的位置来确定中心位置处的编码单元620b。
根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括关于编码单元620a、620b和620c在画面中的位置或坐标的信息。根据实施例，指示分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的位置的信息可包括指示当前编码单元600中包括的编码单元620a、620b和620c的宽度或高度的信息，并且所述宽度或高度可与指示编码单元620a、620b和620c在画面中的坐标之间的差的信息对应。也就是说，图像解码设备100可通过直接使用关于编码单元620a、620b和620c在画面中的位置或坐标的信息或者通过使用关于编码单元的与坐标之间的差值对应的宽度或高度的信息来确定中心位置处的编码单元620b。
根据实施例，指示上方编码单元620a的左上样点630a的位置的信息可包括坐标(xa，ya)，指示中心编码单元620b的左上样点630b的位置的信息可包括坐标(xb，yb)，并且指示下方编码单元620c的左上样点630c的位置的信息可包括坐标(xc，yc)。图像解码设备100可通过使用分别包括在编码单元620a、620b和620c中的左上样点630a、630b和630c的坐标来确定中间编码单元620b。例如，当左上样点630a、630b和630c的坐标按照升序或降序被排序时，可将包括中心位置处的样点630b的坐标(xb，yb)的编码单元620b确定为通过划分当前编码单元600而确定的编码单元620a、620b和620c中的中心位置处的编码单元。然而，指示左上样点630a、630b和630c的位置的坐标可包括指示画面中的绝对位置的坐标，或者可使用指示中间编码单元620b的左上样点630b相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxb，dyb)和指示下方编码单元620c的左上样点630c相对于上方编码单元620a的左上样点630a的位置的相对位置的坐标(dxc，dyc)。通过将包括在编码单元中的样点的坐标用作指示样点的位置的信息来确定预定位置处的编码单元的方法不限于上述方法，并且可包括能够使用样点的坐标的各种算术方法。
根据实施例，图像解码设备100可将当前编码单元600划分为多个编码单元620a、620b和620c，并且可基于预定标准选择编码单元620a、620b和620c中的一个编码单元。例如，图像解码设备100可从编码单元620a、620b和620c中选择尺寸与其他编码单元的尺寸不同的编码单元620b。
根据实施例，图像解码设备100可通过使用作为指示上方编码单元620a的左上样点630a的位置的信息的坐标(xa，ya)、作为指示中间编码单元620b的左上样点630b的位置的信息的坐标(xb，yb)以及作为指示下方编码单元620c的左上样点630c的位置的信息的坐标(xc，yc)来确定编码单元620a、620b和620c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元620a、620b和620c的位置的坐标(xa，ya)、(xb，yb)和(xc，yc)来确定编码单元620a、620b和620c各自的尺寸。根据实施例，图像解码设备100可将上方编码单元620a的宽度确定为当前编码单元600的宽度。图像解码设备100可将上方编码单元620a的高度确定为yb-ya。根据实施例，图像解码设备100可将中间编码单元620b的宽度确定为当前编码单元600的宽度。图像解码设备100可将中间编码单元620b的高度确定为yc-yb。根据实施例，图像解码设备100可通过使用当前编码单元600的宽度或高度或者上方编码单元620a和中间编码单元620b的宽度或高度来确定下方编码单元620c的宽度或高度。图像解码设备100可基于所确定的编码单元620a、620b和620c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图6，图像解码设备100可将具有与上方编码单元620a和下方编码单元620c的尺寸不同的尺寸的中间编码单元620b确定为预定位置的编码单元。然而，由图像解码设备100执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应，并且因此，可使用通过对基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法。
图像解码设备100可通过使用作为指示左侧编码单元660a的左上样点670a的位置的信息的坐标(xd，yd)、作为指示中间编码单元660b的左上样点670b的位置的信息的坐标(xe，ye)以及作为指示右侧编码单元660c的左上样点670c的位置的信息的坐标(xf，yf)来确定编码单元660a、660b和660c中的每一个的宽度或高度。图像解码设备100可通过使用指示编码单元660a、660b和660c的位置的坐标(xd，yd)、(xe，ye)和(xf，yf)来确定编码单元660a、660b和660c各自的尺寸。
根据实施例，图像解码设备100可将左侧编码单元660a的宽度确定为xe-xd。图像解码设备100可将左侧编码单元660a的高度确定为当前编码单元650的高度。根据实施例，图像解码设备100可将中间编码单元660b的宽度确定为xf-xe。图像解码设备100可将中间编码单元660b的高度确定为当前编码单元650的高度。根据实施例，图像解码设备100可通过使用当前编码单元650的宽度或高度或者左侧编码单元660a和中间编码单元660b的宽度或高度来确定右侧编码单元660c的宽度或高度。图像解码设备100可基于所确定的编码单元660a、660b和660c的宽度和高度来确定尺寸与其他编码单元的尺寸不同的编码单元。参照图6，图像解码设备100可将尺寸与左侧编码单元660a和右侧编码单元660c的尺寸不同的中间编码单元660b确定为预定位置的编码单元。然而，由图像解码设备100执行的确定尺寸与其他编码单元的尺寸不同的编码单元的上述方法仅与通过使用基于样点的坐标确定的编码单元的尺寸来确定预定位置处的编码单元的示例对应，并且因此，可使用通过对基于预定样点的坐标确定的编码单元的尺寸进行比较来确定预定位置处的编码单元的各种方法。
然而，确定编码单元的位置所考虑的样点的位置不限于上述的左上位置，并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例，图像解码设备100可考虑当前编码单元的形状，从通过划分当前编码单元确定的奇数个编码单元中选择预定位置处的编码单元。例如，在当前编码单元具有宽度大于高度的非正方形形状时，图像解码设备100可确定沿水平方向的预定位置处的编码单元。也就是说，图像解码设备100可确定沿水平方向的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。在当前编码单元具有高度大于宽度的非正方形形状时，图像解码设备100可确定沿垂直方向的预定位置处的编码单元。也就是说，图像解码设备100可确定沿垂直方向的不同位置处的编码单元中的一个编码单元，并且可对该编码单元施加限制。
根据实施例，图像解码设备100可使用指示偶数个编码单元的各个位置的信息，以确定偶数个编码单元中的预定位置处的编码单元。图像解码设备100可通过划分(二划分)当前编码单元来确定偶数个编码单元，并且可通过使用关于偶数个编码单元的位置的信息来确定预定位置处的编码单元。与其相关的操作可与已经在上面关于图6详细描述的确定奇数个编码单元中的预定位置(例如，中心位置)处的编码单元的操作对应，并且因此这里不提供其详细描述。
根据实施例，当非正方形的当前编码单元被划分为多个编码单元时，可在划分操作中使用关于预定位置处的编码单元的预定信息来确定多个编码单元中的预定位置处的编码单元。例如，图像解码设备100可在划分操作中使用中间编码单元中包括的样点中所存储的块形状信息和划分形状模式信息中的至少一个来确定通过划分当前编码单元所确定的多个编码单元中的中心位置处的编码单元。
参照图6，图像解码设备100可基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c，并且可确定多个编码单元620a、620b和620c中的中心位置处的编码单元620b。此外，图像解码设备100可考虑获得划分形状模式信息的位置来确定中心位置处的编码单元620b。也就是说，可从当前编码单元600的中心位置处的样点640获得当前编码单元600的划分形状模式信息，并且当基于划分形状模式信息将当前编码单元600划分为多个编码单元620a、620b和620c时，可将包括样点640的编码单元620b确定为中心位置处的编码单元。然而，用于确定中心位置处的编码单元的信息不限于划分形状模式信息，并且可使用各种类型的信息确定中心位置处的编码单元。
根据实施例，可从包括在将被确定的编码单元中的预定样点获得用于标识预定位置处的编码单元的预定信息。参照图6，图像解码设备100可使用从当前编码单元600中的预定位置处的样点(例如，当前编码单元600的中心位置处的样点)获得的划分形状模式信息来确定通过划分当前编码单元600而确定的多个编码单元620a、620b和620c中的预定位置处的编码单元(例如，划分出的多个编码单元中的中心位置处的编码单元)。也就是说，图像解码设备100可通过考虑当前编码单元600的块形状来确定预定位置处的样点，可从通过划分当前编码单元600确定的多个编码单元620a、620b和620c中确定包括可获得预定信息(例如，划分形状模式信息)的样点的编码单元620b，并且可对编码单元620b施加预定限制。参照图6，根据实施例，在解码操作中，图像解码设备100可将当前编码单元600的中心位置处的样点640确定为可获得预定信息的样点，并且可对包括样点640的编码单元620b施加预定限制。然而，可获得预定信息的样点的位置不限于上述位置，并且可包括编码单元620b中所包括的将被确定为样点的任意位置以进行限制。
根据实施例，可基于当前编码单元600的形状确定可获得预定信息的样点的位置。根据实施例，块形状信息可指示当前编码单元是具有正方形形状还是具有非正方形形状，并且可基于该形状确定可预定特定信息的样点的位置。例如，图像解码设备100可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个，将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得预定特定信息的样点。作为另一示例，当当前编码单元的块形状信息指示非正方形形状时，图像解码设备100可将包括将当前编码单元的长边对半划分的边界的样点中的一个样点确定为可获得预定信息的样点。
根据实施例，在当前编码单元被划分为多个编码单元时，图像解码设备100可使用划分形状模式信息来确定多个编码单元中的预定位置处的编码单元。根据实施例，图像解码设备100可从编码单元中的预定位置处的样点获得划分形状模式信息，并且可通过使用划分形状模式信息对通过划分当前编码单元生成的多个编码单元进行划分，其中，所述划分形状模式信息是从所述多个编码单元中的每个编码单元中的预定位置处的样点获得的。也就是说，可基于划分形状模式信息递归地划分编码单元，其中，所述划分形状模式信息是从每个编码单元中的预定位置处的样点获得的。上面已经关于图5描述了递归地划分编码单元的操作，并且因此这里将不提供其详细描述。
根据实施例，图像解码设备100可通过划分当前编码单元确定一个或更多个编码单元，并且可基于预定块(例如，当前编码单元)确定对所述一个或更多个编码单元进行解码的顺序。
图7示出根据实施例的当图像解码设备通过对当前编码单元进行划分来确定多个编码单元时对所述多个编码单元进行处理的顺序。
根据实施例，基于划分形状模式信息，图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，可通过在水平方向上划分第一编码单元700来确定第二编码单元730a和730b，或者可通过在垂直方向和水平方向上划分第一编码单元700来确定第二编码单元750a、750b、750c和750d。
参照图7，图像解码设备100可确定按照水平方向顺序710c对通过在垂直方向上划分第一编码单元700而确定的第二编码单元710a和710b进行处理。图像解码设备100可确定按照垂直方向顺序730c对通过在水平方向上划分第一编码单元700而确定的第二编码单元730a和730b进行处理。图像解码设备100可根据预定顺序(例如，按照光栅扫描顺序或Z字形扫描顺序750e)确定通过在垂直方向和水平方向上划分第一编码单元700而确定的第二编码单元750a、750b、750c和750d，其中，根据所述预定顺序对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例，图像解码设备100可递归地划分编码单元。参照图7，图像解码设备100可通过划分第一编码单元700来确定多个编码单元710a和710b、730a和730b、或者750a、750b、750c和750d，并且可递归地划分所确定的多个编码单元710a、710b、730a、730b、750a、750b、750c和750d中的每一个。多个编码单元710a和710b、730a和730b、或者750a、750b、750c和750d的划分方法可对应于第一编码单元700的划分方法。因此，多个编码单元710a和710b、730a和730b、或者750a、750b、750c和750d中的每一个可被独立地划分为多个编码单元。参照图7，图像解码设备100可通过在垂直方向上划分第一编码单元700来确定第二编码单元710a和710b，并且可确定独立地划分或者不划分第二编码单元710a和710b中的每一个。
根据实施例，图像解码设备100可通过在水平方向上对左侧第二编码单元710a进行划分来确定第三编码单元720a和720b，并且可不对右侧第二编码单元710b进行划分。
根据实施例，可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说，可基于紧接在被划分之前的编码单元的处理顺序来确定划分后的编码单元的处理顺序。图像解码设备100可独立于右侧第二编码单元710b来确定通过划分左侧第二编码单元710a而确定的第三编码单元720a和720b的处理顺序。因为通过在水平方向上划分左侧第二编码单元710a来确定第三编码单元720a和720b，所以可按照垂直方向顺序720c对第三编码单元720a和720b进行处理。此外，因为左侧第二编码单元710a和右侧第二编码单元710b按照水平方向顺序710c被处理，所以可在按照垂直方向顺序720c对左侧第二编码单元710a中包括的第三编码单元720a和720b进行处理之后对右侧第二编码单元710b进行处理。基于划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例，并且可使用各种方法按照预定顺序独立地处理被划分并被确定为各种形状的编码单元。
图8示出根据实施例的当编码单元不能按照预定顺序进行处理时，由图像解码设备执行的确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例，图像解码设备100可基于获得的划分形状模式信息确定当前编码单元将被划分为奇数个编码单元。参照图8，正方形的第一编码单元800可被划分为非正方形的第二编码单元810a和810b，第二编码单元810a和810b可被独立地划分为第三编码单元820a和820b以及820c、820d和820e。根据实施例，图像解码设备100可通过在水平方向上划分左侧第二编码单元810a来确定多个第三编码单元820a和820b，并且可将右侧第二编码单元810b划分为奇数个第三编码单元820c、820d和820e。
根据实施例，图像解码设备100可通过确定第三编码单元820a和820b以及820c、820d和820e是否能够按照预定顺序进行处理来确定任意编码单元是否被划分为奇数个编码单元。参照图8，图像解码设备100可通过递归地划分第一编码单元800来确定第三编码单元820a和820b以及820c、820d和820e。图像解码设备100可基于块形状信息和划分形状模式信息中的至少一个确定以下编码单元中的任意一个是否被划分为奇数个编码单元：第一编码单元800、第二编码单元810a和810b、第三编码单元820a和820b及820c、820d和820e。例如，第二编码单元810a和810b中的位于右侧的编码单元可被划分为奇数个第三编码单元820c、820d和820e。第一编码单元800中包括的多个编码单元的处理顺序可以是预定顺序(例如，Z字形扫描顺序830)，图像解码设备100可确定通过将右侧第二编码单元810b划分为奇数个编码单元所确定的第三编码单元820c、820d和820e是否满足用于按照预定顺序进行处理的条件。
根据实施例，图像解码设备100可确定第一编码单元800中包括的第三编码单元820a和820b以及820c、820d和820e是否满足用于按照预定顺序进行处理的条件，并且该条件与第二编码单元810a和810b的宽度和高度中的至少一个是否将沿着第三编码单元820a和820b以及820c、820d和820e的边界被对半划分有关。例如，当非正方形形状的左侧第二编码单元810a的高度被对半划分时所确定的第三编码单元820a和820b可满足所述条件。因为当将右侧第二编码单元810b划分为三个编码单元时所确定的第三编码单元820c、820d和820e的边界未能将右侧第二编码单元810b的宽度或高度对半划分，所以可确定第三编码单元820c、820d和820e不满足所述条件。当如上所述不满足所述条件时，图像解码设备100可确定扫描顺序不连续，并且可基于确定结果确定右侧第二编码单元810b将被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置，并且因此这里将不提供其详细描述。
图9示出根据实施例的由图像解码设备执行的通过对第一编码单元进行划分来确定至少一个编码单元的处理。
根据实施例，图像解码设备100可基于通过接收器110获得的划分形状模式信息对第一编码单元900进行划分。正方形的第一编码单元900可被划分为四个正方形编码单元，或者可被划分为多个非正方形编码单元。例如，参照图9，当第一编码单元具有正方形形状并且划分形状模式信息指示将第一编码单元900划分为非正方形编码单元时，图像解码设备100可将第一编码单元900划分为多个非正方形编码单元。详细地，当划分形状模式信息指示通过在水平方向或垂直方向上划分第一编码单元900来确定奇数个编码单元时，图像解码设备100可将正方形的第一编码单元900划分为奇数个编码单元(例如，通过在垂直方向上划分正方形的第一编码单元900而确定的第二编码单元910a、910b和910c，或者通过在水平方向上划分正方形的第一编码单元900而确定的第二编码单元920a、920b和920c)。
根据实施例，图像解码设备100可确定包括在第一编码单元900中的第二编码单元910a、910b、910c、920a、920b和920c是否满足用于按照预定顺序进行处理的条件，并且该条件与第一编码单元900的宽度和高度中的至少一个是否将沿着第二编码单元910a、910b、910c、920a、920b和920c的边界被对半划分有关。参照图9，因为通过在垂直方向上划分正方形的第一编码单元900所确定的第二编码单元910a、910b和910c的边界未将第一编码单元900的宽度对半划分，所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。此外，因为通过在水平方向上划分正方形的第一编码单元900所确定的第二编码单元920a、920b和920c的边界未将第一编码单元900的高度对半划分，所以可确定第一编码单元900不满足用于按照预定顺序进行处理的条件。当如上所述不满足所述条件时，图像解码设备100可确定扫描顺序不连续，并且可基于确定结果确定第一编码单元900将被划分为奇数个编码单元。根据实施例，当编码单元被划分为奇数个编码单元时，图像解码设备100可对划分出的编码单元中的预定位置处的编码单元施加预定限制。上面已经关于各种实施例描述了所述限制或所述预定位置，因此这里将不提供其详细描述。
根据实施例，图像解码设备100可通过划分第一编码单元来确定各种形状的编码单元。
参照图9，图像解码设备100可将正方形的第一编码单元900或非正方形的第一编码单元930或950划分为各种形状的编码单元。
图10示出根据实施例的当图像解码设备对第一编码单元进行划分而确定的具有非正方形形状的第二编码单元满足预定条件时第二编码单元可被划分为的形状受到限制。
根据实施例，图像解码设备100可基于由比接收器110获得的划分形状模式信息确定将正方形的第一编码单元1000划分为非正方形的第二编码单元1010a和1010b、或者1020a和1020b。第二编码单元1010a和1010b、或者1020a和1020b可被独立地划分。如此，图像解码设备100可基于第二编码单元1010a和1010b、或者1020a和1020b中的每一个的划分形状模式信息，确定将第二编码单元1010a和1010b、或者1020a和1020b中的每一个划分为多个编码单元或者不对第二编码单元1010a和1010b、或者1020a和1020b中的每一个进行划分。根据实施例，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1000而确定的非正方形的左侧第二编码单元1010a进行划分，来确定第三编码单元1012a和1012b。然而，当左侧第二编码单元1010a在水平方向上被划分时，图像解码设备100可将右侧第二编码单元1010b限制为不在左侧第二编码单元1010a被划分的水平方向上被划分。当通过在同一方向上划分右侧第二编码单元1010b来确定第三编码单元1014a和1014b时，因为左侧第二编码单元1010a和右侧第二编码单元1010b在水平方向上被独立地划分，所以可确定第三编码单元1012a和1012b、或者1014a和1014b。然而，这种情况与图像解码设备100基于划分形状模式信息将第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d的情况起到的作用相同，并且在图像解码方面可能是低效的。
根据实施例，图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1000而确定的非正方形的第二编码单元1020a或1020b进行划分，来确定第三编码单元1022a和1022b、或者1024a和1024b。然而，当第二编码单元(例如，上方第二编码单元1020a)在垂直方向上被划分时，出于上述原因，图像解码设备100可将另一第二编码单元(例如，下方第二编码单元1020b)限制为不在上方第二编码单元1020a被划分的垂直方向上被划分。
图11示出根据实施例的当划分形状模式信息指示正方形编码单元将不被划分为四个正方形编码单元时由图像解码设备执行的对正方形编码单元进行划分的处理。
根据实施例，图像解码设备100可通过基于划分形状模式信息划分第一编码单元1100来确定第二编码单元1110a和1110b、或者1120a和1120b等。划分形状模式信息可包括关于划分编码单元的各种方法的信息，但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形编码单元的信息。根据这样的划分形状模式信息，图像解码设备100可不将正方形的第一编码单元1100划分为四个正方形编码单元1130a、1130b、1130c和1130d。图像解码设备100可基于划分形状模式信息确定非正方形的第二编码单元1110a和1110b、或者1120a和1120b等。
根据实施例，图像解码设备100可独立地划分非正方形的第二编码单元1110a和1110b、或者1120a和1120b等。第二编码单元1110a和1110b、或者1120a和1120b等中的每一个可按照预定顺序被递归地划分，并且该划分方法可与基于划分形状模式信息来划分第一编码单元1100的方法对应。
例如，图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a来确定正方形的第三编码单元1112a和1112b，并且可通过在水平方向上划分右侧第二编码单元1110b来确定正方形的第三编码单元1114a和1114b。此外，图像解码设备100可通过在水平方向上划分左侧第二编码单元1110a和右侧第二编码单元1110b两者来确定正方形的第三编码单元1116a、1116b、1116c和1116d。在这种情况下，可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
作为另一示例，图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a来确定正方形的第三编码单元1122a和1122b，并且可通过在垂直方向上划分下方第二编码单元1120b来确定正方形的第三编码单元1124a和1124b。此外，图像解码设备100可通过在垂直方向上划分上方第二编码单元1120a和下方第二编码单元1120b两者来确定正方形的第三编码单元1126a、1126b、1126c和1126d。在这种情况下，可确定与从第一编码单元1100划分出的四个正方形的第二编码单元1130a、1130b、1130c和1130d具有相同形状的编码单元。
图12示出根据实施例的多个编码单元之间的处理顺序可根据对编码单元进行划分的处理而改变。
根据实施例，图像解码设备100可基于划分形状模式信息来划分第一编码单元1200。当块形状指示正方形形状并且划分形状模式信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1200时，图像解码设备100可通过划分第一编码单元1200来确定第二编码单元1210a和1210b、或者1220a和1220b等。参照图12，通过仅在水平方向或垂直方向上划分第一编码单元1200而确定的非正方形的第二编码单元1210a和1210b、或者1220a和1220b可基于每个编码单元的划分形状模式信息被独立地划分。例如，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d，并且可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d。上面已经关于图11描述了划分第二编码单元1210a和1210b、或者1220a和1220b的操作，因此这里将不提供其详细描述。
根据实施例，图像解码设备100可按照预定顺序处理编码单元。上面已经关于图7描述了按照预定顺序处理编码单元的操作，因此这里将不提供其详细描述。参照图12，图像解码设备100可通过划分正方形的第一编码单元1200来确定四个正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。根据实施例，图像解码设备100可基于划分第一编码单元1200的划分形状来确定第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d的处理顺序。
根据实施例，图像解码设备100可通过在水平方向上对通过在垂直方向上划分第一编码单元1200而生成的第二编码单元1210a和1210b进行划分来确定第三编码单元1216a、1216b、1216c和1216d，并且可按照如下处理顺序1217处理第三编码单元1216a、1216b、1216c和1216d：首先在垂直方向上处理左侧第二编码单元1210a中包括的第三编码单元1216a和1216c，然后在垂直方向上处理右侧第二编码单元1210b中包括的第三编码单元1216b和1216d。
根据实施例，图像解码设备100可通过在垂直方向上对通过在水平方向上划分第一编码单元1200而生成的第二编码单元1220a和1220b进行划分来确定第三编码单元1226a、1226b、1226c和1226d，并且可按照如下处理顺序1227处理第三编码单元1226a、1226b、1226c和1226d：首先在水平方向上处理上方第二编码单元1220a中包括的第三编码单元1226a和1226b，然后在水平方向上处理下方第二编码单元1220b中包括的第三编码单元1226c和1226d。
参照图12，可通过分别划分第二编码单元1210a和1210b、以及1220a和1220b来确定正方形的第三编码单元1216a、1216b、1216c和1216d以及1226a、1226b、1226c和1226d。尽管通过在垂直方向上划分第一编码单元1200而确定的第二编码单元1210a和1210b与通过在水平方向上划分第一编码单元1200而确定的第二编码单元1220a和1220b不同，但是从第二编码单元1210a和1210b以及第二编码单元1220a和1220b划分出的第三编码单元1216a、1216b、1216c和1216d以及第三编码单元1226a、1226b、1226c和1226d最终示出从第一编码单元1200划分出的相同形状的编码单元。如此，通过基于划分形状模式信息以不同的方式递归地划分编码单元，即使最终将编码单元确定为相同的形状，图像解码设备100也可按照不同顺序对多个编码单元进行处理。
图13示出根据实施例的当编码单元被递归划分从而确定多个编码单元时随着编码单元的形状和尺寸改变确定编码单元的深度的处理。
根据实施例，图像解码设备100可基于预定标准确定编码单元的深度。例如，所述预定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分后的当前编码单元的长边的长度的2n(n>0)倍时，图像解码设备100可确定当前编码单元的深度比划分之前的编码单元的深度增大n。在下面的描述中，具有增大的深度的编码单元被表示为更低深度的编码单元。
参照图13，根据实施例，图像解码设备100可通过基于指示正方形形状的块形状信息(例如，块形状信息可被表示为“0：SQUARE”)划分正方形的第一编码单元1300来确定更低深度的第二编码单元1302和第三编码单元1304。假设正方形的第一编码单元1300的尺寸是2N×2N，通过将第一编码单元1300的宽度和高度划分为1/2而确定的第二编码单元1302可具有N×N的尺寸。此外，通过将第二编码单元1302的宽度和高度划分为1/2而确定的第三编码单元1304可具有N/2×N/2的尺寸。在这种情况下，第三编码单元1304的宽度和高度是第一编码单元1300的宽度和高度的1/4。当第一编码单元1300的深度为D时，宽度和高度是第一编码单元1300的宽度和高度的1/2的第二编码单元1302的深度可以是D+1，并且宽度和高度是第一编码单元1300的宽度和高度的1/4的第三编码单元1304的深度可以是D+2。
根据实施例，图像解码设备100可通过基于指示非正方形形状的块形状信息(例如，块形状信息可被表示为指示高度长于宽度的非正方形形状的“1：NS_VER”，或者可被表示为指示宽度长于高度的非正方形形状的“2：NS_HOR”)划分非正方形的第一编码单元1310或1320，来确定更低深度的第二编码单元1312或1322、以及第三编码单元1314或1324。
图像解码设备100可通过划分尺寸为N×2N的第一编码单元1310的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码设备100可通过在水平方向上划分第一编码单元1310来确定尺寸为N×N的第二编码单元1302或尺寸为N×N/2的第二编码单元1322，或者可通过在水平方向和垂直方向上划分第一编码单元1310来确定尺寸为N/2×N的第二编码单元1312。
根据实施例，图像解码设备100可通过划分尺寸为2N×N的第一编码单元1320的宽度和高度中的至少一个来确定第二编码单元1302、1312或1322。也就是说，图像解码设备100可通过在垂直方向上划分第一编码单元1320来确定尺寸为N×N的第二编码单元1302或尺寸为N/2×N的第二编码单元1312，或者可通过在水平方向和垂直方向上划分第一编码单元1320来确定尺寸为N×N/2的第二编码单元1322。
根据实施例，图像解码设备100可通过划分尺寸为N×N的第二编码单元1302的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在垂直方向和水平方向上划分第二编码单元1302来确定尺寸为N/2×N/2的第三编码单元1304、尺寸为N/4×N/2的第三编码单元1314或尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码设备100可通过划分尺寸为N/2×N的第二编码单元1312的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在水平方向上划分第二编码单元1312来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/2×N/4的第三编码单元1324，或者可通过在垂直方向和水平方向上划分第二编码单元1312来确定尺寸为N/4×N/2的第三编码单元1314。
根据实施例，图像解码设备100可通过划分尺寸为N×N/2的第二编码单元1322的宽度和高度中的至少一个来确定第三编码单元1304、1314或1324。也就是说，图像解码设备100可通过在垂直方向上划分第二编码单元1322来确定尺寸为N/2×N/2的第三编码单元1304或尺寸为N/4×N/2的第三编码单元1314，或者可通过在垂直方向和水平方向上划分第二编码单元1322来确定尺寸为N/2×N/4的第三编码单元1324。
根据实施例，图像解码设备100可在水平方向或垂直方向上划分正方形编码单元1300、1302或1304。例如，图像解码设备100可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1300来确定尺寸为N×2N的第一编码单元1310，或者可通过在水平方向上划分第一编码单元1300来确定尺寸为2N×N的第一编码单元1320。根据实施例，当基于编码单元的最长边的长度确定深度时，通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1300而确定的编码单元的深度可与第一编码单元1300的深度相同。
根据实施例，第三编码单元1314或1324的宽度和高度可以是第一编码单元1310或1320的宽度和高度的1/4。当第一编码单元1310或1320的深度为D时，宽度和高度是第一编码单元1310或1320的宽度和高度的1/2的第二编码单元1312或1322的深度可以是D+1，宽度和高度是第一编码单元1310或1320的宽度和高度的1/4的第三编码单元1314或1324的深度可以是D+2。
图14示出根据实施例的可基于编码单元的形状和尺寸确定的深度以及用于将编码单元区分开的部分索引(PID)。
根据实施例，图像解码设备100可通过划分正方形的第一编码单元1400来确定各种形状的第二编码单元。参照图14，图像解码设备100可通过基于划分形状模式信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1400来确定第二编码单元1402a和1402b、第二编码单元1404a和1404b、以及第二编码单元1406a、1406b、1406c和1406d。也就是说，图像解码设备100可基于第一编码单元1400的划分形状模式信息来确定第二编码单元1402a和1402b、1404a和1404b以及1406a、1406b、1406c和1406d。
根据实施例，基于正方形的第一编码单元1400的划分形状模式信息确定的第二编码单元1402a和1402b、第二编码单元1404a和1404b以及第二编码单元1406a、1406b、1406c和1406d的深度可基于它们的长边的长度而被确定。例如，因为正方形的第一编码单元1400的边的长度等于非正方形的第二编码单元1402a和1402b以及1404a和1404b的长边的长度，所以第一编码单元1400和非正方形的第二编码单元1402a和1402b以及1404a和1404b可具有相同的深度，例如D。然而，当图像解码设备100基于划分形状模式信息将第一编码单元1400划分为四个正方形的第二编码单元1406a、1406b、1406c和1406d时，因为正方形的第二编码单元1406a、1406b、1406c和1406d的边的长度是第一编码单元1400的边的长度的1/2，所以第二编码单元1406a、1406b、1406c和1406d的深度可以是比第一编码单元1400的深度D深1的D+1。
根据实施例，图像解码设备100可通过基于划分形状模式信息在水平方向上划分高度长于宽度的第一编码单元1410来确定多个第二编码单元1412a和1412b以及1414a、1414b和1414c。根据实施例，图像解码设备100可通过基于划分形状模式信息在垂直方向上划分宽度长于高度的第一编码单元1420来确定多个第二编码单元1422a和1422b以及1424a、1424b和1424c。
根据实施例，基于非正方形的第一编码单元1410或1420的划分形状模式信息确定的第二编码单元1412a和1412b以及1414a、1414b和1414c、或者1422a和1422b以及1424a、1424b和1424c的深度可基于它们的长边的长度而被确定。例如，因为正方形的第二编码单元1412a和1412b的边的长度是高度长于宽度的具有非正方形形状的第一编码单元1410的长边的长度的1/2，所以正方形的第二编码单元1412a和1412b的深度是比非正方形的第一编码单元1410的深度D深1的D+1。
此外，图像解码设备100可基于划分形状模式信息将非正方形的第一编码单元1410划分为奇数个第二编码单元1414a、1414b和1414c。奇数个第二编码单元1414a、1414b和1414c可包括非正方形的第二编码单元1414a和1414c以及正方形的第二编码单元1414b。在这种情况下，因为非正方形的第二编码单元1414a和1414c的长边的长度以及正方形的第二编码单元1414b的边的长度是第一编码单元1410的长边的长度的1/2，所以第二编码单元1414a、1414b和1414c的深度可以是比非正方形的第一编码单元1410的深度D深1的D+1。图像解码设备100可通过使用上述确定从第一编码单元1410划分出的编码单元的深度的方法，确定从宽度长于高度的具有非正方形形状的第一编码单元1420划分出的编码单元的深度。
根据实施例，当奇数个划分出的编码单元不具有相等的尺寸时，图像解码设备100可基于编码单元之间的尺寸比例来确定用于标识划分出的编码单元的PID。参照图14，奇数个划分出的编码单元1414a、1414b和1414c中的中心位置的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度并且其高度是其他编码单元1414a和1414c的高度的两倍。也就是说，在这种情况下，中心位置处的编码单元1414b可包括两个其它编码单元1414a或1414c。因此，当中心位置处的编码单元1414b的PID基于扫描顺序而为1时，位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。也就是说，可能存在PID值不连续。根据实施例，图像解码设备100可基于用于标识划分出的编码单元的PID是否存在不连续，确定奇数个划分出的编码单元是否不具有相等的尺寸。
根据实施例，图像解码设备100可基于用于标识通过划分当前编码单元确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图14，图像解码设备100可通过划分具有高度长于宽度的矩形形状的第一编码单元1410来确定偶数个编码单元1412a和1412b或奇数个编码单元1414a、1414b和1414c。图像解码设备100可使用指示相应编码单元的PID，以便识别相应编码单元。根据实施例，可从每个编码单元的预定位置处的样点(例如，左上样点)获得PID。
根据实施例，图像解码设备100可通过使用用于区分编码单元的PID来确定划分出的编码单元中的预定位置处的编码单元。根据实施例，当具有高度长于宽度的矩形形状的第一编码单元1410的划分形状模式信息指示将编码单元划分为三个编码单元时，图像解码设备100可将第一编码单元1410划分为三个编码单元1414a、1414b和1414c。图像解码设备100可将PID分配给三个编码单元1414a、1414b和1414c中的每一个。图像解码设备100可对奇数个划分出的编码单元的PID进行比较，以确定编码单元中的中心位置处的编码单元。图像解码设备100可将PID与编码单元的PID中的中间值对应的编码单元1414b确定为通过划分第一编码单元1410确定的编码单元中的中心位置处的编码单元。根据实施例，当划分出的编码单元不具有相等的尺寸时，图像解码设备100可基于编码单元之间的尺寸比确定用于区分划分出的编码单元的PID。参照图14，通过划分第一编码单元1410生成的编码单元1414b的宽度可等于其他编码单元1414a和1414c的宽度，并且其高度可以是其他编码单元1414a和1414c的高度的两倍。在这种情况下，当中心位置处的编码单元1414b的PID是1时，位于与编码单元1414b相邻位置的编码单元1414c的PID可增加2并且因此可以是3。当如上所述PID未均匀地增大时，图像解码设备100可确定编码单元被划分为多个编码单元，其中，所述多个编码单元包括尺寸与其他编码单元的尺寸不同的编码单元。根据实施例，当划分形状模式信息指示将编码单元划分为奇数个编码单元时，图像解码设备100可按照奇数个编码单元中的预定位置的编码单元(例如，中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸这样的方式来划分当前编码单元。在这种情况下，图像解码设备100可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而，预定位置的编码单元的PID以及尺寸或位置不限于上述示例，并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例，图像解码设备100可使用预定数据单元，其中，在该预定数据单元中开始递归地划分编码单元。
图15示出根据实施例的基于画面中包括的多个预定数据单元确定多个编码单元。
根据实施例，预定数据单元可被定义为通过使用划分形状模式信息开始递归地划分编码单元的数据单元。也就是说，预定数据单元可与用于确定从当前画面划分出的多个编码单元的最高深度的编码单元对应。在下面的描述中，为了便于解释，预定数据单元被称为参考数据单元。
根据实施例，参考数据单元可具有预定尺寸和预定形状。根据实施例，参考编码单元可包括M×N个样点。这里，M和N可彼此相等，并且可以是被表示为2的幂的整数。也就是说，参考数据单元可具有正方形形状或非正方形形状，并且可被划分为整数个编码单元。
根据实施例，图像解码设备100可将当前画面划分为多个参考数据单元。根据实施例，图像解码设备100可通过使用每个参考数据单元的划分形状模式信息来对从当前画面划分出的多个参考数据单元进行划分。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例，图像解码设备100可预先确定当前画面中包括的参考数据单元所允许的最小尺寸。因此，图像解码设备100可确定具有等于或大于最小尺寸的尺寸的各种参考数据单元，并且可参考确定的参考数据单元通过使用划分形状模式信息来确定一个或更多个编码单元。
参照图15，图像解码设备100可使用正方形的参考编码单元1500或非正方形的参考编码单元1502。根据实施例，可基于能够包括一个或更多个参考编码单元的各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例，图像解码设备100的接收器110可从比特流获得针对各种数据单元中的每个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经结合图3的划分当前编码单元300的操作描述了将正方形的参考编码单元1500划分为一个或更多个编码单元的操作，并且上面已经结合图4的划分当前编码单元400或450的操作描述了将非正方形的参考编码单元1502划分为一个或更多个编码单元的操作。因此，这里将不提供其详细描述。
根据实施例，图像解码设备100可根据基于特定条件预先确定的一些数据单元，使用用于标识参考编码单元的尺寸和形状的PID来确定参考编码单元的尺寸和形状。也就是说，接收器110可从比特流仅获得针对每个条带、条带片段、并行块、并行块组或最大编码单元的用于标识参考编码单元的尺寸和形状的PID，其中，所述条带、条带片段、并行块、并行块组或最大编码单元是各种数据单元(例如，序列、画面、条带、条带片段、并行块、并行块组、最大编码单元等)中的满足预定条件的数据单元(例如，尺寸等于或小于条带的数据单元)。图像解码设备100可通过使用PID确定针对满足预定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时，使用比特流的效率可能不高，并且因此，可仅获得并使用PID，而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下，可预先确定与用于标识参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说，图像解码设备100可通过选择基于PID预先确定的参考编码单元的尺寸和形状中的至少一个，确定包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例，图像解码设备100可使用最大编码单元中包括的一个或更多个参考编码单元。也就是说，从画面划分出的最大编码单元可包括一个或更多个参考编码单元，并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例，最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例，可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说，根据各种实施例，图像解码设备100可通过基于四叉树结构将最大编码单元划分n次来确定参考编码单元，并且可基于块形状信息和划分形状模式信息中的至少一个来划分参考编码单元。
根据实施例，图像解码设备100可从比特流获得指示当前编码单元的形状的块形状信息或指示当前编码单元的划分方法的划分形状模式信息，并且可使用所获得的信息。划分形状模式信息可被包括在与各种数据单元相关的比特流中。例如，图像解码设备100可使用包括在序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头或并行块组头中的划分形状模式信息。此外，图像解码设备100可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或划分形状模式信息对应的语法元素，并且可使用所获得的语法元素。
在下文中，将详细描述根据本公开的实施例的确定划分规则的方法。
图像解码设备100可确定图像的划分规则。可在图像解码设备100和图像编码设备2200之间预先确定划分规则。图像解码设备100可基于从比特流获得的信息来确定图像的划分规则。图像解码设备100可基于从序列参数集、画面参数集、视频参数集、条带头、条带片段头、并行块头和并行块组头中的至少一个获得的信息来确定划分规则。图像解码设备100可根据帧、条带、并行块、时间层、最大编码单元或编码单元来不同地确定划分规则。
图像解码设备100可基于编码单元的块形状来确定划分规则。块形状可包括编码单元的尺寸、形状、宽高比和方向。图像解码设备100可预先确定基于编码单元的块形状来确定划分规则。然而，实施例不限于此。图像解码设备100可基于接收到的比特流获得的信息来确定划分规则。
编码单元的形状可包括正方形和非正方形。当编码单元的宽度长度和高度长度相同时，图像解码设备100可确定编码单元的形状为正方形。此外，当编码单元的宽度长度和高度长度不相同时，图像解码设备100可确定编码单元的形状为非正方形。
编码单元的尺寸可包括各种尺寸，诸如4×4、8×4、4×8、8×8、16×4、16×8、……并且直到256×256。可基于编码单元的长边长度、短边长度或面积对编码单元的尺寸进行分类。图像解码设备100可将相同的划分规则应用于被分类为同一组的编码单元。例如，图像解码设备100可将具有相同长边长度的编码单元分类为具有相同尺寸。此外，图像解码设备100可将相同的划分规则应用于具有相同长边长度的编码单元。
编码单元的宽高比可包括1:2、2:1、1:4、4:1、1:8、8:1、1:16、16:1、32:1、1:32等。此外，编码单元的方向可包括水平方向和垂直方向。水平方向可指示编码单元的宽度长度比编码单元的高度长度长的情况。垂直方向可指示编码单元的宽度长度比编码单元的高度长度短的情况。
图像解码设备100可基于编码单元的尺寸自适应地确定划分规则。图像解码设备100可基于编码单元的尺寸不同地确定可允许的划分形状模式。例如，图像解码设备100可基于编码单元的尺寸来确定是否允许划分。图像解码设备100可根据编码单元的尺寸来确定划分方向。图像解码设备100可根据编码单元的尺寸来确定可允许的划分类型。
基于编码单元的尺寸确定的划分规则可以是在图像解码设备100中预先确定的划分规则。此外，图像解码设备100可基于从比特流获得的信息来确定划分规则。
图像解码设备100可基于编码单元的位置自适应地确定划分规则。图像解码设备100可基于编码单元在图像中的位置自适应地确定划分规则。
此外，图像解码设备100可确定划分规则，使得经由不同划分路径生成的编码单元不具有相同的块形状。然而，实施例不限于此，并且经由不同划分路径生成的编码单元具有相同的块形状。经由不同划分路径生成的编码单元可具有不同的解码处理顺序。因为上面参照图12描述了解码处理顺序，所以不再提供其细节。
图16是图像编码和解码系统的框图。
图像编码和解码系统1600的编码端1610发送图像的编码比特流，并且解码端1650通过接收和解码比特流来输出重建图像。这里，解码端1650可具有与图像解码设备100相似的构造。
在编码端1610处，预测编码器1615经由帧间预测和帧内预测输出参考图像，并且变换器和量化器1620将参考画面与当前输入图像之间的残差数据量化为量化的变换系数并输出量化的变换系数。熵编码器1625通过对量化的变换系数进行编码来对量化的变换系数进行变换，并将变换后的量化的变换系数作为比特流输出。经由反量化器和逆变换器1630将量化的变换系数重建为空间域的数据，并且经由去块滤波器1635和环路滤波器1640将空间域的数据输出为重建图像。重建图像可经由预测编码器1615被用作下一输入图像的参考图像。
由解码端1650接收的比特流中的编码图像数据经由熵解码器1655以及反量化器和逆变换器1660被重建为空间域的残差数据。当从预测解码器1675输出的参考图像和残差数据被组合时，空间域的图像数据被配置，并且去块滤波器1665和环路滤波器1670可通过对空间域的图像数据执行滤波来输出关于当前原始图像的重建图像。重建图像可由预测解码器1675用作下一原始图像的参考图像。
编码端1610的环路滤波器1640通过使用根据用户输入或系统设置输入的滤波器信息来执行环路滤波。由环路滤波器1640使用的滤波器信息被输出到熵编码器1625，并与编码的图像数据一起被发送到解码端1650。解码端1650的环路滤波器1670可基于从解码端1650输入的滤波器信息来执行环路滤波。
在下文中，参考图17至图20，现在将描述根据本说明书中公开的实施例的用于通过利用运动矢量差扩展合并模式来对视频进行编码或解码的方法和设备。
图17是根据实施例的视频解码设备的框图。
参照图17，根据实施例的视频解码设备1700可包括语法元素获得器1710和解码器1720。
视频解码设备1700可获得作为对图像进行编码的结果而生成的比特流，并且可基于比特流中包括的信息对用于帧间预测的运动信息进行解码。
根据实施例的视频解码设备1700可包括用于控制语法元素获得器1710和解码器1720的中央处理器(未示出)。可选地，语法元素获得器1710和解码器1720可由它们自己的处理器(未示出)操作，并且处理器可系统地相互操作以操作视频解码设备1700。可选地，可根据视频解码设备1700的外部处理器(未示出)的控制来控制语法元素获得器1710和解码器1720。
视频解码设备1700可包括存储语法元素获得器1710和解码器1720的输入/输出数据的一个或多个数据存储器(未示出)。视频解码设备1700可包括存储器控制器(未示出)，用于控制向数据存储器的数据输入和来自数据存储器的数据输出。
视频解码设备1700可通过与内部视频解码处理器或外部视频解码处理器关联地操作来执行包括预测的图像解码操作，以便经由图像解码来重建图像。根据实施例的视频解码设备1700的内部视频解码处理器可以以不仅单独的处理器而且包括在中央处理设备或图形处理设备中的图像解码处理模块也执行基本图像解码操作的方式来执行基本图像解码操作。
视频解码设备1700可被包括在上述图像解码设备100中。例如，语法元素获得器1710可被包括在图1的图像解码设备100的接收器110中，并且语法元素获得器1710和解码器1720可被包括在图像解码设备100的解码器120中。
语法元素获得器1710接收作为对图像进行编码的结果而生成的比特流。比特流可包括用于确定用于当前块的帧间预测的运动矢量的信息。当前块是当根据树结构图像被划分时生成的块，并且例如可对应于最大编码单元、编码单元或变换单元。
语法元素获得器1710可基于包含在序列参数集、画面参数集、视频参数集、条带头和条带片段头中的至少一个中的块形状信息和/或关于划分形状模式的信息来确定当前块。此外，语法元素获得器1710可根据每个最大编码单元、每个参考编码单元或每个处理块从比特流获得与块形状信息或关于划分形状模式的信息对应的语法元素，并且可使用获得的语法元素来确定当前块。
比特流可包括指示当前块的预测模式的信息，并且当前块的预测模式可包括帧内模式和帧间模式。当当前块的预测模式是帧间模式时，运动矢量的编码/解码方案可包括合并模式、跳过模式和MMVD模式中的至少一个。在合并模式或跳过模式中，使用包括运动矢量候选的合并候选列表，并且可将运动矢量候选当中的由合并索引指示的一个运动矢量候选确定为合并运动矢量候选。MMVD模式表示具有运动矢量差的合并模式，并且可以是通过将根据差的距离和距离的方向区分的运动矢量差应用于从运动矢量候选中确定的一个基础运动矢量来确定当前块的预测运动矢量的模式。
根据实施例，可从比特流获得与MMVD模式相关的信息。根据实施例的与MMVD模式相关的信息可包括指示MMVD模式是否被用于当前块的信息(下文中称为MMVD信息)、指示当前块的基础运动矢量的信息(下文中称为合并索引)、指示从基础运动矢量到运动矢量候选的差的距离的信息(下文中称为差的距离索引)、以及指示从基础运动矢量到运动矢量候选的差的方向的信息(下文中称为差的方向索引)中的至少一个。
语法元素获得器1710可获得语法元素形式的与MMVD模式相关的信息，其中，语法元素来自对应于编码单元、变换单元、最大编码单元、条带单元和画面单元中的至少一个单元的语法。
视频解码设备1700可接收比特流形式的语法，可通过执行熵解码从语法获得语法元素，并且可解释由每个语法元素指示的各种信息。因此，可以理解，语法元素获得器1710从比特流(语法)获得各种信息(语法元素)。
解码器1720可基于从比特流获得的MMVD信息来验证MMVD模式是否被用于当前块。指示MMVD模式是否被应用的信息可包括标志或索引。
根据实施例，可将MMVD模式应用于在帧间预测模式中可用的各种工具。因此，视频解码设备1700需要确定是否将MMVD模式应用于帧间预测模式的每个工具。
例如，在第一方案中，可仅确定是否将MMVD模式应用于每个工具。
作为另一示例，在第二方案中，在首先确定是否将MMVD模式应用于所有工具之后，如果可应用，则确定是否将MMVD模式应用于每个工具。当没有将MMVD模式应用于所有工具时，不必确定是否将MMVD模式应用于每个工具。
为了确定是否应用MMVD模式，根据实施例的视频解码设备1700可从比特流获得包括诸如标志的信息的语法元素。因此，在第一方案中，即使当没有将MMVD模式应用于各种工具时，视频解码设备1700也必须从比特流获得用于确定没有将MMVD模式应用于各种工具中的每个工具的标志。
然而，根据第二方案，视频解码设备1700可首先从比特流获得指示是否针对各种工具启用MMVD模式的标志。当可应用MMVD模式时，基于该标志，视频解码设备1700可获得每个工具的标志，以便确定是否应用MMVD模式。当不可应用MMVD模式时，基于指示是否针对各种工具启用MMVD模式的标志，视频解码设备1700不需要另外获得指示是否将MMVD模式应用于每个工具的标志，从而可提高解码效率。
在下文中，现在将描述实施例，其中，对于每个序列并且根据第二方案，视频解码设备1700首先确定是否可应用MMVD模式，并且如果可应用，则确定是否将MMVD模式应用于特定工具。
根据实施例的语法元素获得器1710可从序列参数集获得指示MMVD模式是否可应用于当前序列的序列MMVD信息。序列中的MMVD模式统称为：在以等于或小于序列的数据等级执行的各种帧间预测模式中，通过使用与运动矢量分开用信号发送的运动矢量的距离索引和方向索引来调整运动矢量的预测模式。当根据序列MMVD信息可应用MMVD模式时，根据实施例的语法元素获得器1710可另外针对包括在当前序列中的当前块获得指示是否将MMVD模式应用于第一帧间预测模式中的第一MMVD信息及指示是否将MMVD模式应用于第二帧间预测模式中的第二MMVD信息。当根据第一MMVD信息将MMVD模式应用于第一帧间预测模式中时，解码器1720可在第一帧间预测模式中根据MMVD模式重建运动矢量，并且当根据第二MMVD信息将MMVD模式应用于第二帧间预测模式中时，解码器1720可在第二帧间预测模式中根据MMVD模式重建运动矢量。然而，当根据序列MMVD信息不可应用MMVD模式时，根据实施例的语法元素获得器1710不需要从比特流获得第一MMVD信息和第二MMVD信息。
在特定示例中，语法元素获得器1710可从序列参数集获得指示MMVD模式是否可应用于当前序列的序列MMVD信息。当根据序列MMVD信息可应用MMVD模式时，根据实施例的语法元素获得器1710可获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的序列子像素MMVD信息。当根据序列MMVD信息可应用MMVD模式时，根据实施例的语法元素获得器1710可获得指示MMVD模式是否被用于当前序列中包括的当前块的MMVD信息。
当根据MMVD信息MMVD模式被用于当前块时，解码器1720可根据MMVD信息重建整数像素单位或子像素单位的运动矢量差的距离。其中，运动矢量差的距离来自从比特流获得的当前块的运动矢量差的距离索引。根据实施例的语法元素获得器1710可通过使用运动矢量差的距离来确定当前块的运动矢量，并且可通过使用当前块的运动矢量来重建当前块。
此外，当跳过模式或合并模式被用于当前块时，语法元素获得器1710可从比特流提取指示是否应用了MMVD模式的MMVD信息。
当MMVD模式被用于当前块时，可根据与基础运动矢量的差的可变距离和差的可变方向来设置运动矢量候选。
差的距离是基于基本像素单位(例如，1/4像素单位)确定的值，并且可以指示由基本像素单位表示的差。例如，当基础运动矢量和运动矢量之间的差的距离为1时，运动矢量和基础运动矢量相差对应于一个1/4像素单位的像素距离。差的距离可以具有对应于整数、有理数或无理数的值。
当能够由当前块的运动矢量指示的最小像素单位与基本像素单位相同时，解码器1720可根据差的预定距离来确定运动矢量。
然而，当能够由当前块的运动矢量指示的最小像素单位与基本像素单位不同时，解码器1720可缩放差的预定距离，然后基于缩放后的差的距离来确定基础运动矢量的运动矢量候选。
当当前块的运动矢量能够指示对应于整数像素单位、1/2像素单位、1/4像素单位和1/8像素单位的像素时，能够由当前块的运动矢量指示的最小像素单位是1/8像素单位。此外，当基本像素单位是1/4像素单位时，解码器1720可以放大差的距离以确定运动矢量。
根据实施例，解码器1720可根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来缩放差的距离。
根据实施例，当基本像素单位大于能够由当前块的运动矢量指示的最小像素单位时，解码器1720可放大差的距离。
根据实施例，可从在跳过模式和合并模式中使用的合并候选列表确定当前块的基础运动矢量。合并候选列表可以包括在空间和时间上与当前块相关的相邻块。在空间和时间上与当前块相关的相邻块可包括在当前块之前解码的块。因此，可以根据从合并候选列表确定的相邻块的运动矢量来确定根据实施例的基础运动矢量。
与当前块空间相关的相邻块可包括例如位于当前块左侧的块和位于当前块上方的块，但不限于此。此外，在时间上与当前块相关的相邻块可以包括例如在与包括当前块的当前画面不同的参考画面中包括的块之中位于与当前块相同点处的块，以及在空间上与相同点处的块相邻的块。
根据实施例，解码器1720可以将与当前块相关的相邻块的运动矢量确定为基础运动矢量。解码器1720可以通过使用从比特流获得的合并索引来确定合并候选列表中的基础运动矢量。合并索引可以被称为合并索引。
根据实施例的合并索引可以最大限度地指示合并候选列表中的第二候选。
可选地，解码器1720可以修改与当前块相关的相邻块的运动矢量，并且可以将修改后的运动矢量确定为基础运动矢量。根据实施例，解码器1720可以以与在高效视频编码(HEVC)标准的高级运动矢量预测(AMVP)模式中确定运动矢量预测算子的候选列表的方法相同的方式确定基础运动矢量。
根据实施例的当前块的合并索引可以经由固定长度编码(FLC)方法、一元编码方法或截断一元编码方法被编码，然后可以被包括在比特流中。例如，当合并索引经由FLC方法被解码时，cMax值可为1。
当确定了当前块的基础运动矢量时，解码器1720可以通过将基础运动矢量应用于合并运动矢量差来确定运动矢量。
语法元素获得器1710可从比特流获得指示差的距离索引和差的方向索引中的至少一个的信息，且解码器1720可基于差的距离索引和差的方向索引中的至少一个确定合并运动矢量差。可以从基础运动矢量确定当前块的运动矢量。
根据实施例的语法元素获得器1710可以经由截断一元编码方法对差的距离索引进行解码，并且此时cMax值可以是7且cRiceParam值可以是0。根据实施例的语法元素获得器1710可经由FLC方法对差的方向索引进行解码，并且此时cMax值可以是3且cRiceParam值可以是0。
根据实施例的解码器1720可以根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来缩放从比特流验证的差的距离。当基本像素单位(例如，1/4像素单位)大于能够由当前块的运动矢量指示的最小像素单位(例如，1/8像素单位)时，解码器1720可放大从比特流验证的差的距离。
缩放的差的距离可以指示由最小像素单位表示的差。例如，当能够由当前块的运动矢量指示的最小像素单位是1/8像素单位并且缩放的差的距离是2时，解码器1720可以确定与基础运动矢量具有对应于两个1/8像素单位的像素距离的差的运动矢量。
如上所述，基于基本像素单位预定的差的距离被用于基于从合并候选列表确定的基础运动矢量来确定当前块的运动矢量，并且因为基于基本像素单位指示差的距离的信息经由比特流用信号发送，所以能够指示最小像素单位的精度(与基本像素单位的精度不同)的解码器1720可以根据最小像素单位来缩放经由比特流用信号发送的差的距离。
基于基本像素单位确定的差的距离和基于最小像素单位缩放的差的距离可以关于像素距离相同。
根据实施例，指示能够由当前块的运动矢量指示的最小像素单位的信息可以被包括在比特流中。语法元素获得器1710可从对应于块、条带和画面当中的至少一个层级的比特流获得指示最小像素单位的信息。
可以从变换单元级、编码单元级、最大编码单元级、条带级或画面级的比特流获得用于确定当前块的运动矢量的差的距离索引和差的方向索引中的至少一个。
根据实施例的语法元素获得器1710可以通过使用上下文信息(上下文变量)执行熵解码来获得差的距离索引中的一些二进制位，并且可以通过以旁路模式执行熵解码来获得剩余二进制位。
通过对比特流以上下文自适应二进制算术编码(CABAC)方式执行熵解码，语法元素的每个二进制位可被提取且上下文信息可被用于每个二进制位。可以执行旁路模式的解码，其中在不使用上下文信息的情况下执行具有0.5的相等概率的基于概率的熵解码。对于当前二进制位的熵解码，确定是否使用上下文信息以及要使用哪个上下文信息。
根据实施例的语法元素获得器1710可通过使用上下文信息对比特流执行熵解码来获得合并运动矢量差的距离索引的第一二进制位。此外，语法元素获得器1710可通过在旁路模式中对比特流执行熵解码来获得合并运动矢量差的距离索引的其它二进制位。
根据实施例的语法元素获得器1710可在旁路模式中对比特流执行熵解码，以获得指示差的方向索引的两个比特的二进制位。
语法元素获得器1710可从变换单元级、编码单元级、最大编码单元级、条带级或画面级的比特流获得指示残差运动矢量的信息。
下面将参照图21描述根据实施例的可以在MMVD模式中从基础运动矢量确定的运动矢量候选。
图21示出根据实施例的运动矢量候选的位置。
根据实施例的解码器1720可以通过将合并运动矢量差应用于基础运动矢量来确定当前块的运动矢量。根据实施例，当当前块的预测方向是双向时，合并运动矢量差可以被包括在仅用于一个单向的比特流中。例如，指示合并运动矢量差的信息可被包括在仅用于列表0方向和列表1方向中的任一个单向的比特流中。
图21示出可在MMVD模式中在双向预测中确定的运动矢量。
在合并候选列表中确定当前画面2100的当前块2110的L0方向上的基础运动矢量2125和L1方向上的基础运动矢量2135。L0方向上的基础运动矢量2125指示L0参考画面2120中的虚线形状的位置，且L1方向上的基础运动矢量2135指示L1参考画面2130中的虚线形状的位置。
然而，在MMVD模式中，可基于差的方向索引和差的距离索引将运动矢量差应用于基础运动矢量2125和L1方向上的基础运动矢量2135中的每一个。
例如，可以根据差的距离索引来确定基础运动矢量和运动矢量候选之间的距离是否是s、2s、3s等。当差的距离索引指示s时，作为将运动矢量差应用于基础运动矢量的结果而生成的运动矢量候选可以指示L0参考画面2120和L1参考画面2130中的黑色圆圈的位置。当差的距离索引指示2s时，作为将运动矢量差应用于基础运动矢量的结果而生成的运动矢量候选可以指示L0参考画面2120和L1参考画面2130中的白色圆圈的位置。
例如，根据差的方向索引，可以确定基础运动矢量和运动矢量候选之间的方向在x和y轴方向上是+还是-。特别地，差的方向索引可以指示(x，y)轴方向上的(+，0)、(-，0)、(0，+)和(0，-)中的一个。
因此，可以通过组合差的距离索引和差的方向索引来确定指示L0参考画面2120和L1参考画面2130中的一个位置的运动矢量。
在下文中，参照图22，将描述确定可以从基础运动矢量确定的运动矢量候选的方法。图22是示出在坐标平面上显示的运动矢量候选的图，并且示出根据基于对应于1/4像素单位的基本像素单位预先确定的差的距离确定的运动矢量候选。
参照图22，解码器1720可根据关于配置的运动矢量候选的预定形状确定候选的位置。预定形状可以类似于多边形(诸如菱形、或矩形、或圆形)。
解码器1720可以将在与对应于基础运动矢量的点的相同的差的距离的候选确定为运动矢量候选。解码器1720可以确定运动矢量候选在与预设点的第一差的距离，确定运动矢量候选在与预设点的第二差的距离，并且可以确定运动矢量候选在与预设点的第n差的距离。可以根据用户的定义来确定差的距离。可选地，解码器1720可基于与当前块、时间层或画面组(GOP)相关的信息直接确定差的距离，或经由比特流获得指示差的距离的信息以用于确定运动矢量候选。
解码器1720可根据在高于与当前块对应的等级的高等级中确定的差的距离来确定用于确定当前块的运动矢量候选的差的距离。
可针对每个差的距离独立地确定运动矢量候选的数目。解码器1720可根据关于在高于与当前块对应的等级的高等级中确定的数量的信息，针对当前块的每个差的距离确定运动矢量候选的数量。
图22示出每个差的距离中的运动矢量候选的数量为4的情况。此外，在图22中，存在3个差的距离，但是差的距离的数量不限于3。
参照图22，解码器1720可基于基础运动矢量(x，y)2201确定具有菱形分布的运动矢量候选。
解码器1720可以确定与基础运动矢量(x，y)2201的差的距离为1的运动矢量候选(x+1，y)2202、(x-1，y)2203、(x，y+1)2204和(x，y-1)2205。
解码器1720可以确定与基础运动矢量(x，y)2201的差的距离为2的运动矢量候选(x+2，y)2206、(x-2，y)2207、(x，y+2)2208和(x，y-2)2209。
解码器1720可以确定与基础运动矢量(x，y)2201的差的距离为4内的运动矢量候选(x+4，y)2210、(x-4，y)2211、(x，y+4)2212和(x，y-4)2213。
根据实施例，解码器1720可以针对每个基础运动矢量确定位于不同差的距离的运动矢量候选。例如，从多个基础运动矢量当中，可针对第一基础运动矢量确定具有差的距离为1的运动矢量候选，并且可针对第二基础运动矢量确定具有差的距离为2的运动矢量候选。可选地，例如，可针对第一基础运动矢量确定具有差的距离为1的运动矢量候选和具有差的距离为2的运动矢量候选，且可针对第二基础运动矢量确定具有差的距离为4的运动矢量候选以及具有差的距离为8的运动矢量候选。
当不同差的距离以1：1方式被映射到基础运动矢量时，语法元素获得器1710可从比特流仅获得指示当前块的基础运动矢量的信息或指示差的距离的信息，并确定用于指定当前块的运动矢量和当前块的基础运动矢量的差的距离。
如上所述，可以基于基本像素单位来确定用于确定运动矢量候选的差的距离，并且当能够由当前块的运动矢量指示的最小像素单位与基本像素单位不同时，解码器1720可以缩放用于配置每个基础运动矢量的候选组的预设的差的距离。
当当前块的运动矢量能够指示对应于整数像素单位、1/2像素单位、1/4像素单位和1/8像素单位的像素时，能够由当前块的运动矢量指示的最小像素单位是1/8像素单位。此外，当基本像素单位是1/4像素单位时，解码器1720可以放大差的距离。根据实施例，解码器1720可根据基本像素单位与能够由当前块的运动矢量指示的最小像素单位的比率来放大差的距离。当能够由当前块的运动矢量指示的最小像素单位是m像素单位，基本像素单位是n像素单位，并且差的距离是k时，解码器1720可以将差的距离k放大为k×n/m。
根据实施例的语法元素获得器1710可以将当前块的预测模式确定为跳过模式和合并模式中的一个。在跳过模式或合并模式下，根据实施例的解码器1720可以生成包括在跳过模式或合并模式下预测当前块的运动矢量时参考的相邻块的合并候选列表。
在跳过模式或合并模式中，语法元素获得器1710可获得指示是否使用从当前块的合并候选列表确定的运动矢量和合并运动矢量差的MMVD信息。当根据MMVD信息使用合并运动矢量差时，可根据使用从当前块的合并候选列表确定的运动矢量和合并运动矢量差的MMVD模式执行预测。当根据MMVD信息使用合并运动矢量差时，语法元素获得器1710可从比特流获得合并索引。根据实施例的解码器1720可以在合并候选列表中从基于合并索引确定的一个候选确定基础运动矢量。解码器1720可通过使用当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引来确定合并运动矢量差，并且可通过使用基础运动矢量和合并运动矢量差来确定当前块的运动矢量。
根据实施例的解码器1720可通过使用当前块的运动矢量来重建当前块。解码器1720可通过使用当前块的运动矢量来确定参考画面中的参考块，并且可从参考块中包括的参考样点中确定与当前块对应的预测样点。
当根据实施例的当前块的预测模式是合并模式并且选择了MMVD模式时，解码器1720可从合并候选列表确定当前块的基础运动矢量，并且可通过使用基础运动矢量和合并运动矢量差来确定当前块的运动矢量。当当前块的预测模式是合并模式时，视频解码设备1700可从比特流解析当前块的变换系数，并且可通过对变换系数执行反量化和逆变换来获得残差样点。解码器1720可通过组合当前块的预测样点与当前块的残差样点来确定当前块的重建样点。
当根据实施例的当前块的预测模式是跳过模式并且选择了MMVD模式时，解码器1720可通过使用合并运动矢量差和从合并候选列表确定的基础运动矢量来确定当前块的运动矢量。然而，因为当前块的预测模式是跳过模式，所以视频解码设备1700不从比特流解析当前块的变换系数，因此不获得残差样点。在跳过模式中，解码器1720可将当前块的预测样点确定为不具有残差样点的当前块的重建样点。
在下文中，现在将参照图18至图36描述包括在MMVD模式下执行帧间预测的视频解码方法。
图18示出根据实施例的视频解码方法的流程图。
在操作1810中，语法元素获得器1710可从序列参数集获得指示MMVD模式是否应用于当前序列的序列MMVD信息。
在操作1820中，当根据序列MMVD信息可应用MMVD模式时，语法元素获得器1710可从比特流获得指示MMVD模式是否在第一帧间预测模式中被用于包括在当前序列中的当前块的第一MMVD信息。
在操作1830中，当根据第一MMVD信息，MMVD模式应用于第一帧间预测模式时，解码器1720可通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向来重建将在第一帧间预测模式中使用的当前块的运动矢量。
当根据MMVD信息，合并运动矢量差被用于当前块时，语法元素获得器1710可从比特流获得合并索引。合并索引指示合并候选列表中的一个候选。语法元素获得器1710可在合并候选列表中从基于合并索引确定的一个候选确定基础运动矢量。
解码器1720可在跳过模式或合并模式中基于获得的MMVD信息确定是否针对当前块选择MMVD模式。当针对当前块选择MMVD模式时，即，当使用从当前块的合并候选列表确定的运动矢量及合并运动矢量差时，语法元素获得器1710可从比特流获得合并索引。
合并索引是1比特的信息。此外，可通过使用用于合并索引的第一二进制位的一条上下文信息来获得合并索引。语法元素获得器1710可使用上下文信息执行熵解码以在跳过模式或合并模式中获得合并索引。
当在跳过模式或合并模式中选择MMVD模式时根据合并索引允许选择的候选的最大数目可小于包括在合并候选列表中的候选的最大数目。例如，因为合并索引为1比特的标志，所以合并索引可指示来自合并候选列表中的最多两个候选当中的一个候选。
语法元素获得器1710可通过在旁路模式中对比特流执行熵解码来获得指示合并运动矢量差的方向索引的两个二进制位。语法元素获得器1710可通过使用上下文信息对比特流执行熵解码来获得指示合并运动矢量差的距离索引的第一二进制位，并且可通过在旁路模式中执行熵解码来获得指示合并运动矢量差的距离索引的其它二进制位。
在操作1840中，解码器1720可通过使用当前块的运动矢量来重建当前块。
解码器1720可通过使用当前块的合并运动矢量差的距离索引和合并运动矢量差的方向索引来确定当前块的合并运动矢量差，并且可通过使用基础运动矢量和合并运动矢量差来确定当前块的运动矢量。
解码器1720可通过使用当前块的运动矢量来确定参考画面中的参考块，并且可从参考块中包括的预测样点确定与当前块对应的预测样点。解码器1720可将当前块的预测样点与当前块的残差样点相加，以便在除跳过模式以外的预测模式中确定当前块的重建样点。当如在跳过模式中那样残差样点不可用时，可仅从当前块的预测样点确定当前块的重建样点。
在既不是跳过模式也不是合并模式的一般运动矢量预测模式(AMVP或高级时间运动矢量预测(ATMVP))中，视频解码设备1700获得运动矢量预测算子索引和运动矢量差。视频解码设备1700可确定运动矢量预测算子列表中的由运动矢量预测算子索引指示的运动矢量预测算子，并通过组合运动矢量预测算子和运动矢量差信息来确定运动矢量。
与一般运动矢量预测模式相比，跳过模式和合并模式不使用运动矢量差。然而，当在跳过模式或合并模式中选择MMVD模式时，使用合并运动矢量差。与一般运动矢量预测模式相比，MMVD模式中的合并运动矢量差与运动矢量差相比具有表达简洁性。
例如，表示L0预测方向或L1预测方向上的一般运动矢量差所需的信息包括指示运动矢量差的绝对值是否大于0的信息abs_mvd_greater0_flag、指示运动矢量差的绝对值是否大于1的信息abs_mvd_greater1_flag、指示通过从运动矢量差的绝对值减去2获得的值的信息abs_mvd_minus2以及指示运动矢量差的符号的信息mvd_sign_flag。
另一方面，表示L0预测方向或L1预测方向上的合并运动矢量差所需的信息仅是差的方向和差的距离索引的信息。因此，因为可通过仅使用差的方向和差的距离索引的信息来表示合并运动矢量差，所以与用信号发送一般运动矢量差所需的比特量相比，可显著减少用信号发送合并运动矢量差所需的比特量。
图36示出根据另一实施例的视频解码方法的流程图。
操作1810与上面参照图18描述的操作相同。
操作1822和操作1824对应于图18的操作1820的特定操作。在操作1822中，当根据序列MMVD信息可应用MMVD模式时，语法元素获得器1710可获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息。当根据序列MMVD信息不可应用MMVD模式时，整数像素单位的运动矢量差及子像素单位的运动矢量差两者不可应用于当前序列和当前块。
在操作1824中，当根据序列MMVD信息可应用MMVD模式时，语法元素获得器1710可获得指示MMVD模式是否被用于当前序列中包括的当前块的MMVD信息。即，MMVD信息指示在当前块处于跳过模式或合并模式时是否应用MMVD模式。
语法元素获得器1710可使用上下文信息执行熵解码，以便在跳过模式或合并模式下获得MMVD信息。当获得MMVD信息时，执行操作1832。
操作1832是图18的操作1830的特定操作。
在操作1832中，当根据MMVD信息针对当前块启用了MMVD模式时，解码器1720可根据子像素MMVD信息确定在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差，并且可根据从比特流获得的当前块的运动矢量差的距离索引来重建整数像素单位或子像素单位的运动矢量差的距离。
当根据MMVD信息MMVD模式被用于当前块，并且根据子像素MMVD信息使用整数像素单位的运动矢量差时，解码器1720可从当前块的运动矢量差的距离索引重建整数像素单位的运动矢量差的距离。
类似地，当根据MMVD信息MMVD模式被用于当前块，并且根据子像素MMVD信息使用子像素单位中的运动矢量差时，解码器1720可从当前块的运动矢量差的距离索引重建子像素单位的运动矢量差的距离。
当运动矢量差的重建距离为整数像素单位时，解码器1720可将当前块的基础运动矢量的x分量值和y分量值四舍五入到整数像素单位，并且可通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值来重建整数像素单位的运动矢量。
当运动矢量差的重建距离为子像素单位时，解码器1720可以通过使用子像素单位的运动矢量差的距离以及被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值来重建子像素单位的运动矢量。
因此，当在当前序列中应用MMVD时，基于从序列参数集(SPS)获得的序列MMVD信息，视频解码设备1700可另外从比特流获得子像素MMVD信息和MMVD信息。然而，当在当前序列中不应用MMVD时，基于序列MMVD信息，视频解码设备1700不需要从比特流中另外解析子像素MMVD信息和MMVD信息两者。因为指示是否应用MMVD的信息是根据诸如SPS、编码单元语法等的语法等级分阶段获得的，所以可减少视频解码设备1700对与是否应用MMVD相关的语法元素进行解码的工作量。
本VVC标准允许1/4像素单位、1像素单位或4像素单位的运动矢量的分辨率。就此而言，运动矢量差(MVD)的精度将等于运动矢量预测算子的精度或运动矢量的分辨率。就此而言，当使用整数像素单位的精度时，可将运动矢量的精度四舍五入到整数像素单位，从而可增加编码效率。然而，对于4像素单位的分辨率，执行1像素单位的分辨率的四舍五入。通过这样做，可以减少子像素单位的插值过程，并且可以不丢失运动矢量预测算子的准确度。当关于4个像素执行四舍五入时，运动矢量预测算子的准确度可能劣化。因此，可以对分辨率被确定为等于或大于1个像素的运动矢量预测算子执行1个像素单位的四舍五入。
一种算法，通过该算法，仅将运动矢量以特定像素单位存储，然后在必要时通过移位操作来重建运动矢量。在这种情况下，无论根据运动矢量的分辨率进行四舍五入的像素单位如何小，最小四舍五入信息都必须是存储单元的分辨率。
在下文中，现在将参照图19描述通过在跳过模式或合并模式下选择MMVD模式来执行帧间预测的视频编码设备。
图19是根据实施例的视频编码设备的框图。
参照图19，根据实施例的视频编码设备1900可包括帧间预测执行器1910和语法元素编码器1920。
视频编码设备1900可对通过执行帧间预测确定的运动信息进行编码，并且可以以比特流的形式输出编码的运动信息。帧间预测执行器1910可以确定各种帧间预测信息，并且语法元素编码器1920可以以语法元素的形式对帧间预测信息进行编码，并且可以以作为每个编码单元或每个块的一组语法元素的语法的形式输出比特流。
根据实施例的视频编码设备1900可包括用于控制帧间预测执行器1910和语法元素编码器1920的中央处理器(未示出)。可选地，帧间预测执行器1910和语法元素编码器1920可由它们自己的处理器(未示出)操作，并且处理器可系统地彼此操作以操作视频编码设备1900。可选地，可根据视频编码设备1900的外部处理器(未示出)的控制来控制帧间预测执行器1910和语法元素编码器1920。
视频编码设备1900可包括存储帧间预测执行器1910和语法元素编码器1920的输入/输出数据的一个或多个数据存储器(未示出)。视频编码设备1900可包括用于控制数据存储器的数据输入和输出的存储器控制器(未示出)。
视频编码设备1900可通过与内部视频编码处理器或外部视频编码处理器连接地操作来执行包括预测的图像编码操作，以便对图像进行编码。根据实施例的视频编码设备1900的内部视频编码处理器可以以不仅单独的处理器而且包括在中央处理设备或图形处理设备中的图像编码处理模块执行基本图像编码操作的方式来执行基本图像编码操作。
根据实施例的帧间预测执行器1910可以通过对当前块执行帧间预测来确定当前块的运动矢量。
根据实施例的帧间预测执行器1910可以生成合并候选列表，该合并候选列表包括当在跳过模式和合并模式之一的模式下对当前块执行帧间预测时在预测当前块的运动矢量时参考的相邻块。
根据实施例的语法元素编码器1920可确定是否在跳过模式或合并模式中使用在当前块的合并候选列表中确定的基础运动矢量和合并运动矢量差。当使用合并运动矢量差时，语法元素编码器1920可产生合并索引，且可对合并索引的比特串执行熵编码。合并索引指示合并候选列表中的基础运动矢量。
语法元素编码器1920可产生与基础运动矢量和当前块的运动矢量之间的差对应的合并运动矢量差的距离索引和合并运动矢量差的方向索引。语法元素编码器1920可对合并运动矢量差的距离索引的比特串执行熵编码，且可对合并运动矢量差的方向索引执行熵编码。
根据实施例，MMVD模式可被应用于帧间预测模式中可用的各种工具。因此，视频编码设备1900可对指示是否将MMVD模式应用于帧间预测模式的每个工具的信息进行编码。
例如，在第一方案中，可仅对指示是否将MMVD模式应用于每个工具的信息进行编码。
作为另一示例，在第二方案中，可首先对指示是否将MMVD模式应用于所有工具的信息进行编码，并且如果可应用，则可对指示是否将MMVD模式应用于每个工具的信息进行编码。当没有将MMVD模式应用于所有工具时，不必对指示是否将MMVD模式应用于每个工具的信息进行编码。
在第一方案中，即使当没有将MMVD模式应用于所有工具时，视频编码设备1900也必须对用于确定没有将MMVD模式应用于各种工具中的每个工具的标志进行编码。
然而，根据第二方案，当没有针对所有工具启用MMVD模式时，视频编码设备1900可仅对指示没有将MMVD模式应用于所有工具的标志进行编码，并且可不需要另外对指示是否将MMVD模式应用于每个工具的标志进行编码，从而可提高编码效率。
根据第二方案，语法元素编码器1920可首先对指示是否针对当前序列启用MMVD模式的序列MMVD信息进行编码。当MMVD模式可应用于当前序列时，语法元素编码器1920可确定是否在第一帧间预测模式中根据MMVD模式对运动矢量差进行编码，并且可确定是否在第二帧间预测模式中根据MMVD模式对运动矢量差进行编码。因此，语法元素编码器1920可另外针对包括在当前序列中的当前块对指示是否在第一帧间预测模式中应用MMVD模式的第一MMVD信息和指示是否在第二帧间预测模式中应用MMVD模式的第二MMVD信息进行编码。然而，当不可应用MMVD模式时，根据实施例的语法元素编码器1920可仅对序列MMVD信息进行编码，并且可不对第一MMVD信息和第二MMVD信息进行编码。
作为第二方案的特定示例，语法元素编码器1920可对指示MMVD模式是否应用于当前序列的序列MMVD信息进行编码。当可应用MMVD模式时，根据实施例的语法元素编码器1920可对指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的序列子像素MMVD信息进行编码。当可应用MMVD模式时，根据实施例的语法元素编码器1920可对指示MMVD模式是否被用于包括在当前序列中的当前块的MMVD信息进行编码。
在下文中，现在将参照图20和图37描述视频编码设备1900根据第二方案对序列MMVD信息、序列子像素MMVD信息和MMVD信息进行分级编码的实施例。
图20示出根据实施例的视频编码方法的流程图。
在操作2010中，语法元素编码器1920可对指示MMVD模式是否可应用于当前序列的序列MMVD信息进行编码。
在操作2020中，当MMVD模式可应用于当前序列时，语法元素编码器1920可对指示是否在第一帧间预测模式中将MMVD模式用于当前块的第一MMVD信息进行编码。
在操作2030中，当在第一帧间预测模式中应用MMVD模式时，语法元素编码器1920可对当前块的运动矢量差的距离索引和运动矢量差的方向索引进行编码。
帧间预测执行器1910可以生成合并候选列表，该合并候选列表包括当在跳过模式和合并模式之一的模式下对当前块执行帧间预测时在预测当前块的运动矢量时参考的相邻块。语法元素编码器1920可产生指示是否使用从当前块的合并候选列表确定的基础运动矢量及合并运动矢量差的MMVD信息。
当使用合并运动矢量差时，语法元素编码器1920可产生指示合并候选列表中的一个基础运动矢量的合并索引。语法元素编码器1920可通过使用一条上下文信息对合并索引的比特串执行熵编码。
语法元素编码器1920可产生与基础运动矢量和当前块的运动矢量之间的差对应的合并运动矢量差的距离索引及合并运动矢量差的方向索引。
根据实施例的帧间预测执行器1910可以确定当前块的运动矢量，该运动矢量指示参考画面中的参考块。
根据实施例的帧间预测执行器1910可确定当前块的运动矢量的预测模式为跳过模式和合并模式之一。语法元素编码器1920可产生指示当前块的预测模式是否为跳过模式的跳过模式信息和指示预测模式是否为合并模式的合并模式信息。
当当前块的预测模式为跳过模式或合并模式时，语法元素编码器1920可确定是否使用合并运动矢量差及从当前块的合并候选列表确定的基础运动矢量来在MMVD模式中预测当前块的运动矢量。语法元素编码器1920可产生指示是否在MMVD模式中预测运动矢量的MMVD信息。
当根据MMVD模式预测运动信息时，根据实施例的语法元素编码器1920可确定指示合并候选列表中的基础运动矢量的合并索引。语法元素编码器1920可应用一条上下文信息对合并索引执行熵编码，以对指示合并候选列表中的一个候选的合并索引进行编码。
根据实施例，合并索引可以在合并候选列表中指示的候选的数量最大为2，因此，合并索引可以是1比特的信息。
语法元素编码器1920可确定当前块的运动矢量与基础运动矢量之间的合并运动矢量差，并且可产生当前块的合并运动矢量差的距离索引及合并运动矢量差的方向索引。
当根据实施例的当前块的预测模式是合并模式并且选择了MMVD模式时，语法元素编码器1920可生成指示来自合并候选列表的当前块的基础运动矢量的合并索引，并且可生成用于指示当前块的运动矢量与基础运动矢量之间的合并运动矢量差的差的距离的信息和差的方向的信息。
当当前块的预测模式是合并模式时，视频编码设备1900可确定由当前块的运动矢量指示的参考块的样点为当前块的预测样点。视频编码设备1900可确定作为原始样点与当前块的预测样点之间的差的残差样点。视频编码设备1900可对通过对当前块的残差样点执行变换和量化而生成的变换系数进行编码。
根据实施例，当当前块的预测模式是跳过模式时，仅对具有当前块的预测样点的当前块进行编码，因此视频编码设备1900不对当前块的残差样点进行编码。即使当根据实施例的当前块的预测模式是跳过模式并且选择了MMVD模式时，语法元素编码器1920也可对MMVD信息、合并索引、差的距离的信息和差的方向的信息进行编码，而不对残差样点进行编码。
当在MMVD模式中对运动矢量进行编码时，语法元素编码器1920可通过将一条上下文信息应用于合并索引来执行熵编码。合并索引指示合并候选列表中的一个候选。根据实施例的合并索引是1比特的信息，因此可以通过使用用于第一二进制位的一条上下文信息来获得。
语法元素编码器1920可对当前块的合并运动矢量差的距离索引及合并运动矢量差的方向索引执行熵编码。
根据实施例的语法元素编码器1920可经由旁路模式分别对指示合并运动矢量差的方向索引的两个二进制位执行熵编码。语法元素编码器1920可通过使用上下文信息对指示合并运动矢量差的距离索引的第一二进制位执行熵编码，并且可在旁路模式中分别对指示合并运动矢量差的距离索引的其它二进制位执行熵编码。
图23示出根据实施例的合并索引、合并差的距离索引和合并差的方向索引的值和含义。
合并差的距离索引指示合并运动矢量差的距离索引。合并差的方向索引指示合并运动矢量差的方向索引。
视频解码设备1700可基于合并索引、合并差的距离索引和合并差的方向索引来确定当前块的运动矢量。
图23的表2600示出根据实施例的合并索引和与其对应的运动矢量候选。根据实施例的合并候选列表包括四个运动矢量候选(第1、第2、第3和第4MV候选)，并且合并索引可以被显示在指示它们中的一个的索引(0、1、2或3)中。
在MMVD模式中，合并候选列表当中的由合并索引指示的一个运动矢量候选可被确定为基础运动矢量。
在图23的表2610中，根据实施例的合并差的距离索引是0至7之间的整数，并且可以根据截断一元编码方法对每个索引进行二进制化。合并差的距离索引可指示2N中的一者，其中N为0到7。基于基本像素单位来确定合并差的距离，并且当基本像素单位是1/4时，与合并差的距离索引0对应的合并运动矢量差的距离可以表示1/4像素距离，并且与合并差的距离索引1对应的合并运动矢量差的距离可以表示1/2像素距离。与合并差的距离索引7对应的合并运动矢量差的距离可表示32像素距离。
如上所述，当能够由当前块的运动矢量指示的最小像素单位小于基本像素单位时，可以根据最小像素单位与基本像素单位的比率来缩放合并运动矢量差的距离。例如，当基本像素单位是1/4像素单位并且最小像素单位是1/8像素单位时，并且当指示从比特流获得的合并运动矢量差的距离的索引是0时，与索引0对应的合并运动矢量差的距离1可以被放大到2。
另外，在表2620中，二进制串00的合并运动矢量差的方向索引表示基于基础运动矢量在X轴上沿+方向改变的运动矢量候选，二进制串11的合并运动矢量差的方向索引表示基于基础运动矢量在Y轴上沿-方向改变的运动矢量候选。
图23的合并索引、合并差的距离索引及合并差的方向索引仅为示例，且本公开中提出的MMVD模式中可用的索引不限于此。
例如，可在MMVD模式中从合并候选列表选择的候选的数目可限于2，且合并索引可为1比特的索引。
图24示出根据实施例的用于通过使用基础运动矢量和合并运动矢量差来获得运动矢量的等式。
mvLX[x][y][n]表示当前块的运动矢量。x，y表示当前块的x，y坐标，n表示运动矢量mvLX的水平方向分量和垂直方向分量之一。mvLX[x][y][0]表示运动矢量mvLX的水平方向分量，并且mvLX[x][y][1]表示运动矢量mvLX的垂直方向分量。
mxLXN[m]表示合并候选列表中的由合并索引指示的基础运动矢量。m表示基础运动矢量mvLXN的水平方向分量和垂直方向分量之一。mvLXN[0]表示基础运动矢量mvLXN的水平方向分量，并且mvLXN[1]表示基础运动矢量mvLXN的垂直方向分量。
refineMxLX[l]表示合并运动矢量差。l表示合并运动矢量差refineMxLX的水平方向分量和垂直方向分量之一。refineMxLX[0]表示合并运动矢量差refineMxLX的水平方向分量，并且refineMxLX[1]表示合并运动矢量差refineMxLX的垂直方向分量。
在mvLX、mxLXN和refineMxLX中，LX表示L0预测方向和L1预测方向中的一个。因此，mvL0、mxL0N和refineMxL0表示L0预测方向上的运动矢量、基础运动矢量和合并运动矢量差，并且mvL1、mxL1N和refineMxL1表示L1预测方向上的运动矢量、基础运动矢量和合并运动矢量差。
根据实施例的视频解码设备1700从比特流获得合并索引，并确定来自合并候选列表的由合并索引指示的基础运动矢量的水平方向分量mxLXN[0]和基础运动矢量的垂直方向分量mxLXN[1]。
根据实施例的视频解码设备1700从比特流获得合并差的方向索引和合并差的距离索引，并通过使用合并差的方向索引和合并差的距离索引来确定合并运动矢量差的水平方向分量refineMxLX[0]和合并运动矢量差的垂直方向分量refineMxLX[1]。
根据实施例的视频解码设备1700可以通过将基础运动矢量的水平方向分量mxLXN[0]与合并运动矢量差的水平方向分量refineMxLX[0]相加来获得当前块的运动矢量的水平方向分量mvLX[0][0][0]，并且可以通过将基础运动矢量的垂直方向分量mxLXN[1]与合并运动矢量差的垂直方向分量refineMxLX[1]相加来获得当前块的运动矢量的垂直方向分量mvLX[0][0][1]。
图37示出根据另一实施例的视频编码方法的流程图。
操作2010等于上面参照图20的操作2010描述的操作。
操作2022和操作2024对应于图20的操作2020的特定操作。
在操作2022，帧间预测执行器1910可确定是否在当前序列中应用MMVD模式。因此，语法元素编码器1920可对指示MMVD模式是否可应用于当前序列的序列MMVD信息进行编码。
在操作2022，当可应用MMVD模式时，帧间预测执行器1910可确定在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差。因此，当可应用MMVD模式时，语法元素编码器1920可对指示在当前序列中是使用整数像素单位中的运动矢量差还是使用子像素单位中的运动矢量差的子像素MMVD信息进行编码。
在操作2024，当可应用MMVD模式时，帧间预测执行器1910可确定MMVD模式是否被用于包括在当前序列中的当前块。因此，当可应用MMVD模式时，语法元素编码器1920可对指示MMVD模式是否被用于包括在当前序列中的当前块的MMVD信息进行编码。
操作2032是图20的操作2030的特定操作。在操作2032中，当MMVD模式被用于当前块时，语法元素编码器1920可对根据整数像素单位或子像素单位的运动矢量差的距离确定的当前块的运动矢量差的距离索引进行编码。
当MMVD模式被用于当前块且使用整数像素单位的运动矢量差时，语法元素编码器1920可基于整数像素单位的运动矢量差的距离确定并编码当前块的运动矢量差的距离索引。
当MMVD模式被用于当前块且使用子像素单位的运动矢量差时，语法元素编码器1920可基于子像素单位的运动矢量差的距离确定并编码当前块的运动矢量差的距离索引。
当不可应用MMVD模式时，语法元素编码器1920可不对子像素MMVD信息和MMVD信息进行编码。
当以整数像素单位对运动矢量差的距离进行编码时，语法元素编码器1920可以以整数像素单位对当前块的基础运动矢量的x分量值和y分量值进行四舍五入，并且可通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值来确定整数像素单位的运动矢量差的距离。因此，语法元素编码器1920可对与整数像素单位的运动矢量差的距离对应的距离索引进行编码。
当以子像素单位对运动矢量差的距离进行编码时，语法元素编码器1920可以以子像素单位对当前块的基础运动矢量的x分量值和y分量值进行四舍五入，并且可通过使用被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值来确定子像素单位的运动矢量差的距离。因此，语法元素编码器1920可对与子像素单位中的运动矢量差的距离对应的距离索引进行编码。
因此，当在当前序列中可应用MMVD时，视频编码设备1900不仅可对序列MMVD信息进行编码，而且还可另外对子像素MMVD信息和MMVD信息进行编码。然而，当在当前序列中不应用MMVD时，视频解码设备1700可仅对序列MMVD信息进行编码，并且可不需要另外对子像素MMVD信息和MMVD信息两者进行编码。因为指示是否应用MMVD的信息是根据诸如SPS、编码单元语法等语法等级分阶段被编码的，所以可减少视频编码设备1900对与是否应用MMVD相关的语法元素进行编码的工作量。
根据实施例的视频解码设备1700和视频编码设备1900可在MMVD模式下用信号发送运动矢量差的距离索引，而不是运动矢量的大小。此外，可在MMVD模式下用信号发送合并运动矢量差的方向索引，而不是用信号发送指示运动矢量的方向的信息。
可基于嵌入在视频解码设备1700和视频编码设备1900中的视频编解码器中使用的运动矢量的精度来表示运动矢量差的距离索引。例如，在通用视频编码(VVC)编解码器中，1/16像素单位被内部用作MV。然而，指示运动矢量的精度被表示为1/4。因此，当MMVD模式的距离索引为1时，运动矢量的变化以1/4的精度表示。当MMVD模式的距离索引为2时，运动矢量的变化以1/2的精度表示。可使用距离索引来表示多个运动矢量精度，且运动矢量的方向可被表示为合并运动矢量差的方向索引。
可将合并运动矢量差添加到与在合并候选列表中选择的基础运动矢量对应的运动矢量预测算子。因为距离索引表示运动矢量的精度，所以运动矢量预测算子必须以相同精度被四舍五入，使得最终运动矢量的精度可与距离索引的精度匹配。
预测算子(用距离索引的信息四舍五入的值)+合并运动矢量差(距离索引*预设精度)*方向索引
可将合并运动矢量差的精度应用于由当前运动矢量使用的帧间预测模式。可以将根据合并运动矢量差的距离索引的运动矢量精度概念应用于帧间预测模式的运动矢量预测算子，帧间预测模式包括当前视频编解码器中可用的跳过模式、合并模式、仿射跳过模式、仿射合并模式、帧间/帧内组合模式、广义B模式、三角形分区模式、AMVP模式、自适应运动矢量分辨率(AMVR)模式、仿射AMVP模式等。此外，可将根据合并运动矢量差的距离索引的运动矢量精度概念应用于每一帧间预测模式中的运动矢量差分量(包含第一mvd分量、第二mvd分量、……、第N mvd分量)。因此，在每一帧间预测模式中使用的各种索引可被解译且被用作与其对应的运动矢量精度。
在下文中，参照图25和图26，现在将描述将合并差的距离与运动矢量或运动矢量预测算子的精度匹配的方法。
图25示出根据实施例的用于当合并差的距离索引的精度为64时调整运动矢量预测算子或基础运动矢量的精度的等式。图26示出根据实施例的用于在合并差的距离索引的精度为16时调整运动矢量预测算子或基础运动矢量的精度的等式。
MMVD模式是指将运动矢量差表示为对数指数的方案。例如，可将运动矢量或像素位置的精度选择为1/4、1/2、1、2、4、8、16或32。当在MMVD模式中以整数像素单位表示运动矢量差时，也以整数像素单位设置运动矢量预测算子，使得运动矢量差的精度和运动矢量预测算子的精度可在MMVD模式中被设置为相等。通过允许运动矢量差的精度和运动矢量预测算子的精度相等，可以跳过用于运动补偿的插值滤波过程，并且通过这样做，减少了用于访问外部存储器的数据总线带宽，从而可以提高编码/解码效率。
对于特定示例，图25及图26中的运动矢量的精度为1/16。当运动矢量的精度是1/16并且运动矢量差的距离是64时，运动矢量差的距离可以是整数像素单位的4个像素。
在图25中，为了根据运动矢量差的距离以4像素单位四舍五入实际MVP(运动矢量预测算子或基础运动矢量)的x和y分量，可以将MVP的x分量和y分量四舍五入为64。MVP[0]指示MVP的x分量，且MVP[1]指示MVP的y分量。
在图26中，当始终将MVP四舍五入到整数像素单位时，因为运动矢量的精度为1/16，所以可将MVP的x分量及y分量四舍五入到16。
可在高级语法中使用表示以下信息的标志：指示是否应用在跳过模式或合并模式中使用的MMVD模式的信息以及指示是否应用在其它预测方法中使用的MMVD模式的信息。
因为MMVD模式是用于发送运动矢量的方法，所以MMVD模式可被用于发送运动矢量差的所有帧间预测技术和使用运动矢量的帧内预测技术(例如，当前画面参考(CRP)技术)。用于指示MMVD模式是否可应用于相应预测技术的启用标志可被包括在高级语法中。
作为另一示例，为了表示用于其它预测技术的MMVD模式的标志，诸如待应用于仿射控制点的MMVD模式、待应用于子块模式的MMVD模式、待应用于三角形分区预测技术的MMVD模式、待应用于帧内/帧间组合预测模式的MMVD模式等，可使用跳过模式中的MMVD标志及合并模式中的MMVD标志。即，高级语法中的使用MMVD模式的所有预测技术可由一个代表性MMVD启用标志同时控制。当MMVD启用标志为1时，MMVD模式可被用于所有预测技术中，而当MMVD启用标志为0时，MMVD模式不能被用于所有预测技术中。
作为另一示例，可用信号发送一个代表性标志，并且可有条件地用信号发送特定标志。当存在使用MMVD模式的一个工具时，视频编码设备1900可首先发送作为高级语法中的代表性标志的mmvd_enalble_flag。当mmvd_enalble_flag为1时，视频解码设备1700可顺序地解析指示是否在其他帧间预测技术中应用MMVD模式的标志，然后可确定是否将MMVD模式应用于每个其他帧间预测技术。
例如，在将MMVD模式应用于仿射技术的情况下，当作为代表性标志的MMVD启用标志为1时，可解释为已使用待应用于仿射控制点(CP)的MMVD模式。
作为另一示例，当确认作为代表性标志的mmvd_enable_flag为1时，其可意味着MMVD模式已被用于某一帧间预测技术中。另外，视频解码设备1700可解析用于相应特定帧间预测技术的MMVD模式的标志，由此确定MMVD模式是否已被用于每个帧间预测技术中。用于相应技术的此类语法可具有取决于代表性mmvd_enable_flag的解析关系，并且用于相应技术的语法之间的解析关系可为并行的。
MMVD模式包括跳过模式的MMVD模式和合并模式的MMVD模式的两个模式。根据实施例的视频解码设备1700和视频编码设备1900可通过用信号发送当前块的跳过模式标志来确定其是否为跳过模式，然后可通过用信号发送MMVD标志来确定其是否为跳过模式和MMVD模式两者。此外，当不是跳过模式时，视频解码设备1700和视频编码设备1900可通过用信号发送合并模式标志来确定其是否是合并模式，然后可通过用信号发送MMVD标志来确定其是否是合并模式和MMVD模式两者。视频解码设备1700可根据在跳过模式标志和合并模式标志中的哪个标志之后用信号发送MMVD标志来间接地识别残差的存在或不存在。也就是说，当在跳过模式标志之后用信号发送MMVD标志时，不存在残差，但是当在合并模式标志之后用信号发送MMVD标志时，可以存在残差。
在不同示例中，在下文中，MMVD模式可独立于跳过模式及合并模式而被使用。现在将描述一个实施例，其中，当根据实施例的视频解码设备1700和视频编码设备1900使用独立的MMVD标志时，用信号发送指示是否使用残差的单独信息。
根据实施例的视频编码设备1900可在MMVD标志之后生成并发送关于是否使用残差的语法元素。例如，当MMVD标志为1时，此后可以单独发送用于确定是否发送当前块的残差的标志(例如，no_residue_flag)。当no_residue_flag为1时，视频解码设备1700可确定在跳过模式下MMVD标志为1，并且可在没有残差的情况下执行解码。当no_residue_flag为0时，视频解码设备1700可确定在合并模式下MMVD标志为1，可另外解析残差，然后可执行解码。
作为另一示例，如在HEVC标准的高级运动矢量预测(AMVP)模式中，通过cbf检查作为Y、Cb、Cr分量的相应色彩分量的残差是否存在，并且可根据检查的结果解析残差。例如，可以通过用信号发送编码单元的cbf(cu_cbf)、Y分量的变换单元的cbf(tu_cbf_luma)、Cb分量的变换单元的cbf(tu_cbf_cb)、Cr分量的变换单元的cbf(tu_cbf_cr)等来确定是否存在关于作为Y、Cb、Cr分量的各个分量的残差。作为另一示例，可用信号发送指示残差是否存在于所有Y、Cb、Cr分量中的标志。
作为另一示例，MMVD模式可不被允许用于跳过模式，但可仅被允许用于合并模式。因为在正常合并模式中以与跳过模式相同的方式预测运动信息，所以可以假设在合并模式中始终存在残差。也就是说，在HEVC标准中，假设root_cbf总是1，因此残差存在于Y、Cb、Cr分量中的至少一个分量中。在root_cbf之后，可以针对分量(Y，Cb，Cr)分别用信号发送指示是否存在残差的标志。然而，当仅在合并模式中允许MMVD模式时，即使在MMVD模式中不存在残差时，也可针对Y、Cb、Cr中的每个用信号发送用于指示是否存在残差的标志。在这种情况下，尽管MMVD模式是合并模式，但是当当前块中不存在残差时，可以用信号发送root_cbf以通过使用一个root_cbf来确定残差的存在或不存在。
此外，在当前VVC标准中，组合帧内预测和帧间预测以生成预测数据的模式，或者通过允许连接块的对角线的顶点的分区来执行预测的三角形分区预测模式可被允许仅用于合并模式。类似于上文提出的方法，尽管MMVD模式属于合并模式，但当当前块中不存在残差时，可以用信号发送root_cbf以通过使用一个root_cbf来确定残差的存在或不存在。
图27示出根据实施例的用于确定多条合并相关信息的二进制化的参考表。
例如，指示其是否以MMVD模式预测的语法元素mmvd_merge_flag的二进制化为固定长度二进制化(FL)，并且在这方面，cMax参数值为1。与合并索引对应的mmvd_cand_flag的二进制化也是FL，并且在这方面，cMax参数值可以是1。
与合并运动矢量差的距离索引对应的语法元素mmvd_distance_idx的二进制化为截断莱斯二进制化(TR)，并且在这方面，cMax参数值可为7，cRiceParam值可为0。与合并运动矢量差的方向索引对应的语法元素mmvd_direction_idx的二进制化为FL，并且在这方面，cMax参数值可为3。
在下文中，参照图28到图33，现在将描述用于多条MMVD相关信息的各种二进制化。
图28示出根据各种二进制化的8个合并差的距离索引(mmvd)的二进制串的比较表。
合并差的距离索引(mmvd)可在mmvd模式中被映射到指示运动矢量差的特定距离的值。例如，索引0、1、2、3、4、5、6和7可被分别映射到运动矢量差的距离4、8、16、32、64、128、256和512。作为另一示例，索引0、1、2、3、4、5、6和7可被分别映射到运动矢量差的距离1、2、4、8、16、32、64和128。
图28的比较表示出当合并运动矢量差的距离索引的数量为0至7(即，8)时，与根据二进制化1和二进制化2的距离索引对应的二进制串。
二进制化1是截断一元编码方案，其中与索引对应的二进制串的长度随着索引变小而变短。假设随着索引变小，与其对应的运动矢量差的距离最频繁地出现，则该方案是有用的二进制化。然而，与第一索引0对应的运动矢量差的距离根据图像的特性和分辨率最频繁地出现不是真的。
即使当第一索引不对应于最频繁出现的运动矢量差的距离时，小索引对应于最频繁出现的运动矢量差的距离是真的。基于上述事实，根据二进制化2，与二进制化1相比，视频编码设备1900将2比特的二进制串分配给距离索引0、1和2，并且将较少比特数的二进制串分配给距离索引3、4、5、6和7。因此，与二进制化1相比，根据二进制化2，可以预期运动矢量差的距离索引出现的概率以及与其对应的二进制串的比特数被彻底且均匀地校正的效果。
在另外的实施例中，视频编码设备1900可根据真实自然图像中的运动矢量差的距离索引的实际出现概率来确定与距离索引对应的二进制串。可以使用可变长度编码(VLC)，通过该可变长度编码，当运动矢量差的特定距离索引的出现概率等于或大于50％时，将1比特的二进制串分配给与差的距离对应的距离索引。然而，当运动矢量差的距离的出现概率总体上小于50％时，可根据二进制化2确定与运动矢量差的距离索引对应的二进制串。
视频解码设备1700可根据由视频编码设备1900选择的二进制化对运动矢量差的距离索引执行逆二进制化。也就是说，视频解码设备1700可从比特流中解析运动矢量差的距离索引的二进制串，并且可根据由视频编码设备1900选择的二进制化来确定与二进制串对应的运动矢量差的距离索引。
根据实施例的视频编码设备1900可根据k阶指数哥伦布二进制化来确定运动矢量差的距离索引。
图29示出k阶指数哥伦布二进制化的实施例。
k阶指数哥伦布二进制化是指用于根据指数k改变基于概率的比特表示的方案。与二进制化2相比，k阶指数哥伦布二进制化还可根据运动矢量差的距离的出现概率使二进制串的长度平均。
如图29所示，可以定义与距离索引0和1对应的比特串的长度是2，与距离索引2、3和4对应的比特串的长度是3，与距离索引5对应的比特串的长度是4，并且与距离索引6和7对应的比特串的长度是5。当k指数改变时，可以改变分配给各个距离索引的二进制串。
在另一实施例中，可根据截断莱斯(TR)二进制化处理来确定MMVD的运动矢量差的距离索引的二进制串。例如，变量cMax可以被设置为7并且cRiceParam可以被设置为7，这是TR二进制化处理中所需的，或者cMax可以被设置为7并且cRiceParam可以被设置为1。
在另一实施例中，在当前序列、当前画面、当前条带、当前并行块或当前最大编码单元中，即，在每个数据等级中，根据运动矢量差的距离索引的出现概率，可以可变地设置TR二进制化处理的cRiceParam。随着cRiceParam变大，可以用相同概率分配比特，使得cRiceParam可以在相应的等级中单独被设置并用信号发送。可通过对应数据等级的报头信息用信号发送每个数据等级中使用的cRiceParam信息。
在更具体示例中，可基于每个数据等级中的MMVD运动矢量差的距离索引的出现概率而可变地改变二进制化。此外，二进制化可以不限于TR二进制化处理，而是可以根据各种出现概率基于预设VLC方案或FLC方案的二进制化表来被改变。
作为另一示例，可通过可变地改变在每一序列、每一画面、每一条带、每一并行块或每一CTU中使用的MMVD运动矢量的距离索引的最大值来增加编码效率。例如，当使用TR二进制化处理时，可以改变cMax值。为了使用6个距离索引，可以将cMax值改变为5。关于cMax的数字信息可以被包括在当前数据等级的报头信息中。此外，cMax可以根据相应数据等级中的距离索引的出现概率而可变地被改变。
在另一实施例中，不管当MMVD模式的运动矢量差的距离索引被二进制化时使用哪种二进制化，可对与距离索引对应的二进制串的第一比特执行应用上下文模型的熵编码。这是因为，当在符号和二进制串匹配的二进制化中根据概率对符号进行分组时，二进制串的第一比特表示主分类，通过该主分类识别每个符号组。因此，当将上下文模型应用于二进制串的第一比特时，可预期进一步增加的熵编码效率。
根据二进制化，可以将上下文模型应用于第二比特。另外，当多个特定距离索引的出现概率高时，可以通过应用使用上下文的二进制化来提高熵编码效率。例如，当在上述二进制化1和二进制化2中0和1的距离索引的出现概率高时，可以通过将使用上下文的二进制化应用于第一比特和第二比特来提高熵编码效率。
例如，在使用上下文的二进制化被使用的情况下，当二进制串的第一比特是0时，与其对应的距离索引可以是0或1，并且当二进制串的第一比特是1时，除了0和1之外的其他可以是距离索引。
在另一示例中，仅当第一比特为1时，可以在其后立即将上下文模型应用于第二比特。这是因为第二比特可以以特定概率在第二组(其中第一比特是1的组)中被分类。因此，在第一比特为1的情况下，当将上下文模型应用于第二比特时，可进一步提高熵编码效率。
图30示出根据各种二进制化的6个合并差的距离索引的二进制串的比较表。
类似于图28，可以定义与距离索引0、1和2对应的比特串的长度是2，与距离索引3对应的比特串的长度是3，并且与距离索引4和5对应的比特串的长度是4。
图31示出根据实施例的通过根据合并差的距离索引组改变二进制化而生成的二进制串。
图31示出当MMVD模式的运动矢量差的距离索引的数量为N时根据二进制化1和二进制化2的二进制串。距离索引可被映射到运动矢量的特定距离值。例如，距离索引可以映射到运动矢量差的距离的大小为4、8、16、32、64、128、256和512的情况。作为另一示例，距离索引可被映射到作为运动矢量差的距离的大小的1、2、4、8、16、32、64及128。
根据二进制化1，可以使用截断一元编码(T一元编码)来表示距离索引。
与此相反，为了提高熵编码效率，在二进制化2和3中，将一个语法元素添加到每个单独的距离索引。语法元素是在对相应的距离索引进行分组时使用的标志，以便通过单独地对最可能的距离索引进行分组来以最少比特执行编码。
距离索引组是指具有高选择概率的一组距离索引，并且包括从给定距离索引列表中最频繁选择的索引。因此，可以基于由已经在当前帧或条带中编码的块的距离索引组累加的标志来确定标志。在另一示例中，可通过使用在MMVD模式下编码的相邻块的相应标志来确定当前块的标志。
关于要使用距离索引组中的哪个距离索引的信息可以通过高级语法用信号发送，并且基于该信息选择的距离索引可以被用在低于高级语法的画面、并行块、条带等中。
根据二进制化2，当假设第一距离索引0和1是最可能的候选时，可以确定包括距离索引0和1的距离索引组0。可以确定包括其他距离索引的组1。可以将组标志0分配给组0，并且可以将组标志1分配给组1。通常，可以通过从距离索引的最大数量中减去组0中包括的索引的数量来确定组1中包括的索引的数量。例如，通过从作为距离索引的最大数量的N+1减去作为组0的索引的数量的2而获得的数量可以是组1的索引的数量。
上下文模型可以被应用于组标志。因为可选择的距离索引被包括在组0中，所以可以通过使用上下文模型来提高熵编码效率。
可以使用FLC对包括在组0中的索引进行编码，并且可以从最小的开始排列包括在组1中的索引，然后可以使用T一元编码对其进行编码。
根据二进制化3，确定包括距离索引0、1、2和3的组0，假设0、1、2和3的第一距离索引是最可能的候选。确定包括其他距离索引的组1。通常，可以通过从距离索引的最大数量中减去组0中包括的索引的数量来确定组1中包括的索引的数量。
上下文模型可以被应用于组标志。可以使用FLC对包括在组0中的索引进行编码，并且可以从最小的开始排列包括在组1中的索引，然后可以使用T一元编码对其进行编码。
在参照图31描述的二进制化2和二进制化3中，不总是使用FLC对包括在组0中的距离索引进行编码，并且不总是使用T一元编码对包括在组1中的距离索引进行编码。可使用FLC对组0中包括的一些索引进行编码，并且可使用T一元编码对其它索引进行编码。类似地，可使用FLC对组1中包括的一些索引进行编码，并且可使用T一元编码对其它索引进行编码。
在下文中，参照图32和图33，基于运动矢量差的距离精度不同地分配码字的二进制化。
图32示出根据实施例的8个合并差的距离索引(mmvd)的情况的码字。图33示出根据实施例的6个合并差的距离索引(mmvd)的情况的码字。
运动矢量差的距离偏移可仅是表示为2的幂(2^n，其中n为整数)的数字。根据距离偏移是指子像素单位的精度还是整数像素单位的精度，可分配关于距离索引的码字。例如，参照图32，运动矢量差的距离的总数可为8，且其值可为1/4、1/2、1、2、4、8、16和32。可以将子像素单位的1/4和1/2的距离偏移确定为一个组，并且可以将其他距离偏移识别为另一组，从而可以通过使用不同的二进制化将关于距离索引的码字分配给每个组。根据每个精度组，距离索引的码字可通过使用FLC来确定，或可通过使用包含T一元编码的VLC来确定。图32示出在存在8个距离偏移的实施例中用于各个距离索引的码字，并且图33示出在存在6个距离偏移的实施例中用于各个距离索引的码字。
在实际子像素精度的距离偏移出现的概率高于整数像素单位精度的距离偏移出现的概率的情况下，如图32和图33中的二进制化可以是有效的。具体地，增加精度标志中的概率0以提高熵编码效率，使得可以减少比特量。
在根据图32和图33的码字表示方法中，每个精度中的精度标志及索引可被分别表示为语法元素。可根据比特在相同语法元素中应用不同的二进制化。
在下文中，现在将描述视频解码设备1700和视频编码设备1900应用三角形分区预测模式和帧内/帧间组合预测模式的实施例。
根据三角形分区预测模式，可沿着连接正方形块的相对顶点的对角线将当前块划分为两个三角形分区形状，并且可对每个三角形分区执行预测。根据该预测技术，用通过对两个三角形分区的预测块执行滤波而获得的预测值填充两个三角形分区的预测块接触的区域，从而生成新的正方形预测块。
图34示出根据实施例的在三角形分区预测模式中可用的三角形分区。
可以通过连接彼此面对的当前块3400的左上顶点和右下顶点来确定三角形分区PU1和PU2。可以通过连接彼此面对的当前块3410的右上顶点和左下顶点来确定三角形分区PU1和PU2。
当前块3400和3410可以是编码单元。
可根据使用两个三角形分区的预测为三角形分区确定不同的运动矢量，并且可在视频编码设备1900和视频解码设备1700之间用信号发送关于运动矢量的信息。
图35示出根据实施例的通过在三角形分区预测模式下使用三角形分区确定的预测块。
预测块3500的尺寸可以是8×8，并且可以在三角形分区模式下生成三角形分区预测块。通过对三角形分区预测块的预测值P1和P2执行滤波，可以确定三角形分区预测块彼此接触的中间区域的最终预测值。可以与从预测块区域到三角形分区预测块的距离成反比地确定滤波权重。
例如，作为在预测块3500的中间区域的每个像素上标记的数字的N指示滤波权重。当N是7时，可以将7/8的滤波权重分配给作为三角形分区预测块中的近预测块的预测值的P1(7/8*P1)，可以将8-7＝1的滤波权重分配给作为远预测块的预测值的P2(1/8*P2)，然后可以将其结果的加权和确定为最终预测值(7/8*P1+1/8*P2)。当N为6时，可以将6/8的滤波权重分配给作为三角形分区预测块中的近预测块的预测值的P1(6/8*P1)，可以将8-6＝2的滤波权重分配给作为远预测块的预测值的P2(2/8*P2)，然后可以将其结果的加权和确定为最终预测值(6/8*P1+2/8*P2)。
在预测块3510的尺寸为4*4的情况下，当N为7时，可以将7/8的滤波权重分配给作为三角形分区预测块中的近预测块的预测值的P1(7/8*P1)，可以将8-7＝1的滤波权重分配给作为远预测块的预测值的P2(1/8*P2)，然后可以将其结果的加权和确定为最终预测值(7/8*P1+1/8*P2)。
根据实施例的三角形分区模式不可被用于具有小尺寸的编码单元，即，编码单元的宽度和高度的乘积小于64的情况。这是因为当将小块划分为三角形分区时，编码单元的划分效果降低。
此外，当三角形分区没有覆盖非常大的编码单元的对象时，四叉树或三叉树的编码单元的划分方法可能更有效。因为在三角形分区模式中出现的标志的开销是工作量，并且三角形分区预测的计算增加了编码器的复杂度，所以对于具有特定大尺寸的编码单元，三角形分区模式可能是低效的。
因此，根据实施例的视频解码设备1700和视频编码设备1900可根据以下条件确定是否执行三角形分区模式。这里，MAX_CU_SIZE指示编码单元的最大尺寸。
条件1：(宽*高<64||宽>＝MAX_CU_SIZE||高>＝MAX_CU_SIZE)
也就是说，当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，根据实施例的视频解码设备1700和视频编码设备1900可确定不可将三角形分区预测模式应用于当前块。
根据条件1，防止对预测效率低的区域应用三角形分区模式，从而可降低编码器的复杂度，可防止用信号发送不必要的模式标志，因此可以提高编码效率。
如在下面的条件2中，编码单元的高度和宽度的阈值可被修改为MAX_CU_SIZE/2。
条件2：(宽*高<64||宽>＝MAX_CU_SIZE/2||高>＝MAX_CU_SIZE/2)
根据实施例的视频解码设备1700和视频编码设备1900可通过帧内/帧间组合模式确定预测块。
帧内/帧间组合模式(或多假设模式)是指在帧内预测模式和帧间预测模式的每一个中预测当前块以生成相应的预测块，并且对两个预测块进行加权平均以生成新的预测块的技术。
帧内预测模式和帧间预测模式分别所需的语法元素被发送到视频解码设备1700，以执行帧内预测和帧间预测。
视频编码设备1900可以以合并索引的形式发送与帧间预测模式相关的语法元素，并且视频解码设备1700可以重建运动矢量和参考画面。
与帧内预测模式相关的语法元素可包括指示4种模式(DC、平面、水平及垂直模式)中的一个的帧内预测方向信息。
根据实施例的帧内/帧间组合模式不可用于具有小尺寸的编码单元，即，编码单元的宽度和高度的乘积小于64的情况。这是因为存在于帧内预测和帧间预测的组合计算中的计算工作量大于编码单元的划分效果。
因此，根据实施例的视频解码设备1700和视频编码设备1900可根据以下条件确定是否执行三角形分区模式。这里，MAX_CU_SIZE指示编码单元的最大尺寸。
条件1：(宽*高<64||宽>＝MAX_CU_SIZE||高>＝MAX_CU_SIZE)
也就是说，当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，根据实施例的视频解码设备1700和视频编码设备1900可确定不可将帧内/帧间组合模式应用于当前块。
根据条件1，防止对预测效率低的区域应用三角形分区模式，从而可降低编码器的复杂度，可防止用信号发送不必要的模式标志，因此可以提高编码效率。
如在下面的条件2中，编码单元的高度和宽度的阈值可被修改为MAX_CU_SIZE/2。
条件2：(宽*高<64||宽>＝MAX_CU_SIZE/2||高>＝MAX_CU_SIZE/2)
此外，当启用三角形分区预测模式时，根据实施例的视频解码设备1700可确定是否启用帧内/帧间组合预测模式。
根据实施例的语法元素获得器1710可从比特流获得指示是否对当前块启用三角形分区预测模式的序列MMVD信息。此外，语法元素获得器1710可从比特流获得指示是否对当前块启用帧内/帧间组合预测模式的第二信息。
当根据序列MMVD信息对当前块启用三角形分区预测模式时，根据实施例的解码器1720可基于当前块的尺寸和宽度来确定是否将三角形分区预测模式应用于当前块。当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，可以确定不可将三角形分区预测模式应用于当前块。
当根据序列MMVD信息对当前块启用三角形分区预测模式，并且根据第二信息对当前块启用帧内/帧间组合预测模式时，根据实施例的解码器1720可基于当前块的尺寸和宽度来确定是否将帧内/帧间组合预测模式应用于当前块。当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，可以确定不可将帧内/帧间组合预测模式应用于当前块。
具体地，当启用三角形分区预测模式，启用帧内/帧间组合预测模式，当前块的尺寸和宽度的乘积等于或大于64，当前块的尺寸等于或小于编码单元的最大尺寸，或者当前块的宽度等于或小于编码单元的最大尺寸时，解码器1720可以将帧内/帧间组合预测模式应用于当前块。
类似地，当启用三角形分区预测模式时，根据实施例的视频编码设备1900可确定是否启用帧内/帧间组合预测模式。
当针对当前块启用三角形分区预测模式时，根据实施例的帧间预测执行器1910可以基于当前块的尺寸和宽度来确定是否将三角形分区预测模式应用于当前块。当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，可以确定不可将三角形分区预测模式应用于当前块。
当针对当前块启用三角形分区预测模式，并且根据第二信息针对当前块启用帧内/帧间组合预测模式时，根据实施例的帧间预测执行器1910可以基于当前块的尺寸和宽度来确定是否将帧内/帧间组合预测模式应用于当前块。当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸，或者当前块的宽度大于编码单元的最大尺寸时，可以确定不可将帧内/帧间组合预测模式应用于当前块。
根据实施例的语法元素编码器1920可对指示是否针对当前块启用三角形分区预测模式的序列MMVD信息进行编码。此外，语法元素编码器1920可对指示是否针对当前块启用帧内/帧间组合预测模式的第二信息进行编码。
具体地，当启用三角形分区预测模式，启用帧内/帧间组合预测模式，当前块的尺寸和宽度的乘积等于或大于64，当前块的尺寸等于或小于编码单元的最大尺寸、或者当前块的宽度等于或小于编码单元的最大尺寸时，帧间预测执行器1910可以将帧内/帧间组合预测模式应用于当前块。
另外，本公开的实施例可以被编写为可在计算机上执行的程序，并且程序可以被存储在介质中。
介质可以连续地存储计算机可执行程序，或者可以临时存储计算机可执行程序以供执行或下载。此外，介质可以是其中组合了单件或多件硬件的各种记录介质或存储介质中的任何一种，并且介质不限于直接连接到特定计算机系统的那些介质，而是可以分布在网络上。介质的示例包括被配置为存储程序指令的磁介质(诸如硬盘、软盘和磁带)、光学记录介质(诸如光盘只读存储器(CD-ROM)和数字通用盘(DVD))、磁光介质(诸如光软盘、只读存储器(ROM)、随机存取存储器(RAM)、闪存等)。此外，介质的其他示例包括由分发应用的应用商店或由提供或分发其他各种类型的软件的网站、服务器等管理的记录介质和存储介质。
虽然参考上述示例性实施例详细描述了本公开的一个或多个实施例，但是本领域普通技术人员将理解，本公开不限于这些实施例，并且在不脱离本公开的精神和范围的情况下，可以在其中进行形式和细节上的各种改变。

Claims (15)

1.一种视频解码方法，包括：
从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示是否对当前序列启用MMVD模式；
当根据序列MMVD信息启用MMVD模式时，从比特流获得指示是否在第一帧间预测模式中对包括在当前序列中的当前块使用MMVD模式的第一MMVD信息；
当根据第一MMVD信息在第一帧间预测模式中使用MMVD模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向，重建将在第一帧间预测模式中使用的当前块的运动矢量；以及
通过使用当前块的运动矢量重建当前块。
2.如权利要求1所述的视频解码方法，其中，从比特流获得第一MMVD信息的步骤包括：
当根据序列MMVD信息启用MMVD模式时，获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息；以及
当根据序列MMVD信息启用MMVD模式时，获得指示MMVD模式是否用于包括在当前序列中的当前块的MMVD信息，以及
重建当前块的运动矢量的步骤包括：
当根据MMVD信息MMVD模式被用于当前块时，根据子像素MMVD信息根据从比特流获得的当前块的运动矢量差的距离索引来重建整数像素单位的或子像素单位的运动矢量差的距离；以及
通过使用运动矢量差的距离来确定当前块的运动矢量。
3.如权利要求2所述的视频解码方法，其中，根据当前块的运动矢量差的距离索引来重建整数像素单位或子像素单位的运动矢量差的距离的步骤包括：
当根据MMVD信息MMVD模式被用于当前块并且根据子像素MMVD信息使用整数像素单位的运动矢量差时，根据从比特流获得的当前块的运动矢量差的距离索引来重建整数像素单位的运动矢量差的距离；以及
当根据MMVD信息MMVD模式被用于当前块并且根据子像素MMVD信息使用子像素单位的运动矢量差时，根据从比特流获得的当前块的运动矢量差的距离索引来重建子像素单位的运动矢量差的距离。
4.如权利要求1所述的视频解码方法，其中，重建当前块的运动矢量的步骤包括：
从比特流获得指示当前块的基础运动矢量和当前块的运动矢量差的方向索引的信息；
通过使用当前块的运动矢量差的距离索引和运动矢量差的方向索引来确定当前块的运动矢量差；
通过使用指示当前块的基础运动矢量的信息来确定当前块的基础运动矢量；以及
通过使用基础运动矢量和当前块的运动矢量差来确定当前块的运动矢量。
5.如权利要求2所述的视频解码方法，其中，当根据序列MMVD信息不对当前序列启用MMVD模式时，整数像素单位的运动矢量差和子像素单位的运动矢量差两者在当前序列和当前块中都不可用。
6.如权利要求2所述的视频解码方法，其中，确定当前块的运动矢量的步骤包括：
当重建的运动矢量差的距离是整数像素单位时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到整数像素单位，并且通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值来重建整数像素单位的运动矢量；以及
当重建的运动矢量差的距离是子像素单位时，通过使用子像素单位的运动矢量差的距离和被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值来重建子像素单位的运动矢量。
7.一种视频解码设备，包括：
语法元素获得器，被配置为从序列参数集获得具有运动矢量差的序列合并模式(序列MMVD)信息，并且当根据序列MMVD信息启用MMVD模式时，从比特流获得指示是否在第一帧间预测模式中对包括在当前序列中的当前块应用MMVD模式的第一MMVD信息，其中，序列MMVD信息指示是否对当前序列启用MMVD模式；以及
解码器，被配置为：当根据第一MMVD信息在第一帧间预测模式中启用MMVD模式时，通过使用从比特流获得的运动矢量差的距离和运动矢量差的方向来重建将在第一帧间预测模式中使用的当前块的运动矢量，并通过使用当前块的运动矢量来重建当前块。
8.如权利要求7所述的视频解码设备，其中，语法元素获得器被配置为：
当根据序列MMVD信息启用MMVD模式时，获得指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息，并且当根据序列MMVD信息启用MMVD模式时，获得指示MMVD模式是否被用于包括在当前序列中当前块的MMVD信息，以及
解码器被配置为：当根据MMVD信息MMVD模式被用于当前块时，根据子像素MMVD信息，根据从比特流获得的当前块的运动矢量差的距离索引来重建整数像素单位或子像素单位的运动矢量差的距离，并且通过使用运动矢量差的距离确定当前块的运动矢量。
9.一种视频编码方法，包括：
对具有运动矢量差的序列合并模式(序列MMVD)信息进行编码，其中，序列MMVD信息指示是否对当前序列启用MMVD模式；
当对当前序列启用MMVD模式时，对指示MMVD模式是否在第一帧间预测模式中被用于包括在当前序列中的当前块的第一MMVD信息进行编码；以及
当在第一帧间预测模式中使用MMVD模式时，对当前块的运动矢量差的距离索引和运动矢量差的方向索引进行编码。
10.如权利要求9所述的视频编码方法，还包括：
当对当前序列启用MMVD模式时，对指示在当前序列中是使用整数像素单位的运动矢量差还是使用子像素单位的运动矢量差的子像素MMVD信息进行编码；以及
当启用MMVD模式时，对指示MMVD模式是否被用于包括在当前序列中的当前块的MMVD信息进行编码，以及
对当前块的运动矢量差的距离索引和运动矢量差的方向索引进行编码的步骤包括：
当MMVD模式被用于当前块时，对根据整数像素单位或子像素单位的运动矢量差的距离确定的当前块的运动矢量差的距离索引进行编码。
11.如权利要求9所述的视频编码方法，其中，对当前块的运动矢量差的距离索引进行编码的步骤包括：
当MMVD模式被用于当前块并且使用整数像素单位的运动矢量差时，基于整数像素单位的运动矢量差确定当前块的运动矢量差的距离索引；以及
当MMVD模式被用于当前块并且使用子像素单位的运动矢量差时，基于子像素单位的运动矢量差确定当前块的运动矢量差的距离索引。
12.如权利要求9所述的视频编码方法，其中，对当前块的运动矢量差的距离索引进行编码的步骤包括：
当以整数像素单位对运动矢量差的距离进行编码时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到整数像素单位，通过使用被四舍五入到整数像素单位的基础运动矢量的x分量值和y分量值来确定整数像素单位的运动矢量差的距离，并对与整数像素单位的运动矢量差的距离对应的距离索引进行编码；以及
当以子像素单位对运动矢量差的距离进行编码时，将当前块的基础运动矢量的x分量值和y分量值四舍五入到子像素单位，通过使用被四舍五入到子像素单位的基础运动矢量的x分量值和y分量值来确定子像素单位的运动矢量差的距离，并对与子像素单位运动矢量差的距离对应的距离索引进行编码。
13.一种视频解码方法，包括：
从比特流获得具有运动矢量差的序列合并模式(序列MMVD)信息，其中，序列MMVD信息指示是否对当前块启用三角形分区预测模式；
从比特流获得指示是否对当前块启用帧内/帧间组合预测模式的第二信息；
当根据序列MMVD信息对当前块启用三角形分区预测模式时，基于当前块的尺寸和宽度确定是否将三角形分区预测模式应用于当前块；以及
当根据序列MMVD信息对当前块启用三角形分区预测模式并且根据第二信息对当前块启用帧内/帧间组合预测模式时，基于当前块的尺寸和宽度确定是否将帧内/帧间组合预测模式应用于当前块。
14.如权利要求13所述的视频解码方法，其中，基于当前块的尺寸和宽度确定是否将三角形分区预测模式应用于当前块的步骤包括：当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸或者当前块的宽度大于编码单元的最大尺寸时，确定不可将三角形分区预测模式应用于当前块。
15.如权利要求13所述的视频解码方法，其中，基于当前块的尺寸和宽度确定是否将帧内/帧间组合预测模式应用于当前块的步骤包括：当当前块的尺寸和宽度的乘积小于64，当前块的尺寸大于编码单元的最大尺寸或者当前块的宽度大于编码单元的最大尺寸时，确定不可将帧内/帧间组合预测模式应用于当前块。
CN201980092641.5A 2018-12-28 2019-12-30 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备 Pending CN113454991A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862785742P 2018-12-28 2018-12-28
US62/785,742 2018-12-28
US201962792266P 2019-01-14 2019-01-14
US62/792,266 2019-01-14
PCT/KR2019/018738 WO2020139059A1 (ko) 2018-12-28 2019-12-30 움직임 벡터 차분의 부호화 방법 및 부호화 장치, 및 움직임 벡터 차분의 복호화 방법 및 복호화 장치

Publications (1)

Publication Number Publication Date
CN113454991A true CN113454991A (zh) 2021-09-28

Family

ID=71126657

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980092641.5A Pending CN113454991A (zh) 2018-12-28 2019-12-30 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备

Country Status (6)

Country Link
US (3) US11627335B2 (zh)
EP (1) EP3905675A4 (zh)
KR (2) KR102349457B1 (zh)
CN (1) CN113454991A (zh)
BR (1) BR112021012744A2 (zh)
WO (1) WO2020139059A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113615176A (zh) * 2018-12-31 2021-11-05 北京达佳互联信息技术有限公司 用于在视频编解码中信令发送运动合并模式的系统和方法
US11758125B2 (en) * 2019-01-02 2023-09-12 Lg Electronics Inc. Device and method for processing video signal by using inter prediction
EP3937489A4 (en) * 2019-03-08 2022-08-03 Jvckenwood Corporation MOVING PICTURE CODING DEVICE, MOVING PICTURE CODING METHOD, MOVING PICTURE CODING PROGRAM, MOVING PICTURE DECODING DEVICE, MOVING PICTURE DECODING METHOD, AND MOVING PICTURE DECODING PROGRAM
US20220159291A1 (en) * 2019-03-10 2022-05-19 Lg Electronics Inc. Video signal processing method and device for processing motion vector difference information for inter prediction in video signal
CN115428452A (zh) * 2020-04-09 2022-12-02 抖音视界有限公司 具有几何分割的块的运动矢量差
US20220286709A1 (en) * 2021-02-26 2022-09-08 Lemon Inc. Methods of coding images/videos with alpha channels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070848A (ko) * 2013-12-17 2015-06-25 세종대학교산학협력단 영상의 복호화/부호화 방법 및 장치
CN107113440A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
CN108476319A (zh) * 2016-01-11 2018-08-31 三星电子株式会社 图像编码方法和设备以及图像解码方法和设备

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080162432A1 (en) 2006-12-29 2008-07-03 Wen-Shan Wang Search table for unary k-th order exp-golomb decoder
RU2632154C1 (ru) * 2011-11-08 2017-10-02 Электроникс Энд Телекоммьюникейшнз Рисерч Инститьют Способ и устройство для совместного использования списка кандидатов
CA2855777C (en) 2011-12-23 2017-10-24 Electronics And Telecommunications Research Institute Method and apparatus for setting reference picture index of temporal merging candidate
US9894355B2 (en) 2012-01-19 2018-02-13 Sony Corporation Image processing apparatus and method thereof
CN109005407B (zh) 2015-05-15 2023-09-01 华为技术有限公司 视频图像编码和解码的方法、编码设备和解码设备
US10979732B2 (en) 2016-10-04 2021-04-13 Qualcomm Incorporated Adaptive motion vector precision for video coding
GB2560720B (en) 2017-03-20 2021-08-25 Canon Kk Method and apparatus for encoding and transmitting at least a spatial part of a video sequence
CN111095926A (zh) 2017-09-12 2020-05-01 三星电子株式会社 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
US11051036B2 (en) * 2018-07-14 2021-06-29 Mediatek Inc. Method and apparatus of constrained overlapped block motion compensation in video coding
CN113170186A (zh) * 2018-12-07 2021-07-23 夏普株式会社 运动图像解码装置
US11122272B2 (en) * 2018-12-26 2021-09-14 Mediatek Inc. Triangle prediction with applied-block settings and motion storage settings

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150070848A (ko) * 2013-12-17 2015-06-25 세종대학교산학협력단 영상의 복호화/부호화 방법 및 장치
CN107113440A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法
CN108476319A (zh) * 2016-01-11 2018-08-31 三星电子株式会社 图像编码方法和设备以及图像解码方法和设备

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BENJAMIN BROSS ET AL: "Versatile Video Coding (Draft 3)", 《JVET-L1001-V7》, pages 1 - 215 *

Also Published As

Publication number Publication date
BR112021012744A2 (pt) 2021-09-08
US20230232038A1 (en) 2023-07-20
WO2020139059A1 (ko) 2020-07-02
KR20210055781A (ko) 2021-05-17
US11871030B2 (en) 2024-01-09
EP3905675A1 (en) 2021-11-03
US20240107058A1 (en) 2024-03-28
US20220021900A1 (en) 2022-01-20
KR20220008386A (ko) 2022-01-20
EP3905675A4 (en) 2022-10-26
KR102349457B1 (ko) 2022-01-10
US11627335B2 (en) 2023-04-11

Similar Documents

Publication Publication Date Title
CN112889278B (zh) 用于编码和解码运动信息的方法及用于编码和解码运动信息的装置
KR102658887B1 (ko) 움직임 벡터 차분값을 이용한 비디오 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN113454991A (zh) 用于对运动矢量差进行编码的方法和设备以及用于对运动矢量差进行解码的方法和设备
CN111095926A (zh) 用于对运动信息进行编码和解码的方法以及用于对运动信息进行编码和解码的装置
KR102366260B1 (ko) 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치
CN113228648A (zh) 使用三角形预测模式的图像编码装置和图像解码装置及其执行的图像编码方法和图像解码方法
CN111386705A (zh) 用于对运动信息进行编码的设备和方法以及解码设备和方法
CN114641999A (zh) 使用工具集的图像解码装置及其图像解码方法、和图像编码装置及其图像编码方法
CN113994667A (zh) 通过使用邻近运动信息对运动信息进行编码和解码的设备和方法
CN112703731A (zh) 基于子块对图像进行编码的方法和装置以及对图像进行解码的方法和装置
KR102427330B1 (ko) 주변 움직임 정보를 이용하여 움직임 정보를 부호화 및 복호화하는 장치, 및 방법
CN113508590A (zh) 用于对图像进行编码和解码的设备及其用于对图像进行编码和解码的方法
CN114073080A (zh) 通过考虑编码顺序来执行基于仿射模型的预测的视频编码方法及其装置以及通过考虑解码顺序来执行基于仿射模型的预测的视频解码方法及其装置
KR102297479B1 (ko) 움직임 벡터의 부호화 장치 및 방법, 및 움직임 벡터의 복호화 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination