CN114205619A - 编码方法及其装置以及解码方法及其装置 - Google Patents

编码方法及其装置以及解码方法及其装置 Download PDF

Info

Publication number
CN114205619A
CN114205619A CN202210053418.3A CN202210053418A CN114205619A CN 114205619 A CN114205619 A CN 114205619A CN 202210053418 A CN202210053418 A CN 202210053418A CN 114205619 A CN114205619 A CN 114205619A
Authority
CN
China
Prior art keywords
motion vector
information
correction
encoding
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210053418.3A
Other languages
English (en)
Other versions
CN114205619B (zh
Inventor
郑丞洙
朴慜祐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN202210053418.3A priority Critical patent/CN114205619B/zh
Publication of CN114205619A publication Critical patent/CN114205619A/zh
Application granted granted Critical
Publication of CN114205619B publication Critical patent/CN114205619B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/517Processing of motion vectors by encoding
    • H04N19/52Processing of motion vectors by encoding by predictive encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/105Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/109Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136Incoming video signal characteristics or properties
    • H04N19/137Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/513Processing of motion vectors
    • H04N19/521Processing of motion vectors for estimating the reliability of the determined motion vectors or motion vector field, e.g. for smoothing the motion vector field or for correcting motion vectors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)

Abstract

提供了一种视频解码方法,包括以下步骤:确定UMVE模式是否被允许用于包括当前块的上层数据单元;如果UMVE模式被允许用于所述上层数据单元,则确定UMVE模式是否被应用于当前块;如果UMVE模式被应用于当前块,则确定当前块的基本运动矢量;确定用于校正所述基本运动矢量的校正大小和校正方向;通过根据所述校正大小和所述校正方向校正所述基本运动矢量来确定当前块的运动矢量;以及基于当前块的所述运动矢量重建当前块。

Description

编码方法及其装置以及解码方法及其装置
本申请是申请日为2018年07月13日,申请号为“201880090461.9”,标题为“编码方法及其装置以及解码方法及其装置”的发明专利申请的分案申请。
技术领域
本公开涉及一种视频编码方法和视频解码方法,更具体地,涉及一种有效地对关于运动矢量的信息进行编码和解码的方法。
背景技术
当对高质量视频进行编码时,需要大量的数据。然而,因为允许发送视频数据的带宽是有限的,所以应用于发送视频数据的数据速率可能是有限的。因此,为了有效地发送视频数据,需要具有最小的图像质量劣化和增加的压缩率的视频数据编码和解码方法。
可以通过去除像素之间的空间冗余和时间冗余来压缩视频数据。因为相邻像素通常具有共同的特性,所以按照由像素组成的数据单元来发送编码信息,以便去除相邻像素之间的冗余。
不直接发送包括在数据单元中的像素的像素值,而是发送关于获得像素值的方法的信息。为每个数据单元确定预测与原始值相似的像素值的预测方法,并且将关于预测方法的编码信息从编码器发送到解码器。因为预测值与原始值不完全相同,所以将原始值与预测值之间的差的残差数据从编码器发送到解码器。
随着预测的准确度增加,指定预测方法所需的编码信息增加,但残差数据的尺寸减小。因此,考虑残差数据的尺寸和编码信息来确定预测方法。特别地,从画面划分的数据单元具有各种尺寸,并且随着数据单元的尺寸增加,预测精度降低的可能性增加,而编码信息减少。因此,根据画面的特性来确定块的尺寸。
此外,预测方法包括帧内预测和帧间预测。帧内预测是从块周围的邻近像素预测块的像素的方法。帧间预测是通过参考由包括该块的画面参考的另一画面的像素来预测像素的方法。因此,在帧内预测中去除空间冗余,并且在帧间预测中去除时间冗余。
随着预测方法的数量增加,用于指示预测方法的编码信息的量增加。因此,当从另一块预测应用于块的编码信息时,可减小编码信息的尺寸。
因为视频数据的损失被允许到人眼会无法识别损失的程度,所以可通过根据变换和量化处理对残差数据进行有损压缩来减少残差数据的量。
发明内容
技术问题
提供了一种根据最终运动矢量表达(UMVE)模式执行帧间预测的视频编码方法和视频编码装置。提供了一种根据UMVE模式执行帧间预测的视频解码方法和视频解码装置。还提供了一种其上记录有用于在计算机上执行根据本公开的实施例的视频编码方法和视频解码方法的程序的计算机可读记录介质。
问题解决方案
本公开提供了一种视频解码方法,包括:确定最终运动矢量表达(UMVE)模式是否被允许用于包括当前块的上层数据单元;当UMVE模式被允许用于所述上层数据单元时,确定UMVE模式是否被应用于当前块;当UMVE模式被应用于当前块时,确定当前块的基本运动矢量;确定用于校正所述基本运动矢量的校正距离和校正方向;通过根据所述校正距离和所述校正方向校正所述基本运动矢量来确定当前块的运动矢量;以及基于当前块的运动矢量重建所述当前块。
本公开提供了一种包括处理器的视频解码装置,其中,所述处理器被配置为执行以下操作:确定最终运动矢量表达(UMVE)模式是否被允许用于包括当前块的上层数据单元;当UMVE模式被允许用于所述上层数据单元时,确定UMVE模式是否被应用于当前块;当UMVE模式被应用于当前块时,确定当前块的基本运动矢量并且确定用于校正所述基本运动矢量的校正距离和校正方向;通过根据所述校正距离和所述校正方向校正所述基本运动矢量来确定当前块的运动矢量;以及基于当前块的所述运动矢量来重建当前块。
本公开提供了一种视频编码方法,包括:确定最终运动矢量表达(UMVE)模式是否被允许用于包括当前块的上层数据单元;确定当前块的运动矢量;当UMVE模式被允许用于所述上层数据单元时,根据所述运动矢量确定UMVE模式是否被应用于当前块;根据所述运动矢量确定当前块的基本运动矢量以及用于校正所述基本运动矢量的的校正距离和校正方向;以及输出包括关于当前块的UMVE模式的信息的比特流。
本公开提供了一种包括处理器的视频编码装置,其中,所述处理器被配置为执行以下操作:确定最终运动矢量表达(UMVE)模式是否被允许用于包括当前块的上层数据单元;确定当前块的运动矢量;当UMVE模式被允许用于所述上层数据单元时,根据所述运动矢量确定UMVE模式是否被应用于当前块;根据所述运动矢量确定当前块的基本运动矢量以及用于校正所述基本运动矢量的校正距离和校正方向;以及根据当前块的UMVE模式输出包括编码信息的比特流。
本公开提供了一种其上记录有用于执行所述视频编码方法和所述视频解码方法的程序的计算机可读记录介质。
本实施例的技术问题不限于前述技术问题,并且可以从下面的实施例推断其他未陈述的技术问题。
本公开的有益效果
因为根据最终运动矢量表达(UMVE)模式对图像中包括的块进行帧间预测,所以可以提高图像的编码率。
附图说明
图1A是根据本公开的实施例的基于具有树结构的编码单元的图像编码装置的框图。
图1B是根据实施例的基于具有树结构的编码单元的图像解码装置的框图。
图2示出根据实施例的通过划分当前编码单元来确定至少一个编码单元的处理。
图3示出根据实施例的通过划分非正方形的编码单元来确定至少一个编码单元的处理。
图4示出根据实施例的基于块形状信息和划分形状信息中的至少一个来划分编码单元的处理。
图5示出根据实施例的从奇数个编码单元中确定特定编码单元的方法。
图6示出根据实施例的当通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
图7示出根据实施例的当不可按照特定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
图8示出根据实施例的通过划分第一编码单元来确定至少一个编码单元的处理。
图9示出根据实施例的当通过划分第一编码单元确定的非正方形的第二编码单元满足特定条件时第二编码单元可划分为的形状被限制。
图10示出根据实施例的当划分形状信息指示正方形的编码单元将不被划分为四个正方形的编码单元时划分正方形的编码单元的处理。
图11示出根据实施例的可依据划分编码单元的处理改变多个编码单元之间的处理顺序。
图12示出根据实施例的当递归地划分编码单元使得多个编码单元被确定时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
图13示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
图14示出根据实施例的基于包括在画面中的多个特定数据单元来确定多个编码单元。
图15示出根据实施例的用作用于确定包括在画面中的参考编码单元的确定顺序的单元的处理块。
图16是用于描述根据最终运动矢量表达(UMVE)模式的帧间预测方法的示图。
图17是用于根据UMVE模式执行解码的视频解码装置的框图。
图18示出基于基本运动矢量的具有菱形分布的UMVE模式的运动矢量候选。
图19示出基于基本运动矢量的具有矩形分布的UMVE模式的运动矢量候选。
图20是示出根据实施例的针对每个组具有不同数量的运动矢量候选的UMVE模式的示图。
图21是示出针对每个组具有不同分布形状的运动矢量候选的UMVE模式的示图。
图22示出根据实施例的根据双向预测校正两个基本运动矢量的方法。
图23示出在跳过模式下选择当前块的帧间模式工具的方法。
图24示出当包括当前块的当前条带的条带类型是P型时,在直接模式下选择当前块的帧间模式工具的方法。
图25示出当包括当前块的当前条带的条带类型是B型时,在直接模式下选择当前块的帧间模式工具的方法。
图26是根据UMVE模式的解码方法的流程图。
图27是用于根据UMVE模式执行帧间预测的视频编码装置的框图。
图28示出根据UMVE模式的编码方法的流程图。
最佳模式
提供了一种视频解码方法,包括:确定针对包括当前块的上层数据单元是否允许最终运动矢量表达(UMVE)模式;当针对上层数据单元允许UMVE模式时,确定UMVE模式是否被应用于当前块;当UMVE模式被应用于当前块时,确定当前块的基本运动矢量;确定用于校正所述基本运动矢量的校正距离和校正方向;通过根据校正距离和校正方向校正所述基本运动矢量来确定当前块的运动矢量;以及基于当前块的运动矢量重建当前块。
具体实施方式
公开模式
将参照附图更全面地描述本公开的优点和特征以及实现所述优点和特征的方法,在附图中示出了本发明的实施例。然而,可以以许多不同的形式实现本公开,并且不应被解释为限于本文阐述的实施例;相反,提供这些实施例使得本公开将是彻底和完整的,并且将向本领域普通技术人员充分地传达本公开的概念。
将简要描述本文使用的术语,并且将详细描述公开的实施例。
本文中使用的术语是考虑到本公开中的功能的当前在本领域中广泛使用的那些通用术语,但是术语可以根据本领域普通技术人员的意图、先例或本领域中的新技术而变化。此外,可以由本申请人任意选择本文中使用的一些术语,并且在这种情况下,下面详细地定义这些术语。因此,应当基于其独特含义和本公开的整个上下文来定义本文中使用的特定术语。
应当理解,除非上下文另有明确规定,否则单数形式包括复数指示物。
应当理解,除非上下文另有明确规定,否则当特定部分“包括”特定组件时,该部分不排除另一组件,而是可以进一步包括另一组件。本文中使用的术语“~单元”指代执行特定任务的软件组件或硬件组件(诸如现场可编程门阵列(FPGA)或专用集成电路(ASIC))。然而,术语“~单元”不限于软件或硬件。“~单元”可以被配置为在可寻址存储介质中或者被配置为操作一个或更多个处理器。因此,作为示例,“~单元”可以包括诸如软件组件、面向对象的软件组件、类组件和任务组件、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表、数组和变量的组件。由组件和“~单元”提供的功能可以组合成更少的组件和“~单元”或进一步分离成另外的组件和“~单元”。
术语“当前块”指代当前被编码或被解码的编码单元、预测单元和变换单元中的一个。为了便于解释,当需要将诸如预测单元和变换单元的其它类型的块彼此区分开时,可使用“当前编码单元”、“当前预测单元”和“当前变换单元”。另外,术语“下层块”指代从“当前块”划分的数据单元。术语“上层块”指代包括“当前块”的数据单元。
此外,本文使用的术语“样点”是指被分配给图像的采样位置并且将被处理的数据。例如,空间域的图像中的像素值或变换域中的变换系数可以是样点。包括至少一个样点的单元可以被定义为块。
现在将参照附图更全面地描述本公开,以使本领域普通技术人员能够没有任何困难地执行本公开。另外,为了清楚地描述本公开,在附图中将省略与本公开的描述无关的部分。
图1A是根据本公开的实施例的基于具有树结构的编码单元的图像编码装置100的框图。
图像编码装置100包括编码器110和比特流产生器120。
编码器110根据最大编码单元的尺寸将画面或包括在画面中的条带划分为多个最大编码单元。最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元,其中,数据单元的形状是宽度和长度为2的幂的正方形。编码器110可将指示最大编码单元的尺寸的最大编码单元尺寸信息提供给比特流产生器120。比特流产生器120可使最大编码单元尺寸信息被包括在比特流中。
编码器110通过划分最大编码单元来确定编码单元。根据基于率失真优化划分编码单元是否有效来确定是否划分编码单元。然后,可产生指示编码单元是否被划分的划分信息。可以通过使用标志来表示划分信息。
可通过使用各种方法来划分编码单元。例如,正方形的编码单元可被划分为四个正方形的编码单元,所述四个正方形的编码单元的宽度和高度是正方形的编码单元的宽度和高度的一半。正方形的编码单元可被划分为两个矩形编码单元,所述矩形编码单元的宽度是正方形的编码单元的宽度的一半。正方形的编码单元可被划分为两个矩形编码单元,所述矩形编码单元的高度是正方形的编码单元的高度的一半。可通过按照1:2:1划分宽度或高度来将正方形的编码单元划分为三个编码单元。
宽度是高度的两倍的矩形编码单元可被划分为两个正方形的编码单元。宽度是高度的两倍的矩形编码单元可被划分为宽度是高度的四倍的两个矩形编码单元。宽度是高度的两倍的矩形编码单元可通过按照1:2:1划分宽度而被划分为两个矩形编码单元和一个正方形的编码单元。
同样地,高度是宽度的两倍的矩形编码单元可以被划分为两个正方形的编码单元。此外,高度是宽度的两倍的矩形编码单元可以被划分为高度是宽度的四倍的两个矩形编码单元。同样地,高度是宽度的两倍的矩形编码单元可通过按照1:2:1划分高度而被划分为两个矩形编码单元和一个正方形的编码单元。
当图像编码装置100可使用两个或更多个划分方法时,可针对每个画面确定与可由图像编码装置100使用的划分方法中的可用于编码单元的划分方法有关的信息。因此,仅特定的划分方法特定的可以被确定为用于每个画面。当图像编码装置100仅使用一种划分方法时,不单独确定关于可用于编码单元的划分方法的信息。
可通过使用特定划分方法来划分具有特定尺寸的编码单元。例如,当编码单元的尺寸是256×265时,编码单元可被设置为仅被划分为四个正方形单元,所述四个正方形单元的宽度和高度是编码单元的宽度和高度的一半。
当编码单元的划分信息指示编码单元被划分时,可产生指示编码单元的划分方法的划分形状信息。当仅存在可在编码单元所属的画面中使用的一种划分方法时,可不产生划分形状信息。当针对编码单元周围的编码信息自适应地确定划分方法时,可不产生划分形状信息。
如上所述,根据编码单元的最大尺寸将当前画面的图像数据划分为最大编码单元。最大编码单元中的每一个可包括从最大编码单元分层地划分的编码单元。可根据上层编码单元的划分形状来确定下层编码单元的形状和位置。可预设限制编码单元的划分的编码单元的最小尺寸。
编码器110将当编码单元被分层地划分时的编码效率与当编码单元未被划分时的编码效率进行比较。然后,编码器110根据比较结果确定是否划分编码单元。当确定划分编码单元更有效时,编码器110分层地划分编码单元。当根据比较结果确定不划分编码单元是有效的时,编码器110不划分编码单元。不论相邻编码单元是否被划分,均可确定是否划分编码单元。
可通过使用帧内预测或帧间预测来预测最终划分的编码单元。帧内预测是通过使用预测单元周围的参考样点来对预测单元的样点进行预测的方法。帧间预测是通过从由当前画面参考的参考画面获得参考样点来对预测单元的样点进行预测的方法。
对于帧内预测,编码器110可通过将多种帧内预测方法应用于预测单元来选择最有效的帧内预测方法。帧内预测方法包括DC模式、平面模式和方向模式(诸如垂直模式或水平模式)。
当编码单元周围的重建样点被用作参考样点时,可针对每个预测单元执行帧内预测。然而,当编码单元中的重建样点被用作参考样点时,编码单元中的参考样点的重建必须在预测之前,并且因此预测单元的预测顺序可以依据变换单元的变换顺序。因此,当编码单元中的重建样点被用作参考样点时,可以仅确定用于与预测单元对应的变换单元的帧内预测方法,并且可以针对每个变换单元执行实际的帧内预测。
编码器110可通过确定最佳运动矢量和最佳参考画面来选择最有效的帧间预测方法。对于帧间预测,编码器110可从在空间上和时间上与当前编码单元相邻的编码单元确定多个运动矢量候选,并可从运动矢量候选中确定最有效的运动矢量作为运动矢量。同样地,编码器110可以从在空间上和时间上与当前编码单元相邻的编码单元确定多个参考画面候选,并且可以从参考画面候选中确定最有效的参考画面。根据实施例,可以根据针对当前画面预先确定的参考画面列表来确定参考画面。根据本实施例,为了预测的精度,可以将多个运动矢量候选中最有效的运动矢量确定为预测运动矢量,并且可以通过校正预测运动矢量来确定运动矢量。可针对编码单元中的每个预测单元并行地执行帧间预测。
编码器110可根据跳过模式通过仅获得指示运动矢量和参考画面的信息来重建编码单元。根据跳过模式,除了指示运动矢量和参考画面的信息之外,跳过包括残差信号的所有编码信息。因为残差信号被跳过,所以当预测精度非常高时可以使用跳过模式。
可根据用于预测单元的预测方法来限制将被使用的分区模式。例如,仅用于具有2N×2N或N×N的尺寸的预测单元的分区模式可被应用于帧内预测,而用于具有2N×2N、2N×N、N×2N或N×N的尺寸的预测单元的分区模式可被应用于帧间预测。另外,仅用于具有2N×2N的尺寸的预测单元的分区模式可被应用于帧间预测的跳过模式。图像编码装置100中的用于每个预测方法的分区模式可根据编码效率而变化。
图像编码装置100可基于编码单元执行变换。图像编码装置100可通过特定处理来对残差数据进行变换,其中,所述残差数据为针对包括在编码单元中的像素的原始值与预测值之间的差值。例如,图像编码装置100可通过量化和离散余弦变换(DCT)/离散正弦变换(DST)对残差数据执行有损压缩。可选地,图像编码装置100可以在不量化的情况下对残差数据执行无损压缩。
总之,编码器110从多个帧内预测方法和帧间预测方法中确定用于当前预测单元的最有效的预测方法。然后,编码器110根据基于预测结果的编码效率确定当前编码单元的预测方法。同样地,编码器110根据基于变换结果的编码效率确定变换方法。根据最有效的编码单元预测方法和变换方法确定方案来最终确定编码单元的编码效率。编码器110根据最终划分的编码单元的编码效率来最终确定最大编码单元的分层结构。
编码器110可通过使用基于拉格朗日乘数的率失真优化来测量编码单元的编码效率、预测方法的预测效率等。
编码器110可产生指示是否根据最大编码单元的确定的分层结构来划分编码单元的划分信息。然后,编码器110可针对划分编码单元产生用于确定预测单元的分区模式信息和用于确定变换单元的变换单元划分信息。另外,当可通过使用至少两种划分方法来划分编码单元时,编码器110可产生指示划分方法的划分信息和划分形状信息两者。编码器110可产生关于用于预测单元和变换单元的预测方法和变换方法的信息。
比特流产生器120可根据最大编码单元的分层结构在比特流中输出由编码器110产生的多条信息。
下面将参照图3至图12描述根据实施例的根据最大编码单元的树结构来确定编码单元、预测单元和变换单元的方法。
图1B是根据实施例的基于具有树结构的编码单元的图像解码装置150的框图。
图像解码装置150包括接收器160和解码器170。
包括用于由图像解码装置150执行的解码操作的编码单元、预测单元、变换单元、各种划分信息等的术语的定义与上面参照图1和图像编码装置100描述的那些相同。此外,因为图像解码装置150被设计为重建图像数据,所以由图像编码装置100使用的各种编码方法可以被应用于图像解码装置150。
接收器160接收并解析关于编码的视频的比特流。解码器170从解析的比特流中提取用于对最大编码单元进行解码的多条信息,并将所述信息提供给解码器170。解码器170可从当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
解码器170根据每个最大编码单元从解析的比特流提取具有树结构的编码单元的划分信息。提取的划分信息被输出到解码器170。解码器170可根据提取的划分信息划分最大编码单元以确定最大编码单元的树结构。
由解码器170提取的划分信息是由图像编码装置100确定以产生最小编码误差的树结构的划分信息。因此,图像解码装置150可通过根据产生最小编码误差的解码方法对数据进行解码来重建图像。
解码器170可提取包括在编码单元中的数据单元(诸如预测单元和变换单元)的划分信息。例如,解码器170可提取关于预测单元的最有效分区模式的信息。解码器170可提取用于变换单元的最有效树结构的变换划分信息。
此外,解码器170可获得关于从编码单元划分的预测单元的最有效的预测方法的信息。然后,解码器170可获得关于从编码单元划分的变换单元的最有效的变换方法的信息。
解码器170根据图像编码装置100的比特流产生器120构建比特流的方法从比特流中提取信息。
解码器170可基于划分信息将最大编码单元划分为具有最有效的树结构的编码单元。然后,解码器170可根据关于分区模式的信息将编码单元划分为预测单元。解码器170可根据变换划分信息将编码单元划分为变换单元。
解码器170可根据关于预测方法的信息来对预测单元进行预测。解码器170可根据关于对变换单元进行变换的方法的信息对作为像素的原始值与预测值之间的差的残差数据执行反量化和逆变换。解码器170可根据预测单元的预测结果和变换单元的变换结果来重建编码单元的像素。
图2示出根据实施例的由图像解码装置150执行的通过划分当前编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码装置150可通过使用块形状信息来确定编码单元的形状,并可通过使用划分形状信息来确定编码单元将根据所述划分形状信息被划分的形状。也就是说,可根据由图像解码装置150使用的块形状信息指示哪种块形状来确定由划分形状信息指示的编码单元划分方法。
根据实施例,图像解码装置150可使用指示当前编码单元具有正方形形状的块形状信息。例如,图像解码装置150可根据划分形状信息确定是否不划分正方形的编码单元、是否垂直划分正方形的编码单元、是否水平划分正方形的编码单元、或者是否将正方形的编码单元划分为四个编码单元。参照图2,当当前编码单元200的块形状信息指示正方形形状时,解码器180可根据指示不执行划分的划分形状信息不划分具有与当前编码单元200相同尺寸的编码单元210a,或者可确定基于指示特定划分方法的划分形状信息而划分出的编码单元210b、210c和210d。
参照图2,根据实施例,图像解码装置150可基于指示垂直地执行划分的划分形状信息来确定通过垂直地划分当前编码单元200而获得的两个编码单元210b。图像解码装置150可基于指示水平地执行划分的划分形状信息来确定通过水平地划分当前编码单元200而获得的两个编码单元210c。图像解码装置150可基于指示垂直地和水平地执行划分的划分形状信息来确定通过垂直地和水平地划分当前编码单元200而获得的四个编码单元210d。然而,用于划分正方形的编码单元的划分形状可不限于上述形状,并且可包括可由划分形状信息指示的各种形状。下面将通过各种实施例详细描述用于划分正方形的编码单元的划分形状。
图3示出根据实施例的由图像解码装置150执行的通过划分非正方形的编码单元来确定至少一个编码单元的处理。
根据实施例,图像解码装置150可使用指示当前编码单元具有非正方形形状的块形状信息。图像解码装置150可根据划分形状信息来确定是不划分当前非正方形的编码单元还是通过使用特定方法来划分非正方形的当前编码单元。参照图3,当当前编码单元300或350的块形状信息指示非正方形形状时,图像解码装置150可根据指示不执行划分的划分形状信息而不划分具有与当前编码单元300或350相同尺寸的编码单元310或360,或者可确定根据指示特定划分方法的划分形状信息而划分出的编码单元320a、320b、330a、330b、330c、370a、370b、380a、380b和380c。下面将通过各个实施例详细描述划分非正方形的编码单元的特定划分方法。
根据实施例,图像解码装置150可通过使用划分形状信息来确定根据所述划分形状信息划分编码单元的形状,并且在这种情况下,划分形状信息可指示当编码单元被划分时产生的至少一个编码单元的数量。参照图3,当划分形状信息指示当前编码单元300或350被划分为两个编码单元时,图像解码装置150可通过基于划分形状信息划分当前编码单元300或350来确定分别包括在当前编码单元300或350中的两个编码单元320a和320b或编码单元370a和370b。
根据实施例,当图像解码装置150基于划分形状信息划分具有非正方形形状的当前编码单元300或350时,图像解码装置150可考虑当前编码单元300或350的长边的位置来划分具有非正方形形状的当前编码单元300或350。例如,图像解码装置150可考虑当前编码单元300或350的形状,通过在划分当前编码单元300或350的长边的方向上划分当前编码单元300或350来确定多个编码单元。
根据实施例,当划分形状信息指示编码单元被划分为奇数个块时,图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元。例如,当划分形状信息指示当前编码单元300或350被划分为三个编码单元时,图像解码装置150可将当前编码单元300或350划分为三个编码单元330a、330b和330c或编码单元380a、380b和380c。根据实施例,图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元,并且确定的编码单元的尺寸可不相同。例如,奇数个编码单元330a、330b和330c或编码单元380a、380b和380c中的编码单元330b或380b的尺寸可不同于编码单元330a和330c或编码单元380a和380c的尺寸。也就是说,当当前编码单元300或350被划分时可被确定的编码单元可具有多个尺寸。
根据实施例,当划分形状信息指示编码单元被划分为奇数个块时,图像解码装置150可确定包括在当前编码单元300或350中的奇数个编码单元,并且可对通过划分当前编码单元300或350产生的奇数个编码单元中的至少一个编码单元施加限制。参照图3,图像解码装置150可按照与编码单元330a和330c或编码单元380a和380c不同的方式对在当前编码单元300或350被划分时产生的三个编码单元330a、330b和330c或编码单元380a、380b和380c的中心处的编码单元330b或380b进行解码。例如,与编码单元330a和330c或编码单元380a和380c不同,图像解码装置150可限制在中心处的编码单元330b或380b不再被进一步划分或仅被划分特定次数。
图4示出根据实施例的由图像解码装置150执行的基于块形状信息和划分形状信息中的至少一个划分编码单元的处理。
根据实施例,图像解码装置150可基于块形状信息和划分形状信息中的至少一个来确定将正方形的第一编码单元400划分为编码单元或不对正方形的第一编码单元400进行划分。根据实施例,当划分形状信息指示在水平方向上划分第一编码单元400时,图像解码装置150可通过在水平方向上划分第一编码单元400来确定第二编码单元410。根据实施例使用的第一编码单元、第二编码单元和第三编码单元是用于理解在划分编码单元之前和之后的关系的术语。例如,可通过划分第一编码单元来确定第二编码单元,并且可通过划分第二编码单元来确定第三编码单元。将理解,第一编码单元、第二编码单元和第三编码单元之间的关系适用于以下描述。
根据实施例,图像解码装置150可基于块形状信息和划分形状信息中的至少一个来确定将所确定的第二编码单元410划分为编码单元或不对所确定的第二编码单元410进行划分。参照图4,图像解码装置150可基于块形状信息和划分形状信息中的至少一个将通过划分第一编码单元400所确定的非正方形的第二编码单元410划分为一个或更多个第三编码单元420a或第三编码单元420b、420c和420d,也可不划分非正方形第二编码单元410。图像解码装置150可获得块形状信息和划分形状信息中的至少一个,并且可基于所获得的块形状信息和划分形状信息中的至少一个,通过划分第一编码单元400来划分多个各种形状的第二编码单元(例如,410),并且可基于块形状信息和划分形状信息中的至少一个,通过使用第一编码单元400的划分方法来划分第二编码单元410。根据实施例,当基于第一编码单元400的块形状信息和划分形状信息中的至少一个将第一编码单元400划分为第二编码单元410时,还可基于第二编码单元410的块形状信息和划分形状信息中的至少一个将第二编码单元410划分为第三编码单元420a或第三编码单元420b、420c和420d。也就是说,可基于每个编码单元的块形状信息和划分形状信息中的至少一个来递归地划分编码单元。下面将通过各种实施例描述可用于递归地划分编码单元的方法。
根据实施例,图像解码装置150可基于块形状信息和划分形状信息中的至少一个将第三编码单元420a或第三编码单元420b、420c和420d中的每一个划分为编码单元,或者可基于块形状信息和划分形状信息中的至少一个确定不划分第二编码单元410。根据实施例,图像解码装置150可将非正方形的第二编码单元410划分为奇数个第三编码单元420b、420c和420d。图像解码装置150可对奇数个第三编码单元420b、420c和420d中的第三编码单元施加特定限制。例如,图像解码装置150可将奇数个第三编码单元420b、420c和420d中的位于中心位置的第三编码单元420c限制为不再被划分或者被划分可设置的次数。参照图4,图像解码装置150可将被包括在非正方形的第二编码单元410中的奇数个第三编码单元420b、420c和420d中位于中心位置的第三编码单元420c限制为不再被划分、限制为通过使用特定划分方法被划分(例如,仅被划分为四个编码单元或被划分为与第二编码单元410被划分为的形状对应的形状)、或限制为仅被划分特定次数(例如,仅被划分n次(其中n>0))。然而,对中心位置处的第三编码单元420c的限制不限于上述示例,并且可包括与其他第三编码单元420b和420d不同的用于对中心位置处的第三编码单元420c进行解码的各种限制。
根据实施例,图像解码装置150可从当前编码单元中的特定位置获得用于划分当前编码单元的块形状信息和划分形状信息中的至少一个。
根据实施例,当当前编码单元被划分为特定数量的编码单元时,图像解码装置150可选择编码单元中的一个。下面将通过各种实施例描述可用于选择多个编码单元中的一个编码单元的各种方法。
根据实施例,图像解码装置150可将当前编码单元划分为多个编码单元,并且可确定特定位置处的编码单元。
图5示出根据实施例的由图像解码装置150执行的从奇数个编码单元中确定特定位置的编码单元的方法。
根据实施例,图像解码装置150可使用指示奇数个编码单元的位置的信息来从奇数个编码单元中确定中心位置处的编码单元。参照图5,图像解码装置150可通过划分当前编码单元500来确定奇数个编码单元520a、520b和520c。图像解码装置150可通过使用关于奇数个编码单元520a、520b和520c的位置的信息来确定中心位置处的编码单元520b。例如,图像解码装置150可通过基于指示包括在编码单元520a、520b和520c中的特定样点的位置的信息确定编码单元520a、520b和520c的位置来确定中心位置的编码单元520b。详细地,图像解码装置150可通过基于指示编码单元520a、520b和520c的左上样点530a、530b和530c的位置的信息确定编码单元520a、520b和520c的位置来确定中心位置处的编码单元520b。
根据实施例,指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括关于编码单元520a、520b和520c在画面中的位置或坐标的信息。根据实施例,指示分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的位置的信息可包括指示包括在当前编码单元500中的编码单元520a、520b和520c的宽度或高度的信息,并且宽度或高度可对应于指示画面中的编码单元520a、520b和520c的坐标之间的差的信息。也就是说,图像解码装置150可通过直接使用关于画面中的编码单元520a、520b和520c的位置或坐标的信息,或者通过使用与坐标之间的差值对应的关于编码单元的宽度或高度的信息,来确定中心位置处的编码单元520b。
根据实施例,指示上方编码单元520a的左上样点530a的位置的信息可包括坐标(xa,ya),指示中间编码单元520b的左上样点530b的位置的信息可包括坐标(xb,yb),指示下方编码单元520c的左上样点530c的位置的信息可包括坐标(xc,yc)。图像解码装置150可通过使用分别包括在编码单元520a、520b和520c中的左上样点530a、530b和530c的坐标来确定中间编码单元520b。例如,当左上样点530a、530b和530c的坐标以升序或降序排序时,可将包括在中心位置处的样点530b的坐标(xb,yb)的编码单元520b确定为通过划分当前编码单元500确定的编码单元520a、520b和520c中的中心位置处的编码单元。然而,指示左上样点530a、530b和530c的位置的坐标可包括指示画面中的绝对位置的坐标,或者可使用指示中间编码单元520b的左上样点530b相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxb,dyb)和指示下方编码单元520c的左上样点530c相对于上方编码单元520a的左上样点530a的位置的相对位置的坐标(dxc,dyc)。此外,通过使用编码单元中包括的样点的坐标作为指示样点的位置的信息来确定特定位置处的编码单元的方法不限于上述方法,并且可以包括能够使用样点的坐标的各种算术方法。
根据实施例,图像解码装置150可将当前编码单元500划分为多个编码单元520a、520b和520c,并可基于特定标准选择编码单元520a、520b和520c中的一个。例如,图像解码装置150可从编码单元520a、520b和520c中选择具有与其他编码单元的尺寸不同的尺寸的编码单元520b。
根据实施例,图像解码装置150可通过使用指示上方编码单元520a的左上样点530a的位置的坐标(xa,ya)、指示中间编码单元520b的左上样点530b的位置的坐标(xb,yb)以及指示下方编码单元520c的左上样点530c的位置的坐标(xc,yc)来确定编码单元520a、520b和520c的宽度或高度。图像解码装置150可通过使用指示编码单元520a、520b和520c的位置的坐标(xa,ya)、(xb,yb)和(xc,yc)来确定编码单元520a、520b和520c的尺寸。
根据实施例,图像解码装置150可将上方编码单元520a的宽度确定为xb-xa,并将上方编码单元520a的高度确定为yb-ya。根据实施例,图像解码装置150可将中间编码单元520b的宽度确定为xc-xb,并将中间编码单元520b的高度确定为yc-yb。根据实施例,图像解码装置150可通过使用当前编码单元500的宽度或高度以及上方编码单元520a和中间编码单元520b的宽度或高度来确定下方编码单元520c的宽度或高度。图像解码装置150可基于所确定的编码单元520a至520c的宽度和高度来确定具有与其他编码单元的尺寸不同的尺寸的编码单元。参照图5,图像解码装置150可将具有与上方编码单元520a和下方编码单元520c的尺寸不同的尺寸的中间编码单元520b确定为特定位置的编码单元。然而,由图像解码装置150执行的确定具有与其他编码单元的尺寸不同的尺寸的编码单元的上述方法仅对应于通过使用基于样点的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的示例,因此可使用通过比较基于特定样点的坐标确定的编码单元的尺寸来确定在特定位置处的编码单元的各种方法。
然而,为确定编码单元的位置而考虑的样点的位置不限于上述左上方位置,并且可使用关于包括在编码单元中的样点的任意位置的信息。
根据实施例,图像解码装置150可考虑当前编码单元的形状,从通过划分当前编码单元确定的奇数个编码单元中选择特定位置处的编码单元。例如,当当前编码单元具有宽度大于高度的非正方形形状时,图像解码装置150可确定水平方向上的特定位置处的编码单元。也就是说,图像解码装置150可确定水平方向上的不同位置处的编码单元中的一个编码单元并对该编码单元施加限制。当当前编码单元具有高度大于宽度的非正方形形状时,图像解码装置150可确定垂直方向上的特定位置处的编码单元。也就是说,图像解码装置150可确定垂直方向上的不同位置处的编码单元中的一个编码单元并且可对该编码单元施加限制。
根据实施例,图像解码装置150可使用指示偶数个编码单元的各个位置的信息以确定偶数个编码单元中的特定位置处的编码单元。图像解码装置150可通过对当前编码单元进行划分来确定偶数个编码单元,并可通过使用关于所述偶数个编码单元的位置的信息来确定特定位置处的编码单元。与其相关的操作可与上面参照图5已经详细描述的确定奇数个编码单元中的特定位置(例如,中心位置)处的编码单元的操作对应,因此这里不提供其详细描述。
根据实施例,当非正方形的当前编码单元被划分为多个编码单元时,可在划分操作中使用关于特定位置处的编码单元的特定信息以确定所述多个编码单元中的特定位置处的编码单元。例如,图像解码装置150可在划分操作中使用中心位置处的编码单元中所包括的样点中存储的块形状信息和划分形状信息中的至少一个以确定通过划分当前编码单元而确定的多个编码单元中的中心位置处的编码单元。
参照图5,图像解码装置150可基于块形状信息和划分形状信息中的至少一个将当前编码单元500划分为多个编码单元520a、520b和520c,并且可确定多个编码单元520a、520b和520c中的中心位置处的编码单元520b。此外,图像解码装置150可考虑获得块形状信息和划分形状信息中的至少一个的位置来确定中心位置处的编码单元520b。也就是说,可从当前编码单元500的中心位置处的样点540获得当前编码单元500的块形状信息和划分形状信息中的至少一个,并且当基于块形状信息和划分形状信息中的至少一个将当前编码单元500划分为多个编码单元520a、520b和520c时,可将包括样点540的编码单元520b确定为中心位置处的编码单元。然而,用于确定中心位置处的编码单元的信息不限于块形状信息和划分形状信息中的至少一个,并且各种类型的信息可被用于确定中心位置处的编码单元。
根据实施例,可从被包括在将被确定的编码单元中的特定样点获得用于识别特定位置处的编码单元的特定信息。参照图5,图像解码装置150可使用从当前编码单元500中的特定位置处的样点(例如,当前编码单元500的中心位置处的样点)获得的块形状信息和划分形状信息中的至少一个来确定通过划分当前编码单元500所确定的多个编码单元520a、520b和520c中的特定位置处的编码单元(例如,多个划分出的编码单元中的中心位置处的编码单元)。也就是说,图像解码装置150可通过考虑当前编码单元500的块形状来确定特定位置处的样点,可从通过划分当前编码单元500所确定的多个编码单元520a、520b和520c中确定包括可获得特定信息(例如,块形状信息和划分形状信息中的至少一个)的样点的编码单元520b,并且可对编码单元520b施加特定限制。参照图5,根据实施例,图像解码装置150可将当前编码单元500的中心位置处的样点540确定为可获得特定信息的样点,并且可在解码操作中对包括样点540的编码单元520b施加特定限制。然而,可获得特定信息的样点的位置不限于上述位置,并且可包括编码单元520b中所包括的将被确定用于限制的任意样点位置。
根据实施例,可基于当前编码单元500的形状来确定可获得特定信息的样点的位置。根据实施例,块形状信息可指示当前编码单元具有正方形形状还是非正方形形状,并且可基于所述形状来确定可获得特定信息的样点的位置。例如,图像解码装置150可通过使用关于当前编码单元的宽度的信息和关于当前编码单元的高度的信息中的至少一个,将位于用于将当前编码单元的宽度和高度中的至少一个对半划分的边界上的样点确定为可获得特定信息的样点。作为另一示例,当当前编码单元的块形状信息指示非正方形形状时,图像解码装置150可将与用于将当前编码单元的长边对半划分的边界相邻的样点中的一个样点确定为可获得特定信息的样点。
根据实施例,当当前编码单元被划分为多个编码单元时,图像解码装置150可使用块形状信息和划分形状信息中的至少一个来确定多个编码单元中的特定位置处的编码单元。根据实施例,图像解码装置150可从编码单元中的特定位置处的样点获得块形状信息和划分形状信息中的至少一个,并且可通过使用从通过划分当前编码单元而产生的多个编码单元中的每个编码单元中的特定位置的样点获得的块形状信息和划分形状信息中的至少一个来对所述多个编码单元进行划分。也就是说,可基于从每个编码单元中的特定位置处的样点获得的块形状信息和划分形状信息中的至少一个来递归地划分编码单元。上面已经参照图4描述了递归地划分编码单元的操作,因此这里将不提供其详细描述。
根据实施例,图像解码装置150可通过划分当前编码单元来确定一个或更多个编码单元,并且可基于特定块(例如,当前编码单元)来确定对所述一个或更多个编码单元进行解码的顺序。
图6示出根据实施例的当图像解码装置150通过划分当前编码单元来确定多个编码单元时处理多个编码单元的顺序。
根据实施例,图像解码装置150可基于块形状信息和划分形状信息,通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b,通过在水平方向上划分第一编码单元600来确定第二编码单元630a和630b,或者通过在垂直方向和水平方向上划分第一编码单元600来确定第二编码单元650a至650d。
参照图6,图像解码装置150可确定按照水平方向顺序610c对通过在垂直方向上划分第一编码单元600而确定的第二编码单元610a和610b进行处理。图像解码装置150可确定按照垂直方向顺序630c对通过在水平方向上划分第一编码单元600而确定的第二编码单元630a和630b进行处理。图像解码装置150可确定按照特定顺序(例如,按照光栅扫描顺序或Z字形扫描顺序650e)对通过在垂直方向和水平方向上划分第一编码单元600而确定的第二编码单元650a至650d进行处理,其中,所述特定顺序用于对一行中的编码单元进行处理然后对下一行中的编码单元进行处理。
根据实施例,图像解码装置150可递归地划分编码单元。参照图6,图像解码装置150可通过划分第一编码单元600来确定多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d,并且可递归地划分确定的多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每个编码单元。多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d的划分方法可对应于第一编码单元600的划分方法。这样,多个第二编码单元610a、610b、630a、630b、650a、650b、650c和650d中的每个编码单元可被独立地划分为多个编码单元。参照图6,图像解码装置150可通过在垂直方向上划分第一编码单元600来确定第二编码单元610a和610b,并可确定独立地划分或不划分第二编码单元610a和610b中的每个。
根据实施例,图像解码装置150可通过在水平方向上划分左侧第二编码单元610a来确定第三编码单元620a和620b,并且可不划分右侧第二编码单元610b。
根据实施例,可基于划分编码单元的操作来确定编码单元的处理顺序。换句话说,可基于紧接在被划分之前的编码单元的处理顺序来确定划分出的编码单元的处理顺序。图像解码装置150可独立于右侧第二编码单元610b来确定通过划分左侧第二编码单元610a确定的第三编码单元620a和620b的处理顺序。因为通过在水平方向上划分左侧第二编码单元610a来确定第三编码单元620a和620b,所以第三编码单元620a和620b可按照垂直方向顺序620c被处理。因为左侧第二编码单元610a和右侧第二编码单元610b按照水平方向顺序610c被处理,所以可在按照垂直方向顺序620c对左侧第二编码单元610a中包括的第三编码单元620a和620b进行处理之后,对右侧第二编码单元610b进行处理。基于被划分之前的编码单元来确定编码单元的处理顺序的操作不限于上述示例,并且可使用各种方法按照特定顺序独立地处理被划分并被确定为各种形状的编码单元。
图7示出根据实施例的由图像解码装置150执行的当不能按照特定顺序处理编码单元时确定当前编码单元将被划分为奇数个编码单元的处理。
根据实施例,图像解码装置150可基于获得的块形状信息和划分形状信息来确定当前编码单元是否被划分为奇数个编码单元。参照图7,正方形的第一编码单元700可被划分为非正方形的第二编码单元710a和710b,并且第二编码单元710a和710b可被独立地划分为第三编码单元720a和720b以及第三编码单元720c至720e。根据实施例,图像解码装置150可通过在水平方向上划分左侧第二编码单元710a来确定多个第三编码单元720a和720b,并且可将右侧第二编码单元710b划分为奇数个第三编码单元720c至720e。
根据实施例,图像解码装置150可通过确定第三编码单元720a和720b以及第三编码单元720c至720e是否可按照特定顺序进行处理来确定是否将任意编码单元划分为奇数个编码单元。参照图7,图像解码装置150可通过递归地划分第一编码单元700来确定第三编码单元720a和720b以及第三编码单元720c至720e。图像解码装置150可基于块形状信息和划分形状信息中的至少一个来确定第一编码单元700、第二编码单元710a和710b以及第三编码单元720a和720b及第三编码单元720c、720d和720e中的任意一个是否被划分为奇数个编码单元。例如,右侧第二编码单元710b可被划分为奇数个第三编码单元720c、720d和720e。被包括在第一编码单元700中的多个编码单元的处理顺序可以是特定顺序(例如,Z字形扫描顺序730),并且图像解码装置150可确定通过将右侧第二编码单元710b划分为奇数个编码单元而确定的第三编码单元720c、720d和720e是否满足按照特定顺序进行处理的条件。
根据实施例,图像解码装置150可确定被包括在第一编码单元700中的第三编码单元720a和720b以及第三编码单元720c、720d和720e是否满足按照特定顺序进行处理的条件,并且该条件与第二编码单元710a和710b的宽度和高度中的至少一个是否沿着第三编码单元720a和720b以及第三编码单元720c、720d和720e的边界被对半划分有关。例如,通过将非正方形的左侧第二编码单元710a的高度对半划分所确定的第三编码单元720a和720b满足条件,因为通过将右侧第二编码单元710b划分为三个编码单元而确定的第三编码单元720c、720d和720e的边界没有将右侧第二编码单元710b的宽度或高度对半划分,所以可确定第三编码单元720c、720d和720e不满足条件。当如上所述不满足条件时,图像解码装置150可确定扫描顺序不连续,并基于确定的结果来确定右侧第二编码单元710b被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码装置150可对划分出的编码单元中的特定位置处的编码单元施加特定限制,并且上面已经通过各种实施例描述了所述限制或特定位置,因此这里将不提供其详细描述。
图8示出根据实施例的由图像解码装置150执行的通过划分第一编码单元800来确定至少一个编码单元的处理。根据实施例,图像解码装置150可基于由接收器160获得的块形状信息和划分形状信息中的至少一个来划分第一编码单元800。正方形的第一编码单元800可被划分为四个正方形的编码单元,或者可被划分为多个非正方形的编码单元。例如,参照图8,当块形状信息指示第一编码单元800具有正方形形状并且划分形状信息指示将第一编码单元800划分为非正方形的编码单元时,图像解码装置150可将第一编码单元800划分为多个非正方形的编码单元。详细地,当划分形状信息指示通过在水平方向或垂直方向上划分第一编码单元800来确定奇数个编码单元时,图像解码装置150可将正方形的第一编码单元800划分为奇数个编码单元,例如,通过在垂直方向上划分正方形的第一编码单元800所确定的第二编码单元810a、810b和810c或通过在水平方向上划分正方形的第一编码单元800所确定的第二编码单元820a、820b和820c。
根据实施例,图像解码装置150可确定被包括在第一编码单元800中的第二编码单元810a、810b、810c、820a、820b和820c是否满足按照特定顺序进行处理的条件,并且所述条件与第一编码单元800的宽度和高度中的至少一个是否沿着第二编码单元810a、810b、810c、820a、820b和820c的边界被对半划分有关。参照图8,因为通过在垂直方向上划分正方形的第一编码单元800而确定的第二编码单元810a、810b和810c的边界没有将第一编码单元800的宽度对半划分,所以可确定第一编码单元800不满足按照特定顺序进行处理的条件。另外,因为通过在水平方向上划分正方形的第一编码单元800而确定的第二编码单元820a、820b和820c的边界没有将第一编码单元800的宽度对半划分,所以可确定第一编码单元800不满足按照特定顺序进行处理的条件。当如上所述不满足条件时,图像解码装置150可决定扫描顺序不连续,并可基于决定的结果确定第一编码单元800被划分为奇数个编码单元。根据实施例,当编码单元被划分为奇数个编码单元时,图像解码装置150可对划分出的编码单元中的特定位置处的编码单元施加特定限制,并且上面已经通过各种实施例描述了所述限制或特定位置,因此这里将不提供其详细描述。
根据实施例,图像解码装置150可通过划分第一编码单元来确定各种形状的编码单元。
参照图8,图像解码装置150可将正方形的第一编码单元800或非正方形的第一编码单元830或850划分为各种形状的编码单元。
图9示出了根据实施例的当通过划分第一编码单元900确定的非正方形的第二编码单元满足特定条件时,第二编码单元可被图像解码装置150划分为的形状受到限制。
根据实施例,图像解码装置150可基于由接收器160获得的块形状信息和划分形状信息中的至少一个来确定将正方形的第一编码单元900划分为非正方形的第二编码单元910a、910b、920a和920b。第二编码单元910a、910b、920a和920b可被独立地划分。因此,图像解码装置150可基于第二编码单元910a、910b、920a和920b中的每一个的块形状信息和划分形状信息中的至少一个来确定将第一编码单元900划分为多个编码单元或不划分第一编码单元900。根据实施例,图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元900而确定的非正方形的左侧第二编码单元910a进行划分来确定第三编码单元912a和912b。然而,当左侧第二编码单元910a在水平方向上被划分时,图像解码装置150可将右侧第二编码单元910b限制为不在左侧第二编码单元910a被划分的水平方向上被划分。当通过在相同方向上划分右侧第二编码单元910b来确定第三编码单元914a和914b时,因为在水平方向上独立地划分左侧第二编码单元910a和右侧第二编码单元910b,所以可确定第三编码单元912a、912b、914a和914b。然而,这种情况与图像解码装置150基于块形状信息和划分形状信息中的至少一个将第一编码单元900划分为四个正方形的第二编码单元930a、930b、930c和930d的情况等同,并且在图像解码方面可能是低效的。
根据实施例,图像解码装置150可通过在垂直方向上对通过在水平方向上划分第一编码单元900而确定的非正方形的第二编码单元920a或920b进行划分来确定第三编码单元922a、922b、924a和924b。然而,当第二编码单元(例如,上方第二编码单元920a)在垂直方向上被划分时,由于上述原因,图像解码装置150可将另一第二编码单元(例如,下方第二编码单元920b)限制为不在上方第二编码单元920a被划分的垂直方向上被划分。
图10示出根据实施例的由图像解码装置150执行的当划分形状信息指示正方形的编码单元将不被划分为四个正方形的编码单元时划分正方形的编码单元的处理。
根据实施例,图像解码装置150可通过基于块形状信息和划分形状信息中的至少一个划分第一编码单元1000来确定第二编码单元1010a、1010b、1020a、1020b等。划分形状信息可包括关于划分编码单元的各种方法的信息,但是关于各种划分方法的信息可不包括用于将编码单元划分为四个正方形的编码单元的信息。根据这样的划分形状信息,图像解码装置150可不将正方形的第一编码单元1000划分为四个正方形的第二编码单元1030a、1030b、1030c和1030d。图像解码装置150可基于划分形状信息来确定非正方形的第二编码单元1010a、1010b、1020a、1020b等。
根据实施例,图像解码装置150可独立地划分非正方形的第二编码单元1010a、1010b、1020a、1020b等。第二编码单元1010a、1010b、1020a、1020b等中的每个可按照特定顺序被递归地划分,并且这种划分方法可对应于基于块形状信息和划分形状信息中的至少一个来划分第一编码单元1000的方法。
例如,图像解码装置150可通过在水平方向上划分左侧第二编码单元1010a来确定正方形的第三编码单元1012a和1012b,并且可通过在水平方向上划分右侧第二编码单元1010b来确定正方形的第三编码单元1014a和1014b。此外,图像解码装置150可通过在水平方向上划分左侧第二编码单元1010a和右侧第二编码单元1010b两者来确定正方形的第三编码单元1016a、1016b、1016c和1016d。在这种情况下,可确定具有与从第一编码单元1000划分出的四个正方形的第二编码单元1030a、1030b、1030c和1030d相同形状的编码单元。
作为另一示例,图像解码装置150可通过在垂直方向上划分上方第二编码单元1020a来确定正方形的第三编码单元1022a和1022b,并且可通过在垂直方向上划分下方第二编码单元1020b来确定正方形的第三编码单元1024a和1024b。此外,图像解码装置150可通过在垂直方向上划分上方第二编码单元1020a和下方第二编码单元1020b两者来确定正方形的第三编码单元1026a、1026b、1026c和1026d。在这种情况下,可确定具有与从第一编码单元1000划分的四个正方形的第二编码单元1030a、1030b、1030c和1030d相同形状的编码单元。
图11示出根据实施例的可依据划分编码单元的处理改变多个编码单元之间的处理顺序。
根据实施例,图像解码装置150可基于块形状信息和划分形状信息划分第一编码单元1100。当块形状信息指示正方形形状并且划分形状信息指示在水平方向和垂直方向中的至少一个方向上划分第一编码单元1100时,图像解码装置150可通过划分第一编码单元1100来确定第二编码单元1110a、1110b、1120a、1120b等。参照图11,通过仅在水平方向或垂直方向上划分第一编码单元1100所确定的非正方形的第二编码单元1110a、1110b、1120a和1120b可基于每个编码单元的块形状信息和划分形状信息被独立地划分。例如,图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100而产生的第二编码单元1110a和1110b进行划分来确定第三编码单元1116a、1116b、1116c和1116d,并且可通过在水平方向上对通过在水平方向上划分第一编码单元1100而产生的第二编码单元1120a和1120b进行划分来确定第三编码单元1126a、1126b、1126c和1126d。上面已经参照图9描述了划分第二编码单元1110a、1110b、1120a和1120b的操作,因此这里将不提供其详细描述。
根据实施例,图像解码装置150可按照特定顺序处理编码单元。上面已经参照图6描述了按照特定顺序处理编码单元的操作,因此这里将不提供其详细描述。参照图11,图像解码装置150可通过划分正方形的第一编码单元1100来确定四个正方形的第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d。根据实施例,图像解码装置150可基于第一编码单元1100的划分方法来确定第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d的处理顺序。
根据实施例,图像解码装置150可通过在水平方向上对通过在垂直方向上划分第一编码单元1100所产生的第二编码单元1110a和1110b进行划分来确定第三编码单元1116a、1116b、1116c和1116d,并且可按照处理顺序1117来处理第三编码单元1116a、1116b、1116c和1116d,其中,所述处理顺序1117为:首先在垂直方向上对左侧第二编码单元1110a中包括的第三编码单元1116a和1116c进行处理,然后在垂直方向上对右侧第二编码单元1110b中包括的第三编码单元1116b和1116d进行处理。
根据实施例,图像解码装置150可通过在垂直方向上对通过在水平方向上划分第一编码单元1100所产生的第二编码单元1120a和1120b进行划分来确定第三编码单元1126a、1126b、1126c和1126d,并且可按照处理顺序1127来处理第三编码单元1126a、1126b、1126c和1126d,其中,所述处理顺序1127为:首先在水平方向上对上方第二编码单元1120a中包括的第三编码单元1126a和1126b进行处理,然后在水平方向上对下方第二编码单元1120b中包括的第三编码单元1126c和1126d进行处理。
参照图11,可通过分别划分第二编码单元1110a、1110b、1120a和1120b来确定正方形的第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d。尽管通过在垂直方向上划分第一编码单元1100所确定的第二编码单元1110a和1110b与通过在水平方向上划分第一编码单元1100所确定的第二编码单元1120a和1120b不同,但是从第二编码单元1110a和1110b以及第二编码单元1120a和1120b划分出的第三编码单元1116a、1116b、1116c和1116d以及第三编码单元1126a、1126b、1126c和1126d最终示出从第一编码单元1100划分出的相同形状的编码单元。这样,通过基于块形状信息和划分形状信息中的至少一个以不同的方式递归地划分编码单元,即使编码单元最终被确定为相同形状,图像解码装置150也可按照不同的顺序处理多个编码单元。
图12示出根据实施例的当递归地划分编码单元使得多个编码单元被确定时,随着编码单元的形状和尺寸改变而确定编码单元的深度的处理。
根据实施例,图像解码装置150可基于特定标准来确定编码单元的深度。例如,所述特定标准可以是编码单元的长边的长度。当被划分之前的编码单元的长边的长度是划分出的当前编码单元的长边的长度的2n倍(n>0)时,图像解码装置150可确定当前编码单元的深度从被划分之前的编码单元的深度增加n。在以下描述中,具有增加的深度的编码单元被表示为深度更深的编码单元。
参照图12,根据实施例,图像解码装置150可通过基于指示正方形形状的块形状信息(例如,块形状信息可被表示为“0:SQUARE”)划分正方形的第一编码单元1200来确定深度更深的第二编码单元1202、第三编码单元1204等。假设正方形的第一编码单元1200的尺寸是2N×2N,通过将第一编码单元1200的宽度和高度划分至1/21而确定的第二编码单元1202可具有N×N的尺寸。此外,通过将第二编码单元1202的宽度和高度划分至1/2而确定的第三编码单元1204可具有N/2×N/2的尺寸。在这种情况下,第三编码单元1204的宽度和高度是第一编码单元1200的宽度和高度的1/22倍。当第一编码单元1200的深度为D时,宽度和高度是第一编码单元1200的宽度和高度的1/21倍的第二编码单元1202的深度可以是D+1,并且宽度和高度是第一编码单元1200的宽度和高度的1/22倍的第三编码单元1204的深度可以是D+2。
根据实施例,图像解码装置150可通过基于指示非正方形形状的块形状信息(例如,块形状信息可被表示为指示高度大于宽度的非正方形形状的“1:NS_VER”,或表示为指示宽度大于高度的非正方形形状的“2:NS_HOR”)划分非正方形的第一编码单元1210或1220来确定深度更深的第二编码单元1212或1222、第三编码单元1214或1224等。
图像解码装置150可通过划分尺寸为N×2N的第一编码单元1210的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说,图像解码装置150可通过在水平方向上划分第一编码单元1210来确定尺寸为N×N的第二编码单元1202或尺寸为N×N/2的第二编码单元1222,或者可通过在水平方向和垂直方向上划分第一编码单元1210来确定尺寸为N/2×N的第二编码单元1212。
根据实施例,图像解码装置150可通过划分尺寸为2N×N的第一编码单元1220的宽度和高度中的至少一个来确定第二编码单元1202、1212或1222。也就是说,图像解码装置150可通过在垂直方向上划分第一编码单元1220来确定尺寸为N×N的第二编码单元1202或尺寸为N/2×N的第二编码单元1212,或者可通过在水平方向和垂直方向上划分第一编码单元1220来确定尺寸为N×N/2的第二编码单元1222。
根据实施例,图像解码装置150可通过划分尺寸为N×N的第二编码单元1202的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码装置150可通过在垂直方向和水平方向上划分第二编码单元1202来确定尺寸为N/2×N/2的第三编码单元1204、尺寸为N/2×N/2的第三编码单元1214或尺寸为N/2×N/2的第三编码单元1224。
根据实施例,图像解码装置150可通过划分尺寸为N/2×N的第二编码单元1212的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码装置150可通过在水平方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1204或尺寸为N/2×N/2的第三编码单元1224,或者可通过在垂直方向和水平方向上划分第二编码单元1212来确定尺寸为N/2×N/2的第三编码单元1214。
根据实施例,图像解码装置150可通过划分尺寸为N×N/2的第二编码单元1222的宽度和高度中的至少一个来确定第三编码单元1204、1214或1224。也就是说,图像解码装置150可通过在垂直方向上划分第二编码单元1222来确定尺寸为N/2×N/2的第三编码单元1204或尺寸为N/2×N/2的第三编码单元1214,或者可通过在垂直方向和水平方向上划分第二编码单元1222来确定尺寸为N/2×N/2的第三编码单元1224。
根据实施例,图像解码装置150可在水平方向或垂直方向上划分正方形的编码单元(例如,1200、1202或1204)。例如,图像解码装置150可通过在垂直方向上划分尺寸为2N×2N的第一编码单元1200来确定尺寸为N×2N的第一编码单元1210,或者可通过在水平方向上划分第一编码单元1200来确定尺寸为2N×N的第一编码单元1220。根据实施例,当基于编码单元的最长边的长度来确定深度时,通过在水平方向或垂直方向上划分尺寸为2N×2N的第一编码单元1200、1202或1204而确定的编码单元的深度可与第一编码单元1200、1202或1204的深度相同。
根据实施例,第三编码单元1214或1224的宽度和高度可以是第一编码单元1210或1220的宽度和高度的1/2倍。当第一编码单元1210或1220的深度为D时,宽度和高度是第一编码单元1210或1220的宽度和高度的1/2倍的第二编码单元1212或1214的深度可以是D+1,宽度和高度是第一编码单元1210或1220的宽度和高度的1/2倍的第三编码单元1214或1224的深度可以是D+2。
图13示出根据实施例的基于编码单元的形状和尺寸可确定的深度以及用于区分编码单元的部分索引(PID)。
根据实施例,图像解码装置150可通过划分正方形的第一编码单元1300来确定各种形状的第二编码单元。参照图13,图像解码装置150可通过基于划分形状信息在垂直方向和水平方向中的至少一个方向上划分第一编码单元1300来确定第二编码单元1302a和1302b、第二编码单元1304a和1304b以及第二编码单元1306a、1306b、1306c和1306d。也就是说,图像解码装置150可基于第一编码单元1300的划分形状信息来确定第二编码单元1302a和1302b、第二编码单元1304a和1304b以及第二编码单元1306a、1306b、1306c和1306d。
根据实施例,基于正方形的第一编码单元1300的划分形状信息确定的第二编码单元1302a和1302b、第二编码单元1304a和1304b以及第二编码单元1306a、1306b、1306c和1306d的深度可基于其长边的长度被确定。例如,因为正方形的第一编码单元1300的边长等于非正方形的第二编码单元1302a和1302b以及第二编码单元1304a和1304b的长边的长度,所以第一编码单元1300和非正方形的第二编码单元1302a和1302b以及第二编码单元1304a和1304b可具有相同深度,例如,D。然而,当图像解码装置150基于划分形状信息将第一编码单元1300划分为四个正方形的第二编码单元1306a、1306b、1306c和1306d时,因为正方形的第二编码单元1306a、1306b、1306c和1306d的边长是第一编码单元1300的边长的1/2倍,所以第二编码单元1306a、1306b、1306c和1306d的深度可以是比第一编码单元1300的深度D深1的D+1。
根据实施例,图像解码装置150可通过基于划分形状信息在水平方向上划分高度大于宽度的第一编码单元1310来确定多个第二编码单元1312a和1312b以及第二编码单元1313a、1313b和1313c。根据实施例,图像解码装置150可通过基于划分形状信息在垂直方向上划分宽度大于高度的第一编码单元1320来确定多个第二编码单元1322a和1322b以及第二编码单元1324a、1324b和1324c。
根据实施例,基于非正方形的第一编码单元1310或1320的划分形状信息确定的第二编码单元1312a、1312b、1314a、1314b、1316a、1316b、1316c和1316d的深度可基于其长边的长度来确定。例如,因为正方形的第二编码单元1312a和1312b的边的长度是具有高度大于宽度的非正方形形状的第一编码单元1310的长边的长度的1/2倍,所以正方形的第二编码单元1302a、1302b、1304a和1304b的深度是比非正方形的第一编码单元1310的深度D深1的D+1。
此外,图像解码装置150可基于划分形状信息将非正方形的第一编码单元1310划分为奇数个第二编码单元1314a、1314b和1314c。奇数个第二编码单元1314a、1314b和1314c可包括非正方形的第二编码单元1314a和1314c以及正方形的第二编码单元1314b。在这种情况下,因为非正方形的第二编码单元1314a和1314c的长边的长度以及正方形的第二编码单元1314b的边的长度是第一编码单元1310的长边的长度的1/2倍,所以第二编码单元1314a、1314b和1314c的深度可以是比第一编码单元1310的深度D深1的D+1。图像解码装置150可通过使用上述确定从第一编码单元1310划分出的编码单元的深度的方法,确定从宽度大于高度的非正方形的第一编码单元1320划分出的编码单元的深度。
根据实施例,当划分出的奇数个编码单元不具有相等尺寸时,图像解码装置150可基于编码单元之间的尺寸比例来确定用于识别划分出的编码单元的PID。参照图13,划分出的奇数个编码单元1314a、1314b和1314c中的中心位置的编码单元1314b可具有与其他编码单元1314a和1314c的宽度相等的宽度并具有为其他编码单元1314a和1314c的高度的两倍的高度。也就是说,在这种情况下,中心位置处的编码单元1314b可包括两个其他编码单元1314a或1314c。因此,当基于扫描顺序在中心位置处的编码单元1314b的PID为1时,位于编码单元1314b的下一个的编码单元1314c的PID可增加2并且因此可以是3。也就是说,PID值可能存在不连续性。根据实施例,图像解码装置150可基于用于识别划分出的编码单元的PID是否存在不连续性来确定划分出的奇数个编码单元是否不具有相等的尺寸。
根据实施例,图像解码装置150可基于用于识别通过划分当前编码单元而确定的多个编码单元的PID值来确定是否使用特定划分方法。参照图13,图像解码装置150可通过对具有高度大于宽度的矩形形状的第一编码单元1310进行划分来确定偶数个编码单元1312a和1312b或奇数个编码单元1314a、1314b和1314c。图像解码装置150可使用PID来识别各个编码单元。根据实施例,可从每个编码单元的特定位置的样点(例如,左上方样点)获得PID。
根据实施例,图像解码装置150可通过使用用于区分编码单元的PID来确定划分出的编码单元中的特定位置处的编码单元。根据实施例,当具有高度大于宽度的矩形形状的第一编码单元1310的划分形状信息指示将编码单元划分为三个编码单元时,图像解码装置150可将第一编码单元1310划分为三个编码单元1314a、1314b和1314c。图像解码装置150可将PID分配给三个编码单元1314a、1314b和1314c中的每个编码单元。图像解码装置150可比较奇数个划分出的编码单元的PID,以确定这些编码单元中的中心位置处的编码单元。图像解码装置150可将具有这些编码单元的PID中的与中间的值对应的PID的编码单元1314b确定为通过划分第一编码单元1310所确定的编码单元之中的中心位置处的编码单元。根据实施例,当划分出的编码单元不具有相等尺寸时,图像解码装置150可基于编码单元之间的尺寸比例确定用于区分划分出的编码单元的PID。参照图13,通过划分第一编码单元1310产生的编码单元1314b的宽度可与其他编码单元1314a和1314c的宽度相等,并且高度可以是其他编码单元1314a和1314c的高度的两倍。在这种情况下,当中心位置处的编码单元1314b的PID是1时,位于编码单元1314b的下一个的编码单元1314c的PID可增加2并且因此可以是3。当如上所述PID没有均匀地增加时,图像解码装置150可确定将编码单元划分为多个编码单元,其中,所述多个编码单元包括具有与其他编码单元的尺寸不同的尺寸的编码单元。根据实施例,当划分形状信息指示将编码单元划分为奇数个编码单元时,图像解码装置150可按照奇数个编码单元中的特定位置的编码单元(例如,中心位置的编码单元)具有与其他编码单元的尺寸不同的尺寸的方式来划分当前编码单元。在这种情况下,图像解码装置150可通过使用编码单元的PID来确定具有不同尺寸的中心位置的编码单元。然而,将被确定的特定位置的编码单元的PID和尺寸或位置不限于上述示例,并且可使用编码单元的各种PID以及各种位置和尺寸。
根据实施例,图像解码装置150可使用特定数据单元,其中,在该特定数据单元中,编码单元开始被递归地划分。
图14示出根据实施例的基于包括在画面中的多个特定数据单元来确定多个编码单元。
根据实施例,特定数据单元可被定义为通过使用块形状信息和划分形状信息中的至少一个来开始递归地划分编码单元的数据单元。也就是说,特定数据单元可对应于用于确定从当前画面划分出的多个编码单元的最高深度的编码单元。在下面的描述中,为了便于解释,特定数据单元被称为参考数据单元。
根据实施例,参考数据单元可具有特定尺寸和特定形状。根据实施例,参考数据单元可包括M×N个样点。在本文中,M和N可彼此相等,并且可以是表示为2的幂的整数。也就是说,参考数据单元可具有正方形形状或非正方形形状,并且可被划分为整数个编码单元。
根据实施例,图像解码装置150可将当前画面划分为多个参考数据单元。根据实施例,图像解码装置150可通过使用每个参考数据单元的划分形状信息来划分从当前画面划分出的多个参考数据单元。划分参考数据单元的操作可与使用四叉树结构的划分操作对应。
根据实施例,图像解码装置150可预先确定针对被包括在当前画面中的参考数据单元所允许的最小尺寸。因此,图像解码装置150可确定具有等于或大于最小尺寸的尺寸的各种参考数据单元,并可通过使用参考确定的参考数据单元的划分形状信息和块形状信息来确定一个或更多个编码单元。
参照图14,图像解码装置150可使用正方形的参考编码单元1400或非正方形的参考编码单元1402。根据实施例,可基于能够包括一个或更多个参考编码单元的各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)来确定参考编码单元的形状和尺寸。
根据实施例,图像解码装置150的接收器160可从比特流获得关于各种数据单元中的每一个数据单元的参考编码单元形状信息和参考编码单元尺寸信息中的至少一个。上面已经关于图10的对当前编码单元300进行划分的操作描述了确定被包括在正方形的参考编码单元1400中的一个或更多个编码单元的操作,并且上面已经关于图11的对当前编码单元1100或1150进行划分的操作描述了确定被包括在非正方形的参考编码单元1402中的一个或更多个编码单元的操作,因此,这里将不提供其详细描述。
根据实施例,图像解码装置150可使用用于识别参考编码单元的尺寸和形状的PID,以根据先前基于特定条件确定的一些数据单元来确定参考编码单元的尺寸和形状。也就是说,接收器160可从比特流仅获得用于识别针对每个条带、条带片段或最大编码单元的参考编码单元的尺寸和形状的PID,其中,所述每个条带、条带片段或最大编码单元是各种数据单元(例如,序列、画面、条带、条带片段、最大编码单元等)中满足特定条件的数据单元(例如,具有等于或小于条带的尺寸的数据单元)。图像解码装置150可通过使用PID来确定针对满足特定条件的每个数据单元的参考数据单元的尺寸和形状。当根据具有相对较小尺寸的每个数据单元从比特流获得并使用参考编码单元形状信息和参考编码单元尺寸信息时,使用比特流的效率可能不高,因此,仅PID可被获得并使用,而不是直接获得参考编码单元形状信息和参考编码单元尺寸信息。在这种情况下,可预先确定与用于识别参考编码单元的尺寸和形状的PID对应的参考编码单元的尺寸和形状中的至少一个。也就是说,图像解码装置150可通过基于PID选择预先确定的参考编码单元的尺寸和形状中的至少一个,确定被包括在用作用于获得PID的单元的数据单元中的参考编码单元的尺寸和形状中的至少一个。
根据实施例,图像解码装置150可使用被包括在一个最大编码单元中的一个或更多个参考编码单元。也就是说,从图像划分出的最大编码单元可包括一个或更多个参考编码单元,并且可通过递归地划分每个参考编码单元来确定编码单元。根据实施例,最大编码单元的宽度和高度中的至少一个可以是参考编码单元的宽度和高度中的至少一个的整数倍。根据实施例,可通过基于四叉树结构将最大编码单元划分n次来获得参考编码单元的尺寸。也就是说,根据各种实施例,图像解码装置150可基于四叉树结构通过将最大编码单元划分n次来确定参考编码单元,并且可基于块形状信息和划分形状信息中的至少一个来划分参考编码单元。
图15示出根据实施例的用作用于确定包括在画面1500中的参考编码单元的确定顺序的单元的处理块。
根据实施例,图像解码装置150可确定从画面划分出的一个或更多个处理块。处理块是包括从图像划分出的一个或更多个参考编码单元的数据单元,并且可根据特定顺序来确定被包括在处理块中的一个或更多个参考编码单元。也就是说,在每个处理块中确定的一个或更多个参考编码单元的确定顺序可与用于确定参考编码单元的各种类型的顺序中的一个顺序对应,并且可根据处理块变化。针对每个处理块确定的参考编码单元的确定顺序可以是各种顺序(例如,光栅扫描、Z字形扫描、N字形扫描、右上对角线扫描、水平扫描和垂直扫描)中的一个顺序,但不限于上述扫描顺序。
根据实施例,图像解码装置150可获得处理块尺寸信息,并且可确定图像中包括的一个或更多个处理块的尺寸。图像解码装置150可从比特流获得处理块尺寸信息,并且可确定图像中包括的一个或更多个处理块的尺寸。处理块的尺寸可以是由处理块尺寸信息指示的数据单元的特定尺寸。
根据实施例,图像解码装置150的接收器160可根据每个特定数据单元从比特流获得处理块尺寸信息。例如,可按照数据单元(诸如图像、序列、画面、条带或条带片段)从比特流获得处理块尺寸信息。也就是说,接收器160可根据各种数据单元中的每个数据单元从比特流获得处理块尺寸信息,图像解码装置150可通过使用所获得的处理块尺寸信息来确定从画面划分出的一个或更多个处理块的尺寸,并且处理块的尺寸可以是参考编码单元的尺寸的整数倍。
根据实施例,图像解码装置150可确定被包括在画面1500中的处理块1502和1512的尺寸。例如,图像解码装置150可基于从比特流获得的处理块尺寸信息来确定处理块的尺寸。参照图15,根据实施例,图像解码装置150可将处理块1502和1512的宽度确定为参考编码单元的宽度的四倍,并可将处理块1502和1512的高度确定为参考编码单元的高度的四倍。图像解码装置150可确定一个或更多个处理块中的一个或更多个参考编码单元的确定顺序。
根据实施例,图像解码装置150可基于处理块的尺寸来确定被包括在画面1500中的处理块1502和1512,并可确定被包括在处理块1502和1512中的一个或更多个参考编码单元的确定顺序。根据实施例,确定参考编码单元的操作可包括确定参考编码单元的尺寸。
根据实施例,图像解码装置150可从比特流获得被包括在一个或更多个处理块中的一个或更多个参考编码单元的确定顺序信息,并可基于所获得的确定顺序信息来确定针对一个或更多个参考编码单元的确定顺序。确定顺序信息可被定义为用于确定处理块中的参考编码单元的顺序或方向。也就是说,可针对每个处理块独立地确定参考编码单元的确定顺序。
根据实施例,图像解码装置150可根据每个特定数据单元从比特流获得参考编码单元的确定顺序信息。例如,接收器160可根据每个数据单元(诸如图像、序列、画面、条带、条带片段或处理块)从比特流获得参考编码单元的确定顺序信息。因为参考编码单元的确定顺序信息指示用于确定处理块中的参考编码单元的顺序,所以可针对包括整数个处理块的每个特定数据单元来获得确定顺序信息。
根据实施例,图像解码装置150可基于所确定的确定顺序来确定一个或更多个参考编码单元。
根据实施例,接收器160可从比特流获得参考编码单元的确定顺序信息作为与处理块1502和1512有关的信息,并且图像解码装置150可确定被包括在处理块1502和1512中的一个或更多个参考编码单元的确定顺序,并基于该确定顺序确定被包括在画面1500中的一个或更多个参考编码单元。参照图15,图像解码装置150可分别确定处理块1502和1512中的一个或更多个参考编码单元的确定顺序1504和1514。例如,当针对每个处理块获得参考编码单元的确定顺序信息时,可针对处理块1502和1512获得不同种类的参考编码单元的确定顺序信息。当处理块1502中的参考编码单元的确定顺序1504是光栅扫描顺序时,可根据光栅扫描顺序来确定处理块1502中包括的参考编码单元。相反,当另一处理块1512中的参考编码单元的确定顺序1514是后向光栅扫描顺序时,可根据后向光栅扫描顺序来确定包括在处理块1512中的参考编码单元。
已经参照图1至图15描述了将图像划分为最大编码单元并将最大编码单元划分为具有分层树结构的编码单元的方法。将参照图16至图28描述推导用于帧间预测的运动矢量的最终运动矢量表达(UMVE)模式。
帧间预测是从与当前块相似并且从当前画面的参考画面获得的参考块来预测当前块的预测方法。为了对当前块进行帧间预测,确定指示当前块与参考块之间的空间差的运动矢量以及由当前画面参考的参考画面。通过根据运动矢量和参考画面参考确定的参考块来预测当前块。本公开的UMVE模式是用于有效地对运动矢量进行编码和/或解码的帧间预测模式。
在UMVE模式中,从在空间上与当前块相邻的块或在时间上与当前块相邻的块确定UMVE候选列表。根据从UMVE候选列表中选择的当前块的UMVE候选来确定当前块的基本运动矢量和参考画面。通过根据校正距离和校正方向校正当前块的基本运动矢量来产生当前块的运动矢量。
将参照图16详细描述根据UMVE模式的帧间预测。参照图16,从当前块的UMVE候选获得的基本运动矢量1600是(5,-4)。然而,当由基本运动矢量1600指示的参考块不准确时,当前块的编码效率可能降低。因此,在UMVE模式中,可根据校正距离1602和校正方向1604来校正基本运动矢量1600。
例如,当校正距离1602是2并且校正方向1604是+x时,用于校正基本运动矢量1600的校正运动矢量1606被确定为(2,0)。将基本运动矢量1600与校正运动矢量1606的结果矢量(7,-4)确定为当前块的运动矢量1608。因此,可通过使用指示准确的参考块的运动矢量1608来预测当前块。因此,因为在UMVE模式下校正基本运动矢量1600,所以可以提高预测的准确性。
在UMVE模式下,为了减小校正基本运动矢量1600所需的信息的大小,校正距离1602和校正方向1604具有有限数量的候选。例如,当从八个校正距离候选中确定校正距离1602时,可以根据截断一元码通过使用范围从1比特到7比特的比特来表示指示校正距离1602的校正距离信息。同样地,当从四个校正方向候选+x、-x、+y和-y中确定校正方向1604时,可以通过使用2比特来表示指示校正方向1604的校正方向信息。因此,确定校正运动矢量1606所需的比特数被限制为9比特。因此,在UMVE模式下,因为确定校正运动矢量1606所需的比特数被限制为特定数量或更少,所以可以提高压缩效率。
图17是根据UMVE模式执行解码的视频解码装置1700的框图。
视频解码装置1700包括上层参数确定器1710、编码模式确定器1720和解码器1730。虽然在图17中上层参数确定器1710、编码模式确定器1720和解码器1730是单独的元件,但是根据实施例,上层参数确定器1710、编码模式确定器1720和解码器1730可被实现为一个元件。
尽管上层参数确定器1710、编码模式确定器1720和解码器1730是位于图17中的一个装置中的元件,但是负责上层参数确定器1710、编码模式确定器1720和解码器1730的功能的装置不需要物理地彼此相邻。因此,根据实施例,上层参数确定器1710、编码模式确定器1720和解码器1730可以是分开的。
可根据实施例通过使用一个处理器来实现上层参数确定器1710、编码模式确定器1720和解码器1730。此外,根据实施例,可通过使用多个处理器来实现上层参数确定器1710、编码模式确定器1720和解码器1730。
上层参数确定器1710可确定UMVE模式是否被允许用于当前块的上层数据单元。上层数据单元的示例可包括当前块的序列、画面、条带和条带片段。例如,上层参数确定器1710可确定UMVE模式是否被允许用于画面单元。
上层参数确定器1710可确定UMVE模式是否被允许用于每个上层数据单元。例如,上层参数确定器1710可确定UMVE模式是否被允许用于当前序列。上层参数确定器1710可确定UMVE模式是否被允许用于包括在当前序列中的当前画面。同样地,上层参数确定器1710可确定UMVE模式是否被允许用于包括在当前画面中的当前条带。
当UMVE模式不允许用于当前序列时,上层参数确定器1710可确定UMVE模式不允许用于包括在当前序列中的所有画面。同样地,当UMVE模式不允许用于当前画面时,上层参数确定器1710可确定UMVE模式不允许用于包括在当前画面中的所有条带。
上层参数确定器1710从比特流获得指示UMVE模式是否被允许用于当前块的上层数据单元的UMVE启用标志。当UMVE启用标志指示UMVE模式被允许用于上层数据单元时,编码模式确定器1720确定UMVE模式是否被应用于包括在上层数据单元中的所有块。相反,当UMVE启用标志指示UMVE模式不被允许用于上层数据单元时,编码模式确定器1720确定UMVE模式不被应用于包括在上层数据单元中的所有块。
当UMVE启用标志为1时,UMVE启用标志可被解释为允许UMVE模式用于上层数据单元。相反,当UMVE启用标志为0时,UMVE启用标志可被解释为不允许UMVE模式用于上层数据单元。根据实施例,可以以相反的方式解释UMVE启用标志的含义。
上层参数确定器1710可获得用于每个上层数据单元的UMVE启用标志。当针对每个画面单元确定是否允许UMVE模式时,上层参数确定器1710可获得用于每个画面单元的UMVE启用标志。然而,当按照序列单元、画面单元和条带单元的顺序分层地确定是否允许UMVE模式时,上层参数确定器1710可获得用于序列单元的UMVE启用标志、用于画面单元的UMVE启用标志和用于条带单元的UMVE启用标志。
在另一实施例中,UMVE启用标志可以指示UMVE模式的默认设置是否被应用于上层数据单元。例如,当UMVE启用标志为0时,UMVE启用标志可被解释为将UMVE模式的默认设置应用于上层数据单元。相反,当UMVE启用标志为1时,UMVE启用标志可被解释为不将UMVE模式的默认设置应用于上层数据单元。当未获得UMVE启用标志时,上层参数确定器1710可将UMVE模式的默认设置应用于上层数据单元。
UMVE模式的默认设置可以是不允许UMVE模式用于上层数据单元。可选地,UMVE模式的默认设置可以是仅在特定条件下将UMVE模式应用于上层数据单元。可以根据每个序列单元、画面单元和条带单元不同地设置UMVE模式的默认设置。
上层参数确定器1710可根据特定条件,在没有UMVE启用标志的情况下确定是否允许上层数据单元的UMVE模式。例如,当当前画面是画面组(GoP)的最后画面时,上层参数确定器1710可在没有UMVE启用标志的情况下将UMVE模式的默认设置应用于上层数据单元。作为另一示例,上层参数确定器1710可根据当前画面的时间层深度,在没有UMVE启用标志的情况下将UMVE模式的默认设置应用于上层数据单元。
上层参数确定器1710可根据UMVE模式是否被允许用于上层数据单元来确定是否允许另一帧间预测模式。例如,当根据UMVE启用标志允许UMVE模式时,特定的帧间预测模式可能不被允许用于上层数据单元。特定的帧间预测模式可包括解码器侧运动矢量推导(DMVD)模式、解码器侧运动矢量细化(DMVR)模式、跳过模式、直接模式和合并模式。
例如,在UMVE模式下,从比特流获得关于运动矢量的信息,而在DMVD模式或DMVR模式下,在不从比特流获得关于运动矢量的信息的情况下推导运动矢量。因此,根据实施例,当UMVE模式被允许用于上层数据单元时,上层参数确定器1710可确定DMVD模式或DMVR模式不被允许用于上层数据单元。
作为另一示例,当UMVE模式被允许用于上层数据单元时,上层参数确定器1710可确定用于跳过关于运动矢量的信息的跳过模式、直接模式和合并模式不被允许。
根据另一实施例,当UMVE模式被允许用于上层数据单元时,上层参数确定器1710可从用于上层数据单元的比特流获得特定的帧间预测模式的启用标志。根据另一实施例,当UMVE模式被允许用于上层数据单元时,上层参数确定器1710可以不获得特定的帧间预测模式的启用标志,并且可以将特定的帧间预测模式的默认设置应用于上层数据单元。特定的帧间预测模式可包括解码器侧运动矢量推导(DMVD)模式、解码器侧运动矢量细化(DMVR)模式、跳过模式、直接模式、合并模式、重叠块运动补偿(OBMC)模式、照度补偿(IC)模式和仿射模式。
当UMVE模式被允许用于上层数据单元时,上层参数确定器1710可另外获得关于应用于上层数据单元的UMVE模式的构建信息。现在将描述由上层参数确定器1710获得的关于UMVE模式的附加信息。
上层参数确定器1710可从比特流获得指示允许用于上层数据单元的UMVE模式的UMVE候选的数量的UMVE候选数量信息。解码器1730确定与UMVE候选数量信息所指示的数量一样多的UMVE候选。
此外,上层参数确定器1710可从比特流获得指示允许用于上层数据单元的校正距离候选的数量的校正距离候选数量信息。解码器1730确定与校正距离候选数量信息所指示的数量一样多的校正距离候选。
此外,上层参数确定器1710可从比特流获得指示允许用于上层数据单元的校正方向候选的数量的校正方向候选数量信息。解码器1730确定与由校正方向候选数量信息指示的数量一样多的校正方向候选。
UMVE候选数量信息可指示最小UMVE候选数量与在上层数据单元中使用的UMVE候选数量之间的差。例如,当最小UMVE候选数量是4并且在上层数据单元中使用的UMVE候选数量是5时,UMVE候选数量信息可指示1。与UMVE候选数量信息类似,校正距离候选数量信息和校正方向候选数量信息也可以指示最小数量与上层数据单元中使用的候选数量之间的差。
上层参数确定器1710可从比特流获得指示构建UMVE候选列表的方法的UMVE候选列表构建信息。UMVE候选列表构建信息可指示UMVE模式的UMVE候选列表是基于在合并模式中使用的运动矢量候选列表构建的。
可选地,UMVE候选列表构建信息可以指示构建仅用于UMVE模式的运动矢量候选列表。例如,可通过统计分析用于解码当前画面的运动矢量信息来构建仅用于UMVE模式的运动矢量候选列表。当当前块的左侧块和上方块可能被选择为UMVE候选时,当前块的左侧块和上方块可被优先包括在UMVE候选列表中。
可选地,UMVE候选列表构建信息可以指示构建通过将在合并模式中使用的运动矢量候选列表与仅用于UMVE模式的运动矢量候选列表组合而产生的运动矢量候选列表。
当不能获得UMVE候选列表构建信息或者固有地确定UMVE候选列表时,上层参数确定器1710根据默认设置选择UMVE候选列表构建方法。
上层参数确定器1710可从比特流获得上层数据单元的多个块的校正距离范围信息。解码器1730基于由校正距离范围信息指示的校正距离范围来确定基本运动矢量的校正距离。
例如,校正距离范围信息可以指示校正距离候选的最小值。当由校正距离范围信息指示的校正距离候选的最小值是1并且由校正距离数量候选信息指示的校正距离候选的数量是4时,校正距离候选可以被确定为{1,2,4,8}。
此外,校正距离范围信息可以指示校正距离候选之间的大小差。例如,校正距离范围信息可以指示校正距离候选的值是算术地增加还是指数地增加。当校正距离候选的值算术地增加时,校正距离候选可以被确定为{1,2,3,4,5,…}。当校正距离候选的值指数地增加时,校正距离候选被确定为{1,2,4,8,16,…}。
此外,校正距离范围信息可以指示多个预定校正距离候选集中的一个。例如,校正距离范围信息可以指示第一校正距离候选集{1,2,4,8}、第二校正距离候选集{1,2,3,4}和第三校正距离候选集{4,8,16,32}中的一个。
上层参数确定器1710可从比特流获得上层数据单元的多个块的校正距离改变信息。校正距离改变信息指示校正距离候选的范围是否根据当前画面与参考画面之间的时间距离而改变。因此,当校正距离改变信息指示校正距离候选的范围改变时,解码器1730可根据当前画面与参考画面之间的时间距离来确定校正距离候选的范围。
通常来说,当当前块参考在时间上远离当前画面的参考画面的参考块时,基本运动矢量的误差可能较高。相反,当当前块参考在时间上接近当前画面的参考画面的参考块时,基本运动矢量的误差可能较低。因此,当与当前画面和参考画面之间的时间距离成比例地确定校正距离候选集时,可以提高运动矢量的预测精度。
例如,当当前画面与参考画面之间的时间距离小时,校正距离候选的最小值可以被确定为1/2。当当前画面与参考画面之间的时间距离中等时,校正距离候选的最小值可以被确定为1。当当前画面与参考画面之间的时间距离大时,校正距离候选的最小值可以被确定为2。
可以根据一个或更多个阈值来确定当前画面与参考画面之间的时间距离。例如,当阈值的数量是3时,可以通过将当前画面和参考画面之间的时间距离与三个阈值进行比较来确定校正距离候选的最小值。
上层参数确定器1710可根据当前画面与参考画面之间的时间距离和校正距离范围信息的校正距离候选最小值来确定上层数据单元的校正距离候选的最小值。详细地,因为校正距离范围信息的校正距离候选最小值根据当前画面与参考画面之间的时间距离而改变,所以可确定上层数据单元的校正距离候选的最小值。
当不能获得校正距离改变信息或者校正距离是否改变被固有地确定时,上层参数确定器1710确定校正距离是否根据默认设置改变。
上层参数确定器1710可从比特流获得上层数据单元的多个块的预测方向改变许可信息。当前块从选自UMVE候选列表的UMVE候选获得关于参考画面的预测方向的信息以及关于基本运动矢量的信息。当根据预测方向改变许可信息不允许改变预测方向时,UMVE候选的预测方向被应用于当前块。然而,相反,当根据预测方向改变许可信息允许改变预测方向时,可以将与UMVE候选的预测方向不同的预测方向应用于当前块。
预测方向指示以下项中的一个:列表0单向预测、列表1单向预测及使用列表0和列表1两者的双向预测。虽然在单向预测中仅使用列表0或列表1的一个参考块来预测当前块,但在双向预测中使用列表0的参考块和列表1的参考块两者。因此,双向预测的准确度可能高于单向预测的准确度。因此,当允许改变预测方向时,即使UMVE候选指示单向预测,UMVE模式的预测方向也可被确定为双向预测,从而提高根据UMVE模式的编码效率。
因此,当根据预测方向改变许可信息允许改变预测方向时,解码器1730可改变当前块的预测方向。例如,当允许改变预测方向时,即使UMVE候选的预测方向是列表0单向预测,当前块的预测方向也可被确定为列表1单向预测或双向预测。
上层参数确定器1710可从比特流获得上层数据单元的主预测方向信息。主预测方向信息指示是否存在上层数据单元的主预测方向。此外,当存在上层数据单元的主预测方向时,主预测方向信息指示上层数据单元的主预测方向。当设置了上层数据单元的主预测方向时,根据主预测方向来预测包括在上层数据单元中并且应用了UMVE模式的块。例如,当主预测方向被确定为双向预测时,应用UMVE模式的块可被双向预测。因此,即使当UMVE候选的预测方向是单向预测时,当前块的预测方向也可被确定为双向预测。
上层参数确定器1710可获得预测方向改变许可信息和主预测方向信息两者。当预测方向改变许可信息指示允许改变预测方向并且主预测方向信息指示设置了主预测方向时,由解码器1730获得的预测方向信息指示当前块的预测方向是否是主预测方向。例如,当主预测方向是双向预测并且预测方向信息指示当前块的预测方向是主预测方向时,当前块的预测方向被确定为双向预测。当主预测方向是双向预测并且预测方向信息指示当前块的预测方向不是主预测方向时,根据预测方向信息将当前块的预测方向确定为作为辅助预测方向的列表0单向预测或列表1单向预测。
上层参数确定器1710可从比特流获得指示校正后的基本运动矢量是否可被多次校正的多校正许可信息。当可根据多校正许可信息多次校正基本运动矢量时,解码器1730可多次校正基本运动矢量。
当UMVE模式被允许用于上层数据单元时,编码模式确定器1720确定UMVE模式是否被应用于当前块。编码模式确定器1720可从比特流获得指示UMVE模式是否被应用于当前块的UMVE标志。例如,当UMVE标志指示UMVE模式被应用于当前块时,编码模式确定器1720可确定当前块的预测模式是UMVE模式。相反,当UMVE标志指示UMVE模式不被应用于当前块时,编码模式确定器1720确定当前块的预测模式不是UMVE模式。
当UMVE模式被应用于当前块时,编码模式确定器1720可确定另一帧间预测模式不被应用于当前块。例如,当根据UMVE标志将UMVE模式应用于当前块时,特定的帧间预测模式可不被应用于当前块。特定的帧间预测模式可包括DMVD模式、DMVR模式、跳过模式、直接模式、合并模式、OBMC模式、IC模式和仿射模式。相反,当UMVE模式被应用于当前块时,编码模式确定器1720可确定特定的预测模式被应用于当前块。
此外,当UMVE模式不被应用于当前块时,编码模式确定器1720可确定另一帧内预测模式将被应用于当前块。另一帧内预测模式的示例可包括DMVD模式、DMVR模式、合并模式、OBMC模式、IC模式及仿射模式。
当UMVE模式被应用于当前块时,解码器1730可从UMVE候选确定当前块的基本运动矢量。解码器1730可根据根据UMVE候选列表构建信息的UMVE候选列表构建方法来确定UMVE候选列表。可以根据UMVE候选数量信息来确定包括在UMVE候选列表中的UMVE候选的数量。
解码器1730可以从比特流获得UMVE索引,该UMVE索引指示UMVE候选列表中的包括当前块的参考画面和基本运动矢量的UMVE候选。解码器1730可根据UMVE索引来确定当前块的参考画面和基本运动矢量。
解码器1730可确定用于基本运动矢量的校正的校正距离和校正方向。在UMVE模式下,为了预测精度而校正基本运动矢量。因此,为了确定用于校正基本运动矢量的校正运动矢量,解码器1730确定指示校正运动矢量的大小的校正距离和指示校正运动矢量的方向的校正方向。
解码器1730可根据上层数据单元的校正距离候选数量信息、校正距离范围信息和校正距离改变信息来确定校正距离候选。解码器1730可根据校正距离候选数量信息来确定校正距离候选的数量。解码器1730可根据校正距离范围信息来确定校正距离候选与校正距离候选的最小值之间的大小差。此外,当校正距离改变信息指示校正距离候选的范围的改变时,解码器1730可根据当前画面与参考画面之间的距离来确定校正距离候选的范围。例如,可以通过将当前画面和参考画面之间的距离与特定阈值进行比较来改变校正距离候选的最小值。因此,可以根据改变后的最小值来确定校正距离候选的范围。
解码器1730可从比特流获得指示基本运动矢量的校正距离的校正距离信息。校正距离信息指示特定数量的校正距离候选中与基本运动矢量的校正距离对应的校正距离候选。解码器1730可根据由校正距离信息指示的校正距离候选来确定基本运动矢量的校正距离。
解码器1730可根据上层数据单元的校正方向候选数量信息来确定校正方向候选。解码器1730从特定数量的校正方向候选中确定校正方向。
解码器1730可从比特流获得指示基本运动矢量的校正方向的校正方向信息。校正方向信息指示特定数量的校正方向候选中的与基本运动矢量的校正方向对应的校正方向候选。解码器1730可根据由校正方向信息指示的校正方向候选来确定基本运动矢量的校正方向。
解码器1730可通过根据确定的校正距离和确定的校正方向校正基本运动矢量来确定当前块的运动矢量。例如,当校正距离是2并且校正方向是+x时,通过将x值从基本运动矢量增加2而获得的运动矢量被用于当前块的预测。
图18至图21是用于描述在UMVE模式下确定当前块的运动矢量的处理的示图。在图18和图21中,将基本运动矢量的坐标设置为(base_x,base_y)。基于(base_x,base_y)描述根据UMVE模式的校正距离和校正方向的校正运动矢量。
参照图18,解码器1730可基于基本运动矢量确定具有菱形分布的运动矢量候选。
解码器1730可将与基本运动矢量(base_x,base_y)1801相距1/4像素距离的运动矢量候选(base_x+1/4,base_y)1802、(base_x-1/4,base_y)1803、(base_x,base_y+1/4)1804和(base_x,base_y-1/4)1805确定为第一候选组。
解码器1730可将与基本运动矢量(base_x,base_y)1801相距1/2像素距离的运动矢量候选(base_x+1/2,base_y)1806、(base_x-1/2,base_y)1807、(base_x,base_y+1/2)1808和(base_x,base_y-1/2)1809确定为第二候选组。
解码器1730可将与基本运动矢量(base_x,base_y)1801相距1像素距离的运动矢量候选(base_x+1,base_y)1810、(base_x-1,base_y)1811、(base_x,base_y+1)1812和(base_x,base_y-1)1813确定为第三候选组。
解码器1730可以根据校正距离从第一候选组到第三候选组中选择一个候选组。解码器1730可以根据校正方向从候选组中确定一个运动矢量候选作为当前块的运动矢量。
参照图19,解码器1730可基于基本运动矢量确定具有四边形分布的预测运动矢量候选。
同样地,解码器1730可将与基本运动矢量(base_x,base_y)1901相距1/4像素距离的运动矢量候选(base_x+1/4,base_y+1/4)1902、(base_x+1/4,base_y-1/4)1903、(base_x-1/4,base_y+1/4)1904和(base_x-1/4,base_y-1/4)1905确定为第一候选组。
解码器1730可将与基本运动矢量(base_x,base_y)1901相距1/2像素距离的运动矢量候选(base_x+1/2,base_y+1/2)1906、(base_x+1/2,base_y-1/2)1907、(base_x-1/2,base_y+1/2)1908和(base_x-1/2,base_y-1/2)1909确定为第二候选组。
解码器1730可将与基本运动矢量(base_x,base_y)1901相距1像素距离的运动矢量候选(base_x+1,base_y+1)1910、(base_x+1,base_y-1)1911、(base_x-1,base_y+1)1912和(base_x-1,base_y-1)1913确定为第三候选组。
参照图20,解码器1730可通过使用不同数量的运动矢量候选来确定每个组。虽然像素之间的间隔是1/4像素距离,但是为了方便,矢量候选的分量值被按比例缩放四次。
详细地,解码器1730可将与基本运动矢量相距1/4像素距离的八个运动矢量候选(base_x+1/4,base_y/4)2002、(base_x-1/4,base_y)2003、(base_x,base_y+1/4)2004、(base_x,base_y-1/4)2005、(base_x+1/4,base_y+1/4)2006、(base_x+1/4,base_y-1/4)2007、(base_x-1/4,base_y+1/4)2008和(base_x-1/4,base_y-1/4)2009确定为第一候选组。
此外,解码器1730可将与基本运动矢量相距1/2像素距离的八个运动矢量候选(base_x+1/2,base_y)2010、(base_x-1/2,base_y)2011、(base_x,base_y+1/2)2012、(base_x,base_y-1/2)2013、(base_x+1/2,base_y+1/2)2014、(base_x+1/2,base_y-1/2)2015、(base_x-1/2,base_y+1/2)2016和(base_x-1/2,base_y-1/2)2017确定为第二候选组。
解码器1730可将与基本运动矢量相距1像素距离的八个运动矢量候选(base_x+1,base_y)2018、(base_x-1,base_y)2019、(base_x,base_y+1)2020、(base_x,base_y-1)2021、(base_x+1,base_y+1)2022、(base_x+1,base_y-1)2023、(base_x-1,base_y+1)2024和(base_x-1,base_y-1)2025确定为第三候选组。
参照图21,解码器1730可以以各种方式根据候选组来确定包括在候选组中的运动矢量候选的分布形状。详细地,解码器1730可将具有基于基本运动矢量2101的菱形分布的运动矢量候选2102、2103、2104和2105确定为第一候选组。此外,解码器1730可将具有基于基本运动矢量2101的四边形分布的运动矢量候选2106、2107、2108和2109确定为第二候选组。此外,解码器1730可将具有基于基本运动矢量2101的菱形分布的运动矢量候选2110、2111、2112和2113确定为第三候选组。如图21所示,除了图21的分布形状之外,每个候选组的运动矢量候选的分布形状可以被确定为各种分布形状中的任意分布形状。
解码器1730可确定一个或更多个基本运动矢量。当存在两个基本运动矢量时,可以通过使用每个基本运动矢量来产生运动矢量候选。
解码器1730可执行双向预测。当通过使用列表0和列表1的参考画面对基本运动矢量执行双向预测时,可根据当前画面与参考画面之间的时间距离来校正每个预测方向的运动矢量。
例如,当列表0的参考画面和列表1的参考画面位于与当前画面相同的方向上时,列表0的基本运动矢量和列表1的基本运动矢量的校正方向被确定为相同。相反,当列表0的参考画面和列表1的参考画面位于与当前画面相反的方向上时,列表0的基本运动矢量的校正方向被确定为与列表1的基本运动矢量的校正方向相反。
此外,与当前画面和列表0的参考画面之间的时间距离以及当前画面和列表1的参考画面之间的时间距离成比例地确定列表0的基本运动矢量的校正距离和列表1的基本运动矢量的校正距离。因此,当列表0的当前画面与参考画面之间的时间距离是列表1的当前画面与参考画面之间的时间距离的两倍时,列表0的基本运动矢量的校正距离被确定为列表0的基本运动矢量的校正距离的两倍。
由从比特流获得的校正距离信息和校正方向信息指示的校正距离和校正方向可被应用于列表0的基本运动矢量。
可考虑当前画面与列表0的参考画面之间的距离以及当前画面与列表1的参考画面之间的距离来改变用于校正列表0的基本运动矢量的校正距离和校正方向。改变后的校正距离和改变后的校正方向可被应用于列表1的基本运动矢量。
根据实施例,相反,由校正距离信息和校正方向信息指示的校正距离和校正方向可被应用于列表1的基本运动矢量,改变后的校正距离和改变后的校正方向可被应用于列表0的基本运动矢量。
图22示出根据实施例的根据双向预测校正两个基本运动矢量的方法。在图22中,列表0的基本运动矢量2202是(0,-1)。列表1的基本运动矢量2212是(0,2)。
UMVE模式中的校正距离和校正方向被应用于列表0的基本运动矢量2202和列表1的基本运动矢量2212两者。当列表0的基本运动矢量2202的校正距离为1并且基本运动矢量2202的校正方向为-y时,列表0的运动矢量2204变为(0,-2)。
列表0的参考画面和列表1的参考画面位于与当前画面相反的方向上。因此,列表1的基本运动矢量2212的校正方向被确定为与列表0的基本运动矢量2202的校正方向相反。因此,列表1的基本运动矢量2212的校正方向被确定为+y。
列表0的参考画面和列表1的参考画面位于距当前画面相同的时间距离处。因此,列表1的基本运动矢量2212的校正距离被确定为与列表0的基本运动矢量2202的校正距离相同。因此,列表1的基本运动矢量2212的校正距离被确定为1。
因此,列表1的运动矢量2214被确定为y分量比列表1的基本运动矢量2212的y分量大1的(0,3)。
当列表0的基本运动矢量2202的校正距离是2时,列表0的运动矢量2206被确定为(0,-3),并且列表1的运动矢量2216被确定为(0,4)。此外,当列表0的基本运动矢量2202的校正距离是4时,列表0的运动矢量2208被确定为(0,-5),并且列表1的运动矢量2218被确定为(0,6)。
当根据预测方向改变许可信息允许改变预测方向时,解码器1730可从比特流获得预测方向信息,并且可根据预测方向信息改变当前块的预测方向。预测方向信息可指示是否改变预测方向。当预测方向信息不指示改变预测方向时,根据UMVE候选的预测方向来预测当前块。然而,当预测方向信息指示改变预测方向时,根据与UMVE候选的预测方向不同的预测方向来预测当前块。
另外,预测方向信息可以指示改变后的预测方向。例如,当UMVE候选的预测方向是列表0单向预测时,预测方向信息可以指示列表1单向预测和双向预测中的一个。因此,预测方向信息可以指示预测方向是否改变以及改变后的预测方向。
当预测方向不改变时,预测方向信息可以被设置为0。当预测方向改变时,可以根据改变后的预测方向将预测方向信息设置为10或11。例如,当UMVE候选的预测方向是列表0单向预测并且当前块的预测方向是列表0单向预测时,预测方向信息可被设置为0。
当当前块的预测方向是双向预测或列表1单向预测时,预测方向信息可被设置为10或11。根据实施例,当UMVE候选的预测方向是单向预测并且当前块的预测方向是双向预测时,预测方向信息可被设置为10。根据实施例,当UMVE候选的预测方向是单向预测并且当前块的预测方向是另一方向的单向预测时,预测方向信息可被设置为11。
作为另一示例,当UMVE候选的预测方向是列表1单向预测并且当前块的预测方向是列表1单向预测时,预测方向信息可被设置为0。
当当前块的预测方向是双向预测或列表0单向预测时,预测方向信息可被设置为10或11。根据实施例,当UMVE候选的预测方向是单向预测并且当前块的预测方向是双向预测时,预测方向信息可被设置为10。根据实施例,当UMVE候选的预测方向是单向预测并且当前块的预测方向是另一方向的单向预测时,预测方向信息可被设置为11。
作为另一示例,当UMVE候选的预测方向是双向预测并且当前块的预测方向是双向预测时,预测方向信息可被设置为0。
当当前块的预测方向是列表0单向预测或列表1单向预测时,预测方向信息可被设置为10或11。根据实施例,当UMVE候选的预测方向是双向预测并且当前块的预测方向是列表0单向预测时,预测方向信息可被设置为10。根据实施例,当UMVE候选的预测方向是双向预测并且当前块的预测方向是列表1单向预测时,预测方向信息可被设置为11。
当预测方向信息指示改变预测方向时,解码器1730可根据改变后的预测方向来改变UMVE候选的运动矢量。例如,当UMVE候选的预测方向是列表0单向预测并且当前块的预测方向是列表1单向预测时,列表0的运动矢量被校正为适合于根据列表1的参考画面的预测。详细地,可通过根据当前画面与列表0的参考画面之间的时间距离和当前画面与列表1的参考画面之间的时间距离之间的比率按比例缩放列表0的运动矢量来修改列表0的运动矢量。
例如,当列表0的运动矢量为(8,6)并且当前画面与列表0的参考画面之间的时间距离和当前画面与列表0的参考画面之间的时间距离之间的比率为2:1时,列表1的运动矢量可被确定为(4,3)。当时间距离之间的比率为2:-1时,也就是说,当列表1的参考画面和列表0的参考画面位于与当前画面不同的方向上时,列表1的运动矢量可被确定为(-4,-3)。
当UMVE候选的预测方向是列表0单向预测并且当前块的预测方向是双向预测时,可以基于UMVE候选的列表0的运动矢量来获得列表1的运动矢量。可通过根据当前画面与列表0的参考画面之间的时间距离和当前画面与列表1的参考画面之间的时间距离之间的比率按比例缩放列表0的参考画面的运动矢量来获得列表1的运动矢量。列表1的参考画面可被确定为位于列表1的特定顺序处的画面。列表0的运动矢量和参考画面以及列表1的运动矢量和参考画面可全部用于当前块的预测。
同样地,即使当UMVE候选的预测方向是列表1单向预测并且当前块的预测方向是双向预测时,也可以从列表1的运动矢量获得列表0的运动矢量。列表0的参考画面可被确定为位于列表0的特定顺序处的画面。列表0的运动矢量和参考画面以及列表1的运动矢量和参考画面可全部用于当前块的预测。
当UMVE候选的预测方向是双向预测并且当前块的预测方向是列表0单向预测时,通过仅使用列表0的运动矢量和参考画面以及列表1的运动矢量和参考画面中的列表0的运动矢量和参考画面来预测当前块。相反,当改变前的预测方向是双向预测并且改变后的预测方向是列表1单向预测时,通过仅使用列表0的运动矢量和参考画面以及列表1的运动矢量和参考画面中的列表1的运动矢量和参考画面来预测当前块。
当获得主预测方向信息时,解码器1730可根据由主预测方向信息指示的主预测指示来改变UMVE候选的运动矢量。当当前画面的主预测方向和UMVE候选的参考预测方向相同时,根据UMVE候选的运动矢量和参考画面来预测当前块。然而,当当前画面的主预测方向和UMVE候选的参考预测方向彼此不同时,UMVE候选的运动矢量根据主预测方向而改变。以与根据预测方向信息改变UMVE候选的运动矢量和参考画面的相同的方式执行根据主预测方向改变UMVE候选的运动矢量和参考画面。
根据实施例,当获得主预测方向信息并且根据预测方向改变许可信息允许改变预测方向时,解码器1730可根据预测方向信息改变当前块的预测方向。当设置了主预测方向信息时,预测方向信息从主预测方向和两个辅助预测方向中指示当前块的预测方向。当预测方向信息指示主预测方向时,根据主预测方向预测当前块。然而,当预测方向信息指示辅助预测方向时,根据两个辅助预测方向中的由预测方向信息指示的预测方向来预测当前块。当设置了主预测方向信息时,在预测方向信息中,0可被分配给主预测方向,10可被应用于第一辅助预测方向,并且11可被分配给第二辅助预测方向。可根据实施例通过使用各种方法来确定用于主预测方向的两个辅助预测方向。
当可根据多校正许可信息多次校正基本运动矢量时,解码器1730可再次校正校正后的基本运动矢量。因此,解码器1730可从比特流获得附加校正距离信息和附加校正方向信息。解码器1730可基于根据附加校正距离信息确定的附加校正距离和根据附加校正方向信息确定的附加校正方向来再次校正基本运动矢量。
当校正距离等于或大于阈值时,解码器1730可获得附加校正距离信息和附加校正方向信息。可以根据校正距离和校正方向来限制分别由附加校正距离信息和附加校正方向信息指示的附加校正距离和附加校正方向。例如,附加校正距离可以被确定为小于校正距离。可选地,附加校正方向可以被确定为与校正方向不同。
解码器1730可基于当前块的运动矢量和参考画面来重建当前块。当当前块的预测方向是列表0单向预测或列表1单向预测时,解码器1730可通过使用一个运动矢量和一个参考画面来预测当前块。当当前块的预测方向是双向预测时,解码器1730可通过使用列表0的运动矢量和参考画面以及列表1的运动矢量和参考画面来预测当前块。
解码器1730可根据当前块的预测结果来重建当前块。解码器1730可根据当前块的残差块和预测块来重建当前块。当前块的残差块指示当前块的预测块与重建块之间的差值。
由视频解码装置1700解码的UMVE候选的UMVE候选数量信息、校正距离候选数量信息、校正方向候选数量信息、UMVE候选列表构建信息、校正距离范围信息、主预测方向信息、UMVE索引、校正距离信息和校正方向信息、预测方向信息、附加校正距离信息和附加校正方向信息可根据定长编码或截断一元编码被二值化。
可由图1B的解码器170执行上层参数确定器1710、编码模式确定器1720和解码器1730的功能。
图23至图25示出根据实施例的选择用于当前块的参考画面和运动矢量的帧间模式工具的方法。图23至图25各自示出了编码单元的语法结构。根据基于实施例的语法结构,当跳过模式或直接模式被应用于当前块时,可选择UMVE模式。图23至图25中的ae(v)表示对同一行的语法元素进行熵解码。因此,图23的cu_skip_flag[x0][y0]和cu_skip_umve[x0][y0]、图24的cu_direct[x0][y0]和affine_dir[x0][y0]以及图25的cu_direct[x0][y0]和cu_direct_umve[x0][y0]被熵解码。
图23中示出了在跳过模式下选择当前块的帧间模式工具的方法。在跳过模式下,跳过重建当前块所需的大部分条编码信息,并且通过仅使用几条编码信息来重建当前块。因此,因为跳过重建当前块所需的编码信息,所以可提高编码效率。
根据图23的实施例,可以在跳过模式下使用帧间模式工具。根据实施例,在跳过模式下,可以使用umve模式、仿射模式和合并模式。根据实施例,获得指示sip模式是否被应用于当前块的cu_skip_flag[x0][y0]。当跳过模式被应用于当前块时(if(cu_skip_flag[x0][y0])),获得指示当前块的帧间模式工具是否是umve模式的cu_skip_umve[x0][y0]。当umve模式被应用于当前块时(if(cu_skip_umve[x0][y0]),cu_mode=SKIP_UMVE),获得包括当前画面的参考画面和基本运动矢量的关于相邻块的信息以及关于校正基本运动矢量的校正距离信息和校正方向信息(mvp_idx_umve(x0,y0,identical_list0_list1 flag))。当umve模式不被应用于当前块时,仿射模式(cu_mode=SKIP_AFFINE)或合并模式(cu_mode=SKIP)可被应用于当前块。
在图23的实施例中,以umve模式、仿射模式和合并模式的顺序确定是否应用模式。然而,本领域普通技术人员可以容易地改变在跳过模式下使用的帧间模式工具的类型。此外,本领域普通技术人员可以改变在跳过模式下使用的帧间模式工具的确定顺序。
图24示出当包括当前块的当前条带的条带类型是P型时,在直接模式下选择当前块的帧间模式工具的方法。在直接模式下,跳过确定当前块的运动矢量所需的几条编码信息。因此,因为减小了确定当前块的运动矢量所需的编码信息,所以可提高编码效率。
根据图24的实施例,当当前条带的条带类型是P型时,umve模式和仿射模式可被用于直接模式。根据实施例,获得指示直接模式是否被应用于当前块的cu_direct[x0][y0]。当直接模式被应用于当前块时(if(cu_direct[x0][y0])),获得指示当前块的帧间模式工具是否是仿射模式的affine_dir[x0][y0]。当仿射模式未被应用于当前块时(if(!affine_dir[x0][y0])),确定umve模式被应用于当前块(cu_mode=DIR_UMVE)。当umve模式被应用于当前块时,获得包括当前画面的参考画面和基本运动矢量的关于相邻块的信息以及关于校正基本运动矢量的校正距离信息和校正方向信息(mvp_idx_umve(x0,y0,identical_list0_list1 flag))。
在图24的实施例中,按照仿射模式和umve模式的顺序确定是否应用模式。然而,本领域普通技术人员可以容易地改变在直接模式中使用的帧间模式工具的类型。此外,本领域普通技术人员可以改变在直接模式中使用的帧间模式工具的确定顺序。
图25示出当包括当前块的当前条带的条带类型是B型时,在直接模式下选择当前块的帧间模式工具的方法。
根据图25的实施例,当当前条带的条带类型是B型时,可使用umve模式、仿射模式和合并模式。根据实施例,获得指示直接模式是否被应用于当前块的cu_direct[x0][y0]。当直接模式被应用于当前块时(if(cu_direct[x0][y0])),获得指示当前块的帧间模式工具是否是umve模式的cu_direct_umve[x0][y0]。当umve模式被应用于当前块时(if(cu_direct_umve[x0][y0]),cu_mode=DIR_UMVE),获得包括当前画面的参考画面和基本运动矢量的关于相邻块的信息以及关于校正基本运动矢量的校正距离信息和校正方向信息(mvp_idx_umve(x0,y0,identical_list0_list1flag))。当umve模式不被应用于当前块时,仿射模式(cu_mode=DIR_AFFINE)或合并模式(cu_mode=DIR)可被应用于当前块。
在图25的实施例中,以umve模式、仿射模式和合并模式的顺序确定是否应用模式。然而,本领域普通技术人员可以容易地改变在直接模式下使用的帧间模式工具的类型。此外,本领域普通技术人员可以改变在直接模式下使用的帧间模式工具的确定顺序。
图26是根据图17的视频解码装置1700的UMVE模式的解码方法的流程图。
在操作2610,确定UMVE模式是否被允许用于包括当前块的上层数据单元。可根据从比特流获得的UMVE启用标志来确定UMVE模式是否被允许用于上层数据单元。
当UMVE模式被允许用于上层数据单元时,可获得UMVE候选数量信息和UMVE候选列表构建信息,其中,UMVE候选数量信息指示允许用于上层数据单元的UMVE模式的UMVE候选的数量,UMVE候选列表构建信息指示构建由上层数据单元的多个块参考的运动矢量候选列表的方法。
可以从比特流获得指示校正距离候选的数量的校正距离候选数量信息。可获得上层数据单元的多个块的校正距离范围信息。此外,可以获得上层数据单元的多个块的校正距离改变信息。
可以从比特流获得指示校正方向候选的数量的校正方向候选数量信息。
可从比特流获得上层数据单元的多个块的预测方向改变许可信息。可从比特流获得指示上层数据单元的主预测方向的主预测方向信息。
在操作2620,当UMVE模式被允许用于上层数据单元时,确定UMVE模式是否被应用于当前块。可根据从比特流获得的UMVE标志来确定UMVE模式是否被应用于当前块。当UMVE模式不被应用于当前块时,除了UMVE模式之外的帧间预测模式可被应用于当前块。
可以确定由UMVE候选数量信息指示的当前块的UMVE候选的数量。可以根据UMVE候选列表构建信息来确定构建UMVE候选列表的方法。可以根据UMVE候选的数量和构建UMVE候选列表的方法来构建当前块的UMVE候选列表。
此外,可确定由校正距离候选数量信息指示的当前块的校正距离候选的数量。可以基于由校正距离范围信息指示的校正距离范围来确定校正距离候选。此外,当校正距离改变信息指示基本运动矢量的校正距离根据当前块的当前画面与参考画面之间的距离而自适应地改变时,校正距离范围可根据当前块的当前画面与参考画面之间的距离而改变。
此外,可确定由校正方向候选数量信息指示的当前块的校正方向候选的数量。
当UMVE模式被应用于当前块并且预测方向改变许可信息指示允许改变预测方向时,可以从比特流获得预测方向信息。
在操作2630,当UMVE模式被应用于当前块时,确定当前块的基本运动矢量。在确定的UMVE候选列表中确定UMVE候选。可从由UMVE候选指示的当前块的相邻块提取参考画面和基本运动矢量。
在操作2640,确定用于校正基本运动矢量的校正距离和校正方向。可根据从比特流获得的校正距离信息从校正距离候选中确定基本运动矢量的校正距离。可根据从比特流获得的校正方向信息从校正方向候选中确定基本运动矢量的校正方向。
可以根据附加校正距离和附加校正方向来另外校正校正后的基本运动矢量。根据实施例,当校正距离等于或大于阈值时,可以执行基本运动矢量的附加校正。附加校正距离可以被确定为小于校正距离。
在操作2650,通过根据校正距离和校正方向校正基本运动矢量来确定当前块的运动矢量。可根据由预测方向信息指示的预测方向来改变当前块的运动矢量和参考画面。当针对上层数据单元确定主预测方向时,预测方向信息可从主预测方向和两个辅助预测方向中指示当前块的预测方向。当针对上层数据单元不确定主预测方向时,预测方向信息可从UMVE候选的预测方向和剩余的两个预测方向中指示当前块的预测方向。
在操作2660,基于当前块的运动矢量重建当前块。
由图17的视频解码装置1700执行的根据UMVE模式的帧间预测方法可被应用于图26的根据UMVE模式的解码方法。
图27是用于根据UMVE模式执行帧间预测的视频编码装置2700的框图。
视频编码装置2700包括编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740。虽然在图27中编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740是单独的元件,但是根据实施例,编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740可被实现为一个元件。
尽管在图27中编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740是一个装置中的元件,但是负责编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740的功能的装置不需要在物理上彼此相邻。因此,根据实施例,编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740可以是分开的。
根据实施例,可通过使用一个处理器来实现编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740。此外,根据实施例,可通过使用多个处理器来实现编码参数确定器2710、运动矢量确定器2720、编码信息确定器2730和输出单元2740。
编码参数确定器2710确定UMVE模式是否被允许用于包括当前块的上层数据单元。编码参数确定器2710可根据在上层数据单元中使用UMVE模式的频率来确定UMVE模式是否被允许。可选地,编码参数确定器2710可根据图像的特性来确定UMVE模式是否被允许。
运动矢量确定器2720确定当前块的运动矢量。运动矢量确定器2720可从当前块周围的邻近块获得多个运动矢量。运动矢量确定器2720可通过扫描多个运动矢量的周围来确定当前块的运动矢量。运动矢量确定器2720可根据率失真优化将最优运动矢量确定为当前块的运动矢量。
当UMVE模式被允许用于上层数据单元时,编码信息确定器2730根据运动矢量确定UMVE模式是否被应用于当前块。编码信息确定器2730可确定是否可通过使用UMVE模式来推导由运动矢量确定器2720确定的当前块的运动矢量。当可通过使用UMVE模式推导当前块的运动矢量时,编码信息确定器2730可确定将UMVE模式应用于当前块。可选地,当当前块的运动矢量与根据UMVE模式的运动矢量之间的最小误差等于或小于阈值时,编码信息确定器2730可确定将UMVE模式应用于当前块。
当UMVE模式被应用于当前块时,编码信息确定器2730根据当前块的运动矢量确定当前块的基本运动矢量以及用于校正基本运动矢量的校正距离和校正方向。编码信息确定器2730可根据当前块的运动矢量与当前块的基本运动矢量之间的差来确定校正距离和校正方向。
输出单元2740根据当前块的UMVE模式输出包括编码信息的比特流。编码信息可包括UMVE启用标志、UMVE标志、UMVE候选数量信息、校正距离候选数量信息、校正方向候选数量信息、UMVE候选列表构建信息、校正距离范围信息、校正距离改变信息、预测方向改变许可信息、主预测方向信息和多校正许可信息。
可由图1A的编码器110执编码参数确定器2710、运动矢量确定器2720和编码信息确定器2730的功能。可由图1A的比特流产生器120执行输出单元2740的功能。
图28示出根据图27的视频编码装置2700的UMVE模式的编码方法的流程图。
在操作2810,确定UMVE模式是否被允许用于包括当前块的上层数据单元。可根据在上层数据单元中使用UMVE模式的频率来确定UMVE模式是否被允许。可选地,可以根据图像的特性来确定UMVE模式是否被允许。
在操作2820,确定当前块的运动矢量。可从当前块周围的邻近块获得多个运动矢量。可通过扫描多个运动矢量的周围来确定当前块的运动矢量。可根据率失真优化将最优运动矢量确定为当前块的运动矢量。
在操作2830,当UMVE模式被允许用于上层数据单元时,根据运动矢量确定UMVE模式是否被应用于当前块。可确定是否可通过使用UMVE模式来推导当前块的运动矢量。当可通过使用UMVE模式推导当前块的运动矢量时,可确定UMVE模式被应用于当前块。可选地,当当前块的运动矢量与根据UMVE模式的运动矢量之间的最小误差等于或小于阈值时,可确定UMVE模式被应用于当前块。
在操作2840,根据运动矢量确定当前块的基本运动矢量以及用于校正基本运动矢量的校正距离和校正方向。可根据当前块的运动矢量与当前块的基本运动矢量之间的差来确定校正距离和校正方向。
在操作2850,输出包括关于当前块的UMVE模式的信息的比特流。
由图27的视频编码装置2700执行的根据UMVE模式的帧间预测方法可被应用于图28的根据UMVE模式的编码方法。
根据参照图1至图28描述的基于具有树结构的编码单元的视频编码方法,根据具有树结构的编码单元对空间域中的图像数据进行编码,并且根据基于具有树结构的编码单元的视频解码方法,根据最大编码单元执行解码,并且重建空间域中的图像数据,因此可重建视频(诸如画面和画面序列)。重建的视频可以通过回放装置被播放、可以被存储在存储介质中并且可以通过网络被发送。
另外,本公开的实施例可被实现为计算机可执行程序,并且可被实现在使用计算机可读记录介质操作程序的通用数字计算机中。
本领域普通技术人员将理解,虽然已经描述了本公开的最佳实施例,但是可以对一个或更多个实施例进行各种替代、修改和修正。也就是说,替代、修改和修正不脱离本公开的范围并且被涵盖在本公开中。因此,应当仅在描述性意义上而不是出于限制的目的来考虑实施例。

Claims (4)

1.一种视频解码方法,包括:
从比特流获得第一帧间预测模式许可信息,其中,第一帧间预测模式许可信息指示用于对运动矢量进行预测的第一帧间预测模式是否被允许用于上层数据单元;
当基于第一帧间预测模式许可信息,第一帧间预测模式被允许用于所述上层数据单元时,从比特流获得校正距离范围信息;
当第一帧间预测模式被允许用于所述上层数据单元时,确定第一帧间预测模式是否被应用于包括在所述上层数据单元中的当前块;
当第一帧间预测模式被应用于所述当前块时,确定由关于来自所述当前块的运动矢量候选列表的运动矢量的信息指示的基本运动矢量;
从比特流获得关于校正距离的信息和关于校正方向的信息;
通过使用所述关于校正距离的信息和所述校正距离范围信息来确定所述校正距离;
通过使用所述关于校正方向的信息来确定校正方向;
通过根据所述校正距离和所述校正方向校正所述基本运动矢量来确定所述当前块的运动矢量;以及
基于所述当前块的运动矢量重建所述当前块,
其中,所述校正距离范围信息指示多个校正距离候选集中的一个,
其中,所述多个校正距离候选集中的一个校正距离集包括预设数量的校正距离候选,并且
其中,根据所述校正距离范围信息,从所述多个校正距离候选集中选择校正距离集,在包括在选择的校正距离集中的所述预设数量的校正距离候选中,通过所述关于校正距离的信息来指示所述校正距离,并且通过使用所述校正距离来校正所述基本运动矢量,
所述多个校正距离候选集中的第一校正距离候选集包括校正距离候选{1,2},并且所述多个校正距离候选集中的第二校正距离候选集不包括校正距离候选{1,2}。
2.如权利要求1所述的视频解码方法,其中,所述上层数据单元是序列、画面和条带中的一个。
3.一种视频编码方法,包括:
产生第一帧间预测模式许可信息,其中,第一帧间预测模式许可信息指示用于对运动矢量进行预测的第一帧间预测模式是否被允许用于上层数据单元;
当第一帧间预测模式被允许用于所述上层数据单元时,产生校正距离范围信息;
确定当前块的运动矢量;
当第一帧间预测模式被允许用于所述上层数据单元时,确定第一帧间预测模式是否被应用于所述当前块;
当第一帧间预测模式被应用于所述当前块时,从所述当前块的运动矢量候选列表确定基本运动矢量,并且从所述运动矢量候选列表产生用于指示所述基本运动矢量的关于运动矢量的信息;
基于所述运动矢量与所述基本运动矢量之间的差,确定用于校正所述基本运动矢量的校正距离和校正方向;
产生用于指示在校正距离范围内选择的校正距离的关于校正距离的信息;
产生用于指示所述校正方向的关于校正方向的信息;以及
输出包括第一帧间预测模式许可信息、所述校正距离范围信息、所述关于运动矢量的信息、所述关于校正距离的信息和所述关于校正方向的信息的比特流,
其中,所述多个校正距离候选集中的一个校正距离集包括预设数量的校正距离候选,并且
其中,所述校正距离范围信息指示从所述多个校正距离候选集中选择的校正距离集,所述关于校正距离的信息指示从包括在选择的校正距离集中的所述预设数量的校正距离候选中选择的校正距离,并且所述校正距离将被用于校正所述基本运动矢量,
所述多个校正距离候选集中的第一校正距离候选集包括校正距离候选{1,2},并且所述多个校正距离候选集中的第二校正距离候选集不包括校正距离候选{1,2}。
4.一种视频编码设备,包括处理器,所述处理器被配置为:
产生第一帧间预测模式许可信息,其中,第一帧间预测模式许可信息指示用于对运动矢量进行预测的第一帧间预测模式是否被允许用于上层数据单元;
当第一帧间预测模式被允许用于所述上层数据单元时,产生校正距离范围信息;
确定当前块的运动矢量;
当第一帧间预测模式被允许用于所述上层数据单元时,确定第一帧间预测模式是否被应用于所述当前块;
当第一帧间预测模式被应用于所述当前块时,从所述当前块的运动矢量候选列表确定基本运动矢量,并且从所述运动矢量候选列表产生用于指示所述基本运动矢量的关于运动矢量的信息;
基于所述运动矢量与所述基本运动矢量之间的差,确定用于校正所述基本运动矢量的校正距离和校正方向;
产生用于指示在校正距离范围内选择的校正距离的关于校正距离的信息;
产生用于指示所述校正方向的关于校正方向的信息;以及
输出包括第一帧间预测模式许可信息、所述校正距离范围信息、所述关于运动矢量的信息、所述关于校正距离的信息和所述关于校正方向的信息的比特流,
其中,所述多个校正距离候选集中的一个校正距离集包括预设数量的校正距离候选,并且
其中,所述校正距离范围信息指示从所述多个校正距离候选集中选择的校正距离集,所述关于校正距离的信息指示从包括在选择的校正距离集中的所述预设数量的校正距离候选中选择的校正距离,并且所述校正距离将被用于校正所述基本运动矢量,
所述多个校正距离候选集中的第一校正距离候选集包括校正距离候选{1,2},并且所述多个校正距离候选集中的第二校正距离候选集不包括校正距离候选{1,2}。
CN202210053418.3A 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置 Active CN114205619B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210053418.3A CN114205619B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201862636459P 2018-02-28 2018-02-28
US62/636,459 2018-02-28
CN201880090461.9A CN111788829B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
PCT/KR2018/007973 WO2019168244A1 (ko) 2018-02-28 2018-07-13 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN202210053418.3A CN114205619B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201880090461.9A Division CN111788829B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Publications (2)

Publication Number Publication Date
CN114205619A true CN114205619A (zh) 2022-03-18
CN114205619B CN114205619B (zh) 2024-03-19

Family

ID=67806372

Family Applications (6)

Application Number Title Priority Date Filing Date
CN202210053129.3A Active CN114205617B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053612.1A Active CN114205620B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053358.5A Active CN114205618B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053631.4A Pending CN114205621A (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053418.3A Active CN114205619B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN201880090461.9A Active CN111788829B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Family Applications Before (4)

Application Number Title Priority Date Filing Date
CN202210053129.3A Active CN114205617B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053612.1A Active CN114205620B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053358.5A Active CN114205618B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置
CN202210053631.4A Pending CN114205621A (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201880090461.9A Active CN111788829B (zh) 2018-02-28 2018-07-13 编码方法及其装置以及解码方法及其装置

Country Status (7)

Country Link
US (4) US11095903B2 (zh)
EP (1) EP3761640A4 (zh)
JP (3) JP7041277B2 (zh)
KR (4) KR102551363B1 (zh)
CN (6) CN114205617B (zh)
PH (1) PH12020500602A1 (zh)
WO (1) WO2019168244A1 (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018332398B2 (en) 2017-09-12 2022-11-24 Samsung Electronics Co., Ltd. Method for encoding and decoding motion information and device for encoding and decoding motion information
BR112020026686A2 (pt) * 2018-07-17 2021-03-30 Panasonic Intellectual Property Corporation Of America Sistema e método para codificação de vídeo
KR20210030357A (ko) 2018-07-18 2021-03-17 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 부호화 장치, 복호 장치, 부호화 방법 및 복호 방법
CN112602322B (zh) * 2018-08-28 2023-08-22 鸿颖创新有限公司 编码视频数据的装置和方法
CN111083489B (zh) 2018-10-22 2024-05-14 北京字节跳动网络技术有限公司 多次迭代运动矢量细化
WO2020084476A1 (en) 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Sub-block based prediction
WO2020084461A1 (en) * 2018-10-22 2020-04-30 Beijing Bytedance Network Technology Co., Ltd. Restrictions on decoder side motion vector derivation based on coding information
CN112913240A (zh) 2018-10-22 2021-06-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导和其他编解码工具之间的并置
EP3857879A4 (en) 2018-11-12 2022-03-16 Beijing Bytedance Network Technology Co., Ltd. SIMPLIFICATION OF COMBINED INTER-INTRA PREDICTION
WO2020101392A1 (ko) * 2018-11-14 2020-05-22 에스케이텔레콤 주식회사 인터 예측 방법 및 이를 이용한 영상 복호화 장치
KR20200056272A (ko) * 2018-11-14 2020-05-22 에스케이텔레콤 주식회사 인터 예측 방법 및 이를 이용한 영상 복호화 장치
JP7241870B2 (ja) 2018-11-20 2023-03-17 北京字節跳動網絡技術有限公司 部分的な位置に基づく差分計算
WO2020103870A1 (en) 2018-11-20 2020-05-28 Beijing Bytedance Network Technology Co., Ltd. Inter prediction with refinement in video processing
JP6933235B2 (ja) * 2018-12-13 2021-09-08 株式会社Jvcケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
MX2021003506A (es) 2018-12-13 2021-05-27 Jvckenwood Corp Dispositivo de decodificacion de imagenes, metodo de decodificacion de imagenes y programa de decodificacion de imagenes.
WO2020177756A1 (en) 2019-03-06 2020-09-10 Beijing Bytedance Network Technology Co., Ltd. Size dependent inter coding
CA3132582A1 (en) * 2019-03-07 2020-09-10 Digitalinsights Inc. Image encoding/decoding method and apparatus
CN113647099B (zh) 2019-04-02 2022-10-04 北京字节跳动网络技术有限公司 解码器侧运动矢量推导
JP7409802B2 (ja) * 2019-08-22 2024-01-09 シャープ株式会社 動画像復号装置および動画像符号化装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110200229A1 (en) * 2006-03-21 2011-08-18 Cuneyt Oncel Tuzel Object Detecting with 1D Range Sensors
US20120128071A1 (en) * 2010-11-24 2012-05-24 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
WO2013040394A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
CN103037184A (zh) * 2011-09-30 2013-04-10 索尼公司 投影仪设备和视频显示方法
JP2013102273A (ja) * 2011-11-07 2013-05-23 Fujitsu Ltd 動画像符号化装置、および動画像復号装置
US20140016704A1 (en) * 2011-03-10 2014-01-16 Huawei Technologies Co., Ltd. Encoding/decoding method, encoding apparatus, decoding apparatus, and system for video image
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
CN105791855A (zh) * 2012-01-18 2016-07-20 Jvc建伍株式会社 动图像解码装置以及动图像解码方法
EP3203743A1 (en) * 2014-10-31 2017-08-09 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
CN107113440A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4592656B2 (ja) * 2006-08-17 2010-12-01 富士通セミコンダクター株式会社 動き予測処理装置、画像符号化装置および画像復号化装置
JP4027398B1 (ja) * 2006-08-24 2007-12-26 三菱電機株式会社 動きベクトル検出装置
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP2009182657A (ja) * 2008-01-30 2009-08-13 Kyocera Corp 撮像装置における動画撮像データのブレ検出方法とブレ補正装置
JP2009251883A (ja) * 2008-04-04 2009-10-29 Namco Bandai Games Inc 画像生成システム、プログラム及び情報記憶媒体
JP2010200147A (ja) * 2009-02-26 2010-09-09 Mitsubishi Electric Corp 動き補償予測装置及び画像符号化装置
KR101847072B1 (ko) * 2010-04-05 2018-04-09 삼성전자주식회사 영상 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN107071458B (zh) * 2010-12-14 2020-01-03 M&K控股株式会社 用于编码运动画面的设备
EP4220966B1 (en) 2011-06-24 2024-06-05 Sun Patent Trust Image decoding device,
JP5786498B2 (ja) 2011-06-30 2015-09-30 株式会社Jvcケンウッド 画像符号化装置、画像符号化方法及び画像符号化プログラム
PL2728869T3 (pl) 2011-06-30 2022-02-28 Sun Patent Trust Sposób dekodowania obrazów
JP2013085096A (ja) * 2011-10-07 2013-05-09 Sony Corp 画像処理装置および方法
JP5701733B2 (ja) * 2011-10-13 2015-04-15 株式会社東芝 画像処理装置、画像処理システムおよび画像処理方法
JP5895469B2 (ja) * 2011-11-18 2016-03-30 富士通株式会社 動画像符号化装置、および動画像復号装置
KR101960761B1 (ko) * 2011-11-24 2019-03-22 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
WO2013077659A1 (ko) * 2011-11-24 2013-05-30 에스케이텔레콤 주식회사 모션 벡터의 예측 부호화/복호화 방법 및 장치
PL400344A1 (pl) * 2012-08-13 2014-02-17 Politechnika Poznanska Sposób wyznaczania predyktora wektora ruchu
US9485515B2 (en) * 2013-08-23 2016-11-01 Google Inc. Video coding using reference motion vectors
US9936219B2 (en) * 2012-11-13 2018-04-03 Lg Electronics Inc. Method and apparatus for processing video signals
JP5942818B2 (ja) * 2012-11-28 2016-06-29 株式会社Jvcケンウッド 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム
JP6151909B2 (ja) * 2012-12-12 2017-06-21 キヤノン株式会社 動画像符号化装置、方法およびプログラム
JP5983430B2 (ja) * 2013-01-25 2016-08-31 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像復号装置ならびに動画像復号方法
JP2015076781A (ja) * 2013-10-10 2015-04-20 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6192507B2 (ja) * 2013-11-20 2017-09-06 キヤノン株式会社 画像処理装置、その制御方法、および制御プログラム、並びに撮像装置
EP3111641A4 (en) * 2014-04-01 2017-11-08 MediaTek Inc. Method of motion information coding
KR102248172B1 (ko) * 2015-03-16 2021-05-04 한양대학교 산학협력단 영상 분석을 이용한 비디오 부호화/복호화 방법 및 장치
KR102583501B1 (ko) 2015-04-27 2023-09-27 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
WO2017039117A1 (ko) * 2015-08-30 2017-03-09 엘지전자(주) 영상의 부호화/복호화 방법 및 이를 위한 장치
WO2017131908A1 (en) * 2016-01-29 2017-08-03 Google Inc. Dynamic reference motion vector coding mode
EP3264769A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Method and apparatus for video coding with automatic motion information refinement
CN107645663B (zh) * 2016-07-20 2021-01-08 阿里巴巴集团控股有限公司 一种运动估计搜索范围的确定方法以及装置
CN117528107A (zh) * 2016-11-28 2024-02-06 英迪股份有限公司 图像编码方法、图像解码方法及用于传送比特流的方法
CN110463201B (zh) * 2017-03-22 2023-12-19 韩国电子通信研究院 使用参考块的预测方法和装置
WO2019059575A2 (ko) 2017-09-19 2019-03-28 삼성전자주식회사 움직임 정보의 부호화 및 복호화 방법, 및 움직임 정보의 부호화 및 복호화 장치

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110200229A1 (en) * 2006-03-21 2011-08-18 Cuneyt Oncel Tuzel Object Detecting with 1D Range Sensors
US20120128071A1 (en) * 2010-11-24 2012-05-24 Stmicroelectronics S.R.L. Apparatus and method for performing error concealment of inter-coded video frames
US20140016704A1 (en) * 2011-03-10 2014-01-16 Huawei Technologies Co., Ltd. Encoding/decoding method, encoding apparatus, decoding apparatus, and system for video image
WO2013040394A1 (en) * 2011-09-17 2013-03-21 Qualcomm Incorporated Hybrid motion vector coding modes for video coding
CN103037184A (zh) * 2011-09-30 2013-04-10 索尼公司 投影仪设备和视频显示方法
JP2013102273A (ja) * 2011-11-07 2013-05-23 Fujitsu Ltd 動画像符号化装置、および動画像復号装置
CN105791855A (zh) * 2012-01-18 2016-07-20 Jvc建伍株式会社 动图像解码装置以及动图像解码方法
JP2014027448A (ja) * 2012-07-26 2014-02-06 Sony Corp 情報処理装置、情報処理方法、及びプログラム
EP3203743A1 (en) * 2014-10-31 2017-08-09 Samsung Electronics Co., Ltd. Method and device for encoding/decoding motion vector
CN107113440A (zh) * 2014-10-31 2017-08-29 三星电子株式会社 使用高精度跳过编码的视频编码设备和视频解码设备及其方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
JIANLE CHEN 等: "《Algorithm Description of Joint Exploration Test Model 2》", 《JVET会议》 *
JIANLE CHEN 等: "《Algorithm Description of Joint Exploration Test Model 2》", 《JVET会议》, 25 March 2016 (2016-03-25) *
高振等: "基于修正运动矢量的H.264帧间模式快速判决研究", 《微型机与应用》 *
高振等: "基于修正运动矢量的H.264帧间模式快速判决研究", 《微型机与应用》, no. 10, 25 May 2010 (2010-05-25) *

Also Published As

Publication number Publication date
JP2022082582A (ja) 2022-06-02
KR20200055109A (ko) 2020-05-20
KR20230104771A (ko) 2023-07-10
KR20210022159A (ko) 2021-03-02
CN114205620B (zh) 2023-07-25
US20200366902A1 (en) 2020-11-19
CN114205617B (zh) 2024-03-19
US11095903B2 (en) 2021-08-17
JP7041277B2 (ja) 2022-03-23
US20230412819A1 (en) 2023-12-21
JP7288111B2 (ja) 2023-06-06
PH12020500602A1 (en) 2021-06-07
JP2021511754A (ja) 2021-05-06
CN114205617A (zh) 2022-03-18
US11611762B2 (en) 2023-03-21
US20230188730A1 (en) 2023-06-15
KR102551363B1 (ko) 2023-07-04
EP3761640A1 (en) 2021-01-06
KR20220020428A (ko) 2022-02-18
CN111788829A (zh) 2020-10-16
CN114205618A (zh) 2022-03-18
EP3761640A4 (en) 2022-01-12
JP2023099759A (ja) 2023-07-13
CN114205618B (zh) 2023-07-25
WO2019168244A1 (ko) 2019-09-06
US20210377546A1 (en) 2021-12-02
US11825100B2 (en) 2023-11-21
CN111788829B (zh) 2022-02-08
KR102551362B1 (ko) 2023-07-04
CN114205621A (zh) 2022-03-18
CN114205619B (zh) 2024-03-19
CN114205620A (zh) 2022-03-18
KR102220474B1 (ko) 2021-02-25

Similar Documents

Publication Publication Date Title
CN111788829B (zh) 编码方法及其装置以及解码方法及其装置
KR102504876B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102487077B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102444294B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20200133327A (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102484387B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR20170136411A (ko) 부호화 순서 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
CN111543056A (zh) 编码方法及其设备以及解码方法及其设备
CN111837387A (zh) 编码方法及其装置以及解码方法及其装置
CN113574872A (zh) 编码方法及其装置以及解码方法及其装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant