CN104488272A - 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备 - Google Patents

用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备 Download PDF

Info

Publication number
CN104488272A
CN104488272A CN201380035705.0A CN201380035705A CN104488272A CN 104488272 A CN104488272 A CN 104488272A CN 201380035705 A CN201380035705 A CN 201380035705A CN 104488272 A CN104488272 A CN 104488272A
Authority
CN
China
Prior art keywords
motion vector
candidate
reference picture
candidate blocks
current block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380035705.0A
Other languages
English (en)
Other versions
CN104488272B (zh
Inventor
金壹求
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to CN201810151416.1A priority Critical patent/CN108055551A/zh
Publication of CN104488272A publication Critical patent/CN104488272A/zh
Application granted granted Critical
Publication of CN104488272B publication Critical patent/CN104488272B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种用于对视频进行编码和解码的运动矢量预测方法和设备。运动矢量预测方法包括：从当前块的多个邻近块确定多个候选块，其中，所述多个候选块被参考以预测当前块的运动矢量；基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量；通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。

Description

用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
技术领域
本公开涉及对视频进行编码和解码，更具体地说，涉及执行通过执行帧间预测和/或运动补偿来对视频进行编码和解码。
背景技术
随着用于再现和存储高分辨率或高质量视频内容的硬件正被开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。在传统的视频编解码器中，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编码。
空间域中的图像数据通过频率变换被转换为频域中的系数。在视频编解码器中，图像被划分为具有预定尺寸的块，并且对每个块执行离散余弦变换(DCT)以按块单元对频率系数进行编码，从而快速执行频率变换。与空间域中的图像数据相比，频域中的系数容易被压缩。具体地，由于经由视频编解码器的帧间预测或帧内预测以预测误差表示空间域中的图像像素值，因此当对预测误差执行频率变换时，大量数据可被转换为0。视频编解码器用具有小尺寸的数据来代替连续并重复出现的数据，从而减少数据量。
发明内容
技术问题
本公开提供了一种经由运动矢量预测来确定运动矢量的方法和设备，并提供了一种伴有经由运动矢量预测的帧间预测和运动补偿的对视频进行编码的方法和设备、以及一种伴有经由运动矢量预测的运动补偿的对视频进行解码的方法和设备。
技术方案
根据本公开的一个或更多个实施例，提供了一种用于帧间预测的运动矢量预测方法，所述运动矢量预测方法包括：从当前块的多个邻近块确定多个候选块，其中，所述多个候选块被参考以预测当前块的运动矢量；基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量；通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。
有益效果
根据在此公开的一个或更多个实施例，在当前块和当前块的参考图像中的至少一个是长期参考图像时，调整候选块的运动矢量的尺寸的操作或参考候选块的运动矢量的操作被省略，并可通过参考具有相对高预测精确度的另一候选块的运动矢量来预测当前块。因此，预测运动矢量的操作的效率可被提高。
附图说明
图1是根据本公开的实施例的运动矢量预测设备的框图；
图2是根据本公开的实施例的运动矢量预测方法的流程图；
图3示出根据本公开的实施例的与当前块在空间上邻近的邻近块；
图4a是示出根据本公开的实施例的当候选块是另一图像的共同定位(collocated)块的情况的示图；
图4b是用于描述根据本公开的实施例的当候选块是同一图像的邻近块的情况的示图；
图5是示出根据本公开的实施例的伴有运动矢量预测方法的视频编码方法的流程图；
图6是示出根据本公开的实施例的伴有运动矢量预测方法的视频解码方法的流程图；
图7是根据本公开的实施例的包括运动矢量预测设备的视频编码器的框图；
图8是根据本公开的实施例的包括运动矢量预测设备的视频解码器的框图；
图9是根据本公开的实施例的基于根据树结构的编码单元的视频编码设备的框图；
图10是根据本公开的实施例的基于根据树结构的编码单元的视频解码设备的框图；
图11是用于描述根据本公开的实施例的编码单元的概念的示图；
图12是根据本公开的实施例的基于编码单元的图像编码器的框图；
图13是根据本公开的实施例的基于编码单元的图像解码器的框图；
图14是示出根据本公开的实施例的根据深度的较深层编码单元以及分区的示图；
图15是用于描述根据本公开的实施例的编码单元与变换单元之间的关系的示图；
图16是用于描述根据本公开的实施例的与编码深度相应的编码单元的编码信息的示图；
图17是根据本公开的实施例的根据深度的较深层编码单元的示图；
图18至图20是用于描述根据本公开的实施例的编码单元、预测单元和变换单元之间的关系的示图；
图21是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图；
图22是根据本公开的实施例的存储有程序的盘的物理结构的示图；
图23是用于通过使用盘来记录和读取程序的盘驱动器的示图；
图24是用于提供内容分发服务的内容供应系统的整体结构的示图；
图25和图26分别是根据本公开的实施例的应用了视频编码方法和视频解码方法的移动电话的内部结构和外部结构的示图；
图27是根据本公开的实施例的应用了通信系统的数字广播系统的示图；
图28是示出根据本公开的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
最佳实施方式
根据在此公开的实施例，提供了一种用于帧间预测的运动矢量预测方法，所述运动矢量预测方法包括：从当前块的多个邻近块确定多个候选块，其中，所述多个候选块被参考以预测当前块的运动矢量；基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量；通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。
确定第一候选块的候选运动矢量的步骤可包括：在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，将第一候选块的当前运动矢量确定为第一候选块的候选运动矢量。
确定第一候选块的候选运动矢量的步骤可包括：在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，基于当前图像和当前块的参考图像之间的距离与第一候选块的图像和第一候选块的参考图像之间的距离之比，改变第一候选块的当前运动矢量，并将改变后的当前运动矢量确定为第一候选块的候选运动矢量。
第一候选块可以是包括当前块的当前图像中的当前块的邻近块、或者可以是先于当前图像被恢复的图像中的与当前块处于相同位置的共同定位块。
根据在此公开的实施例，提供了一种用于帧间预测的运动矢量预测设备，所述运动矢量预测设备包括：候选块确定器，用于从当前块的多个邻近块确定多个候选块，并基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量，其中，所述多个候选块被参考以预测当前块的运动矢量；运动矢量确定器，用于通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。
根据在此公开的实施例，提供了一种计算机可读记录介质，其中，在所述计算机可读记录介质上记录有用于执行所述运动矢量预测方法的程序。
具体实施方式
以下，将参照图1至图4b描述根据本公开的实施例的运动矢量预测设备和运动矢量确定方法。此外，将参照图5和图8描述根据本公开的实施例的伴有运动矢量预测方法的视频编码和解码方法以及视频编码和解码设备。此外，将参照图9至图21描述根据本公开的实施例的基于具有树结构的编码单元并且伴有运动矢量预测操作的视频编码操作和视频解码操作。以下，“图像”可表示静止图像或视频的运动图像、或者视频本身。
首先，将参照图1至图4b描述根据在此公开的实施例的运动矢量预测设备和运动矢量确定方法。随后，将参照图5和图8描述根据在此公开的实施例的伴有运动矢量预测方法的视频编码和解码方法以及视频编码和解码设备。
图1是根据本公开的实施例的运动矢量预测设备10的框图。
运动矢量预测设备10包括候选块确定器12和运动矢量确定器14。
帧间预测利用当前图像和另一图像之间的相似性。从先于当前图像被恢复的参考图像检测与当前图像的当前区域相似的参考区域。当前区域和参考区域的坐标之间的距离被表示为运动矢量，当前区域和参考区域的像素值之间的差被表示为残差数据。因此，经由对当前区域的帧间预测，可输出指示参考图像的索引、运动矢量和残差数据，而不是直接输出当前区域的图像信息。
根据实施例的运动矢量预测设备10可根据视频的每个图像的块来执行帧间预测。块可具有正方形形状、矩形形状或任何几何形状，并且不受限于具有预定尺寸的数据单元。根据实施例的块可以是根据树结构的编码单元之中的最大编码单元、编码单元、预测单元或变换单元。稍后将参照图9至图21描述基于根据树结构的编码单元的视频编码操作和视频解码操作。
用于当前图像的帧间预测的参考图像必须先于当前图像被解码。根据实施例的用于帧间预测的参考图像可被分类为短期(short-term)参考图像和长期(long-term)参考图像。解码画面缓冲器存储经由对先前图像的运动补偿而产生的恢复图像。产生的恢复图像可被用作用于对其它图像进行帧间预测的参考图像。因此，可从解码画面缓冲器中存储的恢复图像之中选择用于当前图像的帧间预测的至少一个短期参考图像或至少一个长期参考图像。短期参考图像可以是根据解码顺序在当前图像之前刚被解码或最近被解码的图像，而长期参考图像可以是比当前图像解码早得多而被选择并存储在解码画面缓冲器中被用作用于对其它图像进行帧间预测的参考图像的图像。
为了运动矢量预测、预测单元(PU)合并、或高级运动矢量预测(AMVP)，可通过参考另一块的运动矢量来确定当前块的运动矢量。
运动矢量预测设备10可通过参考与当前块在时间上或在空间上邻近的另一块的运动矢量来确定当前块的运动矢量。运动矢量预测设备10可确定候选运动矢量列表，其中，候选运动矢量列表包括可被参考的多个候选块的多个运动矢量。运动矢量预测设备10可通过参考从候选运动矢量列表选择的一个运动矢量来确定当前块的运动矢量。
候选块确定器12可从当前块周围的多个邻近块之中确定多个候选块，其中，所述多个候选块可被参考以预测当前块的运动矢量。
根据本公开的实施例的候选块可以是当前块的当前图像中与当前块邻近的邻近块、或者是先于当前图像被恢复的图像中与当前块处于相同位置的共同定位块。
运动矢量确定器14可产生候选运动矢量列表，候选运动矢量列表包括被参考以预测当前块的运动矢量的多个候选块的候选运动矢量。
运动矢量确定器14可基于多个候选块之中的一个候选块的参考图像和当前块的参考图像是否均是长期参考图像，将该候选块的运动矢量确定为将成为候选运动矢量列表中的一个候选运动矢量的候选运动矢量。候选矢量确定器14可选择候选块的当前运动矢量作为候选运动矢量，或者对当前运动矢量进行缩放并且随后选择缩放后的当前运动矢量作为候选运动矢量。确定的候选运动矢量可被包括在候选运动矢量列表中。
当候选块的参考图像与当前块的参考图像不同时，运动矢量确定器14可确定当前块的参考图像和候选块的参考图像是否均是长期参考图像。运动矢量确定器14可基于当前块的参考图像和候选块的参考图像是否均是短期参考图像或长期参考图像，确定如何使用候选块的运动矢量。
在当前块的参考图像和候选块的参考图像都是长期参考图像时，运动矢量确定器14可将候选块的当前运动矢量确定为候选运动矢量。这里，候选块的当前运动矢量在不进行缩放的情况下被包括在候选运动矢量列表中。
在当前块的参考图像和候选块的参考图像都是短期参考图像时，运动矢量确定器14可对候选块的当前运动矢量进行缩放。这里，候选块确定器12可基于当前图像和当前块的参考图像之间的距离与候选块的图像和候选块的参考图像之间的距离之比，对候选块的当前运动矢量进行缩放。运动矢量确定器14可将候选块的缩放后的当前运动矢量包括在候选运动矢量列表中。
在当前块的参考图像和候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，候选矢量确定器14可确定不将候选块的运动矢量用作候选运动矢量列表的候选运动矢量。候选块的参考可能性信息可被设置为不可用(disabled)状态。
可选择地，在当前块的参考图像和候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，第一候选块的候选运动矢量可被设置为0。
运动矢量确定器14可从候选运动矢量列表确定至少一个候选运动矢量，并通过使用选择的至少一个候选运动矢量确定当前块的运动矢量。运动矢量确定器14可复制、组合或修改所述至少一个候选运动矢量以确定当前块的运动矢量。
图2是示出根据本公开的实施例的运动矢量预测方法的流程图。
通过使用根据本公开的实施例的运动矢量预测设备10，可通过使用与当前块在时间上或空间上邻近的块的运动矢量来预测当前块的运动矢量。可选择地，可确定能够预测运动矢量的多个候选块，可选择多个候选块之一，并可通过参考所选择的候选块的运动矢量来确定当前块的运动矢量。
当由多个候选块之中的预定候选块的参考索引指示的参考图像与当前块的参考图像不同并且运动矢量预测设备10通过参考该预定候选块的运动矢量来预测当前块的运动矢量时，即使在该预定候选块的运动矢量被缩放时，预测的运动矢量的精确度也会下降。因此，在当前块的参考图像与该预定候选块的参考图像彼此不同时，运动矢量预测设备10可确定是否对该预定候选块的运动矢量进行缩放和参考，或者可确定是否不参考相应的运动矢量。
现在参照图2的操作21、23和25来描述运动矢量预测方法，其中，由运动矢量预测设备10从候选块的运动矢量预测当前块的运动矢量。
在操作21，运动矢量预测设备10可从与当前块在空间上邻近的邻近块或者从在时间上在当前图像之前或之后的图像之中的与当前块处于相同位置的块，确定将被参考的候选块。
在操作23，运动矢量预测设备10可基于当前块的参考图像和第一候选块的参考图像是否均是长期参考图像，将第一候选块的运动矢量确定为当前块的候选运动矢量。
在操作25，运动矢量预测设备10可确定候选运动矢量列表，其中，该候选运动矢量列表包括第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。运动矢量预测设备10可通过使用候选运动矢量列表中的至少一个候选运动矢量来确定当前块的运动矢量。
在第一候选块的参考图像与当前块的参考图像不同时，运动矢量预测设备10可基于当前块的参考图像和第一候选块的参考图像是否均是短期参考图像或长期参考图像，确定是否将第一候选块的运动矢量用作候选运动矢量列表中的候选运动矢量。
运动矢量预测设备10可通过使用指示当前块的参考图像是否是长期参考图像的长期参考索引，确定当前块的参考图像是否是长期参考图像。类似地，通过使用第一候选块的长期参考索引来确定第一候选块的参考图像是否是长期参考图像。
在操作25，在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，运动矢量预测设备10可将第一候选块的当前运动矢量包括在候选运动矢量列表中，而不对第一候选块的当前运动矢量进行缩放。
在操作25，在当前块的参考图像和第一候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，可确定在候选运动矢量列表中不使用第一候选块的运动矢量。
在操作25，在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，可根据当前图像和当前块的参考图像之间的距离与第一候选块的图像和第一候选块的参考图像之间的距离之比，对第一候选块的当前运动矢量进行缩放。缩放后的当前运动矢量可被包括在候选运动矢量列表中。
经由操作21、23和25，运动矢量预测设备10可确定候选运动矢量列表。在当前块的参考图像和第一候选块的参考图像中只有一个参考图像是长期参考图像时，运动矢量预测设备10可从候选运动矢量列表排除第一候选块的运动矢量，并因此不参考第一候选块的运动矢量。因此，运动矢量预测设备10可通过参考候选运动矢量列表中的剩余运动矢量来确定当前块的运动矢量。
在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，运动矢量预测设备10在不对第一候选块的运动矢量进行缩放的情况下将第一候选块的运动矢量包括在候选运动矢量列表中。因此，运动矢量预测设备10可从第一候选块的运动矢量和剩余候选运动矢量之中选择最佳参考运动矢量，并基于选择的最佳参考运动矢量来确定当前块的运动矢量。
在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，运动矢量预测设备10对第一候选块的当前运动矢量进行缩放，并将缩放后的当前运动矢量作为候选运动矢量包括在候选运动矢量列表中。因此，运动矢量预测设备10可从第一候选块的候选运动矢量和剩余候选运动矢量之中选择最佳参考运动矢量，并且通过使用选择的最佳参考运动矢量来确定当前块的运动矢量。
如上所述，根据以上参照图1和图2描述的运动矢量预测设备10和运动矢量预测方法，在当前块的参考图像和候选块的参考图像中的至少一个是长期参考图像时，对候选块的运动矢量进行缩放的操作或者参考候选块的运动矢量的操作可被省略。
换句话说，如果在当前块的参考图像和候选块的参考图像彼此不同并且当前块的参考图像和候选块的参考图像中的至少一个是长期参考图像时，通过参考候选块的运动矢量来预测当前块的运动矢量，则预测的运动矢量的精确度会下降。因此，参考候选块的运动矢量的操作(其预测精确度低)可被省略，并且可通过参考另一候选块的运动矢量(其预测精确度相对高)来预测当前块。因此，预测运动矢量的效率可增加。
图3示出根据本公开的实施例的与当前块20在空间上邻近的邻近块。
为了预测当前块20的编码信息，与当前块20在空间上邻近的邻近块之中的块A021、块A122、块B023、块B124和块B225中的至少一个的编码信息可被参考。在图3中，块A021、块A122、块B023、块B124和块B225的尺寸没有显示邻近块的实际尺寸。这里，块A021、块A122,、块B023、块B124和块B225显示出位于相对于当前块20的相对方向上的块。
块的x坐标从左到右增加，块的y坐标从上到下增加。块A021可以是包括x坐标和y坐标都小于左下采样点的采样点的块。块A122可以是包括x坐标小于左下采样点而y坐标与左下采样点相同的采样点的块。块B023可以是包括x坐标和y坐标都大于右上采样点的采样点的块。块B124可以是包括y坐标小于右上采样点而x坐标与右上采样点相同的采样点的块。块B225可以是包括x坐标和y坐标都小于左上采样点的采样点的块。
运动矢量预测设备10可将块A021、块A122、块B023、块B124和块B225用作候选块以预测当前块20的运动矢量。因此，运动矢量预测设备10可参考当前块20周围的邻近块之中的块A021、块A122、块B023、块B124和块B225的编码信息。
运动矢量预测设备10可通过使用包括在候选运动矢量列表中的候选运动矢量来确定将成为当前块的参考块的候选块，其中，该候选块的预测信息将与当前块20的预测信息合并(merge)。所确定的候选块的预测信息可被编码为当前块的预测信息。
例如，当块A021、块A122、块B023、块B124和块B225之中的块A021的编码信息与当前块20的编码信息相同时，当前块20可与块A021合并并被编码。通过将当前块20与块A021合并，块A021和当前块20的编码信息的重叠部分不被重复地编码。因此，当编码器输出块A021的编码信息时，当前块20的编码信息可不被再次输出。甚至在当前块20的编码信息没有被解析而接收器解析了针对包括被相互合并的当前块20和块A021的块的编码信息时，解码器可通过使用针对块A021预先解析的编码信息来对当前块20进行解码。
运动矢量预测设备10可通过将候选运动矢量列表中的至少一个候选运动矢量进行组合来预测当前块20的运动矢量。
在预测运动矢量的同时，可通过使用位于与当前块20邻近的块A021、块A122、块B023、块B124和块B225的运动矢量来确定当前块20的运动矢量。可通过使用块A021、块A122、块B023、块B124和块B225的运动矢量估计量来确定当前块20的运动矢量估计量。可选择地，可通过使用块A021、块A122、块B023、块B124和块B225中的两个或更多个运动矢量(运动矢量估计量)的组合来确定当前块20的运动矢量估计量。
因此，可从块A021、块A122、块B023、块B124和块B225的运动矢量(运动矢量估计量)中的至少一个来预测当前块20的运动矢量(运动矢量估计量)。因此，当编码器首先编码并输出块A021、块A122、块B023、块B124和块B225的运动矢量(运动矢量估计量)时，编码器可不对当前块20的运动矢量(运动矢量估计量)进行编码。甚至在没有接收到当前块20的运动矢量(运动矢量估计量)时，解码器可通过使用块A021、块A122、块B023、块B124和块B225的运动矢量(运动矢量估计量)中的至少一个来预测当前块20的运动矢量(运动矢量估计量)。
以下，将参照图4a和图4b描述根据候选块的类型的运动矢量预测方案。
图4a是用于描述根据本公开的实施例的当候选块是另一图像的共同定位块36的情况的示图。
共同定位图像35是先于当前图像30被恢复的图像，并且可被参考以用于对当前图像30中的当前块31进行帧间预测。可根据当前块31的共同定位索引32来确定共同定位图像35。
共同定位图像35中与当前图像30的当前块31处于相同位置的块可被确定为共同定位块36。运动矢量预测设备10可将共同定位块36用作将被参考以预测当前块31的运动矢量34的候选块。因此，可通过参考共同定位块36的运动矢量37来预测当前块31的运动矢量34。
可根据由共同定位块36的参考索引指示的画面顺序计数(POC)来确定共同定位参考图像38。可根据由当前块31的参考索引指示的POC来确定当前参考图像33。
然而，当共同定位参考图像38与当前参考图像33彼此不同时，运动矢量预测设备10可再次确定是否参考共同定位块36的运动矢量37，或如何参考共同定位块36的运动矢量37。
详细地说，当共同定位块36的参考索引与当前块31的参考索引彼此不同时，运动矢量预测设备10可通过使用共同定位块36的长期参考索引和当前块31的长期参考索引，确定共同定位参考图像38和当前参考图像33是否均是短期参考图像或长期参考图像。
然而，当共同定位参考图像38与当前参考图像33彼此不同时，运动矢量预测设备10可再次确定是否参考共同定位块36的运动矢量37，或如何参考共同定位块36的运动矢量37。
当共同定位参考图像38与当前参考图像33彼此不同，但是都是短期参考图像时，可基于共同定位图像35和共同定位参考图像38之间的距离Td与当前图像30和当前参考图像33之间的距离Tb之比，对共同定位块36的运动矢量37进行缩放。这里，可基于当前图像30和共同定位参考图像38的POC之间的差值，确定当前图像30和共同定位参考图像38之间的距离Td。类似地，可基于当前图像30和当前参考图像33的POC之间的差值，确定当前图像30和当前参考图像33之间的距离Tb。
换句话说，在当前参考图像33和共同定位参考图像38都是短期参考图像时，候选运动矢量MVcol’可被更新为通过将共同定位块36的运动矢量37MVcol乘以距离Td与距离Tb之比而获得的值(MVcol’＝MVcol×Tb/Td)。
因此，在当前参考图像33与共同定位参考图像38彼此不同，但是都是短期参考图像时，运动矢量预测设备10可在候选运动矢量列表中将共同定位块36的运动矢量37改变为候选运动矢量MVcol’。
在当前参考图像33和共同定位参考图像38中的一个是短期参考图像而另一个是长期参考图像时，可将不可用(not-available)标记分配给共同定位块36的运动矢量37。在这种情况下，可从当前图像30的候选运动矢量列表排除共同定位块36的运动矢量37。
在当前参考图像33和共同定位参考图像38都是长期参考图像时，可保持共同定位块36的运动矢量37。在这种情况下，可在候选运动矢量列表中保持共同定位块36的运动矢量37，而不对运动矢量37进行缩放。
图4b是用于描述根据本公开的实施例的当候选块是同一图像的邻近块46的情况的示图。
运动矢量预测设备10可将当前图像40中与当前块41邻近的邻近块46用作将被参考以预测当前块41的运动矢量44的候选块。因此，可通过参考邻近块46的运动矢量47来预测当前块41的运动矢量44。
可根据由邻近块46的参考索引指示的POC来确定邻近参考图像48。可根据由当前块41的参考索引指示的POC来确定当前参考图像43。
然而，当邻近参考图像48与当前参考图像43彼此不同时，运动矢量预测设备10可再次确定是否参考邻近块46的运动矢量47，或者如何参考邻近块46的运动矢量47。
详细地，当邻近块46的参考索引与当前块41的参考索引彼此不同时，运动矢量预测设备10可通过使用邻近块46的长期参考索引和当前块41的长期参考索引，确定邻近块46和当前参考图像43是否均是短期参考图像或长期参考图像。
然而，当邻近块46与当前参考图像33彼此不同时，运动矢量预测设备10可确定是否参考邻近块46的运动矢量47，或者如何参考邻近块46的运动矢量47。
在当前参考图像43与邻近参考图像48彼此不同，但是都是短期参考图像时，可基于当前图像40和邻近参考图像48之间的距离Td与当前图像40和当前参考图像43之间的距离Tb之比，对邻近块46的运动矢量47进行缩放。这里，可基于当前图像40和邻近参考图像48的POC的差值来确定当前图像40和邻近参考图像48之间的距离Td。类似地，可基于当前图像40和当前参考图像43的POC的差值来确定当前图像40和当前参考图像43之间的距离Tb。
换句话说，在当前参考图像43和邻近参考图像48都是短期参考图像时，候选运动矢量MVne’可被更新为通过将距离Td与距离Tb之比乘以邻近块46的运动矢量47(MVne)而获得的值(MVne’＝MVne×Tb/Td)。
因此，在当前参考图像43和邻近参考图像48彼此不同，但是都是短期参考图像时，运动矢量预测设备10可在候选运动矢量列表中将邻近块46的运动矢量47改变为候选运动矢量MVne’。
在当前参考图像43和邻近参考图像48中的一个是短期参考图像而另一个是长期参考图像时，可将不可用标记分配给邻近块46的运动矢量47。在这种情况下，可从当前图像40的候选运动矢量列表排除邻近块46的运动矢量47。
在当前参考图像43和邻近参考图像48都是长期参考图像时，可保持邻近块46的运动矢量47。在这种情况下，可在候选运动矢量列表中保持邻近块46的运动矢量47，而不对运动矢量47进行缩放。
在图4a和图4b中，运动矢量预测设备10可通过使用当前块31或41和共同定位块36或邻近块46的长期参考索引，确定当前参考图像33或43和候选块(共同定位块36或邻近块46)的参考图像(共同定位参考图像38或邻近参考图像48)是否均是短期参考图像或长期参考图像，并确定是否参考共同定位块36的运动矢量37或邻近块46的运动矢量47，或者确定是否在缩放之后参考共同定位块36的运动矢量37或邻近块46的运动矢量47。
现在将参照图5和图6来描述根据实施例的伴有运动矢量预测方法的视频编码方法和视频解码方法。
图5是示出根据本公开的实施例的伴有运动矢量预测方法的视频编码方法的流程图。
在操作51，根据运动矢量预测方法，可从当前块的多个邻近块确定多个候选块，并可基于当前块的参考图像和候选块的参考图像是否均是长期参考图像，将候选块的运动矢量确定为当前块的一个或更多个候选运动矢量。
当候选块中的第一候选块的参考图像与当前块的参考图像不同时，基于当前块的参考图像和第一候选块的参考图像是否均是长期参考图像来确定是按原样使用第一候选块的运动矢量还是在缩放之后使用第一候选块的运动矢量。
在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，可将第一候选块的运动矢量包括在候选运动矢量列表中，而不对第一候选块的运动矢量进行缩放。
在当前块的参考图像和第一候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，可确定在候选运动矢量列表中不使用第一候选块的运动矢量。
在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，可在对第一候选块的运动矢量进行缩放之后，将第一候选块的运动矢量包括在候选运动矢量列表中。
在操作53，可确定包括候选块的候选运动矢量的候选运动矢量列表，并且可通过使用候选运动矢量列表中的至少一个候选运动矢量来确定当前块的运动矢量。
可将候选运动矢量列表中的一个候选运动矢量选为参考运动矢量。可在将选择的候选运动矢量确定为参考运动矢量之前，修改选择的候选运动矢量。可选择地，至少一个候选运动矢量可被选择并被组合以被确定为当前块的运动矢量。例如，当存在运动矢量的差信息时，可将差信息与参考运动矢量进行合成，以便确定当前块的运动矢量。
当在当前块的参考图像中确定了由确定的当前块的运动矢量指示的参考块时，参考块和当前块之间的残差数据可被产生。
在操作55，残差数据被变换和量化，以产生量化后的变换系数。
可根据当前图像的块执行操作51至55，从而根据块产生量化的变换系数。另外，可根据块对量化的变换系数执行熵编码，以便产生并输出比特流。
可由视频编码设备来实现图5的视频编码方法。由于执行图5的视频编码方法的视频编码处理器通过被安装在视频编码设备中，或者与视频编码设备进行外部协作而被操作，因此包括帧间预测、变换和量化的视频编码操作可被执行。视频编码设备的视频编码处理器可不仅作为单独的处理器执行基本视频编码处理，而且视频编码设备、中央处理设备或图形处理设备包括视频编码处理模块。
图6是示出根据本公开的实施例的伴有运动矢量预测方法的视频解码方法的流程图。
在操作61，可接收当前块的参考索引和量化后的变换系数以及候选块的运动矢量。
在操作63，可对在操作61接收到的当前块的量化后的变换系数执行反量化和逆变换，以恢复当前块的残差数据。
在操作65，可确定将被参考以预测当前块的运动矢量的候选块。可基于多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量。
在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，可在不对该候选块的运动矢量进行缩放的情况下参考该候选块的运动矢量。
在当前块的参考图像和第一候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，可确定不参考第一候选块的运动矢量。
在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，可对该候选块的运动矢量进行缩放并且随后参考该候选块的运动矢量。
在操作67，可产生包括操作65中确定的候选运动矢量的候选运动矢量列表。可通过使用候选运动矢量列表中的至少一个候选运动矢量来确定参考运动矢量。一个候选运动矢量可被选择并且按原样被使用，或者可在被用作参考运动矢量之前被修改。可选择地，至少一个候选运动矢量可被组合以用作参考运动矢量。
可在由接收的当前块的参考索引指示的当前块的参考图像中确定由当前块的运动矢量指示的参考块。可通过将残差数据和确定的参考块进行合成来恢复当前块。
可通过根据块执行操作61至67来恢复包括恢复的当前块的当前图像。当图像被这样恢复时，包括恢复的图像的序列的视频可被恢复。
当通过在视频解码操作期间一接收到编码比特流就对编码比特流进行解码来恢复视频时，可执行操作61至67。这里，在操作61，可对接收到的编码比特流进行解析，并且可从解析的比特流提取当前块的参考索引和量化后的变换系数以及候选块的运动矢量。
在以上参照图5描述的视频编码方法期间，还可执行操作61至67，以产生将被参考以用于对另一图像进行帧间预测的恢复图像。这里，在操作61，可接收经由帧间预测、变换和量化而产生的当前块的参考索引和量化后的变换系数以及候选块的运动矢量，并且随后执行操作63至67，以将最终恢复的当前图像用作用于对另一图像进行帧间预测的参考图像。
可由视频解码设备来实现图6的视频解码方法。当用于执行图6的视频解码方法的视频解码处理器通过被安装在视频解码设备中或者与视频解码设备进行外部协作而被操作时，包括反量化、逆变换和预测/补偿的视频解码操作可被执行。视频解码设备的视频解码处理器可不仅作为单独的处理器执行基本视频解码处理，而且视频解码设备、中央处理设备或图形处理设备包括视频解码处理模块。
现在将参照图7和图8来描述根据本公开的实施例的包括运动矢量预测设备10的视频编码器70和视频解码器80。
图7是根据本公开的实施例的包括运动矢量预测设备10的视频编码器70的框图。
视频编码器70可包括帧间预测单元71和变换量化单元75。帧间预测单元71可包括根据实施例的运动矢量预测设备10和残差产生器73。
运动矢量预测设备10根据块确定运动矢量。此外，为了运动矢量预测、预测单元(PU)合并或高级运动矢量预测(AMVP)，可通过参考另一块的运动矢量来预测当前块的运动矢量。运动矢量预测设备10可确定当前块的候选运动矢量列表以进行运动矢量预测。可从包括在候选运动矢量列表中的候选运动矢量确定一个参考运动矢量。
运动矢量预测设备10可基于候选运动矢量列表中的多个候选块之中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定如何参考第一候选块的运动矢量。
运动矢量预测设备10可通过从候选运动矢量列表中的多个候选运动矢量选择最佳候选运动矢量来确定参考运动矢量，并且通过使用参考运动矢量来预测当前块的运动矢量。
残差产生单元73可从当前块的参考图像确定由当前块的运动矢量指示的参考块，并可产生参考块和当前块之间的残差数据。
因此，帧间预测单元71可通过根据块执行帧间预测，来根据块输出残差数据。
变换量化单元75可对由帧间预测单元71输出的残差数据执行变换和量化，来产生量化变换系数。变换量化单元75可通过根据从帧间预测单元71接收到的块对残差数据执行变换和量化，来根据块产生量化后的变换系数。
视频编码器70可对由变换量化单元75产生的量化后的变换系数执行熵编码来输出编码比特流。此外，当从帧间预测单元71输出参考索引、运动矢量和长期参考索引时，视频编码器70不仅可对量化后的变换系数执行熵编码，还可对参考索引、运动矢量和长期参考索引执行熵编码，以输出比特流。
图8是根据本公开的实施例的包括运动矢量预测设备10的视频解码器80的框图。
视频解码器80包括反量化和逆变换单元81以及运动补偿单元83。帧间预测单元71可包括根据实施例的运动矢量预测设备10以及块恢复器85。
视频解码器80可接收当前块的参考索引和量化后的变换系数以及候选块的运动矢量。反量化和逆变换单元81可通过对接收的当前块的量化后的变换系数执行反量化和逆变换，恢复当前块的残差数据。
运动补偿单元83可通过对经由帧间预测被编码的当前块执行运动补偿，恢复当前块。
运动矢量预测设备10根据块确定运动矢量。运动矢量预测设备10可确定当前块的候选运动矢量列表以进行运动矢量预测。候选块可以是共同定位块或邻近块。运动矢量预测设备10可从包括在候选运动矢量列表中的候选运动矢量确定一个参考运动矢量。
运动矢量预测设备10可基于多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定如何参考第一候选块的运动矢量。
运动矢量预测设备10可通过从包括在候选运动矢量列表中的多个候选运动矢量选择最佳候选运动矢量，确定参考运动矢量，并可通过使用参考运动矢量来预测并确定当前块的运动矢量。
块恢复器85可确定由通过视频解码器80接收到的当前块的参考索引指示的当前块的参考图像。由运动矢量预测设备10确定的当前块的运动矢量指示参考图像中的参考块，并且可通过对当前块的残差数据和参考块进行合成来恢复当前块。
因此，运动补偿单元83可通过根据块执行运动补偿来恢复块，并恢复包括恢复的块的当前图像。因此，当图像被恢复时，视频解码器80可恢复包括图像序列的视频。
视频解码器80还可包括环内(in-loop)滤波单元，其中，环内滤波单元对恢复的当前块以及包括恢复的块的恢复的图像执行去块滤波。
视频解码器80可通过在接收到编码比特流时对编码比特流进行解码来恢复视频。这里，视频解码器80可对接收的比特流进行解析，并可从解析的比特流提取当前块的参考索引和量化后的变换系数以及候选块的运动矢量。此外，视频解码器80还可包括接收比特流的接收器，对比特流执行熵解码，并从比特流解析并提取当前块的的参考索引和量化后的变换系数以及候选块的运动矢量。
另外，为了使图7的视频编码器70产生将被参考以对另一图像进行帧间预测的恢复图像，视频解码器80可被组合到视频编码器70。这里，视频解码器80可接收候选块的运动矢量以及经由视频编码器70的帧间预测、变换和量化而产生并输出的当前块的参考索引和量化后的变换系数，并可输出通过反量化和逆变换单元81以及运动补偿单元83最终恢复的当前图像。由视频解码器80输出的恢复图像可被用作由视频编码器70对另一图像进行帧间预测的参考图像。
如上所述，运动矢量预测设备10可将视频数据的块划分为具有树结构的编码单元，并且用于对编码单元进行帧间预测的预测单元可被使用。以下，将参照图9至图22描述基于具有树结构的编码单元和变换单元的视频编码方法、视频编码设备、视频解码方法和视频解码设备。
图9是根据本公开的实施例的基于根据树结构的编码单元的视频编码设备100的框图。
包括基于根据树结构的编码单元进行视频预测的基于根据树结构的编码单元的视频编码设备100包括最大编码单元划分器110、编码单元确定器120和输出单元130。为了方便解释，以下将“基于根据树结构的编码单元的视频编码设备100”称为“视频编码设备100”。
最大编码单元划分器110可基于图像的当前画面的最大编码单元(作为具有最大尺寸的编码单元)，来对当前画面进行划分。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据本公开的实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。图像数据可根据至少一个最大编码单元被输出到编码单元确定器120。
根据本公开的实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据本公开的实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层地分类。
可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制对最大编码单元的高度和宽度进行分层划分的次数。
编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据确定的编码深度的编码图像数据被输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，也通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分为更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，在一个最大编码单元中编码误差可根据区域而不同，因此在图像数据中编码深度可根据区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据进行划分。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本公开的实施例的“具有树结构的编码单元”包括最大编码单元中所包括的所有较深层编码单元之中的与被确定为编码深度的深度相应的编码单元。可在最大编码单元的相同区域中根据深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，可与另一区域中的编码深度相独立地确定当前区域中的编码深度。
根据本公开的实施例的最大深度是与从最大编码单元到最小编码单元的划分次数有关的索引。根据本公开的实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据本公开的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是对最大编码单元划分四次的编码单元，则存在深度0、1、2、3和4的5个深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，在最大编码单元中，现在将基于当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
为了以最大编码单元执行预测编码，可基于与编码深度相应的编码单元(即，不再被划分到与更低深度相应的编码单元的编码单元)来执行预测编码。以下，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区可包括预测单元或通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，预测单元可以是与编码单元具有相同的尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分，并且成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100不仅可基于用于对图像数据进行编码的编码单元，还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，用于变换的数据单元可包括帧内模式的数据单元和帧间模式的数据单元。
以与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。
还可在变换单元中设置变换深度，其中，变换深度表示对编码单元的高度和宽度进行划分以达到变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以为0，当变换单元的尺寸是N×N时，变换深度可以为1，当变换单元的尺寸是N/2×N/2时，变换深度可以为2。换句话说，可根据变换深度设置具有树结构的变换单元。
根据与编码深度相应的编码单元的编码信息不仅需要关于编码深度的信息，还需要关于与预测编码和变换相关的信息的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定预测单元中的分区类型、根据预测单元的预测模式和用于变换的变换单元的尺寸。
稍后将参照图11至图22详细描述根据这里公开的实施例的最大编码单元中的根据树结构的编码单元和确定预测单元/分区以及变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，测量根据深度的较深层编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
可通过对图像的残差数据进行编码来获得编码图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。
可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则对当前编码单元中的图像数据进行编码和输出，因此可将划分信息定义为不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并因此可将划分信息定义为对当前编码单元进行划分来获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并且因此可对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于根据深度对图像数据进行分层划分，因此最大编码单元的图像数据的编码深度可根据位置而不同，因此可针对图像数据设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据本公开的实施例的最小单元是通过将构成最低深度的最小编码单元划分为4份而获得的正方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。
例如，由输出单元130输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。
根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集。
还可通过比特流的头、序列参数集或画面参数集输出针对当前视频允许的关于变换单元的最大尺寸的信息和关于变换的最小尺寸的信息。输出单元130可对以上参照图1至图8描述的与预测有关的参考信息、预测信息和条带类型信息进行编码，并输出这些信息。
在视频编码设备100中，较深层编码单元可以是通过将更高深度(更高一层)的编码单元的高度或宽度划分成两份而获得的编码单元。换句话说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前深度的编码单元可包括最多4个更低深度的编码单元。
因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，由于考虑图像的尺寸，在增加编码单元的最大尺寸的同时，考虑图像的特征来调整编码单元，因此图像压缩效率可增加。
图9的视频编码设备100可执行图1的运动矢量预测设备10的操作或图7的视频编码器70的操作。
编码单元确定器120可针对每个最大编码单元，确定包括用于根据具有树结构的编码单元进行帧间预测的分区的预测单元，并执行帧间预测单元。
编码单元确定器120可根据预测单元确定运动矢量。此外，为了运动矢量预测、PU合并或AMVP，可通过参考另一预测单元的运动矢量来预测当前预测单元(分区)的运动矢量。运动矢量预测设备10可确定当前预测单元的候选运动矢量列表，以进行运动矢量预测。可从候选运动矢量列表中的候选运动矢量确定一个参考运动矢量。候选预测单元可以是与当前预测单元邻近的邻近预测单元或共同定位图像中的共同定位预测单元。
编码单元确定器120可基于与当前预测单元邻近的多个候选预测单元之中的第一候选预测单元的参考图像和当前预测单元的参考图像是否均是长期参考图像，来确定如何参考第一候选预测单元的运动矢量。
基于当前预测单元和第一候选预测单元的长期参考索引，确定当前预测单元的参考图像和第一候选预测单元的参考图像是否均是短期参考图像或长期参考图像。
在当前预测单元的参考图像和第一候选预测单元的参考图像都是长期参考图像时，可按原样参考第一候选预测单元的运动矢量，而不对第一候选预测单元的运动矢量进行缩放。
在当前预测单元的参考图像和第一候选预测单元的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，可确定不参考第一候选预测单元的运动矢量。
在当前预测单元的参考图像和第一候选预测单元的参考图像都是短期参考图像时，可在对第一候选预测单元的运动矢量进行缩放之后参考第一候选预测单元的运动矢量。
编码单元确定器120可通过从根据候选块确定的多个候选运动矢量选择的最佳候选运动矢量来确定参考运动矢量，并随后可通过使用参考运动矢量来预测并确定当前预测单元的运动矢量。
编码单元确定器120可在当前预测单元的参考图像中确定由当前块的运动矢量指示的参考块，并可产生参考预测单元和当前预测单元之间的残差数据。
因此，编码单元确定器120可通过根据预测单元执行帧间预测，输出根据预测单元的残差数据。
编码单元确定器120可通过对包括根据预测单元的残差数据的编码单元的变换单元执行变换和量化，来产生量化后的变换系数。因此，编码单元确定器120可根据变换单元产生量化后的变换系数。
编码单元确定器120可执行如上参照图8描述的视频解码器80的操作，以产生用于预测单元的帧间预测的参考图像。
编码单元确定器120可通过对所接收的当前预测单元的量化后的变换系数执行反量化和逆变换，恢复当前块的残差数据。可通过对经由帧间预测而编码的当前预测单元执行运动补偿来恢复当前预测单元。
如上所述，编码单元确定器120可基于与当前预测单元邻近的多个候选预测单元之中的第一候选预测单元的参考图像和当前预测单元的参考图像是否均是长期参考图像，来确定如何使用第一候选预测单元的运动矢量。
编码单元确定器120可通过从包括在候选运动矢量列表中的候选运动矢量之中选择最佳运动矢量来确定参考运动矢量，并通过使用参考运动矢量来预测并确定当前预测单元的运动矢量。
编码单元确定器120可确定由接收的当前预测单元的参考索引指示的当前预测单元的参考图像。可根据由当前预测单元的参考索引指示的POC来确定当前预测单元的参考图像。不管参考图像是长期参考图像还是短期参考图像，参考索引都可指示POC，并且由POC指示的图像可被确定为参考图像。
从参考图像确定由当前预测单元的运动矢量指示的参考预测单元，并且可通过对当前预测单元的残差数据和参考预测单元进行合成来恢复当前预测单元。
因此，编码单元确定器120可通过根据预测单元执行运动补偿来恢复预测单元，并可恢复包括恢复后的预测单元的当前图像。恢复后的预测单元和恢复后的当前图像可作为另一预测图像和另一图像而被参考。
图10是根据本公开的实施例的基于根据树结构的编码单元的视频解码设备200的框图。
包含基于具有树结构的编码单元的视频预测的基于根据树结构的编码单元的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。为了便于解释，以下“基于根据树结构的编码单元的视频解码设备200”被称为“视频解码设备200”。
用于视频解码设备200的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图9和视频编码设备100描述的定义相同。
接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码图像数据，并随后将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元，提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对关于与编码深度相应的至少一个编码单元的信息设置关于根据最大编码单元的编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为关于编码深度的信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：该信息被确定为在编码器(诸如，视频编码设备100)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码深度和编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取关于编码深度和编码模式的信息。如果关于相应最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录，则可将被分配了相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式的信息，通过对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换句话说，图像数据解码器230可基于提取出的关于包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的分区类型、预测模式和变换单元的信息，对编码图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。
图像数据解码器230可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
另外，为了对每个最大编码单元进行逆变换，图像数据解码器230可读取每个编码单元的关于根据树结构的变换单元的信息，以便基于每个编码单元的变换单元执行逆变换。通过逆变换，可恢复编码单元的空间域的像素值。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于与编码深度相应的每个编码单元的预测单元的分区类型、预测模式和变换单元的尺寸的信息，对当前最大编码单元中的编码数据进行解码。
换句话说，可通过观察分配给编码单元、预测单元和最小单元之中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。这样，可通过获得关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
此外，图10的视频解码设备200的图像数据解码器230可执行图1的运动补偿设备10的操作或图8的视频解码器80的操作。
图像数据解码器230可针对每个最大编码单元，根据具有树结构的编码单元确定用于运动补偿的预测单元并对每个预测单元执行运动补偿。
图像数据解码器230可通过对当前预测单元的量化后的变换系数执行反量化和逆变换，恢复当前块的残差数据。可通过对经由帧间预测而被编码的当前预测单元执行运动补偿来恢复当前预测单元。
图像数据解码器230可基于与当前预测单元邻近的多个候选预测单元之中的第一候选预测单元的参考图像和当前预测单元的参考图像是否均是长期参考图像，确定是将按原样使用第一候选预测单元的运动矢量还是将在对第一候选预测单元的运动矢量进行修改后使用第一候选预测单元的运动矢量。
候选预测单元可以是当前图像中的与当前预测单元邻近的邻近预测单元，或者是共同定位图像中的共同定位预测单元。
可基于当前预测单元和第一候选预测单元的长期参考索引，确定当前预测单元的参考图像和第一候选预测单元的参考图像是否均是短期参考图像或长期参考图像。
在当前预测单元的参考图像和第一候选预测单元的参考图像都是长期参考图像时，可按原样使用第一候选预测单元的运动矢量，而不对第一候选预测单元的运动矢量进行缩放。
在当前预测单元的参考图像和第一候选预测单元的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，可确定不参考第一候选预测单元的运动矢量。
在当前预测单元的参考图像和第一候选预测单元的参考图像都是短期参考图像时，第一候选预测单元的运动矢量可被缩放，以被确定为候选运动矢量。
图像数据解码器230可确定包括根据候选块确定的候选运动矢量的候选运动矢量列表。通过从候选运动矢量列表选择最佳候选运动矢量来确定参考运动矢量，并且可通过使用参考运动矢量来预测和确定当前块的运动矢量。
图像数据解码器230可根据由当前预测单元的参考索引指示的POC来确定当前预测单元的参考图像。不管参考图像是长期参考图像还是短期参考图像，参考索引指示POC，并且可将由POC指示的图像确定为参考图像。
从参考图像确定由当前预测单元的运动矢量指示的参考预测单元，并可通过对当前预测单元的残差数据和参考预测单元进行合成来恢复当前预测单元。
因此，图像数据解码器230可通过根据预测单元执行运动补偿来恢复预测单元，并且恢复包括恢复后的预测单元的当前图像。因此，当图像被恢复时，包括图像序列的视频可被恢复。恢复后的预测单元和恢复后的当前图像可被参考以用于另一预测单元和图像。
因此，视频解码设备200可获得关于当针对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元的信息，并且可使用所述信息来对当前画面进行解码。换句话说，被确定为每个最大编码单元中的最优编码单元的具有树结构的编码单元可被解码。
因此，即使图像数据具有高分辨率和大数据量，也可通过使用编码单元的尺寸和编码模式，对图像数据进行有效地解码和恢复，其中，通过使用从编码器接收到的关于最优编码模式的信息，根据图像数据的特征自适应地确定所述编码单元的尺寸和编码模式。
图11是用于描述根据本公开的实施例的编码单元的概念的示图。
可按照宽度×高度表示编码单元的尺寸，并且编码单元的尺寸可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图11中示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。
如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，比视频数据330具有更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。由于视频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。
图12是根据本公开的实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换句话说，帧内预测器410在帧内模式下对当前帧405中的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，在帧间模式下对当前帧405中的编码单元分别执行帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，恢复的空间域中的数据在通过去块单元480和采样点自适应偏移(SAO)调整器490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出为比特流455。
为了将图像编码器400应用到视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和SAO调整器490)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元之中的每个编码单元执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，变换器430确定具有树结构的编码单元之中的每个编码单元中的变换单元的尺寸。
详细地，为了PU合并或AMVP，运动估计器420可通过参考另一预测单元的运动矢量来预测当前预测单元(分区)的运动矢量。运动估计器420可根据以上参照图1至图4b描述的运动矢量预测方法来预测运动矢量。
运动估计器420可通过从包括在候选运动矢量列表中的候选运动矢量之中选择最佳候选运动矢量来确定参考运动矢量，并可通过使用参考运动矢量来确定当前预测单元的运动矢量。运动估计器420可在当前预测单元的参考图像495中确定由当前块的运动矢量指示的参考块，并可产生参考预测单元和当前预测单元之间的残差数据。因此，运动估计器420可输出根据预测单元的残差数据。
此外，运动补偿器425可根据以上参照图1至图4b描述的运动矢量预测方法来预测运动矢量，并且通过使用该运动矢量来执行运动补偿。
运动补偿器425可在参考帧495中确定由当前预测单元的运动矢量指示的参考预测单元，可通过对当前预测单元的残差数据和参考预测单元进行合成来恢复当前预测单元。
因此，运动补偿器425可通过根据预测单元执行运动补偿来恢复预测单元，并恢复包括恢复后的预测单元的当前图像。恢复后的预测单元和恢复后的图像可被参考以用于另一预测单元和图像。
图13是根据本公开的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码图像数据和解码所需的关于编码的信息。编码图像数据通过熵解码器520和反量化器530被输出为反量化的数据，反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
针对空间域中的图像数据，帧内预测器550在帧内模式下对编码单元执行帧内预测，运动补偿器560通过使用参考帧585在帧间模式下对编码单元执行运动补偿。
通过帧内预测器550和运动补偿器560的空间域中的图像数据可在通过去块单元570和SAO调整器580后处理之后被输出为恢复帧595。另外，通过去块单元570和SAO调整器580后处理的图像数据可被输出为参考帧585。
为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。
为了将图像解码器500应用到视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和SAO调整器580)针对每个最大编码单元，基于具有树结构的编码单元执行操作。
具体地，帧内预测器550和运动补偿器基于具有树结构的每个编码单元的分区和预测模式来执行操作，并且逆变换器540基于每个编码单元的变换单元的尺寸来执行操作。
详细地，运动补偿器560可根据以上参照图1至图4b描述的运动矢量预测方法来预测运动矢量。运动补偿器560可确定根据当前预测单元的参考索引的POC指示的参考帧585，可从参考帧585确定由当前预测单元的运动矢量指示的参考预测单元，并可通过对当前预测单元的残差数据和参考预测单元进行合成来恢复当前预测单元。
因此，运动补偿器560可通过根据预测单元执行运动补偿来恢复预测单元，并产生包括恢复后的预测单元的恢复后的图像。恢复后的预测单元和恢复后的图像可被参考以用于用作另一预测单元和另一图像。
图14是示出根据本公开的实施例的根据深度的较深层编码单元以及分区的示图。
视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
在根据本公开的实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是4。在这种情况下，最大深度表示编码单元从最大编码单元被划分到最小编码单元的总次数。由于沿着分层结构600的垂直轴深度加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
换句话说，在分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元620、尺寸为16×16且深度为2的编码单元630、尺寸为8×8且深度为3的编码单元640。尺寸为8×8且深度为3的编码单元640是具有最低深度的编码单元和最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换句话说，如果尺寸为64×64且深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
类似地，可将尺寸为32×32且深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
类似地，可将尺寸为16×16且深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码度单元630中的尺寸为16×16的分区630、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。
类似地，可将尺寸为8×8且深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。
为了确定构成最大编码单元610的编码单元的至少一个编码深度，视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，与深度1相应的编码单元和四个与深度2相应的编码单元均被编码。
为了针对深度之中的当前深度执行编码，可沿着分层结构600的水平轴，通过对与当前深度相应的编码单元中的每个预测单元执行编码，来针对当前深度选择最小编码误差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码，比较根据深度的最小编码误差，来搜索最小编码误差。编码单元610中的具有最小编码误差的深度和分区可被选为编码单元610的编码深度和分区类型。
图15是用于描述根据本公开的实施例的编码单元710和变换单元720之间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应的编码单元的数据单元，选择用于在编码期间进行变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。
图16是用于描述根据本公开的实施例的与编码深度相应的编码单元的编码信息的示图。
视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码，并将信息800、信息810和信息820作为关于编码模式的信息来发送。
信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置来指示尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808中的一个。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧内变换单元828。
视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元，提取并使用用于解码的信息800、810和820。
图17是根据本公开的实施例的根据深度的较深层编码单元的示图。
划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图17仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在分区类型912至916中的一个分区类型中编码误差最小，则可不将预测单元910划分到更低深度。
如果在分区类型918中编码误差最小，则深度从0改变到1以在操作920中划分分区类型918，并对深度为2且尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。
如果在分区类型948中编码误差最小，则深度从1改变到2以在操作950中划分分区类型948，并对深度为2且尺寸为N_2×N_2的编码单元960重复执行编码来搜索最小编码误差。
当最大深度是d时，根据每个深度的划分操作可被执行直到深度变成d-1，并且划分信息可被编码直到深度是0到d-2中的一个。换句话说，当编码被执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。
可对分区类型992至998之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
即使当分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度，构成当前最大编码单元900的编码单元的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外，由于最大深度是d，并且具有最低深度d-1的最小编码单元980不再被划分到更低深度，因此不设置最小编码单元980的划分信息。
数据单元999可以是用于当前最大编码单元的“最小单元”。根据本公开的实施例的最小单元可以是通过将最小编码单元980划分成4份而获得的正方形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并被发送。另外，由于编码单元从深度0被划分到编码深度，因此仅编码深度的划分信息被设置为0，并且除了编码深度以外的深度的划分信息被设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，来对分区912进行解码。视频解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息来进行解码。
图18至图20是用于描述根据本公开的实施例的编码单元1010、预测单元1060和变换单元1070之间的关系的示图。
编码单元1010是最大编码单元中的与由视频编码设备100确定的编码深度相应的具有树结构的编码单元。预测单元1060是每个编码单元1010中的预测单元的分区，变换单元1070是每个编码单元1010的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和编码单元1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，通过划分编码单元1010中的编码单元来获得一些编码单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，编码单元1014、1022、1050和1054中的分区类型的尺寸是2N×N，编码单元1016、1048和1052中的分区类型的尺寸是N×2N，编码单元1032的分区类型的尺寸就N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元1052的数据单元中的变换单元1070中，对编码单元1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换句话说，视频编码设备100和视频解码设备200可对同一编码单元中的数据单元独立地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。
[表1]
视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有分区类型定义帧内模式和帧间模式，仅针对尺寸为2N×2N的分区类型定义跳过模式。
关于分区类型的信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可包括与编码深度相应的编码单元、预测单元和最小单元中的至少一个。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。另外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可确定最大编码单元中的编码深度的分布。
因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
可选地，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元以对当前编码单元进行预测。
图21是用于描述根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。
最大编码单元1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可以被设置成0。可将关于尺寸为2N×2N的编码单元1318的分区类型的信息设置成以下分区类型中的一种：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。
变换单元的划分信息(TU尺寸标记)是一类变换索引。与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
例如，当分区类型被设置成对称(即，分区类型1322、1324、1326或1328)时，如果变换单元的TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1342，如果TU尺寸标记是1，则设置尺寸为N×N的变换单元1344。
当分区类型被设置成非对称(例如，分区类型1332、1334、1336或1338)时，如果TU尺寸标记是0，则设置尺寸为2N×2N的变换单元1352，如果TU尺寸标记是1，则设置尺寸为N/2×N/2的变换单元1354。
参照图21，TU尺寸标记是具有值0或1的标记，但是TU尺寸标记不限于1比特，在TU尺寸标记从0增加的同时，变换单元可被分层划分以具有树结构。变换单元的划分信息(TU尺寸标记)可以是变换索引的示例。
在这种情况下，根据本公开的实施例，可通过使用变换单元的TU尺寸标记以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记进行编码的结果可被插入SPS。视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标记来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标记为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不能够被设置为除了0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设置为除了0或1以外的值。
因此，当TU尺寸标记为0时，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，并且变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时，变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。在等式(1)中，“RootTuSize/(2∧MaxTransformSizeIndex)”指示当TU尺寸标记为0时，变换单元尺寸“RootTuSize”被划分了与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”之中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本公开的实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸：
RootTuSize＝min(MaxTransformSize,PUSize)……(2)
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸之中较小的值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是示例，本公开不限于此。
根据如上参照图9至图21描述的基于具有树结构的编码单元的视频编码方法，针对树结构的每个编码单元对空间域的图像数据进行编码。根据基于具有树结构的编码单元的视频解码方法，针对每个最大编码单元执行解码以恢复空间域的图像数据。因此，可恢复画面和视频(即，画面序列)。恢复后的视频可通过再现设备被再现，可被存储在存储介质中，或者可通过网络被发送。
根据本公开的实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。
为了便于描述，参照图1至图21描述的根据运动矢量预测方法的视频编码方法将被统称为“根据本公开的视频编码方法”。另外，参照图1至图21描述的根据运动矢量预测方法的视频解码方法将被称为“根据本公开的视频解码方法”。
另外，已参照图1至图21描述的视频编码设备(包括帧间预测设备20、视频编码器70、视频解码器80、视频编码设备100或图像编码器400)将被称为“根据本公开的视频编码设备”。另外，已参照图1至图21描述的视频解码设备(包括帧间预测设备20、视频解码器80、视频解码设备200或图像解码器500)将被称为“根据本公开的视频解码设备”。
现在将详细描述根据本公开的实施例的存储程序的计算机可读记录介质(例如，盘26000)。
图22是根据本公开的实施例的存储有程序的盘26000的物理结构的示图。作为存储介质的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，其中，每个同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000的特定区域中，可分配并存储执行如上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。
现在将参照图23来描述使用存储以下程序的存储介质来实现的计算机系统，其中，所述程序用于执行如上所述的视频编码方法和视频解码方法。
图23是通过使用盘26000来记录并读取程序的盘驱动器26800的示图。计算机系统26700可经由盘驱动器26800，将执行根据本公开的实施例的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并将程序发送到计算机系统26700。
执行根据本公开的实施例的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图22或图23中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。
以下将描述应用了以上所描述的视频编码方法和视频解码方法的系统。
图24是提供内容分发服务的内容供应系统11000的整体结构的示图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供器11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图24中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连接到通信网络11400。
视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可采用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))之中的至少一种通信方法。
视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。
如果视频数据通过内置在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。
还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。
内容供应系统1100可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并将编码后的内容数据发送到流服务器11300。流服务器11300可将编码后的内容数据以流内容的类型发送到请求内容数据的其它客户端。
客户端是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA 12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。
包括在内容供应系统11000中的多个独立装置的编码和解码操作可类似于根据本公开的实施例的视频编码设备和视频解码设备的编码和解码操作。
现在将参照图25和图26更加详细地描述包括在根据本公开的实施例的内容供应系统11000中的移动电话12500。
图25示出根据本公开的实施例的应用了视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，其中，所述智能电话的功能不受限，并且所述智能电话的大量功能可被改变或扩展。
移动电话12500包括可与图21的无线基站12000交换射频(RF)信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到并被解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)。移动电话12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型声音输出单元、以及用于输入语音和声音的麦克风12550或另一类型声音输入单元。移动电话12500还包括用于捕捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获得的编码/解码数据(例如，视频或静止图像)；插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电可擦和可编程只读存储器(EEPROM)。
图26示出根据本公开的实施例的移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部件，供电电路12700、操作输入控制器12640、图像编码单元12720、相机接口12630、LCD控制器12620、图像解码单元12690、复用器/解复用器12680、记录/读取单元12670、调制/解调单元12660以及声音处理器12650经由同步总线12730被连接到中央控制器12710。
如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。
中央控制器12710包括中央处理单元(CPU)、ROM和RAM。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，数字信号被移动电话12500产生。例如，声音处理器12650可产生数字声音信号，图像编码单元12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640被产生。当在中央控制器12710的控制下数字信号被发送到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610对经过频带调制数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线12510被发送到语音通信基站或无线基站12000。
例如，当移动电话12500处于会话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号被声音处理器12650变换成数字声音信号。数字声音信号可经由调制/解调单元12660和通信电路12610被变换成发送信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式下被发送时，文本消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12710。在中央控制器12710的控制下，文本数据经由调制/解调单元12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。
为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码单元12720。捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码单元12720的结构可与以上描述的视频编码设备100的结构相应。图像编码单元12720可根据由以上描述的视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，然后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被发送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码单元12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制/解调单元12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。
当移动电话12500从外部接收通信数据时，可对经由天线12510接收到的信号执行频率恢复和ADC以将信号变换成数字信号。调制/解调单元12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型将所述数字信号发送到视频解码单元12690、声音处理器12650或LCD控制器12620。
在会话模式下，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和ADC来获得数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制/解调单元12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据，经由调制/解调单元12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给视频解码单元12690和声音处理器12650。
图像解码单元12690的结构可与以上描述的视频解码设备200的结构相应。图像解码单元12690可根据以上描述的视频解码方法，对编码后的视频数据进行解码来获得恢复后的视频数据，并经由LCD控制器12620将恢复后的视频数据提供给显示屏12520。
因此，可将在互联网网站上访问的视频文件的数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。
移动电话12500或另一类型的通信终端可以是包括根据本公开的实施例的视频编码设备和视频解码设备两者的收发终端，可以是仅包括所述视频编码设备的收发终端，或者可以是仅包括所述视频解码设备的收发终端。
根据本公开的通信系统不限于以上参照图24描述的通信系统。例如，图27示出根据本公开的实施例的采用通信系统的数字广播系统。图27的数字广播系统可通过使用根据本公开的实施例的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。
具体地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或另一装置对编码后的视频流进行解码和再现。
当根据本公开的实施例的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如用于恢复数字信号的盘或存储卡)上的编码后的视频流进行解析和解码。因此，可在例如监视器12840上再现恢复后的视频信号。
在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的有线天线12850的机顶盒12870中，可安装根据本公开的实施例的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
如另一示例，可将根据本公开的实施例的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。
具有适当天线12910的汽车12920可接收从图21的卫星12900或无线基站11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视频。
视频信号可由根据本公开的实施例的视频编码设备来编码，然后可被存储在存储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。如另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据本公开的实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可被再现于TV监视器12880上。
汽车导航系统12930可不包括图24的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不包括在图24的相机12530、相机接口12630和图像编码单元12720中。
图28是示出根据本公开的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
云计算系统可包括云计算服务器14000、用户数据库(DB)14100、多个计算资源14200和用户终端。
响应于来自用户终端的请求，云计算系统经由数据通信网络(例如，互联网)提供多个计算资源14200的点播外包服务。在云计算环境下，服务提供商通过使用虚拟化技术组合位于不同的物理位置的数据中心处的计算资源，为用户提供想要的服务。服务用户不必将计算资源(例如，应用、存储器、操作系统(OS)和安全)安装在他/她拥有的终端中以使用它们，但可在想要的时间点在通过虚拟化技术产生的虚拟空间中从服务之中选择和使用想要的服务。
被指定的服务用户的用户终端经由包括互联网和移动通信网络的数据通信网络被连接到云计算服务器14000。可从云计算服务器14000向用户终端提供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联网的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。
云计算服务器14000可组合分布在云网络中的多个计算资源14200，并向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务，并可包括从用户终端上传的数据。如上所描述的，云计算服务器14000可通过根据虚拟化技术组合分布在不同区域中的视频数据库来向用户终端提供想要的服务。
将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。用户信息可包括用户的日志信息、地址、姓名和个人信用信息。用户信息还可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在被再现的视频的列表，之前被再现的视频的暂停点等。
可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。例如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到用于再现此视频服务的请求时，云计算服务器14000基于用户DB 14100搜索并再现此视频服务。当智能电话14500从云计算服务器14000接收到视频数据流时，通过对视频数据流进行解码来再现视频的操作与以上参照图21描述的移动电话12500的操作类似。
云计算服务器14000可参考存储在用户DB 14100中的想要的视频服务的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用户DB 14100中的视频的请求。如果此视频之前被再现过，则由云计算服务器14100执行的对此视频进行流传输的方法可根据来自用户终端的请求(即，根据是将从视频的起点还是视频的暂停点来再现视频)而不同。例如，如果用户终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的第一帧开始的视频的流数据发送到用户终端。如果用户终端请求从视频的暂停点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视频的流数据发送到用户终端。
在此情况下，用户终端可包括如以上参照图1至图23描述的视频解码设备。如另一示例，用户终端可包括如以上参照图1至图23描述的视频编码设备。可选地，用户终端可包括如以上参照图1至图23描述的视频解码设备和视频编码设备两者。
以上已经参照图22至图28描述了以上参照图1至图23描述的根据本公开的实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据本公开的各种实施例的将视频编码方法和视频解码方法存储在存储介质中的方法，或者将视频编码设备和视频解码设备实现在装置中的方法不限于以上参照图22至图28描述的实施例。
虽然已参照本公开的示例性实施例具体示出并描述了本公开，但是本领域的普通技术人员将理解，在不脱离由权利要求书限定的本公开的精神和范围的情况下，可在其中进行形式和细节上的各种改变。

Claims (15)

1.一种用于帧间预测的运动矢量预测方法，所述运动矢量预测方法包括：
从当前块的多个邻近块确定多个候选块，其中，所述多个候选块被参考以预测当前块的运动矢量；
基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量；
通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。
2.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，将第一候选块的当前运动矢量确定为第一候选块的候选运动矢量。
3.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，基于当前图像和当前块的参考图像之间的距离与第一候选块的图像和第一候选块的参考图像之间的距离之比，改变第一候选块的当前运动矢量，并将改变后的当前运动矢量确定为第一候选块的候选运动矢量。
4.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：
确定当前块的参考图像和第一候选块的参考图像是否相同；
在当前块的参考图像和第一候选块的参考图像不相同时，确定当前块的参考图像和第一候选块的参考图像是否均是长期参考图像。
5.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：在当前块的参考图像和第一候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，将第一候选块的参考可能性信息设置为不可用状态。
6.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：在当前块的参考图像和第一候选块的参考图像中的一个参考图像是短期参考图像而另一个参考图像是长期参考图像时，将第一候选块的候选运动矢量设置为0。
7.如权利要求1所述的运动矢量预测方法，其中，第一候选块是包括当前块的当前图像中的当前块的邻近块、或者是先于当前图像被恢复的图像中的与当前块处于相同位置的共同定位块。
8.如权利要求1所述的运动矢量预测方法，其中，确定第一候选块的候选运动矢量的步骤包括：
通过使用指示当前块的参考图像是否是长期参考图像的长期参考索引来确定当前块的参考图像是否是长期参考图像；
通过使用第一候选块的长期参考索引来确定第一候选块的参考图像是否是长期参考图像。
9.如权利要求1所述的运动矢量预测方法，其中，确定当前块的运动矢量的步骤包括：
通过使用包括在候选运动矢量列表中的候选运动矢量来确定将成为当前块的合并块的候选块，其中，所述将成为当前块的合并块的候选块的预测信息将用作当前块的预测信息；
将确定的将成为当前块的合并块的候选块的预测信息编码为当前块的预测信息。
10.如权利要求1所述的运动矢量预测方法，其中，确定当前块的运动矢量的步骤包括：通过将包括在候选运动矢量列表中的候选运动矢量中的至少一个候选运动矢量进行组合来预测当前块的运动矢量。
11.如权利要求1所述的运动矢量预测方法，还包括：
从当前块的参考图像确定由确定的当前块的运动矢量指示的参考块，并产生确定的参考块与当前块之间的残差数据；
通过对残差数据执行变换和量化来产生量化后的变换系数。
12.如权利要求1所述的运动矢量预测方法，还包括：
接收当前块的参考索引和量化后的变换系数以及第一候选块的运动矢量；
通过对接收到的当前块的量化后的变换系数执行反量化和逆变换来恢复当前块的残差数据；
从由接收到的当前块的参考索引指示的当前块的参考图像来确定由确定的当前块的运动矢量指示的参考块，并通过将确定的参考块和当前块的残差数据进行合成来恢复当前块。
13.一种用于帧间预测的运动矢量预测设备，所述运动矢量预测设备包括：
候选块确定器，用于从当前块的多个邻近块确定多个候选块，并基于所述多个候选块中的第一候选块的参考图像和当前块的参考图像是否均是长期参考图像，确定第一候选块的候选运动矢量，其中，所述多个候选块被参考以预测当前块的运动矢量；
运动矢量确定器，用于通过使用候选运动矢量列表来确定当前块的运动矢量，其中，候选运动矢量列表包括确定的第一候选块的候选运动矢量和来自剩余候选块的候选运动矢量。
14.如权利要求13所述的运动矢量预测设备，其中，在当前块的参考图像和第一候选块的参考图像都是长期参考图像时，候选块确定器将第一候选块的当前运动矢量确定为第一候选块的候选运动矢量；在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，候选块确定器将第一候选块的运动矢量确定为第一候选块的候选运动矢量，其中，通过基于当前图像和当前块的参考图像之间的距离与第一候选块的图像和第一候选块的参考图像之间的距离之比改变第一候选块的当前运动矢量来获得第一候选块的运动矢量。
15.如权利要求13所述的运动矢量预测设备，其中，在当前块的参考图像和第一候选块的参考图像都是短期参考图像时，候选块确定器基于当前图像和当前块的参考图像之间的距离与第一候选块的图像和第一候选块的参考图像之间的距离之比来改变第一候选块的运动矢量，并使用来自候选运动矢量列表的改变后的运动矢量。
CN201380035705.0A 2012-07-02 2013-07-02 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备 Active CN104488272B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810151416.1A CN108055551A (zh) 2012-07-02 2013-07-02 用于预测对视频进行编码或解码的运动矢量的方法和设备

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261667133P 2012-07-02 2012-07-02
US61/667,133 2012-07-02
PCT/KR2013/005866 WO2014007521A1 (ko) 2012-07-02 2013-07-02 비디오 부호화 또는 비디오 복호화를 위한 움직임 벡터 예측 방법 및 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201810151416.1A Division CN108055551A (zh) 2012-07-02 2013-07-02 用于预测对视频进行编码或解码的运动矢量的方法和设备

Publications (2)

Publication Number Publication Date
CN104488272A true CN104488272A (zh) 2015-04-01
CN104488272B CN104488272B (zh) 2018-03-16

Family

ID=49882227

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201810151416.1A Pending CN108055551A (zh) 2012-07-02 2013-07-02 用于预测对视频进行编码或解码的运动矢量的方法和设备
CN201380035705.0A Active CN104488272B (zh) 2012-07-02 2013-07-02 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201810151416.1A Pending CN108055551A (zh) 2012-07-02 2013-07-02 用于预测对视频进行编码或解码的运动矢量的方法和设备

Country Status (15)

Country Link
US (2) US10200710B2 (zh)
EP (1) EP2863631A4 (zh)
JP (1) JP2015525547A (zh)
KR (6) KR101464981B1 (zh)
CN (2) CN108055551A (zh)
AU (3) AU2013285749B2 (zh)
BR (1) BR112014033038A2 (zh)
IN (1) IN2015MN00119A (zh)
MX (2) MX346561B (zh)
MY (1) MY169873A (zh)
PH (1) PH12014502800A1 (zh)
RU (2) RU2624578C2 (zh)
SG (2) SG11201408725WA (zh)
TW (3) TWI604721B (zh)
WO (1) WO2014007521A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017036414A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
WO2017210915A1 (en) * 2016-06-09 2017-12-14 Intel Corporation Method and system of motion estimation with neighbor block pattern for video coding
CN109196864A (zh) * 2016-05-24 2019-01-11 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
CN109997363A (zh) * 2016-11-28 2019-07-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
CN110024396A (zh) * 2016-10-10 2019-07-16 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
WO2019191890A1 (zh) * 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
CN111343464A (zh) * 2018-12-18 2020-06-26 三星电子株式会社 基于减少的候选块执行运动估计的电子电路和电子设备
CN114339237A (zh) * 2019-02-20 2022-04-12 北京达佳互联信息技术有限公司 用于视频编码的方法和电子设备
CN111684799B (zh) * 2019-06-25 2023-07-25 北京大学 视频处理方法和装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150264383A1 (en) * 2014-03-14 2015-09-17 Mitsubishi Electric Research Laboratories, Inc. Block Copy Modes for Image and Video Coding
JP2016066922A (ja) * 2014-09-25 2016-04-28 ソニー株式会社 信号処理装置、撮像装置、および、それらにおける信号処理方法。
CN112584139A (zh) * 2014-11-27 2021-03-30 株式会社Kt 对视频信号进行解码或编码的方法
CN107113443B (zh) 2014-12-26 2020-04-28 索尼公司 影像处理设备和影像处理方法
WO2017086748A1 (ko) 2015-11-20 2017-05-26 한국전자통신연구원 기하 변환 영상을 이용하는 영상의 부호화/복호화 방법 및 장치
WO2017156669A1 (en) * 2016-03-14 2017-09-21 Mediatek Singapore Pte. Ltd. Methods for motion vector storage in video coding
KR20180021941A (ko) * 2016-08-22 2018-03-06 광운대학교 산학협력단 부호화 유닛들의 병합을 사용하는 비디오 부호화 방법 및 장치, 그리고 비디오 복호화 방법 및 장치
KR102435500B1 (ko) * 2016-10-06 2022-08-23 세종대학교산학협력단 비디오 신호의 복호화 방법 및 이의 장치
WO2018066874A1 (ko) * 2016-10-06 2018-04-12 세종대학교 산학협력단 비디오 신호의 복호화 방법 및 이의 장치
WO2020065520A2 (en) 2018-09-24 2020-04-02 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
KR20190091217A (ko) 2018-01-26 2019-08-05 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
WO2019147067A1 (ko) 2018-01-26 2019-08-01 한국전자통신연구원 시간적 움직임 정보를 이용하는 영상 부호화 및 영상 복호화를 위한 방법 및 장치
CN111919449B (zh) * 2018-03-27 2024-07-05 数码士有限公司 使用运动补偿的视频信号处理方法及设备
WO2019234598A1 (en) 2018-06-05 2019-12-12 Beijing Bytedance Network Technology Co., Ltd. Interaction between ibc and stmvp
KR20210022617A (ko) 2018-06-21 2021-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 칼라 컴포넌트 간의 서브 블록 mv 상속
CN110636298B (zh) 2018-06-21 2022-09-13 北京字节跳动网络技术有限公司 对于Merge仿射模式和非Merge仿射模式的统一约束
TWI728390B (zh) 2018-06-29 2021-05-21 大陸商北京字節跳動網絡技術有限公司 查找表尺寸
CN114125450B (zh) 2018-06-29 2023-11-17 北京字节跳动网络技术有限公司 一种用于处理视频数据的方法、装置和计算机可读介质
KR20240007298A (ko) 2018-06-29 2024-01-16 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 Lut에서의 모션 후보들의 검사 순서
KR102627814B1 (ko) 2018-06-29 2024-01-23 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 룩업 테이블의 업데이트: fifo, 제약된 fifo
CN114466197A (zh) 2018-06-29 2022-05-10 北京字节跳动网络技术有限公司 用于查找表更新的编码的运动信息的选择
GB2588531B (en) 2018-06-29 2023-02-01 Beijing Bytedance Network Tech Co Ltd Concept of using one or multiple look up tables to store motion information of previously coded in order and use them to code following blocks
EP3794824A1 (en) 2018-06-29 2021-03-24 Beijing Bytedance Network Technology Co. Ltd. Conditions for updating luts
TWI752331B (zh) 2018-06-29 2022-01-11 大陸商北京字節跳動網絡技術有限公司 當向Merge/AMVP添加HMVP候選時的部分/完全修剪
TWI719526B (zh) 2018-07-02 2021-02-21 大陸商北京字節跳動網絡技術有限公司 查找表的更新
KR20210115053A (ko) 2018-07-27 2021-09-24 삼성전자주식회사 서브 블록 기반으로 영상을 복호화하는 방법 및 장치, 부호화 방법 및 장치
TWI820211B (zh) 2018-09-12 2023-11-01 大陸商北京字節跳動網絡技術有限公司 取決於總數減去k的開始檢查hmvp候選的條件
CN111010568B (zh) * 2018-10-06 2023-09-29 华为技术有限公司 插值滤波器的训练方法、装置及视频图像编解码方法、编解码器
WO2020094149A1 (en) 2018-11-10 2020-05-14 Beijing Bytedance Network Technology Co., Ltd. Rounding in triangular prediction mode
CN116668685A (zh) * 2018-12-12 2023-08-29 Lg电子株式会社 图像编解码设备执行的处理视频信号的方法和发送方法
JP6933235B2 (ja) 2018-12-13 2021-09-08 株式会社Ｊｖｃケンウッド 画像復号装置、画像復号方法、及び画像復号プログラム
CN116582666A (zh) 2018-12-13 2023-08-11 Jvc建伍株式会社 图像解码装置和方法、以及图像编码装置和方法
JP7275286B2 (ja) 2019-01-10 2023-05-17 北京字節跳動網絡技術有限公司 Ｌｕｔ更新の起動
CN113383554B (zh) 2019-01-13 2022-12-16 北京字节跳动网络技术有限公司 LUT和共享Merge列表之间的交互
WO2020147772A1 (en) 2019-01-16 2020-07-23 Beijing Bytedance Network Technology Co., Ltd. Motion candidates derivation
CN113615193B (zh) 2019-03-22 2024-06-25 北京字节跳动网络技术有限公司 Merge列表构建和其他工具之间的交互
CN111953997A (zh) * 2019-05-15 2020-11-17 华为技术有限公司 候选运动矢量列表获取方法、装置及编解码器
WO2020252422A1 (en) * 2019-06-13 2020-12-17 Beijing Dajia Internet Information Technology Co., Ltd. Motion vector prediction for video coding
CN113596455A (zh) * 2019-09-23 2021-11-02 杭州海康威视数字技术股份有限公司 编解码方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455598A (zh) * 2002-05-03 2003-11-12 Lg电子株式会社 运动图像编码方法
CN102045557A (zh) * 2009-10-20 2011-05-04 鸿富锦精密工业（深圳）有限公司 视频编解码方法及使用其的视频编码、解码装置

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
EP3525467B1 (en) * 2002-04-19 2021-02-24 Panasonic Intellectual Property Corporation of America Bitstream decoding method and apparatus
CN100499788C (zh) * 2003-01-09 2009-06-10 加利福尼亚大学董事会 视频编码设备
CN1774930A (zh) * 2003-04-17 2006-05-17 皇家飞利浦电子股份有限公司 视频转码
WO2005122408A1 (en) * 2004-06-07 2005-12-22 Agency For Science, Technology And Research Systems and methods for scalably encoding and decoding data
EP1806930A1 (en) * 2006-01-10 2007-07-11 Thomson Licensing Method and apparatus for constructing reference picture lists for scalable video
KR101330630B1 (ko) * 2006-03-13 2013-11-22 삼성전자주식회사 최적인 예측 모드를 적응적으로 적용하여 동영상을부호화하는 방법 및 장치, 동영상을 복호화하는 방법 및장치
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
WO2008023968A1 (en) 2006-08-25 2008-02-28 Lg Electronics Inc A method and apparatus for decoding/encoding a video signal
KR20080050349A (ko) 2006-12-01 2008-06-05 엘지전자 주식회사 비디오 신호 디코딩 방법 및 장치
KR20090113281A (ko) 2007-01-24 2009-10-29 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
JP5025286B2 (ja) * 2007-02-28 2012-09-12 シャープ株式会社 符号化装置及び復号装置
JP2008245016A (ja) 2007-03-28 2008-10-09 Canon Inc 画像符号化装置、画像符号化方法、及びプログラム
KR100985379B1 (ko) * 2008-07-18 2010-10-04 엘지전자 주식회사 모션벡터 결정방법
KR100985353B1 (ko) * 2008-07-18 2010-10-04 엘지전자 주식회사 모션벡터 결정방법
KR100985263B1 (ko) 2008-07-18 2010-10-04 엘지전자 주식회사 모션벡터 결정방법
JPWO2010035733A1 (ja) * 2008-09-24 2012-02-23 ソニー株式会社 画像処理装置および方法
JP5422168B2 (ja) 2008-09-29 2014-02-19 株式会社日立製作所 動画像符号化方法および動画像復号化方法
CN102210153A (zh) 2008-10-06 2011-10-05 Lg电子株式会社 用于处理视频信号的方法和设备
CN102484711B9 (zh) * 2009-07-03 2018-08-24 法国电信公司 指向覆盖多个参考图像分区的参考区域的当前图像分区的移动向量的预测、以及使用一个这种预测的编码和解码
KR20110008653A (ko) * 2009-07-20 2011-01-27 삼성전자주식회사 움직임 벡터 예측 방법과 이를 이용한 영상 부호화/복호화 장치 및 방법
KR101456498B1 (ko) 2009-08-14 2014-10-31 삼성전자주식회사 계층적 부호화 단위의 스캔 순서를 고려한 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
CN101860754B (zh) * 2009-12-16 2013-11-13 香港应用科技研究院有限公司 运动矢量编码和解码的方法和装置
KR101768207B1 (ko) 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US9124898B2 (en) * 2010-07-12 2015-09-01 Mediatek Inc. Method and apparatus of temporal motion vector prediction
JP2012209911A (ja) 2010-12-20 2012-10-25 Sony Corp 画像処理装置および方法
US9380314B2 (en) 2010-12-20 2016-06-28 Texas Instruments Incorporated Pixel retrieval for frame reconstruction
US9049455B2 (en) * 2010-12-28 2015-06-02 Panasonic Intellectual Property Corporation Of America Image coding method of coding a current picture with prediction using one or both of a first reference picture list including a first current reference picture for a current block and a second reference picture list including a second current reference picture for the current block
PL2773112T3 (pl) * 2011-10-27 2019-01-31 Sun Patent Trust Sposób kodowania obrazów, sposób dekodowania obrazów, urządzenie do kodowania obrazów oraz urządzenie do dekodowania obrazów
US10003817B2 (en) * 2011-11-07 2018-06-19 Microsoft Technology Licensing, Llc Signaling of state information for a decoded picture buffer and reference picture lists
WO2013168407A1 (en) 2012-05-09 2013-11-14 Panasonic Corporation Method of performing motion vector prediction, encoding and decoding methods, and apparatuses thereof
US9420286B2 (en) * 2012-06-15 2016-08-16 Qualcomm Incorporated Temporal motion vector prediction in HEVC and its extensions

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1455598A (zh) * 2002-05-03 2003-11-12 Lg电子株式会社 运动图像编码方法
GB2388267B (en) * 2002-05-03 2004-08-25 Lg Electronics Inc Method for coding moving picture
CN102045557A (zh) * 2009-10-20 2011-05-04 鸿富锦精密工业（深圳）有限公司 视频编解码方法及使用其的视频编码、解码装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
YOSHITOMO TAKAHASHI: "High-level Syntax: Motion vector prediction issue for long-term reference picture", 《JCTVC-J0071》 *

Cited By (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10511835B2 (en) 2015-09-02 2019-12-17 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
AU2016316309B2 (en) * 2015-09-02 2019-01-24 Hfi Innovation Inc. Method and apparatus of decoder side motion derivation for video coding
WO2017036414A1 (en) * 2015-09-02 2017-03-09 Mediatek Inc. Method and apparatus of decoder side motion derivation for video coding
CN109196864A (zh) * 2016-05-24 2019-01-11 韩国电子通信研究院 图像编码/解码方法和用于所述方法的记录介质
US11743470B2 (en) 2016-05-24 2023-08-29 Electronics And Telecommunications Research Institute Image encoding/decoding method and recording medium for same
WO2017210915A1 (en) * 2016-06-09 2017-12-14 Intel Corporation Method and system of motion estimation with neighbor block pattern for video coding
US11616968B2 (en) 2016-06-09 2023-03-28 Intel Corporation Method and system of motion estimation with neighbor block pattern for video coding
US10873755B2 (en) 2016-06-09 2020-12-22 Intel Corporation Method and system of motion estimation with neighbor block pattern for video coding
CN110024396B (zh) * 2016-10-10 2023-04-14 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
CN110024396A (zh) * 2016-10-10 2019-07-16 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
US12022110B2 (en) 2016-11-28 2024-06-25 Intellectual Discovery Co., Ltd. Image encoding/decoding method and device, and recording medium having bitstream stored thereon
CN109997363B (zh) * 2016-11-28 2023-12-05 英迪股份有限公司 图像编码/解码方法和装置以及存储有比特流的记录介质
CN109997363A (zh) * 2016-11-28 2019-07-09 韩国电子通信研究院 图像编码/解码方法和装置以及存储有比特流的记录介质
US11330294B2 (en) 2018-04-02 2022-05-10 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
US11159821B2 (en) 2018-04-02 2021-10-26 SZ DJI Technology Co., Ltd. Method and device for video image processing
CN110419217A (zh) * 2018-04-02 2019-11-05 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US11343534B2 (en) 2018-04-02 2022-05-24 SZ DJI Technology Co., Ltd. Method and device for obtaining motion vector of video image
US11350124B2 (en) 2018-04-02 2022-05-31 SZ DJI Technology Co., Ltd. Image processing method and image processing device
US11363294B2 (en) 2018-04-02 2022-06-14 SZ DJI Technology Co., Ltd. Image processing method and image processing device
US11368714B2 (en) 2018-04-02 2022-06-21 SZ DJI Technology Co., Ltd. Method and device for video image processing
US11381839B2 (en) 2018-04-02 2022-07-05 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
US11490118B2 (en) 2018-04-02 2022-11-01 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
US11490120B2 (en) 2018-04-02 2022-11-01 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
WO2019191890A1 (zh) * 2018-04-02 2019-10-10 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US11997312B2 (en) 2018-04-02 2024-05-28 SZ DJI Technology Co., Ltd. Method and device for video image processing
US11949911B2 (en) 2018-04-02 2024-04-02 SZ DJI Technology Co., Ltd. Method and device for obtaining motion vector of video image
US11949912B2 (en) 2018-04-02 2024-04-02 SZ DJI Technology Co., Ltd. Method and device for video image processing
US11190798B2 (en) 2018-04-02 2021-11-30 SZ DJI Technology Co., Ltd. Method and device for video image processing
CN110419217B (zh) * 2018-04-02 2023-09-26 深圳市大疆创新科技有限公司 用于图像处理的方法和图像处理装置
US11323742B2 (en) 2018-04-02 2022-05-03 SZ DJI Technology Co., Ltd. Method and device for obtaining motion vector of video image
US11871032B2 (en) 2018-04-02 2024-01-09 SZ DJI Technology Co., Ltd. Method and device for image motion compensation
CN111343464A (zh) * 2018-12-18 2020-06-26 三星电子株式会社 基于减少的候选块执行运动估计的电子电路和电子设备
CN114339237B (zh) * 2019-02-20 2023-04-25 北京达佳互联信息技术有限公司 用于视频编码的方法和电子设备
CN114339237A (zh) * 2019-02-20 2022-04-12 北京达佳互联信息技术有限公司 用于视频编码的方法和电子设备
CN111684799B (zh) * 2019-06-25 2023-07-25 北京大学 视频处理方法和装置

Also Published As

Publication number Publication date
US20150195558A1 (en) 2015-07-09
PH12014502800A1 (en) 2015-02-09
KR101464981B1 (ko) 2014-11-26
CN108055551A (zh) 2018-05-18
CN104488272B (zh) 2018-03-16
SG11201408725WA (en) 2015-02-27
EP2863631A1 (en) 2015-04-22
US20190158866A1 (en) 2019-05-23
RU2015103123A (ru) 2016-08-20
MX358773B (es) 2018-09-04
KR101890306B1 (ko) 2018-08-21
TWI562615B (en) 2016-12-11
MX2015000096A (es) 2015-04-08
AU2013285749B2 (en) 2016-06-16
MX346561B (es) 2017-03-24
JP2015525547A (ja) 2015-09-03
MY169873A (en) 2019-05-28
AU2016225775A1 (en) 2016-09-22
KR101645295B1 (ko) 2016-08-03
AU2017216496A1 (en) 2017-08-31
TW201703535A (zh) 2017-01-16
KR20180103783A (ko) 2018-09-19
TW201717641A (zh) 2017-05-16
BR112014033038A2 (pt) 2017-06-27
RU2673846C1 (ru) 2018-11-30
EP2863631A4 (en) 2016-03-16
KR101602875B1 (ko) 2016-03-11
AU2017216496B2 (en) 2018-08-02
TW201412127A (zh) 2014-03-16
TWI604721B (zh) 2017-11-01
AU2013285749A1 (en) 2015-02-05
AU2016225775B2 (en) 2017-05-25
SG10201700062YA (en) 2017-02-27
TWI574553B (zh) 2017-03-11
KR101910503B1 (ko) 2018-10-22
KR20150056081A (ko) 2015-05-22
WO2014007521A1 (ko) 2014-01-09
US10200710B2 (en) 2019-02-05
KR20140005102A (ko) 2014-01-14
KR102060663B1 (ko) 2019-12-30
KR20150009494A (ko) 2015-01-26
RU2624578C2 (ru) 2017-07-04
KR20140085389A (ko) 2014-07-07
KR20150146471A (ko) 2015-12-31
IN2015MN00119A (zh) 2015-10-16

Similar Documents

Publication Publication Date Title
CN104488272A (zh) 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
CN104796724B (zh) 用于在视频编码或解码中的运动矢量确定的方法和设备
CN104365101A (zh) 用于确定用于帧间预测的参考图像的方法及设备
CN104081779A (zh) 用于帧间预测的方法及其装置和用于运动补偿的方法及其装置
CN104604237A (zh) 依据块尺寸来确定帧间预测参考画面列表的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN104396252A (zh) 使用用于多视点视频预测的参考画面集的多视点视频编码方法及其装置、使用用于多视点视频预测的参考画面集的多视点视频解码方法及其装置
CN105357539A (zh) 视频解码方法和视频解码设备
CN103918255A (zh) 对多视点视频数据的深度图进行编码的方法和装置以及对编码的深度图进行解码的方法和装置
CN104813665A (zh) 用于对层间预测误差进行编码的sao补偿的方法和设备
CN105308966A (zh) 视频编码方法及其设备以及视频解码方法及其设备
CN103931184A (zh) 用于对视频进行编码和解码的方法和装置
CN104869413A (zh) 视频解码设备
CN104620578A (zh) 用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备
CN104541510A (zh) 参考画面列表能够被改变的帧间预测方法及其设备
CN105103552A (zh) 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
CN105264894A (zh) 针对层间解码和编码方法以及设备的确定帧间预测候选的方法
CN105340275A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备
CN103875249A (zh) 用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置
CN104396251A (zh) 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
CN105325002A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备
CN105532004A (zh) 用于对视频进行层间编码和解码的设备和方法的基于块来预测视差矢量的方法
CN105340274A (zh) 深度图编码方法及其设备以及深度图解码方法及其设备
CN105308958A (zh) 用于使用视点合成预测的层间视频编码方法和设备以及用于使用视点合成预测的层间视频解码方法和设备
CN105264890A (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
CN105308961A (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant