CN112188204A - 使用高精度跳过编码的视频编码设备和视频解码设备及其方法 - Google Patents

Abstract

本公开提供一种由视频解码装置执行的视频解码方法，所述视频解码方法包括：从比特流中确定当前块的预测模式信息和指示预测候选的索引；根据预测模式信息确定预测候选列表；在当前块的预测模式信息指示预设预测模式时，确定由来自预测候选列表的指示预测候选的索引指示的运动矢量，并且基于与运动矢量有关的多条运动预测信息中的至少一个确定当前块的预测运动矢量；以及基于所述预测运动矢量来确定当前块的运动矢量，其中所述预设预测模式是与跳过模式和合并模式不同的预测模式。

Description

使用高精度跳过编码的视频编码设备和视频解码设备及其 方法

本案是申请日为2015年11月2日、申请号为201580072015.1、发明名称为“使用高精度跳过编码的视频编码设备和视频解码设备及其方法”的发明专利申请的分案申请。

技术领域

本公开涉及视频编码装置和视频解码装置。

背景技术

随着用于再现和存储高分辨率或高质量视频内容的硬件正在被开发和提供，对用于高效地编码或解码高分辨率或高质量视频内容的视频编解码器的需求正在增加。根据传统的视频编解码器，根据基于具有预定尺寸的宏块的有限编码方法对视频进行编码。

经由频率变换将空间区域的图像数据变换为频率区域的系数。根据视频编解码器，将图像分割成具有预定尺寸的块，对每一个块执行离散余弦变换(discrete cosinetransformation，DCT)，并且频率系数以块为单位编码，以用于频率变换的快速计算。与空间区域的图像数据相比，频率区域的系数容易被压缩。特别地，由于经由视频编解码器的帧间预测或帧内预测根据预测误差来表达空间区域的图像像素值，所以当对预测误差执行频率变换时，可以将大量的数据变换为0。根据视频编解码器，可以通过用小尺寸数据替换连续且重复地生成的数据来减少数据量。

发明内容

技术问题

提供了一种视频编码方法和一种视频解码方法，其通过使用运动矢量来搜索各种预测运动矢量候选，并且通过减少比特表示(bit representation)来提高压缩性。

技术方案

根据实施例的一方面，一种由视频解码装置执行的视频解码方法，所述视频解码方法包括：从比特流中获得指示是否当前块在跳过模式中被预测的跳过模式标志；响应于该标志指示当前块未在跳过模式中被预测，从该比特流中获得指示是否当前块在合并模式中被预测的合并模式标志；响应于该标志指示当前块在合并模式中被预测，从该比特流中获得当前块的运动矢量预测模式信息；在当前块的运动矢量预测模式信息指示预设预测模式时，从该比特流中获得指示预测候选的索引和运动矢量差异信息，并确定预测候选列表，其中所述预设预测模式不是跳过模式和合并模式之一；确定由所述索引指示的来自所述预测候选列表的运动矢量，并且基于所述运动矢量差异信息来确定所述当前块的预测运动矢量；以及基于所述预测运动矢量确定所述当前块的运动矢量，其中，所述运动矢量差异信息包括运动矢量差异的x和y轴分量中的一个分量的符号信息、以及运动矢量差异的像素距离，所述像素距离是分像素单元或整像素单元的值。

根据实施例的一方面，一种视频解码装置，包括：确定器，被配置为：从比特流中获得指示是否当前块在跳过模式中被预测的跳过模式标志；响应于该标志指示当前块未在跳过模式中被预测，从该比特流中获得指示是否当前块在合并模式中被预测的合并模式标志；响应于该标志指示当前块在合并模式中被预测，从该比特流中获得当前块的运动矢量预测模式信息，在当前块的运动矢量预测模式信息指示预设预测模式时，从该比特流中获得指示预测候选的索引和运动矢量差异信息，并确定预测候选列表，其中所述预设预测模式不是跳过模式和合并模式之一；以及解码器，被配置为，确定由所述索引指示的来自所述预测候选列表的运动矢量，基于所述运动矢量差异信息确定所述当前块的预测运动矢量，以及基于从所述预测运动矢量获得的所述当前块的运动矢量对所述当前块执行运动补偿，其中，所述运动矢量差异信息包括运动矢量差异的x和y轴分量中的一个分量的符号信息、以及运动矢量差异的像素距离，所述像素距离是分像素单元或整像素单元的值。

发明的有益效果

提供的是一种视频编码方法和一种视频解码方法，其通过使用运动矢量搜索各种预测运动矢量候选，并通过减少比特表示来提高压缩性。

附图说明

将参考下面的详细描述和附图的组合来理解本公开，其中参考标号表示结构元件。

图1是根据实施例的视频编码装置的框图。

图2是根据实施例的视频编码方法的流程图。

图3是根据实施例的视频解码装置的框图。

图4是根据实施例的视频解码方法的流程图。

图5a至5d是用于描述根据实施例的确定预测运动矢量候选的过程的示图。

图6a至图6c是用于描述根据实施例的当将预设预测模式信息插入到现有预测器候选列表中时的比特表示方法的示图。

图7是用于描述根据实施例的预测运动矢量的比特表示方法的示图。

图8是根据实施例的根据树结构的基于编码单元的视频编码装置的框图。

图9是根据实施例的根据树结构的基于编码单元的视频解码装置的框图。

图10示出根据实施例的编码单元的概念。

图11是根据实施例的基于编码单元的视频编码器的框图。

图12是根据实施例的基于编码单元的视频解码器的框图。

图13是根据实施例的示出编码单元和分区的示图。

图14是用于描述根据实施例的编码单元和变换单元之间的关系的示图。

图15示出根据实施例的多条编码信息。

图16示出根据实施例的编码单元。

图17、图18、和图19是用于描述根据实施例的编码单元、预测单元、和变换单元之间的关系的示图。

图20是用于根据表2的编码模式信息来描述编码单元、预测单元、和变换单元之间的关系的示图。

图21是根据实施例的存储程序的盘的物理结构的示图。

图22是用于通过使用所述盘来记录和读取程序的盘驱动器的示图。

图23是用于提供内容分发服务的内容供应系统的整体结构的示图。

图24和图25示出根据实施例的应用本公开的视频编码方法和视频解码方法的移动电话的外部和内部结构。

图26示出根据实施例的采用通信系统的数字广播系统。

图27是示出根据实施例的使用视频编码装置和视频解码装置的云计算系统的网络结构的示图。

具体实施方式

根据实施例的一方面，一种由视频解码装置执行的视频解码方法，所述视频解码方法包括：从比特流中确定当前块的预测模式信息和指示预测候选的索引；根据预测模式信息确定预测候选列表；在当前块的预测模式信息指示预设预测模式时，确定由指示来自预测候选列表的预测候选的索引指示的运动矢量，并且基于与运动矢量有关的多条运动预测信息中的至少一个确定当前块的预测运动矢量；以及基于预测运动矢量来确定当前块的运动矢量，其中预设预测模式是与跳过模式和合并模式不同的预测模式。

根据预设预测模式的预测候选列表可以包括在与基本运动矢量相距统一的距离处的候选的运动矢量。

基本运动矢量可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。

预测候选列表的确定可以包括：确定在与基本运动矢量相距第一像素距离处的预测运动矢量候选作为第一候选组，以及确定在与基本运动矢量相距第二像素距离处的预测运动矢量候选作为第二候选组。

与运动矢量有关的运动预测信息可以包括从当前块的相邻块获得的参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息中的至少一个，并且当前块的预测运动矢量的确定可以包括通过组合或改变参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息来确定当前块的预测运动矢量。

包括在预测候选列表中的由预测运动矢量候选指示的索引可以包括根据跳过模式或合并模式指示预测运动矢量候选的索引、和根据预设预测模式指示预测运动矢量候选的索引，其中可以在现有索引之间生成根据预设预测模式指示预测运动矢量候选的索引。

可以在跳过标志(flag)和合并模式标志之间获得或在跳过标志和合并模式标志之后获得预设预测模式的预测模式信息。

根据另一实施例的一方面，一种由视频编码装置执行的视频编码方法，所述视频编码方法包括：根据预设预测模式确定预测候选列表；在当前块的预测模式信息指示预设预测模式时，确定由来自预测候选列表的索引指示的运动矢量，并且基于与运动矢量有关的多条运动矢量信息中的至少一个确定当前块的预测运动矢量；基于预测运动矢量确定当前块的运动矢量；以及编码指示预设预测模式的预测模式信息，其中预设预测模式可以是与跳过模式和合并模式不同的预测模式。

根据预设预测模式的预测候选列表可以包括在与基本运动矢量相距统一的距离处的候选作为预测运动矢量候选。

基本运动矢量可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。

预测候选列表的确定可以包括：确定在与基本运动矢量相距第一像素距离处的预测运动矢量候选作为第一候选组，以及确定在与基本运动矢量相距第二像素距离处的预测运动矢量候选作为第二候选组。

由包括在预测候选列表中的预测运动矢量候选指示的索引可以包括根据跳过模式或合并模式指示预测运动矢量候选的索引，以及根据预设预测模式指示预测运动矢量候选的索引，其中可以在现有索引之间生成根据预设预测模式指示预测运动矢量候选的索引。

可以在跳过标志和合并模式标志之间获得或在跳过标志和合并模式标志之后获得预设预测模式的预测模式信息。

根据另一实施例的一方面，视频解码装置包括：确定器，被配置为从比特流中确定当前块的预测模式信息和指示预测候选的索引，并根据预测模式信息确定预测候选列表；以及解码器，被配置为在当前块的预测模式信息指示预设预测模式时，确定由来自预测候选列表的索引指示的运动矢量，基于与运动矢量有关的多条运动预测信息中的至少一个确定当前块的预测运动矢量，并且基于从预测运动矢量获得的当前块的运动矢量对当前块执行运动补偿，其中预设预测模式是与跳过模式和合并模式不同的预测模式。

根据另一实施例的一方面，视频编码装置包括：编码器，被配置为在当前块的预测模式信息指示预设预测模式时，根据预设预测模式信息确定预测候选列表，确定由来自预测候选列表的索引指示的运动矢量，基于与运动矢量有关的多条运动预测信息中的至少一个确定当前块的预测运动矢量，并基于从预测运动矢量获得的当前块的运动矢量对当前块执行运动预测；以及比特流发生器，被配置为生成包括指示预设预测模式的预测模式信息的比特流，其中预设预测模式是与跳过模式和合并模式不同的预测模式。

本文使用的包括描述性或技术术语的所有术语应被解释为具有对本领域普通技术人员显而易见的含义。然而，根据本领域普通技术人员的意图、先例、或新技术的出现，术语可以具有不同的含义。并且，一些术语可能是由申请人任意选择的，在这种情况下，将在本公开的详细描述中详细描述所选择的术语的含义。因此，本文使用的术语必须基于术语的含义以及整个说明书中的描述来定义。

并且，在整个说明书中，当一部分“包括”或“包含”元件时，除非有与之相反的特定描述，否则该部分还可以包括其它元件而不排除其它元件。本文所用的术语“单元”，是指执行某些任务的诸如现场可编程门阵列(Field Programmable Gate Array，FPGA)或专用集成电路(Application Specific Integrated Circuit，ASIC)的软件或硬件组件。然而，术语“单元”不限于软件或硬件。“单元”可以方便地被配置为驻留在可寻址存储介质上以及被配置为在一个或多个处理器上执行。因此，单元可以包括，例如，诸如软件组件、面向对象的软件组件、类组件和任务组件、进程、函数、属性、过程、子例程、程序代码段、驱动器、固件、微代码、电路、数据、数据库、数据结构、表格、数组、和变量的组件。在组件和“单元”中提供的功能可以组合成更少的组件和“单元”，或者可以进一步分为另外的组件和“单元”。

虽然术语“第一”和“第二”用于描述各种组件，但是显而易见的是，组件不限于术语“第一”和“第二”。术语“第一”和“第二”仅用于区分每个组件。例如，第一组件可以指示第二组件或第二组件可以指示第一组件而不与本公开冲突。术语“和/或”包括相关的列出的项目中的一个或多个的任何和所有组合。

现在将参照附图更全面地描述本公开，其中附图示出本公开的实施例。然而，本公开可以以许多不同的形式具体实现，并且不应被解释为限于本文所阐述的实施例。

在下文中，将参照图1至图7提出根据实施例的视频编码方法和视频解码方法。

并且，将参照图8至图20描述根据实施例的基于适用于提出的视频编码方法和视频解码方法的树结构的编码单元的视频编码方法和视频解码方法。

并且，将参照图21至图27描述可应用视频编码方法和视频解码方法的实施例。

在下文中，“图像”可能指的是视频本身、或视频的静止图像或运动图像。

在下文中，“当前块”可能指的是要被编码或解码的图像的块。

在下文中，“相邻块”指的是与当前块邻近的至少一个被编码的或被解码的块。例如，相邻块可以位于当前块的上面、右上、左侧或左上。并且，相邻块可以是空间相邻块或时间相邻块。例如，时间相邻块可以包括与当前块邻近的参考图片的块。并且，相邻块可以包括参考图片的当前块的共同定位(co-located)块，或者与共同定位块空间上邻近的块。

图1是根据实施例的视频编码装置的框图。

参考图1，视频编码装置10可以包括编码器12和比特流发生器14。然而，图1中示出的组件并非全部是必不可少的。视频编码装置10可以包括比图1所示的那些更多或更少的组件。现在将对组件进行描述。

视频编码装置10(例如，编码器)可以在帧间预测(inter prediction)期间在参考图片中搜索与当前块最相似的预测块，然后将关于预测块的信息发送到视频解码装置20(例如，解码器)。

视频编码装置10可以通过运动估计过程在参考图片中搜索最佳预测块，并且通过运动补偿过程生成预测块。

在下文中，“运动估计”可以表示在参考图片中搜索最佳预测块。并且，为了更精确的运动估计，视频编码装置10可以根据视频编解码器的类型来内插重构的图片，然后以子像素为单位对内插的图片执行运动估计。

在下文中，“运动补偿”可以表示基于关于在运动估计过程期间发现的最佳预测块的运动信息生成预测块。这里，运动信息可以是运动矢量或参考图片索引，但不限于此。

根据实施例，在帧间预测中，视频编码装置10向视频解码装置20发送运动估计结果方向信息、将参考列表中的参考图片区分的参考索引、运动矢量信息等。这里，运动估计结果方向信息可以是区分参考图片列表0和参考图片列表1的方向信息。视频编码装置10可以使用相邻块和当前块之间的运动信息的相关性来使用预测模式，以减少在预测单元中传送的运动信息的量。预测模式可以是跳过模式、合并模式、高级运动矢量预测(advancedmotion vector prediction，AMVP)模式，但不限于此，并且也可以是另一预测模式。

编码器12可以形成用于感应运动信息的候选块的列表，并且在列表中选择候选块。例如，运动信息可以是当前块的运动矢量。换句话说，编码器12可以确定用于感应运动信息的预测候选列表。

在说明书中，“预测候选”可以表示候选块。“预测候选列表”可以表示候选块的运动矢量的列表。“预测候选列表”可以替代地表示指示候选块的运动矢量的索引的列表。“基本运动矢量”可以表示其中候选块指示参考块的运动矢量。“预测运动矢量”可以是从“基本运动矢量”导出的矢量，并且可以表示从通过使用与基本运动矢量相关的运动预测信息确定的运动矢量候选当中选择的、用来预测当前块的运动矢量的运动矢量。

编码器12可以根据预设预测模式信息来确定预测候选列表。这里，预设预测模式可以是与跳过模式和合并模式不同的预测模式。预设预测模式可以是其中通过不仅使用在跳过模式或合并模式期间使用的信息而且还使用可用于对图像进行编码和解码的信息而生成预测运动矢量候选的模式，并且预测运动矢量候选中的一个被确定为预测运动矢量。

例如，编码器12可以根据预设预测模式，通过使用区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个来生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。稍后将参照图5a至5d进行描述。

作为另一示例，编码器12可以根据预设预测模式改变区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个，通过仅使用改变的信息或通过使用改变的信息和改变之前的信息来生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。

根据实施例，根据预设预测模式的预测候选列表可以包括在距离基本运动矢量统一的距离处的候选作为预测运动矢量候选。关于预测运动矢量候选的确定的细节将在后面参考图5a至图5d描述。

预测候选列表可以包括空间候选或时间候选。基于当前块和邻近块的运动相似的假设，空间候选可以是根据预测单元的分割形状确定的邻近的相邻块。例如，2Nx2N预测单元可以使用与当前块邻近的五个块作为空间候选。2NxN、Nx2N、2NxnU、2NxnD、nLx2N、和nRx2N预测单元也可以使用与当前块邻近的五个块作为空间候选。并且，当空间候选的确定完成时，编码器12可以确定时间候选。并且，在空间或时间候选的确定完成之后，可以基于完成的候选的组合来确定附加候选。

在当前块的预测模式信息指示预设预测模式时，编码器12可以从预测候选列表确定由预测候选索引指示的运动矢量。编码器12可以基于与运动矢量相关的多条运动预测信息中的至少一个来确定当前块的预测运动矢量。编码器12可以通过组合与运动矢量相关的多条运动预测信息来获得预测运动矢量候选，并从预测运动矢量候选当中根据与当前块最相似的预测块来确定预测运动矢量。

与运动矢量相关的运动预测信息可以包括从当前块的相邻块获得的参考方向、参考图片的索引、运动矢量值、和运动矢量差异信息中的至少一个，但是不限于此。

编码器12可以通过组合或改变参考方向、参考图片的索引、运动矢量值、和运动矢量差异信息来获得新的预测运动矢量候选，并且从新的预测运动矢量候选当中确定当前块的预测运动矢量。

并且，编码器12可以针对每个候选组不同地确定预测运动矢量候选的数量。编码器12可以将在距离基本运动矢量第一像素距离处的预测运动矢量候选确定为第一候选组，将在距离基本运动矢量第二像素距离处的预测运动矢量候选确定为第二候选组，以及将在距离基本运动矢量第n像素距离处的预测运动矢量候选确定为第n候选组。这里，在统一的像素距离处的预测运动矢量候选也可以包括在离统一像素距离预设误差范围内的像素距离处的预测运动矢量候选。并且，编码器12可以形成预测运动矢量候选，使得像素距离随着组的数量增加而增加，其中像素距离可以线性地或非线性地增加。

编码器12可以从第一候选组和第二候选组当中确定指示预测运动矢量属于的组的候选索引。

同时，包括在预测候选列表中的指示预测运动矢量候选的索引可以包括根据跳过模式或合并模式指示预测运动矢量候选的索引，以及根据预设预测模式指示预测运动矢量候选的索引。可以在现有索引之间生成根据预设预测模式指示预测运动矢量候选的索引。

可以通过使用现有预测模式的标志或索引来显示预设预测模式的预测模式信息。现有的预测模式可以包括跳过模式、合并模式、或AMVP模式，但不限于此。视频编码装置10可以根据跳过模式和合并模式，通过从相邻块感应参考方向、参考图片索引、运动矢量值等来确定预测运动矢量。与跳过模式和合并模式不同，视频编码装置10可以根据AMVP模式向视频解码装置20发送参考方向、参考图片索引、和运动矢量的差异。

例如，可以在现有的跳过模式标志和现有的合并模式标志之间插入关于是否使用预设预测模式的标志。当预设预测模式标志处于开启状态时，视频编码装置10可以不发送除了预测运动矢量候选的索引之外的与运动预测相关的语法信息，或者可以发送关于残差分量(residual component)的信息。在这种情况下，是否发送关于残差分量的信息可以经由标志来显式地发送。视频编码装置10可以通过使用现有模式的标志或索引来显示预设预测模式的预测模式信息，以减少比特表示，从而提高压缩性。

作为另一示例，可以在合并模式标志之后插入关于是否使用预设预测模式的标志。如上所述，当预设预测模式标志处于开启状态时，视频编码装置10可以不发送除了预测运动矢量候选的索引之外的与运动预测相关的语法信息，或者可以发送关于残差分量的信息。在这种情况下，是否发送关于残差分量的信息可以经由标志来显式地发送。

当将预设预测模式的预测模式信息插入到现有索引列表中时，插入预测模式信息之后的索引的比特表示被改变。稍后将参照6a至6c描述其细节。

并且，编码器12可以通过使用预测运动矢量来确定当前块的运动矢量，并且基于当前块的运动矢量对当前块执行运动预测。

比特流发生器14可以生成包括指示预设预测模式的预测模式信息的比特流。视频编码装置10可以将生成的比特流生成到视频解码装置20。视频编码装置10可以通过将从预测候选列表中选择的预测运动矢量信息发送到视频解码装置20来有效地减少运动相关的数据的量。

并且，视频编码装置10可以对作为原始块和经由帧间预测获得的预测块之间的差异的残差信号执行变换、量化、和熵编码。

视频编码装置10可以包括通常控制编码器12和比特流发生器14的中央处理器(未示出)。中央处理器可以被实现为多个逻辑门的阵列，或者可以被实现为通用微处理器与其中存储由微处理器执行的程序的存储器的组合。并且，对于本领域普通技术人员显而易见的是，中央处理器可以以另一形式的硬件来实现。或者，编码器12和比特流发生器14可以各自由自处理器(未示出)操作，并且视频编码装置10可以在自处理器相互操作时操作。或者，可以根据视频编码装置10的外部处理器(未示出)的控制来控制编码器12和比特流发生器14。

视频编码装置10可以包括存储编码器12和比特流发生器14的输入和输出数据的一个或多个存储器(未示出)。视频编码装置10可以包括控制存储器的数据输入和输出的存储器控制器(未示出)。

在下文中，将描述视频编码装置10的各种操作和应用，其中不指定编码器12和比特流发生器14中的一个的情况下可以被本领域普通技术人员清楚地理解和预期的描述可以被理解为一般实施例，并且本公开的权利的范围不受特定元素或物理/逻辑结构的名称的限制。在下文中，将参照图2描述图像编码装置10的操作。

图2是根据实施例的视频编码方法的流程图。

在图2的操作S11中，视频编码装置10可以根据预设预测模式来确定预测候选列表。这里，预设预测模式可以是与跳过模式和合并模式不同的预测模式。预设预测模式可以通过使用不仅在跳过模式或合并模式中使用的信息，而且可以使用可用于对图像进行编码和解码的信息来生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。

例如，视频编码装置10可以根据预设预测模式，通过使用区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个来生成预测运动矢量候选，并将预测运动矢量候选中的一个确定为预测运动矢量。

根据实施例，根据预设预测模式的预测候选列表可以包括在与基本运动矢量相距统一的距离处的候选的运动矢量。并且，基本运动矢量可以是在当前块的跳跃模式或合并模式中使用的预测运动矢量候选中的一个。

在操作S13中，在当前块的预测模式信息指示预设预测模式时，视频编码装置10可以确定由来自预测候选列表的预测候选索引指示的运动矢量。视频编码装置10可以基于与运动矢量有关的多条运动预测信息中的至少一个来确定当前块的预测运动矢量。

视频编码装置10可以基于多条运动预测信息中的至少一个来确定预测运动矢量候选，并且从所确定的预测运动矢量候选当中根据与当前块最相似的预测块来确定预测运动矢量。

与运动矢量有关的运动预测信息可以包括从当前块的相邻块获得的参考方向、参考图片的索引、运动矢量的值、和运动矢量差异值中的至少一个，但不限于此。视频编码装置10可以通过组合或改变参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息来确定当前块的预测运动矢量。

视频编码装置10可以根据预测模式通过使用区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。

同时，指示包括在预测候选列表中的预测运动矢量候选的索引可以包括根据跳过模式或合并模式指示预测运动矢量候选的索引，以及根据预设预测模式指示预测运动矢量候选的索引。

这里，可以在现有索引之间生成根据预设预测模式指示预测运动矢量候选的索引。并且，可以将预设预测模式的预测模式信息插入到跳过标志和合并模式标志之间，或者可以在跳过标志或合并模式标志之后插入。

并且，视频编码装置10可以通过使用m个预测运动矢量候选来形成一个候选组，并且生成n个候选组(这里，m和n各自为正整数)。例如，视频编码装置10可以将在1/4像素距离处的4个预测运动矢量候选确定为第一候选组。视频编码装置10可以将在1/2像素距离处的4个预测运动矢量候选确定为第二候选组。

在操作S15中，视频编码装置10可以基于预测运动矢量来确定当前块的运动矢量。

在操作S17中，视频编码装置10可以对指示预设预测模式的预测模式信息进行编码。视频编码装置10可以生成包括指示预设预测模式的预测模式信息的比特流。视频编码装置10可以将生成的比特流发送到视频解码装置20。并且，为了输出预测模式信息的编码结果，视频编码装置10可以与其中包括的内部视频编码处理器或者与外部视频编码处理器联合进行操作。视频编码装置10的内部视频编码处理器可以作为单独的处理器执行基本的视频编码操作，但是替代地，视频编码装置10、中央操作装置、或图形操作装置可以包括视频编码处理模块以执行基本的视频编码操作。

图3是根据实施例的视频解码装置的框图。

参考图3，视频解码装置20可以包括确定器22和解码器24。然而，不是在图3中示出的所有组件都是必需的。视频解码装置20可以包括比在图3中示出的那些更多或更少的组件。现在将描述所述组件。

在当前块的预测模式是帧间预测模式时，视频解码装置20通过使用从视频编码装置10发送的参考图片信息和参考块信息来执行运动补偿。视频解码装置20可以经由运动补偿生成预测块。视频解码装置20可以通过组合所生成的预测块和经由熵编码、逆量化、和逆变换过程生成的残差信号来重构图像。

确定器22可以接收比特流，并且基于接收到的比特流来确定当前块的预测模式信息和指示预测候选的索引。预测模式可以包括跳过模式、合并模式、和AMVP模式，但不限于此，并且对于本领域普通技术人员显而易见的是，预测模式可以包括另一种预测模式。跳过模式和合并模式是通过从相邻块指示参考方向、参考图片索引、运动矢量值等来确定预测运动矢量的模式。与跳过模式和合并模式不同，在AMVP模式中，可以从视频编码装置10接收参考方向、参考图片索引、和运动矢量。预测模式可以基于可以用于对图像进行编码和解码的信息进行预设。

确定器22可以形成用于感应运动信息的候选块的列表，并且在列表中选择候选块。例如，运动信息可以是当前块的预测运动矢量。换句话说，确定器22可以确定用于感应运动信息的预测候选列表。

“预测候选”可以表示候选块。“预测候选列表”可以表示候选块的运动矢量的列表。“预测候选列表”可以替代地表示指示候选块的运动矢量的索引的列表。“基本运动矢量”可以表示候选块指示参考块的运动矢量。“预测运动矢量”是从“基本运动矢量”导出的矢量，并且可以表示从通过使用与基本运动矢量有关的运动预测信息确定的运动矢量候选当中选择的运动矢量，以便预测当前块的运动矢量。确定器22可以根据预测模式信息来确定预测候选列表。

在当前块的预测模式信息指示预设预测模式时，解码器24可以确定由来自预测候选列表的预测候选索引指示的运动矢量，并且基于与运动矢量有关的多条运动预测信息中的至少一个确定当前块的预测运动矢量。解码器24可以基于从预测运动矢量获得的当前块的运动矢量，对当前块执行运动补偿。解码器24可以获得关于预测运动矢量和原始运动矢量之间的差异的信息，并且通过将差异和预测运动矢量相加来重构当前块的运动矢量。预设预测模式可以是与跳过模式和合并模式不同的预测模式。预设预测模式可以是通过不仅使用用于跳过模式或合并模式的信息而且使用可以用于编码和解码图像的信息来生成预测运动矢量候选、并且预测运动矢量候选中的一个被确定为预测运动矢量的模式。

例如，解码器24可以根据预设预测模式通过使用区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个来生成预测运动矢量候选，并且从预测运动矢量候选当中确定参考块的运动矢量作为预测运动矢量。

作为另一示例，解码器24可以根据预设预测模式改变区分参考图片列表的参考方向信息、参考图片索引、运动矢量值、和运动矢量差异中的至少一个，通过仅使用被改变的信息、或使用被改变的信息和被改变之前的信息来生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。

换句话说，解码器24可以根据预设预测模式生成预测运动矢量候选，并且将预测运动矢量候选中的一个确定为预测运动矢量。

根据实施例，根据预设预测模式的预测候选列表可以包括与现有运动矢量相距统一的距离的候选作为预测运动矢量候选。关于预测运动矢量候选的确定的细节将在后面参考图5a至图5d描述。这里，“基本运动矢量”可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。

解码器24可以将与基本运动矢量相距第一像素距离的预测运动矢量候选确定为第一候选组，并且将与基本运动矢量相距第二像素距离的预测运动矢量候选确定为第二候选组。这里，第一像素距离处的预测运动矢量候选也可以包括在第一像素距离内的预设误差范围内的像素距离处的预测运动矢量候选。

预测候选列表可以包括空间候选或时间候选。基于当前块和邻近块的运动相似的假设，空间候选可以是根据预测单元的分割形状确定的邻近的相邻块。例如，2Nx2N预测单元可以使用与当前块邻近的五个块作为空间候选。2NxN、Nx2N、2NxnU、2NxnD、nLx2N、和nRx2N预测单元也可以使用与当前块邻近的五个块作为空间候选。并且，当空间候选的确定完成时，确定器22可以确定时间候选。并且，在空间或时间候选的确定完成之后，可以基于完成候选的组合来确定附加候选。

在当前块的预测模式信息指示预设预测模式时，解码器24可以确定由来自预测候选列表的预测候选索引指示的运动矢量。解码器24可以基于与运动矢量有关的多条运动预测信息中的至少一个来确定当前块的预测运动矢量。解码器24可以通过组合与运动矢量有关的多条运动预测信息来获得预测运动矢量候选，并确定由来自预测运动矢量候选的预测候选索引指示的运动矢量。

与运动矢量有关的运动预测信息可以包括从当前块的相邻块获得的参考方向、参考图片的索引、运动矢量值、和运动矢量差异信息中的至少一个，但是不限于此。

解码器24可以通过组合或改变参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息来获得新的预测运动矢量候选，并且从新的预测运动矢量候选当中确定当前块的预测运动矢量。

解码器24可以从第一和第二候选组当中确定指示预测运动矢量属于的组的候选索引。

指示包括在预测候选列表中的预测运动矢量候选的索引可以包括根据跳过模式或合并模式指示预测运动矢量候选的索引，和根据预设预测模式指示预测运动矢量候选的索引。根据预设预测模式指示预测运动矢量候选的索引可以基于现有索引而变化。现有索引可以是根据跳过模式或合并模式指示预测运动矢量候选的索引。将参照图6a至图6c描述其细节。

并且，可以在跳过标志和合并模式标志之后获得预设预测模式的预测模式信息。并且，可以从AMVP模式语法元素获得预设预测模式的预测模式信息。

跳过标志位于编码单元调用的开始区域，并且显示关于当前块是否处于跳过模式的信息。在当前块处于跳过模式时，除了跳过索引之外，不发送与运动预测有关的语法。跳过索引指示从包括相邻块的候选的列表中选择的候选的位置。在相邻块中用作候选信息的信息包括参考方向、参考图片索引、和运动矢量预测值。

合并标志位于预测单元调用的开始区域，并且显示关于当前块的预测单元块是否处于合并模式的信息。当预测单元块处于合并模式时，视频编码装置10发送合并索引，并且不发送与运动矢量差异、预测方向、和参考图片索引有关的语法。合并索引指示从包括相邻块的候选的列表中选择的候选。在候选块中用作候选信息的信息包括参考方向、参考图片索引、和运动矢量预测值。

在AMVP模式中，视频编码装置10将作为运动矢量与预测运动矢量之间的差异的运动矢量差异(motion vector difference，MVD)发送到视频解码装置20。当模式为AMVP模式时，视频解码装置20还可以接收与AMVP标志一起的、与运动矢量差异、预测方向、和参考图片索引有关的语法。AMVP标志确定包括相邻块的候选的两个候选中的一个。

解码器24可以通过使用从比特流解析的图像的符号来解码图像。当视频解码装置20接收到以具有树结构的编码单元编码的流时，解码器24可以基于具有树结构的编码单元，按照流的最大编码单元执行解码。将参照图8描述关于最大编码单元的细节。

解码器24可以通过根据最大编码单位执行熵编码来获得编码信息和编码数据(encoded data)。解码器24可以通过对从流获得的编码数据进行逆量化和逆变换来重构残差分量。并且，解码器24可以直接接收量化的变换系数的比特流。可以通过对量化的变换系数执行逆量化和逆变换来重构图像的残差分量。

解码器24可以基于与当前块最相似的预测块的运动信息来生成预测块。这里，运动信息可以包括预测块的运动矢量和参考图片索引。解码器24可以通过组合残差分量(即预测块和原始块之间的差异)和预测块来重构图像。

视频解码装置20可以包括通常控制确定器22和解码器24的中央处理器(未示出)。中央处理器可以被实现为多个逻辑门的阵列，或者可以被实现为通用微处理器和存储由微处理器执行的程序的存储器的组合。并且，对于本领域普通技术人员显而易见的是，中央处理器可以以另一种形式的硬件来实现。或者，确定器22和解码器24可以各自由自处理器(self-processor)(未示出)操作，并且视频解码设备20可以在自处理器相互操作时被操作。或者，可以根据视频解码装置20的外部处理器(未示出)的控制来控制确定器22和解码器24。

视频解码装置20可以包括存储确定器22和解码器24的输入和输出数据的一个或多个存储器(未示出)。视频解码装置20可以包括控制存储器的数据输入和输出的存储器控制器(未示出)。

在下文中，将描述视频解码装置20的各种操作和应用，其中在不指定确定器22和解码器24中的一个的情况下本领域普通技术人员可以清楚地理解和预期的描述可以被理解为一般实施例，并且本公开的权利的范围不受特定元素的名称或物理/逻辑结构的限制。在下文中，将参照图4描述视频解码装置20的操作。

图4是根据实施例的视频解码方法的流程图。

在图4的操作S21中，视频解码装置20可以从比特流确定当前块的预测模式信息和指示预测候选的索引。预测模式可以包括跳过模式、合并模式和AMVP模式，但不限于此。

在操作S23中，视频解码装置20可以根据预测模式信息确定预测候选列表。

在操作S25中，在当前块的预测模式信息指示预设预测模式时，视频解码装置20可以确定由来自预测候选列表的索引指示的运动矢量，并且基于与运动矢量有关的多条运动预测信息中的至少一个确定预测运动矢量。

与运动矢量有关的运动预测信息可以包括从当前块的相邻块获得的参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息中的至少一个，但不限于此。视频解码装置20可以通过组合或改变参考方向、参考图片的索引、运动矢量的值、和运动矢量差异信息来确定当前块的预测运动矢量。

预设预测模式可以是与跳过模式和合并模式不同的预测模式。根据预设预测模式的预测候选列表可以包括与基本运动矢量相距统一的距离的候选作为预测运动矢量候选。基本运动矢量可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。

同时，视频解码装置20可以基于统一的距离对从基本运动矢量导出的预测运动矢量候选进行分组。例如，视频解码装置20可以将与基本运动矢量相距第一像素距离的预测运动矢量候选确定为第一候选组，并且将与基本运动矢量相距第二像素距离的预测运动矢量候选确定为第二候选组。

视频解码装置20可以从第一和第二候选组当中确定预测运动矢量属于的组，作为从比特流获得的候选索引。

在操作S27中，视频解码装置20可以基于预测运动矢量来确定当前块的运动矢量。视频解码装置20可以基于当前块的运动矢量对当前块执行运动补偿。

视频解码装置20可以通过提取关于预测运动矢量和原始运动矢量之间的差异的信息、以及然后将该差异和预测运动矢量相加，来重构当前块的运动矢量。

为了经由视频解码重构视频，视频解码装置20可以通过与其中包括的内部视频解码处理器或与外部视频解码处理器联合进行操作，来执行视频解码操作。视频解码装置20的内部视频解码处理器可以作为单独的处理器执行基本的视频解码操作，但是可替代地，视频解码装置20、中央操作装置、或图形操作装置可以包括执行基本的视频解码操作的视频解码处理模块。

图5a至5d是根据实施例的用于描述确定预测运动矢量候选的过程的示图。

根据实施例，在当前块的预测模式是与跳过模式、合并模式、和AMVP模式不同的预设预测模式时，视频解码装置20可以通过使用基本运动矢量确定预测运动矢量候选。这里，基本运动矢量可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。基本运动矢量可以是用在除了跳过模式或合并模式之外的预定预测模式中的矢量候选中的一个。

并且，基本运动矢量可以从当前编码的图片的编码块的运动矢量、或者可以从当前图片暂时参考的图片的编码块的运动矢量来确定。例如，基本运动矢量可以是在当前块的跳过模式或合并模式中使用的预测运动矢量候选中的一个。

并且，基本运动矢量可以通过基本运动矢量之间的操作来确定。

并且，当预测候选包括第一预测模式中的运动矢量信息时，视频解码装置20可以将运动矢量信息确定为基本运动矢量。

参考图5a至5d，视频解码装置20可以在形成预测运动矢量候选的同时确定具有螺旋分布的运动矢量。螺旋分布的形状可以与诸如菱形或矩形的多边形相似，或类与圆形相似。

视频解码装置20可以将与基本运动矢量相距统一的距离的候选确定为预测运动矢量候选。视频解码装置20可以将与基本运动矢量相距第1像素距离的预测运动矢量候选确定为第1候选组，将在第2像素距离处的预测运动矢量候选确定为第2候选组，以及将在第n像素距离处的预测运动矢量候选作为第n候选组。这里，视频解码装置20可以将最接近于基本运动矢量的预测运动矢量候选确定为第一候选组，并将第二接近基本运动矢量的预测运动矢量确定为第二候选组，其中候选组编号随像素距离增加依次增加。

当1/4像素单位为1时，随着候选组编号增加，像素距离间隔可以被确定为对数比例间隔或非线性间隔。或者，像素距离的间隔可以由用户确定。

每个候选组中的预测运动矢量候选的数量可以在1到M之间。

在图5a和图5b中，每个候选组中的预测运动矢量候选的数量为4(M＝4)。这里，候选组的数量可以是3，但不限于此。

参考图5a，视频解码装置20可以基于基本运动矢量来确定具有菱形分布的预测运动矢量候选。像素之间的每个间隔是1/4像素距离，但是为方便起见，矢量候选的分量值被缩放4倍。

视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距1/4像素距离的预测运动矢量候选(base_x+1，base_y)502、(base_x-1，base_y)503、(base_x，base_y+1)504、和(base_x，base_y-1)505确定为第一候选组。

视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距1/2像素距离的预测运动矢量候选(base_x+2，base_y)506、(base_x-2，base_y)507、(base_x，base_y+2)508、和(base_x，base_y-2)509确定为第二候选组。

视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距1像素距离的预测运动矢量候选(base_x+4，base_y)510、(base_x-4，base_y)511、(base_x，base_y+4)512、和(base_x，base_y-4)513确定为第三候选组。

参考图5b，视频解码装置20可以基于基本运动矢量来确定具有矩形形状的分布的预测运动矢量候选。像素之间的每个间隔是1/4像素距离，但是为方便起见，矢量候选的分量值被缩放4倍。

类似地，视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距大约1/4像素距离的预测运动矢量候选(base_x+1，base_y+1)521、(base_x+1，base_y-1)522、(base_x-1，base_y+1)523、和(base_x-1，base_y-1)524确定为第一候选组。

视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距约1/2像素距离的预测运动矢量候选(base_x+2，base_y+2)525、(base_x+2，base_y-2)526、(base_x-2，base_y+2)527、和(base_x-2，base_y-2)528确定为第二候选组。

视频解码装置20可以将与基本运动矢量(base_x，base_y)501相距约1个像素距离的预测运动矢量候选(base_x+4，base_y+4)529、(base_x+4，base_y-4)530、(base_x-4，base_y+4)531、和(base_x-4，base_y-4)532确定为第三候选组。

参考图5c，视频解码装置20可以将不同数量的预测运动矢量候选确定为组。像素之间的每个间隔是1/4像素距离，但是为方便起见，矢量候选的分量值被缩放4倍。

例如，视频解码装置20可以将与基本运动矢量相距约1/4像素距离的8个预测运动矢量候选(base_x+1，base_y)502、(base_x-1，base_y)503、(base_x，base_y+1)504、(base_x，base_y-1)505、(base_x+1，base_y+1)521、(base_x+1，base_y-1)522、(base_x-1，base_y+1)523、和(base_x-1，base_y-1)524确定为第一候选组。

并且，视频解码装置20可以将与基本运动矢量相距约1/2像素距离的8个预测运动矢量候选(base_x+2，base_y)506、(base_x-2，base_y)507、(base_x，base_y+2)508、(base_x，base_y-2)509、(base_x+2，base_y+2)525、(base_x+2，base_y-2)526、(base_x-2，base_y+2)527、和(base_x-2，base_y-2)528确定为第二候选组。

视频解码装置20可以将与基本运动矢量相距约1像素距离的4个预测运动矢量候选(base_x+4，base_y)510、(base_x-4，base_y)511、(base_x，base_y+4)512、和(base_x，base_y-4)513确定为第三候选组。

参考图5d，视频解码装置20可以根据候选组确定预测运动矢量候选，并且不同地确定每个候选组的分布形状。例如，视频解码装置20可以基于基本运动矢量501来将具有菱形分布的预测运动矢量候选502、503、504、和505确定为第一候选组。并且，视频解码装置20可以基于基本运动矢量501将具有矩形形状的分布的预测运动矢量候选525、526、527、和528确定为第二候选组。并且，视频解码装置20可以基于基本运动矢量501将具有菱形分布的预测运动矢量候选510、511、512、和513确定为第三候选组。如图5d所示，除了图5d所示的各种分布形状之外，可以将每个候选组的预测运动矢量候选的分布确定为各种分布形状。

基本解码装置20可以确定一个或多个基本运动矢量。当有两个基本运动矢量时，可以通过使用基本运动矢量中的每一个来生成预测运动矢量候选。

视频解码装置20可以执行双向运动预测。当通过使用列表0和列表1中的参考图片对基本运动矢量执行双向预测时，每个参考方向的运动矢量可以被改变为相反符号的尺寸。

例如，在当前解码的图片的POC存在于两个预测参考图片POC之间(列表0中的参考图片的POC<当前解码的图片的POC<列表1中的参考图片的POC)、并且从在当前解码图片中的基本运动矢量指示在列表0中的参考图片的预测运动矢量候选被确定为(x+1，y)时，视频解码装置20可以将从基本运动矢量指示列表1中的参考图片的预测运动矢量候选确定为(x-1，y)。这里，列表0运动矢量和列表1运动矢量可以是其中基本运动矢量的x或y分量值被移动相反符号的改变量的矢量。例如，当x分量从基本运动矢量(x，y)被改变+1和-1时，L0运动矢量可以被确定为(x+1)并且L0运动矢量可以被确定为(x-1，y)。

在当前解码的图片的POC不存在于L0中的参考图片和L1中的参考图片的POC之间时，指示列表0和列表1中的参考图片的预测运动矢量候选可以被改变到有相同或不同符号的尺寸。

图6a至图6c是根据实施例的用于描述当将预设预测模式信息插入到现有预测器候选列表中时的比特表示方法的示图。换句话说，图6a至图6c是用于描述通过使用跳过模式或合并模式中的5个索引中的一个来显示预设预测模式的使用的示例的示图。

当跳过模式或合并模式使用5个候选并且另外使用1个索引来显示预设预测模式时，跳过模式或合并模式可以使用总共6个候选。当在解析跳过模式或合并模式的索引的同时获得经由预设预测模式的使用而有可能的索引信息时，视频解码装置20可以确定预设预测模式被使用，并且另外解析预测运动矢量候选的索引。在这种情况下，跳过模式或合并模式的哪个索引根据序列、图片、和片(slice)通知预设预测模式的使用可以通过使用在上层解析的信息来解释。所述上层的示例包括头信息。视频编码装置10可以根据序列、图片、和片来确定跳过模式或合并模式的哪个索引可以被显示为预设预测模式的使用信息。

根据实施例，视频编码装置10可以通过在指示预设预测模式的使用的索引和跳过模式或合并模式的现有候选的索引之间统计地累积命中率信息，来自适应地确定以序列、图片、或片为单位的顺序。指示预设预测模式的使用的索引可以被明确地用信号通知给下一图片或片头(slice header)。相应地，视频解码装置20可以通过使用从图片或片头获得的信息来分析哪个索引指示预设预测模式的使用。

图6a示出了截断一元法中的跳过模式或合并模式的5个预测运动矢量候选的索引方法。

图6b是用于描述预设预测模式的预测模式信息可插入的现有索引列表的位置的图。现有索引列表可以是将预测模式的预测模式信息插入索引列表之前的列表。例如，现有索引列表可以是指示跳过模式或合并模式的候选的索引列表。预设预测模式的预测模式信息可以以一个候选的形式插入到索引列表中。如图6b所示，有预设预测模式的预测模式信息可插入的现有索引列表的6个位置601至606。

图6c是用于描述当将预设预测模式的预测模式信息插入到现有索引列表的IDX3时的表示比特的变化的示图。如图6c所示，当在IDX2之后插入预设预测模式的预测模式信息时，预测模式信息的索引610可以根据截断一元法表示为1110，并且IDX3和IDX4可以各自以比特增加1比特来表示。

图7是根据实施例的用于描述预测运动矢量的比特表示方法的图。

视频编码装置10可以不将预测运动矢量候选的绝对位置用信号通知，而是可以索引和发送根据某一标准生成的预测运动矢量候选。例如，预测运动矢量候选的绝对位置的通知可以表示基本运动矢量和预测运动矢量候选之间的差异的发送，并且某一标准可以是对螺旋分布中的预测运动矢量候选的选择。如图7所示，比特可以表示哪个预测运动矢量候选已被使用。

参考图7，NIDX指示关于使用了哪个基本运动矢量的信息。例如，可将第一基本运动矢量的信息分配给IDX0，并且将第二基本运动矢量的信息分配给IDX1。可以根据被选择为与预测运动矢量有关的基本运动矢量的频率来确定分配了每个基本运动矢量的信息的NIDX。每个基本运动矢量的索引信息可以在图7的比特701中表示。

并且，从相同的基本运动矢量导出的预测运动矢量候选可以根据某一标准被分组到候选组。这里，该某一标准可以是将与基本运动矢量相距相同像素距离的候选确定为预测运动矢量候选的标准。关于每个组的索引信息可以在图7的比特702中表示。

当将预设预测模式的索引定义为IDX3时，可以以NIDX表示从IDX3中的基本运动矢量导出的预测运动矢量候选。并且，根据组，每个NIDX可以包括基于基本运动矢量的预测运动矢量候选。NIDX的表示可以使用固定长度编码(fixed length coding，FLC)方法或截断一元法。

图7示出了截断一元法的示例。NIDX的信息通过使用截断一元法表达，并且可以指示包括预测运动矢量的组。每个相对于基本运动矢量的候选组的表示也可以使用FLC方法或截断一元法。

当经由截断一元法表达预测运动矢量的每个候选组时，每个候选组可以以图片或片为单位以另一比特表示自适应地被表达。例如，当基于通过视频编码装置10获取累积的组命中率的结果，在第三候选组中的候选被最多选为预测运动矢量时，可以将这样的信息用信号通知给下一图片或片头，使得以最短的比特表示“0”表示第三候选组。

在这种情况下，可以用发送被最多选择的候选组的索引的方法来替换向下一图片或片头用信号通知的方法。例如，假设被最多选择的组的顺序如下。

第三候选组>第二候选组>第四候选组>第一候选组>第五候选组>第0候选组>第六候选组>第七候选组

例如，为了发送上3条信息，以图片或片为单位需要总共9比特的表示信息，即3条乘以3比特(总共8个候选)。当发送预期具有高频率的上3条候选组信息时，以下各项中的每一个被用信号通知：“011”，即第三候选组的表示比特；“010”，即第二候选组的表示比特；和“100”，即，第四候选组的表示比特。

同时，需要比特表示以用信号通知候选组信息，并指示候选组中的四个候选中的一个。参考图7的参考标号703，存在于四个方位角的候选可以分为两个或更多个组来应用CABAC上下文模型。上下文模型可以应用于通过将水平分量候选和垂直分量候选分成2组中的2个而获得的标志。参考图7的参考标号704，接触模型也可以应用于用于确定在标志解析之后要使用两个候选中的哪一个的标志。

在根据实施例的视频编码装置10和根据实施例的视频解码装置20中，通过分割视频数据获得的块可以被分割为最大编码单元，并且根据最大编码单元，基于具有树结构的编码单元进行解码。

在下文中，参考图8至图20，将描述根据各种实施例的视频编码方法、视频编码装置、视频解码方法、和基于具有树结构和变换单元的编码单元的视频解码装置。

图8是根据本公开的实施例的基于根据树结构800的编码单元的视频编码装置的框图。

根据实施例的基于根据树结构800的编码单元的涉及视频预测的视频编码装置包括编码单元确定器820和输出单元830。在下文中，为了便于描述，基于根据树结构800的编码单元的涉及视频预测的视频编码装置将被缩写为“视频编码装置800”。

编码单元确定器820可以基于作为具有用于图像的当前图片的最大尺寸的编码单元的最大编码单元来分割当前图片。如果当前图片大于最大编码单元，则当前图片的图像数据可以被分割成至少一个最大编码单元。根据实施例的最大编码单元可以是具有尺寸为32×32、64×64、128×128、256×256等的数据单元，其中数据单元的形状是具有2的平方的宽度和长度的正方形。

根据实施例的编码单元可以以深度和最大尺寸为特征。深度表示编码单元从最大编码单元被空间分割的次数，并且随着深度加深，根据深度的更深的编码单元可以从最大编码单元分割为最小编码单元。最大编码单元的深度可以被定义为最高的深度，并且最小编码单元的深度可以被定义为最低的深度。由于与每个深度相对应的编码单元的尺寸随着最大编码单元的深度加深而减小，所以与更高深度相对应的编码单元可以包括与更低深度相对应的多个编码单元。

如上所述，根据编码单元的最大尺寸，将当前图片的图像数据分割为最大编码单元，并且最大编码单元中的每一个可以包括根据深度分割的更深的编码单元。由于根据实施例的最大编码单元根据深度被分割，所以包括在最大编码单元中的空间域的图像数据可以根据深度被分层地分类。

限定最大编码单元的高度和宽度被分层地分割的总次数的编码单元的最大深度和最大尺寸可以是预定的。

编码单元确定器820对通过根据深度分割最大编码单元的区域而获得的至少一个分割区域进行编码，并且根据所述至少一个分割区域确定深度以输出最终编码图像数据。也就是说，编码单元确定器820根据当前图片的最大编码单元，通过根据深度对图像数据以更深的编码单元进行编码、并选择具有最小编码误差的深度，来确定最终深度。根据每个最大编码单元的确定的最终深度和图像数据被输出到输出单元830。

最大编码单元中的图像数据是基于与等于或低于最大深度的至少一个深度相对应的更深的编码单元进行编码的，并且将基于更深的编码单元中的每一个对图像数据进行编码的结果进行比较。可以在比较更深的编码单元的编码误差之后选择具有最小编码误差的深度。可以为每个最大编码单元选择至少一个最终深度。

当编码单元根据深度被分层地分割、并且当编码单元的数量增加时，最大编码单元的尺寸被分割。并且，即使编码单元对应于一个最大编码单元中的相同深度，是否通过测量每个编码单元的图像数据的编码误差来将对应于相同深度的编码单元中的每一个分割为更低的深度，是单独被确定的。相应地，即使当图像数据被包括在一个最大编码单元中时，在一个最大编码单元中，编码误差也可以根据区域不同，并且因此最终深度可以根据图像数据中的区域不同。因此，可以在一个最大编码单元中确定一个或更多最终深度，并且可以根据至少一个最终深度的编码单元来划分最大编码单元的图像数据。

相应地，根据实施例的编码单元确定器820可以确定包括在最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括包括在最大编码单元中的所有更深的编码单元当中的、对应于被确定为最终深度的深度的编码单元。最终深度的编码单元可以根据在最大编码单元的相同区域中的深度来分层地确定，并且可以在不同的区域中独立地确定。同样地，在当前区域中的最终深度可以与在另一区域中的最终深度独立地确定。

根据实施例的最大深度是与从最大编码单元到最小编码单元的分割次数有关的索引。根据实施例的第一最大深度可以表示从最大编码单元到最小编码单元的分割次数的总数。根据实施例的第二最大深度可以表示从最大编码单元到最小编码单元的深度级别的总数。例如，当最大编码单元的深度为0时，最大编码单元被分割一次的编码单元的深度可以被设置为1，并且最大编码单元被分割两次的编码单元的深度可以被设置为2。就这一点而言，如果最小编码单元是最大编码单元被分割四次的编码单元，则存在深度0、1、2、3、和4的深度级别，并且因此第一最大深度可以被设置为4，并且第二最大深度可以被设置为5。

可以根据最大的编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于或小于最大深度的深度的更深的编码单元，执行预测编码和变换。

由于每当最大编码单元根据深度被分割时更深的编码单元的数量增加，所以对随着深度加深生成的所有更深的编码单元执行包括预测编码和变换的编码。在下文中，为了描述方便，将基于至少一个最大编码单元中的当前深度的编码单元来描述预测编码和变换。

根据实施例的视频编码装置800可以不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换、和熵编码的操作，并且此时，可以对所有操作使用相同的数据单元，或者可以对每个操作使用不同的数据单元。

例如，视频编码装置800不仅可以选择编码单元用于对图像数据进行编码，还可以选择与编码单元不同的数据单元，以对编码单元中的图像数据执行预测编码。

为了在最大编码单元中执行预测编码，可以基于根据实施例的对应于最终深度的编码单元(即，基于不再分割为对应于更低深度的编码单元的编码单元)执行预测编码。在下文中，不再分割并成为预测编码的基本单元的编码单元现在将被称为“预测单元”。通过分割预测单元获得的分区可以包括通过分割预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。分区是其中编码单元的预测单元被分割的数据单元，并且预测单元可以是具有与编码单元相同尺寸的分区。

例如，当2Nx2N(其中N是正整数)的编码单元不再分割时，它变为2Nx2N的预测单元，并且分区的尺寸可以是2Nx2N、2NxN、Nx2N、或NxN。分区模式的示例可以包括通过对称地分割预测单元的高度或宽度获得的对称分区，并且可以选择性地包括通过非对称地分割预测单元的高度或宽度(诸如1:n或n:1)获得的分区、通过几何分割预测单元获得的分区、以及具有任意形状的分区。

预测单元的预测模式可以是帧内模式、帧间模式、和跳过模式中的至少一个。例如，可以对2Nx2N、2NxN、Nx2N、或NxN的分区执行帧内模式和帧间模式。并且，跳过模式可以仅对2Nx2N的分区执行。可以对在编码单元中的一个预测单元独立地执行编码，从而可以选择具有最小编码误差的预测模式。

根据实施例的视频编码装置800可以不仅基于用于对图像数据进行编码的编码单元、而且还基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可以基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，变换单元可以包括用于帧内模式的数据单元和用于帧间模式的变换单元。

编码单元中的变换单元可以根据树结构以与编码单元相似的方式递归地分割成更小尺寸的区域，因此，编码单元的残差数据可以根据转换深度根据具有树结构的变换单元划分。

也可以在变换单元中设置指示通过分割编码单元的高度和宽度来到达变换单元的分割次数的变换深度。例如，在2Nx2N的当前编码单元中，当变换单元的尺寸为2Nx2N时，变换深度可以为0；当变换单元的尺寸为N×N时，变换深度可以为1；并且当变换单元的尺寸为N/2xN/2时，变换深度可以为2。也就是说，关于变换单元，可以根据变换深度来设置具有树结构的变换单元。

根据深度的分割信息不仅需要关于深度的信息，而且还需要与预测和变换有关的信息。相应地，编码单元确定器820不仅确定具有最小编码误差的深度，而且确定预测单元被分割成分区的分区模式、根据预测单元的预测模式、和用于变换的变换单元的尺寸。

下面将参照图9到19详细描述根据实施例的根据最大编码单元中的树结构的编码单元和确定预测单元/分区、以及变换单元的方法。

编码单元确定器820可以通过使用基于拉格朗日乘数的速率失真优化根据深度来测量更深编码单元的编码误差。

输出单元830在比特流中输出基于由编码单元确定器820确定的至少一个深度而编码的最大编码单元的图像数据和根据深度的信息。

编码的图像数据可以对应于通过对图像的残差数据进行编码而获得的结果。

根据深度的分割信息可以包括深度信息、预测单元的分区模式信息、预测模式信息、和变换单元的分割信息。

可以通过使用根据深度的分割信息来定义最终深度信息，所述分割信息指定是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是深度，则通过使用当前深度的编码单元对当前编码单元进行编码，并且因此可以将当前深度的分割信息定义为不将当前编码单元分割为更低的深度。相反，如果当前编码单元的当前深度不是深度，则必须对更低深度的编码单元执行编码，并且因此可以将当前深度的分割信息定义为将当前编码单元分割到更低深度的编码单元。

如果当前深度不是深度，则对被分割成更低深度的编码单元的编码单元执行编码。由于在当前深度的一个编码单元中存在更低深度的至少一个编码单元，所以在更低深度的每个编码单元上重复执行编码，并且因此可以对具有相同深度的编码单元递归地执行编码。

由于为一个最大编码单元确定具有树结构的编码单元，并且必须为深度的编码单元确定至少一条分割信息，所以可以为一个最大编码单元确定至少一条分割信息。并且，由于数据根据深度被分层地分割，最大编码单元的数据的深度可以根据位置而变化，并且因此可以为数据设置深度和分割信息。

相应地，根据实施例的输出单元830可以将关于相应深度和编码模式的编码信息分配给编码单元、预测单元、和包括在最大编码单元中的最小单元中的至少一个。

根据实施例的最小单元是通过将构成最低深度的最小编码单元除以4而获得的正方形(square)数据单元。或者，根据实施例的最小单元可以是最大正方形数据单元，其可以被包括在编码单元、预测单元、分区单元、和变换单元(包括在最大编码单元中)中的全部中。

例如，由输出单元830输出的编码信息可以分类为根据更深的编码单元的编码信息和根据预测单元的编码信息。根据更深编码单元的编码信息可以包括关于预测模式和关于分区的尺寸的信息。根据预测单元的编码信息可以包括关于在帧间模式期间的估计的方向、关于帧间模式的参考图像索引、关于运动矢量、关于帧内模式的色度(chroma)分量、以及关于在帧内模式期间的内插方法的信息。

可以将关于(根据图片、片、或GOP定义的)编码单元的最大尺寸的信息、以及关于最大深度的信息插入到比特流、序列参数集、或图片参数集的头部。

关于相对于当前视频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息也可以通过比特流、序列参数集、或图片参数集的头部来输出。输出单元830可编码并输出与预测有关的参考信息、预测信息、和片类型信息。

根据用于视频编码装置800的最简单的实施例，更深编码单元可以是通过将上一层的更高的深度的编码单元的高度或宽度除以2而获得的编码单元。也就是说，在当前深度的编码单元的尺寸为2Nx2N时，更低深度的编码单元的尺寸为N×N。并且，具有2Nx2N的尺寸的当前编码单元最多可以包括具有N×N的尺寸的四个更低深度编码单元。

相应地，视频编码装置800可以基于最大编码单元的尺寸和考虑到当前图片的特征而确定的最大深度，通过为每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元来形成具有树结构的编码单元。并且，由于可以通过使用各种预测模式和变换中的任一个来对每个最大编码单元执行编码，所以可以通过考虑各种图像尺寸的编码单元的特征来确定最佳编码模式。

因此，如果在传统的宏块中编码具有高分辨率或大数据量的图像，则每个图片的宏块数量过大地增加。相应地，为每个宏块生成的压缩信息的条数增加，并且因此很难发送压缩信息并且数据压缩效率降低。然而，通过使用根据实施例的视频编码装置800，可以增加图像压缩效率，因为在考虑到图像的特征的同时编码单元被调整，而在考虑到图像的尺寸的同时增加编码单元的最大尺寸。

图9是根据各种实施例的基于根据树结构900的编码单元的视频解码装置的框图。

根据实施例的涉及基于树结构200的编码单元的视频预测的视频解码装置包括接收器910、图像数据和编码信息提取器920、以及图像数据解码器930。在下文中，为了方便描述，将根据实施例的涉及基于树结构900的编码单元的视频预测的视频解码装置称为“视频解码装置900”。

根据实施例的视频解码装置900的各种术语的定义，诸如编码单元、深度、预测单元、变换单元、和用于解码操作的各种类型的分割信息，与参考图8和视频编码装置800描述的那些相同。

接收器910接收并解析编码视频(encoded video)的比特流。图像数据和编码信息提取器920从解析的比特流中提取用于每个编码单元的编码图像数据，其中编码单元具有根据每个最大编码单元的树结构，并将提取的图像数据输出到图像数据解码器930。图像数据和编码信息提取器920可以从关于当前图片、序列参数集、或图片参数集的头部中提取关于当前图片的编码单元的最大尺寸的信息。

并且，图像数据和编码信息提取器920从解析的比特流中提取最终深度、和关于具有根据每个最大编码单元的树结构的编码单元的分割信息。提取的最终深度和提取的分割信息被输出到图像数据解码器930。也就是说，在比特流中的图像数据被分割为最大编码单元，使得图像数据解码器930为每个最大编码单元解码图像数据。

可以为一条或多条深度信息设置根据最大编码单元中的每一个的深度和分割信息，并且根据深度的分割信息可以包括相应编码单元的分区模式信息、预测模式信息、和变换单元的分割信息。并且，作为深度信息，根据深度的分割信息可以被提取。

由图像数据和编码信息提取器920提取的根据最大编码单元中的每一个的深度和分割信息是被确定为在编码器(诸如视频编码装置800)根据每个最大编码单元为根据深度的每个更深的编码单元重复地执行编码时生成最小编码误差的深度和分割信息。相应地，视频解码装置900可以通过根据生成最小编码误差的编码方法对数据进行解码来重构图像。

由于可以从对应的编码单元、预测单元、和最小单元当中将关于深度和编码模式的编码信息分配到预定数据单元，所以图像数据和编码信息提取器920可以根据预定数据单元提取深度和分割信息。如果根据预定数据单元中的每一个记录对应的最大编码单元的深度和分割信息，则可以将具有相同深度和分割信息的预定数据单元推定为包括在同一最大编码单元中的数据单元。

图像数据解码器930通过根据最大编码单元中的每一个基于深度和分割信息对每个最大编码单元中的图像数据进行解码来重构当前图片。也就是说，图像数据解码器930可以基于关于用于包括在每个最大编码单元中的具有树结构的编码单元当中的每个编码单元的分割模式、预测模式、和变换单元的读取信息，来对编码的图像数据进行解码。解码过程可以包括预测过程(包括帧内预测和运动补偿)、和逆变换过程。

图像数据解码器930可以基于关于根据深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。

并且，图像数据解码器930可以根据用于每个编码单元的树结构读取关于变换单元的信息，以便基于用于每个编码单元的变换单元执行逆变换，以进行每个最大编码单元的逆变换。由于逆变换，可以重构编码单元的空间域的像素值。

图像数据解码器930可以通过使用根据深度的分割信息来确定当前最大编码单元的深度。如果分割信息指示在当前深度中图像数据不再被分割，则当前深度是深度。相应地，图像数据解码器930可以通过使用关于对应于当前深度的每个编码单元的预测单元的分区模式、预测模式、和变换单元的尺寸的信息，来解码当前最大编码单元的图像数据。

也就是说，可以通过观察给编码单元、预测单元、和最小单元当中的预定数据单元分配的编码信息集，来收集包含编码信息(包括相同分割信息)的数据单元，并且可以将收集的数据单元视为要由图像数据解码器930以相同编码模式解码的一个数据单元。照此，可以通过获得关于每个编码单元的编码模式的信息来解码当前编码单元。

因此，当为每个最大编码单元递归地执行编码时，视频解码装置900可以获得关于生成最小编码误差的至少一个编码单元的信息，并且可以使用该信息来解码当前图片。也就是说，可以对被确定为每个最大编码单元中的最佳编码单元的具有树结构的编码单元进行解码。

相应地，即使图像具有高分辨率或具有过大的数据量，也可以通过使用编码单元的尺寸和编码模式来高效地对图像进行解码和重构，所述编码单元的尺寸和编码模式是通过使用从编码终端接收的最佳分割信息根据图像的特征来自适应地确定的。

图10是用于描述根据各种实施例的编码单元的构思的示图。

编码单元的尺寸可以由宽度x高度来表达，并且可以是64×64、32×32、16×16、和8×8。64x64的编码单元可以分割为64x64、64x32、32x64、或32x32的分区，32x32的编码单元可以分割为32x32、32x16、16x32、或16x16的分区，16x16的编码单元可以分割为16x16、16x8、8x16、或8x8的分区，并且8x8的编码单元可以分割为8x8、8x4、4x8、或4x4的分区。

在视频数据1010中，分辨率为1920×1080，编码单元的最大尺寸为64，并且最大深度为2。在视频数据1020中，分辨率为1920×1080，编码单元的最大尺寸为64，并且最大深度为3。在视频数据1030中，分辨率为352×288，编码单元的最大尺寸为16，并且最大深度为1。图10示出的最大深度表示从最大编码单元到最小编码单元的分割总数。

如果分辨率高或数据量大，则优选地，编码单元的最大尺寸大，以便不仅提高编码效率，而且还精确地反映图像的特征。相应地，具有比视频数据1030更高的分辨率的视频数据1010和1020的编码单元的最大尺寸可以是64。

由于视频数据1010的最大深度为2，视频数据1010的编码单元1015可以包括具有长轴尺寸64的最大编码单元、和由于通过将最大编码单元分割两次而将深度加深到两层而具有长轴尺寸32和16的编码单元。另一方面，由于视频数据1030的最大深度为1，视频数据1030的编码单元1035可以包括具有长轴尺寸16的最大编码单元、和由于通过将最大编码单元分割一次而将深度加深到一层而具有长轴尺寸8的编码单元。

由于视频数据1020的最大深度为3，所以视频数据1020的编码单元1025可以包括具有长轴尺寸64的最大编码单元，以及由于通过将最大的编码单元分割三次而将深度加深到3层而具有长轴尺寸32、16、和8的编码单元。随着深度加深，关于详细信息的表达能力可以被提高。

图11是根据各种实施例的基于编码单元的视频编码器1100的框图。

根据实施例的视频编码器1100执行视频编码装置800的编码单元确定器820的操作，以对图像数据进行编码。也就是说，帧内预测器1120从当前图像1105当中根据预测单元以帧内模式对编码单元执行帧内预测，并且帧间预测器1115通过使用当前图像1105以及根据预测单元从重构图片缓冲器1110获得的参考图像，以帧间模式对编码单元执行帧间预测。当前图像1105可以被分割成最大的编码单元，并且然后可以顺序地对最大编码单元进行编码。在这方面，可以对要被分割成具有树结构的编码单元的最大编码单元进行编码。

通过从关于当前图像1105的经编码的编码单元的数据中移除关于从帧内预测器1120或帧间预测器1115输出的每个模式的编码单元的预测数据来生成残差数据，并且残差数据作为根据变换单元的经量化的变换系数经由变换器1125和量化器1130被输出。经量化的变换系数经由逆量化器1145和逆变换器1150在空间域中被重构为残差数据。空间域中的经重构的残差数据被添加到用于从帧内预测器1120或帧间预测器1115输出的每个模式的编码单元的预测数据，并且因此被重构为用于当前图像1105的编码单元的空间域中的数据。空间域中的经重构的数据经由解块器1155和SAO执行器1160被生成为经重构的图像。经重构的图像被存储在经重构的图片缓冲器1110中。存储在经重构的图片缓冲器1110中的经重构的图像可以用作另一图像的帧间预测的参考图像。由变换器1125和量化器1130量化的变换系数可以经由熵编码器1135作为比特流1140输出。

为了将图像编码器1100应用于视频编码装置800中，图像编码器1100的所有元素，即，帧间预测器1115、帧内预测器1120、变换器1125、量化器1130、熵编码器1135、逆量化器1145、逆变换器1150、解块器1155、和SAO执行器1160，根据每个最大编码单元基于具有树结构的编码单元中的每个编码单元执行操作。

特别地，帧内预测器1120和帧间预测器1115可以通过考虑当前最大编码单元的最大尺寸和最大深度，来确定具有树结构的编码单元中的每个编码单元的分区模式和预测模式，并且变换器1125可以确定是否将在来自具有树结构的编码单元当中的每个编码单元中的具有四叉树结构的变换单元进行分割。

图12是根据各种实施例的基于编码单元的视频解码器1200的框图。

熵解码器1215从比特流1205解析解码目标的编码的图像数据、和解码所需的编码信息。编码的图像数据是经量化的变换系数，并且逆量化器1220和逆变换器1225从经量化的变换系数重构残差数据。

帧内预测器1240根据每个预测单元以帧内模式对编码单元执行帧内预测。帧间预测器1235通过使用从经重构的图片缓冲器1230获得的参考图像从每个预测单元的当前图像中以帧间模式对编码单元执行帧间预测。

关于通过帧内预测器1240或帧间预测器1235传递的每个模式的编码单元的预测数据和残差数据被求和，并且因此关于当前图像1105的编码单元的空间域中的数据可以被重构，并且可以经由解块器1245和SAO执行器1250将空间域中的重构的数据作为重构的图像1260输出。存储在重构的图片缓冲器1230中的重构的图像可以作为参考图像被输出。

为了对在视频解码装置900的图像解码器930中的图像数据进行解码，可以执行根据实施例的图像解码器1200的熵解码器1215之后的操作。

为了将图像解码器1200应用于根据实施例的视频解码装置900中，图像解码器1200的所有元素，即，熵解码器1215、逆量化器1220、逆变换器1225、帧内预测器1240、帧间预测器1235、解块器1245、和SAO执行器1250可以基于用于每个最大编码单元的具有树结构的编码单元执行操作。

特别地，帧内预测器1240和帧间预测器1235可以确定具有树结构的编码单元中的每一个的分区模式和预测模式，并且逆变换器1225可以根据编码单元中的每一个的四叉树结构确定是否将变换单元进行分割。

图13是示出根据各种实施例的根据深度和分区的编码单元的示图。

视频编码装置800和视频解码装置900使用分层编码单元，以便考虑图像的特性。可以根据图像的特性自适应地确定或者可以根据用户要求进行多样地设置编码单元的最大高度、最大宽度、和最大深度。可以根据编码单元的预定最大尺寸来确定根据深度的更深的编码单元的尺寸。

在根据实施例的编码单元1300的分层结构中，编码单元的最大高度和最大宽度各自为64，并且最大深度为3。在这种情况下，最大深度指示从最大编码单元到最小编码单元该编码单元被分割的总次数。由于深度沿着编码单元1300的分层结构的垂直轴加深，因此更深的编码单元的高度和宽度各自被分割。并且，沿着编码单元1300的分层结构的水平轴示出了作为每个更深的编码单元的预测编码的基础的预测单元和分区。

也就是说，编码单元1310是编码单元1300的分层结构中的最大编码单元，其中深度为0，并且尺寸，即，宽度乘高度，是64×64。深度沿垂直轴加深，并且呈现了具有32×32的尺寸和1的深度的编码单元1320、具有16×16的尺寸和2的深度的编码单元1330、具有8×8的尺寸和3的深度的编码单元1340。具有8×8的尺寸和3的深度的编码单元1340是最小编码单元。

编码单元的预测单元和分区根据每个深度沿水平轴布置。也就是说，如果具有尺寸64×64和深度0的编码单元1310是预测单元，则预测单元可以被分割成包括在具有64x64的尺寸的编码单元1310中的分区，即，具有64x64的尺寸的分区1310、具有64x32的尺寸的分区1312、具有32x64的尺寸的分区1314、或具有32x32的尺寸的分区1316。

同样，具有32×32的尺寸和1的深度的编码单元1320的预测单元可以被分割成包括在具有32×32的尺寸的编码单元1320中的分区，即，具有32×32的尺寸的分区1320、具有32×16的尺寸的分区1322、具有16×32的尺寸的分区1324、或具有16×16的尺寸的分区1326。

同样，具有16×16的尺寸和2的深度的编码单元1330的预测单元可以被分割成包括在具有16×16的尺寸的编码单元1330中的分区，即，包括在编码单元1330中的具有16×16的尺寸的分区1330、具有16×8的尺寸的分区1332、具有8×16的尺寸的分区1334、或具有8×8的尺寸的分区1336。

同样，具有8×8的尺寸和3的深度的编码单元1340的预测单元可以被分割成包括在具有8×8的尺寸的编码单元1340中的分区，即，包括在编码单元1340中的具有8×8的尺寸的分区1340、具有8×4的尺寸的分区1342、具有4×8的尺寸的分区1344、或具有4×4的尺寸的分区1346。

为了确定最大编码单元1310的深度，视频编码装置800的编码单元确定器820必须对分别对应于包括在最大编码单元1310中的深度的编码单元执行编码。

包括相同范围和相同尺寸中的数据的根据深度的更深的编码单元的数量随深度加深而增加。例如，需要对应于深度2的4个编码单元来涵盖包括在对应于深度1的一个编码单元中的数据。相应地，为了比较根据深度编码相同数据的结果，必须通过使用对应于深度1的编码单元和对应于深度2的四个编码单元中的每一个对数据进行编码。

为了根据深度中的每一个执行编码，可以通过沿着编码单元1300的分层结构的水平轴、根据深度对编码单元的预测单元中的每一个执行编码，来选择作为对应深度的代表性编码误差的最小编码误差。或者，可以通过在深度沿编码单元1300的分层结构的垂直轴加深时针对每个深度执行编码、通过根据深度来比较代表性编码误差，来搜索最小编码误差。在最大编码单元1310中产生最小编码误差的深度和分区可以被选择为最大编码单元1310的深度和分区模式。

图14是根据各种实施例的用于描述编码单元和变换单元之间的关系的示图。

视频编码装置800或视频解码装置900根据编码单元对图像进行编码或解码，所述编码单元具有小于或等于每个最大编码单元的最大编码单元的尺寸。可以基于不大于相应编码单元的数据单元来选择变换单元的尺寸，所述变换单元用于在编码过程期间的变换。

例如，在视频编码装置800或视频解码装置900中，当编码单元1410的尺寸为64×64时，可以通过使用具有尺寸32×32的变换单元1420进行变换。

并且，具有64×64的尺寸的编码单元1410的数据可以通过对具有小于64×64的32×32、16×16、8×8、4×4的尺寸的变换单元中的每一个执行变换来编码，并且然后可以选择相对于原始图像具有最小编码误差的变换单元。

图15示出了根据各种实施例的多条编码信息。

视频编码装置800的输出单元830可以编码和发送作为分割信息的用于与深度相对应的每个编码单元的分区模式信息1500、预测模式信息1510、和变换单元尺寸信息1520。

分区模式信息1500指示关于通过分割当前编码单元的预测单元获得的分区的形状的信息，其中分区是用于对当前编码单元进行预测编码的数据单元。例如，具有尺寸2Nx2N的当前编码单元CU_0可以被分割成以下分区中的任何一个：具有尺寸2Nx2N的分区1502、具有尺寸2NxN的分区1504、具有尺寸Nx2N的分区1506、和具有尺寸N×N的分区1508。这里，关于当前编码单元的分区模式信息1500被设置为指示以下分区中的一个：具有尺寸2N×N的分区1504、具有尺寸Nx2N的分区1506、和具有尺寸N×N的分区1508。

预测模式信息1510指示每个分区的预测模式。例如，预测模式信息1510可以指示对由分区模式信息1500指示的分区执行的预测编码的模式，即，帧内模式1512、帧间模式1514、或跳过模式1516。

变换单元尺寸信息1520指示当对当前编码单元执行变换时所要基于的变换单元。例如，变换单元可以是第一帧内变换(intra transformation)单元1522、第二帧内变换单元1524、第一帧间变换(inter transformation)单元1526、或第二帧间变换单元1528。

根据实施例的视频解码装置900的图像数据和编码信息提取器920可以根据每个更深的编码单元提取和使用分区模式信息1500、预测模式信息1510、和变换单元尺寸信息1520以进行解码。

图16是根据各种实施例的根据深度的更深编码单元的示图。

分割信息可以用于表示深度的变化。分割信息指定当前深度的编码单元是否被分割成更低深度的编码单元。

用于对深度为0和尺寸为2N_0x2N_0的编码单元1600进行预测编码的预测单元1610可以包括具有以下分区模式的分区：尺寸为2N_0x2N_0的分区模式1612、尺寸为2N_0×N_0的分区模式1614、尺寸为N_0x2N_0的分区模式1616、以及尺寸为N_0×N_0的分区模式1618。仅分区模式1612、1614、1616、和1618被示出，其中上述分区模式通过对称地分割预测单元获得，但是如上所述，分区模式不限于此，并且可以包括非对称分区、具有预定形状的分区、和具有几何形状的分区。

根据每个分区模式，必须对尺寸为2N_0x2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0x2N_0的两个分区、和尺寸为N_0×N_0的四个分区重复执行预测编码。可以对尺寸为2N_0x2N_0、N_0x2N_0、2N_0xN_0、和N_0xN_0的分区执行帧内模式和帧间模式的预测编码。可以仅对尺寸为2N_0x2N_0的分区执行跳过模式的预测编码。

如果在尺寸为2N_0x2N_0、2N_0xN_0、和N_0x2N_0的分区模式1612、1614、和1616中的一个中编码误差最小，则预测单元1610可以不被分割成更低的深度。

如果在尺寸为N_0×N_0的分区模式1618中编码误差最小，则深度从0变到1并执行分割(操作1620)，并且可以对深度为2、尺寸为N_0xN_0的分区模式的编码单元1630重复地执行编码，以便搜索最小编码误差。

用于对深度为1、尺寸为2N_1x2N_1(＝N_0×N_0)的编码单元1630进行预测编码的预测单元1640可以包括尺寸为2N_1x2N_1的分区模式1642、尺寸为2N_1×N_1的分区模式1644、尺寸为N_1x2N_1的分区模式1646、以及尺寸为N_1×N_1的分区模式1648。

如果在尺寸为N_1×N_1的分区模式1648中编码误差最小，则深度从1变为2并且执行分割(在操作1650中)，并且可以对深度为2、尺寸为N_2×N_2的编码单元1660重复地执行编码，以便搜索最小编码误差。

当最大深度为d时，可以设置根据深度的更深编码单元，直到深度对应于d-1时，并且可以设置分割信息，直到深度对应于d-2时。换句话说，当执行编码直到在对应于深度d-2的编码单元被分割(在操作1670中)之后深度为d-1时，用于深度为d-1、尺寸为2N_(d-1)×2N(d-1)的预测编码单元1680的预测单元1690可以包括有以下分区模式的分区：尺寸为2N_(d-1)×2N(d-1)的分区模式1692、尺寸为2N_(d-1)×N_(d-1)的分区模式1694、尺寸为N_(d-1)×2N(d-1)的分区模式1696、以及尺寸为N_(d-1)x N_(d-1)的分区模式1698。

可以从分区模式当中对尺寸为2N_(d-1)×2N(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以便搜索生成最小编码误差的分区模式。

即使当尺寸为N_(d-1)×N_(d-1)的分区类型1698具有最小编码误差时，由于最大深度为d，所以深度为d-1的编码单元CU_(d-1)不再被分割到更低的深度，并且构成当前最大编码单元1600的编码单元的深度被确定为d-1，并且当前最大编码单元1600的分区模式可以被确定为N_(d-1)×N_(d-1)。并且，由于最大深度为d，因此对应于深度d-1的编码单元1652的分割信息未被设定。

数据单元1699可以是当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低深度的最小编码单元按4进行分割而获得的正方形数据单元。通过重复地执行编码，通过根据编码单元1600的深度来比较编码误差以确定深度，根据实施例的视频编码装置800可以选择具有最小编码误差的深度，并将对应的分区类型和预测模式设置为深度的编码模式。

照此，根据深度的最小编码误差在0、1、...、d-1、d的所有深度中进行比较，并且具有最小编码误差的深度可以被确定为深度。该深度、预测单元的分区模式、和预测模式可以被编码并作为分割信息发送。并且，由于编码单元必须从深度0分割到深度，所以仅将该深度的分割信息设置为“0”，并且将除该深度外的深度的分割信息设置为“1”。

根据实施例的视频解码装置900的图像数据和编码信息提取器920可以提取并使用关于编码单元1600的深度和预测单元信息，以对编码单元1612进行解码。根据实施例的视频解码装置900可以通过使用根据深度的分割信息将其中分割信息为“0”的深度确定为深度，并且可以将关于该对应的深度的分割信息用于解码。

图17、图18、和图19是根据各种实施例的用于描述编码单元、预测单元、和变换单元之间的关系的示图。

根据由视频编码装置800确定的深度，编码单元1710是在最大编码单元中的更深编码单元。预测单元1760是根据深度的编码单元1710中的每一个的预测单元的分区，并且变换单元1770是根据深度的编码单元中的每一个的变换单元。

当在更深编码单元1710中最大编码单元的深度为0时，编码单元1712和1754的深度为1，编码单元1714、1716、1718、1728、1750、和1752的深度为2，编码单元1720、1722、1724、1726、1730、1732、和1748的深度为3，并且编码单元1740、1742、1744、和1746的深度为4。

通过分割编码单元获得来自预测单元1760当中的一些分区1714、1716、1722、1732、1748、1750、1752、和1754。也就是说，分区1714、1722、1750、和1754是尺寸为2NxN的分区模式，分区1716、1748、和1752是尺寸为Nx2N的分区模式，分区1732是尺寸为NxN的分区模式。更深编码单元1710的预测单元和分区小于或等于每个编码单元。

在小于编码单元1752的数据单元中的变换单元1770中，对编码单元1752的图像数据执行变换或逆变换。并且，在变换单元1760中的编码单元1714、1716、1722、1732、1748、1750、1752、和1754是在尺寸和形状方面与预测单元1760中的数据单元不同的数据单元。也就是说，根据实施例的视频编码装置800和视频解码装置900可以对相同编码单元中的单独的数据单元执行帧内预测/运动估计/运动补偿/和变换/逆变换。

相应地，对最大编码单元的各区域中具有层次结构的编码单元中的每一个递归地执行编码，以便确定最佳编码单元，因此可以获得根据递归树结构的编码单元。编码信息可以包括关于编码单元的分割信息、分区模式信息、预测模式信息、和变换单元尺寸信息。下面的表1示出了可以由根据实施例的视频编码装置800和视频解码装置900设置的编码信息。

表一

根据实施例的视频编码装置800的输出单元830可以输出关于具有树结构的编码单元的编码信息，并且根据实施例的视频解码装置900的图像数据和编码信息提取器920可以从接收到的比特流中提取关于具有树结构的编码单元的编码信息。

分割信息指定当前编码单元是否被分割成更低深度的编码单元。如果当前深度d的分割信息为0，则其中当前编码单元不再被分割为更低深度的深度是深度，因此可以为该深度定义分区模式信息、预测模式信息、和变换单元尺寸信息。如果根据分割信息当前编码单元必须被进一步分割，则必须对更低深度的四个分割编码单元中的每一个独立地执行编码。

预测模式可以是帧内模式、帧间模式、和跳过模式中的一个。可以在所有分区模式中定义帧内模式和帧间模式，并且仅在尺寸为2Nx2N的分区模式中定义跳过模式。

分区模式信息可以指示对称分区模式和非对称分区模式，其中所述对称分区模式具有通过对称地分割预测单元的高度或宽度而获得的尺寸2Nx2N、2NxN、Nx2N、和NxN，所述非对称分区模式具有通过非对称地分割预测单元的高度或宽度而获得的尺寸2NxnU、2NxnD、nLx2N、和nRx2N。通过以1:3和3:1分割预测单元的高度可以分别获得尺寸为2NxnU和2NxnD的非对称分区模式，并且通过以1:3和3:1分割预测单元的宽度可以分别获得尺寸为nLx2N和nRx2N的非对称分区模式。

变换单元的尺寸可以被设置为帧内模式中的两种类型和帧间模式中的两种类型。也就是说，如果变换单元的分割信息为0，则变换单元的尺寸可以是2Nx2N，该尺寸是当前编码单元的尺寸。如果变换单元的分割信息为1，则可以通过分割当前编码单元来获得变换单元。并且，如果尺寸为2Nx2N的当前编码单元的分区模式是对称分区模式，则变换单元的尺寸可以是N×N，并且如果当前编码单元的分区模式是非对称分区模式，则变换单元的尺寸可以是N/2xN/2。

关于根据实施例的具有树结构的编码单元的编码信息可以被分配给对应于深度的编码单元、预测单元、和最小单元中的至少一个。对应于深度的编码单元可以包括包含相同编码信息的预测单元和最小单元中的至少一个。

相应地，邻近数据单元是否被包括在对应于深度的相同编码单元中是通过比较邻近数据单元的编码信息来确定的。并且，对应于深度的对应编码单元是通过使用数据单元的编码信息来确定的，因此可以推断出最大编码单元中的深度分布。

相应地，如果基于邻近数据单元的编码信息来预测当前编码单元，则可以直接参考并使用与当前编码单元邻近的更深编码单元中的数据单元的编码信息。

在另一实施例中，如果基于邻近数据单元的编码信息来预测当前编码单元，则可以通过使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并且可以参照所搜索的邻近编码单元以预测当前编码单元。

图20示出了根据表1的编码模式信息的编码单元、预测单元、和变换单元之间的关系。

最大编码单元2000包括深度的编码单元2002、2004、2006、2012、2014、2016、和2018。这里，由于编码单元2018是深度的编码单元，所以分割信息可以设置为0。尺寸为2Nx2N的编码单元2018的分区模式信息可以被设置为包括以下各项的分区模式中的一个：2Nx2N 2022、2NxN 2024、Nx2N 2026、NxN 2028、2NxnU 2032、2NxnD 2034、nLx2N 2036、和nRx2N 2038。

变换单元分割信息(TU尺寸标志)是一种类型的变换索引，并且可以根据编码单元的预测单元类型或分区模式来改变对应于变换索引的变换单元的尺寸。

例如，当分区模式信息被设置为对称分区模式2Nx2N 2022、2NxN 2024、Nx2N2026、和NxN 2208中的一个时，如果变换单元分割信息为0，则可以设置尺寸为2Nx2N的变换单元2042，并且如果变换单元分割信息为1，则可以设置尺寸为N×N的变换单元2044。

当分区模式信息被设置为非对称分区模式2NxnU 2032、2NxnD 2034、nLx2N 2036、和nRx2N 2038中的一个时，如果变换单元分割信息(TU尺寸标志)为0，则可以设置尺寸为2Nx2N的变换单元2052，并且如果变换单元分割信息为1，则可以设置尺寸为N/2xN/2的变换单元2054。

上述参照图19的变换单元分割信息(TU尺寸标志)是值为0或1的标志，但根据实施例的变换单元分割信息不限于具有1比特的标志，并且根据设置，在变换单元分割信息以0、1、2、3等的方式增加的同时，变换单元可以被分层分割。变换单元分割信息可以是变换索引的示例。

在这种情况下，已被实际使用的变换单元的尺寸可以通过使用根据实施例的变换单元分割信息以及变换单元的最大尺寸和变换单元的最小尺寸来表达。根据实施例的视频编码装置800可以对最大变换单元尺寸信息、最小变换单元尺寸信息、和最大变换单元分割信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息、和最大变换单元分割信息进行编码的结果可以被插入到SPS中。根据本实施例的视频解码装置900可以通过使用最大变换单元尺寸信息、最小变换单元尺寸信息、和最大变换单元分割信息对视频进行解码。

例如，(a)如果当前编码单元的尺寸为64×64，并且最大变换单元尺寸为32×32，(a-1)则当TU尺寸标记为0时，变换单元的尺寸可以为32×32，(a-2)当TU尺寸标志为1时，变换单元的尺寸可以为16×16，(a-3)当TU尺寸标志为2时，变换单元的尺寸可以为8×8。

作为另一示例，(b)如果当前编码单元的尺寸是32×32，并且最小变换单元尺寸是32×32，(b-1)则当TU尺寸标志是0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能小于32×32，因此不能将TU尺寸标志设定为0以外的值。

作为另一示例，(c)如果当前编码单元的尺寸为64×64，并且最大TU尺寸标志为1，则TU尺寸标志可以是0或1。这里，TU尺寸标志不能被设置为0或1以外的值。

因此，如果定义了当TU尺寸标志为0时最大TU尺寸标志是“MaxTransformSizeIndex”、最小变换单元尺寸为“MinTransformSize”、并且变换单元尺寸为“RootTuSize”，则可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可以由等式(1)定义：

CurrMinTuSize

＝max(MinTransformSize，RootTuSize/(2^MaxTransformSizeIndex))...(1)

与可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标志为0时，变换单元尺寸“RootTuSize”可以表示能在系统中被选择的最大变换单元尺寸。也就是说，在等式(1)中，当变换单元尺寸“RootTuSize”在TU尺寸标志为0时被分割对应于最大TU尺寸标志的次数时，“RootTuSize/(2^MaxTransformSizeIndex)”表示变换单元尺寸，并且“MinTransformSize”表示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”当中的较小值可以是可以在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。

根据实施例，最大变换单元尺寸RootTuSize可以根据预测模式的类型而变化。

例如，如果当前预测模式是帧间模式，则可以通过使用下面的等式(2)来确定“RootTuSize”。在等式(2)中，'MaxTransformSize'表示最大变换单元尺寸，“PUSize”表示当前预测单元尺寸。

RootTuSize＝min(MaxTransformSize，PUSize).........(2)

也就是说，如果当前预测模式是帧间模式，当TU尺寸标志为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸当中的较小值。

如果当前分区单元的预测模式是帧内模式，则可以通过使用下面的等式(3)来确定“RootTuSize”。在等式(3)中，'PartitionSize'表示当前分区单元的尺寸。

RootTuSize＝min(MaxTransformSize，PartitionSize)...........(3)

也就是说，如果当前预测模式是帧内模式，当TU尺寸标志为0时，变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸当中的较小值。

然而，根据分区单元中的预测模式的类型而变化的当前最大变换单元尺寸“RootTuSize”仅仅是实施例，并且用于确定当前最大变换单元尺寸的因素不限于此。

根据如上所述的参照图8至图20的基于树结构的编码单元的视频编码方法，空间域的图像数据在树结构的编码单元中的每一个中被编码，并且以根据基于树结构的编码单元的视频解码方法对每个最大编码单元执行解码的方式重构空间域的图像数据，从而可以重构由图片和图片序列形成的视频。重构的视频可以由再现装置再现、可以存储在存储介质中、或者可以经由网络发送。

一个或多个实施例可以被写为计算机程序，并且可以在通过使用非暂时性计算机可读记录介质执行程序的通用数字计算机中实现。非暂时性计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM、或DVD)等。

为了描述方便，视频编码方法和/或参照图1至20描述的视频编码方法将被统称为“本公开的视频编码方法”。并且，视频解码方法和/或参照图1至20描述的视频解码方法将被统称为“本公开的视频解码方法”。

并且，包括参照图1至20描述的视频编码装置、视频编码装置800、或图像编码器1100的视频编码装置将被统称为“视频编码装置”。并且，包括参照图1至图20描述的层间视频解码装置、视频解码装置900、或图像解码器1200的视频解码装置将被统称为“视频解码装置”。

现在将详细描述根据实施例的存储程序的诸如盘26000的计算机可读记录介质。

图21是其中存储有根据各种实施例的程序的盘26000的物理结构的图。作为存储介质，盘26000可以是硬盘驱动器、光盘只读存储器(compact disc-read only memory，CD-ROM)盘、蓝光盘、或数字通用盘(digital versatile disc，DVD)。盘26000包括多个同心磁道Tr，每个同心磁道Tr被分成在盘26000的圆周方向上的特定数量的扇区Se。在盘26000的特定区域中，可以分配并存储执行上述的量化参数确定方法、视频编码方法、和视频解码方法的程序。

现在将参考图22描述使用存储用于执行如上所述的视频编码方法和视频解码方法的程序的存储介质来具体实现的计算机系统。

图22示出了用于通过使用盘26000来记录和读取程序的盘驱动器26800的示图。计算机系统26700可以在盘26000中经由盘驱动器26800存储执行本公开的视频编码方法和视频解码方法中的至少一个的程序。为了在计算机系统26700中运行存储在盘26000中的程序，可以从盘26000读取程序，并且可以通过使用盘驱动器26100将程序发送到计算机系统26700。

执行根据实施例的视频编码方法和视频解码方法中的至少一个的程序不仅可以存储在图21和22所示的盘26000中，而且可以存储在存储卡、ROM盒、或固态驱动器(solidstate drive，SSD)中。

下面将描述应用根据上述实施例的视频编码方法和视频解码方法的系统。

图23示出了用于提供内容分发服务的内容供应系统11000的总体结构的示图。通信系统的服务区域被划分为预定尺寸的小区，并且无线基站11700、11800、11900、和12000分别安装在这些小区中。

内容供应系统11000包括多个独立设备。例如，诸如计算机12100、个人数字助理(PDA)12200、摄像机12300、和移动电话12500的多个独立设备经由因特网服务提供商11200、通信网络11400、以及无线基站11700、11800、11900、和12000连接到因特网11100。

然而，内容供应系统11000不限于图23所示的结构，并且设备可以选择性地连接到其上。多个独立设备可以不经由无线基站11700、11800、1900、和12000直接连接到通信网络11400。

摄像机12300是能够捕获视频图像的成像设备，例如数字摄像机。移动电话12500可以采用各种协议当中的至少一种通信方法，例如个人数字通信(Personal DigitalCommunications，PDC)、码分多址(Code Division Multiple Access，CDMA)、宽带码分多址(Wideband-Code Division Multiple Access，W-CDMA)、全球移动通信系统(GlobalSystem for Mobile Communications，GSM)、和个人手持电话系统(Personal HandyphoneSystem，PHS)。

摄像机12300可以经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由摄像机12300从用户接收的内容经由实时广播进行流处理。从摄像机12300接收的内容可以由摄像机12300或流服务器11300进行编码。由摄像机12300捕获的视频数据可以经由计算机12100发送到流服务器11300。

相机12600捕获的视频数据也可以经由计算机12100发送到流服务器11300。相机12600是与数字相机类似的能够捕获静止图像和视频图像的成像设备。可以通过使用相机12600或计算机12100对由相机12600捕获的视频数据进行编码。执行编码和解码视频的软件可以存储在可以由计算机12100访问的非暂时性计算机可读记录介质中，例如CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡。

如果通过使用内置在移动电话12500中的相机来捕获视频数据，则可以从移动电话12500接收视频数据。

视频数据可以由安装在摄像机12300、移动电话12500、或相机12600中的大规模集成电路(large scale integrated circuit，LSI)系统进行编码。

内容供应系统11000可以对由用户使用摄像机12300、相机12600、移动电话12500、或另一成像设备记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并且可以将编码的内容数据发送到流服务器11300。流服务器11300可以将流内容类型的编码的内容数据发送到请求该内容数据的其他客户端。

客户端是能够对编码的内容数据进行解码的设备，例如计算机12100、PDA 12200、摄像机12300、或移动电话12500。因此，内容供应系统11000允许客户端接收和再现编码的内容数据。并且，内容供应系统11000允许客户端接收编码的内容数据并对编码的内容数据进行实时解码和再现，从而启用个人广播。

本公开的视频编码装置和视频解码装置可以应用于包括在内容供应系统11000中的多个独立设备的编码和解码操作。

现在将参照图24和图25更详细地描述根据实施例的包括在内容供应系统11000中的移动电话12500。

图24示出了根据各种实施例的应用本公开的视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，其功能不受限制，并且其大量的功能可以被改变或扩展。

移动电话12500包括内部天线12510，经由该内部天线可以与无线基站12000交换射频(radio-frequency，RF)信号，并且包括用于显示由相机12530捕获的图像或者是经由天线12510接收并解码的图像的显示屏12520，例如液晶显示器(liquid crystal display，LCD)或有机发光二极管(organic light-emitting diode，OLED)屏幕。移动电话12500包括操作面板12540，所述操作面板包括控制按钮和触摸面板。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元，以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500还包括诸如电荷耦合设备(charge-coupleddevice，CCD)相机的相机12530以捕获视频和静止图像。移动电话12500还可以包括用于存储编码/解码的数据的存储介质12570，例如由相机12530捕获的、经由电子邮件接收的、或根据各种方式获得的视频或静止图像；以及插槽12560，存储介质12570经由该插槽被加载到移动电话12500中。存储介质12570可以是闪速存储器，例如安全数字(secure digital，SD)卡或包括在塑料盒中的电可擦除和可编程只读存储器(electrically erasable andprogrammable read only memory，EEPROM)。

图25示出了移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部件，经由同步总线12730将电源电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录/读取单元12670、调制/解调单元12660、和声音处理器12650连接到中央控制器12710。

如果用户操作电源按钮并将其从“关机”状态设置为“开机”状态，则电源电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。

中央控制器12710包括CPU、只读存储器(read-only memory，ROM)、和随机存取存储器(random access memory，RAM)。

在移动电话12500向外部发送通信数据的同时，移动电话12500通过中央控制器12710的控制生成数字信号。例如，声音处理器12650可以生成数字声音信号，视频编码器12720可以生成数字图像信号，并且可以经由操作面板12540和操作输入控制器12640来生成消息的文本数据。当通过中央控制器的控制将数字信号发送到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610对调制了频带的数字声音信号执行数-模转换(digital-to-analog conversion，DAC)和频率变换。从通信电路12610输出的发送信号可以经由天线12510发送到语音通信基站或无线基站12000。

例如，当移动电话12500处于通话模式时，经由麦克风12550获得的声音信号通过中央控制器12710的控制由声音处理器12650转换成数字声音信号。生成的数字声音信号可以经由调制/解调单元12660和通信电路12610转换成发送信号，并且可以经由天线12510发送。

当在数据通信模式期间发送文本消息(例如电子邮件)时，文本消息的文本数据经由操作面板12540被输入并且经由操作输入控制器12640被发送到中央控制器12610。通过中央控制器12610的控制，文本数据经由调制/解调单元12660和通信电路12610变换成发送信号并且经由天线12510被发送到无线基站12000。

为了在数据通信模式期间发送图像数据，通过使用相机12530捕获的图像数据经由相机接口12630提供给图像编码器12720。通过使用相机12530捕获的图像数据可以经由相机接口12630和LCD控制器12620直接显示在显示屏12520上。

图像编码器12720的结构可以对应于上述视频编码装置100的结构。图像编码器12720可以根据上述视频编码方法将从相机12530接收的图像数据变换为压缩的和编码的图像数据，然后将编码的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，可以经由声音处理器12650将通过移动电话12500的麦克风12550获得的声音信号转换为数字声音数据，并将该数字声音数据发送到复用器/解复用器12680。

复用器/解复用器12680将从图像编码器12720接收的编码图像数据与从声音处理器12650接收的声音数据一起进行复用。可以经由调制/解调单元12660和通信电路12610将复用数据的结果变换为发送信号，然后可以经由天线12510发送。

在移动电话12500从外部接收通信数据的同时，对经由天线12510接收的信号执行频率恢复和模-数转换(analog-to-digital conversion，ADC)，以将该信号变换成数字信号。调制/解调单元12660调制数字信号的频带。根据数字信号的类型，调制了频带的数字信号被发送到视频解码器12690、声音处理器12650、或LCD控制器12620。

在通话模式期间，移动电话12500将经由天线12510接收到的信号放大，并且通过对放大的信号执行频率变换和ADC来获得数字声音信号。接收到的数字声音信号经由调制/解调单元12660和声音处理器12650转换成模拟声音信号，并通过中央控制器12710的控制经由扬声器12580将模拟声音信号输出。

当在数据通信模式期间，接收到在互联网网站上访问的视频文件的数据时，经由天线12510从无线基站12000接收的信号经由调制/解调单元12660被输出为复用的数据，并且复用的数据被发送到复用器/解复用器12680。

为了对经由天线12510接收的复用的数据进行解码，复用器/解复用器12680将复用的数据解复用为编码的视频数据流和编码的音频数据流。经由同步总线12730，编码的视频数据流和编码的音频数据流分别被提供给视频解码器12690和声音处理器12650。

图像解码器12690的结构可以对应于上述视频解码装置的结构。图像解码器12690可以通过使用根据实施例的上述视频解码方法，来对编码的视频数据解码以获得重构的视频数据，并经由LCD控制器12620将重构的视频数据提供给显示屏12520。

因此，在互联网网站上访问的视频文件的数据可以显示在显示屏12520上。同时，声音处理器12650可以将音频数据变换为模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，经由扬声器12580也可以再现包含在互联网网站上访问的视频文件中的音频数据。

根据实施例，移动电话12500或另一类型的通信终端可以是包括视频编码装置和视频解码装置两者的收发终端，可以是仅包括视频编码装置的发送终端，或者可以是仅包括视频解码装置的接收终端。

根据实施例的通信系统不限于上述参考图24的通信系统。例如，图26示出了根据各种实施例的采用通信系统的数字广播系统。图26的数字广播系统可以通过使用本公开的视频编码装置和视频解码装置接收经由卫星或地面网络发送的数字广播。

更详细地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12200。广播卫星12200发送广播信号，并且广播信号经由家用天线12860发送到卫星广播接收器。在每个房屋中，编码的视频流可以通过TV接收器12810、机顶盒12870、或其他设备进行解码和再现。

当根据实施例的视频解码装置在再现装置12830中实现时，再现装置12830可以对记录在诸如盘或存储卡的存储介质12820上的编码的视频流进行解析和解码，以重构数字信号。因此，重构的视频信号可以例如在监视器12840上再现。

在连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的电缆天线12850的机顶盒12870中，可以安装根据实施例的视频解码装置。也可以在TV监视器12880上再现来自机顶盒12870的数据输出。

作为另一示例，根据实施例的视频解码装置可以安装在TV接收器12810中而不是机顶盒12870中。

具有适当的天线12210的汽车12220可以接收从卫星12200或无线基站11700发送的信号。解码的视频可以在安装在汽车12920中的汽车导航系统12930的显示屏上再现。

视频信号可以由根据实施例的视频编码装置编码，然后可以被记录并存储在存储介质中。更详细地，图像信号可以由DVD记录器存储在DVD盘12960中，或者可以由硬盘记录器12950存储在硬盘中。作为另一示例，视频信号可以被存储在SD卡12970中。如果硬盘记录器12950包括根据实施例的视频解码装置，则可以在TV监视器12880上再现记录在DVD盘12960、SD卡12970、或另一存储介质上的视频信号。

汽车导航系统12930可以不包括图26的相机12530、相机接口12630、和视频编码器12720。例如，计算机12100和TV接收器12810可以不包括图26的相机12530、相机接口12630、和视频编码器12720。

图27示出了根据各种实施例的使用视频编码装置和视频解码装置的云计算系统的网络结构。

云计算系统可以包括云计算服务器14100、用户数据库(DB)14100、多个计算资源14200、以及用户终端。

响应于来自用户终端的请求，云计算系统经由数据通信网络(例如因特网)提供多个计算资源14200的按需外包服务。在云计算环境下，服务提供商通过组合位于物理上不同位置(通过使用虚拟化技术)的数据中心的计算资源，为用户提供所期望的服务。服务用户不需要将计算资源(例如，应用、存储器、操作系统(operating system，OS)、和安全软件)安装到他/她自己的终端中以便使用计算资源，而是可以在期望的时间点从在通过虚拟化技术生成的虚拟空间中的服务当中选择和使用期望的服务。

指定的服务用户的用户终端经由包括因特网和移动电信网络的数据通信网络连接到云计算服务器14000。可以从云计算服务器14000为用户终端提供云计算服务，特别是视频再现服务。用户终端可以是能够连接到因特网的各种类型的电子设备，例如台式PC14300、智能电视机14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(portable multimedia player，PMP)14700、平板计算机14100等。

云计算服务器14100可以组合分布在云网络中的多个计算资源14200，并向用户终端提供组合的结果。多个计算资源14200可以包括各种数据服务，并且可以包括从用户终端上传的数据。如上所述，云计算服务器14100可以通过根据虚拟化技术组合分布在不同区域中的视频数据库来向用户终端提供期望的服务。

关于已经订阅云计算服务的用户的用户信息被存储在用户DB 14100中。用户信息可以包括用户的日志信息、地址、姓名、和个人信用信息。用户信息还可以包括视频的索引。这里，索引可以包括已经被再现的视频的列表、正被再现的视频的列表、正被再现的视频的暂停点等。

关于存储在用户DB 14100中的视频的信息可以在用户设备之间共享。例如，当响应于来自笔记本计算机14600的请求将视频服务提供给笔记本计算机14600时，视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到再现视频服务的请求时，云计算服务器14000基于用户DB 14100搜索和再现视频服务。当智能电话14500从云计算服务器14000接收视频数据流时，通过解码视频数据流再现视频的过程类似于参考图24的上述移动电话12500的操作。

云计算服务器14000可以参考存储在用户DB 14100中的期望的视频服务的再现历史。例如，云计算服务器14000从用户终端接收再现存储在用户DB14100中的视频的请求。如果该视频正被再现，则由云计算服务器14000执行的流处理该视频的方法可以根据来自用户终端的请求而变化，即根据从其起点还是从其暂停点开始再现视频。例如，如果用户终端请求从视频的起点开始再现视频，则云计算服务器14000将从其第一帧开始的视频的流数据发送到用户终端。如果用户终端请求再现视频(从其暂停点开始)，则云计算服务器14000将从对应于暂停点的帧开始的视频的流数据发送到用户终端。

在这种情况下，用户终端可以包括参考图1到20的上述本公开的视频解码装置。作为另一示例，用户终端可以包括参考图1到20的上述本公开的视频编码装置。或者，用户终端可以包括参考图1到20的上述本公开的视频编码装置和视频解码装置两者。

已经参考图21至27如上描述了根据参考图1到20的上述各种实施例的视频编码方法、视频解码方法、视频编码装置、和视频解码装置的各种应用。然而，根据各种实施例，将视频编码方法和视频解码方法存储在存储介质中的方法或者在设备中实现视频编码装置和视频解码装置的方法不限于参考图21至27的上述实施例。

本公开还可以具体实现为在非暂时性计算机可读记录介质上的计算机可读代码。非暂时性计算机可读记录介质是可以存储随后由计算机系统读取的数据的任何数据存储设备。非暂时性计算机可读记录介质的示例包括ROM、RAM、CD-ROM、磁带、软盘、光学数据存储设备等。非暂时性计算机可读记录介质也可以分布在网络耦合的计算机系统，使得计算机可读代码以分布式方式被存储和执行。

尽管已经参照本公开的实施例具体示出和描述了本公开，但是本领域普通技术人员将会理解，，可以对本公开在形式和细节上进行各种改变而不脱离如所附权利要求所定义的本公开的精神和范围。因此，本公开的范围不是通过本公开的详细描述而是由所附权利要求书定义的，并且该范围内的所有差异将被解释为包括在本公开中。

Claims (2)

1.一种视频解码装置，包括：

确定器，被配置为：

从比特流中获得指示是否当前块在跳过模式中被预测的跳过模式标志，

响应于该跳过模式标志指示该当前块未在该跳过模式中被预测，从该比特流中获得指示是否该当前块在合并模式中被预测的合并模式标志，

响应于该合并模式标志指示该当前块在该合并模式中被预测，从该比特流中获得该当前块的运动矢量预测模式信息，以及

当该当前块的运动矢量预测模式信息指示预设预测模式时，从该比特流中获得运动矢量差异信息和指示来自第一预测候选列表的预测候选的第一索引；以及

解码器，被配置为：

确定由第一索引指示的来自第一预测候选列表的运动矢量候选，

基于该运动矢量候选和该运动矢量差异信息确定该当前块的运动矢量，

确定由该运动矢量指示的该当前块的预测块，

通过对该当前块的变换系数执行逆变换，确定该当前块的残差块，以及

通过组合该预测块和该残差块，确定该当前块的重建块，

其中，该运动矢量差异信息包括运动矢量差异的x轴分量和y轴分量当中的一个分量的符号信息、以及该运动矢量差异的像素距离，该像素距离是分像素单元或整像素单元的值。

2.一种视频编码装置，包括：

预测单元，被配置为：

产生指示是否当前块在跳过模式中被预测的跳过模式标志，

当该当前块未在该跳过模式中被预测时，产生指示是否该当前块在合并模式中被预测的合并模式标志，

当该当前块在该合并模式中被预测时，产生指示是否该当前块在预设预测模式中被预测的该当前块的运动矢量预测模式信息，以及

当该当前块在预设预测模式中被预测时，确定该当前块的运动矢量，确定来自第一预测候选列表的预测候选，基于从该当前块的该运动矢量中减去该预测候选来确定运动矢量差异，并产生关于该运动矢量差异的运动矢量差异信息和指示来自第一预测候选列表的该预测候选的第一索引；以及

变换单元，被配置为通过从该当前块中减去由该运动矢量指示的该当前块的预测块来确定残差块，并通过对该残差块执行变换产生该残差块的变换系数，

其中，该运动矢量差异信息包括该运动矢量差异的x轴分量和y轴分量当中的一个分量的符号信息、以及该运动矢量差异的像素距离，该像素距离是分像素单元或整像素单元的值。

Images