CN104365101A - 用于确定用于帧间预测的参考图像的方法及设备 - Google Patents

用于确定用于帧间预测的参考图像的方法及设备 Download PDF

Info

Publication number
CN104365101A
CN104365101A CN201380031582.3A CN201380031582A CN104365101A CN 104365101 A CN104365101 A CN 104365101A CN 201380031582 A CN201380031582 A CN 201380031582A CN 104365101 A CN104365101 A CN 104365101A
Authority
CN
China
Prior art keywords
information
reference picture
unit
motion vector
coding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380031582.3A
Other languages
English (en)
Other versions
CN104365101B (zh
Inventor
李泰美
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN104365101A publication Critical patent/CN104365101A/zh
Application granted granted Critical
Publication of CN104365101B publication Critical patent/CN104365101B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/13—Adaptive entropy coding, e.g. adaptive variable length coding [AVLC] or context adaptive binary arithmetic coding [CABAC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Abstract

提供了一种确定用于帧间预测的参考图像的方法及其帧间预测方法。确定参考图像的方法包括：确定包括块的条带的条带类型；如果确定所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引；如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。

Description

用于确定用于帧间预测的参考图像的方法及设备
技术领域
本发明涉及帧间预测以及包含帧间预测的视频编码和解码。
背景技术
随着用于再现和存储高分辨率或高质量视频内容的硬件的开发和提供，对于用于有效地对高分辨率或高质量视频内容进行编码或解码的视频编解码器的需求正在增加。在传统的视频编解码器中，基于具有预定尺寸的宏块，根据受限的编码方法来对视频进行编码。
在视频编解码器中，通过使用视频的图像具有高空间或时间相关性的特性的预测技术，来减少数据量。根据所述预测技术，为了通过使用邻近图像来预测当前图像，通过使用图像之间的时间或空间距离、预测误差等来记录图像信息。
发明内容
技术问题
本发明提供了一种确定用于帧间预测的参考图像的方法，及其帧间预测方法。本发明还提供了一种对指示参考画面列表中的参考图像的参考索引信息进行有效地编码和发送、接收和读取的方法。
技术方案
根据本发明的一方面，提供了一种确定用于帧间预测的参考图像的方法，所述方法包括：确定包括块的条带的条带类型；如果确定所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引；如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。
有益效果
通过使用根据本发明的用于确定参考图像的运动预测设备或运动补偿设备，由于即使在双向帧间预测期间也不需要形成除了L0列表和L1列表以外的新的参考画面列表，或者不需要搜索新的参考索引，因此可通过更简单的过程来确定用于单向预测和双向预测的参考图像。此外，由于在参考画面列表组合中不需要符号编码，因此省略了发送不必要的参考画面列表相关信息的处理，从而可减少发送比特量。类似地，由于省略了解析不必要的参考画面列表相关信息的处理，因此可缩短数据解析的处理。
附图说明
图1a是根据本发明的实施例的用于确定参考图像的设备的框图；
图1b是根据本发明的实施例的确定参考图像的方法的流程图；
图2a是根据本发明的实施例的包括用于确定参考图像的设备的运动预测设备的框图；
图2b是根据本发明的实施例的运动预测方法的流程图；
图3a是根据本发明的实施例的包括用于确定参考图像的设备的运动补偿设备的框图；
图3b是根据本发明的实施例的运动补偿方法的流程图；
图4示出帧内预测方向信息的两个实施例；
图5示出根据本发明的实施例而修改的条带头的一部分的语法；
图6示出根据本发明的实施例而删除的参考画面列表组合的参数集的语法；
图7示出根据本发明的实施例而修改的预测权重表的语法；
图8示出根据本发明的实施例而修改的预测单元区域的语法；
图9示出根据本发明的实施例的画面参考集的语法；
图10示出根据本发明的实施例而修改的条带头的另一部分的语法；
图11是根据本发明的实施例的基于根据树结构的编码单元的包含视频预测的视频编码设备的框图；
图12是根据本发明的实施例的基于根据树结构的编码单元的包含视频预测的视频解码设备的框图；
图13是示出根据本发明的实施例的编码单元的概念的示图；
图14是根据本发明的实施例的基于编码单元的图像编码器的框图；
图15是根据本发明的实施例的基于编码单元的图像解码器的框图；
图16是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图；
图17是示出根据本发明的实施例的编码单元与变换单元之间的关系的示图；
图18是示出根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图；
图19是根据本发明的实施例的根据深度的较深层编码单元的示图；
图20、图21和图22是示出根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图；
图23是示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图；
图24是根据本发明的实施例的存储程序的盘的物理结构的示图；
图25是通过使用盘来记录和读取程序的盘驱动器的示图；
图26是用于提供内容分配服务的内容供应系统的整体结构的示图；
图27和图28分别是根据本发明的实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构的示图；
图29是根据本发明的实施例的采用通信系统的数字广播系统的示图；
图30示出根据本发明的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
最佳实施方式
根据本发明的一方面，提供了一种确定用于帧间预测的参考图像的方法，所述方法包括：确定包括块的条带的条带类型；如果确定所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引；如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。
如果所述帧间预测方向是双向预测，则可从第一方向参考画面列表确定第一方向参考索引，并可从第二方向参考画面列表确定第二方向参考索引。
所述方法还可包括：确定指示所述帧间预测方向的帧间预测模式信息是两个比特；基于当前块的编码单元的深度选择四个上下文模型索引之一，用于与两个比特的帧间预测模式信息相应的两个二进制位之中的第一二进制位的上下文模型；独立于另一符号，选择一个上下文模型索引，用于所述两个二进制位之中的第二二进制位的上下文模型，其中，第一二进制位可指示所述帧间预测方向是单向还是双向，第二二进制位指示单向是第一方向还是第二方向。
所述方法还可包括：如果包括所述条带的画面能够使用时间运动矢量预测因子并且条带类型是B条带类型，则确定在第一方向参考画面列表中是否存在包括共同定位的块的画面。
根据本发明的另一方面，提供了一种用于确定参考图像的设备，所述设备包括：帧间预测方向确定器，确定包括块的条带的条带类型，如果所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；参考索引确定器，如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引；如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。
根据本发明的另一方面，提供了一种计算机可读记录介质，在所述计算机可读记录介质上记录有用于执行确定参考图像的方法的程序。
具体实施方式
以下，将参照根据本发明的实施例的图1a至图10描述用于确定能够进行单向预测或双向预测的参考图像的方法和设备、相应的运动预测方法和设备、以及相应的运动补偿方法和设备。此外，将参照根据本发明的实施例的图11至图23描述基于根据树结构的编码单元的视频编码和解码设备以及视频编码和解码方法。此外，将参照图24至图30描述根据实施例的视频编码和解码方法可应用于的各种实施例。下文中，“图像”可以指静止图像、视频的运动图像或视频本身。
图1a是根据实施例的用于确定参考图像的设备10的框图。图1b是根据本发明的实施例的确定参考图像的方法的流程图。
根据实施列的设备10包括帧间预测方向确定器12和参考索引确定器14。
设备10还可包括用于控制帧间预测方向确定器12和参考索引确定器14的中央处理器(未示出)。可选地，帧间预测方向确定器12和参考索引确定器14可通过单独的处理器(未示出)来进行操作，设备10可作为系统地彼此协作的单独的处理器来进行操作。可选地，帧间预测方向确定器12和参考索引确定器14可基于根据实施例的设备10的外部处理器(未示出)的控制而被控制。
根据实施例的设备10可包括至少一个数据存储单元(未示出)，其中，所述至少一个数据存储单元用于存储帧间预测方向确定器12和参考索引确定器14的输入数据和输出数据。设备10还可包括存储器控制器(未示出)，其中，所述存储器控制器用于管理数据存储单元(未示出)的数据输入和数据输出。
设备10确定用于关于视频的图像的时间预测的参考图像。设备10可确定指示当前图像和参考图像之间的位置差、残差等的预测信息。因此，可通过使用预测信息代替图像的整个数据来记录图像信息。
根据时间预测编码，可通过根据再现时间参考先前图像和后续图像来预测当前图像。可不管再现时间，参考根据编码顺序在当前图像之前编码的图像或根据恢复顺序在当前图像之前恢复的图像来对当前图像进行预测编码。当前图像和参考图像可以是图像数据单元，例如，画面、帧、场或条带。
为了帧间预测的快速计算，根据实施例的设备10可将当前图像划分为多个块，并对块执行帧间预测。换句话说，从当前图像划分出的多个块中的一个块可被用作参考图像以对当前块执行帧间预测。
参考画面列表可基于参考方向被划分为L0列表和L1列表。例如，P条带类型图像的用于前向预测的参考画面列表可包括用于列表0预测的L0列表。用于能够双预测(包括前向预测、后向预测、双向预测)的B条带类型图像的参考画面列表不仅可包括L0列表，还可包括用于列表1预测的L1列表。
L0列表和L1列表中的每一个可包括指示至少一个参考图像的索引以及参考顺序信息。分配到参考画面列表的有效参考图像的默认数量可被预先限制。然而，可在必要时针对每个图像改变参考图像的数量或对参考图像进行参考的参考顺序。因此，设备10可设置关于参考画面列表的有效参考图像的默认数量的信息、关于参考图像的数量的改变的信息、关于参考图像的改变的信息、关于参考顺序的改变的信息。
根据实施例的帧间预测方向确定器12可确定将被参考以用于对当前图像进行帧间预测的图像在当前图像之前(前向方向)还是在当前图像之后(后向方向)。当对当前图像确定参考图像时，可基于参考图像的方向从L0列表和L1列表中的至少任何一个参考画面列表确定参考图像。
参考画面列表可包括关于参考图像的信息以及参考图像的参考顺序。例如，L0列表可主要包括针对用于前向预测的参考图像的索引，L1列表可主要包括针对用于后向预测的参考图像的索引。然而，L0列表和L1列表不必分别限于仅包括用于前向预测的参考信息和仅包括用于后向预测的参考信息。
根据实施例的设备10可确定分配到每个参考画面列表的参考图像的参考顺序。例如，可以以这样的方式确定参考顺序：首先参考分配到参考画面列表的参考图像之中的基于显示顺序与当前图像邻近的参考图像。
根据实施例的设备10可设置参考画面列表相关属性，诸如分配到参考画面列表的有效参考图像的默认数量以及参考画面列表的改变。
根据实施例，关于参考画面列表的改变的属性可包括改变参考图像的数量的方法、改变分配到参考画面列表的参考图像的方法和改变参考顺序的方法。
根据实施例的帧间预测方向确定器12可确定包括块的条带的条带类型，并基于条带类型确定帧间预测方向。
如果条带是能够进行单向预测或双向预测的B条带类型，则根据实施例的帧间预测方向确定器12可确定块的帧间预测方向是第一方向、第二方向以及双向之一。第一方向和第二方向可分别是前向方向和后向方向。
根据实施例的参考索引确定器14可基于帧间预测方向从参考画面列表中确定指示参考图像的参考索引。
例如，参考索引确定器14可从第一方向参考画面列表中确定第一方向参考索引，或从第二方向参考画面列表中确定第二方向参考索引，作为用于块的参考索引。第一方向参考画面列表和第二方向参考画面列表可分别指示L0列表和L1列表。
以下，将参照图1b来描述根据实施例的设备10确定用于帧间预测的参考画面的处理。
在操作11，帧间预测方向确定器12可确定包括块的条带的条带类型。在操作13，如果当前条带类型是B条带类型，则帧间预测方向确定器12可确定块的帧间预测方向是第一方向、第二方向和双向之一。
在操作15，如果由帧间预测方向确定器12确定的帧间预测方向不是第二方向，则参考索引确定器14可在第一方向参考画面列表中确定第一方向参考索引，作为用于块的参考索引。换句话说，如果帧间预测方向是第一方向或双向，则从第一方向参考画面列表中选择至少一个参考索引。
如果由帧间预测方向确定器12确定的帧间预测方向是第二方向，则不确定第一方向参考索引，并执行操作17。
在操作17，如果由帧间预测方向确定器12确定的帧间预测方向不是第一方向，则参考索引确定器14可在第二方向参考画面列表中确定第二方向参考索引，作为用于块的参考索引。换句话说，如果帧间预测方向是第二方向或双向，则可从第二方向参考画面列表中选择至少一个参考索引。
如果由帧间预测方向确定器12确定的帧间预测方向是第一方向，则不确定第二方向参考索引，并执行操作17。
因此，如果帧间预测方向是双向，则通过操作15和操作17在第一方向参考画面列表中确定至少一个第一方向参考索引并在第二方向参考画面列表中确定至少一个第二方向参考索引。
在操作15，参考索引确定器14可确定第一方向参考索引，还可确定第一运动矢量的差值，其中，第一运动矢量指示由第一方向参考索引指示的参考图像中的参考块。
在操作17，参考索引确定器14可确定第二方向参考索引，还可确定第二运动矢量的差值，其中，第二运动矢量指示由第二方向参考索引指示的参考图像中的参考块。
参考索引可指示参考画面列表中的参考图像之间的顺序，运动矢量可表示预定参考图像中的参考块的位置。因此，可基于参考索引和运动矢量确定用于对块进行帧间预测的参考图像和参考块。
根据实施例的设备10可使用2比特的帧间预测模式信息，作为指示帧间预测方向的信息。
为了针对根据实施例的2比特的帧间预测模式信息执行基于纹理的熵编码或熵解码，可使用上下文模型，其中，上下文模型包括指示帧间预测模式信息的符号的概率信息。具体地说，由于针对符号的每个二进制位(bin)确定上下文模型，因此可针对与帧间预测模式信息的2比特分别相应的两个二进制位中的每一个确定上下文模型。
根据实施例的帧间预测模式信息的二进制位中的第一二进制位可指示帧间预测方向是单向还是双向。如果第一二进制位指示双向帧间预测，则第二二进制位可不被定义。然而，如果第一二进制位指示单向帧间预测，则第二二进制位可指示单向是第一方向还是第二方向。
具体地说，在P条带类型和B条带类型的情况下，帧间预测模式信息可通常指示帧间预测是前向方向(L0预测)还是后向方向(L1预测)。在根据实施例的帧间预测模式下，可根据块的尺寸限制预测方向的类型。例如，如果块的宽度和高度的和是12，如在块的尺寸是4×8或8×4时，即使是B条带类型块也不会允许双向帧间预测。因此，如果块的宽度和高度的和是12，则B条带类型块的帧间预测模式信息可指示前向预测或后向预测。
如果宽度和高度的和不是12，则可针对B条带类型块确定指示前向预测、后向预测和双向预测中的任意一个的帧间预测模式信息。
根据实施例的设备10可通过使用从至少一个上下文模型中选择的一个来对帧间预测模式信息进行熵编码(解码)。可为可选择的上下文模型中的每一个分配上下文模式索引。
根据实施例的设备10可选择四个上下文模型索引中的一个，用于帧间预测模式信息的第一二进制位的上下文模型。此外，设备10可选择一个上下文模型索引，用于帧间预测模式信息的第二二进制位的上下文模型。
具体地说，可基于当前块的编码单元的深度来选择四个上下文模型索引中的一个，用于与2比特的帧间预测模式信息相应的两个二进制位中的第一二进制位的上下文模型。可独立地确定一个上下文模型索引以用于两个二进制位中的第二二进制位的上下文模型，而不必考虑另一符号。
根据另一实施例的设备10可选择三个上下文模型索引中的一个，用于帧间预测模式信息的第一二进制位的上下文模型。设备10可选择三个上下文模型索引，用于帧间预测模式信息的第二二进制位的上下文模型。
可选地，如果L0列表和L1列表互相匹配，则帧间预测模式信息的第二二进制位可不被编码，并可被推断为0。如果L0列表和L1列表互相匹配，则帧间预测模式信息的第一二进制位可指示单向预测，并且作为结果，L0单向预测可被确定。
可选地，可通过使用当前块的左侧邻近块、上方邻近块或左上方邻近块的帧间预测模式信息的第一二进制位的值，来对用于当前块的帧间预测模式信息的第一二进制位的上下文模型索引进行编码。
可选地，可通过使用当前编码单元的深度值来对用于当前块的帧间预测模式信息的第一二进制位的上下文模型索引进行编码。编码单元的深度表示最大编码单元被划分到当前编码单元的次数。
可选地，用于当前块的帧间预测模式信息的第一二进制位的上下文模型索引可被设置并编码为常数。
可选地，可通过使用当前块的左侧邻近块、上方邻近块或左上方邻近块的帧间预测模式信息的第二二进制位的值，来对用于当前块的帧间预测模式信息的第二二进制位的上下文模型索引进行编码。
可选地，可通过使用当前编码单元的深度值来对用于当前块的帧间预测模式信息的第二二进制位的上下文模型索引进行编码。
可选地，用于当前块的帧间预测模式信息的第二二进制位的上下文模型索引可被设置并编码为常数。
根据另一实施例的设备10可确定在包括条带的画面中，时间运动矢量预测因子(tmvp)是否可用。此外，根据另一实施例的设备10可确定在用于B条带类型当前条带的第一方向参考画面列表中是否存在包括共同定位的块(collocated block)的画面。
共同定位的块不是位于实际参考画面中的实际参考块，而是位于作为与实际参考画面不同的画面的共同定位的画面中的块。参考画面中的参考块的位置和共同定位的画面中的共同定位的块的位置是相同的。因此，可通过参考指示共同定位的块的运动矢量估计指示参考块的运动矢量，来确定参考块。
根据另一实施例的设备10可针对能够使用tmvp的画面中的条带之中的B条带类型条带，在第一方向参考画面列表中确定包括共同定位的块的画面。因此，可通过使用在第一方向参考画面列表中选择的画面中所包括的共同定位的块来确定当前块的参考块。
根据另一实施例的设备10在当前条带能够使用tmvp时，在预定参考画面列表中确定包括共同定位的块的画面的索引信息。换句话说，当预先确定在关于B条带类型条带的预定方向参考画面列表中存在包括共同定位的块的画面时，可在预定方向参考画面列表中确定包括共同定位的块的索引信息(共同定位的参考索引)。可选地，由于对于P条带类型条带仅允许用于前向预测的参考画面，可从第一方向参考画面列表中确定与共同定位的参考索引相应的参考画面。
当通过使用共同定位的块的运动矢量确定当前块的运动矢量预测因子时，通过使用当前块的运动矢量预测因子来确定当前块的运动矢量，并可通过使用确定的运动矢量来确定当前块的参考块。
以下，将参照图2a和图2b来描述通过使用由根据实施例的设备10确定的参考画面执行运动预测的处理。此外，将参照图3a和图3b描述通过使用由根据实施例的设备10确定的参考画面执行运动补偿的处理。
图2a是根据本发明的实施例的与设备10相应的运动预测设备20的框图。图2b是根据本发明的实施例的执行确定参考图像的方法的运动预测方法的流程图。
根据实施例的运动预测设备20包括运动预测器12和帧间预测信息发送器24。
在操作21，根据实施例的运动预测器12可确定当前块的条带类型。基于当前块的条带类型是P条带类型还是B条带类型，可确定当前块的帧间预测方向是单向还是双向。
在操作23，根据实施例的运动预测器12可通过使用在第一方向参考画面列表和第二方向参考画面列表中的至少一个中所包括的参考画面，对块执行运动预测。根据实施例的运动预测器24可在分配到由参考画面列表确定器12确定的参考画面列表的参考图像中确定用于当前块的参考画面。
根据实施例的运动预测器12通过确定确定的参考图像的块与当前图像的当前块之间的相似性，来检测具有与当前块最小误差的块。换句话说，通过运动预测来检测最相似的块，并可将检测到的最相似的块确定为参考块。此外，可将包括检测到的参考块的画面确定为参考画面。当与当前块最相似的至少一个参考块被确定时，可确定至少一个参考画面。
随着在操作23运动预测器12确定了参考块和参考画面，在操作25，可确定指示参考画面的信息，例如，参考画面列表的图像中的参考画面的号，即，参考索引。
根据实施例的运动预测器12可在第一方向参考画面列表和第二方向参考画面列表中的至少一个中确定指示在操作21中确定的参考画面的参考索引。换句话说，如果参考画面属于第一方向参考画面列表，则可确定第一方向参考索引。如果参考画面属于第二方向参考画面列表，则可确定第二方向参考索引。
在操作27，根据实施例的帧间预测信息发送器24可对参考索引信息进行编码。
帧间预测信息发送器24可在由运动预测器12确定的参考画面不属于第二方向参考列表时，对第一方向参考索引进行编码。此外，帧间预测信息发送器24可在由运动预测器12确定的参考画面不属于第一方向参考列表时，对第二方向参考索引进行编码。
此外，运动预测器12可确定指示参考图像的块中的参考块的运动矢量。运动预测器12可确定参考块与当前块之间的残差。因此，帧间预测信息发送器24可对指示参考画面的运动矢量、残差、帧间预测方向和参考索引进行编码。被编码的预测信息可在被插入到比特流的块区域中之后被发送。
根据实施例的帧间预测信息发送器24可将指示条带类型的条带类型信息插入到比特流中的当前条带的条带头中。
执行了帧间预测的当前块可被称为预测单元。
帧间预测模式信息发送器24可将指示第一方向预测、第二方向预测和双向预测中的任意一个的帧间预测模式信息插入到比特流中的包括块的预测信息的预测单元区域中。
此外，如果帧间预测信息不指示第二方向预测，则帧间预测模式信息发送器24可将第一方向参考索引信息以及第一运动矢量的差值信息插入到预测单元区域中。如果证实在画面参数集中tmvp可用，则关于在当前预测单元中运动矢量预测因子是第一方向mvp的信息也可被插入到预测单元区域中。
根据实施例的关于运动矢量预测因子的信息可被表示为指示预定数量的运动矢量预测因子中的一个的索引。例如，由于指示两个运动矢量预测因子中的一个的关于运动矢量预测因子的信息可被表示为索引0或1，因此可使用标记形式。因此，用于当前预测单元的L0列表的运动矢量预测因子索引可被插入到预测单元区域中。此外，如果帧间预测模式信息不指示第一方向预测，则帧间预测模式信息发送器24可将第二方向参考索引信息以及第二运动矢量的差值信息插入到预测单元区域中。如果证实在画面参考集中tmvp可用，则关于在当前预测单元中运动矢量预测因子是第二方向mvp的信息也可被插入到预测单元区域中。用于当前预测单元的L0列表的运动矢量预测因子索引可被插入到预测单元区域中。
因此，根据实施例的帧间预测模式信息发送器24可将作为帧间预测的结果而产生的信息插入到条带头和预测单元区域中，并可发送包括条带头和预测单元区域的比特流。
根据另一实施例的帧间预测模式信息发送器24可将指示tmvp的可用性的信息插入到画面的画面参数集中。如果被插入到条带头的条带类型信息指示能够使用tmvp的画面中的B条带类型，则帧间预测模式信息发送器24可将指示在第一方向参考画面列表中是否存在包括共同定位的块的画面的信息插入到条带头中。
此外，根据另一实施例的帧间预测模式信息发送器24可不管P条带类型还是B条带类型，将共同定位的参考索引信息插入到条带头中。
根据实施例的帧间预测模式信息发送器24可通过使用针对帧间预测模式信息的每个二进制位确定的上下文模型，来对帧间预测模式信息进行熵编码。帧间预测模式信息发送器24可发送这样的比特串，其中，所述比特串是通过不仅对作为帧间预测的结果而产生的各种符号(即，帧间预测模式信息)执行熵编码，还对运动矢量的差值信息以及参考索引信息执行熵编码而产生的。
图3a是根据本发明的实施例的与用于确定参考图像的设备10相应的运动补偿设备30的框图。图3b是根据本发明的实施例的执行确定的参考图像的方法的运动补偿方法的流程图。
根据实施例的运动补偿设备30包括帧间预测模式信息接收器32和运动补偿器34。
通常，可在视频编码处理期间执行运动预测和运动补偿。此外，可在视频解码处理期间执行运动补偿。为了在对原始图像执行运动预测之后通过运动补偿产生与原始图像相同的恢复图像，通过使用通过运动预测产生的参考信息和残差来执行运动补偿。因此，为了在视频编码处理和视频解码处理期间对帧间模式块进行编码和解码，参考信息(参考索引和运动矢量)和关于残差的信息被传送。
在操作31，根据实施例的帧间预测模式信息接收器32可从接收到的比特流中的条带头中解析条带类型信息。通过使用解析出的条带类型信息来确定当前条带的条带类型。
在操作33，根据实施例的帧间预测模式信息接收器32可从接收到的比特流中的预测单元区域中解析指示当前块(预测单元)的帧间预测方向的帧间预测模式信息。因此，运动补偿器34可从解析出的帧间预测模式信息读取当前块的帧间预测模式信息指示第一方向预测、第二方向预测和双向预测中的哪一个。
根据实施例的帧间预测模式信息接收器34可通过使用针对每个二进制位确定的上下文模型对比特流中的包括帧间预测模式信息的比特串执行熵解码，来恢复帧间预测模式信息。
根据实施例的帧间预测模式信息接收器32可从接收到的比特流中的包括块的预测信息的预测单元区域中解析第一方向参考索引信息以及第一运动矢量的差值信息。此外，可从预测单元区域中解析第二方向参考索引信息以及第二运动矢量的差值信息。
因此，在操作35，当从帧间预测模式信息读取的帧间预测方向不是第二方向时，根据实施例的帧间预测模式信息接收器32可从预测单元区域中解析第一方向参考索引信息。可基于解析出的第一方向参考索引信息，在第一方向参考画面列表中确定第一方向参考画面。如果帧间预测方向不是第二方向，则第一运动矢量的差值信息可与第一方向参考索引一起从预测单元区域中被解析。如果证实在画面参数集中tmvp可用，则可从预测单元区域中解析关于在当前预测单元中是否使用第一方向mvp的信息。
此外，在操作37，如果从帧间预测模式信息读取的帧间预测方向不是第一方向，则根据实施例的帧间预测模式信息接收器32可从预测单元区域中解析第二方向参考索引信息。可基于解析出的第二方向参考索引信息，在第二方向参考画面列表中确定第二方向参考画面。如果帧间预测方向不是第一方向，则第二运动矢量的差值信息可与第二方向参考索引一起从预测单元区域中被解析。如果证实在画面参数集中tmvp可用，则可从预测单元区域中解析关于在当前预测单元中是否使用第二方向mvp的信息。
换句话说，如果从帧间预测模式信息读取的帧间预测方向是双向，则根据实施例的帧间预测模式信息接收器32可通过从预测单元区域解析第一方向参考索引信息和第一运动矢量的差值信息、第二方向参考索引信息和第二运动矢量的差值信息，来读取双向参考索引、运动矢量差值和tmvp使用信息。
根据另一实施例的帧间预测模式信息接收器32可从接收到的比特流中的关于当前画面的画面参数集解析指示tmvp的可用性的信息。如果tmvp可用，则根据另一实施例的帧间预测模式信息接收器32可从条带头解析这样的信息：该信息指示在第一方向参考画面列表中是否存在包括共同定位的画面的画面。
此外，如果tmvp可用，则根据另一实施例的帧间预测模式信息接收器32可从条带头解析预定参考画面列表之中的包括共同定位的块的画面的索引信息。可不管条带是P条带类型还是B条带类型，从条带头解析共同定位的参考索引信息。
根据实施例的帧间预测模式信息接收器32可从接收到的比特流解析根据包括在条带中的帧间模式块的参考索引信息、运动矢量的差值以及残差。
在操作39，根据实施例的运动补偿器34可在确定当前图像的每个块的参考画面之后执行运动补偿。
根据实施例的运动补偿器34可在参考画面列表中确定由参考索引指示的参考图像。可通过使用先前运动矢量和该运动矢量的差值来确定当前块的运动矢量，并可从参考图像的块中确定由运动矢量指示的参考块。运动补偿器34可通过对残差补偿参考块来恢复当前块。
因此，根据实施例的运动补偿器34可通过使用针对每个块确定的参考画面、运动矢量和残差来执行运动补偿，并产生恢复图像。
根据实施例的运动预测设备20能够通过使用预测信息代替图像的整个数据来表示图像，因此可被用于执行用于视频压缩编码的视频编码，从而减少视频数据量。
具体地说，根据实施例的运动预测设备20可包括在视频编码器中或与视频编码器交互操作，以执行用于视频编码的帧间预测，其中，该视频编码器基于通过对视频的图像进行空间划分而获得的编码单元来对视频进行编码。此外，每个编码单元可被划分为用于对编码单元进行帧间预测的预测单元和分区，可基于预测单元和分区来执行帧间预测。
根据实施例的编码单元的示例不仅可包括均具有固定的确定的形状的块，还包括根据实施例的基于树结构的编码单元。以下将参照图11至图23详细描述根据实施例的基于树结构的编码单元及其预测单元和分区。
根据实施例的运动预测设备20可通过对图像块或编码单元的图像数据执行帧间预测来输出关于参考图像的预测误差，即残差。运动预测设备20可对残差执行变换和量化以产生量化后的变换系数，对诸如变换系数、参考信息和编码信息的符号执行熵编码，随后输出比特流。根据实施例的运动预测设备20还可对包括L0列表相关信息和L1列表相关信息的符号进行编码和输出，其中，L0列表相关信息和L1列表相关信息包括在每个参考画面列表中包括的关于参考顺序或图像数量的信息以及参考画面列表相关信息(诸如与参考画面列表的改变相关的信息)。
运动预测设备20可通过再次对变换系数执行反量化、逆变换和预测补偿来恢复空间域中的图像，并执行环内(in-loop)滤波以产生恢复图像。换句话说，根据实施例的运动预测设备20可通过使用L0列表和L1列表中的至少一个来参考由视频编码器产生的恢复图像，以对作为B条带的当前图像执行帧间预测。由于这样产生的恢复图像被用作用于对后续输入图像进行运动预测的参考图像，运动预测设备20可通过再次对后续输入图像执行帧间预测来确定参考信息和残差。
因此，运动预测设备20可通过运动预测来执行视频压缩编码。
根据实施例的运动预测设备20可通过与安装在其中的视频编码处理器或外部视频编码处理器交互操作，来执行包括运动预测的视频编码操作，以输出视频编码结果。包括在根据实施例的运动预测设备20中的视频编码处理器可以是附加处理器，或者中央处理器(CPU)或图形处理单元可驱动视频编码处理模块以实现基本视频编码操作。
接下来，将描述视频解码处理。
根据实施例的运动补偿设备30可通过接收经由运动预测的压缩比特流，通过使用预测信息而不是图像的整个数据来恢复图像。
根据实施例的运动补偿设备30可从比特流的块区域解析指示用于当前块的参考画面的参考索引、运动矢量以及残差。
根据实施例的运动补偿设备30可通过包括在视频解码器中、在视频解码器中操作、或与视频解码器交互操作来执行用于视频解码的运动补偿，其中，该视频解码器基于通过根据空间域对视频的图像进行划分而获得的编码单元对视频进行解码。此外，用于运动补偿的编码单元可包括预测单元和分区，可基于预测单元和分区执行运动补偿。如上所述，根据实施例的编码单元不仅可包括均具有固定的确定的形状的块，还可包括根据实施例的基于树结构的编码单元。
根据实施例的运动补偿设备30可通过对接收到的比特流执行熵解码来解析变换系数、参考信息、编码信息等的符号。根据实施例的运动补偿设备30可解析包括参考画面列表相关信息的符号。
根据实施例的运动补偿设备30可通过根据变换单元对解析的变换系数执行反量化和逆变换来恢复空间域的残差。
根据实施例的运动补偿设备30可通过用于根据分区对残差补偿参考块的运动补偿，来恢复空间域的图像。根据实施例，运动补偿设备30可通过参考在L0列表和L1列表中的至少一个中包括的先前恢复的图像，来确定参考图像和参考图像中由运动矢量指示的参考块，以对B条带当前分区执行运动补偿。通过将残差与这样确定的参考块相加，可产生恢复块。
根据实施例的运动补偿设备30可通过对空间域中的恢复块执行去块滤波和样点自适应偏移(SAO)滤波，使恢复块与原始块之间的误差最小化。恢复块可被用作用于对后续块进行预测的参考块。
因此，可通过运动补偿设备30的运动补偿来实现视频压缩解码。
根据实施例的运动补偿设备30可通过与安装在其中的视频解码处理器或外部视频解码处理器交互操作来执行包括运动补偿的视频解码操作，以输出视频解码结果。包括在根据实施例的运动补偿设备30中的视频解码处理器可以是附加处理器，或者CPU或图形处理单元可驱动视频解码处理模块以实现基本视频解码操作。
以下，将参照图4至图10描述根据实施例的由运动预测设备20发送并由运动补偿设备30解析的帧间预测相关信息的语法。
图4示出帧内预测方向信息的两个实施例。
根据第一实施例的帧间预测模式信息inter_pred_flag 40在P条带类型的情况下不被单独定义。在P条带类型的情况下，即使帧间预测模式信息40不被定义，也可推断帧间预测是使用L0列表的前向预测。然而，仅在B条带类型的情况下，帧间预测模式信息inter_pred_flag 40可指示帧间预测是根据参考画面列表组合的双预测方向Pred_LC还是双向预测Pred_BI。
根据第一实施例的帧间预测模式信息40，即使在B条带类型的情况下帧间预测方向是双预测方向，参考画面也实际是包括在L0列表和L1列表之一中的图像。然而，由于基于帧间预测模式信息40在双预测方向上提供的参考索引信息是参考画面列表组合上的参考索引，因此会增加通过使用L0列表和L1列表组合参考画面列表并随后重排其索引的不便。
根据第二实施例的帧间预测模式信息inter_pred_idc 45不使用根据参考画面列表组合的参考索引。因此，L0列表和L1列表可不被组合。
inter_pred_idc 45可指示B条带类型块的帧间预测方向是L0预测方向Pred_L0还是L1预测方向Pred_L1。由于在P条带中仅允许前向预测Pred_L0，因此不使用inter_pred_idc 45。换句话说，inter_pred_idc 45可不被确定为指示P条带类型的帧间预测方向。因此，即使inter_pred_idc 45不单独存在，P条带类型的帧间预测也可被推断为前向预测。
可仅针对B条带类型预测单元的帧间预测确定根据第二实施例的帧间预测模式信息inter_pred_idc 45。具体地说，nPbW和nPbH分别表示当前预测单元的宽度和高度。因此，如果预测单元的宽度和高度的和(nPbW+nPbH)是12，例如，如果预测单元的尺寸是4×8或8×4，则即使对于B条带类型预测单元，也可能不允许双向帧间预测。如果宽度和高度的和不是12，则可针对B条带类型预测单元确定帧间预测模式信息45，其中，帧间预测模式信息45指示前向预测Pred_L0、后向预测Pred_L1和双向预测Pred_BI中的任何一个。
因此，如果B条带类型当前预测单元的宽度和高度的和不是12，则运动预测设备20可将指示前向预测Pred_L0、后向预测Pred_L1和双向预测Pred_BI中的任何一个的帧间预测模式信息45插入到比特流中的预测单元区域中。另一方面，如果当前预测单元的宽度和高度的和是12，则可从比特流中的预测单元区域中读取前向预测Pred_L0和后向预测Pred_L1中的任何一个的帧间预测模式信息45。
运动补偿设备30可不解析关于P条带类型预测单元的inter_pred_idc 45。即使inter_pred_idc 45不单独存在，P条带类型的帧间预测也可被推断为前向预测。
因此，如果根据第二实施例的帧间预测模式信息45从比特流的预测单元区域被解析，并且当前预测单元的宽度和高度的和不是12，则运动补偿设备30可从帧间预测模式信息45读取前向预测Pred_L0、后向预测Pred_L1和双向预测Pred_BI中的任何一个。然而，如果当前预测单元的宽度和高度的和是12，则可从帧间预测模式信息45读取前向预测Pred_L0和后向预测Pred_L1中的任何一个。
因此，根据第二实施例的帧间预测模式信息45，即使对于双向预测，也不形成新的参考画面列表或搜索新的参考索引，因此可通过更简单的过程确定参考图像。
图5示出根据本发明的实施例而修改的条带头50的一部分的语法。图6示出根据本发明的实施例而删除的参考画面列表组合的参数集的语法。
“slice_header()”50指示条带头。“ref_pic_list_combination()”60指示与参考画面列表组合相关的参数集。“ref_pic_list_modification()”54指示与参考画面列表修改相关的参数集。
运动预测设备20可通过将对当前条带进行解码所需的各种类型的信息包括到“slice_header()”50来对条带相关参数进行编码。运动补偿设备30可从“slice_header()”50解析条带相关参数以读取对当前条带进行解码所需的各种类型的信息。
可根据条带类型，针对每个条带确定参考画面列表。
如果包括在序列参数集中的“lists_modification_present_flag”52指示可修改在当前序列中确定的参考画面列表，则根据实施例的运动预测设备20可将“ref_pic_list_modification()”54插入到“slice_header()”50中，其中，“ref_pic_list_modification()”54包括关于修改参考画面列表的方法的详细信息。
由于根据基于第二实施例的帧间预测模式信息45，即使对于B条带类型双向预测也不使用参考画面列表组合，因此，“ref_pic_list_combination()”60可不被插入到“slice_header()”50中。
如果从序列参数集读取的“lists_modification_present_flag”52指示可修改在当前序列中确定的参考画面列表，则根据实施例的运动补偿设备30可从“slice_header()”50中解析包括关于修改参考画面列表的方法的详细信息的“ref_pic_list_modification()”54。
此外，由于根据基于第二实施例的帧间预测模式信息45，即使对于B条带类型双向预测也不使用参考画面列表组合，因此，不从“slice_header()”50中解析“ref_pic_list_combination()”60。
图7示出根据本发明的实施例而修改的预测权重表70的语法。
根据实施例的预测权重表70包括与根据当前条带中的亮度分量和色度分量应用到预测相关参数的权重有关的信息。
具体地说，如果当前条带类型是B条带类型71，则可确定用于L1预测的预测相关参数的权重信息73。然而，由于根据第二实施例的帧间预测模式信息45，即使对于B条带类型双向预测也不使用参考画面列表组合，因此根据实施例的运动预测设备20可将用于L1预测的预测相关参数的权重信息73包括在预测权重表70中，而不必执行确定是否存在当前参考画面列表组合的处理。此外，还可不将使用参考画面列表组合的预测相关参数的权重信息75包括在预测权重表70中。
类似地，根据实施例的运动补偿设备30可从比特流的条带头解析预测权重表70。此外，当当前条带是B条带类型时，可从预测权重表70解析用于L1预测的预测相关参数的权重信息73，而不必确定是否存在当前参考画面列表组合。此外，还可省略从预测权重表70解析使用参考画面列表组合的预测相关参数的权重信息75的处理。
图8示出根据本发明的实施例而修改的预测单元区域80的语法。
根据实施例的预测单元区域80包括根据当前预测单元中的预测方向确定的预测信息(包括参考索引“ref_idx_l0”和“ref_idx_l1”)和运动矢量相关信息“mvd_l0”、“mvd_l1”、“mvp_l0_flag”和“mvd_l1_flag”。
如果当前条带类型“slice_type”是B条带类型81，则根据实施例的运动预测设备20可将当前预测单元的帧间预测方向“inter_pred_flag”82插入到预测单元区域80中。然而，由于根据第二实施例的帧间预测模式信息45，对于B条带类型也不使用利用参考画面列表组合的双向预测，因此根据实施例的运动预测设备20可不将与参考画面列表组合有关的预测信息83插入到预测单元区域80中。根据实施例的运动预测设备20可不将与参考画面列表组合有关的预测信息83插入到预测单元区域80中。
如果如语法84当前预测单元的帧间预测不是L1预测，并且如语法85在L0列表中存在有效参考图像，则根据实施例的运动预测设备20可将根据L0预测的预测信息86包括到预测单元区域80。此外，如果如语法88帧间预测不是L0预测，并且如语法89在L1列表中存在有效参考图像，而如语法87不必确定当前预测单元的帧间预测是否是双向预测，则根据L1预测的预测信息90可被包括在预测单元区域80中。
如果当前条带类型“slice_type”是B条带类型81，则根据实施例的运动补偿设备30可从预测单元区域80中解析当前预测单元的帧间预测方向“inter_pred_flag”82。然而，根据实施例的运动补偿设备30可不从预测单元区域80中解析与参考画面列表组合有关的预测信息83。
如果如语法84当前预测单元的帧间预测不是L1预测，并且如语法85在L1列表中存在有效参考图像，则根据实施例的运动补偿设备30可从预测单元区域80中解析根据L0预测的预测信息86。此外，如果如语法88帧间预测不是L0预测，并且如语法89在L1列表中存在有效参考图像，而如语法87不必确定当前预测单元的帧间预测是否是双向预测，则根据L1预测的预测信息90可从预测单元区域80被解析。
图9示出根据本发明的实施例的画面参数集的语法。条带头可相应于独立条带片段的条带片段头。
根据实施例的运动预测设备20可确定在当前画面中时间运动矢量预测因子tmvp是否可用。因此，根据实施例的运动预测设备20可将tmvp可用性信息“slice_temporal_mvp_enabled_flag”93插入到条带头91中。根据实施例的时间运动矢量预测因子可被用于通过使用共同定位的图像的运动矢量来预测当前块的运动矢量。由于tmvp可用性信息93根据条带头91被包括，则可针对每个条带确定tmvp的可用性。
时间运动矢量预测因子的可用性信息“slice_temporal_mvp_enabled_flag”93指示tmvp是否可用于当前画面中的帧间预测。tmvp可用于通过使用参考画面中的运动矢量确定当前运动矢量。如果在画面中证实了“slice_temporal_mvp_enabled_flag”93，则可在当前画面中包括的至少一个条带中使用mvp。
类似地，根据实施例的运动补偿设备30可从条带头91解析时间运动矢量预测因子的可用性信息“slice_temporal_mvp_enabled_flag”93。通过读取解析出的时间运动矢量预测因子的可用性信息93，确定是否可通过使用当前画面中的时间运动矢量预测因子来预测当前运动矢量。由于针对每个条带头91解析tmvp可用性信息93，因此可针对每个条带确定tmvp的可用性。
图10示出根据本发明的实施例而修改的条带头的另一部分的语法。
可基于在图9的条带头91中使用的tmvp可用性信息“slice_temporal_mvp_enabled_flag”93，确定在当前条带中共同定位的参考画面是否可用。
如果如语法101在当前序列中时间运动矢量预测因子可用，则根据另一实施例的运动预测设备20可将用于当前条带的共同定位的画面相关信息105插入到当前条带头91中。
例如，如果当前条带类型“slice_type”是B条带类型103，则共同定位的画面相关信息105可将指示在L0列表中包括的参考画面中是否存在共同定位的块的信息“colloated_from_l0_flag”包括到当前条带头91中。此外，不管P条带类型还是B条带类型，可包括共同定位的画面的参考索引信息“collocated_ref_idx”。例如，参考索引信息“collocated_ref_idx”可指示在位于预定方向上的参考图像中的当前参考图像的索引。
如果确定如语法101在当前序列参数集91中时间运动矢量预测因子可用，则根据另一实施例的运动补偿设备30可从当前条带头91中解析用于当前条带的共同定位的画面相关信息105。如果当前条带类型“slice_type”是B条带类型103，则可从共同定位的画面相关信息105中解析指示在L0列表中包括的参考画面中是否存在共同定位的块的信息以及共同定位的画面的参考索引信息。
具体地说，如果时间运动矢量因子被使用，并且条带是B条带类型，则可从“collocated_from_l0_flag”中确定将被使用的共同定位的块的方向。
此外，如果时间运动矢量预测因子被使用，则可从“collocated_ref_idx”读取在位于预定方向上的参考图像中哪个参考画面被用于确定共同定位的块。“collocated_ref_idx”还可被用在P条带类型的情况下。
由于仅当时间运动矢量预测因子被使用时，指示在预定方向上是否存在共同定位的图像的“collocated_from_l0_flag”和共同定位的画面的参考索引信息“collocated_ref_idx”被包括在当前条带头中，因此仅当在当前条带中使用时间运动矢量预测因子时，才可将与共同定位的画面有关的同一性信息作为信号发送。
如上所述，由于通过使用根据各种实施例的设备10、运动预测设备20和运动补偿设备30中的至少一个，即使对于双向帧间预测，也不需要形成除了L0列表和L1列表之外的新的参考画面列表，或者不需要搜索新的参考索引，因此可通过更简单的过程来确定用于单向预测和双向预测的参考图像。此外，由于在参考画面列表组合中不需要符号编码，因此可省略发送不必要的参考画面列表相关信息的处理，因此可减少发送比特量。类似地，由于解析不必要的参考画面列表相关信息的处理被省略，因此还可缩短数据解析处理。
如上所述，以上参照图1a至图10描述的根据各种实施例的设备10、运动预测设备20和运动补偿设备30基于在根据树结构的编码单元中确定的分区来执行运动预测和运动补偿。以下，将参照图11至图23描述根据本发明的实施例的基于根据树结构的编码单元的视频编码方法和视频解码方法。
图11是根据本发明的实施例的基于根据树结构的编码单元的视频编码设备100的框图。
根据实施例的包括基于根据树结构的编码单元的视频预测的视频编码设备100包括编码确定器120和输出单元130。编码确定器120可基于最大编码单元，来对当前画面进行划分，其中，最大编码单元是图像的当前画面的具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。
根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度为最高深度，最小编码单元的深度为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层地分类。
可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制对最大编码单元的高度和宽度进行分层划分的总次数。
编码单元确定器120对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码的图像数据的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据确定的编码深度的被编码的图像数据被输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且基于每个较深层编码单元比较对图像数据进行编码的结果。在对与较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度而被分层地划分并且编码单元的数量增加，最大编码单元的尺寸被划分。另外，即使在一个最大编码单元中编码单元与同一深度相应，也通过单独地测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，在一个最大编码单元中编码误差可根据区域而不同，因此在图像数据中编码深度可根据区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据进行划分。
因此，根据实施例的编码单元确定器120可确定包括在当前最大编码单元中的根据树结构的编码单元。根据实施例的“根据树结构的编码单元”包括在当前最大编码单元中包括的所有较深层编码单元中的与确定为编码深度的深度相应的编码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。类似地，当前区域中的编码深度可与另一区域中的编码深度独立地被确定。
根据实施例的最大深度是与从最大编码单元到最小编码单元的划分的次数有关的索引。根据实施例的第一最大深度可表示从最大编码单元到最小编码单元的总划分次数。根据实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度等级的总数。例如，如果最大编码单元的深度是0，则对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是对最大编码单元划分四次的编码单元，则存在深度0、1、2、3和4的5个深度等级，并因此第一最大深度可被设置为4，第二最大深度可被设置为5。
可根据最大编码单元执行预测编码和变换。还根据最大编码单元，基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。为了便于描述，现在将基于当前深度的编码单元来描述在至少一个最大编码单元中的预测编码和变换。
根据实施例的视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备100不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
为了对最大编码单元执行预测编码，可基于根据实施例的编码深度的编码单元(即，基于不再被划分的编码单元)来执行预测编码。以下，不再被划分且成为用于进行预测编码的基础的编码单元现在将被称为“预测单元”。通过划分预测单元获得的分区可包括通过对预测单元的高度和宽度中的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，预测单元可以是具有与编码单元相同的尺寸的分区。
例如，如果2N×2N(其中，N是正整数)的编码单元不再被划分，并且成为2N×2N的预测单元，则分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。根据实施例的分区类型的示例包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
根据实施例的视频编码设备100不仅可基于用于对图像数据进行编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了对编码单元执行变换，可基于具有小于或等于编码单元的尺寸的变换单元，来执行变换。例如，变换单元可包括帧内模式的数据单元和帧间模式的变换单元。
根据实施例，编码单元中的变换单元可以以与根据树结构的编码单元类似的方式，被递归地划分为更小尺寸的变换单元。因此，可基于根据变换深度的根据树结构的变换单元，对编码单元中的残差数据进行划分。
根据实施例，还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分以达到变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可为0，当变换单元的尺寸是N×N时，变换深度可为1，当变换单元的尺寸是N/2×N/2时，变换深度可为2。换句话说，可根据变换深度设置根据树结构的变换单元。
根据编码深度的编码信息不仅需要关于编码深度的信息，还需要关于预测相关信息和变换相关信息的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定通过划分预测单元而获得的分区的分区类型、根据预测单元的预测模式和用于变换的变换单元的尺寸。
稍后将参照图13至图23详细描述根据本发明的实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘数的率失真优化，来测量根据深度的较深层编码单元的编码误差。
输出单元130在比特流中输出最大编码单元的图像数据和关于根据编码深度的编码模式的信息，其中，所述最大编码单元的图像数据基于由编码单元确定器120确定的至少一个编码深度被编码。
可通过对图像的残差数据进行编码来获得编码图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于在预测单元中的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。
可通过使用根据深度的划分信息来定义关于编码深度的信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则按照当前深度的编码单元对当前编码单元进行编码，因此可定义当前深度的划分信息以不将当前编码单元划分到更低深度。可选地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，并因此可定义划分信息以对当前编码单元进行划分来获得更低深度的编码单元。
如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元确定关于至少一个编码模式的信息，所以可针对一个最大编码单元确定关于至少一个编码模式的信息。另外，由于根据深度对数据进行分层划分，因此最大编码单元的数据的编码深度可根据位置而不同，因此可针对数据设置关于编码深度和编码模式的信息。
因此，根据实施例的输出单元130可将关于相应的编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据实施例的最小单元是通过将构成最低深度的最小编码单元划分为4份而获得的矩形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大矩形数据单元。
例如，通过输出单元130输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括预测模式信息和分区尺寸信息。根据预测单元发送的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于帧内模式的插值方法的信息。
根据画面、条带或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
另外，还可经由比特流的头、序列参数集或画面参数集输出关于针对当前视频允许的变换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息。输出单元130可对与预测有关的参考信息、预测信息和条带类型信息进行编码，并输出这些信息。
根据视频编码设备100的大部分简单实施例，较深层编码单元可以是通过将更高深度(更高一层)的编码单元的高度或宽度划分成两份而获得的编码单元。换言之，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，尺寸为2N×2N的当前编码单元可包括最多4个尺寸为N×N的更低深度的编码单元。
因此，视频编码设备100可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成根据树结构的编码单元。另外，由于可通过使用各种预测模式和变换方法中的任意一个对每个最大编码单元执行编码，因此可考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于考虑图像的尺寸，在增加编码单元的最大尺寸的同时，基于图像的特征来调整编码单元，因此可增加图像压缩效率。
视频编码设备100可根据以上参照图2a和图2b描述的运动预测方法，通过确定参考画面列表以执行帧间预测。
编码单元确定器120可针对每个最大编码单元，确定用于基于根据树结构的编码单元进行帧间预测的预测单元，并可对每个预测单元及其分区执行帧间预测。
编码单元确定器120确定用于针对视频的图像进行时间预测的参考图像。设备10确定指示当前图像与邻近图像之间的时间距离的预测信息以及残差。因此，可通过使用预测信息代替图像的整个数据来记录图像信息。
根据实施例的编码单元确定器120可确定将被参考以用于对当前图像进行帧间预测的图像在当前图像之前(第一方向)还是在当前图像之后(第二方向)。当确定当前图像的参考图像时，可基于参考图像的方向从L0列表和L1列表中的至少任何一个参考画面列表确定参考图像。
根据实施例的编码单元确定器120可确定分配到每个参考画面列表的参考图像的参考顺序。例如，可确定参考顺序使得在分配到参考画面列表的参考图像中，在显示顺序上与当前图像最接近的参考图像首先被参考。
根据实施例的编码单元确定器120可确定包括块的条带的条带类型，并基于条带类型确定帧间预测方向。
如果条带是能够单向预测或双向预测的B条带类型，则根据实施例的编码单元确定器120可确定块的帧间预测方向是第一方向、第二方向和双向之一。第一方向和第二方向可分别是前向方向和后向方向。
根据实施例的编码单元确定器120可基于帧间预测方向确定参考画面列表上的指示参考图像的参考索引。
例如，编码单元确定器120可从第一方向参考画面列表中将第一方向参考索引确定为用于块的参考索引，并从第二方向参考画面列表确定第二方向参考索引。第一参考画面列表和第二参考画面列表可分别指示L0列表和L1列表。
编码单元确定器120确定残差和指示参考索引以及当前图像和邻近图像之间的时间距离的预测信息。
根据实施例的输出单元130可对指示块的帧间预测方向的帧间预测模式信息、参考索引、运动矢量等进行编码并输出。
图12是根据本发明的实施例的基于根据树结构的编码单元的视频解码设备200的框图。
根据实施例的包括基于根据树结构的编码单元的视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220和图像数据解码器230。为了便于描述，根据实施例的包括基于根据树结构的编码单元的视频预测的视频解码设备200现在将被简称为“视频解码设备200”。
用于视频解码设备200的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图8和视频编码设备100描述的定义相同。
接收器210接收和解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流，针对每个编码单元提取编码图像数据，并将提取的图像数据输出到图像数据解码器230，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息提取器220可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流，根据每个最大编码单元，提取关于根据树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换言之，比特串中的图像数据被划分为最大编码单元，使得图像数据解码器230针对每个最大编码单元对图像数据进行解码。
可针对至少一条编码深度信息设置关于根据最大编码单元的编码深度和编码模式的信息，根据编码深度的关于编码模式的信息可包括关于相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。另外，根据深度的划分信息可被提取为编码深度信息。
由图像数据和编码信息提取器220提取的关于根据每个最大编码单元的编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：所述关于编码深度和编码模式的信息被确定为在编码器(诸如，根据实施例的视频编码设备100)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备200可通过根据产生最小编码误差的编码方法对数据进行解码来恢复图像。
由于根据实施例的关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元中的预定数据单元，因此图像数据和编码信息提取器220可根据预定数据单元，提取关于编码深度和编码模式的信息。如果关于相应最大编码单元的编码深度和编码模式的信息根据预定数据单元被记录，则可将被分配了相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
图像数据解码器230基于关于根据最大编码单元的编码深度和编码模式的信息，通过对每个最大编码单元中的图像数据进行解码，来恢复当前画面。换言之，图像数据解码器230可基于包括在每个最大编码单元中的根据树结构的编码单元之中的每个编码单元的读取出的分区类型、读取出的预测模式和读取出的变换单元的信息，对编码的图像数据进行解码。解码处理可包括预测(包含帧内预测和运动补偿)和逆变换。
图像数据解码器230可基于根据编码深度的编码单元的预测单元的分区类型信息和预测模式信息，根据每个编码单元的分区和预测模式，执行帧内预测或运动补偿。
另外，为了对每个最大编码单元执行逆变换，图像数据解码器230可读取每个编码单元的根据树结构的变换单元信息，以基于每个编码单元的变换单元执行逆变换。通过逆变换，可恢复编码单元的空间域的像素值。
图像数据解码器230可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，图像数据解码器230可针对当前最大编码单元中的图像数据，通过使用关于预测单元的分区类型、预测模式和变换单元的尺寸的信息，对当前深度的编码单元进行解码。
换言之，可通过观察分配给编码单元、预测单元和最小单元中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同编码模式进行解码的一个数据单元。这样，可通过获得关于每个编码单元的编码模式的信息，对当前编码单元进行解码。
此外，视频解码设备200可根据参照图3a和图3b描述的运动补偿方法，通过确定参考画面列表中的参考索引，以执行运动补偿。
根据实施例的提取器210可从比特流解析指示块的帧间预测方向的帧间预测模式信息、参考索引和运动矢量。
图像数据解码器230可针对每个最大编码单元，基于根据树结构的编码单元确定用于运动补偿的预测单元，并对每个预测单元及其分区执行运动补偿。
图像数据解码器230确定关于视频的图像的用于时间预测的参考图像。图像数据解码器230可基于帧间预测模式信息确定将被参考以用于对当前图像进行帧间预测的图像在当前图像之前(第一方向)还是在当前图像之后(第二方向)。在从当前图像确定参考图像时，可基于参考图像的方向从L0列表和L1列表中的至少任何一个参考画面列表确定参考图像。
根据实施例的图像数据解码器230可确定包括块的条带的条带类型，并基于条带类型确定帧间预测方向。如果条带是能够单向预测或双向预测的B条带类型，则根据实施例的图像数据解码器230可确定块的帧间预测方向是第一方向、第二方向和双向之一。第一方向和第二方向可分别是前向方向和后向方向。
根据实施例的图像数据解码器230可基于确定的帧间预测方向从参考画面列表中确定指示参考图像的参考索引。
例如，图像数据解码器230可从第一方向参考画面列表将第一方向参考索引确定为用于块的参考索引，并从第二方向参考画面列表确定第二方向参考索引。第一方向参考画面列表和第二方向参考画面列表可分别指示L0列表和L1列表。
图像数据解码器230可从包括在参考画面列表中的参考画面之中确定由参考索引指示的参考画面，并在参考画面中确定由运动矢量指示的参考块。图像数据解码器230可通过对残差补偿参考块来恢复当前块。
图13是用于描述根据本发明的实施例的编码单元的概念的示图。
编码单元的尺寸可被表示为宽度×高度，并可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
根据实施例的用于帧间预测的分区可不包括4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图13中示出的最大深度表示从最大编码单元到最小编码单元的总划分次数。
如果分辨率高或数据量大，则编码单元的最大尺寸可能较大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据310的编码单元315可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。由于视频数据330的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据330的编码单元335可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
由于视频数据320的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据320的编码单元325可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，详细信息可被精确地表示。
图14是根据本发明的实施例的基于编码单元的图像编码器400的框图。
根据实施例的图像编码器400执行视频编码设备100的编码单元确定器120的操作来对图像数据进行编码。换言之，帧内预测器410对当前帧405中的帧内模式下的编码单元执行帧内预测，运动估计器420和运动补偿器425通过使用当前帧405和参考帧495，在帧间模式下分别执行帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化后的变换系数。量化后的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，恢复的空间域中的数据在通过去块单元480和偏移调节单元490后处理之后被输出为参考帧495。量化后的变换系数可通过熵编码器450被输出为比特流455。
为了将图像编码器400应用到根据实施例的视频编码设备100中，图像编码器400的所有元件(即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和偏移调节单元490)在考虑每个最大编码单元的最大深度的同时，基于根据树结构的编码单元中的每个编码单元执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时，确定根据树结构的编码单元中的每个编码单元的分区和预测模式，变换器430确定根据树结构的编码单元中的每个编码单元中的变换单元的尺寸。
运动估计器420和运动补偿器425可基于以上参照图1a和图1b描述的帧间预测方法确定参考索引，并通过使用参考画面列表中的与参考索引相应的参考画面执行帧间预测。
图15是根据本发明的实施例的基于编码单元的图像解码器500的框图。
解析器510从比特流505解析将被解码的编码的图像数据和解码所需的关于编码的信息。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，并且经过逆变换器540空间域中的图像数据被恢复。
针对空间域中的图像数据，帧内预测器550对帧内模式下的编码单元执行帧内预测，运动补偿器560通过使用参考帧585对帧间模式下的编码单元执行运动补偿。
通过帧内预测器550和运动补偿器560并在空间域中的数据可在通过去块单元570和偏移调节单元580后处理之后被输出为恢复帧595。另外，通过去块单元570和偏移调节单元580后处理的数据可被输出为参考帧585。
为了在视频解码设备200的图像数据解码器230中对图像数据进行解码，根据实施例的图像解码器500可执行在解析器510之后执行的操作。
为了将图像解码器500应用到根据实施例的视频解码设备200中，图像解码器500的所有元件(即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和偏移调节单元580)针对每个最大编码单元，基于根据树结构的编码单元执行操作。
具体地，帧内预测器550和运动补偿器560针对根据树结构的每个编码单元确定分区和预测模式，逆变换器540针对每个编码单元确定变换单元的尺寸。
运动补偿器560可基于以上参照图1a和图1b描述的帧间预测方法确定参考索引，并通过使用参考画面列表中的与参考索引相应的参考画面执行运动补偿。
图16是示出根据本发明的实施例的根据深度的较深层编码单元以及分区的示图。
根据实施例的视频编码设备100和根据实施例的视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
根据实施例，在编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，最大深度是3。在这种情况下，最大深度表示编码单元从最大编码单元被划分到最小编码单元的总次数。由于根据实施例沿着分层结构600的垂直轴深度加深，因此较深层编码单元的高度和宽度均被划分。另外，预测单元和分区沿着分层结构600的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
换言之，在分层结构600中，编码单元610是最大编码单元，其中，深度为0，尺寸为64×64(即，高度乘宽度)。深度沿着垂直轴加深，并且存在尺寸为32×32和深度为1的编码单元620、尺寸为16×16和深度为2的编码单元630、尺寸为8×8和深度为3的编码单元640。尺寸为4×4和深度为3的编码单元640是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。换言之，如果尺寸为64×64和深度为0的编码单元610是预测单元，则可将预测单元划分成包括在编码单元610中的分区，即，尺寸为64×64的分区610、尺寸为64×32的分区612、尺寸为32×64的分区614或尺寸为32×32的分区616。
类似地，可将尺寸为32×32和深度为1的编码单元620的预测单元划分成包括在编码单元620中的分区，即，尺寸为32×32的分区620、尺寸为32×16的分区622、尺寸为16×32的分区624和尺寸为16×16的分区626。
类似地，可将尺寸为16×16和深度为2的编码单元630的预测单元划分成包括在编码单元630中的分区，即，包括在编码单元630中的尺寸为16×16的分区630、尺寸为16×8的分区632、尺寸为8×16的分区634和尺寸为8×8的分区636。
类似地，可将尺寸为8×8和深度为3的编码单元640的预测单元划分成包括在编码单元640中的分区，即，包括在编码单元640中的尺寸为8×8的分区、尺寸为8×4的分区642、尺寸为4×8的分区644和尺寸为4×4的分区646。
根据实施例的用于帧间预测的分区可不包括尺寸为4×4的分区646。
为了确定最大编码单元610的编码深度，根据实施例的视频编码设备100的编码单元确定器120对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较相同数据的编码结果，与深度1相应的编码单元和四个与深度2相应的编码单元均被编码。
为了根据深度执行编码，可沿着分层结构600的水平轴，通过对较深层编码单元中的每个预测单元执行编码，来将最小编码误差选为相应深度的代表编码误差。可选地，随着深度沿着分层结构600的垂直轴加深，可通过针对每个深度执行编码，比较根据深度的代表编码误差，来搜索最小编码误差。在最大编码单元610中的具有最小编码误差的深度和分区可被选为最大编码单元610的编码深度和分区类型。
图17是示出根据本发明的实施例的在编码单元和变换单元之间的关系的示图。
根据实施例的视频编码设备100或根据实施例的视频解码设备200针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元，对图像进行编码或解码。可基于不大于相应编码单元的数据单元，来选择用于在编码期间进行变换的变换单元的尺寸。
例如，在根据实施例的视频编码设备100或根据实施例的视频解码设备200中，如果当前编码单元710的尺寸是64×64，则可通过使用尺寸为32×32的变换单元720来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的每个变换单元执行变换，来对尺寸为64×64的编码单元710的数据进行编码，然后可选择具有最小编码误差的变换单元。
图18是示出根据本发明的实施例的与编码深度相应的编码单元的编码信息的示图。
根据实施例的视频编码设备100的输出单元130可对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810以及关于变换单元尺寸的信息820进行编码，并将编码后的信息800、信息810和信息820作为关于编码模式的信息来发送。
信息800指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，所述分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区802、尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808。这里，关于分区类型的信息800被设置来指示尺寸为2N×N的分区804、尺寸为N×2N的分区806以及尺寸为N×N的分区808中的一个。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
信息820指示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。
根据实施例的视频解码设备200的图像数据和编码信息提取器220可根据每个较深层编码单元，提取并使用用于解码的信息800、810和820。
图19是根据本发明的实施例的根据深度的较深层编码单元的示图。
划分信息可用来指示深度的改变。划分信息指示当前深度的编码单元是否被划分成更低深度的编码单元。
用于对深度为0和尺寸为2N_0×2N_0的编码单元900进行预测编码的预测单元910可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型912、尺寸为2N_0×N_0的分区类型914、尺寸为N_0×2N_0的分区类型916和尺寸为N_0×N_0的分区类型918。图19仅示出了通过对称地划分预测单元910而获得的分区类型912至918，但是分区类型不限于此，并且预测单元910的分区可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型，对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0×2N_0、2N_0×N_0和N_0×N_0的分区类型912至916中的一个分区类型中编码误差最小，则可不将预测单元910划分到更低深度。
如果在尺寸为N_0×N_0的分区类型918中编码误差最小，则深度从0改变到1以在操作920中划分分区类型918，并对深度为2和尺寸为N_0×N_0的编码单元930重复地执行编码来搜索最小编码误差。
用于对深度为1和尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元930进行预测编码的预测单元940可包括以下分区类型的分区：尺寸为2N_1×2N_1的分区类型942、尺寸为2N_1×N_1的分区类型944、尺寸为N_1×2N_1的分区类型946以及尺寸为N_1×N_1的分区类型948。
如果在尺寸为N_1×N_1的分区类型948中编码误差最小，则深度从1改变到2以在操作950中划分分区类型948，并对深度为2和尺寸为N_2×N_2的编码单元960重复地执行编码来搜索最小编码误差。
当最大深度是d时，较深层编码单元可被设置直到深度为d-1，并且划分信息可被设置直到深度为d-2。换句话说，当编码被执行直到在与d-2的深度相应的编码单元在操作970中被划分之后深度是d-1时，用于对深度为d-1和尺寸为2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：尺寸为2N_(d-1)×2N(d-1)的分区类型992、尺寸为2N_(d-1)×N(d-1)的分区类型994、尺寸为N_(d-1)×2N(d-1)的分区类型996和尺寸为N_(d-1)×N(d-1)的分区类型998。
可对分区类型中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
即使当尺寸为N_(d-1)×N_(d-1)的分区类型998具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)也不再被划分到更低深度，当前最大编码单元900的编码深度被确定为d-1，并且当前最大编码单元900的分区类型可被确定为N_(d-1)×N(d-1)。此外，由于最大深度是d，因此不对深度为d-1的编码单元952设置划分信息。
数据单元999可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获得的矩形数据单元。通过重复地执行编码，根据实施例的视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
这样，在所有深度1至d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的深度可被确定为编码深度。编码深度、预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并发送。另外，由于编码单元从0的深度被划分到编码深度，因此仅编码深度的划分信息被设置为0，并且除了编码深度以外的深度的划分信息被设置为1。
根据实施例的视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息，来对分区912进行解码。根据实施例的视频解码设备200可通过使用根据深度的划分信息，将划分信息为0的深度确定为编码深度，并且使用关于相应深度的编码模式的信息来进行解码。
图20、图21和图22是示出根据本发明的实施例的编码单元、预测单元和变换单元之间的关系的示图。
编码单元1010是最大编码单元中的与由根据实施例的视频编码设备100确定的编码深度相应的编码单元。预测单元1060是编码单元1010中的与编码深度相应的每个编码单元的预测单元的分区，变换单元1070是与编码深度相应的每个编码单元的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和编码单元1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，通过划分编码单元来获得一些分区1014、1016、1022、1032、1048、1050、1052和1054。换句话说，分区1014、1022、1050和1054中的分区类型的尺寸是2N×N，分区1016、1048和1052中的分区类型的尺寸是N×2N，分区1032的分区类型的尺寸是N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元的数据单元中的变换单元1070中，对部分1052的图像数据执行变换或逆变换。另外，在尺寸和形状方面，编码单元1014、1016、1022、1032、1048、1050、1052和1054不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050、1052和1054。换句话说，根据实施例的视频编码设备100和根据实施例的视频解码设备200可对同一编码单元中的数据单元单独地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码来确定最优编码单元，从而可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区类型信息、预测模式信息和变换单元尺寸信息。下面的表1示出可由根据实施例的视频编码设备100和根据实施例的视频解码设备200设置的编码信息。
[表1]
根据实施例的视频编码设备100的输出单元130可输出关于根据树结构的编码单元的编码信息，根据实施例的视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于根据树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对所述编码深度来定义分区类型信息、预测模式和变换单元尺寸信息。如果当前编码单元根据划分信息被进一步划分，则对更低深度的四个划分编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可针对所有分区类型定义帧内模式和帧间模式，仅针对尺寸为2N×2N的分区类型定义跳过模式。
分区类型信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1来划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1来划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。另外，如果尺寸为2N×2N的当前
编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
根据实施例，可针对编码深度的编码单元、预测单元和最小单元中的至少一个分配关于根据树结构的编码单元的编码信息。编码深度的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在编码深度的同一编码单元中。另外，通过使用数据单元的编码信息来确定编码深度的相应编码单元，并因此可确定最大编码单元中的编码深度的分布。
因此，如果通过参考邻近数据单元来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
可选地，当通过参考邻近数据单元来对当前编码单元执行预测编码时，通过使用邻近较深层编码单元的编码信息来在较深层编码单元中搜索与当前编码单元邻近的数据，并因此可参考邻近编码单元。
图23是示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系的示图。
最大编码单元1300包括多个编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此划分信息可以被设置成0。可将尺寸为2N×2N的编码单元1318的分区类型信息设置成以下分区类型中的一种：尺寸为2N×2N的分区类型1322、尺寸为2N×N的分区类型1324、尺寸为N×2N的分区类型1326、尺寸为N×N的分区类型1328、尺寸为2N×nU的分区类型1332、尺寸为2N×nD的分区类型1334、尺寸为nL×2N的分区类型1336以及尺寸为nR×2N的分区类型1338。
变换单元划分信息(TU尺寸标记)是一类变换索引。与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
例如，当分区类型信息被设置成对称分区类型2N×2N 1322、对称分区类型2N×N 1324、对称分区类型N×2N 1326和对称分区类型N×N 1328之一时，如果变换单元划分信息是0，则设置尺寸为2N×2N的变换单元1342，如果变换单元划分信息是1，则设置尺寸为N×N的变换单元1344。
当分区类型信息被设置成非对称分区类型2N×nU 1332、非对称分区类型2N×nD 1334、非对称分区类型nL×2N 1336和非对称分区类型nR×2N 1338之一时，如果变换单元划分信息(TU尺寸标记)是0，则设置尺寸为2N×2N的变换单元1352，如果变换单元划分信息是1，则设置尺寸为N/2×N/2的变换单元1354。
以上参照图21描述的变换单元划分信息(TU尺寸标记)是具有值0或1的标记，但是根据实施例的变换单元划分信息不限于1比特的标记，在变换单元划分信息根据设置从0增加的同时，变换单元可被分层划分。变换单元划分信息可以是变换索引的示例。
在这种情况下，根据实施例，可通过使用变换单元划分信息以及变换单元的最大尺寸和最小尺寸来表示实际上已使用的变换单元的尺寸。根据实施例的视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入SPS。根据实施例的视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当变换单元划分信息为0时，变换单元的尺寸可以是32×32，(a-2)当变换单元划分信息为1时，变换单元的尺寸可以是16×16，(a-3)当变换单元划分信息为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当变换单元划分信息为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此变换单元划分信息不能够被设置为除了0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大变换单元划分信息为1，则变换单元划分信息可以是0或1，不能够设置另一变换单元划分信息。
因此，当变换单元划分信息为0时，如果定义最大变换单元划分信息为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))…(1)
与可在当前编码单元中确定的最小变换单元尺寸“CurrMinTuSize”相比，当变换单元划分信息为0时，变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。换句话说，根据等式(1)，“RootTuSize/(2∧MaxTransformSizeIndex)”指示当变换单元划分信息为0时，变换单元尺寸“RootTuSize”被划分了与最大变换单元划分信息相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是可在当前编码单元中确定的最小变换单元尺寸“CurrMinTuSize”。
根据实施例，最大变换单元尺寸RootTuSize可根据预测模式而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸。
RootTuSize＝min(MaxTransformSize,PUSize)……(2)
也就是说，如果当前预测模式是帧间模式，则当变换单元划分信息为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当变换单元划分信息为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
然而，根据分区单元中的预测模式而改变的根据实施例的当前最大变换单元尺寸“RootTuSize”仅是示例，确定当前最大变换单元尺寸的因素不限于此。
根据如上参照图8至图20描述的基于具有树结构的编码单元的视频编码技术，针对树结构的每个编码单元对空间域的图像数据进行编码。根据基于具有树结构的编码单元的视频解码技术，针对每个最大编码单元执行解码以恢复空间域的图像数据。因此，可恢复画面和视频(即，画面序列)。恢复后的视频可通过再现设备被再现，可被存储在存储介质中，或者可通过网络被发送。
根据本发明的实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)和光记录介质(例如，CD-ROM或DVD)。
为了便于解释，以上参照图1a至图21描述的根据帧间预测方法、运动预测方法和运动补偿方法的视频编码方法将被统称为“根据本发明的视频编码方法”。另外，以上参照图1a至图20描述的根据帧间预测方法和运动补偿方法的视频解码方法将被称为“根据本发明的视频解码方法”。
此外，以上已参照图1a至图23描述的视频编码设备(包括设备10、运动预测设备20、运动补偿设备30、视频编码设备100或图像解码器400)将被称为“根据本发明的视频编码设备”。另外，以上已参照图1a至图20描述的视频解码设备(包括设备10、运动补偿设备30、视频解码设备200或图像解码器500)将被称为“根据本发明的视频解码设备”。
现在将详细描述根据本发明的实施例的存储程序的计算机可读记录介质(例如，盘26000)。
图24是根据本发明的实施例的存储程序的盘26000的物理结构。作为存储介质的盘26000可以是硬盘驱动器、CD-ROM盘、蓝光盘或DVD。盘26000包括多个同心磁道Tf，每个同心磁道Tf沿盘26000的圆周方向被划分成特定数量的扇区Se。在根据实施例的存储程序的盘26000的特定区域中，可分配并存储执行如上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。
稍后将参照图25来描述使用存储以下程序的存储介质来实现的计算机系统，其中，所述程序用于执行如上所述的视频编码方法和视频解码方法。
图25是通过使用盘26000来记录并读取程序的盘驱动器26800的示图。计算机系统26700可经由盘驱动器26800将执行本发明的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并将程序发送到计算机系统26700。
执行本发明的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图24或图25中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。
以下将描述应用以上所描述的视频编码方法和视频解码方法的系统。
图26是用于提供内容分布服务的内容供应系统11000的整体结构的示图。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、相机12300和移动电话12500的多个独立装置经由互联网服务提供商11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图26中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可直接连接到通信网络11400，而不经由无线基站11700、11800、11900和12000。
视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可使用视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
由相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将用于视频编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。
如果视频通过内置在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。
还可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。
根据实施例的内容供应系统1100可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容(例如，在音乐会期间记录的内容)进行编码，并将编码后的内容发送到流服务器11300。流服务器11300可将内容数据发送到请求内容数据的其它客户端。
客户端是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA 12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。
包括在内容供应系统11000中的独立装置的编码和解码操作可类似于本发明的视频编码设备和视频解码设备的编码和解码操作。
现在将参照图27和图28更加详细地描述包括在根据本发明的实施例的内容供应系统11000中的移动电话12500。
图27示出应用根据实施例的本发明的视频编码方法和视频解码方法的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。
移动电话12500包括可与无线基站12000交换RF信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的并被解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)。智能手机12510包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。智能电话12510包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元、以及用于输入语音和声音的麦克风12550或另一类型声音输入单元。智能电话12510还包括用于捕捉视频和静止图像的相机12530，诸如CCD相机。智能电话12510还可包括：存储介质12570，用于存储通过相机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获得的编码或解码数据(例如，视频或静止图像)；插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的SD卡或电可擦除和可编程只读存储器(EEPROM)。
图28示出移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的部件，供电电路12700、操作输入控制器12640、图像编码单元12720、相机接口12630、LCD控制器12620、图像解码单元12690、复用器/解复用器12680、记录/读取单元12670、调制/解调单元12660以及声音处理器12650经由同步总线12730被连接到中央控制器12710。
如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。
中央控制器12710包括CPU、只读存储器(ROM)和随机存取存储器(RAM)。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产生数字声音信号，图像编码单元12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640被产生。当在中央控制器12710的控制下数字信号被发送到调制/解调单元12660时，调制/解调单元12660对数字信号的频带进行调制，并且通信电路12610对频带调制数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线12510被发送到语音通信基站或无线基站12000。
例如，当移动电话12500处于通话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字声音信号。产生的数字声音信号可经由调制/解调单元12660和通信电路12610被变换成发送信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式下被发送时，消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12710。在中央控制器12710的控制下，文本数据经由调制/解调单元12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。
为了在数据通信模式下发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码单元12720。由相机12530捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码单元12720的结构可与以上描述的本发明的视频编码设备的结构相应。图像编码单元12720可根据以上描述的根据本发明的视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，并然后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被发送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码单元12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。复用的数据可经由调制/解调单元12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。
当移动电话12500从外部接收通信数据时，可对经由天线12510接收到的信号执行频率恢复和模数转换(ADC)以将信号变换成数字信号。调制/解调单元12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型将所述数字信号发送到视频解码单元12690、声音处理器12650或LCD控制器12620。
在通话模式下，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和模数转换(ADC)来产生数字声音信号。在中央控制器12710的控制下，接收到的数字声音信号经由调制/解调单元12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
当在数据通信模式下时，接收在互联网网站上访问的视频文件的数据，经由调制/解调单元12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给视频解码单元12690和声音处理器12650。
图像解码单元12690的结构可与以上描述的本发明的视频解码设备的结构相应。图像解码单元12690可根据由以上描述的本发明的视频解码方法，对编码后的视频数据进行解码来获得恢复后的视频数据，并经由LCD控制器12620将恢复后的视频数据提供给显示屏12520。
因此，可将在互联网网站上访问的视频文件的视频数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。
移动电话12500或另一类型的通信终端可以是包括本发明的视频编码设备和视频解码设备两者的收发终端，可以是仅包括以上描述的本发明的视频编码设备的收发终端，或者可以是仅包括本发明的视频解码设备的收发终端。
本发明的通信系统不限于以上参照图26描述的通信系统。例如，图29示出根据本发明的采用通信系统的数字广播系统。根据实施例的图29的数字广播系统可通过使用本发明的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。
具体地，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或另一装置对编码后的视频流进行解码并再现。
当本发明的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解析和解码以恢复数字信号。因此，可在例如监视器12840上再现恢复后的视频信号。
在被连接到用于卫星/地面广播的天线12860或用于接收有线TV广播的线缆天线12850的机顶盒12870中，可安装本发明的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
如另一示例，可将本发明的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。
具有适当天线12910的汽车12920可接收从卫星12900或无线基站11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视频。
视频信号可由本发明的视频编码设备来编码，然后可被记录并存储在存储介质中。具体地，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。如另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括本发明的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可被再现于监视器12880上。
汽车导航系统12930可不包括图26的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不包括图26的相机12530、相机接口12630和图像编码单元12720中。
图30是示出根据本发明的实施例的使用视频编码设备和视频解码设备的云计算系统的网络结构的示图。
云计算系统可包括云计算服务器14000、用户DB 14100、计算资源14200和用户终端。
响应于来自用户终端的请求，云计算系统经由信息通信网络(例如，互联网)提供计算资源的点播外包服务。在云计算环境下，服务提供商通过使用虚拟技术组合位于不同的物理位置的数据中心处的计算资源，来为用户提供想要的服务。服务用户不必将计算资源(例如，应用、存储器、操作系统(OS)和安全)安装在他/她拥有的终端中以使用它们，但可在想要的时间点在通过虚拟技术产生的虚拟空间中从服务中选择和使用想要的服务。
被指定的服务用户的用户终端经由包括互联网和移动通信网络的信息通信网络被连接到云计算服务器14000。可从云计算服务器14000向用户终端提供云计算服务，特别是视频再现服务。用户终端可以是能够被连接到互联网的各种类型的电子装置，例如，桌上型PC 14300、智能TV 14400、智能电话14500、笔记本计算机14600、便携式多媒体播放器(PMP)14700、平板PC 14800等。
云计算服务器14000可组合分布在云网络中的多个计算资源14200，并向用户终端提供组合的结果。所述多个计算资源14200可包括各种数据服务，并可包括从用户终端上载的数据。如上所描述的，云计算服务器14000可通过根据虚拟技术组合分布在不同区域中的视频数据库来向用户终端提供想要的服务。
将关于已经订购云计算服务的用户的用户信息存储在用户DB 14100中。用户信息可包括注册信息和个人信用信息，诸如地址、姓名等。用户信息还可包括视频的索引。这里，所述索引可包括已经被再现的视频的列表、正在被再现的视频的列表，之前被再现的视频的暂停点等。
可在用户装置之间共享存储在用户DB 14100中的关于视频的信息。因此，例如，当响应于来自笔记本计算机14600的请求将预定视频服务提供给笔记本计算机14600时，预定视频服务的再现历史被存储在用户DB 14100中。当从智能电话14500接收到用于再现同一视频服务的请求时，云计算服务器14000基于用户DB 14100搜索并再现预定视频服务。当智能电话14500从云计算服务器14000接收到视频数据流时，通过对视频数据流进行解码来再现视频的处理与以上参照图24描述的移动电话12500的操作类似。
云计算服务器14000可参考存储在用户DB 14100中的预定视频服务的再现历史。例如，云计算服务器14000从用户终端接收用于再现存储在用户DB 14100中的视频的请求。如果此视频之前被再现过，则云计算服务器14000的流传输方法可根据用户终端的选择基于是将从视频的起点还是视频的暂停点来开始再现视频而不同。例如，如果用户终端请求从视频的起点开始再现视频，则云计算服务器14000将从视频的第一帧开始的视频的流数据发送到用户终端。如果终端请求从视频的暂停点开始再现视频，则云计算服务器14000将从与暂停点相应的帧开始的视频的流数据发送到用户终端。
在此情况下，用户终端可包括如以上参照图1a至图23描述的本发明的视频解码设备。如另一示例，用户终端可包括如以上参照图1a至图23描述的本发明的视频编码设备。可选地，用户终端可包括如以上参照图1a至图23描述的本发明的视频解码设备和视频编码设备两者。
以上已经参照图24至图30描述了以上参照图1a至图23描述的本发明的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据本发明的各种实列，将以上参照图1a至图23描述的本发明的视频编码方法和视频解码方法存储在存储介质中的方法，或者将本发明的视频编码设备和视频解码设备实现在装置中的方法不限于以上参照图24至图30描述的实施例。
虽然已参照本发明的优选实施例具体示出并描述了本发明，但是本领域的普通技术人员将理解，在不脱离由权利要求书限定的本发明的精神和范围的情况下，可在其中进行形式和细节上的各种改变。优选实施例应该被视为仅是说明性意义，而不是为了限制的目的。因此，本发明的范围不是由本发明的详细说明限定，而是由权利要求限定，并且在该范围内的所有差别将被视为包括在本发明中。

Claims (15)

1.一种确定用于帧间预测的参考图像的方法，所述方法包括：
确定包括块的条带的条带类型；
如果确定所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；
如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引；
如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。
2.如权利要求1所述的方法，其中，如果所述帧间预测方向是双向预测，则从第一方向参考画面列表确定第一方向参考索引，并从第二方向参考画面列表确定第二方向参考索引。
3.如权利要求1所述的方法，其中，确定第一方向参考索引的步骤包括：
确定第一运动矢量的差值，其中，第一运动矢量指示由第一方向参考索引指示的参考图像；
从第一方向参考索引确定使用哪个图像的运动矢量预测因子，
确定第二方向参考索引的步骤包括：
确定第二运动矢量的差值，其中，第二运动矢量指示由第二方向参考索引指示的参考图像；
从第二方向参考索引确定使用哪个图像的运动矢量预测因子。
4.如权利要求1所述的方法，还包括：
确定指示所述帧间预测方向的帧间预测模式信息是两个比特；
基于当前块的编码单元的深度选择四个上下文模型索引之一，用于与两个比特的帧间预测模式信息相应的两个二进制位之中的第一二进制位的上下文模型；
独立于另一符号，选择一个上下文模型索引，用于所述两个二进制位之中的第二二进制位的上下文模型，
其中，第一二进制位指示所述帧间预测方向是单向还是双向，第二二进制位指示单向是第一方向还是第二方向。
5.如权利要求1所述的方法，其中，确定所述条带类型的步骤包括：从接收到的比特流中的条带头解析所述条带的条带类型信息，
确定所述帧间预测方向的步骤包括：
从接收到的比特流中的包括所述块的预测信息的预测单元区域，解析指示所述帧间预测方向的帧间预测模式信息；
读取所述帧间预测模式信息指示第一方向预测、第二方向预测和双向预测中的哪一个，
确定第一方向参考索引的步骤包括：
从接收到的比特流中的包括所述块的预测信息的预测单元区域，解析第一方向参考索引信息以及第一运动矢量的差值信息；
从第一方向参考索引解析指示使用哪个图像的运动矢量预测因子的信息，
确定第二方向参考索引的步骤包括：从接收到的比特流中的所述预测单元区域，解析第二方向参考索引信息以及第二运动矢量的差值信息。
6.如权利要求4所述的方法，还包括：通过使用针对接收到的比特流中的比特串上的每个二进制位确定的上下文模型执行熵解码来恢复所述帧间预测模式信息，其中，所述比特串包括所述帧间预测模式信息。
7.如权利要求5所述的方法，还包括：
从接收到的比特流，解析所述条带中的每个帧间模式块的参考索引、运动矢量和残差；
在第一方向参考画面列表和第二方向参考画面列表中的至少一个中确定由参考索引指示的参考画面；
通过使用每个帧间模式块的运动矢量、残差以及确定的参考画面来执行运动补偿并产生恢复的图像。
8.如权利要求1所述的方法，还包括：
将指示所述条带类型的条带类型信息插入到所述条带的条带头；
将指示第一方向预测、第二方向预测和双向预测中的任何一个的帧间预测模式信息插入到包括所述块的预测信息的预测单元区域；
将第一方向参考索引信息以及第一运动矢量的差值信息插入到所述预测单元区域；
将第二方向参考索引信息以及第二运动矢量的差值信息插入到所述预测单元区域；
发送包括所述条带头和所述预测单元区域的比特流。
9.如权利要求4所述的方法，还包括：发送比特串，其中，所述比特串是通过使用针对所述帧间预测模式信息的每个二进制位确定的上下文模型执行熵解码而产生的。
10.如权利要求8所述的方法，还包括：
通过使用在第一方向参考画面列表和第二方向参考画面列表中的至少一个中的参考画面来对所述块执行运动预测；
基于运动预测的结果确定包括最相似的参考块的至少一个参考画面；
从第一方向参考画面列表和第二方向参考画面列表中确定指示确定的至少一个参考画面的参考索引；
从第一方向参考索引和第二方向参考索引确定使用哪个图像的运动矢量预测因子，
将指示确定的至少一个参考画面的运动矢量和残差以及指示确定的至少一个参考画面的参考索引和帧间预测方向插入到所述比特流的块区域，
其中，确定第一方向参考索引的步骤包括：当确定的至少一个参考画面不属于第二方向参考列表时，对第一方向参考索引进行编码，
确定第二方向参考索引的步骤包括：当确定的至少一个参考画面不属于第一方向参考列表时，对第二方向参考索引进行编码。
11.一种用于确定参考图像的设备，所述设备包括：
帧间预测方向确定器，确定包括块的条带的条带类型，如果所述条带类型是能够单向预测或双向预测的B条带类型，则确定所述块的帧间预测方向是第一方向、第二方向和双向之一；
参考索引确定器，如果所述帧间预测方向不是第二方向，则将第一方向参考画面列表中的第一方向参考索引确定为所述块的参考索引，如果所述帧间预测方向不是第一方向，则将第二方向参考画面列表中的第二方向参考索引确定为所述块的参考索引。
12.一种确定用于帧间预测的参考图像的方法，所述方法包括：
确定时间运动矢量预测因子是否可用于图像的当前条带；
如果在当前条带中时间运动矢量预测因子可用并且条带类型是能够单向预测或双向预测的B条带类型，则确定在第一方向参考画面列表中是否存在包括共同定位的块的画面；
如果在当前条带中时间运动矢量预测因子不可用，则从预定的参考画面列表确定包括共同定位的块的画面的索引信息；
通过使用共同定位的块的运动矢量来确定当前块的运动矢量预测因子。
13.如权利要求12所述的方法，还包括：
从确定的画面索引确定共同定位的图像，并基于共同定位的块的运动矢量来确定当前块的运动矢量预测因子；
通过使用运动矢量预测因子来确定当前块的运动矢量；
通过使用当前块的运动矢量来确定当前块的参考块。
14.如权利要求12所述的方法，其中，确定在第一方向参考画面列表中是否存在包括共同定位的块的画面的步骤包括：
从当前条带的条带头解析指示时间运动矢量预测因子的可用性的信息；
如果时间运动矢量预测因子可用，则从所述条带头解析这样的信息：该信息指示在第一方向参考画面列表中是否存在包括共同定位的块的画面以及在预定的参考画面列表中是否存在包括共同定位的块的画面的索引信息。
15.如权利要求12所述的方法，其中，确定在第一方向参考画面列表中是否存在包括共同定位的块的画面的步骤包括：
将指示时间运动矢量预测因子的可用性的信息插入到当前条带的条带头；
如果时间运动矢量预测因子可用，则将这样的信息插入到所述条带头：该信息指示在第一方向参考画面列表中是否存在包括共同定位的块的画面以及在预定的参考画面列表中是否存在包括共同定位的块的画面的索引信息。
CN201380031582.3A 2012-04-15 2013-04-15 用于确定用于帧间预测的参考图像的方法及设备 Expired - Fee Related CN104365101B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201261624354P 2012-04-15 2012-04-15
US61/624,354 2012-04-15
PCT/KR2013/003142 WO2013157791A1 (ko) 2012-04-15 2013-04-15 인터 예측의 참조영상을 결정하는 방법과 그 장치

Publications (2)

Publication Number Publication Date
CN104365101A true CN104365101A (zh) 2015-02-18
CN104365101B CN104365101B (zh) 2019-04-19

Family

ID=49383687

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380031582.3A Expired - Fee Related CN104365101B (zh) 2012-04-15 2013-04-15 用于确定用于帧间预测的参考图像的方法及设备

Country Status (14)

Country Link
US (5) US20150103911A1 (zh)
EP (1) EP2840793A4 (zh)
JP (3) JP5997363B2 (zh)
KR (2) KR20130116216A (zh)
CN (1) CN104365101B (zh)
AU (3) AU2013250105B2 (zh)
BR (1) BR112014025617A2 (zh)
CA (1) CA2870529C (zh)
MX (3) MX354306B (zh)
MY (1) MY172302A (zh)
PH (5) PH12014502273B1 (zh)
RU (2) RU2628319C2 (zh)
SG (2) SG10201706678RA (zh)
WO (1) WO2013157791A1 (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717513A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种双向帧间预测方法及装置
CN110521207A (zh) * 2017-03-13 2019-11-29 韩国电子通信研究院 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
WO2020048205A1 (zh) * 2018-09-04 2020-03-12 华为技术有限公司 应用于双向帧间预测中的参考帧获取方法及装置
CN111164976A (zh) * 2019-01-03 2020-05-15 北京大学 视频处理方法和装置
WO2020135467A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
WO2021037053A1 (en) * 2019-08-27 2021-03-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of cabac coding for the indices of geometric partition flag
CN114470750A (zh) * 2021-07-06 2022-05-13 荣耀终端有限公司 图像帧流的显示方法、电子设备和存储介质

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HUE049155T2 (hu) * 2011-09-14 2020-09-28 Samsung Electronics Co Ltd Eljárás és berendezés predikció egység (PU) kódolásához a méretén és megfelelõ dekódoló berendezésen alapulva
MY172302A (en) * 2012-04-15 2019-11-21 Samsung Electronics Co Ltd Method and apparatus for determining reference images for inter-prediction
US9591312B2 (en) * 2012-04-17 2017-03-07 Texas Instruments Incorporated Memory bandwidth reduction for motion compensation in video coding
US10721487B2 (en) 2012-04-17 2020-07-21 Texas Instruments Incorporated Converting a bi-predicted merging candidate in a merging candidate list for a prediction unit of a picture
BR112014033041A2 (pt) * 2012-07-02 2018-05-08 Samsung Electronics Co Ltd método de predição de movimento, método de compensação de movimento, aparelho de predição de movimento, aparelho de compensação de movimento, e meio de gravação legível em computador.
WO2015163146A1 (ja) * 2014-04-22 2015-10-29 ソニー株式会社 符号化装置および符号化方法
MX2017005651A (es) * 2014-10-31 2017-06-29 Samsung Electronics Co Ltd Dispositivo de codificacion de video y dispositivo de decodificacion de video que usa la codificacion de salto de alta precision y metodo del mismo.
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
US20180332298A1 (en) * 2017-05-10 2018-11-15 Futurewei Technologies, Inc. Bidirectional Prediction In Video Compression
CN113315975B (zh) 2018-03-29 2022-12-06 华为技术有限公司 一种双向帧间预测方法及装置
US11470346B2 (en) * 2018-05-09 2022-10-11 Sharp Kabushiki Kaisha Systems and methods for performing motion vector prediction using a derived set of motion vectors
WO2019216736A1 (ko) * 2018-05-11 2019-11-14 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
EP3788779A4 (en) * 2018-10-23 2022-03-02 Tencent America LLC VIDEO CODING METHOD AND APPARATUS
CN111263147B (zh) * 2018-12-03 2023-02-14 华为技术有限公司 帧间预测方法和相关装置
WO2020137787A1 (ja) 2018-12-28 2020-07-02 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法、画像符号化プログラム、画像復号装置、画像復号方法及び画像復号プログラム
US11595680B2 (en) 2018-12-28 2023-02-28 Godo Kaisha Ip Bridge 1 Picture decoding device, picture decoding method, and picture decoding program with history-based candidate selection
US11032574B2 (en) 2018-12-31 2021-06-08 Tencent America LLC Method and apparatus for video coding
CN111510726B (zh) * 2019-01-30 2023-01-24 杭州海康威视数字技术股份有限公司 一种编解码方法及其设备
JP2022541687A (ja) * 2019-10-10 2022-09-26 ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド 三角分割を用いたビデオ符号化の方法および装置
WO2023080464A1 (ko) * 2021-11-05 2023-05-11 삼성전자 주식회사 Ai 기반 필터링을 위한 영상 처리 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232452A1 (en) * 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
CN101115201A (zh) * 2007-08-30 2008-01-30 上海交通大学 视频解码方法与解码装置
CN101682770A (zh) * 2007-06-15 2010-03-24 高通股份有限公司 视频块预测模式的自适应译码
CN101854554A (zh) * 2010-06-13 2010-10-06 上海交通大学 基于图像修复预测的视频编解码系统
CN102282852A (zh) * 2008-10-01 2011-12-14 韩国电子通信研究院 使用预测模式的视频编码装置和解码装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11298902A (ja) * 1998-04-08 1999-10-29 Sony Corp 画像符号化装置および方法
KR100488043B1 (ko) * 2002-05-03 2005-05-06 엘지전자 주식회사 Ｍｈ 픽쳐의 매크로블록 코딩정보 생성 방법
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
WO2006052577A2 (en) * 2004-11-04 2006-05-18 Thomson Licensing Method and apparatus for fast mode decision of b-frames in a video encoder
RU2395174C1 (ru) * 2006-03-30 2010-07-20 ЭлДжи ЭЛЕКТРОНИКС ИНК. Способ и устройство для декодирования/кодирования сигнала видео
KR101768207B1 (ko) * 2010-01-19 2017-08-16 삼성전자주식회사 축소된 예측 움직임 벡터의 후보들에 기초해 움직임 벡터를 부호화, 복호화하는 방법 및 장치
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US9357229B2 (en) * 2010-07-28 2016-05-31 Qualcomm Incorporated Coding motion vectors in video coding
US8995523B2 (en) * 2011-06-03 2015-03-31 Qualcomm Incorporated Memory efficient context modeling
JPWO2012176465A1 (ja) * 2011-06-24 2015-02-23 パナソニック株式会社 復号方法及び復号装置
US9288508B2 (en) * 2011-11-08 2016-03-15 Qualcomm Incorporated Context reduction for context adaptive binary arithmetic coding
CN107396101B (zh) * 2012-02-03 2019-12-20 太阳专利托管公司 图像编码方法及图像编码装置
US9451277B2 (en) * 2012-02-08 2016-09-20 Qualcomm Incorporated Restriction of prediction units in B slices to uni-directional inter prediction
MY172302A (en) * 2012-04-15 2019-11-21 Samsung Electronics Co Ltd Method and apparatus for determining reference images for inter-prediction

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060232452A1 (en) * 2005-04-13 2006-10-19 Samsung Electronics Co., Ltd. Method for entropy coding and decoding having improved coding efficiency and apparatus for providing the same
CN101682770A (zh) * 2007-06-15 2010-03-24 高通股份有限公司 视频块预测模式的自适应译码
CN101115201A (zh) * 2007-08-30 2008-01-30 上海交通大学 视频解码方法与解码装置
CN102282852A (zh) * 2008-10-01 2011-12-14 韩国电子通信研究院 使用预测模式的视频编码装置和解码装置
CN101854554A (zh) * 2010-06-13 2010-10-06 上海交通大学 基于图像修复预测的视频编解码系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
JEONGYEON LIM等: "Description of video coding technology proposal by SK telecom, Sejong Univ. and Sungkyunkwan Univ，Document: JCTVC-A113(v1)", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *
WEI-JUNG CHIEN等: "Context reduction for CABAC，Document: JCTVC-G718（v5）", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104717513A (zh) * 2015-03-31 2015-06-17 北京奇艺世纪科技有限公司 一种双向帧间预测方法及装置
CN110521207A (zh) * 2017-03-13 2019-11-29 韩国电子通信研究院 用于视频编码/解码的基于非典型块的运动预测和补偿的方法及其装置
CN112640468A (zh) * 2018-09-04 2021-04-09 华为技术有限公司 应用于双向帧间预测中的参考帧获取方法及装置
WO2020048205A1 (zh) * 2018-09-04 2020-03-12 华为技术有限公司 应用于双向帧间预测中的参考帧获取方法及装置
US11792389B2 (en) 2018-09-04 2023-10-17 Huawei Technologies Co., Ltd. Bi-directional inter prediction method and apparatus
US11659161B2 (en) 2018-09-04 2023-05-23 Huawei Technologies Co., Ltd. Reference frame obtaining method and apparatus applied to bidirectional inter prediction
CN112866721A (zh) * 2018-09-04 2021-05-28 华为技术有限公司 一种双向帧间预测方法及装置
WO2020135467A1 (zh) * 2018-12-29 2020-07-02 华为技术有限公司 帧间预测方法、装置以及相应的编码器和解码器
US11956444B2 (en) 2018-12-29 2024-04-09 Huawei Technologies Co., Ltd. Inter prediction method and apparatus, and corresponding encoder and decoder
CN111630861A (zh) * 2019-01-03 2020-09-04 深圳市大疆创新科技有限公司 视频处理方法和装置
CN113194314A (zh) * 2019-01-03 2021-07-30 深圳市大疆创新科技有限公司 视频处理方法、编码端及解码端
CN111630861B (zh) * 2019-01-03 2021-08-24 深圳市大疆创新科技有限公司 视频处理方法和装置
CN113194314B (zh) * 2019-01-03 2022-10-25 深圳市大疆创新科技有限公司 视频处理方法、编码端及解码端
WO2020140916A1 (zh) * 2019-01-03 2020-07-09 深圳市大疆创新科技有限公司 视频处理方法和装置
CN111164976A (zh) * 2019-01-03 2020-05-15 北京大学 视频处理方法和装置
WO2021037053A1 (en) * 2019-08-27 2021-03-04 Huawei Technologies Co., Ltd. An encoder, a decoder and corresponding methods of cabac coding for the indices of geometric partition flag
CN114470750A (zh) * 2021-07-06 2022-05-13 荣耀终端有限公司 图像帧流的显示方法、电子设备和存储介质

Also Published As

Publication number Publication date
RU2666233C1 (ru) 2018-09-06
US20160044335A1 (en) 2016-02-11
KR20170101872A (ko) 2017-09-06
JP6334622B2 (ja) 2018-05-30
US20160065987A1 (en) 2016-03-03
PH12014502273A1 (en) 2014-12-10
MX2014012452A (es) 2015-01-12
AU2016231650B2 (en) 2018-03-01
AU2013250105A1 (en) 2014-11-20
JP2017022734A (ja) 2017-01-26
US20160044334A1 (en) 2016-02-11
MX340383B (es) 2016-07-07
MY172302A (en) 2019-11-21
JP5997363B2 (ja) 2016-09-28
BR112014025617A2 (pt) 2017-09-19
EP2840793A1 (en) 2015-02-25
RU2014145820A (ru) 2016-06-10
PH12014502273B1 (en) 2014-12-10
JP2018137812A (ja) 2018-08-30
KR20130116216A (ko) 2013-10-23
PH12018501500A1 (en) 2019-09-09
PH12018501498A1 (en) 2019-09-09
SG10201706678RA (en) 2017-09-28
AU2016231650A1 (en) 2016-10-20
SG11201406617YA (en) 2014-12-30
AU2018203530A1 (en) 2018-06-07
JP2015516753A (ja) 2015-06-11
AU2013250105B2 (en) 2016-07-07
CA2870529C (en) 2018-09-18
PH12018501497A1 (en) 2019-09-09
AU2018203530B2 (en) 2018-11-22
MX354306B (es) 2018-02-23
PH12018501499A1 (en) 2019-09-09
EP2840793A4 (en) 2016-01-27
CN104365101B (zh) 2019-04-19
US20160050433A1 (en) 2016-02-18
CA2870529A1 (en) 2013-10-24
WO2013157791A1 (ko) 2013-10-24
US20150103911A1 (en) 2015-04-16
RU2628319C2 (ru) 2017-08-15

Similar Documents

Publication Publication Date Title
CN104365101A (zh) 用于确定用于帧间预测的参考图像的方法及设备
CN103931192B (zh) 用于在视频编码或解码中的运动矢量确定的方法和设备
CN104081779B (zh) 用于帧间预测的方法及其装置和用于运动补偿的方法及其装置
CN104488272B (zh) 用于预测用于对视频进行编码或用于对视频进行解码的运动矢量的方法和设备
CN104396252A (zh) 使用用于多视点视频预测的参考画面集的多视点视频编码方法及其装置、使用用于多视点视频预测的参考画面集的多视点视频解码方法及其装置
CN104604237A (zh) 依据块尺寸来确定帧间预测参考画面列表的用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN105357539A (zh) 视频解码方法和视频解码设备
CN103931184A (zh) 用于对视频进行编码和解码的方法和装置
CN104541510A (zh) 参考画面列表能够被改变的帧间预测方法及其设备
CN104471938A (zh) 根据彩色分量共享sao参数的对视频进行编码的方法和设备
CN104813665A (zh) 用于对层间预测误差进行编码的sao补偿的方法和设备
CN104869413A (zh) 视频解码设备
CN104620578A (zh) 用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备
CN105144713A (zh) 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置
CN105103552A (zh) 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
CN104396251A (zh) 使用用于多视点视频预测的参考列表对多视点视频进行编码的方法及其装置以及使用用于多视点视频预测的参考列表对多视点视频进行解码的方法及其装置
CN103875249A (zh) 用于多视点视频预测编码的方法和装置以及用于多视点视频预测解码的方法和装置
CN105340275A (zh) 使用视点合成预测的多视点视频编码方法及其设备以及多视点视频解码方法及其设备
CN105340274A (zh) 深度图编码方法及其设备以及深度图解码方法及其设备
CN105308958A (zh) 用于使用视点合成预测的层间视频编码方法和设备以及用于使用视点合成预测的层间视频解码方法和设备
CN105264890A (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
CN105308961A (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
CN105532005A (zh) 用于层间编码的方法和设备以及用于使用残差预测对视频进行层间解码的方法和设备
CN104662905A (zh) 使用多个假设估计因子的帧间预测方法及其装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20190419

Termination date: 20200415

CF01 Termination of patent right due to non-payment of annual fee