CN103782595A - 通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置 - Google Patents

通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置 Download PDF

Info

Publication number
CN103782595A
CN103782595A CN201280042780.5A CN201280042780A CN103782595A CN 103782595 A CN103782595 A CN 103782595A CN 201280042780 A CN201280042780 A CN 201280042780A CN 103782595 A CN103782595 A CN 103782595A
Authority
CN
China
Prior art keywords
block
unit
current block
frame
infra
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280042780.5A
Other languages
English (en)
Inventor
杨喜喆
郭荣珍
崔光杓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN103782595A publication Critical patent/CN103782595A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/96—Tree coding, e.g. quad-tree coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

一种帧内预测方法，包括：从图像的块中搜索在当前块之前恢复的邻近块；检查找到的邻近块是否是按照帧内模式恢复的块以及当前块是否也仅参考按照帧内模式恢复的块；基于检查结果确定找到的邻近块是否是可用于当前块的帧内预测的参考块。

Description

通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置
技术领域
本发明涉及使用帧内预测对视频进行编码和解码。
背景技术
随着用于再现和存储高清晰度或高质量视频内容的硬件正被开发和提供，对用于对高清晰度或高质量视频内容进行有效编码或解码的视频编解码器的需要正在增加。在传统视频编解码器中，根据基于具有预定尺寸的宏块的受限编码方法来对视频进行编码。
通过使用频率变换将空间域中的图像数据变换为频域中的系数。视频编解码器通过将图像数据分割为具有预定尺寸的块并对每个块执行离散余弦变换（DCT）来根据块单元对频率系数进行编码，以快速地计算频率变换。频域中的系数比空间域中的图像数据更容易被压缩。具体地，由于通过视频编解码器的帧间预测或帧内预测将空间域的图像像素值表达为预测误差，因此当对预测误差执行频率变换时，许多数据可能被变换为0。视频编解码器通过使用具有小尺寸的数据代替重复产生的数据来节省数据量。
发明内容
技术问题
本发明提供了一种使用帧内预测的用于帧内模式的预测编码的视频编码方法和设备以及视频解码方法和设备。
技术方案
根据本发明的一方面，提供了一种帧内预测方法，包括：从图像的块中搜索在当前块之前恢复的邻近块；检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是组合帧内预测（CIP）模式，其中，在CIP模式中仅参考按照帧内模式预恢复的块；基于检查结果确定找到的邻近块是否是可用于当前块的帧内预测的参考块；通过使用被确定为可用块的参考块的采样值对当前块执行帧内预测。
有益效果
为了对当前块进行帧内预测，当当前块处于CIP模式时搜索帧内参考块的处理以及当当前块不处于CIP模式时搜索帧内参考块的处理不必分开。可统一搜索当前块的帧内参考块的处理，从而降低处理复杂度。另外，即使当帧内参考块的部分区域偏离图像的边界时，由于与边界邻近的可用像素的采样值被填充（pad）到偏离图像的边界的参考区域而无论当前块是否不处于CIP模式，故当前块处于CIP模式的情况下的帧内预测结果可以与当前块不处于CIP模式的情况下的帧内预测结果相同。
附图说明
图1是示出根据本发明实施例的帧内预测设备的框图；
图2A和图2B是用于描述根据CIP模式的帧内预测操作的示图；
图3是示出根据CIP模式的确定可用性的传统处理的流程图；
图4是示出确定可用性而无论CIP模式如何的处理的流程图；
图5是示出根据本发明实施例的帧内预测方法的流程图；
图6A是示出根据本发明实施例的包括帧内预测的视频编码方法的流程图；
图6B是示出根据本发明实施例的包括帧内预测的视频解码方法的流程图；
图7是根据本发明实施例的基于具有树结构的编码单元对视频进行编码的设备的框图；
图8是根据本发明实施例的基于具有树结构的编码单元对视频进行解码的设备的框图；
图9是用于描述根据本发明实施例的编码单元的概念的示图；
图10是根据本发明实施例的基于编码单元的图像编码器的框图；
图11是根据本发明实施例的基于解码单元的图像解码器的框图；
图12是示出根据本发明实施例的根据深度的更深编码单元和分区的示图；
图13是用于描述根据本发明实施例的编码单元与变换单元之间的关系的示图；
图14是用于描述根据本发明实施例的根据深度的编码信息的示图；
图15是根据本发明实施例的根据深度的更深编码单元的示图；
图16至图18是用于描述根据本发明实施例的编码单元、预测单元与变换单元之间的关系的示图；
图19是用于描述根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系的示图。
具体实施方式
最优实施方式
根据本发明的一方面，提供了一种帧内预测方法，包括：从图像的块中搜索在当前块之前恢复的邻近块；检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是组合帧内预测（CIP）模式，其中，在CIP模式中仅参考按照帧内模式预恢复的块；基于检查结果确定找到的邻近块是否是可用于当前块的帧内预测的参考块；通过使用被确定为可用块的参考块的采样值对当前块执行帧内预测。
所述搜索邻近块的步骤可包括在确定当前块的预测模式是否是CIP模式的帧内模式之前，搜索在当前块之前恢复的邻近块，所述检查的步骤可包括检查找到的邻近块中的每一个是否按照帧内模式恢复以及当前块的帧内模式是否也是CIP模式。
所述执行帧内预测的步骤可包括当参考块偏离图像的边界时，使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域。
所述执行帧内预测的步骤可包括当参考块偏离图像的边界时，使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
根据本发明的另一方面，提供了一种帧内预测设备，包括：帧内参考块确定器，用于从图像的块中搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块；帧内预测器，用于通过使用参考块的采样值对当前块执行帧内预测。
根据本发明的另一方面，提供了一种视频解码设备，包括：解析器，用于通过对从接收的比特流解析的比特串执行熵解码来恢复采样；逆变换器，用于通过对来自恢复的采样的量化的变换系数执行反量化和逆变换来恢复采样；帧内预测器，用于搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块，并通过使用参考块的采样值对当前块执行帧内预测，从而对采样中处于帧内模式的当前块执行帧内预测；运动补偿器，用于对采样中处于帧间预测模式的块执行运动补偿；恢复器，用于通过使用由帧间预测器或帧内预测器恢复的块来恢复图像。
根据本发明的另一方面，提供了一种视频编码设备，包括：帧内预测器，用于搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块，并通过使用参考块的采样值对当前块执行帧内预测，从而对视频的块中处于帧内模式的当前块执行帧内预测；帧间预测器，用于对块中处于帧间预测模式的块执行帧间预测；变换器和量化器，用于对执行帧内预测或帧间预测的结果执行变换和量化；输出单元，用于输出通过对包括作为变换和量化的结果而产生的量化的变换系数的采样执行熵编码而产生的比特流。
根据本发明的另一方面，提供了一种记录有用于执行帧内预测方法的程序的计算机可读记录介质。
发明实施方式
以下，根据本发明的实施例，参照图1至图5公开了用于根据统一处理中的帧内模式确定可用性的帧内预测方法和帧内预测设备。另外，根据本发明的实施例，参照图6A和图6B公开了包括帧内预测的视频编码方法和视频解码方法。另外，根据本发明的实施例，参照图7至图19公开了基于具有树结构的编码单元并包括帧内预测的视频编码方法和视频解码方法。以下，“图像”可以是静止图像或视频的运动图像，即，视频本身。
以下，根据本发明的实施例，参照图1至图5公开了用于根据统一处理中的帧内模式确定可用性的帧内预测方法和帧内预测设备。另外，公开了根据本发明的实施例的包括帧内预测方法的视频编码方法和视频解码方法。
图1是示出根据本发明实施例的帧内预测设备10的框图。
帧内预测设备10包括帧内参考块确定器12和帧内预测器14。
帧内预测设备10基于图像块对视频进行编码。块的类型可以是正方形、矩形或任意几何形状，而不限于具有预定尺寸的数据单元。根据本发明实施例的块可以是具有树结构的编码单元中的最大编码单元、编码单元、预测单元或变换单元。后面将参照图7至图19来描述基于具有树结构的编码单元的视频编码和解码方法。
帧内参考块确定器12从与当前块邻近的邻近块中搜索在当前块之前恢复的邻近块。可通过参考在当前块之前恢复的邻近块来对当前块执行帧内预测。
根据CIP模式的帧内预测可仅参考按照帧内模式预恢复的块。帧内参考块确定器12确定预恢复的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是CIP模式。换句话说，帧内参考块确定器12可在确定当前块的帧内模式是否是CIP模式之前搜索在当前块之前恢复的邻近块。帧内参考块确定器12可在搜索在当前块之前恢复的邻近块之后确定邻近块是否是按照帧内模式恢复的块以及当前块是否也是CIP模式的块。
帧内参考块确定器12可基于确定找到的邻近块是否是按照帧内模式恢复的块以及当前块是否也处于CIP模式来确定找到的邻近块是否是当前块的帧内预测可用的参考块。
例如，如果找到的邻近块是按照帧内模式恢复的块，并且当前块处于CIP模式，则帧内参考块确定器12可确定找到的邻近块是可用于当前块的帧内预测的参考块。
另外，如果找到的邻近块不是按照帧内模式恢复的块，或者当前块不处于CIP模式，则帧内参考块确定器12可确定找到的邻近块不是可用于当前块的帧内预测的参考块。
帧内预测器14可通过使用参考块的采样值对当前块执行帧内预测。当参考块偏离图像的边界时，帧内预测器14可将参考块的像素中与边界内部邻近的像素的采样值填充到偏离图像的边界的区域。换句话说，偏离图像的边界的区域可被填充有邻近像素的采样值。
当参考块偏离图像的边界时，帧内预测器14可将参考块的像素中与边界内部邻近的像素的采样值填充到偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
帧内预测器14可通过参考填充的区域来对当前块进行帧内预测。
帧内预测设备10还可包括用于合作地控制帧内参考块确定器12和帧内预测器14的中央处理（未示出）。可选择地，帧内参考块确定器12和帧内预测器14中的每一个可通过它们自身的处理器（未示出）而被操作，并且处理器可有组织地操作以合作操作帧内预测设备10。可选择地，帧内预测设备10的外部处理器（未示出）可控制帧内参考块确定器12和帧内预测器14。
帧内预测设备10还可包括用于存储帧内参考块确定器12和帧内预测器14的输入和输出数据的至少一个数据存储单元（未示出）。帧内预测设备10还可包括用于控制至少一个数据存储单元的数据输入和输出的存储器控制器（未示出）。
根据帧内预测设备10，由于不考虑当前块是否处于CIP模式而确定邻近块是否是在当前块之前恢复的块，故(1)当当前块处于CIP模式时搜索帧内参考块的处理以及(2)当当前块不处于CIP模式时搜索帧内参考块的处理不必分开，因此可统一搜索当前块的帧内参考块的处理，从而降低处理复杂度。
另外，即使当帧内参考块的部分区域偏离图像的边界时，由于与边界邻近的可用像素的采样值被填充到偏离图像的边界的参考区域而不论当前块的帧内模式是否处于CIP模式，故当前块处于CIP模式的情况下的帧内预测结果可以与当前块不处于CIP模式的情况下的帧内预测结果相同。
图2A和图2B是用于描述根据CIP模式的帧内预测操作的示图。
当前块20的示例是作为用于对具有树结构的编码单元进行预测的数据单元的预测单元PU。后面可参照图7至图19来描述具有树结构的编码单元和预测单元。虽然在后面公开预测单元PU的帧内预测，但是使用另一形状的块的帧内预测也是可能的。可通过参考与当前块20邻近的左、上、左下和右上中的采样28和23来对当前块20执行帧内预测。因此，为了确定当前块20的帧内预测的参考采样，可从与当前块20邻近的采样中搜索已经恢复和可用的采样28和23。
当在CIP模式下对当前块20执行帧内预测时，确定具有作为最小块的最小预测单元的尺寸22的每个采样是否可用于帧内预测。当在非CIP模式下对当前块20执行帧内预测时，确定具有作为当前块20的预测单元PU的尺寸21的每个采样是否可用于帧内预测。
因此，根据在CIP模式还是非CIP模式下对当前块20执行帧内预测，在当前块20的右上中的采样23的可用性可变化。
当当前块20处于非CIP模式时，即使按照帧内模式来恢复右上采样23，也不能够进行参考偏离图像边界25的外部区域26的帧内预测。
当当前块20处于非CIP模式时，由于确定了与当前块尺寸21相应的所有右上采样23的可用性，故即使图像边界25内部的内部区域24已经被恢复采样，也不可参考偏离图像边界25的外部区域26，从而确定所有右上采样23是不可被参考的采样。在这种情况下，由可用采样中与右上采样23最邻近的采样27来代替所有右上采样23。
当当前块20处于CIP模式时，可对右上采样23中的与最小块尺寸22相应的区域（即，内部区域24和外部区域26）确定可用性。即使偏离图像边界25的外部区域26是不可被参考的区域，也可将内部区域24确定为可用采样。在这种情况下，可由内部区域24中的与外部区域26最邻近的采样29来代替外部区域26。
因此，根据当前块20处于CIP模式还是非CIP模式，用于确定当前块20的帧内预测的可用性的邻近采样22、24、26和28的尺寸21和22改变，并且偏离图像边界25的外部区域26的填充方法也改变。因此，根据当前块20处于CIP模式还是非CIP模式，帧内预测方法可改变，从而帧内预测结果也改变。
图3是示出根据CIP模式的确定可用性的传统处理30的流程图。
在操作31，确定当前块的帧内模式是否是CIP模式。在视频解码中，可基于从图像头中解析的“Constrained_intra_pred”信息来确定包括在当前图像中的块的帧内模式是否是CIP模式。例如，可从图像参数集（PPS）中解析出当前图像的“Constrained_intra_pred”信息。在视频编码中，“Constrained_intra_pred”信息可被插入到PPS中并被发送。可基于“Constrained_intra_pred”信息来确定相应图像的帧内块是否按照CIP模式被预测。
如果在操作31确定当前块处于CIP模式，则传统处理30进行到操作35（“Available_check_for_cip()”）以确定CIP模式的可用性，如果在操作31确定当前块不处于CIP模式，则传统处理30进行到操作37（“Available_check_intra()”）以确定非CIP模式的可用性。
这里，在图3和图4的流程图中，索引i表示邻近块的索引，“Is_intra(i)”表示确定具有索引i的邻近块是否处于帧内模式的操作，“available(i)”表示确定具有索引i的邻近块是否是在当前块之前恢复的块的操作。另外，“avail_intra_pred[i]”是指示具有索引i的邻近块是否是当前块的帧内参考块的变量。另外，“max_cand_block_cip”和“max_cand_block”分别表示CIP模式的帧内预测和非CIP模式的帧内预测的候选参考块的最大数量。
现将详细描述根据传统处理30的确定可用性的操作。在操作35（“Available_check_for_cip()”），按照索引i的顺序来确定邻近块是否是帧内参考块。在操作351，邻近块索引被初始化（i=0），在操作352，确定邻近块i是否是在当前块之前恢复的帧内块（Is_intra(i)&&available(i)?）。
如果在操作352确定邻近块i是在当前块之前恢复的帧内块，则在操作353，将邻近块i确定为当前块的帧内参考块（avail_intra_pred[i]=TRUE）。如果在操作352确定邻近块i不是在当前块之前恢复的帧内块，则在操作354，不将邻近块i确定为当前块的帧内参考块（avail_intra_pred[i]=FALSE）。
在操作355，块索引i增加以确定下一邻近块的可用性。如果在操作356块索引i小于根据CIP模式的帧内预测的候选参考块的最大数量（max_cand_block_cip），则操作35返回到操作352以确定下一邻近块的可用性，在操作356如果块索引i等于max_cand_block_cip，则操作35结束。
相似地，在操作37（“Available_check_intra()”），执行与操作35相似的操作。在操作371，邻近块索引被初始化（i=0），在操作372，确定邻近块i是否是在当前块之前恢复的帧内块（available(i)?）。然而，与操作352不同，在操作372中，不确定是否已在帧内模式中恢复邻近块i。基于操作372的结果，在操作373和374确定邻近块i是否是当前块的帧内参考块。
在操作375，块索引i增加，根据用于确定块索引i是否小于帧内预测的候选参考块的最大数量（max_cand_block）的操作376，再次确定下一邻近块的可用性，或者操作37结束。
因此，即使操作35和操作37实际上几乎相同，但是由于相似的操作在确定当前块是否处于CIP模式之后被分别执行，故帧内预测操作的效率会降低。
另外，在完成操作35和37之后，分别执行用于非可用区域的填充的操作38和39。
如上所述，当参考块的特定区域偏离图像边界时，参考块中的图像边界的外部区域的填充方法根据CIP模式的情况和非CIP的情况而改变。换句话说，在操作38，对于根据CIP模式的帧内预测，可使用与参考块的边界内部区域中的图像边界最邻近的采样来填充边界外部区域。同时，在操作39，可使用与特定区域偏离图像边界的第一参考块最邻近的第二参考块的采样来填充第一参考块的采样，其中，第二参考块的所有采样是可用的。
因此，由于靠近图像边界的参考块的填充方法根据当前块是否是处于CIP模式的块而改变，故帧内预测结果也可改变。
同时，帧内预测设备10可确定邻近块和帧内参考块的可用性而不论CIP模式如何。图4是确定可用性而不论CIP模式如何的处理（Available_check_intra()）40的流程图。
根据处理（Available_check_intra()）40，当前块的帧内参考块可开始而不论CIP模式如何。
在操作41，邻近块索引被初始化（i=0），在操作42，确定邻近块i是否是在当前块之前恢复的块（available(i)?）。
如果在操作42确定邻近块i不是在当前块之前恢复的块，则在操作45，不将邻近块i确定为当前块的帧内参考块（avail_intra_pred[i]=FALSE）。
如果在操作42确定邻近块i是在当前块之前恢复的块，则在操作43确定邻近块i是否不是按照帧内模式恢复的块以及当前块的帧内模式是否也是CIP模式（!(Is_intra(i))&&Constrained_intra_pred?）。
如果在操作43确定邻近块i不是帧内块并且当前块处于CIP模式，则在操作45确定邻近块i不是当前块的帧内参考块（avail_intra_pred[i]=FALSE）。在其它情况下，即，如果在操作43确定邻近块i是帧内块而当前块不处于CIP模式，则在操作44确定邻近块i是当前块的帧内参考块（avail_intra_pred[i]=TRUE）。换句话说，当当前块不处于CIP模式而不论邻近块i是否是帧内块时，邻近块i可以是当前块的帧内参考块。另外，即使在当前块不处于CIP模式的情况下邻近块i是帧内块时，也可将邻近块i确定为当前块的帧内参考块。
在操作46，块索引i增加以确定下一邻近块的可用性。在操作47如果块索引i小于根据CIP模式的帧内预测的候选参考块的最大数量（max_cand_block_cip），则处理40返回操作42以确定下一邻近块的可用性，在操作47如果块索引i等于max_cand_block_cip，则处理40结束。
另外，在完成处理40之后，执行用于填充非可用区域的操作49。如上所述，当参考块的特定区域偏离图像边界时，可将与参考块的边界内部区域中的图像边界最邻近的采样填充到图像边界的外部区域。
因此，当参照图3和图4将传统处理30与处理40进行比较时，帧内预测设备10确定邻近块是否是在当前块之前恢复的块而不论当前块是否处于CIP模式，从而从邻近块搜索帧内参考块的处理不必根据当前块是否处于CIP模式而分开。因此，即使根据CIP模式的帧内预测被选择性地执行，帧内预测设备10也可在CIP模式的情况下和非CIP模式的情况下执行确定邻近块的可用性和搜索帧内参考块的统一处理。
另外，即使当帧内预测块的特定区域偏离图像边界，由于将与图像边界邻近的可用像素的采样值填充到偏离图像边界的参考区域而不论当前块是否处于CIP模式，故当前块处于CIP模式的情况和当前块不处于CIP模式的情况的帧内预测结果可以相同。
图5是示出根据本发明实施例的帧内预测方法的流程图。
在操作51，搜索在当前块之前恢复的邻近块以对当前块执行帧内预测。在操作53，确定找到的邻近块是否是按照帧内模式恢复的块以及当前块是否也处于CIP模式。
在确定当前块的帧内模式是否是CIP模式之前，在操作51搜索在当前块之前恢复的邻近块。在操作53可检查在操作51找到的邻近块中的每一个是否是帧内块以及当前块是否也处于CIP模式。
在操作55，基于操作52的检查结果确定在操作51找到的邻近块是否是当前块的帧内预测的参考块。
在操作57，通过使用在操作55确定的参考块的采样值作为可用块对当前块执行帧内预测。
当参考块偏离图像的边界时，可将参考块的像素中的与边界的内部邻近的像素的采样值填充到偏离图像的边界的区域。具体地，不论当前块是否处于CIP模式，可将参考块的像素中的与边界的内部邻近的像素的采样值填充到偏离图像的边界的区域。
图6A是示出根据本发明实施例的包括帧内预测的视频编码方法的流程图。
在操作61，从视频的块中搜索在当前块之前恢复的块的邻近块，以根据基于本发明的实施例的帧内预测方法对当前块执行帧内预测。
另外，检查找到的邻近块是否是按照帧内模式恢复的帧内块以及当前块是否也处于CIP模式。另外，基于检查找到的邻近块是否是在当前块之前恢复的帧内块以及当前块是否也处于CIP模式的结果，确定找到的邻近块是否是当前块的帧内参考块。另外，通过使用帧内参考块的采样值对当前块执行帧内预测。
在操作62，通过对视频的块中处于帧间预测模式的预测块执行帧间预测来产生残差信息。在操作63，通过对执行帧内或帧间预测的结果执行变换和量化来产生量化的变换系数。在操作65，输出通过对包括在操作63产生的量化的变换系数的采样执行熵解码而产生的比特流。
具体地，在操作61执行的帧内预测中，可在确定当前块的预测模式是否是CIP模式的帧内模式之前搜索在当前块之前恢复的邻近块。在当前块处于CIP模式时，可检查在当前块之前恢复的邻近块中的每一个是否是帧内块。
另外，在操作61执行的帧内预测中，当参考块偏离图像的边界而不论当前块的帧内模式是否是CIP模式时，可将参考块的像素中的与边界的内部邻近的像素的采样值填充到图像的边界的外部区域以用作参考采样。
执行根据图6A的实施例的视频编码方法的视频编码设备可包括帧内预测设备10。包括帧内预测设备10的视频编码设备可通过执行每个图像块的帧内预测、帧间预测、变换和量化来产生采样，并通过对产生的采样执行熵编码来输出比特流。包括帧内预测设备10的视频编码设备可通过将帧内预测设备10链接到包括在视频编码设备中的视频编码处理器或外部视频编码处理器来执行包括变换的视频编码操作，以输出视频编码结果。包括在视频编码设备中的视频编码处理器还可包括这样的情况：不仅单独的处理器而且视频编码设备、中央处理单元（CPU）或包括编码处理模块的图形计算设备执行基本视频编码操作。
图6B是示出根据本发明实施例的包括帧内预测的视频解码方法的流程图。
在操作65，通过对从接收的比特流解析的比特串执行熵编码来恢复采样。在操作66，通过对采样中的量化的变换系数执行反量化和逆变换来恢复采样。在操作67，对处于帧内模式的采样执行帧内预测，在操作68，对处于帧间模式的采样执行运动补偿。在操作69，通过使用由操作68的帧间预测或操作67的帧内预测恢复的块来恢复图像。
在操作67，对在当前块之前恢复的邻近块进行搜索以对处于帧内模式的当前块执行帧内预测。
另外，可检查找到的邻近块是否是按照帧内模式恢复的帧内块以及当前块是否也处于CIP模式。另外，基于检查找到的邻近块是否是在当前块之前恢复的帧内块以及当前块是否也处于CIP模式的结果，确定找到的邻近块是否是当前块的帧内参考块。另外，通过使用帧内参考块的采样值对当前块执行帧内预测。
在操作67，基于在操作65从比特流解析的当前图像的CIP模式信息，可确定当前块的预测模式是否是CIP模式的帧内模式。另外，在确定当前块的预测模式是否是CIP模式的帧内模式之前，可搜索在当前块之前恢复的邻近块。另外，在当前块处于CIP模式时，可检查在当前块之前恢复的邻近块中的每一个是否是帧内块。
另外，在操作67的帧内预测中，当参考块偏离图像的边界而不论当前块的帧内模式是否是CIP模式时，参考块的像素中的与边界的内测邻近的像素的采样值可被填充到图像的边界的外部区域。
用于执行根据图6B的实施例的视频解码方法的视频解码设备可包括帧内预测设备10。包括帧内预测设备10的视频解码设备可通过对来自比特流的编码的采样进行解析并执行每个图像块的反量化、逆变换、帧内预测和运动补偿来恢复采样。视频解码设备可通过将帧内预测设备10链接到包括在视频解码设备中的视频解码处理器或外部视频解码处理器来执行包括逆变换和估计/补偿的视频解码操作，以输出视频解码结果。包括在视频解码设备中的视频解码处理器还可包括这种情况：不仅单独的处理器而且包括编码处理模块的视频解码设备、CPU或图形计算设备执行基本视频解码操作。
在帧内预测设备10中，如上所述，视频数据被分割的块可被分割为具有树结构的编码单元，预测单元可被用于编码单元的帧内预测。以下，现将参照图7至图19来公开根据本发明实施例的基于具有树结构的编码单元和变换单元的视频编码方法和设备以及视频解码方法和设备。
图7是根据本发明实施例的基于具有树结构的编码单元的视频编码设备100的框图。
根据本发明实施例的基于具有树结构的编码单元执行视频预测的视频编码设备100包括最大编码单元分割器110、编码单元确定器120和输出单元130。以下，为了描述方便，根据本发明实施例的基于具有树结构的编码单元执行视频预测的视频编码设备100被简称为视频编码设备100。
最大编码单元分割器110可基于图像的当前画面的最大编码单元来分割当前画面。如果当前画面大于最大编码单元，则当前画面的图像数据可被分割为至少一个最大编码单元。根据本发明实施例的最大编码单元可以是具有尺寸32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是具有2的平方的宽度和长度的正方形。图像数据可根据至少一个最大编码单元而被输出到编码单元确定器120。
根据本发明的实施例的编码单元可以由最大尺寸和深度来描述特征。深度表示编码单元从最大编码单元空间地分割的次数，随着深度加深，根据深度的更深编码单元可从最大编码单元分割为最小编码单元。最大编码单元的深度是最高深度，最小编码单元的深度是最低深度。由于与每个深度相应的编码单元的尺寸随着最大编码单元加深而减少，故与更高深度相应的编码单元可包括与更低深度相应的多个编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被分割为最大编码单元，并且每个最大编码单元可包括根据深度分割的更深编码单元。由于根据本发明的实施例的最大编码单元根据深度被分割，故包括在最大编码单元中的空间域的图像数据可根据深度被分层分类。
可预确定编码单元的最大深度和最大尺寸，所述最大深度和最大尺寸限定最大编码单元的高度和宽度被分层分割的总次数。
编码单元确定器120对通过分割根据深度的最大编码单元的区域而获得的至少一个分割区域进行编码，并确定用于输出根据至少一个分割区域的最终编码结果的深度。换句话说，编码单元确定器120通过根据当前画面的最大编码单元对根据深度的更深编码单元中的图像数据进行编码并选择具有最小编码误差的深度，来确定编码深度。确定的编码深度和根据最大编码单元的图像数据被输出到输出单元130。
基于与等于或低于最大深度的至少一个深度相应的更深编码单元对最大编码单元中的图像数据进行编码，并基于每个更深编码单元来比较对图像数据进行编码的结果。在比较更深编码单元的编码结果之后，可选择具有最小编码误差的深度。可针对每个最大编码单元来选择至少一个编码深度。
随着编码单元根据深度被分层分割，并随着编码单元的数量增加，最大编码单元的尺寸被分割。另外，即使编码单元与一个最大编码单元中的相同深度相应，也可通过分别测量每个编码单元的图像数据的编码误差来确定是否将与相同深度相应的编码单元中的每一个分割为更低深度。因此，即使当图像数据包括在一个最大编码单元中，编码误差也可根据一个最大编码单元中的区域而不同，从而编码深度可根据图像数据中的区域而不同。因此，可在一个最大编码单元中确定一个或多个编码深度，并且可根据至少一个编码深度的编码单元来划分最大编码单元的图像数据。
因此，编码单元确定器120可确定包括在最大编码单元中的具有树结构的编码单元。根据本发明实施例的“具有树结构的编码单元”包括在最大编码单元中包括的所有更深编码单元中的与确定为编码深度的深度相应的编码单元。可根据最大编码单元的相同区域中的深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。相似地，可从另一区域中的编码深度独立地确定当前区域中的编码深度。
根据本发明的实施例的最大深度是与从最大编码单元到最小编码单元的分割次数有关的索引。根据本发明的实施例的第一最大深度可表示从最大编码单元到最小编码单元的总分割次数。根据本发明的实施例的第二最大深度可表示从最大编码单元到最小编码单元的深度级的总数量。例如，当最大编码单元的深度是0时，可将最大编码单元被分割一次的编码单元的深度设置为1，并可将最大编码单元被分割两次的编码单元的深度设置为2。这里，如果最小编码单元是最大编码单元被分割四次的编码单元，则存在5个深度级的深度0、1、2、3和4，从而可将第一最大深度设置为4，并可将第二最大深度设置为5。
可根据最大编码单元来执行预测编码和变换。还基于根据等于或小于根据最大编码单元的最大深度的深度的更深编码单元来执行预测编码和变换。
由于只要最大编码单元根据深度被分割，更深编码单元的数量就增加，故针对随着深度加深而产生的所有更深编码单元执行包括预测编码和变换的编码。为了描述方便，现将基于在至少一个最大编码单元中的当前深度的编码单元来描述预测编码和变换。
视频编码设备100可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，相同数据单元可用于所有操作或不同数据单元可用于每个操作。
例如，视频编码设备100可不仅选择用于对图像数据进行编码的编码单元，还选择与编码单元不同的数据单元，以针对编码单元中的图像数据执行预测编码。
为了在最大编码单元中执行预测编码，可基于与编码深度相应的编码单元（即，基于不再被分割的编码单元）执行预测编码。这里，现将不再被分割并成为用于预测编码的基础单元的编码单元称为“预测单元”。通过分割预测单元而获得的分区可包括通过分割预测单元的高度和宽度中的至少一个而获得的预测单元或数据单元。分区可以是通过按照编码单元分割预测单元而获得的数据单元，并且预测单元可以是具有与编码单元相同尺寸的分区。
例如，当2N×2N（其中，N是正整数）的编码单元不再被分割时，编码单元成为2N×2N的预测单元，并且分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例包括通过对称分割预测单元的高度或宽度获得的对称分区、通过非对称分割预测单元的高度或宽度（诸如，1:n或n:1）获得的分区、通过几何分割预测单元获得的分区以及具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一种。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式或帧间模式。另外，可仅对2N×2N的分区执行跳过模式。针对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
视频编码设备100还可不仅基于用于对图像数据进行编码的编码单元，还基于与编码单元不同的数据单元，来针对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的变换单元执行变换。例如，变换单元可包括用于帧内模式的数据单元和用于帧间模式的数据单元。
与根据本发明实施例的具有树结构的编码单元类似，可将编码单元中的变换单元递归地分割为更小尺寸的变换单元。因此，可基于根据变换深度的具有树结构的变换单元来划分编码单元中的残差数据。
还可在变换单元中设置指示通过分割变换单元的高度和宽度达到变换单元的分割次数的变换深度。例如，在2N×2N的当前编码单元中，当变换单元的尺寸也是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。例如，可基于根据变换深度的树结构来设置变换单元。
根据编码深度的编码信息不仅需要关于编码深度的信息，还需要与预测编码和变换有关的信息。因此，编码单元确定器120不仅确定具有最小编码误差的编码深度，还确定用于将预测单元分割为分区的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
后面将参照图7至图19详细描述根据本发明的实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
编码单元确定器120可通过使用基于拉格朗日乘子的率失真优化来测量根据深度的更深编码单元的编码误差。
输出单元130在比特流中输出基于由编码单元确定器120确定的至少一个编码深度而编码的最大编码单元的图像数据以及关于根据编码深度的编码模式的信息。
可通过对图像的残差数据进行编码来获得编码的图像数据。
关于根据编码深度的编码模式的信息可包括关于编码深度的信息、关于预测单元中的分区类型、预测模式和变换单元的尺寸的信息。
可通过使用根据深度的分割信息来定义关于编码深度的信息，其中，所述分割信息指示是否针对更低深度而不是当前深度的编码单元来执行编码。如果当前编码单元的当前深度是编码深度，则按照当前深度的编码单元对当前编码单元中的图像数据进行编码，从而可将当前深度的分割信息定义为不将当前编码单元分割为更低深度的编码单元。可选择地，如果当前编码单元的当前深度不是编码深度，则对更低深度的编码单元执行编码，从而可将当前深度的分割信息定义为将当前编码单元分割为更低深度的编码单元。
如果当前深度不是编码深度，则对分割为更低深度的编码单元执行编码。由于更低深度的至少一个编码单元存在在当前深度的一个编码单元中，故对更低深度的每个编码单元重复地执行编码，从而可针对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元来确定具有树结构的编码单元，故针对编码深度的编码单元来确定关于至少一个编码模式的信息，可针对一个最大编码单元来确定关于至少一个编码模式的信息。另外，由于图像数据根据深度而被分层划分，故最大编码单元的图像数据的编码深度可根据位置而不同，从而可针对图像数据来设置关于编码深度和编码模式的信息。
因此，输出单元130可将关于相应的编码深度和编码模式的编码信息分配给最大编码单元中包括的编码单元、预测单元和最小单元中的至少一个。
根据本发明实施例的最小单元是通过将构成最低编码深度的最小编码单元分割为4而获得的矩形数据单元。可选择地，最小单元可以是可包括在编码单元、预测单元、分区单元和变换单元的所有中的最大矩形数据单元，其中，编码单元、预测单元、分区单元和变换单元包括在最大编码单元中。
例如，通过输出单元130输出的编码信息可被分类为根据更深编码单元的编码信息以及根据预测单元的编码信息。根据更深编码单元的编码信息可包括关于预测模式的信息和关于分区的尺寸的信息。根据预测单元的编码信息可包括关于帧间模式的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息以及关于帧内模式的插值方法的信息。另外，可将关于根据画面、条带或画面组（GOP）定义的编码单元的最大尺寸的信息以及关于最大深度的信息插入到比特流的头、序列参数集（SPS）或画面参数集（PPS）。
另外，可使用比特流的头、SPS或PPS来输出当前视频允许的关于变换单元的最大尺寸的信息和关于变换单元的最小尺寸的信息。输出单元130可对已参照图1至图6描述的以下信息进行编码和输出：与预测有关的参考信息、预测信息、单方向预测信息、包括第四条带类型的条带类型信息等。
在视频编码设备100的最简单的示例中，更深编码单元可以是通过将作为一层以上的更高深度的编码单元的高度和宽度中的每一个分割为二而获得的编码单元。换句话说，当当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。另外，具有2N×2N的尺寸的当前深度的编码单元可包括具有N×N的尺寸的更低深度的最多4个编码单元。
因此，视频编码设备100可基于考虑当前图像的特征确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最佳形状和最佳尺寸的编码单元来形成具有树结构的编码单元。另外，由于可通过使用各种预测模式和变换方案中的任意一个来对每个最大编码单元执行编码，故可考虑各种图像尺寸的编码单元的图像特征来确定最优编码模式。
因此，如果按照传统宏块单元对具有高清晰度或大数据量的图像进行编码，则每幅画面的宏块的数量极大地增加。因此，针对每个宏块产生的压缩信息的条数增加，从而难以发送压缩信息，并且数据压缩效率降低。然而，通过使用视频编码设备100，由于在通过考虑图像的尺寸来增加编码单元的最大尺寸的同时考虑图像的特征来调节编码单元，故可提高图像压缩效率。
图7的视频编码设备100可执行上面参照图1描述的帧内预测设备10的操作。
编码单元确定器120可执行帧内预测设备10的操作。针对每个最大编码单元中的具有树结构的编码单元，编码单元确定器120可确定帧内预测的编码单元并按照预测单元来执行帧内预测。
具体地，在帧内预测中，在确定当前预测单元的预测模式是否是CIP模式的帧内模式之前，可搜索在当前预测单元之前恢复的邻近数据单元（最小单元、预测单元、编码单元等）。也就是说，可在当前预测单元之前恢复的邻近数据单元中的每一个处于帧内模式时确定当前块是否处于CIP模式。
另外，在帧内预测中，当参考数据单元偏离图像的边界而不论当前预测单元是否处于CIP模式时，可将参考数据单元的像素中的与边界的内部邻近的像素的采样值填充到画面的边界的外部区域。可通过参考该填充的区域来执行当前预测单元的帧内预测。
输出单元130可在比特流中输出通过对产生为帧内预测的结果的差分数据进行编码而产生的采样。例如，可输出诸如差分数据的量化的变换系数和帧内模式信息的采样。
另外，输出单元130可输出PPS，其中，指示CIP模式的CIP信息根据画面被插入或不被插入到PPS。
图8是根据本发明实施例的基于具有树结构的编码单元的视频解码设备200的框图。
根据本发明实施例的基于具有树结构的编码单元执行视频预测的视频解码设备200包括接收器210、图像数据和编码信息提取器220以及图像数据解码器230。以下，为了描述方便，根据本发明实施例的基于具有树结构的编码单元执行视频预测的视频解码设备200被简称为视频解码设备200。
针对视频解码设备200的各种解码操作的各种术语（诸如，编码单元、深度、预测单元、变换单元和关于各种编码模式的信息）的定义与参照图7和视频编码设备100描述的那些术语相同。
接收器210接收并解析编码视频的比特流。图像数据和编码信息提取器220从解析的比特流提取每个编码单元的编码的图像数据，其中，编码单元具有根据每个最大编码单元的树结构，并将提取的图像数据输出到图像数据解码器230。图像数据和编码信息提取器220可从关于当前画面、SPS或PPS的头中提取关于当前画面的编码单元的最大尺寸的信息。
另外，图像数据和编码信息提取器220从解析的比特流提取具有树结构的编码单元的关于编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到图像数据解码器230。换句话说，比特流中的图像数据被分割为最大编码单元，从而图像数据解码器230对每个最大编码单元的图像数据进行解码。
可针对关于至少一个编码深度的信息来设置根据最大编码单元的关于编码深度和编码模式的信息，并且根据编码深度的关于编码模式的信息可包括关于相应的编码单元的分区类型的信息、关于预测模式的信息以及关于变换单元的尺寸的信息。另外，根据深度的分割信息可被提取为关于编码深度的信息。
由图像数据和编码信息提取器220提取的根据每个最大编码单元的关于编码深度和编码模式的信息是当编码器（诸如，视频编码设备100）根据每个最大编码单元针对每个根据深度的更深编码单元重复地执行编码时确定的用于产生最小编码误差的关于编码深度和编码模式的信息。因此，视频解码设备200可通过根据产生最小编码误差的编码模式对图像数据进行解码来恢复图像。
由于关于编码深度和编码模式的编码信息可被分配给相应编码单元、预测单元和最小单元中的预定数据单元，故图像数据和编码信息提取器220可根据预定数据单元来提取关于编码深度和编码模式的编码信息。分配有相同的关于编码深度和编码模式的信息的预定数据单元可被推断为是包括在相同最大编码单元中的数据单元。
图像数据解码器230通过基于根据最大编码单元的关于编码深度和编码模式的信息对每个最大编码单元中的图像数据进行解码来恢复当前画面。换句话说，图像数据解码器230可基于提取的关于分区类型的信息、关于预测模式的信息以及关于包括在每个最大编码单元中的具有树结构的编码单元中的每个编码单元的变换单元的信息来对编码的图像数据进行解码。解码处理可包括预测和逆变换，所述预测包括帧内预测和运动补偿。
图像数据解码器230可基于根据编码深度的关于编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式来执行帧内预测或运动补偿。
另外，图像数据解码器230可通过读取根据编码单元的关于具有树结构的变换单元的信息，来基于每个编码单元中的变换单元执行逆变换，以根据最大编码单元执行逆变换。可通过执行逆变换来恢复空间域中的编码单元的像素值。
图像数据解码器230可通过使用根据深度的分割信息确定当前最大编码单元的编码深度。如果分割信息指示图像数据在当前深度下不再被分割，则当前深度是编码深度。因此，图像数据解码器230可通过使用关于预测单元的分区类型、预测模式和变换单元的尺寸的信息对当前最大编码单元中的与当前深度相应的编码单元的图像数据进行解码。
换句话说，可通过观察针对编码单元、预测单元和最小单元中的预定的数据单元设置的编码信息来收集包含包括相同分割信息的编码信息的数据单元，并且收集的数据单元可被认为是将由图像数据解码器230以相同的编码模式解码的一个数据单元。相似地，可通过获取关于确定的编码单元的编码模式的信息来对当前编码单元的图像数据进行解码。
图8的视频解码设备200还可执行以上参照图1描述的帧内预测设备10的操作。
图像数据和编码信息提取器220可从比特流恢复产生为编码结果的采样。例如，可恢复诸如通过预测产生的微分数据的量化的变换系数和帧内模式信息的采样。另外，图像数据和编码信息提取器220可基于从PPS解析的CIP信息根据画面恢复CIP模式。
图像数据解码器230可执行帧内预测设备10的操作。图像数据解码器230可确定帧内预测的预测单元并针对每个最大编码单元中的具有树结构的编码单元按照每个预测单元执行帧内预测。
具体地，在帧内预测中，在确定当前预测单元的预测模式是否是CIP模式的帧内模式之前，可搜索在当前预测单元之前恢复的邻近数据单元（最小单元、预测单元、编码单元等）。也就是说，可在当前预测单元之前恢复的邻近数据单元的每一个处于帧内模式时确定当前块是否处于CIP模式。
另外，在帧内预测中，当参考数据单元偏离图像的边界而不论当前预测单元是否是CIP模式时，可将参考数据单元的像素中的与边界的内部邻近的像素的采样值填充到画面的边界的外部区域。可通过参考该填充的区域来执行当前预测单元的帧内预测。
视频解码设备200可获得关于当针对每个最大编码单元递归地执行编码时产生最小编码误差的编码单元的信息，并可使用该信息对当前图像进行解码。换句话说，可对每个最大编码单元中的确定为最佳的编码单元的具有树结构的编码单元的编码的图像数据进行解码。
因此，即使图像数据具有高分辨率和大数据量，也可通过使用从编码器接收的关于最佳编码模式的信息，基于根据图像数据的特征自适应地确定的编码单元的尺寸和编码模式对图像数据有效解码和恢复。
图9是用于描述根据本发明实施例的编码单元的概念的示图。
可按照宽度×高度来表述编码单元的尺寸，并且编码单元的尺寸可包括64×64、32×32、16×16和8×8。64×64的编码单元可被分割为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被分割为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被分割为16×16、16×8、8×16或8×8的分区，并且8×8的编码单元可被分割为8×8、8×4、4×8或4×4的分区。
在视频数据310中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是2。在视频数据320中，分辨率是1920×1080，编码单元的最大尺寸是64，最大深度是3。在视频数据330中，分辨率是352×288，编码单元的最大尺寸是16，最大深度是1。图9中示出的最大深度表示从最大编码单元分割到最小编码单元的总次数。
如果分辨率高或数据量大，则编码单元的最大尺寸可以大，从而不仅增加编码效率还更准确地反应图像的特征。因此，具有比视频数据330更高分辨率的视频数据310和320的编码单元的最大尺寸可以是64。
由于视频数据310的最大深度是2，故视频数据310的编码单元315可包括具有长轴尺寸64的最大编码单元，并且由于通过将最大编码单元分割两次而使深度加深两层，故编码单元具有长轴尺寸32和16。同时，由于视频数据330的最大深度是1，故视频数据330的编码单元335可包括具有长轴尺寸16的最大编码单元，并且由于通过将最大编码单元分割一次而使深度加深一层，故编码单元具有长轴尺寸8。
由于视频数据320的最大深度是3，故视频数据320的编码单元325可包括具有长轴尺寸64的最大编码单元，并且由于通过将最大编码单元分割三次而使深度加深三层，故编码单元具有长轴尺寸32、16和8。随着深度加深，可精确地表述详细信息。
图10是根据本发明实施例的基于编码单元的图像编码器400的框图。
图像编码器400执行用于对图像数据进行编码的视频编码设备100的编码单元确定器120的操作。换句话说，帧内预测器410对当前帧405中处于帧内模式的编码单元执行帧内预测，并且运动估计器420和运动补偿器425通过使用当前帧405和参考帧495对处于帧内模式的编码单元执行帧间估计和运动补偿。
从帧内预测器410、运动估计器420和运动补偿器425输出的数据通过变换器430和量化器440被输出为量化的变换系数。量化的变换系数通过反量化器460和逆变换器470被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元480和环路滤波单元490后处理之后被输出为参考帧495。量化的变换系数可通过熵编码器450被输出为比特流455。
为了使图像编码器400应用于视频编码设备100，图像编码器400的所有元件（即，帧内预测器410、运动估计器420、运动补偿器425、变换器430、量化器440、熵编码器450、反量化器460、逆变换器470、去块单元480和环路滤波单元490）在考虑每个最大编码单元的最大深度的同时基于具有树结构的编码单元中的每个编码单元执行操作。
具体地，帧内预测器410、运动估计器420和运动补偿器425在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元中的每个编码单元的分区和预测模式，并且变换器430确定具有树结构的编码单元中的每个编码单元中的变换单元的尺寸。
具体地，在确定当前预测单元的预测模式是否是CIP模式的帧内模式之前，帧内预测器410可搜索在当前预测单元之前恢复的邻近数据单元。也就是说，在当前预测单元之前恢复的邻近数据单元中的每一个处于帧内模式时，可确定当前块是否处于CIP模式。另外，当参考数据单元偏离图像的边界时，可使用参考数据单元的像素中的与边界的内部邻近的像素的采样值来填充画面的边界的外部区域而不论当前预测单元是否处于CIP模式，并且可以参考填充的采样以用于当前预测单元的帧内预测。
图11是根据本发明实施例的基于编码单元的图像解码器500的框图。
解析器510对来自比特流505的将被解码的编码的图像数据和用于解码所需的关于编码的信息进行解析。编码的图像数据通过熵解码器520和反量化器530被输出为反量化的数据，并且反量化的数据通过逆变换器540被恢复为空间域中的图像数据。
帧内预测器550针对空间域的图像数据对帧内模式的编码单元执行帧内预测，并且运动补偿器560通过使用参考帧585对帧间模式的编码单元执行运动补偿。
通过帧内预测器550和运动补偿器560的空间域的图像数据可在通过去块单元570和环路滤波单元580后处理之后被输出为恢复的帧595。另外，通过去块单元570和环路滤波单元580后处理的图像数据可被输出为参考帧585。
为了对视频解码设备200的图像数据解码器230中的图像数据进行解码，图像解码器500可执行在解析器510之后执行的操作。
为了使图像解码器500应用于视频解码设备200，图像解码器500的所有元件（即，解析器510、熵解码器520、反量化器530、逆变换器540、帧内预测器550、运动补偿器560、去块单元570和环路滤波单元580）针对每个最大编码单元基于具有树结构的编码单元执行操作。
具体地，帧内预测器550和运动补偿器560确定具有树结构的编码单元中的每一个的分区和预测模式，并且逆变换器540确定每个编码单元的变换单元的尺寸。
具体地，在确定当前预测单元的预测模式是否是CIP模式的帧内模式之前，帧内预测器550可搜索在当前预测单元之前恢复的邻近数据单元。也就是说，在当前预测单元之前恢复的邻近数据单元中的每一个处于帧内模式时，可确定当前块是否处于CIP模式。另外，当参考数据单元偏离图像的边界时，可使用参考数据单元的像素中的与边界的内部邻近的像素的采样值来填充画面的边界的外部区域而不论当前预测单元是否处于CIP模式，并且可以参考填充的采样以用于当前预测单元的帧内预测。
图12是示出根据本发明实施例的根据深度的更深编码单元和分区的示图。
视频编码设备100和视频解码设备200使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或者可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的更深编码单元的尺寸。
在根据本发明实施例的编码单元的分层结构600中，编码单元的最大高度和最大宽度均是64，并且最大深度是4。最大深度指示从最大编码单元到最小编码单元分割的总次数。由于深度沿着分层结构600的纵轴加深，故更深编码单元的高度和宽度均被分割。另外，沿着分层结构600的横轴示出作为用于每个更深编码单元的预测编码的基础的预测单元和分区。
换句话说，编码单元610是分层结构600中的最大编码单元，其中，深度是0，尺寸（即，高度乘宽度）是64×64。深度沿着纵轴加深，存在具有尺寸32×32并且深度1的编码单元620、具有尺寸16×16并且深度2的编码单元630、具有尺寸8×8并且深度3的编码单元640以及具有尺寸4×4并且深度4的编码单元650。具有尺寸4×4并且深度4的编码单元650是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着横轴排列。换句话说，如果具有尺寸64×64并且深度0的编码单元610是预测单元，则预测单元可被分割为包括在编码单元610中的分区，即，具有尺寸64×64的分区610、具有尺寸64×32的分区612、具有尺寸32×64的分区614或具有尺寸32×32的分区616。
相似地，具有尺寸32×32并且深度1的编码单元620的预测单元可被分割为包括在编码单元620中的分区，即，具有尺寸32×32的分区620、具有尺寸32×16的分区622、具有尺寸16×32的分区624和具有尺寸16×16的分区626。
相似地，具有尺寸16×16并且深度2的编码单元630的预测单元可被分割为包括在编码单元630中的分区，即，具有尺寸16×16的分区630、具有尺寸16×8的分区632、具有尺寸8×16的分区634和具有尺寸8×8的分区636。
相似地，具有尺寸8×8并且深度3的编码单元640的预测单元可被分割为包括在编码单元640中的分区，即，具有尺寸8×8的分区640、具有尺寸8×4的分区642、具有尺寸4×8的分区644和具有尺寸4×4的分区646。
具有尺寸4×4并且深度4的编码单元650是最小编码单元和最低深度的编码单元。编码单元650的预测单元仅被分配给具有尺寸4×4的分区650。
为了确定最大编码单元610的编码深度，视频编码设备100的编码单元确定器120针对包括在最大编码单元610中的与每个深度相应的编码单元执行编码。
随着深度加深，包括相同范围和相同尺寸的数据的根据深度的若干更深编码单元增加。例如，需要与深度2相应的四个编码单元以覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了比较根据深度的相同数据的编码结果，与深度1相应的编码单元和与深度2相应的四个编码单元均被编码。
为了执行用于深度的编码，沿着分层结构600的横轴，可通过针对与每个深度相应的编码单元中的每个预测单元执行编码来选择作为相应深度的最小编码误差的代表性编码误差。可选择地，可随着深度沿着分层结构600的纵轴加深通过针对每个深度执行编码，通过比较根据深度的代表性编码误差来搜索最小编码误差。可将编码单元610中的具有最小编码误差的深度和分区选择为编码单元610的编码深度和分区类型。
图13是用于描述根据本发明实施例的编码单元710与变换单元720之间的关系的示图。
视频编码设备100或视频解码设备200针对每个最大编码单元对根据具有小于或等于最大编码单元的编码单元的的图像进行编码或解码。可基于不大于相应的编码单元的数据单元来选择在编码期间用于变换的变换单元的尺寸。
例如，在视频编码设备100或视频解码设备200中，如果编码单元710的尺寸是64×64，则可通过使用具有尺寸32×32的变换单元720来执行变换。
另外，可通过对具有小于尺寸64×64的尺寸32×32、16×16、8×8和4×4的变换单元中的每一个执行变换来对具有尺寸64×64的变换单元710进行编码，随后可选择具有最小编码误差的变换单元。
图14是用于描述根据本发明实施例的根据深度的编码信息的示图。
视频编码设备100的输出单元130可将以下信息作为关于编码模式的信息来进行编码并发送：针对与编码深度相应的每个编码单元的关于分区类型的信息800、关于预测模式的信息810和关于变换单元的尺寸的信息820。
信息800指示关于通过分割当前编码单元的预测单元而获得的分区的形状的信息，其中，分区是用于当前编码单元的预测编码的数据单元。例如，具有尺寸2N×2N的当前编码单元CU_0可被分割为具有尺寸2N×2N的分区802、具有尺寸2N×N的分区804、具有尺寸N×2N的分区806和具有尺寸N×N的分区808中的任意一个。这里，关于当前编码单元的分区类型的信息800被设置为指示具有尺寸2N×2N的分区802、具有尺寸2N×N的分区804、具有尺寸N×2N的分区806和具有尺寸N×N的分区808中的一个。
信息810指示每个分区的预测模式。例如，信息810可指示对由信息800指示的分区执行的预测编码的模式，即，帧内模式812、帧间模式814或跳过模式816。
信息820指示当对当前编码单元执行变换时将基于的变换单元。例如，变换单元可以是第一帧内变换单元822、第二帧内变换单元824、第一帧间变换单元826或第二帧间变换单元828。
视频解码设备200的图像数据和编码信息提取器220可根据每个更深编码单元提取并使用用于解码的信息800、810和820。
图15是根据本发明实施例的根据深度的更深编码单元的示图。
分割信息可用于指示深度的改变。分割信息指示当前深度的编码单元是否被分割为更低深度的编码单元。
用于具有深度0和尺寸2N_0×2N_0的编码单元900的预测编码的预测单元910可包括以下分区类型的分区：具有尺寸2N_0×2N_0的分区类型912、具有尺寸2N_0×N_0的分区类型914、具有尺寸N_0×2N_0的分区类型916和具有尺寸N_0×N_0的分区类型918。图15仅示出通过对称地分割预测单元910而获得的分区类型912至918，但是分区类型不限于此，预测单元910的分区类型可包括非对称分区、具有预定形状的分区以及具有几何形状的分区。
根据每个分区类型对具有尺寸2N_0×2N_0的一个分区、具有尺寸2N_0×N_0的两个分区、具有尺寸N_0×2N_0的两个分区以及具有尺寸N_0×N_0的四个分区重复地执行预测编码。可对具有尺寸2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行按照帧内模式和帧间模式进行的预测编码。仅对具有尺寸2N_0×2N_0的分区执行按照跳过模式进行的预测编码。
如果在分区类型912至916的一个中编码误差最小，则可不将预测单元910分割到更低深度。
如果在分区类型918中编码误差最小，则在操作920深度从0改变为1以分割分区类型918，并对具有深度2和尺寸N_0×N_0的编码单元930重复地执行编码以搜索最小编码误差。
用于具有深度1和尺寸2N_1×2N_1（=N_0×N_0）的编码单元930的预测编码的预测单元940可包括以下分区类型的分区：具有尺寸2N_1×2N_1的分区类型942、具有尺寸2N_1×N_1的分区类型944、具有尺寸N_1×2N_1的分区类型946和具有尺寸N_1×N_1的分区类型948。
如果在分区类型948中编码误差最小，则在操作950深度从1改变为2以分割分区类型948，并对具有深度2和尺寸N_2×N_2的编码单元960重复地执行编码以搜索最小编码误差。
当最大深度是d时，当深度变为d-1时可设置根据每个深度的更深编码单元，并且当深度变为d-2时可设置分割信息。换句话说，当在操作970在与深度d-2相应的编码单元被分割之后深度变为d-1时执行编码时，用于对具有深度d-1和尺寸2N_(d-1)×2N_(d-1)的编码单元980进行预测编码的预测单元990可包括以下分区类型的分区：具有尺寸2N_(d-1)×2N_(d-1)的分区类型992、具有尺寸2N_(d-1)×N_(d-1)的分区类型994、具有尺寸N_(d-1)×2N_(d-1)的分区类型996和具有尺寸N_(d-1)×N_(d-1)的分区类型998。
可对分区类型992至998中的具有尺寸2N_(d-1)×2N_(d-1)的一个分区、具有尺寸2N_(d-1)×N_(d-1)的两个分区、具有尺寸N_(d-1)×2N_(d-1)的两个分区以及具有尺寸N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索具有最小编码误差的分区类型。
即使当分区类型998具有最小编码误差时，由于最大深度是d，故不再将具有深度d-1的编码单元CU_(d-1)划分到更低深度，并且当前最大编码单元900的编码深度被确定为d-1，当前最大编码单元900的分区类型可被确定为N_(d-1)×N_(d-1)。另外，由于最大深度是d，故不设置具有最低深度d-1的编码单元952的分割信息。
数据单元999可以是当前最大编码单元的“最小单元”。根据本发明实施例的最小单元可以是通过将具有最低编码深度的最小编码单元分割为4而获得的矩形数据单元。通过重复地执行编码，视频编码设备100可通过比较根据编码单元900的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应的分区类型和预测模式设置为编码深度的编码模式。
这样，在所有深度0至d中比较根据深度的最小编码误差，并且可将具有最小编码误差的深度确定为编码深度。预测单元的分区类型和预测模式可作为关于编码模式的信息被编码并被发送。另外，由于编码单元从深度0被分割为编码深度，故仅将编码深度的分割信息设置为0，并且将除编码深度之外的深度的分割信息设置为1。
视频解码设备200的图像数据和编码信息提取器220可提取并使用关于编码单元900的编码深度和预测单元的信息来对编码单元（分区）912进行解码。视频解码设备200可通过使用根据深度的分割信息将分割信息是0的深度确定为编码深度，并使用关于相应深度的编码模式的信息用于解码。
图16至图18是用于描述根据本发明实施例的编码单元1010、预测单元1060与变换单元1070之间的关系的示图。
编码单元1010是在最大编码单元中与由视频编码设备100确定的编码深度相应的编码单元。预测单元1060是编码单元1010的每个中的预测单元的分区，变换单元1070是编码单元1010的每个中的变换单元。
当在编码单元1010中最大编码单元的深度是0时，编码单元1012和1054的深度是1，编码单元1014、1016、1018、1028、1050和1052的深度是2，编码单元1020、1022、1024、1026、1030、1032和1048的深度是3，编码单元1040、1042、1044和1046的深度是4。
在预测单元1060中，一些编码单元（分区）1014、1016、1022、1032、1048、1050、1052和1054被分割。换句话说，在编码单元1014、1022、1050和1054中的分区类型具有尺寸2N×N，在编码单元1016、1048和1052中的分区类型具有尺寸N×2N，编码单元1032的分区类型具有尺寸N×N。编码单元1010的预测单元和分区小于或等于每个编码单元。
在小于编码单元1052的数据单元中对变换单元1070中的编码单元1052的图像数据执行变换或逆变换。此外，变换单元1070中的编码单元1014、1016、1022、1032、1048、1050和1052在尺寸和形状方面不同于预测单元1060中的编码单元1014、1016、1022、1032、1048、1050和1052。换句话说，视频编码设备100和视频解码设备200可对相同编码单元中的数据单元单独地执行帧内预测、运动估计、运动补偿、变换和逆变换。
因此，在最大编码单元的每个区域中对具有分层结构的编码单元的每个递归地执行编码以确定最佳编码单元，从而可获得具有递归树结构的编码单元。编码信息可包括关于编码单元的分割信息、关于分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。表1示出可由视频编码设备100和视频解码设备200设置的编码信息。
表1
Figure BDA0000472016550000291
视频编码设备100的输出单元130可输出关于具有树结构的编码单元的编码信息，视频解码设备200的图像数据和编码信息提取器220可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
分割信息指示是否将当前编码单元分割成更低深度的编码单元。如果当前深度的分割信息是0，则当前编码单元不再被分割成更低深度的深度是编码深度，从而可针对所述编码深度来定义关于分区类型、预测模式和变换单元的尺寸的信息。如果当前编码单元根据分割信息被进一步分割，则对更低深度的四个分割编码单元单独地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。帧内模式和帧间模式可定义在所有分区类型中，跳过模式仅被定义在具有尺寸2N×2N的分区类型中。
关于分区类型的信息可指示通过对称地分割预测单元的高度或宽度而获得的具有尺寸2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地分割预测单元的高度或宽度而获得的具有尺寸2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按照1:3和3:1分割预测单元的高度来分别获得具有尺寸2N×nU和2N×nD的非对称分区类型，可通过按照1:3和3:1分割预测单元的宽度来分别获得具有尺寸nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。换句话说，如果变换单元的分割信息是0，则变换单元的尺寸可以是作为当前编码单元的尺寸的2N×2N。如果变换单元的分割信息是1，则可通过分割当前编码单元来获得变换单元。此外，如果具有尺寸2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
关于具有树结构的编码单元的编码信息可被分配到与编码深度相应的编码单元、预测单元和最小单元中的至少一种。与编码深度相应的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一种。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否包括在与编码深度相应的相同编码单元中。此外，通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，从而可确定最大编码单元中的编码深度的分布。
因此，如果当前编码单元基于邻近数据单元的编码信息被预测，则可直接参考并使用在与当前编码单元邻近的更深编码单元中的数据单元的编码信息。
可选地，如果当前编码单元基于邻近编码单元被预测，则通过使用邻近更深编码单元的编码信息来在更深编码单元中搜索与当前编码单元邻近的数据单元，并且可参考搜索的邻近编码单元以用于预测当前编码单元。
图19是用于描述根据表1的编码模式信息的编码单元、预测单元与变换单元之间的关系的示图。
最大编码单元1300包括编码深度的编码单元1302、1304、1306、1312、1314、1316和1318。这里，由于编码单元1318是编码深度的编码单元，因此分割信息可以被设置为0。可将关于具有尺寸2N×2N的编码单元1318的分区类型的信息设置为以下分区类型中的一种：具有尺寸2N×2N的分区类型1322、具有尺寸2N×N的分区类型1324、具有尺寸N×2N的分区类型1326的分区类型、具有尺寸N×N的分区类型1328、具有尺寸2N×nU的分区类型1332、具有尺寸2N×nD的分区类型1334、具有尺寸nL×2N的分区类型1336以及具有尺寸nR×2N的分区类型1338。
关于变换单元的分割信息（即，TU尺寸标志）是一种类型的变换索引，与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
例如，当关于分区类型的信息被设置成对称（即，分区类型1322、1324、1326或1328）时，如果TU尺寸标志是“0”则设置具有尺寸2N×2N的变换单元1342，如果TU尺寸标志是“1”则设置具有尺寸N×N的变换单元1344。
当关于分区类型的信息被设置成非对称（即，分区类型1332、1334、1336或1338）时，如果TU尺寸标志是0则设置具有尺寸2N×2N的变换单元1352，如果TU尺寸标志是1则设置具有尺寸N/2×N/2的变换单元1354。
参照图19，TU尺寸标志是具有值0或1的标志，但是TU尺寸标志不限于1比特，并且当TU尺寸标志从0增加时可分层地分割变换单元。可将关于变换单元的分割信息用作变换索引的示例。
在这种情况下，根据本发明的实施例，可通过与变换单元的最大尺寸和最小尺寸一起使用TU尺寸标志来表示被实际使用的变换单元的尺寸。根据本发明的实施例，视频编码设备100能够对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志进行编码。可将对最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志编码的结果插入到SPS中。根据本发明的实施例，视频解码设备200可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大TU尺寸标志来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则当TU尺寸标志是0时变换单元的尺寸可以是(a-1)32×32，当TU标志尺寸是1时变换单元的尺寸可以是(a-2)16×16，并且当TU尺寸标志是2时变换单元的尺寸可以是(a-3)8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则当TU尺寸标志是0时变换单元的尺寸可以是(b-1)32×32。这里，由于变换单元的尺寸不能小于32×32，故TU尺寸标志不能被设置成除0之外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标志是1，则TU尺寸标志可以是0或1。这里，TU尺寸标志不能被设置成除0或1以外的值。
因此，如果尺寸标志是0时定义最大TU尺寸标志为“MaxTransformSizeIndex”、最小变换单元尺寸为“MinTransformSize”并且变换单元尺寸为“RootTuSize”，则可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”可通过等式（1）来定义：
CurrMinTuSize=（1）
max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标志是0时的变换单元尺寸“RootTuSize”可表示可在系统中选择的最大变换单元尺寸。在等式（1）中，“RootTuSize/(2^MaxTransformSizeIndex)”表示当在TU尺寸标志是0时的变换单元尺寸“RootTuSize”被分割与最大TU尺寸标志相应的次数时的变换单元尺寸，“MinTransformSize”表示最小变换单元尺寸。因此，在“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中的较小值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据本发明的实施例，最大变换单元尺寸“RootTuSize”可根据预测模式而改变。
例如，如果当前预测模式是帧间模式，则“RootTuSize”可通过使用以下等式（2）来确定。在等式（2）中，“MaxTransformSize”表示最大变换单元尺寸，“PUSize”表示当前预测单元尺寸。
RootTuSize=min(MaxTransformSize,PUSize)     （2）
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标志是0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中的较小值。
如果当前分区单元的预测模式是帧内模式，则“RootTuSize”可通过使用以下等式（3）来确定。在等式（3）中，“PartitionSize”表示当前分区单元的尺寸。
RootTuSize=min(MaxTransformSize,PartitionSize)    （3）
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标志是0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元尺寸中的较小值。
然而，根据分区单元中的预测模式而变化的当前最大变换单元尺寸“RootTuSize”仅是示例，确定当前最大变换单元尺寸的原因不限于此。
参照图7至图19，空间域中的图像数据可根据基于树结构的编码单元的视频编码方法针对具有树结构的每个编码单元被编码，作为画面或画面序列的视频可根据基于具有树结构的编码单元的视频解码方法，通过在针对每个最大编码单元对空间域中的图像数据进行解码时恢复空间域中的图像数据来被恢复。可通过再现设备来再现恢复的视频，可将恢复的视频存储在记录介质中，或可经由网络来发送恢复的视频。
本发明的实施例可被编写为计算机程序，并可在使用计算机可读记录介质执行程序的通用数字计算机中被实现。计算机可读记录介质的示例包括磁存储介质（例如，ROM、软盘、硬盘等）和光记录介质（例如，CD-ROM或DVD）。
虽然已经参照本发明的示例性实施例具体地示出并描述了本发明，但是本领域的普通技术人员将理解的是，在不脱离由权利要求限定的本发明的精神和范围的情况下，可在形式和细节上做出各种改变。示例性实施例应仅以描述意义来考虑，而不用于限制的目的。因此，本发明的范围不应由本发明的详细描述来限定，而由权利要求来限定，并且在所述范围内的有所差异将被解释为包括在本发明中。

Claims (15)

1.一种帧内预测方法，包括：
从图像的块中搜索在当前块之前恢复的邻近块；
检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是组合帧内预测（CIP）模式，其中，在CIP模式中仅参考按照帧内模式预恢复的块；
基于检查结果确定找到的邻近块是否是可用于当前块的帧内预测的参考块；以及
通过使用被确定为可用块的参考块的采样值对当前块执行帧内预测。
2.如权利要求1所述的帧内预测方法，其中，所述搜索邻近块的步骤包括：在确定当前块的预测模式是否是CIP模式的帧内模式之前，搜索在当前块之前恢复的邻近块，
所述检查的步骤包括检查找到的邻近块中的每一个是否按照帧内模式恢复以及当前块的帧内模式是否也是CIP模式。
3.如权利要求1所述的帧内预测方法，其中，所述执行帧内预测的步骤包括：当参考块偏离图像的边界时，使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域。
4.如权利要求3所述的帧内预测方法，其中，所述执行帧内预测的步骤包括：当参考块偏离图像的边界时，使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
5.一种帧内预测设备，包括：
帧内参考块确定器，用于从图像的块中搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块；以及
帧内预测器，用于通过使用参考块的采样值对当前块执行帧内预测。
6.如权利要求5所述的帧内预测设备，其中，帧内参考块确定器在确定当前块的预测模式是否是CIP模式的帧内模式之前，搜索在当前块之前恢复的邻近块，并检查找到的邻近块中的每一个是否按照帧内模式恢复以及当前块的帧内模式是否也是CIP模式。
7.如权利要求5所述的帧内预测设备，其中，当参考块偏离图像的边界时，帧内预测器使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域。
8.如权利要求7所述的帧内预测设备，其中，当参考块偏离图像的边界时，帧内预测器使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
9.一种视频解码设备，包括：
解析器，用于通过对从接收的比特流解析的比特串执行熵解码来恢复采样；
逆变换器，用于通过对来自恢复的采样的量化的变换系数执行反量化和逆变换来恢复采样；
帧内预测器，用于搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块，并通过使用参考块的采样值对当前块执行帧内预测，从而对采样中处于帧内模式的当前块执行帧内预测；
运动补偿器，用于对采样中处于帧间预测模式的块执行运动补偿；以及
恢复器，用于通过使用由帧间预测器或帧内预测器恢复的块来恢复图像。
10.如权利要求9所述的视频解码设备，其中，帧内预测器在基于从比特流解析的当前图像的CIP模式信息确定当前块的预测模式是否是CIP模式的帧内模式之前，搜索在当前块之前恢复的邻近块，并检查找到的邻近块中的每一个是否按照帧内模式恢复以及当前块的帧内模式是否也是CIP模式。
11.如权利要求9所述的视频解码设备，其中，当参考块偏离图像的边界时，帧内预测器使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
12.一种视频编码设备，包括：
帧内预测器，用于搜索在当前块之前恢复的邻近块，基于检查找到的邻近块是否是按照帧内模式恢复的块以及当前块的帧内模式是否也是仅参考按照帧内模式预恢复的块的组合帧内预测（CIP）模式的结果来确定找到的邻近块是否是可用于当前块的帧内预测的参考块，并通过使用参考块的采样值对当前块执行帧内预测，从而对视频的块中处于帧内模式的当前块执行帧内预测；
帧间预测器，用于对块中处于帧间预测模式的块执行帧间预测；
变换器和量化器，用于对执行帧内预测或帧间预测的结果执行变换和量化；以及
输出单元，用于输出通过对包括作为变换和量化的结果而产生的量化的变换系数的采样执行熵编码而产生的比特流。
13.如权利要求12所述的视频编码设备，其中，帧内预测器在基于从比特流解析的当前图像的CIP模式信息确定当前块的预测模式是否是CIP模式的帧内模式之前，搜索在当前块之前恢复的邻近块，并检查找到的邻近块中的每一个是否按照帧内模式恢复以及当前块的帧内模式是否也是CIP模式。
14.如权利要求12所述的视频编码设备，其中，当参考块偏离图像的边界时，帧内预测器使用参考块的像素中的与边界的内部邻近的像素的采样值来填充偏离图像的边界的区域，而不论当前块的帧内模式是否是CIP模式。
15.一种记录有用于执行权利要求1的帧内预测方法的程序的计算机可读记录介质。
CN201280042780.5A 2011-07-01 2012-07-02 通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置 Pending CN103782595A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161503857P 2011-07-01 2011-07-01
US61/503,857 2011-07-01
PCT/KR2012/005246 WO2013005962A2 (ko) 2011-07-01 2012-07-02 단일화된 참조가능성 확인 과정을 통해 인트라 예측을 수반하는 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치

Publications (1)

Publication Number Publication Date
CN103782595A true CN103782595A (zh) 2014-05-07

Family

ID=47437541

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280042780.5A Pending CN103782595A (zh) 2011-07-01 2012-07-02 通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置

Country Status (11)

Country Link
US (1) US9578329B2 (zh)
EP (1) EP2728872A4 (zh)
JP (1) JP5824148B2 (zh)
KR (3) KR101547497B1 (zh)
CN (1) CN103782595A (zh)
AU (1) AU2012278478B2 (zh)
BR (1) BR112013033697A2 (zh)
MX (1) MX2014000157A (zh)
SG (1) SG11201400753WA (zh)
TW (1) TWI517679B (zh)
WO (1) WO2013005962A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417632A (zh) * 2016-07-08 2019-03-01 Vid拓展公司 使用几何图形投影的360度视频编码

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015000168A1 (en) * 2013-07-05 2015-01-08 Mediatek Singapore Pte. Ltd. A simplified dc prediction method in intra prediction
KR102317682B1 (ko) * 2013-12-19 2021-10-26 삼성전자주식회사 인트라 예측을 수반한 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
KR101663668B1 (ko) * 2014-06-27 2016-10-07 삼성전자주식회사 영상 패딩영역의 비디오 복호화 및 부호화 장치 및 방법
CN105392008B (zh) * 2014-08-22 2018-09-25 中兴通讯股份有限公司 一种预测编、解码方法和相应的编、解码器和电子设备
WO2016195460A1 (ko) * 2015-06-05 2016-12-08 한양대학교 산학협력단 화면 내 예측에 대한 부호화/복호화 방법 및 장치
KR20180075518A (ko) * 2015-11-24 2018-07-04 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
KR20180075558A (ko) 2015-11-24 2018-07-04 삼성전자주식회사 비디오 복호화 방법 및 장치, 그 부호화 방법 및 장치
WO2017099385A1 (ko) * 2015-12-11 2017-06-15 삼성전자 주식회사 인트라 스킵 모드의 예측 방법을 나타내는 정보의 부호화 방법 및 장치, 복호화 방법 및 장치
CN106878752B (zh) 2015-12-11 2022-03-04 北京三星通信技术研究有限公司 一种视频编码模式的编解码方法和装置
US10735720B2 (en) * 2016-06-24 2020-08-04 Kt Corporation Method and apparatus for processing video signal
CN116248873A (zh) * 2016-10-10 2023-06-09 三星电子株式会社 通过块映射来对图像进行编码或解码的方法和装置
CN117615132A (zh) 2016-10-14 2024-02-27 世宗大学校产学协力团 影像编码/解码方法及比特流的传送方法
KR102422506B1 (ko) * 2016-11-29 2022-07-20 한국전자통신연구원 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018124850A1 (ko) * 2017-01-02 2018-07-05 한양대학교 산학협력단 예측 블록의 중복성을 고려한 화면 내 예측 방법 및 화면 내 예측을 수행하는 영상 복호화 장치
KR102388172B1 (ko) * 2017-09-06 2022-04-19 광운대학교 산학협력단 제한적 코딩 유닛 그룹 기반 영상 부/복호화 방법 및 장치
KR102520405B1 (ko) * 2018-01-08 2023-04-10 한국항공대학교산학협력단 영상 처리 방법, 그를 이용한 영상 복호화 및 부호화 방법
US10699413B1 (en) * 2018-03-23 2020-06-30 Carmax Business Services, Llc Automatic image cropping systems and methods
CN113228637B (zh) * 2018-12-17 2024-08-16 北京字节跳动网络技术有限公司 依赖于形状的插值滤波器
WO2020175145A1 (ja) 2019-02-27 2020-09-03 ソニー株式会社 画像処理装置及び画像処理方法
CN112437298A (zh) * 2019-08-26 2021-03-02 北京三星通信技术研究有限公司 编解码方法及装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703096A (zh) * 2004-05-25 2005-11-30 庆熙大学校产学协力团 预测编码/解码器、预测编码/解码方法和记录介质
US20070002945A1 (en) * 2005-06-29 2007-01-04 Eung-Tae Kim Intra-coding apparatus and method
CN1965585A (zh) * 2004-06-11 2007-05-16 皇家飞利浦电子股份有限公司 应用压缩编码和包括功率消耗的代价函数在存储器中存储影像的方法
US20100086034A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. method and an apparatus for processing a video signal
WO2011021839A2 (en) * 2009-08-17 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008005197A (ja) * 2006-06-22 2008-01-10 Toshiba Corp デコード装置およびデコード方法
JP4650461B2 (ja) * 2007-07-13 2011-03-16 ソニー株式会社 符号化装置、符号化方法、プログラム、及び記録媒体
KR101691199B1 (ko) * 2008-04-11 2016-12-30 톰슨 라이센싱 비디오 부호화 및 복호화에서의 템플릿 매칭 예측을 위한 방법 및 장치
JP5238523B2 (ja) * 2009-01-13 2013-07-17 株式会社日立国際電気 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
US9113168B2 (en) 2009-05-12 2015-08-18 Lg Electronics Inc. Method and apparatus of processing a video signal
KR101742992B1 (ko) 2009-05-12 2017-06-02 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
KR101772459B1 (ko) * 2010-05-17 2017-08-30 엘지전자 주식회사 신규한 인트라 예측 모드

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1703096A (zh) * 2004-05-25 2005-11-30 庆熙大学校产学协力团 预测编码/解码器、预测编码/解码方法和记录介质
CN1965585A (zh) * 2004-06-11 2007-05-16 皇家飞利浦电子股份有限公司 应用压缩编码和包括功率消耗的代价函数在存储器中存储影像的方法
US20070002945A1 (en) * 2005-06-29 2007-01-04 Eung-Tae Kim Intra-coding apparatus and method
US20100086034A1 (en) * 2008-10-06 2010-04-08 Lg Electronics Inc. method and an apparatus for processing a video signal
WO2011021839A2 (en) * 2009-08-17 2011-02-24 Samsung Electronics Co., Ltd. Method and apparatus for encoding video, and method and apparatus for decoding video

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
VIKTOR WAHADANIAH: "Constrained Intra Prediction Scheme for Flexible-Sized Prediction Units in HEVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 4TH MEETING》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109417632A (zh) * 2016-07-08 2019-03-01 Vid拓展公司 使用几何图形投影的360度视频编码
CN109417632B (zh) * 2016-07-08 2023-08-04 Vid拓展公司 使用几何图形投影的360度视频编码

Also Published As

Publication number Publication date
US20140153646A1 (en) 2014-06-05
US9578329B2 (en) 2017-02-21
WO2013005962A2 (ko) 2013-01-10
TW201309041A (zh) 2013-02-16
EP2728872A4 (en) 2016-05-11
JP5824148B2 (ja) 2015-11-25
KR20150000851A (ko) 2015-01-05
JP2014523701A (ja) 2014-09-11
SG11201400753WA (en) 2014-05-29
AU2012278478B2 (en) 2015-09-24
WO2013005962A3 (ko) 2013-03-14
KR20130004548A (ko) 2013-01-11
KR101547497B1 (ko) 2015-08-26
KR20140093200A (ko) 2014-07-25
AU2012278478A1 (en) 2014-01-30
KR101687727B1 (ko) 2016-12-19
BR112013033697A2 (pt) 2017-07-11
MX2014000157A (es) 2014-02-19
TWI517679B (zh) 2016-01-11
EP2728872A2 (en) 2014-05-07

Similar Documents

Publication Publication Date Title
CN103782595A (zh) 通过使用用于统一参考可能性的检查处理的帧内预测的视频编码方法、视频解码方法及其装置
CN102474612B (zh) 用于对视频进行编码的方法和设备以及用于对视频进行解码的方法和设备
CN102474614B (zh) 基于分层编码块样式信息的视频编码方法和设备以及视频解码方法和设备
CN104754354A (zh) 用于对视频进行解码的方法和设备
CN103765894A (zh) 伴随使用共同定位的图像的帧间预测的对视频编码的方法和设备以及对视频解码的方法和设备
CN105357541A (zh) 对视频进行解码的方法和设备
CN102804777A (zh) 通过考虑跳过和划分顺序来对视频进行编码的方法和设备，对视频进行解码的方法和设备
CN104869404A (zh) 对视频编码的方法和设备以及对视频解码的方法和设备
CN105049848A (zh) 通过使用去块滤波对视频进行解码的方法和设备
CN103220519A (zh) 用于对视频进行解码的方法
CN104796719A (zh) 对视频进行解码的方法和设备
CN104041053A (zh) 用于视频的算术编码的方法和装置以及用于视频的算术解码的方法和装置
CN103416062A (zh) 能够执行双向预测和单向预测的视频预测方法及其装置、视频编码方法及其装置以及视频解码方法及其装置
CN104205848A (zh) 使用用于并行处理的统一语法的视频编码方法和设备以及视频解码方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140507

WD01 Invention patent application deemed withdrawn after publication