CN106464890A - 可伸缩视频编码/解码方法和设备 - Google Patents

可伸缩视频编码/解码方法和设备 Download PDF

Info

Publication number
CN106464890A
CN106464890A CN201580025071.XA CN201580025071A CN106464890A CN 106464890 A CN106464890 A CN 106464890A CN 201580025071 A CN201580025071 A CN 201580025071A CN 106464890 A CN106464890 A CN 106464890A
Authority
CN
China
Prior art keywords
layer
phase difference
current layer
unit
current
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201580025071.XA
Other languages
English (en)
Inventor
艾琳娜·阿尔辛娜
亚历山大·阿尔辛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of CN106464890A publication Critical patent/CN106464890A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

提供了一种视频解码方法，包括以下步骤：从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息；如果根据上采样相位设置信息调整相位，则从比特流获得亮度垂直相位偏移、亮度水平相位偏移、色度垂直相位偏移和色度水平相位偏移；通过基于亮度垂直相位偏移、亮度水平相位偏移、色度垂直相位偏移和色度水平相位偏移对参考层进行上采样，确定当前层的预测画面。包括在所述预测画面中的亮度样点的相位根据亮度垂直相位偏移和亮度水平相位偏移被调整，包括在所述预测画面中的色度样点的相位根据色度垂直相位偏移和色度水平相位偏移被调整，亮度垂直相位偏移和色度垂直相位偏移是由参考层的扫描方法确定的。

Description

可伸缩视频编码/解码方法和设备
技术领域
本公开涉及使用图像上采样的视频编码和解码方法及设备。
背景技术
传统图像编码和解码方法将一幅画面划分成宏块来对图像进行编码。随后，使用帧间预测或帧内预测来对每个宏块进行预测编码。
帧间预测是一种通过去除画面之间的时间冗余来压缩图像的方法，运动估计编码是代表性示例。运动估计编码通过使用至少一个参考区域来对当前画面的每个块进行预测。使用预定估计函数来在预定搜索范围内搜索与当前块最相似的参考块。
基于参考块来预测当前块，并且对通过从当前块减去作为预测的结果所产生的预测块而产生残差块进行编码。在这点上，为了更精确地执行预测，对参考区域的搜索范围执行插值，产生小于整数单元的样点单元的子样点，并基于产生的子样点来执行帧间预测。
发明内容
技术问题
本公开提供一种在通过对参考层进行上采样来产生当前层的预测画面时，通过使用相位差信息确定包括在预测画面中的样点的相位的方法以及执行该方法的设备。本公开还提供了一种确定用于确定所述相位差信息的信息的方法以及执行该方法的设备。
技术方案
根据本公开的一方面，提供了一种视频解码方法，包括：从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息；当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面。
包括在所述预测画面中的亮度样点的相位可根据亮度垂直相位差和亮度水平相位差被调整，包括在所述预测画面中的色度样点的相位可根据色度垂直相位差和色度水平相位差被调整。
亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案被确定。
亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案以及针对参考层和当前层的排列方案被确定，所述排列方案可包括零相位排列方案和对称排列方案，其中，零相位排列方案涉及基于参考层和当前层的左上部分对参考层和当前层进行排列，对称排列方案涉及基于参考层和当前层的中心对参考层和当前层进行排列。
视频解码方法还可包括：从比特流获得参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息，其中，参考层尺寸信息指示参考层的高度和宽度，参考层偏移信息限定在层间预测时使用的参考层的参考区域，当前层尺寸信息指示当前层的高度和宽度，当前层偏移信息限定当前层中的与所述参考区域相应的扩展参考区域；从参考层尺寸信息和参考层偏移信息确定所述参考区域的尺寸；从当前层尺寸信息和当前层偏移信息确定所述扩展参考区域的尺寸；基于所述参考区域的尺寸和所述扩展参考区域的尺寸确定指示所述参考区域与所述扩展参考区域的比率的缩放比率，其中，确定当前层的预测画面的步骤包括：通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、参考层偏移信息、当前层偏移信息和所述缩放比率来对参考画面进行上采样以确定所述预测画面。
视频解码方法还可包括：从比特流获得残差数据，其中，残差数据包括当前层中所包括的样点值与当前层的参考画面中所包括的样点值之间的差值；通过使用残差数据和所述预测画面来重建当前画面。
根据本公开的另一方面，提供了一种视频解码设备，包括：接收和提取单元，被配置为从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息，当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；解码器，被配置为通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面。
包括在所述预测画面中的亮度样点的相位可根据亮度垂直相位差和亮度水平相位差被调整，包括在所述预测画面中的色度样点的相位可根据色度垂直相位差和色度水平相位差被调整。
亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案被确定。
亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案以及针对参考层和当前层的排列方案被确定，所述排列方案可包括零相位排列方案和对称排列方案，其中，零相位排列方案涉及基于参考层和当前层的左上部分对参考层和当前层进行排列，对称排列方案涉及基于参考层和当前层的中心对参考层和当前层进行排列。
接收和提取单元还可被配置为从比特流获得参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息，其中，参考层尺寸信息指示参考层的高度和宽度，参考层偏移信息限定在层间预测时使用的参考层的参考区域，当前层尺寸信息指示当前层的高度和宽度，当前层偏移信息限定当前层中的与所述参考区域相应的扩展参考区域，解码器还可被配置为从参考层尺寸信息和参考层偏移信息确定所述参考区域的尺寸，从当前层尺寸信息和当前层偏移信息确定所述扩展参考区域的尺寸，基于所述参考区域的尺寸和所述扩展参考区域的尺寸确定指示所述参考区域与所述扩展参考区域的比率的缩放比率，并通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、参考层偏移信息、当前层偏移信息和所述缩放比率来对参考画面进行上采样以确定所述预测画面。
接收和提取单元还可被配置为从比特流获得残差数据，并通过使用残差数据和所述预测画面来重建当前画面，其中，残差数据包括当前层中所包括的样点值与当前层的参考画面中所包括的样点值之间的差值。
根据本公开的另一方面，提供了一种视频编码方法，包括：确定针对当前层和参考层的扫描方案；当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场；基于所述扫描方案和所述参考层的场确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位；通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面；确定残差数据，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
根据本公开的另一方面，提供了一种视频编码设备，包括：编码器，被配置为确定针对当前层和参考层的扫描方案，当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场，基于所述扫描方案和所述参考层的场来确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面，以及确定残差数据，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；输出单元，被配置为输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
根据本公开的另一方面，提供了一种记录有程序的计算机可读记录介质，其中，所述程序用于执行所述视频解码方法和所述视频编码方法。
有益效果
当在编码过程期间通过对当前层进行下采样来产生参考层时，根据编码条件调整包括在当前层中的样点的相位。同样，当在解码过程期间通过对参考层进行上采样来产生当前层的预测画面时，样点的相位如在编码过程中那样被调整。样点的相位在重新采样处理期间被调整，因此，编码效率得到提高。
附图说明
图1a示出根据实施例的可伸缩视频解码设备的框图。
图1b示出根据实施例的可伸缩视频解码方法的流程图。
图2a示出根据实施例的可伸缩视频编码设备的框图。
图2b示出根据实施例的可伸缩视频编码方法的流程图。
图3a和图3b示出用于描述根据实施例的亮度-色度相位差的示图。
图4a是用于描述根据实施例的隔行扫描方案的示图。
图4b是用于描述根据实施例的参考区域、扩展参考区域和缩放比率的示图。
图5示出用于描述根据实施例的编码信息获得过程的语法。
图6a和图6b示出根据实施例的可伸缩视频编码设备600的框图。
图7a和图7b示出根据实施例的可伸缩视频解码设备700的框图。
图8a示出根据实施例的基于具有树结构的编码单元的视频编码设备的框图。
图8b示出根据实施例的基于具有树结构的编码单元的视频解码设备的框图。
图9示出用于描述根据实施例的编码单元的概念的示图。
图10a示出根据实施例的基于编码单元的图像编码器的框图。
图10b示出根据实施例的基于编码单元的图像解码器的框图。
图11示出根据实施例的根据深度的较深层编码单元以及分区的示图。
图12示出用于描述根据实施例的编码单元与变换单元之间的关系的示图。
图13示出根据实施例的根据深度的多条编码信息。
图14示出根据实施例的根据深度的编码单元。
图15、图16和图17示出根据实施例的编码单元、预测单元和变换单元之间的关系。
图18示出根据表1的编码模式信息的编码单元、预测单元、和变换单元之间的关系。
图19示出根据实施例的存储程序的盘的物理结构。
图20示出通过使用盘来记录和读取程序的盘驱动器。
图21示出提供内容分发服务的内容供应系统的整体结构。
图22和图23示出根据实施例的应用了视频编码方法和视频解码方法的移动电话的外部结构和内部结构。
图24示出根据实施例的采用通信系统的数字广播系统。
最佳模式
提供了一种视频解码方法，包括：从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息；当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面。包括在所述预测画面中的亮度样点的相位可根据亮度垂直相位差和亮度水平相位差被调整，包括在所述预测画面中的色度样点的相位可根据色度垂直相位差和色度水平相位差被调整。亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案被确定。
提供了一种视频解码设备，包括：接收和提取单元，被配置为从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息，当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；解码器，被配置为通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面。包括在所述预测画面中的亮度样点的相位可根据亮度垂直相位差和亮度水平相位差被调整，包括在所述预测画面中的色度样点的相位可根据色度垂直相位差和色度水平相位差被调整。亮度垂直相位差和色度垂直相位差可根据针对参考层的扫描方案被确定。
提供了一种视频编码方法，包括：确定针对当前层和参考层的扫描方案；当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场；基于所述扫描方案和所述参考层的场来确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位；通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面；确定残差数据，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
提供了一种视频编码设备，包括：编码器，被配置为确定针对当前层和参考层的扫描方案；当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场，基于所述扫描方案和所述参考层的场确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面，以及确定残差数据，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；输出单元，被配置为输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
具体实施方式
下面，在本说明书中描述的各种实施例中，术语“图像”不仅可总体表示静止图像，还可表示诸如视频的运动画面。在本说明书中描述的术语“画面”表示将被编码或解码的静止图像。
可伸缩编码方案是指对一幅图像进行分层编码以使该图像适合于各种分辨率、帧率、图像质量等的方法。由于一个比特流包括具有各种分辨率、帧率、图像质量等的图像，因此，内容用户可提取比特流的一部分，并可再现满足用户期望的分辨率、帧率、图像质量等的图像。
根据可伸缩编码方案编码的图像具有至少两个层。每个层具有更高层和更低层中的至少一个。
层可被划分为当前层和参考层。当前层指示参考层的更高层，通过参考参考层的画面来对更高层进行编码/解码。参考层指示当前层的更低层，更低层提供在对当前层进行编码/解码时所需要的画面。例如，参考层的画面的分辨率、帧率和图像质量低于当前层的画面的分辨率、帧率和图像质量。
当前层和参考层是相对概念。例如，当从更高层开始按顺序呈现第一层、第二层和第三层时，第二层可变成相对于第一层的参考层。相反，第二层可变成相对于第三层的当前层。
通常，当前层与术语“增强层”一起使用。参考层与术语“基本层”一起使用。因此，在本说明书中使用的增强层与当前层具有相同的含义。同样，在本说明书中使用的基本层与参考层具有相同的含义。
在本说明书中，重新采样是指重新确定构成画面的样点的数量和属性的过程。重新采样包括下采样和上采样。
在本说明书中，下采样是指减少构成画面的像素的数量的过程。例如，当构成画面的像素的数量为32×32时，可通过下采样获得像素的数量为16×16的下采样画面。由于下采样而减少的像素的比率可根据实施例而不同。
在本说明书中，与下采样相反，上采样是指增加构成画面的像素的数量的过程。例如，当构成画面的像素的数量为16×16时，可通过上采样获得像素的数量为32×32的上采样画面。由于上采样而增加的像素的比率可根据实施例而不同。
在本说明书中，可根据分辨率而使用下采样和上采样，可通过对当前层进行下采样来产生参考层，并且可通过对参考层进行上采样来获得当前层的预测画面。
在本说明书中，偏移是指层中的基于亮度样点单元限定的整个区域与该层中的将被上采样或下采样的部分之间的位移。水平偏移是指水平方向的位移。垂直偏移是指垂直方向的位移。以水平相邻或垂直相邻的亮度样点之间的间隔为1的方式来定义偏移的单位。例如，当像素B在像素A的右侧4个像素且下方2个像素时，像素B相对于像素A的水平偏移为4，且像素B的垂直偏移为2。
在本说明书中，相位是指样点之间的位移。相位可包括垂直分量或水平分量。在本说明书中，当在上采样处理或下采样处理期间调整样点的位置时，相位差是指在调整之前的样点和在调整之后的样点之间位移。相位差可仅被表示为整数。例如，当彼此水平或垂直邻近的样点之间的距离为16时，可表示相位差的精度为彼此水平邻近的样点之间的距离的1/16。
当根据可伸缩编码方案对原始图像进行编码时，可调整亮度样点和色度样点的相位以增加在下采样和上采样处理期间的编码效率。在解码操作中，与在编码操作中一样，在上采样处理中调整亮度样点和色度样点的相位。因此，当在解码过程期间对当前层进行上采样时，需要与在编码过程期间对原始图像进行下采样和上采样时调整的相位有关的信息。
因此，在本说明书中，在下面描述在上采样处理期间确定样点的相位的方法。更详细地说，本说明书的各种实施例提供了一种用于通过使用与根据参考层和当前层的排列方案以及参考层的扫描方案而改变的相位有关的信息在解码过程期间改变亮度样点和色度样点的相位的方法和设备。此外，在本说明书中，下面描述与在上采样处理期间发生的相位的改变相关的所有处理。
下面，参照图1a至图5，以下提出了通过考虑参考层和当前层的偏移执行的对图像的上采样。此外，参照图6a至图7b，以下提出了使用考虑参考层和当前层的偏移的上采样的可伸缩视频编码和解码。以下，参照图8至图18，提出了在可伸缩视频系统的每个层中执行的基于根据树结构的编码单元的视频编码和解码。
以下，参照图1a至图5，详细地描述了根据各种实施例的通过考虑参考层和当前层的偏移执行的图像上采样。
图1a示出根据实施例的可伸缩视频解码设备100的框图。
可伸缩视频解码设备100可包括接收和提取单元110以及解码器120。参照图1a，接收和提取单元110以及解码器120被示出为分离的元件，但是在另一实施例中，接收和提取单元110以及解码器120可被合并，并因此可被实现为一个元件。
参照图1a，接收和提取单元110以及解码器120被示出为一个设备中的元件，但是分别执行接收和提取单元110以及解码器120的功能的设备彼此可不物理相邻。因此，在另一实施例中，接收和提取单元110以及解码器120可被散布。
在实施例中，图1a的接收和提取单元110以及解码器120可由一个处理器实现。在另一实施例中，它们可由多个处理器实现。
可伸缩视频解码设备100可包括用于存储由接收和提取单元110以及解码器120产生的数据的存储器(未示出)。另外，接收和提取单元110以及解码器120可从存储器(未示出)提取存储的数据并可使用该数据。
图1a的可伸缩视频解码设备100不限于物理设备。例如，可伸缩视频解码设备100的功能之中的一些功能可不被实现为硬件，而可被实现为软件。
接收和提取单元110可获得上采样相位设置信息。上采样相位设置信息指示在上采样处理期间是否调整包括在当前层中的样点的相位。上采样相位设置信息可具有值0或1。例如，如果上采样相位设置信息指示1，则调整包括在当前层中的样点的相位。另一方面，如果上采样相位设置信息指示0，则不调整包括在当前层中的样点的相位。作为与该示例相反的另一示例，如果排列方案指定信息指示0，则可调整包括在当前层中的样点的相位。
当上采样相位设置信息指示调整样点的相位时，接收和提取单元110可从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。
亮度垂直相位差指示亮度样点的相位在垂直方向上改变了多远。亮度水平相位差指示亮度样点的相位在水平方向上改变了多远。色度垂直相位差指示色度样点的相位在垂直方向上改变了多远。色度水平相位差指示色度样点的相位在水平方向上改变了多远。
亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差可在编码过程中被确定。以下，现在将描述确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差的方法。
可基于垂直亮度-色度相位差和水平亮度-色度相位差来确定色度垂直相位差和色度水平相位差。垂直亮度-色度相位差指示亮度样点和色度样点之间的垂直方向相位差。水平亮度-色度相位差指示亮度样点和色度样点之间的水平方向相位差。参照图3a和图3b，以下描述垂直亮度-色度相位差和水平亮度-色度相位差。
图3a示出根据垂直亮度-色度相位差和水平亮度-色度相位差的6种情况。图3b示出图3a中的关于当彩色格式为4:2:0时色度样点相对于亮度样点位置的位置的情况。在图3a中，X轴相位差是指水平亮度-色度相位差，Y轴相位差是指垂直亮度-色度相位差。在图3b中，方形符号指示亮度样点，圆形符号指示色度样点。
垂直亮度-色度相位差和水平亮度-色度相位差可均具有0至2之间的值。在另一实施例中，它们具有与0至2之间的值不同的值。
当彩色格式为4:2:0时，一个色度样点与由4个亮度样点构成的2×2的亮度样点网格相应。如果不存在亮度样点和色度样点之间的相位差，则色度样点位于处于2×2的亮度样点网格的左上位置的亮度样点处。
在图3b中，彼此垂直或水平邻近的亮度样点之间的距离被限定为2。例如，如果如在第二情况下色度样点312从亮度样点310的位置移动到亮度样点310和亮度样点314之间的中间位置，则垂直亮度-色度相位差为1。
在第一情况下，水平亮度-色度相位差和垂直亮度-色度相位差均为1。由于不存在亮度样点和色度样点之间的相位差，因此，色度样点302位于处于2×2的亮度样点网格的左上位置的亮度样点处。
在第二情况下，水平亮度-色度相位差为0，垂直亮度-色度相位差为1。因此，色度样点312位于2×2的亮度样点网格中的左上亮度样点310和左下亮度样点314之间的中间位置。
在第三情况下，水平亮度-色度相位差为1，垂直亮度-色度相位差为0。因此，色度样点322位于2×2的亮度样点网格中的左上亮度样点320和右上亮度样点324之间的中间位置。
在第四情况下，水平亮度-色度相位差和垂直亮度-色度相位差均为1。因此，色度样点228位于四个亮度样点330、332、334和336之间的中心。
在第五情况下，水平亮度-色度相位差为1，垂直亮度-色度相位差为2。因此，色度样点344位于2×2的亮度样点网格中的左下亮度样点340和右下亮度样点342之间。
在第六情况下，水平亮度-色度相位差为0，垂直亮度-色度相位差为2。因此，色度样点352位于2×2的亮度样点网格中的左下亮度样点350的位置处。
可通过使用所确定的垂直亮度-色度相位差和水平亮度-色度相位差来确定色度垂直相位差和色度水平相位差。由于垂直亮度-色度相位差和水平亮度-色度相位差指示色度样点相对于亮度样点的相位改变，因此，亮度垂直相位差和亮度水平相位差不改变。例如，当垂直亮度-色度相位差为1，水平亮度-色度相位差为2时，不发生由于垂直亮度-色度相位差和水平亮度-色度相位差而产生的亮度样点的相位改变。然而，由于垂直亮度-色度相位差和水平亮度-色度相位差，色度样点的相位向底部改变1，向左侧改变2。
可根据指示参考层和当前层的排列的排列方案，对亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差进行排列。排列方案包括零相位排列案和对称排列方案。
零相位排列方案涉及基于参考层或当前层的左上样点对参考层和当前层的样点进行排列。例如，当如图3b的第一情况基于零相位排列方案对亮度样点和色度样点进行排列时，色度样点位于4个亮度样点之中的左上亮度样点处。因此，当基于零相位排列方案对样点进行排列并且彩色格式为4:2:0时，色度样点已位于2×2的亮度样点网格中的左上亮度样点的位置处，因此，不发生由于排列方案而产生的样点的相位改变。
对称排列方案涉及基于参考层和当前层的中心对参考层和当前层的样点进行排列。当基于对称排列方案对样点进行排列时，样点的布置是关于所述中心对称的。因此，当对称排列方案被应用于此时，亮度样点和色度样点的相位被调整。
可基于当前层和参考层的扫描方案以及参考层的场来确定亮度垂直相位差和色度垂直相位差。
扫描方案包括逐行扫描方案和隔行扫描方案。
逐行扫描方案是指显示、存储并发送在一帧中包括一个画面的图像的方法。因此，图像的每个帧相应于完整的画面。例如，当每1/30秒获得一画面时，产生与每秒30幅画面相应的30帧。基于逐行扫描方案产生的每秒30帧的图像被显示为30p。
另一方面，隔行扫描方案是指显示、存储并发送在一帧中包括一个画面的奇数场或偶数场的图像的方法。奇数场仅包括构成画面的样点之中的位于奇数行的样点。偶数场仅包括构成画面的样点之中的位于偶数行的样点。包括奇数场的帧和包括偶数场的帧以隔行方式被再现，就好像完整的画面被再现。图4a是用于具体描述逐行扫描方案的特征的示图。
在图4a中，包括奇数场的帧402被显示在左侧，包括偶数场的帧404被显示在右侧。具有灰色的行指示存在将被扫描的样点的样点行。另一方面，具有白色的行指示不存在将被扫描的样点的样点行。在图4a中，n是等于或大于1的整数。
参照图4a，在包括奇数场的帧402中，仅将奇数行标成灰色。因此，可识别出将被扫描的样点仅位于包括奇数场的帧402中的奇数行中。另一方面，在包括偶数场的帧404中，仅将偶数行标成灰色。因此，可识别出将被扫描的样点仅位于包括偶数场的帧404中的偶数行中。
参照图4a，帧402仅包括在(2n-2)/60秒获得的画面的奇数场。帧404仅包括在(2n-1)/60秒获得的画面的偶数场。因此，包括奇数场的帧402和包括偶数场的帧404按隔行方式被显示、存储和发送。基于如图4a所示的隔行扫描方案产生的每秒60帧的图像被表示为60i。
在图像编码之前，基于隔行扫描方案产生的图像的一个帧的数据量是基于逐行扫描方案产生的图像的一个帧的数据量的一半。因此，基于隔行扫描方案以每秒60帧产生的图像的数据量是基于逐行扫描方案以每秒60帧产生的图像的数据量的一半。因此，隔行扫描方案获得更少的数据量。
然而，由于基于逐行扫描方案的图像再现包括完整的画面的帧，因此，与基于隔行扫描方案的图像相比，基于逐行扫描方案的图像可提供良好的质量。
在当前层和参考层均根据逐行扫描方案被扫描时，由于一个完整的画面与一个帧相应，因此不需要由于扫描方案而产生的相位改变。然而，如图4a所示，根据隔行扫描方案，每一帧仅显示偶数扫描行(偶数场)或奇数扫描行(奇数场)，因此，如果基于逐行扫描方案对当前层进行扫描并基于隔行扫描方案对参考层进行扫描，则需要对亮度垂直相位差和色度垂直相位差的调整。具体地，当参考层的被显示的帧包括偶数场时，包括偶数场的帧的样点的位置必须被调整以防止显示在奇数场中的区域与显示在偶数场中的区域重叠。
因此，在当前层基于逐行扫描方案被扫描，参考层基于隔行扫描方案被扫描，并且参考层的场是偶数场时，亮度垂直相位差和色度垂直相位差被调整。
以下的等式1和等式2是用于基于扫描方案确定垂直相位差和水平相位差的等式。将在下面描述的可伸缩视频编码设备200的编码器210可通过使用等式1和等式2确定垂直相位差和水平相位差。
phaseX＝(cIdx＝＝0)？(cross_layer_phase_alignment_flag<<1):cross_layer_phase_alignment_flag [等式1]
phaseY＝VertPhasePositionAdjustFlag？((VertPhasePositionFlag<<2):(cIdx＝＝0)？(cross_layer_phase_alignment_flag<<1):(cross_layer_phase_alignment_flag+1)) [等式2]
在等式1和等式2中，“<<”指示右移运算符。更详细地，“(bitstream)<<(N)”被解释为将N个0添加到“bitstream”的右侧。例如，“11<<2”被解释为“1100”。
“？”指示条件运算符。更详细地说，在结构“(condition)？(Calculation1):(Calculation 2)”的情况下，如果该条件为真，则结果值符合Calculation 1，如果该条件为假，则结果值符合Calculation 2。
运算符同等地应用到在说明书中提供的等式。
在等式1和等式2中，phaseX是指水平相位差，phaseY是指垂直相位差。cIdx是指彩色分量索引，cross_layer_phase_alignment_flag是指排列方案指定信息。另外，VertPhasePositionAdjustFlag是指扫描方案指定信息，VertPhasePositionFlag是指场指定信息。
当关于亮度样点的相位差被确定时，彩色分量索引被确定为0。当关于作为色度样点的Cb和Cr的相位差被确定时，彩色分量索引被确定为1或2。
在当前层和参考层是基于零相位排列方案时，排列方案指定信息被确定为0。在当前层和参考层是基于对称排列方案时，排列方案指定信息被确定为1。
当逐行扫描方案被应用到当前层和参考层的全部时，扫描方案指定信息被确定为0。当逐行扫描方案被应用到当前层，并且隔行扫描方案被应用到参考层时，扫描方案指定信息被确定为1。
当扫描方案指定信息被确定为1时，场指定信息被确定。当参考层包括奇数场时，场指定信息被确定为0。当参考层包括偶数场时，场指定信息被确定为1。
关于等式1，首先确定彩色分量索引的值。当彩色分量索引的值为0时，计算cross_layer_phase_alignment_flag<<1以确定关于亮度样点的水平相位差。如果排列方案指定信息为1，则关于亮度样点的水平相位差被确定为2，如果排列方案指定信息为0，则关于亮度样点的水平相位差被确定为0。
当彩色分量索引的值为1或2时，计算cross_layer_phase_alignment_flag来确定关于色度样点的水平相位差。如果排列方案指定信息为1，则关于亮度样点的水平相位差被确定为1，如果排列方案指定信息为0，则关于亮度样点的水平相位差被确定为0。
关于等式2，首先解释扫描方案指定信息。当扫描方案指定信息为1时，确定逐行扫描方案被应用于当前层，隔行扫描方案被应用于参考层。当扫描方案指定信息为1时，计算VertPhasePositionFlag<<2来获得垂直相位差。如果扫描方案指定信息为1，则关于亮度样点的水平相位差被确定为4，如果扫描方案指定信息为0，则关于亮度样点的水平相位差被确定为0。
如果扫描方案指定信息为1，则确定逐行扫描方案被应用到当前层和参考层的全部。随后，彩色分量索引的值被确定。
当彩色分量索引的值为0时，计算cross_layer_phase_alignment_flag<<1来确定关于亮度样点的垂直相位差。如果排列方案指定信息为1，则关于亮度样点的垂直相位差被确定为2，如果排列方案指定信息为0，则关于亮度样点的垂直相位差被确定为0。
当彩色分量索引的值为1或2时，计算cross_layer_phase_alignment_flag+1来确定关于色度样点的垂直相位差。如果排列方案指定信息为1，则关于亮度样点的垂直相位差被确定为2，如果排列方案指定信息为0，则关于亮度样点的垂直相位差被确定为1。
接收和提取单元110可从比特流获得参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息。
在本说明书中，参考区域是指参考层的画面中的区域，该区域被用于层间预测。可将参考层的整个区域确定为参考区域。在另一实施例中，可仅将参考层的一部分确定为参考区域。
根据树结构编码/解码方法，按照编码单元对画面执行编码/解码操作。由于最小编码单元为8×8，因此，如果参考层和当前层的分辨率不是8的倍数，则无法快速地执行上采样。因此，当参考层的分辨率不是8的倍数时，可在参考层中设置分辨率为8的倍数的参考区域。同样，在当前层的分辨率不是8的倍数时，可在当前层中设置分辨率为8的倍数的扩展参考区域。
在本说明书中，扩展参考区域指示通过对参考区域进行上采样而产生的画面的区域。如上所述，由于当前层画面的分辨率高于参考层画面的分辨率，因此，当前层画面的分辨率高于作为参考层画面的一部分的参考区域的分辨率。因此，难以通过使用低分辨率的参考区域来预测高分辨率的当前层画面。因此，通过使用经由对参考区域进行上采样而具有提高的分辨率的扩展参考区域来预测当前层画面。与参考区域相似，当前层的整个区域可被确定为扩展参考区域。然而，在另一实施例中，可仅将当前层的一部分确定为扩展参考区域。
基于参考层尺寸信息和参考层偏移信息来确定参考区域。参考层尺寸信息指示关于参考层画面的高度和宽度的信息。参考层偏移信息指示参考层画面与参考区域之间的偏移。
参考层偏移信息可包括参考层左侧偏移、参考层右侧偏移、参考层顶部偏移和参考层底部偏移。
参考层左侧偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的水平偏移。参考层顶部偏移是参考层画面的左上区域中的亮度样点与参考区域的左上区域中的亮度样点之间的垂直偏移。
参考层右侧偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的水平偏移，参考层底部偏移是参考层画面的右下区域中的亮度样点与参考区域的右下区域中的亮度样点之间的垂直偏移。
基于当前层尺寸信息和当前层偏移信息来确定扩展参考区域。当前层尺寸信息指示关于当前层画面的高度和宽度的信息。当前层偏移信息指示当前层画面与当前画面之间的偏移。
当前层偏移信息可包括当前层左侧偏移、当前层右侧偏移、当前层顶部偏移和当前层底部偏移。
当前层左侧偏移是当前层画面的左上区域中的亮度样点与扩展参考区域的左上区域中的亮度样点之间的水平偏移。当前层顶部偏移是当前层画面的左上区域中的亮度样点与扩展参考区域的左上区域中的亮度样点之间的垂直偏移。
当前层右侧偏移是当前层画面的右下区域中的亮度样点与扩展参考区域的右下区域中的亮度样点之间的水平偏移，当前层顶部偏移是当前层画面的右下区域中的亮度样点与扩展参考区域的右下区域中的亮度样点之间的垂直偏移。
参考层偏移信息和当前层偏移信息可被表示为亮度样点单元。例如，当参考层左侧偏移为4，参考层顶部偏移为2时，在参考层画面的左上区域中的亮度样点右侧4个样点、下方2个样点处的亮度样点变为参考区域的左上区域中的亮度样点。
根据本实施例，参考层偏移信息和当前层偏移信息被表示为亮度样点单元，但在另一实施例中，参考层偏移信息和当前层偏移信息可被表示为色度样点单元。
例如，在当前层画面和参考层画面的彩色格式为4:2:0时，仅一个色度样点与一个亮度样点2×2块相应。因此，被表示为亮度样点单元且包括在参考层偏移信息和当前层偏移信息中的垂直偏移和水平偏移的值可以是被表示为色度样点单元的垂直偏移和水平偏移的值的两倍大。
另一方面，在当前层画面和参考层画面的彩色格式为4:4:4时，亮度样点和色度样点彼此相应。因此，在亮度样点单元和色度样点单元中，参考层偏移信息和当前层偏移信息的所有偏移具有相同值。
现在将描述从参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息确定参考区域和扩展参考区域的方法，其中，该方法由以下将描述的解码器120执行。
接收和提取单元110可从比特流获得将在对当前层进行重建时使用的残差数据。
残差数据包括图像的样点值与原始图像的样点值之间的差值，其中，该图像是通过对在编码过程期间被下采样的当前层的原始图像进行上采样而获得的。解码器120通过使用残差数据以及通过对参考层进行上采样而产生的当前层的预测图像来重建当前层。
解码器120基于由接收和提取单元110获得的信息来对参考层进行上采样。随后，解码器120基于上采样后的参考层来预测当前层。
解码器120可从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸。例如，解码器120可通过从参考层的高度减去参考层顶部偏移和参考层底部偏移来确定参考区域的高度。解码器120可通过从参考层的宽度减去参考层右侧偏移和参考层左侧偏移来确定参考区域的宽度。
解码器120可从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸。例如，解码器120可通过从当前层的高度减去当前层顶部偏移和当前层底部偏移来确定扩展参考区域的高度。解码器120可通过从当前层的宽度减去当前层右侧偏移和当前层左侧偏移来确定扩展参考区域的宽度。
当参考层偏移信息的所有偏移值为0时，解码器120可将参考层的整个区域确定为参考区域。同样，在当前层偏移信息的所有偏移值为0时，解码器120可将当前层的整个区域确定为扩展参考区域。
解码器120可基于参考区域的尺寸和扩展参考区域的尺寸来确定指示参考区域的尺寸与扩展参考区域的尺寸的比率的缩放比率。缩放比率指示参考区域与扩展参考区域的比率。缩放比率包括指示参考区域的宽度与扩展参考区域宽度的比率的水平缩放比率以及指示参考区域的高度与扩展参考区域的高度的比率的垂直缩放比率。例如，当垂直缩放比率和水平缩放比率都为1:2，并且参考区域的亮度样点的数量为16×16时，扩展参考区域的亮度样点的数量可以为32×32。
解码器120从参考区域的尺寸和扩展参考区域的尺寸确定缩放比率。解码器120可通过将参考区域的宽度与扩展参考区域的宽度进行比较来确定水平缩放比率。另外，解码器120可通过将参考区域的高度与扩展参考区域的高度进行比较来确定垂直缩放比率。
参照图4b，现在将详细描述确定参考区域、扩展参考区域和缩放比率的方法，其中，该方法由解码器120执行。
图4b示出当前层画面410和参考层画面430。在当前层画面410中限定扩展参考区域420，在参考层画面430中限定参考区域440。
可基于当前层画面410的宽度412a和高度412b以及当前层偏移信息414a、414b、414c和414d来确定扩展参考区域420的宽度422a和高度422b。
当前层偏移信息414a、414b、414和414d可包括当前层左侧偏移414a、当前层顶部偏移414b、当前层右侧偏移414c和当前层底部偏移414d。
可通过从当前层画面410的宽度412a减去当前层左侧偏移414a和当前层右侧偏移414c来确定扩展参考区域420的宽度422a。
可通过从当前层画面410的高度412b减去当前层顶部偏移414b和当前层底部偏移414d来确定扩展参考区域420的高度422b。
可基于参考层画面430的宽度432a和高度432b以及参考层偏移信息434a、434b、434c和434d来确定参考区域440的宽度442a和高度442b。
参考层偏移信息434a、434b、434c和434d可包括参考层左侧偏移434a、参考层顶部偏移434b、参考层右侧偏移434c和参考层底部偏移434d。
可通过从当前层画面410的宽度412a减去当前层左侧偏移414a和当前层右侧偏移414c来确定扩展参考区域420的宽度422a。
可通过从参考层画面430的高度432b减去参考层顶部偏移434b和参考层底部偏移434d来确定参考区域440的高度442b。
可通过将参考区域440的宽度442a与扩展参考区域420的宽度422a进行比较来确定水平缩放比率。更详细地说，可将通过将扩展参考区域420的宽度422a除以参考区域440的宽度442a而获得的值确定为水平缩放比率。
可通过将参考区域440的高度442b与扩展参考区域420的高度422b进行比较来确定垂直缩放比率。更详细地说，可将通过将扩展参考区域420的高度422b除以参考区域440的高度442b而获得的值确定为垂直缩放比率。
当水平缩放比率和垂直缩放比率被确定时，解码器120可通过基于参考区域偏移信息、当前区域偏移信息、水平缩放比率和垂直缩放比率对参考区域进行上采样，来确定扩展参考区域的预测画面。在本说明书中，对参考层的上采样被解释为等同于对参考区域的上采样。
解码器120可调整包括在当前层的预测画面中的亮度样点和色度样点的相位。解码器120还可调整包括在扩展参考区域的预测画面中的亮度样点和色度样点的相位，其中，扩展参考区域的预测画面是在基于参考区域偏移信息、当前区域偏移信息、水平缩放比率和垂直缩放比率的上采样处理期间被确定的。
解码器120基于参考区域的样点值来确定扩展参考区域的样点的样点值。在插值处理期间，使用扩展参考区域的样点的相位、插值滤波器组的滤波器系数和参考区域的样点值。
参照图5，详细描述确定包括在扩展参考区域中的样点的相位的方法。
解码器120可确定当前层中的未包括在扩展参考区域中的区域的预测值。可基于包括在扩展参考区域的预测画面中的样点的样点值来确定所述预测值。解码器120可通过使用填充方法、修剪方法、上采样方法、下采样方法等，基于扩展参考区域的样点的样点值来确定当前层中的未包括在扩展参考区域中的区域的预测值。因此，可通过使用扩展参考区域的预测画面和未包括在扩展参考区域中的区域的预测值来确定当前层的预测画面。
解码器120可通过使用预测画面和由接收和提取单元110获得的残差数据来重建当前层。
将参照图5详细描述接收和提取单元110以及解码器120的实施例。
图1b示出根据实施例的由可伸缩视频解码设备100执行的可伸缩视频编码方法10的流程图。
在操作11，从比特流获得上采样相位设置信息，其中，上采样相位设置信息指示在基于参考层的样点的样点值确定包括在当前层中的样点的样点值的同时是否调整包括在当前层中的样点的相位。
在操作12，当上采样相位设置信息指示调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。
如在操作11或操作12中，可从比特流获得指示参考层的高度和宽度的参考层尺寸信息、用于限定在层间预测中使用的参考层的参考区域的参考层偏移信息、指示当前层的高度和宽度的当前层尺寸信息、以及用于限定当前层中的与参考区域相应的扩展参考区域的当前层偏移信息。另外，可从比特流获得残差数据，其中，残差数据包括当前层中所包括的样点值与当前层的参考画面中所包括的样点值之间的差值。
操作11和操作12是由接收和提取单元110执行的。
在操作13，通过基于亮度垂直相位差、亮度水平垂直差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面。
随后，如在操作13中，可从参考层尺寸信息和参考层偏移信息确定参考区域的尺寸，可从当前层尺寸信息和当前层偏移信息确定扩展参考区域的尺寸，可基于参考区域的尺寸和扩展参考区域的尺寸确定指示参考区域的尺寸与扩展参考区域的尺寸的比率的缩放比率。可在对参考层进行上采样时使用所确定的参考层偏移信息、当前层偏移信息和缩放比率。
在操作13之后，可通过使用残差数据和预测画面来重建当前画面。
操作13是由解码器120执行的。
图2a示出根据实施例的可伸缩视频编码设备200的框图。
可伸缩视频编码设备200可包括编码器210和输出单元220。参照图2a，编码器210和输出单元220被示出为分离的元件，但在另一实施例中，编码器210和输出单元220可被组合，并因此可被实现为一个元件。
参照图2a，编码器210和输出单元220被示出为一个设备中的元件，但是分别执行编码器210和输出单元220的功能的设备彼此可不物理相邻。因此，在另一实施例中，编码器210和输出单元220可散布。
在一实施例中，图2a的编码器210和输出单元220可由一个处理器实现。在另一实施例中，它们可由多个处理器来实现。
可伸缩视频编码设备200可包括用于存储由编码器210和输出单元220产生的数据的存储器(未示出)。另外，编码器210和输出单元220可从存储器(未示出)提取存储的数据，并可使用所述数据。
图2a的可伸缩视频编码设备200不限于物理设备。例如，可伸缩视频编码设备200的功能之中的一些功能可不被实现为硬件，而可被实现为软件。
编码器210对输入到可伸缩视频编码设备200的原始图像进行编码。更详细地说，原始图像被输入到当前层，通过对原始图像进行下采样而获得的图像被输入到参考层。随后，对参考层和当前层进行编码。
当在对原始图像进行下采样的同时调整色度样点相对于亮度样点的相位时，编码器210可基于调整后的色度样点的相位差确定垂直亮度-色度相位差和水平亮度-色度相位差。根据本实施例，通常，垂直亮度-色度相位差和水平亮度-色度相位差分别被确定为1和0。然而，在另一实施例中，垂直亮度-色度相位差和水平亮度-色度相位差可被确定为不同的值。
编码器210可基于在对原始图像进行下采样时使用的排列方案来调整包括在当前层的预测画面中的样点的相位。
编码器210可基于扫描方案调整包括在当前层的预测画面中的样点的相位。当使用隔行扫描方案，并且下采样后的图像是偶数场时，编码器210可调整包括在当前层的预测画面中的样点的相位。
编码器210可通过使用以上参照图1a描述的等式1和等式2来确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。
编码器210可确定将在针对当前层的层间预测时使用的参考层的参考区域，可对参考区域进行上采样，并因此产生扩展参考区域。
编码器210可独立于当前层对参考层进行编码。另外，编码器210可通过使用基于树结构对单个层画面进行编码的方法来对参考层进行编码。
编码器210可通过使用参考区域来对当前层画面进行编码。在另一实施例中，编码器210可在不使用参考层的情况下，独立于参考层来对当前层进行编码。
将参照图6a和图6b详细地描述由编码器210进行的层间预测。将参照图8至图17详细地描述基于树结构的编码。
编码器210可从参考层和参考区域确定参考层尺寸信息和参考层偏移信息。
编码器210可从当前层和扩展参考区域确定当前层尺寸信息和当前层偏移信息。
编码器210可基于垂直亮度-色度相位差、水平亮度-色度相位差、排列方案指定信息、扫描方案指定信息以及关于参考区域和扩展参考区域的信息，对参考层进行上采样。编码器210可通过将当前层的预测画面与当前层进行比较来产生残差数据，其中，所述预测画面是通过对参考层进行上采样而产生的。
输出单元220发送比特流，其中，比特流包括由编码器210确定的参考层尺寸信息、参考层偏移信息、当前层尺寸信息、当前层偏移信息、亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
图2b示出根据实施例的由可伸缩视频编码设备200执行的可伸缩视频编码方法20的流程图。
在操作21，确定针对当前层和参考层的扫描方案。
在操作22，当根据逐行扫描方案对当前层进行扫描，根据隔行扫描方案对参考层进行扫描时，确定参考层的场。
在操作23，基于扫描方案和参考层的场确定水平相位差和垂直相位差，其中，水平相位差和垂直相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位。
在操作24，通过基于水平相位差和垂直相位差对参考层进行上采样来确定当前层的预测画面。
在操作25，确定残差数据，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值。
操作21至操作25可由编码器210执行。
在操作26，输出包括水平相位差、垂直相位差和残差数据的比特流。
操作26由输出单元220执行。
图5示出用于描述根据实施例的编码信息获得过程的语法。关于图5的描述，还提供了用于描述使用编码信息的上采样方法的等式。
图5示出包括在画面参数集中的上采样参数。画面参数集包括共同应用于包括在一个画面中的条带段的信息。图5示出关于上采样参数的语法。
num_ref_loc_offsets是指上采样信息集的数量的最大值。在可伸缩编码方案中，图像可被编码为两个或更多个层。上采样信息集包括上采样处理中需要的参考层偏移信息、当前层偏移信息和相位信息。当存在n个层时，上采样处理可发生n-1次，因此，num_ref_loc_offsets的最大值为n-1。因此，当图像被编码为n个层时，可伸缩视频解码设备100通过解析num_ref_loc_offsets来确定上采样信息集的数量。
当获得了num_ref_loc_offsets，并且i为0、1、…、(num_ref_loc_offsets-1)时，可伸缩视频解码设备100获得针对与i相应的层的参考层偏移信息、当前层偏移信息和相位信息。
ref_loc_offset_layer_id[i]指示第i上采样信息集的标号。例如，当图像被编码为从作为最低层的第一层到作为最高层的第四层的4个层时，num_ref_loc_offsets可指示3，ref_loc_offset_layer_id[0]可指示第一层和第二层之间的上采样信息集，ref_loc_offset_layer_id[2]可指示第三层和第四层之间的上采样信息集。
可伸缩视频解码设备100可从比特流获得当前层偏移信息。随后，可伸缩视频解码设备100可从当前层偏移信息确定当前层的扩展参考区域。以下，现在将描述与其相关的语法和等式。
scaled_ref_layer_offset_present_flag[i]指示当前层偏移信息是否包括在第i上采样信息集中。如果scaled_ref_layer_offset_present_flag[i]指示1，则当前层偏移信息包括在第i上采样信息集中，如果scaled_ref_layer_offset_present_flag[i]指示0，则当前层偏移信息未包括在第i上采样信息集中。如果不存在scaled_ref_layer_offset_present_flag[i]，则scaled_ref_layer_offset_present_flag[i]的值被视为0。
当scaled_ref_layer_offset_present_flag[i]指示1时，可伸缩视频解码设备100可从比特流获得scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]。
scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的当前层左侧偏移。如果在比特流中不存在scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]确定为0。
scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的当前层顶部偏移。如果在比特流中不存在scaled_ref_layer_top_offset[ref_loc_offset_layer_id[0]]，则可伸缩视频解码设备100将scaled_ref_layer_top_offset[ref_loc_offset_layer_id[0]]确定为0。
scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的当前层右侧偏移。如果在比特流中不存在scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]确定为0。
scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的当前层底部偏移。如果在比特流中不存在scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]确定为0。
上述的scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]可以是均被表示为亮度样点单元的值。当偏移均被表示为色度样点单元时，可伸缩视频解码设备100可根据彩色格式将偏移转换成亮度样点单元。
可伸缩视频解码设备100可通过使用获得的scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]来确定当前层画面的高度和宽度。可根据等式3和等式4来确定扩展参考区域的高度和宽度。通过使用等式3和等式4，可针对亮度样点确定扩展参考区域的高度和宽度。
ScaledRefLayerRegionWidthInSamplesY＝PicWidthInSamplesCurrY-ScaledRefLayerRegionLeftOffset-ScaledRefLayerRegionRightOffset[等式3]
ScaledRefLayerRegionHeightInSamplesY＝PicHeightInSamplesCurrY-ScaledRefLayerRegionTopOffset-ScaledRefLayerRegionBottomOffset[等式4]
在等式3和等式4中，ScaledRefLayerRegionWidthInSamplesY指示扩展参考区域的宽度，ScaledRefLayerRegionHeightInSamplesY指示扩展参考区域的高度。PicWidthInSamplesCurrY指示当前层的宽度，PicHeightInSamplesCurrY指示当前层的高度。
ScaledRefLayerRegionLeftOffset、ScaledRefLayerRegionRightOffset、ScaledRefLayerRegionTopOffset以及ScaledRefLayerRegionBottomOffset指示可伸缩视频解码设备100从比特流获得的当前层左侧偏移、当前层顶部偏移、当前层右侧偏移和当前层底部偏移。
根据等式3，通过从PicWidthInSamplesCurrY减去ScaledRefLayerRegionLeftOffset和ScaledRefLayerRegionRightOffset来确定ScaledRefLayerRegionWidthInSamplesY。
根据等式4，通过从PicHeightInSamplesCurrY减去ScaledRefLayerRegionTopOffset和ScaledRefLayerRegionBottomOffset来确定ScaledRefLayerRegionHeightInSamplesY。
可伸缩视频解码设备100可从比特流获得参考层偏移信息。随后，可伸缩视频解码设备100可从参考层偏移信息确定参考层的参考区域。以下，现在将描述与其相关的语法和等式。
ref_region_offset_present_flag[i]指示参考层偏移信息是否包括在第i上采样信息集中。如果ref_region_offset_present_flag[i]指示1，则参考层偏移信息包括在第i上采样信息集，如果ref_region_offset_present_flag[i]指示0，则参考层偏移信息未包括在第i上采样信息集中。如果不存在ref_region_offset_present_flag[i]，则ref_region_offset_present_flag[i]的值被视为0。
当ref_region_offset_present_flag[i]指示1时，可伸缩视频解码设备100可从比特流获得ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]。
ref_region_left_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的参考层左侧偏移。如果在比特流中不存在ref_region_left_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将ref_region_left_offset[ref_loc_offset_layer_id[i]]确定为0。
ref_region_top_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的参考层顶部偏移。如果在比特流中不存在ref_region_top_offset[ref_loc_offset_layer_id[0]]，则可伸缩视频解码设备100将ref_region_top_offset[ref_loc_offset_layer_id[0]]确定为0。
ref_region_right_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的参考层右侧偏移。如果在比特流中不存在ref_region_right_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将ref_region_right_offset[ref_loc_offset_layer_id[i]]确定为0。
ref_region_bottom_offset[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的参考层底部偏移。如果在比特流中不存在ref_region_bottom_offset[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将ref_region_bottom_offset[ref_loc_offset_layer_id[i]]确定为0。
上述的ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]可以是均被表示为亮度样点单元的值。当偏移均被表示为色度样点单元时，可伸缩视频解码设备100可根据彩色格式将偏移转换为亮度样点单元。
可伸缩视频解码设备100可通过使用获得的ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]来确定参考层画面的高度和宽度。
可伸缩视频解码设备100可通过使用获得的ref_layer_left_offset[ref_layer_id[i]]、ref_layer_top_offset[ref_layer_id[i]]、ref_layer_right_offset[ref_layer_id[i]]以及ref_layer_bottom_offset[ref_layer_id[i]]来确定参考区域的高度和宽度。可根据等式5和等式6来确定参考区域的高度和宽度。通过使用等式5和等式6，可针对亮度样点确定参考区域的高度和宽度。
RefLayerRegionWidthInSamplesY＝PicWidthInSamplesRefLayerY-RefLayerRegionLeftOffset–RefLayerRegionRightOffset [等式5]
RefLayerRegionHeightInSamplesY＝PicHeightInSamplesRefLayerY-RefLayerRegionTopOffset–RefLayerRegionBottomOffset [等式6]
在等式5和等式6中，RefLayerRegionWidthInSamplesY指示参考区域的宽度，RefLayerRegionHeightInSamplesY指示参考区域的高度。PicWidthInSamplesRefLayerY指示参考层的宽度，PicHeightInSamplesRefLayerY指示参考层的高度。
RefLayerRegionLeftOffset、RefLayerRegionRightOffset、RefLayerRegionTopOffset以及RefLayerRegionBottomOffset表示可伸缩视频解码设备100从比特流获得的参考层左侧偏移、参考层顶部偏移、参考层右侧偏移以及参考层底部偏移。
根据等式5，通过从PicWidthInSamplesRefLayerY减去RefLayerRegionLeftOffset和RefLayerRegionRightOffset来确定RefLayerRegionWidthInSamplesY。
根据等式6，通过从PicHeightInSamplesRefLayerY减去RefLayerRegionTopOffset和RefLayerRegionBottomOffset来确定RefLayerRegionHeightInSamplesY。
可伸缩视频解码设备100可通过使用参考区域的高度和宽度以及扩展参考区域的高度和宽度来确定水平缩放比率和垂直缩放比率。可根据等式7和等式8来确定水平缩放比率和垂直缩放比率。通过使用等式7和等式8，针对亮度样点确定水平缩放比率和垂直缩放比率。
SpatialScaleFactorHorY＝((RefLayerRegionWidthInSamplesY<<16)+
(ScaledRefRegionWidthInSamplesY>＞1))/ScaledRefRegionWidthInSamplesY[等式7]
SpatialScaleFactorVerY＝((RefLayerRegionHeightInSamplesY<<16)+
(ScaledRefRegionHeightInSamplesY>＞1))/ScaledRefRegionHeightInSamplesY [等式8]
在等式7和等式8中，SpatialScaleFactorHorY和SpatialScaleFactorVerY分别指示针对亮度样点的水平缩放比率和垂直缩放比率。
根据等式7，SpatialScaleFactorHorY等于通过将另一值除以ScaledRefRegionWidthInSamplesY而获得的值，其中，该另一值是通过将RefLayerRegionWidthInSamplesY向右移动16个像素而获得的。
为了使包括在当前层的预测画面中的样点与参考层的坐标平面匹配，将参考层的宽度除以当前层的宽度。随后，为了使水平缩放比率能够总是大于1，将RefLayerRegionWidthInSamplesY乘以2^16，其中，2^16是扩展参考区域与参考区域的比率的最大值。
根据等式7，为了对(RefLayerRegionWidthInSamplesY<<16)/ScaledRefRegionWidthInSamplesY的结果值进行舍入，ScaledRefRegionWidthInSamplesY>＞1被添加到RefLayerRegionWidthInSamplesY<<16。
根据等式7，SpatialScaleFactorVerY等于通过将另一值除以ScaledRefRegionHeightInSamplesY而获得的值，其中，该另一值是通过将RefLayerRegionHeightInSamplesY向右移动16个像素而获得的。为了使包括在当前层的预测画面中的样点与参考层的坐标平面匹配，将参考层的宽度除以当前层的宽度。因此，为了使垂直缩放比率能够总是大于1，将RefLayerRegionHeightInSamplesY乘以2^16，其中，2^16是扩展参考区域与参考区域的比率的最大值。
根据等式8，为了对(RefLayerRegionHeightInSamplesY<<16)/ScaledRefRegionHeightInSamplesY的结果值进行舍入，ScaledRefRegionHeightInSamplesY>＞1被添加到RefLayerRegionHeightInSamplesY<<16。
因此，根据等式7和等式8，通过将SpatialScaleFactorHorY除以2^16而获得的值是实际的水平缩放比率，通过将SpatialScaleFactorVerY除以2^16而获得的值是实际的垂直缩放比率。
可伸缩视频解码设备100可获得用于在上采样处理期间调整样点的相位的相位信息。
resample_phase_set_prsent_flag[i]指示相位信息是否包括在第i上采样信息集中。如果resample_phase_set_prsent_flag[i]指示1，则相位信息包括在第i上采样信息集中，如果resample_phase_set_prsent_flag[i]指示0，则相位信息未包括在第i上采样信息集中。如果不存在resample_phase_set_prsent_flag[i]，则resample_phase_set_prsent_flag[i]的值被视为0。
当resample_phase_set_prsent_flag[i]指示1时，可伸缩视频解码设备100可从比特流获得phase_hor_luma[ref_loc_offset_layer_id[i]]、phase_ver_luma[ref_loc_offset_layer_id[i]]、phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]以及phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]，
phase_hor_luma[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的亮度分量的水平相位差。例如，当与ref_loc_offset_layer_id[i]相应的亮度分量的水平相位差为1时，phase_hor_luma[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_hor_luma[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将phase_hor_luma[ref_loc_offset_layer_id[i]]确定为0。
phase_ver_luma[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的亮度分量的垂直相位差。例如，当与ref_loc_offset_layer_id[i]相应的亮度分量的垂直相位差为2时，phase_ver_luma[ref_loc_offset_layer_id[i]]指示2。如果在比特流中不存在phase_ver_luma[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将phase_ver_luma[ref_loc_offset_layer_id[i]]确定为0。
phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的色度分量的水平相位差。例如，当与ref_loc_offset_layer_id[i]相应的色度分量的水平相位差为1时，phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]确定为0。
phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]指示与ref_loc_offset_layer_id[i]相应的色度分量的垂直相位差。例如，当与ref_loc_offset_layer_id[i]相应的色度分量的垂直相位差为1时，phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]，则可伸缩视频解码设备100将phase_ver_chroma[ref_loc_offset_layer_id[i]]确定为0。
phase_hor_luma[ref_loc_offset_layer_id[i]]、phase_ver_luma[ref_loc_offset_layer_id[i]]、phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]以及phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]可以是在通过使用等式1和等式2的编码过程中预设的值。
可伸缩视频解码设备100可通过使用参考层偏移信息、当前层偏移信息、垂直缩放比率、水平缩放比率、垂直相位差和水平相位差来对参考区域进行上采样。参照等式9至等式20，现在将描述对参考区域进行上采样的方法。
在等式9至等式20中，定义在上采样处理中使用的偏移值。
currOffsetX＝ScaledRefLayerLeftOffset/((cIdx＝＝0)？1:SubWidthCurrC)[等式9]
currOffsetY＝ScaledRefLayerTopOffset/((cIdx＝＝0)？1:SubHeightCurrC)[等式10]
refOffsetX＝(RefLayerRegionLeftOffset/((cIdx＝＝0)？1:SubWidthRefLayerC))<<4 [等式11]
refOffsetY＝(RefLayerRegionTopOffset/((cIdx＝＝0)？1:SubHeightRefLayerC))<<4 [等式12]
currOffsetX指示当前层的水平偏移。针对亮度样点，currOffsetX与作为当前层左侧偏移的ScaledRefLayerLeftOffset具有相同的值。currOffsetY指示当前层的垂直偏移。针对亮度样点，currOffsetY与作为当前层顶部偏移的ScaledRefLayerTopOffset具有相同的值。在针对色度样点的上采样过程期间，currOffsetX与作为当前层左侧偏移的ScaledRefLayerLeftOffset/SubWidthCurrC具有相同的值。currOffsetY指示当前层的垂直偏移。currOffsetY与作为当前层顶部偏移的ScaledRefLayerTopOffset/SubHeightCurrC具有相同的值。
reOffsetX指示参考层的水平偏移。针对亮度样点，reOffsetX具有通过对作为参考层左侧偏移的RefLayerRegionLeftOffset执行向右侧移动4个像素的移动运算而获得的值。refOffsetY指示参考层的垂直偏移。针对亮度样点，refOffsetY具有通过对作为参考层顶部偏移的RefLayerRegionTopOffset执行向右侧移动4个像素的移动运算而获得的值。针对色度样点，refOffsetX具有通过对作为参考层左侧偏移的RefLayerRegionLeftOffset/SubWidthRefLayerC执行向右侧移动4个像素的移动运算而获得的值。refOffsetY指示参考层的垂直偏移。针对色度样点，refOffsetX具有通过对作为参考层顶部偏移的RefLayerRegionTopOffset/SubHeightRefLayerC执行向右侧移动4个像素的移动运算而获得的值。
SubWidthCurrC、SubHeightCurrC、SubWidthRefLayerC以及SubHeightRefLayerC是在针对色度样点的上采样过程中使用的值，并可根据彩色格式而具有值1或2。例如，当参考层的彩色格式都是4:2:0时，SubWidthRefLayerC和SubHeightRefLayerC均为2。当参考层的彩色格式都是4:2:2时，SubWidthRefLayerC为2，SubHeightRefLayerC为1。当参考层的彩色格式都是4:4:4时，SubWidthRefLayerC和SubHeightRefLayerC均为1。同样，在当前层的彩色格式都是4:2:0时，SubWidthCurrC和SubHeightCurrC均为2。在当前层的彩色格式都是4:2:2时，SubWidthCurrC为2，SubHeightCurrC为1。在当前层的彩色格式都是4:4:4时，SubWidthCurrC和SubHeightCurrC均为1。
在等式13至等式16中，定义在上采样处理中使用的相位差和缩放比率。
phaseX＝(cIdx＝＝0)？PhaseHorY:PhaseHorC [等式13]
phaseY＝(cIdx＝＝0)？PhaseVerY:PhaseVerC [等式14]
scaleX＝(cIdx＝＝0)？SpatialScaleFactorHorY:SpatialScaleFactorHorC
[等式15]
scaleY＝(cIdx＝＝0)？SpatialScaleFactorVerY:SpatialScaleFactorVerC
[等式16]
phaseX指示水平相位差。phaseX可具有根据彩色分量索引而改变的值。当彩色分量索引指示亮度样点时，phaseX与PhaseHorY具有相同的值。当彩色分量索引指示色度样点时，phaseX与关于色度样点的PhaseHorC具有相同的值。
phaseY指示垂直相位差。phaseY可具有根据彩色分量索引而改变的值。当彩色分量索引指示亮度样点时，phaseY可与PhaseVerY具有相同的值。当彩色分量索引指示色度样点时，phaseY与关于色度样点的PhaseVerC具有相同的值。
PhaseHorY和PhaseVerY等于phase_hor_luma[ref_loc_offset_layer_id[i]]和phase_ver_luma[ref_loc_offset_layer_id[i]]。
PhaseHorC和PhaseVerC等于phase_hor_chroma_plus8[ref_loc_offset_layerid[i]]–8和phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]–8。
scaleX指示水平相位差。scaleX可具有根据彩色分量索引而改变的值。当彩色分量索引指示亮度样点时，scaleX与SpatialScaleFactorHorY具有相同的值。当彩色分量索引指示色度样点时，scaleX与针对色度样点的SpatialScaleFactorHorC具有相同的值。
scaleY指示垂直相位差。scaleY可具有根据彩色分量索引而改变的值。当彩色分量索引指示亮度样点时，scaleY与SpatialScaleFactorVerY具有相同的值。当彩色分量索引指示色度样点时，scaleY与针对色度样点的SpatialScaleFactorVerC具有相同的值。
在等式17至等式20中，现在将描述上采样方法。
addX＝-((scaleX×phaseX+8)>＞4) [等式17]
addY＝-((scaleY×phaseY+8)>＞4) [等式18]
xRef16＝(((xP-currOffsetX)×scaleX+addX+(1<<11))>＞12)+refOffsetX[等式19]
yRef16＝(((yP-currOffsetY)×scaleY+addY+(1<<11))>＞12)+refOffsetY[等式20]
addX和addY指示在根据缩放比率的上采样处理期间由于相位调整而发生的样点位置的位移。addX被确定为通过将scaleX与phaseX相乘而获得的负值。addY被确定为通过将scaleY与phaseX相乘而获得的负值。scaleX×phaseX和scaleY×phaseY均被舍入至四位小数并被向右移动4个像素。结果，addX和addY均被确定。
xRef16和yRef16是指示扩展参考区域的样点与参考区域的哪个位置相应的值。xP和yP指示扩展参考区域的样点的位置。因此，通过分别从xP和yP减去currOffsetX和currOffsetY，在不需要当前层偏移的情况下确定扩展参考区域的样点的位置。
随后，指示扩展参考区域与参考区域的比率的scaleX和scaleY分别与(xP-currOffsetX)和(yP-currOffsetY)相乘。随后，指示样点位置的位移的addX和addY与其相加。
接下来，(xP-currOffsetX)×scaleX+addX以及(yP-currOffsetY)×scaleY+addY均被舍入到12位小数，并且舍入后的值均被向右移动12个像素。
最后，均指示参考区域的偏移的refOffsetX和refOffsetY与结果值相加，从而xRef16和yRef16的结果值被确定。
通过将均由0构成的16比特的字符串插入扩展参考区域与参考区域的比率的右侧来产生scaleX和scaleY，相反，由于仅从xRef16和yRef16去除了右侧的12比特的字符串，因此，作为参考区域的面积和宽度的16倍大的值被确定为xRef16和yRef16的最大值。因此，通过将xRef16和yRef16除以16而获得的值与参考区域的坐标匹配。例如，xRef16为96的扩展参考区域的样点与参考区域中的x坐标为6的样点匹配，如果xRef16为88，则扩展参考区域的样点与参考区域中的x坐标为5.5的点匹配。因此，执行的插值处理的精度为相邻样点之间的距离的1/16。
根据xRef16和yRef16的值，参考区域的样点被确定以对扩展参考区域的样点进行插值。在插值中使用参考区域的样点之中的与xRef16和yRef16邻近的样点。根据实施例，在插值中主要使用利用8个样点的8抽头滤波器。根据样点位置在垂直方向和水平方向中的至少一个方向上执行插值。
参照图5a至图5d描述的语法是实施例，本说明书的各种实施例可通过构造与图5a至图5d的语法的构造不同的语法来实现。
图6a示出根据实施例的可伸缩视频编码设备600的框图。
可伸缩视频编码设备600可包括下采样单元605、参考层编码器610、上采样单元650、当前层编码器660和复用器690。
下采样单元605接收当前层画面602的输入。下采样单元605通过对输入的当前层画面602进行下采样来产生参考层画面607。
参考层编码器610接收参考层画面607的输入。参考层编码器610对参考层画面607进行编码。参考层编码器610可根据单个层编码方案对参考层画面607进行编码。参照层编码器610可通过对参考层画面607进行编码并随后进行解码来重建参考层画面607，并可将重建的参考层画面607存储在存储器(未示出)中。另外，参考层编码器610可从参考层画面607确定参考区域651。
上采样单元650从参考层编码器610接收参考区域651的输入。上采样单元650通过对参考区域651进行上采样来确定扩展参考区域652。
当前层编码器660接收当前层画面602和扩展参考区域652的输入。当前层编码器660可根据单个层编码方案对当前层画面602进行编码。此外，当前层编码器660可通过根据扩展参考区域652产生当前层画面602的预测画面来对当前层画面602进行编码。
参考层编码器610将包括参考层画面607的编码信息的比特流发送到复用器690。当前层编码器660将包括当前层画面602的编码信息的比特流发送到复用器690。
复用器690通过将从参考层编码器610和当前层编码器660发送的比特流进行合并来产生可伸缩比特流695。
参考层编码器610或当前层编码器660可确定样点的垂直相位差和水平相位差。复用器690可输出包括所确定的垂直相位差和水平相位差的可伸缩比特流695。
下采样单元605、参考层编码器610、上采样单元650和当前层编码器660与图2a的编码器210相应。复用器690与图2a的输出单元220相应。
图6b示出根据实施例的可伸缩视频编码设备600的框图。图6b具体示出了由参考层编码器610和当前层编码器660进行的编码过程。
参考层编码器610可通过根据最大编码单元、编码单元、预测单元、变换单元等对参考层画面607进行划分来对参考层画面607进行编码。帧内预测器622可通过根据帧内模式和编码深度确定最佳编码模式来预测参考层画面607。运动补偿器624可通过参考存储在存储器中的参考画面列表来预测参考层画面607。参考画面列表可包括输入到参考层编码器610的参考层画面。可根据帧内预测或帧间预测，针对每个预测单元产生残差数据。
变换器/量化器630通过对残差数据执行频率变换和量化来产生量化后的变换系数。随后，熵编码器632对量化后的变换系数进行熵编码。经过熵编码的量化后的变换系数以及通过编码过程而产生的多条编码信息被发送到复用器690。
逆变换器/反量化器634通过对量化后的变换系数进行反量化和逆变换来重建残差数据。帧内预测器662或运动补偿器624通过使用残差数据和编码信息来重建参考层画面607。
当根据帧间预测模式预测参考层画面607时，可通过环路滤波器636来补偿重建的参考层画面607的编码误差。环路滤波器636可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
重建的参考层画面607可被存储在存储器638中。另外，重建的参考层画面607可被发送到运动补偿器624，并可用于针对另一参考层画面的预测。
存储在存储器638中的参考层画面607的参考区域651可由上采样单元650进行上采样。上采样单元650可将作为上采样后的参考区域651的扩展参考区域发送到当前层编码器660的存储器688。
另外，运动补偿器624可产生通过根据当前层画面与参考层画面的缩放比率对运动预测信息进行缩放而获得的层间运动预测信息654，其中，运动预测信息已在帧间预测时被使用。运动补偿器624可将层间运动预测信息654发送到当前层编码器660的运动补偿器674。
根据上述方案，可重复针对参考层画面的编码操作。
当前层编码器660可通过根据最大编码单元、编码单元、预测单元、变换单元等对当前层画面602进行划分来对当前层画面602进行编码。帧内预测器672可通过根据帧内模式和编码深度确定最佳编码模式来预测当前层画面602。运动补偿器674可通过参考存储在存储器中的参考画面列表来预测当前层画面602。另外，对于帧间预测，运动补偿器674可使用由参考层编码器610的运动补偿器624产生的层间运动预测信息654。参考画面列表可包括输入到当前层编码器660的当前层画面以及由上采样单元650上采样得到的扩展参考区域652。可根据帧内预测或帧间预测，针对每个预测单元产生残差数据。
变换器/量化器680通过对残差数据执行频率变换和量化来产生量化后的变换系数。随后，熵编码器682对量化后的变换系数进行熵编码。经过熵编码的量化后的变换系数以及通过编码过程产生的多条编码信息被发送到复用器690。
逆变换器/反量化器684通过对量化后的变换系数进行反量化和逆变换来重建残差数据。帧内预测器672或运动补偿器674通过使用残差数据和编码信息来重建当前层画面602。
当根据帧间预测模式来预测当前层画面602时，可通过环路滤波器686来补偿重建的当前层画面602的编码误差。环路滤波器686可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
重建的当前层画面602可被存储在存储器688中。另外，重建的当前层画面602可被发送到运动补偿器624，并可用于针对另一参考层画面的预测。
根据上述方案，可重复针对当前层画面的编码操作。
图7a示出根据实施例的可伸缩视频解码设备700的框图。
可伸缩视频解码设备700可包括解复用器705、参考层解码器710、上采样单元750和当前层解码器760。
解复用器705接收可伸缩比特流702的输入。随后，解复用器705解析可伸缩比特流702，并将可伸缩比特流702划分为关于当前层画面797的比特流和关于参考层画面795的比特流。关于当前层画面797的比特流被发送到当前层解码器760。关于参考层画面795的比特流被发送到参考层解码器710。
参考层解码器710对输入的关于参考层画面795的比特流进行解码。参考层解码器710可根据单个层解码方案对参考层画面795进行解码。参考层解码器710可将解码的参考层画面795存储在存储器(未示出)中。另外，参考层解码器710可从解码的参考层画面795确定参考区域751。参考层画面795可因参考层解码器710的解码过程而被输出。
上采样单元750从参考层解码器710接收参考区域751的输入。随后，上采样单元740对参考区域751进行上采样，并确定扩展参考区域752。
当前层解码器760接收关于当前层画面797和扩展参考区域752的比特流的输入。当前层解码器760可根据单个层解码方案对当前层画面797进行解码。另外，当前层解码器760可根据扩展参考区域752产生当前层画面797的预测画面，并可对当前层画面797进行解码。当前层画面797可经由当前层解码器760的解码过程而被输出。
解复用器705可从可伸缩比特流702获得垂直相位差和水平相位差。上采样单元750可基于样点的垂直相位差和水平相位差来对参考区域751进行上采样。
解复用器705与图1a的接收和提取单元110相应。参考层解码器710、上采样单元750和当前层解码器760与图1a的解码器120相应。
图7b示出根据实施例的可伸缩视频解码设备700的框图。图7b具体示出由参考层编码器710和当前层解码器760进行的解码过程。
熵解码器720通过对关于参考层画面795的比特流进行熵解码来产生量化后的变换系数。随后，逆变换器/反量化器722通过对量化后的变换系数进行反量化和逆变换来重建残差数据。
帧内预测器732可根据残差数据和编码信息来预测参考层画面795。运动补偿器734可通过参考存储在存储器中的残差数据和参考画面列表来预测参考层画面795。参考画面列表包括由参考层解码器710重建的参考层画面。
当根据帧间预测模式预测参考层画面795时，可通过环路滤波器724来补偿重建的参考层画面795的编码误差。环路滤波器724可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
重建的参考层画面795可被存储在存储器738中。重建的参考层画面795可被发送到运动补偿器734，并可用于针对另一参考层画面的预测。
存储在存储器738中的参考层画面795的参考区域751可由上采样单元750进行上采样。上采样单元750可将作为上采样后的参考区域751的扩展参考区域发送到当前层解码器760的存储器788。
环路滤波器724可产生通过根据当前层画面与参考层画面的缩放比率对运动预测信息进行缩放而获得的层间运动预测信息754，其中，运动预测信息已在帧间预测中被使用。运动补偿器734可将层间运动预测信息754发送到当前层解码器的运动补偿器784。
根据上述方案，可重复针对参考层画面的解码操作。
熵解码器770可通过对关于当前层画面797的比特流进行熵解码来产生量化后的变换系数。随后，逆变换器/反量化器772通过对量化后的变换系数进行反量化和逆变换来重建残差数据。
帧内预测器782可根据残差数据和编码信息来预测当前层画面797。运动补偿器784可通过参考存储在存储器788中的残差数据和参考画面列表来预测当前层画面797。运动补偿器784可使用用于帧间预测的层间运动预测信息754，其中，层间运动预测信息754由参考层解码器710的运动补偿器734产生。参考画面列表包括由当前层解码器760重建的当前层画面以及由上采样单元750上采样得到的扩展参考区域752。
当根据帧间预测模式预测当前层画面797时，通过环路滤波器774来补偿重建的当前层画面797的编码误差。环路滤波器774可包括去块滤波器和样点自适应偏移(SAO)滤波器中的至少一个。
重建的当前层画面797可被存储在存储器788中。随后，重建的当前层画面797可被发送到运动补偿器784，并可被用于针对另一参考层画面的预测。
根据上述方案，可重复针对当前层画面的解码操作。
通过解码操作，参考层画面795可从参考层解码器710输出，当前层画面797可从当前层解码器760输出。
参照图6和图7，描述了仅包括两个层的可伸缩视频编码/解码设备。然而，参照图6和图7提供的编码/解码原理也可被应用到包括三个或更多个层的可伸缩视频编码/解码设备。例如，当输入图像被编码为第一层、第二层和第三层时，在由第一层编码器和第二层编码器进行的编码过程期间可产生用于层间预测的扩展参考区域以及层间运动预测信息。同样，在由第二层编码器和第三层编码器进行的编码过程期间可产生用于层间预测的扩展参考区域以及层间运动预测信息。
参照图8至图18详细地描述参照图6和图7描述的以块单位执行的根据树结构的编码/解码方法。
因此，为了便于描述，由于对单层视频执行将参照图8a至图18描述的基于根据树结构的编码单元的视频编码处理和视频解码处理，因此将仅描述帧间预测和运动补偿。然而，如参照图6a至图7b所描述的，参考层画面和当前层画面之间的层间预测和补偿被执行以对视频流进行编码/解码。
因此，为了使根据实施例的可伸缩视频编码设备800的编码器110基于树结构的编码单元对多层视频进行编码，可伸缩视频编码设备800可包括与多层视频的层数一样多的图8a的视频编码设备800以对每个单层视频执行视频编码，并可分别控制视频编码设备800对单层视频进行编码。此外，可伸缩视频编码设备800可通过使用由视频编码设备800获得的关于离散的单视点的编码结果来执行视点间预测。因此，可伸缩视频编码设备800的编码器110可产生包括每个层的编码结果的基本层视频流和当前层视频流。
类似地，为了使可伸缩视频解码设备850的解码器基于树结构的编码单元对多层视频进行解码，可伸缩视频解码设备850可包括与多层视频的层数一样多的图8b的视频解码设备850，以便对接收到的参考层视频流和接收到的当前层视频流中的每个层执行视频解码，并可分别控制视频解码设备850对单层视频进行解码。此外，可伸缩视频解码设备850可通过使用关于由视频解码设备850获得的离散的单层的解码结果来执行层间补偿。因此，可伸缩视频解码设备850可产生针对每个层而被重建的参考层图像和当前层图像。
图8a示出根据各种实施例的基于树结构的编码单元的视频编码设备800的框图。
涉及基于树结构的编码单元的视频预测的视频编码设备800包括编码器810和输出单元820。在下文中，为便于描述，涉及基于树结构的编码单元的视频预测的视频编码设备800被称为“视频编码设备800”。
编码器810可基于图像的当前画面的最大编码单元来划分当前画面，其中，最大编码单元是具有最大尺寸的编码单元。如果当前画面大于最大编码单元，则可将当前画面的图像数据划分为至少一个最大编码单元。根据实施例的最大编码单元可以是尺寸为32×32、64×64、128×128、256×256等的数据单元，其中，数据单元的形状是宽度和长度为2的若干次方的正方形。
根据实施例的编码单元可由最大尺寸和深度表征。深度表示编码单元从最大编码单元被空间划分的次数，并且随着深度加深，根据深度的较深层编码单元可从最大编码单元被划分到最小编码单元。最大编码单元的深度可被定义为最高深度，最小编码单元的深度可被定义为最低深度。由于随着最大编码单元的深度加深，与每个深度相应的编码单元的尺寸减小，因此与更高深度相应的编码单元可包括多个与更低深度相应的编码单元。
如上所述，当前画面的图像数据根据编码单元的最大尺寸被划分为最大编码单元，并且每个最大编码单元可包括根据深度被划分的较深层编码单元。由于根据深度对根据实施例的最大编码单元进行划分，因此可根据深度对包括在最大编码单元中的空间域的图像数据进行分层分类。
可预先确定编码单元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大编码单元的高度和宽度被分层划分的总次数。
编码器810对通过根据深度对最大编码单元的区域进行划分而获得的至少一个划分区域进行编码，并且根据所述至少一个划分区域来确定用于输出最终编码结果的深度。也就是说，编码器810通过根据当前画面的最大编码单元以根据深度的较深层编码单元对图像数据进行编码，并选择具有最小编码误差的深度，来确定编码深度。将确定的编码深度和根据最大编码单元的图像数据输出到输出单元820。
基于与等于或低于最大深度的至少一个深度相应的较深层编码单元，对最大编码单元中的图像数据进行编码，并且比较基于每个较深层编码单元对图像数据进行编码的结果。在对较深层编码单元的编码误差进行比较之后，可选择具有最小编码误差的深度。可针对每个最大编码单元选择至少一个编码深度。
随着编码单元根据深度而被分层地划分并且随着编码单元的数量增加，最大编码单元的尺寸被划分。此外，即使在一个最大编码单元中编码单元与同一深度相应，仍通过分别测量每个编码单元的图像数据的编码误差来确定是否将与同一深度相应的每个编码单元划分到更低深度。因此，即使当图像数据被包括在一个最大编码单元中时，在该一个最大编码单元中，编码误差仍可根据区域而不同，因此在图像数据中，编码深度可根据区域而不同。因此，可在一个最大编码单元中确定一个或更多个编码深度，并且可根据至少一个编码深度的编码单元来对最大编码单元的图像数据进行划分。
因此，根据实施例的编码器810可确定包括在当前最大编码单元中的具有树结构的编码单元。根据实施例的“具有树结构的编码单元”包括当前最大编码单元中包括的所有较深层编码单元之中的与确定为编码深度的深度相应的编码单元。在最大编码单元的同一区域中，可根据深度来分层地确定编码深度的编码单元，并可在不同区域中独立地确定编码深度的编码单元。同样，可与另一区域中的编码深度独立地确定当前区域中的编码深度。
根据实施例的最大深度是与从最大编码单元到最小编码单元的划分次数相关的索引。根据实施例的最大深度可表示从最大编码单元到最小编码单元的总划分次数。例如，当最大编码单元的深度是0时，对最大编码单元划分一次的编码单元的深度可被设置为1，对最大编码单元划分两次的编码单元的深度可被设置为2。这里，如果最小编码单元是最大编码单元被划分四次的编码单元，则存在深度0、1、2、3和4的深度等级，并且因此最大深度可被设置为4。
可根据最大编码单元执行预测编码和变换。根据最大编码单元，还基于根据等于或小于最大深度的深度的较深层编码单元来执行预测编码和变换。
由于每当根据深度对最大编码单元进行划分时，较深层编码单元的数量增加，因此对随着深度加深而产生的所有较深层编码单元执行包括预测编码和变换的编码。以下为了便于描述，在至少一个最大编码单元中，将基于当前深度的编码单元来描述预测编码和变换。
根据实施例的视频编码设备800可不同地选择用于对图像数据进行编码的数据单元的尺寸或形状。为了对图像数据进行编码，执行诸如预测编码、变换和熵编码的操作，此时，可针对所有操作使用相同的数据单元，或者可针对每个操作使用不同的数据单元。
例如，视频编码设备800不仅可选择用于对图像数据进行编码的编码单元，还可选择不同于编码单元的数据单元，以便对编码单元中的图像数据执行预测编码。
为了在最大编码单元中执行预测编码，可基于编码深度的编码单元(即，基于不再被划分的编码单元)来执行预测编码。在下文中，不再被划分且成为用于预测编码的基本单元的编码单元现在将被称为“预测单元”。通过划分预测单元而获得的分区可包括预测单元以及通过对从预测单元的高度和宽度中选择的至少一个进行划分而获得的数据单元。分区是编码单元的预测单元被划分的数据单元，并且预测单元可以是与编码单元具有相同尺寸的分区。
例如，当2N×2N(其中，N是正整数)的编码单元不再被划分并成为2N×2N的预测单元时，分区的尺寸可以是2N×2N、2N×N、N×2N或N×N。分区类型的示例选择性地包括通过对预测单元的高度或宽度进行对称地划分而获得的对称分区、通过对预测单元的高度或宽度进行非对称地划分(诸如，1：n或n:1)而获得的分区、通过对预测单元进行几何地划分而获得的分区、或具有任意形状的分区。
预测单元的预测模式可以是帧内模式、帧间模式和跳过模式中的至少一个。例如，可对2N×2N、2N×N、N×2N或N×N的分区执行帧内模式和帧间模式。此外，可仅对2N×2N的分区执行跳过模式。可对编码单元中的一个预测单元独立地执行编码，从而选择具有最小编码误差的预测模式。
根据实施例的视频编码设备800不仅可基于用于对图像数据进行编码的编码单元还可基于与编码单元不同的数据单元，来对编码单元中的图像数据执行变换。为了在编码单元中执行变换，可基于具有小于或等于编码单元的尺寸的数据单元来执行变换。例如，变换单元可包括帧内模式的数据单元和帧间模式的变换单元。
以与根据树结构的编码单元类似的方式，编码单元中的变换单元可被递归地划分为更小尺寸的区域。因此，可基于根据变换深度的具有树结构的变换单元，对编码单元中的残差数据进行划分。
还可在变换单元中设置变换深度，其中，变换深度指示通过对编码单元的高度和宽度进行划分而达到变换单元的划分次数。例如，在2N×2N的当前编码单元中，当变换单元的尺寸是2N×2N时，变换深度可以是0，当变换单元的尺寸是N×N时，变换深度可以是1，当变换单元的尺寸是N/2×N/2时，变换深度可以是2。也就是说，针对变换单元，可根据变换深度设置具有树结构的变换单元。
根据编码深度的编码信息不仅需要关于编码深度的信息，还需要与预测和变换相关的信息。因此，编码器810不仅可确定产生最小编码误差的编码深度，还可确定将预测单元划分为分区的分区类型、根据预测单元的预测模式以及用于变换的变换单元的尺寸。
稍后将参照图15至图24详细描述根据实施例的最大编码单元中的根据树结构的编码单元以及确定预测单元/分区和变换单元的方法。
编码器810可通过使用基于拉格朗日乘数的率失真优化来测量根据深度的较深层编码单元的编码误差。
输出单元820在比特流中输出最大编码单元的图像数据和根据深度的编码模式信息，其中，所述最大编码单元的图像数据基于由编码器810确定的至少一个编码深度而被编码。
编码的图像数据可与通过对图像的残差数据进行编码而获得的结果相应。
根据深度的编码模式信息可包括编码深度信息、预测单元的分区类型信息、预测模式信息和变换单元的尺寸信息。
可通过使用根据深度的划分信息来定义编码深度信息，其中，根据深度的划分信息指示是否对更低深度而不是当前深度的编码单元执行编码。如果当前编码单元的当前深度是编码深度，则通过使用当前深度的编码单元对当前编码单元进行编码，因此可将当前深度的划分信息定义为不将当前编码单元划分到更低深度。相反，如果当前编码单元的当前深度不是编码深度，则必须对更低深度的编码单元执行编码，并因此可将当前深度的划分信息定义为将当前编码单元划分为更低深度的编码单元。
如果当前深度不是编码深度，则对被划分到更低深度的编码单元的编码单元执行编码。由于更低深度的至少一个编码单元存在于当前深度的一个编码单元中，因此对更低深度的每个编码单元重复执行编码，并因此可对具有相同深度的编码单元递归地执行编码。
由于针对一个最大编码单元确定具有树结构的编码单元，并且针对编码深度的编码单元必须确定至少一条编码模式信息，因此可针对一个最大编码单元确定至少一条编码模式信息。此外，由于根据深度对最大编码单元的数据进行分层划分，因此最大编码单元的数据的编码深度可根据位置而不同，因此可针对最大编码单元的数据设置编码深度和编码模式信息。
因此，根据实施例的输出单元820可将关于相应编码深度和编码模式的编码信息分配给包括在最大编码单元中的编码单元、预测单元和最小单元中的至少一个。
根据实施例的最小单元是通过将构成最低编码深度的最小编码单元划分为4份而获得的正方形数据单元。可选择地，根据实施例的最小单元可以是可包括在最大编码单元中所包括的所有编码单元、预测单元、分区单元和变换单元中的最大正方形数据单元。
例如，通过输出单元820输出的编码信息可被分类为根据较深层编码单元的编码信息和根据预测单元的编码信息。根据较深层编码单元的编码信息可包括关于预测模式的信息和关于分区尺寸的信息。根据预测单元的编码信息可包括关于在帧间模式期间的估计方向的信息、关于帧间模式的参考图像索引的信息、关于运动矢量的信息、关于帧内模式的色度分量的信息、以及关于在帧内模式期间的插值方法的信息。
根据画面、条带段或GOP定义的关于编码单元的最大尺寸的信息和关于最大深度的信息可被插入到比特流的头、序列参数集或画面参数集中。
还可通过比特流的头、序列参数集或画面参数集来输出关于针对当前视频允许的变换单元的最大尺寸的信息、以及关于变换单元的最小尺寸的信息。输出单元820可对与预测相关的参考信息、预测信息和条带段类型信息进行编码，并输出这些信息。
根据针对视频编码设备800的最简单的实施例，较深层编码单元可以是通过将更高深度(更高一层)的编码单元的高度或宽度划分成两份而获得的编码单元。也就是说，在当前深度的编码单元的尺寸是2N×2N时，更低深度的编码单元的尺寸是N×N。此外，尺寸为2N×2N的当前编码单元可包括最多4个尺寸为N×N的更低深度的编码单元。
因此，视频编码设备800可基于考虑当前画面的特征而确定的最大编码单元的尺寸和最大深度，通过针对每个最大编码单元确定具有最优形状和最优尺寸的编码单元来形成具有树结构的编码单元。此外，由于可通过使用各种预测模式和变换中的任意一个对每个最大编码单元执行编码，因此可通过考虑各种图像尺寸的编码单元的特征来确定最优编码模式。
因此，如果以传统宏块对具有高分辨率或大数据量的图像进行编码，则每个画面的宏块的数量极度增加。因此，针对每个宏块产生的压缩信息的条数增加，因此难以发送压缩的信息，并且数据压缩效率降低。然而，通过使用根据实施例的视频编码设备，由于在考虑图像的尺寸的同时增加编码单元的最大尺寸，并且在考虑图像的特征的同时调整编码单元，因此可提高图像压缩效率。
以上参照图6a描述的可伸缩视频编码设备600可包括与层数相应的视频编码设备800，以便根据多层视频中的每个层对单层图像进行编码。例如，参考层编码器610可包括一个视频编码设备800，当前层编码器660可包括与当前层的数量相应的视频编码设备800。
当视频编码设备800对参考层图像进行编码时，编码器810可根据每个最大编码单元中的树结构的编码单元中的每个编码单元确定用于图像间预测的预测单元，并可对每个预测单元执行图像间预测。
当视频编码设备800对当前层图像进行编码时，编码器810可在每个最大编码单元中确定树结构的编码单元和预测单元，并可对每个预测单元执行帧间预测。
视频编码设备800可通过使用SAO对用于预测当前层图像的层间预测误差进行编码。因此，可基于预测误差的样点值分布，通过使用关于SAO类型和偏移的信息来对当前层图像的预测误差进行编码，而不必对每个样点位置的预测误差进行编码。
图8b示出根据各种实施例的基于具有树结构的编码单元的视频解码设备850的框图。
涉及基于根据树结构的编码单元的视频预测的视频解码设备850包括接收和提取单元110、图像数据和编码信息接收和提取单元860以及解码器870。以下，为了便于描述，涉及基于根据树结构的编码单元的视频预测的视频解码设备850将被简称为“视频解码设备850”。
用于视频解码设备850的解码操作的各种术语(诸如编码单元、深度、预测单元、变换单元和关于各种编码模式的信息)的定义与参照图8a和视频编码设备800描述的定义相同。
接收和提取单元860接收并解析编码的视频的比特流。图像数据和编码信息接收和提取单元860从解析的比特流针对每个编码单元提取编码的图像数据，并将提取的图像数据输出到解码器870，其中，编码单元具有根据每个最大编码单元的树结构。图像数据和编码信息接收和提取单元860可从关于当前画面的头、序列参数集或画面参数集提取关于当前画面的编码单元的最大尺寸的信息。
此外，图像数据和编码信息接收和提取单元860从解析的比特流根据每个最大编码单元提取关于具有树结构的编码单元的编码深度和编码模式的信息。提取的关于编码深度和编码模式的信息被输出到解码器870。也就是说，比特流中的图像数据被划分为最大编码单元，使得解码器870针对每个最大编码单元对图像数据进行解码。
可针对关于至少一个与编码深度相应的编码单元的信息设置根据最大编码单元的关于编码深度和编码模式的信息，关于编码模式的信息可包括关于与编码深度相应的相应编码单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息。此外，根据深度的划分信息可被提取为关于编码深度的信息。
由图像数据和编码信息接收和提取单元860提取的根据每个最大编码单元的关于编码深度和编码模式的信息是这样的关于编码深度和编码模式的信息：所述编码深度和编码模式被确定为在编码器(诸如，根据实施例的视频编码设备800)根据每个最大编码单元对根据深度的每个较深层编码单元重复地执行编码时产生最小编码误差。因此，视频解码设备850可通过根据产生最小编码误差的编码方法对数据进行解码来重建图像。
由于根据实施例的关于编码深度和编码模式的编码信息可被分配给相应的编码单元、预测单元和最小单元之中的预定数据单元，因此图像数据和编码信息接收和提取单元860可根据所述预定数据单元提取关于编码深度和编码模式的信息。可将被分配相同的关于编码深度和编码模式的信息的预定数据单元推断为是包括在同一最大编码单元中的数据单元。
解码器870可通过基于根据每个最大编码单元的编码深度和编码模式信息对每个最大编码单元中的图像数据进行解码来重建当前画面。也就是说，解码器870可基于针对包括在每个最大编码单元中的具有树结构的编码单元之中的每个编码单元的读取分区类型、预测模式和变换单元，对编码的图像数据进行解码。解码处理可包括预测处理(包含帧内预测和运动补偿)和逆变换处理。
解码器870可基于关于根据编码深度的编码单元的预测单元的分区类型和预测模式的信息，根据每个编码单元的分区和预测模式执行帧内预测或运动补偿。
此外，为了针对每个最大编码单元来进行逆变换，解码器870可针对每个编码单元读取关于根据树结构的变换单元的信息，以便基于每个编码单元的变换单元执行逆变换。由于逆变换，可重建编码单元的空间域的像素值。
解码器870可通过使用根据深度的划分信息来确定当前最大编码单元的编码深度。如果划分信息指示图像数据在当前深度中不再被划分，则当前深度是编码深度。因此，解码器870可针对与当前深度相应的每个编码单元，通过使用关于预测单元的分区类型的信息、关于预测模式的信息和关于变换单元的尺寸的信息，对当前最大编码单元的图像数据进行解码。
也就是说，可通过观察被分配用于编码单元、预测单元和最小单元之中的预定数据单元的编码信息集来收集包含包括相同划分信息的编码信息的数据单元，并且收集的数据单元可被认为是将由解码器870以相同编码模式进行解码的一个数据单元。这样，可通过获得关于每个编码单元的编码模式的信息来对当前编码单元进行解码。
以上参照图7b描述的可伸缩视频解码设备700可包括与视点数相应的视频解码设备850，以便通过对接收到的参考层图像流和接收到的当前层图像流进行解码来重建参考层图像和当前层图像。
当参考层图像流被接收时，视频解码设备850的解码器870可将由接收和提取单元860从参考层图像流提取的参考层图像的样点划分为最大编码单元的根据树结构的编码单元。解码器870可基于用于图像间预测的预测单元，对参考层图像的样点的根据树结构的编码单元中的每个编码单元执行运动补偿，并可重建参考层图像。
在当前层图像流被接收时，视频解码设备850的解码器870可将由接收和提取单元860从当前层图像流提取的当前层图像的样点划分为最大编码单元的根据树结构的编码单元。解码器870可基于用于图像间预测的预测单元，对当前层图像的样点的根据树结构的编码单元中的每个编码单元执行运动补偿，并可重建当前层图像。
接收和提取单元860可从接收到的当前层比特流获得SAO类型和偏移，并可根据当前层预测图像的每个样点的样点值的分布确定SAO类别，由此通过使用SAO类型和偏移来获得针对每个SAO类别的偏移。因此，解码器870可在不接收每个样点的预测误差的情况下，补偿当前层预测图像的每个样点的相应类别的偏移，并可通过参考被补偿的当前层预测图像来确定重建的当前层图像。
因此，视频解码设备850可获得与在对每个最大编码单元递归地执行编码时产生最小编码误差的至少一个编码单元有关的信息，并可使用所述信息来对当前画面进行解码。也就是说，可对每个最大编码单元中的被确定为最优编码单元的具有树结构的编码单元进行解码。
因此，即使数据具有高分辨率或具有过大的数据量，也可通过使用编码单元的尺寸和编码模式来有效地对图像进行解码和重建，其中，所述编码单元的尺寸和编码模式是通过使用从编码终端接收的最优编码模式信息，根据图像的特性而被自适应地确定的。
图9示出根据各种实施例的编码单元的构思。
编码单元的尺寸可由宽度×高度来表示，并且可以是64×64、32×32、16×16和8×8。64×64的编码单元可被划分为64×64、64×32、32×64或32×32的分区，32×32的编码单元可被划分为32×32、32×16、16×32或16×16的分区，16×16的编码单元可被划分为16×16、16×8、8×16或8×8的分区，8×8的编码单元可被划分为8×8、8×4、4×8或4×4的分区。
在视频数据910中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为2。在视频数据920中，分辨率为1920×1080，编码单元的最大尺寸为64，最大深度为3。在视频数据930中，分辨率为352×288，编码单元的最大尺寸为16，最大深度为1。图15中示出的最大深度表示从最大编码单元到最小编码单元的划分总次数。
如果分辨率高或数据量大，则优选的是编码单元的最大尺寸大，从而不仅提高编码效率，而且准确地反映图像的特征。因此，具有比视频数据930更高分辨率的视频数据910和920的编码单元的最大尺寸可被选为64。
由于视频数据910的最大深度是2，因此由于通过对最大编码单元划分两次，深度加深至两层，因此视频数据910的编码单元915可包括长轴尺寸为64的最大编码单元和长轴尺寸为32和16的编码单元。另一方面，由于视频数据930的最大深度是1，因此由于通过对最大编码单元划分一次，深度加深至一层，因此视频数据930的编码单元935可包括长轴尺寸为16的最大编码单元和长轴尺寸为8的编码单元。
由于视频数据920的最大深度是3，因此由于通过对最大编码单元划分三次，深度加深至3层，因此视频数据920的编码单元925可包括长轴尺寸为64的最大编码单元和长轴尺寸为32、16和8的编码单元。随着深度加深，关于详细信息的表现能力可被提高。
图10a示出根据各种实施例的基于编码单元的图像编码器1000的框图。
根据实施例的图像编码器1000包括由视频编码设备900的编码器910对图像数据进行编码所执行的操作。也就是说，帧内预测器1004在当前帧1002中对帧内模式下的编码单元执行帧内预测，运动估计器1006和运动补偿器1008通过使用当前帧1002和参考帧1026对当前帧1002中的帧间模式下的编码单元执行帧间估计和运动补偿。
从帧内预测器1004、运动估计器1006和运动补偿器1008输出的数据通过变换器1010和量化器1012被输出为量化后的变换系数。量化后的变换系数通过反量化器1018和逆变换器1020被恢复为空间域中的数据，并且恢复的空间域中的数据在通过去块单元1022和偏移补偿单元1024的后处理之后被输出为参考帧1026。量化后的变换系数可通过熵编码器1014被输出为比特流1016。
为了将图像编码器1000应用于视频编码设备900，图像编码器1000的所有元件(即，帧内预测器1004、运动估计器1006、运动补偿器1008、变换器1010、量化器1012、熵编码器1014、反量化器41018、逆变换器1020、去块单元1022和偏移补偿单元1024)在考虑每个最大编码单元的最大深度的同时，基于具有树结构的编码单元之中的每个编码单元执行操作。
具体地，帧内预测器1004、运动估计器1006和运动补偿器1008在考虑当前最大编码单元的最大尺寸和最大深度的同时确定具有树结构的编码单元之中的每个编码单元的分区和预测模式，变换器1010确定具有树结构的编码单元之中的每个编码单元中的变换单元的尺寸。
图10b示出根据各种实施例的基于编码单元的图像解码器1050的框图。
解析器1054从比特流1052解析将被解码的编码图像数据以及解码所需的关于编码的信息。编码图像数据通过熵解码器和反量化器1058被输出为反量化的数据，反量化的数据通过逆变换器1060被恢复为空间域中的图像数据。
帧内预测器1062针对空间域中的图像数据对帧内模式下的编码单元执行帧内预测，运动补偿器1064通过使用参考帧1070对帧间模式下的编码单元执行运动补偿。
通过帧内预测器1062和运动补偿器1064的空间域中的图像数据可在通过去块单元1066和偏移补偿单元1068的后处理之后被输出为恢复的帧1072。此外，通过去块单元1066和偏移补偿单元1068的后处理的图像数据可被输出为参考帧1070。
为了在视频解码设备1050的解码器970中对图像数据进行解码，根据实施例的图像解码器1050可执行在解析器1054执行操作之后被执行的操作。
为了将图像解码器1050应用到视频解码设备950，图像解码器1050的所有元件(即，解析器1054、熵解码器1056、反量化器1058、逆变换器1060、帧内预测器1062、运动补偿器1064、去块单元1066和偏移补偿单元1068)针对每个最大编码单元，基于具有树结构的编码单元执行操作。
具体地，帧内预测器1062和运动补偿器1064针对每个具有树结构的编码单元，基于分区和预测模式执行操作，逆变换器1060针对每个编码单元，基于变换单元的尺寸执行操作。
图10a的编码操作和图10b的解码操作分别详细描述了单个层中的视频流编码操作和视频流解码操作。因此如果图6a的可伸缩视频编码设备600对两个或更多个层的视频流进行编码，则可针对每个层提供图像编码器1000。类似地，如果图7a的可伸缩视频解码设备700对两个或更多个层的视频流进行解码，则可针对每个层提供图像解码器1050。
图11示出根据各种实施例的根据深度的较深层编码单元以及分区的示图。
根据实施例的视频编码设备800和根据实施例的视频解码设备850使用分层编码单元以考虑图像的特征。可根据图像的特征自适应地确定编码单元的最大高度、最大宽度和最大深度，或可由用户不同地设置编码单元的最大高度、最大宽度和最大深度。可根据编码单元的预定最大尺寸来确定根据深度的较深层编码单元的尺寸。
在根据实施例的编码单元的分层结构1100中，编码单元的最大高度和最大宽度均是64，最大深度是4。在此情况下，最大深度是指编码单元从最大编码单元到最小编码单元被划分的总次数。由于深度沿着分层结构1100的垂直轴加深，因此较深层编码单元的高度和宽度均被划分。此外，预测单元和分区沿着分层结构1100的水平轴被示出，其中，所述预测单元和分区是对每个较深层编码单元进行预测编码的基础。
也就是说，编码单元1110是分层结构1100中的最大编码单元，其中，深度为0，尺寸(即，高度乘宽度)为64×64。深度沿着垂直轴加深，存在尺寸为32×32且深度为1的编码单元1120、尺寸为16×16且深度为2的编码单元1130、尺寸为8×8且深度为3的编码单元1140。尺寸为8×8且深度为3的编码单元1140是最小编码单元。
编码单元的预测单元和分区根据每个深度沿着水平轴被排列。也就是说，如果尺寸为64×64且深度为0的编码单元1110是预测单元，则可将预测单元划分成包括在尺寸为64×64的编码单元1110中的分区，即，尺寸为64×64的分区1110、尺寸为64×32的分区1112、尺寸为32×64的分区1114或尺寸为32×32的分区1116。
同样，可将尺寸为32×32且深度为1的编码单元1120的预测单元划分成包括在尺寸为32×32的编码单元1120中的分区，即，尺寸为32×32的分区1120、尺寸为32×16的分区1122、尺寸为16×32的分区1124和尺寸为16×16的分区1126。
同样，可将尺寸为16×16且深度为2的编码单元1130的预测单元划分成包括在尺寸为16×16的编码单元1130中的分区，即，尺寸为16×16的分区1130、尺寸为16×8的分区1132、尺寸为8×16的分区1134和尺寸为8×8的分区1136。
同样，可将尺寸为8×8且深度为3的编码单元1140的预测单元划分成包括在尺寸为8×8的编码单元1140中的分区，即，尺寸为8×8的分区1140、尺寸为8×4的分区1142、尺寸为4×8的分区1144和尺寸为4×4的分区1146。
为了确定最大编码单元1110的编码深度，视频编码设备800的编码器810必须对包括在最大编码单元1110中的分别与深度相应的编码单元执行编码。
随着深度加深，包括具有相同范围和相同尺寸的数据的根据深度的较深层编码单元的数量增加。例如，需要四个与深度2相应的编码单元来覆盖包括在与深度1相应的一个编码单元中的数据。因此，为了根据深度比较对相同数据进行编码的结果，必须通过使用与深度1相应的编码单元和四个与深度2相应的编码单元中的每个编码单元来对数据进行编码。
为了根据多个深度之中的每个深度执行编码，可沿着编码单元的分层结构1100的水平轴，通过对根据深度的编码单元中的每个预测单元执行编码，来选择作为相应深度的代表性编码误差的最小编码误差。此外，随着深度沿着编码单元的分层结构1100的垂直轴加深，可通过针对每个深度执行编码来比较根据深度的代表性编码误差，以搜索最小编码误差。最大编码单元1110中的产生最小编码误差的深度和分区可被选为最大编码单元1110的深度和分区类型。
图12示出用于描述根据各种实施例的编码单元和变换单元之间的关系的示图。
根据实施例的视频编码设备800或根据实施例的视频解码设备850针对每个最大编码单元，根据具有小于或等于最大编码单元的尺寸的编码单元对图像进行编码或解码。可基于不大于相应编码单元的数据单元来选择用于在编码处理期间进行变换的变换单元的尺寸。
例如，在视频编码设备800或视频解码设备850中，如果编码单元1210的尺寸是64×64，则可通过使用尺寸为32×32的变换单元1220来执行变换。
此外，可通过对小于64×64的尺寸为32×32、16×16、8×8和4×4的变换单元中的每一个执行变换，来对尺寸为64×64的编码单元1210的数据进行编码，然后可选择针对原始图像具有最小编码误差的变换单元。
图13示出根据各种实施例的根据深度的多条编码信息。
根据实施例的视频编码设备100的输出单元820可对与编码深度相应的每个编码单元的分区类型信息1300、预测模式信息1310以及变换单元尺寸信息1320进行编码，并将分区类型信息1300、预测模式信息1310以及变换单元尺寸信息1320作为编码模式信息来发送。
分区类型信息1300指示关于通过划分当前编码单元的预测单元而获得的分区的形状的信息，其中，分区是用于对当前编码单元进行预测编码的数据单元。例如，可将尺寸为2N×2N的当前编码单元CU_0划分成以下分区中的任意一个：尺寸为2N×2N的分区1302、尺寸为2N×N的分区1304、尺寸为N×2N的分区1306和尺寸为N×N的分区1308。在这种情况下，关于当前编码单元的分区类型信息1300被设置为指示以下分区之一：尺寸为2N×2N的分区1302、尺寸为2N×N的分区1304、尺寸为N×2N的分区1306和尺寸为N×N的分区1308。
预测模式信息1310指示每个分区的预测模式。例如，预测模式信息1310可指示对由分区类型信息1300指示的分区执行的预测编码的模式，即，帧内模式1312、帧间模式1314或跳过模式1316。
变换单元尺寸信息1320表示当对当前编码单元执行变换时所基于的变换单元。例如，变换单元可以是第一帧内变换单元1322、第二帧内变换单元1324、第一帧间变换单元1326和第二帧间变换单元1328之一。
视频解码设备850的接收和提取单元810可根据每个较深层编码单元，提取并使用用于解码的分区类型信息1300、预测模式信息1310以及变换单元尺寸信息1320。
图14示出根据各种实施例的根据深度的较深层编码单元。
划分信息可用来表示深度的改变。划分信息表示当前深度的编码单元是否被划分成更低深度的编码单元。
用于对深度为0且尺寸为2N_0×2N_0的编码单元1400进行预测编码的预测单元1410可包括以下分区类型的分区：尺寸为2N_0×2N_0的分区类型1412、尺寸为2N_0×N_0的分区类型1414、尺寸为N_0×2N_0的分区类型1416和尺寸为N_0×N_0的分区类型1418。仅示出了通过对称地划分预测单元而获得的分区类型1412、1414、1416和1418，但是，如上所述，分区类型不限于此，并且可包括非对称分区、具有预定形状的分区和具有几何形状的分区。
根据每种分区类型，必须对尺寸为2N_0×2N_0的一个分区、尺寸为2N_0×N_0的两个分区、尺寸为N_0×2N_0的两个分区和尺寸为N_0×N_0的四个分区重复地执行预测编码。可对尺寸为2N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分区执行帧内模式和帧间模式下的预测编码。可仅对尺寸为2N_0×2N_0的分区执行跳过模式下的预测编码。
如果在尺寸为2N_0x2N_0、2N_0xN_0和N_0x2N_0的分区类型1412、1414和1416中的一个分区类型中编码误差最小，则可不将预测单元1410划分到更低深度。
如果在尺寸为N_0xN_0的分区类型1418中编码误差最小，则深度从0改变到1，并执行划分(在操作1420)，并可对深度为2且尺寸为N_0×N_0的分区类型的编码单元1430重复地执行编码以搜索最小编码误差。
用于对深度为1且尺寸为2N_1×2N_1(＝N_0×N_0)的编码单元1430进行预测编码的预测单元1440可包括以下分区类型：尺寸为2N_1×2N_1的分区类型1442、尺寸为2N_1×N_1的分区类型1444、尺寸为N_1×2N_1的分区类型1446以及尺寸为N_1×N_1的分区类型1448。
如果在尺寸为N_1xN_1的分区类型1448中编码误差最小，则深度从1改变到2并执行划分(在操作1450)，并对深度为2且尺寸为N_2×N_2的编码单元1460重复执行编码以搜索最小编码误差。
当最大深度是d时，根据深度的较深层编码单元可被设置直到深度与d-1相应，并且划分信息可被设置直到深度与d-2相应。也就是说，当编码被执行直到在与d-2的深度相应的编码单元(在操作1470)被划分之后深度是d-1时，用于对深度为d-1且尺寸为2N_(d-1)×2N_(d-1)的编码单元1480进行预测编码的预测单元1490可包括以下分区类型的分区：尺寸为2N_(d-1)×2N_(d-1)的分区类型992、尺寸为2N_(d-1)×N_(d-1)的分区类型1494、尺寸为N_(d-1)×2N_(d-1)的分区类型1496和尺寸为N_(d-1)×N_(d-1)的分区类型1498。
可对分区类型之中的尺寸为2N_(d-1)×2N_(d-1)的一个分区、尺寸为2N_(d-1)×N_(d-1)的两个分区、尺寸为N_(d-1)×2N_(d-1)的两个分区、尺寸为N_(d-1)×N_(d-1)的四个分区重复地执行预测编码，以搜索产生最小编码误差的分区类型。
即使当尺寸为N_(d-1)xN_(d-1)的分区类型1498具有最小编码误差时，由于最大深度是d，因此深度为d-1的编码单元CU_(d-1)不再被划分到更低深度，用于构成当前最大编码单元1400的编码单元的编码深度被确定为d-1，并且当前最大编码单元1400的分区类型可被确定为N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不设置针对深度为d-1的编码单元1452的划分信息。
数据单元1499可以是用于当前最大编码单元的“最小单元”。根据实施例的最小单元可以是通过将具有最低编码深度的最小编码单元划分成4份而获得的正方形数据单元。通过重复地执行编码，根据实施例的视频编码设备800可通过比较根据编码单元1400的深度的编码误差来选择具有最小编码误差的深度以确定编码深度，并将相应分区类型和预测模式设置为编码深度的编码模式。
这样，在所有深度0、1、…、d-1、d中对根据深度的最小编码误差进行比较，并且具有最小编码误差的编码深度可被确定为深度。编码深度、预测单元的分区类型和预测模式可作为编码模式信息被编码并被发送。此外，由于编码单元必须从深度0被划分到编码深度，因此仅将编码深度的划分信息设置为“0”，并且将除了编码深度以外的深度的划分信息设置为“1”。
根据实施例的视频解码设备850的图像数据和编码信息接收和提取单元860可提取并使用关于编码单元1400的编码深度和预测单元信息，以对编码单元1412进行解码。根据实施例的视频解码设备850可通过使用根据深度的划分信息，将划分信息为“0”的编码深度确定为深度，并且使用关于相应深度的编码模式信息来进行解码。
图15、图16和图17示出根据各种实施例的在编码单元、预测单元和变换单元之间的关系。
编码单元1510是最大编码单元中的根据由视频编码设备100确定的编码深度的较深层的编码单元。预测单元1560是根据编码深度的每个编码单元1510的预测单元的分区，变换单元1570是根据编码深度的每个编码单元的变换单元。
当在较深层编码单元1510中最大编码单元的深度是0时，编码单元1512的深度是1，编码单元1514、1516、1518、1528、1550和1552的深度是2，编码单元1520、1522、1524、1526、1530、1532和1548的深度是3，编码单元1540、1542、1544和1546的深度是4。
通过划分编码单元来获得预测单元1560中的一些分区1514、1516、1522、1532、1548、1550、1552和1554。也就是说，分区1514、1522、1550和1554是尺寸为2N×N的分区类型，分区1516、1548和1552是尺寸为N×2N的分区类型，分区1532是尺寸为N×N的分区类型。较深层编码单元1510的预测单元和分区小于或等于每个编码单元。
在小于编码单元1552的数据单元中的变换单元1570中，对编码单元1552的图像数据执行变换或逆变换。此外，在尺寸和形状方面，变换单元1560中的编码单元1514、1516、1522、1532、1548、1550、1552和1554不同于预测单元1560中的编码单元1514、1516、1522、1532、1548、1550、1552和1554。也就是说，根据实施例的视频编码设备800和视频解码设备850可对同一编码单元中的单个数据单元执行帧内预测/运动估计/运动补偿以及变换/逆变换。
因此，对最大编码单元的每个区域中的具有分层结构的每个编码单元递归地执行编码以确定最优编码单元，从而可获得根据递归树结构的编码单元。编码信息可包括关于编码单元的划分信息、分区类型信息、预测类型信息和变换单元尺寸信息。下面的表1示出可由根据实施例的视频编码设备800和视频解码设备850设置的编码信息。
[表1]
根据实施例的视频编码设备800的输出单元820可输出关于具有树结构的编码单元的编码信息，根据实施例的视频解码设备850的编码信息接收和提取单元860可从接收到的比特流提取关于具有树结构的编码单元的编码信息。
划分信息指示是否将当前编码单元划分成更低深度的编码单元。如果当前深度d的划分信息是0，则当前编码单元不再被划分成更低深度的深度是编码深度，从而可针对编码深度来定义分区类型信息、预测模式信息和变换单元尺寸信息。如果当前编码单元根据划分信息必须被进一步划分，则必须对更低深度的四个划分出的编码单元中的每个编码单元独立地执行编码。
预测模式可以是帧内模式、帧间模式和跳过模式中的一种。可在所有分区类型中定义帧内模式和帧间模式，可仅在尺寸为2N×2N的分区类型中定义跳过模式。
分区类型信息可指示通过对称地划分预测单元的高度或宽度而获得的尺寸为2N×2N、2N×N、N×2N和N×N的对称分区类型，以及通过非对称地划分预测单元的高度或宽度而获得的尺寸为2N×nU、2N×nD、nL×2N和nR×2N的非对称分区类型。可通过按1:3和3:1划分预测单元的高度来分别获得尺寸为2N×nU和2N×nD的非对称分区类型，可通过按1:3和3:1划分预测单元的宽度来分别获得尺寸为nL×2N和nR×2N的非对称分区类型。
可将变换单元的尺寸设置成帧内模式下的两种类型和帧间模式下的两种类型。也就是说，如果变换单元的划分信息是0，则变换单元的尺寸可以是2N×2N，即当前编码单元的尺寸。如果变换单元的划分信息是1，则可通过对当前编码单元进行划分来获得变换单元。此外，如果尺寸为2N×2N的当前编码单元的分区类型是对称分区类型，则变换单元的尺寸可以是N×N，如果当前编码单元的分区类型是非对称分区类型，则变换单元的尺寸可以是N/2×N/2。
根据实施例的关于具有树结构的编码单元的编码信息可被分配给编码深度的编码单元、预测单元和最小单元中的至少一个。编码深度的编码单元可包括包含相同编码信息的预测单元和最小单元中的至少一个。
因此，通过比较邻近数据单元的编码信息来确定邻近数据单元是否被包括在与编码深度相应的同一编码单元中。此外，可通过使用数据单元的编码信息来确定与编码深度相应的相应编码单元，并因此可推断最大编码单元中的编码深度的分布。
因此，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可直接参考并使用与当前编码单元邻近的较深层编码单元中的数据单元的编码信息。
在另一实施例中，如果基于邻近数据单元的编码信息来对当前编码单元进行预测，则可通过使用数据单元的编码信息来搜索与当前编码单元邻近的数据单元，并可参考搜索到的邻近编码单元来对当前编码单元进行预测。
图18示出根据表1的编码模式信息的编码单元、预测单元和变换单元之间的关系。
最大编码单元1800包括多个编码深度的编码单元1802、1804、1806、1812、1814、1816和1818。这里，由于编码单元1818是编码深度的编码单元，因此划分信息可被设置成0。可将尺寸为2N×2N的编码单元1818的分区类型信息设置成包括以下项的分区类型中的一种：2N×2N 1822、2N×N1824、N×2N 1826、N×N 1828、2N×nU 1832、2N×nD 1834、nL×2N1836和nR×2N 1838。
变换单元划分信息(TU尺寸标记)是一种类型的变换索引，与变换索引相应的变换单元的尺寸可根据编码单元的预测单元类型或分区类型而改变。
例如，当分区类型信息被设置为对称分区类型2N×2N 1822、2N×N 1824、N×2N1826、N×N 1828之一时，如果变换单元划分信息是0，则设置尺寸为2N×2N的变换单元1842，如果变换单元划分信息是1，则可设置尺寸为N×N的变换单元1844。
当分区类型被设置成非对称分区类型2N×nU 1832、2N×nD 1834、nL×2N1836和nR×2N 1838之一时，如果变换单元划分信息是0，则可设置尺寸为2N×2N的变换单元1852，如果变换单元划分信息是1，则可设置尺寸为N/2×N/2的变换单元1854。
以上参照图18描述的变换单元划分信息(TU尺寸标记)是具有值0或1的标记，但是根据示例性实施例的变换单元划分信息不限于具有1比特的标记，并且变换单元可根据设置，在变换单元划分信息以0、1、2、3、…等的方法增加时被分层划分。变换单元划分信息可以是变换索引的示例。
在这种情况下，可通过使用根据实施例的变换单元划分信息以及变换单元的最大尺寸和变换单元的最小尺寸来表示实际上已使用的变换单元的尺寸。根据实施例的视频编码设备800可对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码。对最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息进行编码的结果可被插入SPS。根据实施例的视频解码设备850可通过使用最大变换单元尺寸信息、最小变换单元尺寸信息和最大变换单元划分信息来对视频进行解码。
例如，(a)如果当前编码单元的尺寸是64×64并且最大变换单元尺寸是32×32，则(a-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32，(a-2)当TU尺寸标记为1时，变换单元的尺寸可以是16×16，(a-3)当TU尺寸标记为2时，变换单元的尺寸可以是8×8。
作为另一示例，(b)如果当前编码单元的尺寸是32×32并且最小变换单元尺寸是32×32，则(b-1)当TU尺寸标记为0时，变换单元的尺寸可以是32×32。这里，由于变换单元的尺寸不能够小于32×32，因此TU尺寸标记不能够被设置为除了0以外的值。
作为另一示例，(c)如果当前编码单元的尺寸是64×64并且最大TU尺寸标记为1，则TU尺寸标记可以是0或1。这里，TU尺寸标记不能够被设置为除了0或1以外的值。
因此，如果定义最大TU尺寸标记为“MaxTransformSizeIndex”，最小变换单元尺寸为“MinTransformSize”，并且当TU尺寸标记为0时的变换单元尺寸为“RootTuSize”，则可通过等式(1)来定义可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”：
CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))
…(1)
与可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”相比，当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可指示可在系统中选择的最大变换单元尺寸。也就是说，在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示当TU尺寸标记为0时，变换单元尺寸“RootTuSize”被划分了与最大TU尺寸标记相应的次数时的变换单元尺寸，“MinTransformSize”指示最小变换尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中较小的值可以是可在当前编码单元中确定的当前最小变换单元尺寸“CurrMinTuSize”。
根据实施例，最大变换单元尺寸RootTuSize可根据预测模式的类型而改变。
例如，如果当前预测模式是帧间模式，则可通过使用以下的等式(2)来确定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大变换单元尺寸，“PUSize”指示当前预测单元尺寸。
RootTuSize＝min(MaxTransformSize,PUSize)……(2)
也就是说，如果当前预测模式是帧间模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前预测单元尺寸中较小的值。
如果当前分区单元的预测模式是帧内模式，则可通过使用以下的等式(3)来确定“RootTuSize”。在等式(3)中，“PartitionSize”指示当前分区单元的尺寸：
RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)
也就是说，如果当前预测模式是帧内模式，则当TU尺寸标记为0时的变换单元尺寸“RootTuSize”可以是最大变换单元尺寸和当前分区单元的尺寸之中较小的值。
然而，根据分区单元中的预测模式的类型而改变的当前最大变换单元尺寸“RootTuSize”仅是实施例，并且用于确定当前最大变换单元的因素不限于此。
根据以上参照图15至图18描述的基于树结构的编码单元的视频编码方法，可在树结构的每个编码单元中对空间域的图像数据进行编码，并且根据基于树结构的编码单元的视频解码方法，按照对每个最大编码单元执行解码的方式来重建空间域的图像数据，使得由画面和画面序列形成的视频可被重建。重建的视频可由再现设备来再现，可存储在存储介质中，或可通过网络来发送。
上述实施例可被编写为计算机程序，并可实现在通过使用计算机可读记录介质执行程序的通用数字计算机中。计算机可读记录介质的示例包括磁存储介质(例如，ROM、软盘、硬盘等)、光学记录介质(例如，CD-ROM或DVD)等。
为便于描述，参照图6a至图18描述的可伸缩视频编码方法和/或视频编码方法将被统称为“本公开的可伸缩视频编码方法”。此外，参照图6a至图18描述的视频解码方法和/或视频解码方法将被统称为“本公开的视频解码方法”。
此外，已参照图6a至图18描述的包括可伸缩视频编码设备600、视频编码设备800或图像编码器1000的视频编码设备将被统称为“本公开的视频编码设备”。此外，已参照图6a至图18描述的包括可伸缩视频解码设备700、视频解码设备850或图像解码器1050的视频解码设备将被统称为“本公开的视频解码设备”。
现在将详细描述根据实施例的存储程序的计算机可读记录介质(诸如，盘26000)。
图19示出根据各种实施例的存储程序的盘26000的物理结构。作为存储介质描述的盘26000可以是硬盘驱动器、致密盘只读存储器(CD-ROM)盘、蓝光盘或数字多功能盘(DVD)。盘26000包括多个同心磁道Tr，每个同心磁道Tr沿盘26000的圆周方向被划分成特定数量的扇区Se。在盘26000的特定区域中，可分配并存储执行以上所描述的量化参数确定方法、视频编码方法和视频解码方法的程序。
现在将参照图21来描述使用存储用于执行如上所述的视频编码方法和视频解码方法的程序的存储介质来实现的计算机系统。
图20示出通过使用盘26000来记录并读取程序的盘驱动器26800。计算机系统26700可经由盘驱动器26800将执行本公开的视频编码方法和视频解码方法中的至少一个的程序存储在盘26000中。为了在计算机系统26700中运行存储在盘26000中的程序，可通过使用盘驱动器26800从盘26000读取程序并可将程序发送到计算机系统26700。
执行本公开的视频编码方法和视频解码方法中的至少一个的程序不仅可被存储在图19和图21中示出的盘26000中，还可被存储在存储卡、ROM卡带或固态驱动器(SSD)中。
以下将描述应用以上所描述的根据实施例的视频编码方法和视频解码方法的系统。
图21示出用于提供内容分发服务的内容供应系统11000的整体结构。将通信系统的服务区域划分成预定尺寸的小区，并将无线基站11700、11800、11900和12000分别安装在这些小区中。
内容供应系统11000包括多个独立装置。例如，诸如计算机12100、个人数字助理(PDA)12200、视频相机12300和移动电话12500的多个独立装置经由互联网服务提供器11200、通信网络11400和无线基站11700、11800、11900和12000连接到互联网11100。
然而，内容供应系统11000不限于如图21中所示，并且装置可选择性地被连接到内容供应系统11000。多个独立装置可不经由无线基站11700、11800、11900和12000而直接连接到通信网络11400。
视频相机12300是能够捕捉视频图像的成像装置，例如，数字视频相机。移动电话12500可利用各种协议(例如，个人数字通信(PDC)、码分多址(CDMA)、宽带码分多址(W-CDMA)、全球移动通信系统(GSM)和个人手持电话系统(PHS))中的至少一种通信方法。
视频相机12300可经由无线基站11900和通信网络11400连接到流服务器11300。流服务器11300允许经由视频相机12300从用户接收到的内容经由实时广播被流传输。可通过视频相机12300或流服务器11300来对从视频相机12300接收到的内容进行编码。通过视频相机12300捕捉到的视频数据可经由计算机12100被发送到流服务器11300。
通过相机12600捕捉到的视频数据也可经由计算机12100被发送到流服务器11300。与数码相机类似，相机12600是能够捕捉静止图像和视频图像两者的成像装置。可使用相机12600或计算机12100对通过相机12600捕捉到的视频数据进行编码。可将对视频执行编码和解码的软件存储在可由计算机12100访问的计算机可读记录介质(例如，CD-ROM盘、软盘、硬盘驱动器、SSD或存储卡)中。
如果视频通过安装在移动电话12500中的相机被捕捉到，则可从移动电话12500接收视频数据。
可通过安装在视频相机12300、移动电话12500或相机12600中的大规模集成电路(LSI)系统来对视频数据进行编码。
内容供应系统11000可对由用户使用视频相机12300、相机12600、移动电话12500或另一成像装置所记录的内容数据(例如，在音乐会期间记录的内容)进行编码，并可将编码后的内容数据发送到流服务器11300。流服务器11300可将流传输内容的类型的编码后的内容数据发送到请求内容数据的其它客户端。
客户端是能够对编码后的内容数据进行解码的装置，例如，计算机12100、PDA12200、视频相机12300或移动电话12500。因此，内容供应系统11000允许客户端接收并再现编码后的内容数据。此外，内容供应系统11000允许客户端实时接收编码后的内容数据并对编码后的内容数据进行解码和再现，从而能够进行个人广播。
本公开的视频编码设备和视频解码设备可被应用于包括在内容供应系统11000中的多个独立装置的编码和解码操作。
参照图22和图24，现在将更加详细地描述包括在根据实施例的内容供应系统11000中的移动电话12500。
图22示出根据各种实施例的应用本公开的视频编码设备和视频解码设备的移动电话12500的外部结构。移动电话12500可以是智能电话，所述智能电话的功能不受限，并且所述智能电话的大多数功能可被改变或扩展。
移动电话12500包括可与无线基站12000交换射频(RF)信号的内部天线12510，并包括用于显示由相机12530捕捉到的图像或经由天线12510接收到的并被解码的图像的显示屏12520(例如，液晶显示器(LCD)或有机发光二极管(OLED)屏幕)。移动电话12500包括包含有控制按钮和触摸面板的操作面板12540。如果显示屏12520是触摸屏，则操作面板12540还包括显示屏12520的触摸感测面板。移动电话12500包括用于输出语音和声音的扬声器12580或另一类型的声音输出单元、以及用于输入语音和声音的麦克风12550或另一类型的声音输入单元。移动电话12500还包括用于捕捉视频和静止图像的相机12530，诸如电荷耦合器件(CCD)相机。移动电话12500还可包括：存储介质12570，用于存储编码/解码数据(例如，通过相机12530捕捉到的、经由电子邮件接收到的、或根据各种方式获得的视频或静止图像)；以及插槽12560，存储介质12570经由插槽12560被装入移动电话12500中。存储介质12570可以是闪存，例如，包括在塑料壳中的安全数字(SD)卡或电可擦除可编程只读存储器(EEPROM)。
图23示出移动电话12500的内部结构。为了系统地控制包括显示屏12520和操作面板12540的移动电话12500的每个部件，供电电路12700、操作输入控制器12640、图像编码器12720、相机接口12630、LCD控制器12620、图像解码器12690、复用器/解复用器12680、记录器/读取器12670、调制器/解调器12660和声音处理器12650经由同步总线12730被连接到中央控制器12710。
如果用户操作电源按钮，并从“电源关闭”状态设置为“电源开启”状态，则供电电路12700从电池组向移动电话12500的所有部件供电，从而将移动电话12500设置为操作模式。
中央控制器12710包括CPU、只读存储器(ROM)和随机存取存储器(RAM)。
在移动电话12500将通信数据发送到外部的同时，在中央控制器12710的控制下，由移动电话12500产生数字信号。例如，声音处理器12650可产生数字声音信号，图像编码器12720可产生数字图像信号，并且消息的文本数据可经由操作面板12540和操作输入控制器12640被产生。当数字信号通过中央控制器12710的控制而被发送到调制器/解调器12660时，调制器/解调器12660对数字信号的频带进行调制，并且通信电路12610对频带调制后的数字声音信号执行数模转换(DAC)和频率转换。从通信电路12610输出的发送信号可经由天线12510被发送到语音通信基站或无线基站12000。
例如，当移动电话12500处于通话模式时，在中央控制器12710的控制下，经由麦克风12550获得的声音信号通过声音处理器12650被变换成数字声音信号。数字声音信号可经由调制器/解调器12660和通信电路12610被变换成变换信号，并可经由天线12510被发送。
当文本消息(例如，电子邮件)在数据通信模式期间被发送时，文本消息的文本数据经由操作面板12540被输入，并经由操作输入控制器12640被发送到中央控制器12610。通过中央控制器12610的控制，文本数据经由调制器/解调器12660和通信电路12610被变换成发送信号，并经由天线12510被发送到无线基站12000。
为了在数据通信模式期间发送图像数据，由相机12530捕捉到的图像数据经由相机接口12630被提供给图像编码器12720。捕捉到的图像数据可经由相机接口12630和LCD控制器12620被直接显示在显示屏12520上。
图像编码器12720的结构可与上述视频编码设备800的结构相应。图像编码器12720可根据上述视频编码方法，将从相机12530接收到的图像数据变换为压缩和编码后的图像数据，并随后将编码后的图像数据输出到复用器/解复用器12680。在相机12530的记录操作期间，由移动电话12500的麦克风12550获得的声音信号可经由声音处理器12650被变换成数字声音数据，并且数字声音数据可被发送到复用器/解复用器12680。
复用器/解复用器12680对从图像编码器12720接收到的编码后的图像数据与从声音处理器12650接收到的声音数据一起进行复用。对数据进行复用的结果可经由调制器/解调器12660和通信电路12610被变换成发送信号，然后可经由天线12510被发送。
当移动电话12500从外部接收到通信数据时，可对经由天线12510接收到的信号执行频率恢复和模数转换(A/D)以将信号变换成数字信号。调制器/解调器12660对数字信号的频带进行调制。根据频带调制后的数字信号的类型，将所述数字信号发送到图像解码器12690、声音处理器12650或LCD控制器12620。
在从外部接收到通信数据的通话模式期间，移动电话12500对经由天线12510接收到的信号进行放大，并通过对放大后的信号执行频率转换和A/D来获得数字声音信号。通过中央控制器12710的控制，接收到的数字声音信号经由调制器/解调器12660和声音处理器12650被变换成模拟声音信号，并且模拟声音信号经由扬声器12580被输出。
当在数据通信模式期间时，接收在互联网网站上访问的视频文件的数据，经由调制器/解调器12660将经由天线12510从无线基站12000接收到的信号输出为复用数据，并将复用数据发送到复用器/解复用器12680。
为了对经由天线12510接收到的复用数据进行解码，复用器/解复用器12680将复用数据解复用成编码后的视频数据流和编码后的音频数据流。经由同步总线12730，编码后的视频数据流和编码后的音频数据流分别被提供给图像解码器12690和声音处理器12650。
图像解码器12690的结构可与上述视频解码设备的结构相应。图像解码器12690可通过使用本公开的上述视频解码方法，对编码后的视频数据进行解码来获得重建的视频数据，并经由LCD控制器12620将重建的视频数据提供给显示屏12520。
因此，可将在互联网网站上访问的视频文件的视频数据显示在显示屏12520上。同时，声音处理器12650可将音频数据变换成模拟声音信号，并可将模拟声音信号提供给扬声器12580。因此，也可经由扬声器12580再现在互联网网站上访问的视频文件中包含的音频数据。
移动电话12500或另一类型的通信终端可以是包括本公开的视频编码设备和视频解码设备两者的收发终端，可以是仅包括本公开的视频编码设备的发送终端，或者可以是仅包括本公开的视频解码设备的接收终端。
本公开的通信系统不限于以上参照图21描述的通信系统。例如，图24示出根据各种实施例的采用通信系统的数字广播系统。图24的数字广播系统可通过使用本公开的视频编码设备和视频解码设备来接收经由卫星或地面网络发送的数字广播。
更详细地讲，广播站12890通过使用无线电波将视频数据流发送到通信卫星或广播卫星12900。广播卫星12900发送广播信号，广播信号经由家用天线12860被发送到卫星广播接收器。在每个房屋中，可通过TV接收器12810、机顶盒12870或其它装置对编码后的视频流进行解码和再现。
当本公开的视频解码设备被实现在再现设备12830中时，再现设备12830可对记录在存储介质12820(诸如盘或存储卡)上的编码后的视频流进行解析和解码，以重建数字信号。因此，可在例如监视器12840上再现重建的视频信号。
在被连接到用于卫星/地面广播的天线12860或用于接收有线电视(TV)广播的有线天线12850的机顶盒12870中，可安装本公开的视频解码设备。从机顶盒12870输出的数据也可被再现在TV监视器12880上。
作为另一示例，可将本公开的视频解码设备安装在TV接收器12810中，而不是机顶盒12870中。
具有合适的天线12910的汽车12920可接收从卫星12900或无线基站11700发送的信号。可在安装在汽车12920中的汽车导航系统12930的显示屏上再现解码后的视频。
视频信号可由本公开的视频编码设备来编码，然后可被记录并被存储在存储介质中。更详细地讲，可由DVD记录器将图像信号存储在DVD盘12960中，或可由硬盘记录器12950将图像信号存储在硬盘中。作为另一示例，可将视频信号存储在SD卡12970中。如果硬盘记录器12950包括根据示例性实施例的视频解码设备，则记录在DVD盘12960、SD卡12970或另一存储介质上的视频信号可在TV监视器12880上被再现。
汽车导航系统12930可不包括图23的相机12530、相机接口12630和图像编码单元12720。例如，计算机12100和TV接收器12810可不包括图23的相机12530、相机接口12630或图像编码单元12720。
在这点上，用户终端可包括如以上参照图1a至图18描述的本公开的视频解码设备。作为另一示例，用户终端可包括如以上参照图1a至图18描述的本公开的视频编码设备。可选择地，用户终端可包括如以上参照图1a至图18描述的本公开的视频解码设备和本公开的视频编码设备两者。
以上参照图1a至图18描述了根据上述实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用。然而，根据上述实施例的视频编码方法、视频解码方法、视频编码设备和视频解码设备的各种应用不限于以上参照图1a至图18描述的实施例。
虽然参照本公开的实施例具体示出和描述了本公开，但本领域的普通技术人员将理解，在不脱离由权利要求限定的本公开的精神和范围的情况下，可作出形式和细节上的各种改变。公开的实施例应仅被看作描述性意义，而不是限制的目的。因此，本公开的范围不由本公开的详细描述来限定，而由权利要求来限定，在所述范围内的所有不同将被解释为包括在本公开中。

Claims (12)

1.一种视频解码方法，包括：
从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息；
当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；
通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面，
其中，
包括在所述预测画面中的亮度样点的相位根据亮度垂直相位差和亮度水平相位差被调整，
包括在所述预测画面中的色度样点的相位根据色度垂直相位差和色度水平相位差被调整，
亮度垂直相位差和色度垂直相位差是根据针对参考层的扫描方案被确定的。
2.如权利要求1所述的视频解码方法，其中，
亮度垂直相位差和色度垂直相位差是根据针对参考层的扫描方案以及针对参考层和当前层的排列方案被确定的，
所述排列方案包括零相位排列方案和对称排列方案，其中，零相位排列方案涉及基于参考层和当前层的左上部分对参考层和当前层进行排列，对称排列方案涉及基于参考层和当前层的中心对参考层和当前层进行排列。
3.如权利要求1所述的视频解码方法，还包括：
从比特流获得参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息，其中，参考层尺寸信息指示参考层的高度和宽度，参考层偏移信息限定在层间预测时使用的参考层的参考区域，当前层尺寸信息指示当前层的高度和宽度，当前层偏移信息限定当前层中的与所述参考区域相应的扩展参考区域；
从参考层尺寸信息和参考层偏移信息确定所述参考区域的尺寸；
从当前层尺寸信息和当前层偏移信息确定所述扩展参考区域的尺寸；
基于所述参考区域的尺寸和所述扩展参考区域的尺寸来确定指示所述参考区域与所述扩展参考区域的比率的缩放比率，
其中，确定当前层的预测画面的步骤包括：通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、参考层偏移信息、当前层偏移信息和所述缩放比率来对参考画面进行上采样以确定所述预测画面。
4.如权利要求1所述的视频解码方法，还包括：
从比特流获得残差数据，其中，残差数据包括当前层中所包括的样点值与当前层的参考画面中所包括的样点值之间的差值；
通过使用残差数据和所述预测画面来重建当前画面。
5.一种视频解码设备，包括：
接收和提取单元，被配置为从比特流获得指示是否调整包括在当前层中的样点的相位的上采样相位设置信息，当根据上采样相位设置信息调整相位时，从比特流获得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；
解码器，被配置为通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样，确定当前层的预测画面，
其中，
包括在所述预测画面中的亮度样点的相位根据亮度垂直相位差和亮度水平相位差被调整，
包括在所述预测画面中的色度样点的相位根据色度垂直相位差和色度水平相位差被调整，
亮度垂直相位差和色度垂直相位差是根据针对参考层的扫描方案被确定的。
6.如权利要求5所述的视频解码设备，其中，
亮度垂直相位差和色度垂直相位差是根据针对参考层的扫描方案以及针对参考层和当前层的排列方案被确定的，
所述排列方案包括零相位排列方案和对称排列方案，其中，零相位排列方案涉及基于参考层和当前层的左上部分对参考层和当前层进行排列，对称排列方案涉及基于参考层和当前层的中心对参考层和当前层进行排列。
7.如权利要求5所述的视频解码设备，其中
接收和提取单元还被配置为从比特流获得参考层尺寸信息、参考层偏移信息、当前层尺寸信息和当前层偏移信息，其中，参考层尺寸信息指示参考层的高度和宽度，参考层偏移信息限定在层间预测时使用的参考层的参考区域，当前层尺寸信息指示当前层的高度和宽度，当前层偏移信息限定当前层中的与所述参考区域相应的扩展参考区域，
解码器还被配置为从参考层尺寸信息和参考层偏移信息确定所述参考区域的尺寸，从当前层尺寸信息和当前层偏移信息确定所述扩展参考区域的尺寸，基于所述参考区域的尺寸和所述扩展参考区域的尺寸来确定指示所述参考区域与所述扩展参考区域的比率的缩放比率，并通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、参考层偏移信息、当前层偏移信息和所述缩放比率来对参考画面进行上采样以确定所述预测画面。
8.如权利要求5所述的视频解码设备，其中，接收和提取单元还被配置为从比特流获得残差数据，并通过使用残差数据和所述预测画面来重建当前画面，其中，残差数据包括当前层中所包括的样点值与当前层的参考画面中所包括的样点值之间的差值。
9.一种视频编码方法，包括：
确定针对当前层和参考层的扫描方案；
当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场；
基于所述扫描方案和所述参考层的场来确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位；
通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面；
确定残差数据，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；
输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
10.一种视频编码设备，包括：
编码器，被配置为确定针对当前层和参考层的扫描方案，当根据逐行扫描方案对当前层进行扫描并根据隔行扫描方案对参考层进行扫描时，确定参考层的场，基于所述扫描方案和所述参考层的场来确定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，通过基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差对参考层进行上采样来确定当前层的预测画面，以及确定残差数据，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于调整包括在当前层的预测画面中的亮度样点和色度样点的相位，其中，残差数据包括当前层的样点值与当前层的预测画面的样点值之间的差值；
输出单元，被配置为输出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和残差数据。
11.一种记录有程序的计算机可读记录介质，其中，所述程序用于执行如权利要求1所述的视频解码方法。
12.一种记录有程序的计算机可读记录介质，其中，所述程序用于执行如权利要求9所述的视频编码方法。
CN201580025071.XA 2014-03-14 2015-03-16 可伸缩视频编码/解码方法和设备 Withdrawn CN106464890A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201461953180P 2014-03-14 2014-03-14
US61/953,180 2014-03-14
PCT/KR2015/002532 WO2015137786A1 (ko) 2014-03-14 2015-03-16 스케일러블 비디오 부호화/복호화 방법 및 장치

Publications (1)

Publication Number Publication Date
CN106464890A true CN106464890A (zh) 2017-02-22

Family

ID=54072134

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201580025071.XA Withdrawn CN106464890A (zh) 2014-03-14 2015-03-16 可伸缩视频编码/解码方法和设备

Country Status (4)

Country Link
US (1) US20180176588A1 (zh)
KR (1) KR20160132857A (zh)
CN (1) CN106464890A (zh)
WO (1) WO2015137786A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113412617A (zh) * 2018-12-21 2021-09-17 三星电子株式会社 编码方法及其装置和解码方法及其装置
CN114342385A (zh) * 2019-09-18 2022-04-12 高通股份有限公司 基于缩放比率和色度采样类型的色度的子像素运动向量校正
WO2024093317A1 (zh) * 2022-10-31 2024-05-10 华为技术有限公司 图像分层编码方法和装置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10171823B2 (en) * 2014-05-26 2019-01-01 Sharp Kabushiki Kaisha Image decoding device and image coding device
EP4270952A3 (en) * 2015-04-13 2023-12-27 V-Nova International Limited Encoding a plurality of signals with data rate target of a signal depending on xomplexity information
US10368107B2 (en) * 2016-08-15 2019-07-30 Qualcomm Incorporated Intra video coding using a decoupled tree structure
WO2019031703A1 (ko) * 2017-08-09 2019-02-14 엘지전자 주식회사 영상 코딩 시스템에서 선형 모델에 따른 영상 디코딩 방법 및 장치
GB2573486B (en) * 2017-12-06 2022-12-21 V Nova Int Ltd Processing signal data using an upsampling adjuster
KR20240014631A (ko) * 2018-10-11 2024-02-01 엘지전자 주식회사 변환 계수 코딩 방법 및 장치
SG11202109150QA (en) 2019-03-08 2021-09-29 Beijing Bytedance Network Technology Co Ltd Constraints on model-based reshaping in video processing
KR20220024006A (ko) 2019-06-22 2022-03-03 베이징 바이트댄스 네트워크 테크놀로지 컴퍼니, 리미티드 크로마 잔차 스케일링을 위한 신택스 요소
JP7460748B2 (ja) 2019-07-07 2024-04-02 北京字節跳動網絡技術有限公司 クロマ残差スケーリングのシグナリング

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008790A1 (en) * 2002-07-15 2004-01-15 Rodriguez Arturo A. Chroma conversion optimization
US20080198936A1 (en) * 2007-02-21 2008-08-21 Microsoft Corporation Signaling and use of chroma sample positioning information
CN101340540A (zh) * 2007-07-05 2009-01-07 株式会社日立制作所 图像显示装置、图像信号处理装置和图像信号处理方法
US20140064386A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000175194A (ja) * 1998-12-01 2000-06-23 Sony Corp 画像復号装置及び画像復号方法
JP3797209B2 (ja) * 2001-11-30 2006-07-12 ソニー株式会社 画像情報符号化方法及び装置、画像情報復号方法及び装置、並びにプログラム
US7961963B2 (en) * 2005-03-18 2011-06-14 Sharp Laboratories Of America, Inc. Methods and systems for extended spatial scalability with picture-level adaptation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040008790A1 (en) * 2002-07-15 2004-01-15 Rodriguez Arturo A. Chroma conversion optimization
US20080198936A1 (en) * 2007-02-21 2008-08-21 Microsoft Corporation Signaling and use of chroma sample positioning information
CN101340540A (zh) * 2007-07-05 2009-01-07 株式会社日立制作所 图像显示装置、图像信号处理装置和图像信号处理方法
US20140064386A1 (en) * 2012-09-04 2014-03-06 Qualcomm Incorporated Signaling of down-sampling location information in scalable video coding

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113412617A (zh) * 2018-12-21 2021-09-17 三星电子株式会社 编码方法及其装置和解码方法及其装置
CN114342385A (zh) * 2019-09-18 2022-04-12 高通股份有限公司 基于缩放比率和色度采样类型的色度的子像素运动向量校正
WO2024093317A1 (zh) * 2022-10-31 2024-05-10 华为技术有限公司 图像分层编码方法和装置

Also Published As

Publication number Publication date
WO2015137786A1 (ko) 2015-09-17
KR20160132857A (ko) 2016-11-21
US20180176588A1 (en) 2018-06-21

Similar Documents

Publication Publication Date Title
CN106464890A (zh) 可伸缩视频编码/解码方法和设备
CN105532001B (zh) 用于使用基于深度的视差矢量对视频进行层间编码方法以及解码方法和设备
CN104902272B (zh) 视频解码设备
CN105144713B (zh) 用于解码器设置的对视频进行编码的方法及其装置以及基于解码器设置对视频进行解码的方法及其装置
CN104641640B (zh) 用于用信号传输sao参数的视频编码方法和视频编码设备以及视频解码方法和视频解码设备
CN104365104B (zh) 用于多视点视频编码和解码的方法和设备
CN106063271B (zh) 用于执行基于子块的预测的层间视频解码方法及其设备以及用于执行基于子块的预测的层间视频编码方法及其设备
CN105103552B (zh) 用于补偿亮度差的对层间视频进行编码的方法及其装置以及用于对视频进行解码的方法及其装置
CN104620578B (zh) 用于随机访问的多层视频编码的方法和设备以及用于随机访问的多层视频解码的方法和设备
CN105594212B (zh) 用于确定运动矢量的方法及其设备
CN104813665A (zh) 用于对层间预测误差进行编码的sao补偿的方法和设备
CN105191313A (zh) 使用考虑相移的上采样的可伸缩视频编码方法和设备以及可伸缩视频解码方法和设备
CN107820090A (zh) 用于对视频进行编码和解码的方法和装置
CN105532004B (zh) 层间视频解码方法及设备
CN105308966A (zh) 视频编码方法及其设备以及视频解码方法及其设备
CN104869413A (zh) 视频解码设备
CN107409214A (zh) 用于对层间视频进行解码的方法和设备以及用于对层间视频进行编码的方法和设备
CN106031175B (zh) 使用亮度补偿的层间视频编码方法及其装置、以及视频解码方法及其装置
CN105165011A (zh) 用于考虑存储器带宽和计算量的可伸缩视频编码的装置和方法以及用于可伸缩视频解码的装置和方法
CN105264894A (zh) 针对层间解码和编码方法以及设备的确定帧间预测候选的方法
CN106105208A (zh) 可伸缩视频编码/解码方法和设备
CN106105210A (zh) 管理用于对多层视频进行编码和解码的缓冲器的方法和设备
CN107690806A (zh) 视频编码方法和视频编码设备以及视频解码方法和视频解码设备
CN105264890A (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备
CN105308961B (zh) 用于补偿亮度差的层间视频编码方法和设备以及层间视频解码方法和设备

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20170222

WW01 Invention patent application withdrawn after publication