CN103703775A - 图像处理设备和图像处理方法 - Google Patents

图像处理设备和图像处理方法 Download PDF

Info

Publication number
CN103703775A
CN103703775A CN201280034435.7A CN201280034435A CN103703775A CN 103703775 A CN103703775 A CN 103703775A CN 201280034435 A CN201280034435 A CN 201280034435A CN 103703775 A CN103703775 A CN 103703775A
Authority
CN
China
Prior art keywords
information
quaternary tree
layer
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201280034435.7A
Other languages
English (en)
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN103703775A publication Critical patent/CN103703775A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

利用由于在分级编码中下面的层和上面的层的图像特征之间的相似性所导致的在编码单元、变换单元以及预测单元四叉树分割图案之间或在分割的块的特征之间存在相似性的事实，通过基于下面的层的四叉树分割信息来设置上面的层的分割信息，减少了代码量。

Description

图像处理设备和图像处理方法
技术领域
本公开涉及一种图像处理设备和图像处理方法。
背景技术
出于有效地传送或累积数字图像的目的，已经广泛地使用了类似于H.26x（ITU-T Q6/16VCEG）标准和MPEG（运动图像专家组）-y标准的压缩技术，该压缩技术使用图像所特有的冗余来对图像的信息量进行压缩。在作为MPEG4的活动的一部分的增强压缩视频编码联合模型中，已经说明了能够通过结合基于H.26x标准的新功能来实现更高压缩速率的、被称为H.264和MPEG-4第10部分（先进视频编码，AVC）的国际标准。
在H.264/AVC中，可以如同图像中的栅格一样布置的宏块中的每个是图像的编码和解码的基本处理单元。相比之下，在其标准化处于进行中的、作为下一代图像编码方法的HEVC（高效视频编码）中，在图像中被布置为四叉树形状的编码单元（CU）成为了图像的编码和解码的基本处理单元（参见非专利文献1）。因此，由符合HEVC的编码器所编码的编码流具有标识在图像中所设置的四叉树的四叉树信息。然后，解码器使用四叉树信息在要解码的图像中如同由编码器所设置的四叉树一样设置四叉树。
在HEVC中，除了CU之外，在被布置为四叉树形状、作为处理单元的块中执行各种处理。例如，下面所示的非专利文献2提出了决定自适应环路滤波器（ALF）的滤波器系数，并且使用被布置为四叉树形状的块、基于块来执行滤波。另外，下面所示的非专利文献3提出了使用被布置为四叉树形状的块、基于块执行自适应偏移（AO）。
引用列表
非专利文献
非专利文献1：JCTVC-E603,“WD3:Working Draft3ofHigh-Efficiency Video Coding”,T.Wiegand等,2010年7月
非专利文献2：VCEG-AI18,“Block-based Adaptive Loop Filter”,Takeshi Chujoh等,2008年7月
非专利文献3：JCTVC-D122,“CE8Subtest3:Picture QualityAdaptive Offset”,C.-M.Fu等,2011年1月
发明内容
技术问题
然而，四叉树信息所需要的编码量不小。特别地当执行可伸缩视频编码（SVC）时，不可以从冗余四叉树信息的编码中获得足够的编码效率。可伸缩视频编码是对传送粗糙图像信号的层和传送精细图像信号的层分级进行编码的技术。当执行可伸缩视频编码时，对于编码器和解码器二者均必需要在多个层中的每个中设置等同的四叉树。
因此，期望为可伸缩视频编码提供能够对四叉树信息有效地进行编码和解码的机制。
问题的解决方案
根据本公开的实施例，提供了一种图像处理设备，该图像处理设备包括：解码部，解码部对四叉树信息进行解码，四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，该可伸缩视频解码图像包括第一层和高于第一层的第二层；以及设置部，设置部使用由解码部解码后的四叉树信息来将第二四叉树设置到第二层。
以上所述的图像处理装置可以典型地实现为对图像进行解码的图像解码装置。
根据本公开的实施例，提供了一种图像处理方法，该图像处理方法包括：对四叉树信息进行解码，四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，可伸缩视频解码图像包括第一层和高于第一层的第二层；以及使用解码后的四叉树信息来将第二四叉树设置到第二层。
根据本公开的实施例，提供了一种图像处理设备，该图像处理设备包括：编码部，编码部对四叉树信息进行编码，四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，可伸缩视频编码图像包括第一层和高于第一层的第二层，四叉树信息被用于将第二四叉树设置到第二层。
以上所述的图像处理装置可以典型地实现为对图像进行编码的图像编码装置。
根据本公开的实施例，提供了一种图像处理方法，该图像处理方法包括：对四叉树信息进行编码，四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，可伸缩视频编码图像包括第一层和高于第一层的第二层，四叉树信息被用于将第二四叉树设置到第二层。
发明的有利效果
根据本公开，可以为可伸缩视频编码提供能够对四叉树信息有效地进行编码和解码的机制。
附图说明
图1是示出根据实施例的图像编码装置的配置的框图。
图2是示出空间可伸缩性的说明图。
图3是示出SNR可伸缩性的说明图。
图4是示出在图1中所示的自适应偏移部的详细配置的框图。
图5是示出带偏移（BO）的说明图。
图6是示出边缘偏移（EO）的说明图。
图7是示出将偏移图案设置到四叉树结构的每个分区的示例的说明图。
图8是示出图1中所示的自适应环路滤波的详细配置的示例的框图。
图9是示出将滤波器系数设置到四叉树结构的每个分区的示例的说明图。
图10是示出图1中所示的无损编码部的详细配置的示例的框图。
图11是示出设置编码单元（CU）的四叉树信息的说明图。
图12是示出可以额外地被编码为增强层的分割信息的说明图。
图13是示出由图1中所示的自适应偏移部所进行的自适应偏移处理的流程的示例的流程图。
图14是示出由图1中所示的自适应环路滤波器所执行的自适应环路滤波处理的流程的示例的流程图。
图15是示出由图1中所示的无损编码部所进行的编码处理的流程的示例的流程图。
图16是示出根据实施例的图像解码装置的配置的示例的框图。
图17是示出图16中所示的无损解码部的详细配置的示例的框图。
图18是示出图16中所示的自适应偏移部的详细配置的示例的框图。
图19是示出图16中所示的自适应环路滤波器的详细配置的示例的框图。
图20是示出由图16中所示的无损解码部所进行的解码处理的流程的示例的流程图。
图21是示出由图16中所示的自适应偏移部所进行的自适应偏移处理的流程的示例的流程图。
图22是示出有图16中所示的自适应环路滤波器所进行的自适应环路滤波处理的流程的示例的流程图。
图23是示出电视的示意配置的示例的框图。
图24是示出移动电话的示意配置的示例的框图。
图25是示出记录/再现装置的示例配置的示例的框图。
图26是示出图像捕获装置的示意配置的示例的框图。
具体实施方式
在下文中，将参照附图详细地描述本公开的优选实施例。注意，在本说明书和附图中，采用相同的附图标记来表示基本上具有相同的功能和结构的元件，并且省略对其的重复说明。
将按照以下所示的顺序提供描述。
1.图像编码装置的配置示例
1-1.总体配置
1-2.自适应偏移部的详细配置
1-3.自适应环路滤波器的详细配置
1-4.无损编码部的详细配置
2.在编码期间的处理流程的示例
2-1.自适应偏移处理
2-2.自适应环路滤波处理
2-3.编码处理
3.图像解码装置的配置示例
3-1.总体配置
3-2.无损解码部的详细配置
3-3.自适应偏移部的详细配置
3-4.自适应环路滤波器的详细配置
4.在解码期间的处理流程的示例
4-1.解码处理
4-2.自适应偏移处理
4-3.自适应环路滤波处理
5.应用示例
6.总结
<1.根据实施例的图像编码装置的示例配置>
[1-1.总体配置]
图1是示出根据实施例的图像编码装置10的配置的示例的框图。参照图1，图像编码装置10包括A/D（模拟-数字）转换部11、排序缓冲器12、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、去块效应滤波器（DF）24、自适应偏移部（AO）25、自适应环路滤波器（ALF）26、帧存储器27、选择器28和29、帧内预测部30以及运动估计部40。
A/D转换部11将以模拟格式输入的图像信号转换为数字格式的图像数据，并且将一系列数字图像数据输出到排序缓冲器12。
排序（sorting）缓冲器12对在从A/D转换部11所输入的一系列图像数据中所包括的图像进行排序。在根据依照编码处理的GOP（图片组）结构对图像进行排序之后，排序缓冲器12将已经被排序的图像数据输出到减法器13、帧内预测部30以及运动估计部40。
从排序缓冲器12所输入的图像数据和稍后描述的、由帧内预测部30或运动估计部40所输入的预测图像数据被提供给减法部13。减法部13计算预测误差数据，并且将所计算出的预测误差数据输出到正交变换部14，该预测误差数据是从排序缓冲器12所输入的图像数据与预测图像数据之间的差异。
正交变换部14对于从减法部13所输入的预测误差数据执行正交变换。例如，要由正交变换部14执行的正交变换可以是离散余弦变换（DCT）或Karhunen-Loeve变换。正交变换部14将通过正交变换处理所获取的变换系数数据输出到量化部15。
从正交变换部14所输入的变换系数数据和稍后描述的来自速率控制部18的速率控制信号被提供给量化部15。量化部15对变换系数数据进行量化，并且将已经被量化的变换系数数据（在下文中，被称为量化数据）输出到无损编码部16和逆量化部21。另外，量化部15基于来自速率控制部18的速率控制信号来切换量化参数（量化标度（quantization scale）），从而改变要被输入到无损编码部16的量化数据的比特率。
无损编码部16通过对于从量化部15所输入的量化数据执行无损编码处理来生成编码流。例如，由无损编码部16所进行的无损编码可以是可变长度编码或算术编码。另外，无损编码部16将头信息复用到序列参数集、图片参数集或诸如切片头（slice header）的头区域。由无损编码部16所编码的头信息可以包含稍后描述的四叉树信息、分割信息、偏移信息、滤波器系数信息、PU设置信息、以及TU设置信息。由无损编码部16所编码的头信息还可以包含关于从选择器29所输入的帧内预测或帧间预测的信息。然后，无损编码部16将所生成的编码流输出到累积缓冲器17。
累积缓冲器17临时地对从无损编码部16所输入的编码流进行累积。然后，累积缓冲器17以依照传送路径的带宽的速率将累积的编码流输出到传送部（未示出）（例如，通信接口或到外围装置的接口）。
速率控制部18监测累积缓冲器17的空闲空间。然后，速率控制部18根据累积缓冲器17上的空闲空间生成速率控制信号，并且将所生成的速率控制信号输出到量化部15。例如，当累积缓冲器17上不存在很多空闲空间时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。另外，例如，当在累积缓冲器17上的空闲空间足够大时，速率控制部18生成用于增加量化数据的比特率的速率控制信号。
逆量化部21对于从量化部15所输入的量化数据执行逆量化处理。然后，逆量化部21将通过逆量化处理所获取的变换系数输出到逆正交变换部22。
逆正交变换部22对于从逆量化部21所输入的变换系数数据执行逆正交变换处理，从而恢复预测误差数据。然后，逆正交变换部22将恢复的预测误差数据输出到加法部23。
加法部23将从逆正交变换部22所输入的恢复的预测误差数据和从帧内预测部30或运动估计部40所输入的预测图像数据输入相加，从而生成解码图像数据。然后，加法部23将所生成的解码图像数据输出到去块效应滤波器24和帧存储器27。
去块效应滤波器（DF）24执行滤波处理以减少在对图像进行编码时所发生的块失真。去块效应滤波器24对从加法部23所输入的解码图像数据进行滤波以移除块失真，并且将滤波之后的解码图像数据输出到自适应偏移部25。
自适应偏移部25通过将自适应地决定的偏移值相加到DF之后的解码图像的每个像素值来改进解码图像的图像质量。在本实施例中，由自适应偏移部25所进行的自适应偏移处理可以通过由非专利文献3所提出的技术使用在图像中作为处理单元被布置为四叉树形状的块、基于块来执行。在本说明书中，要成为由自适应偏移部25所进行的自适应偏移处理的处理单元的块被称为分区。作为自适应偏移处理的结果，自适应偏移部25将具有偏移像素值的解码图像数据输出到自适应环路滤波器26。另外，自适应偏移部25将示出偏移值集合的偏移信息和用于每个分区的偏移模式输出到无损编码部16。
自适应环路滤波器26通过对AO之后的解码图像进行滤波来使得解码图像与原始图像之间的差异最小化。自适应环路滤波器26典型地是通过使用Wiener滤波器实现的。在本实施例中，由自适应环路滤波器26所进行的自适应环路滤波处理可以是由根据非专利文献2提出的技术使用图像中作为处理单元被布置为四叉树形状的块、基于块来执行的。在本说明书中，要成为由自适应环路滤波器26所进行的自适应环路滤波处理的处理单元的块被称为分区。然而，由自适应偏移部25所使用的分区的布置和由自适应环路滤波器26所使用的分区的布置（即，四叉树结构）可以是通用的或可以是不通用的。作为自适应环路滤波处理的结果，自适应环路滤波器26将与原始图像的差异最小的解码图像数据输出到帧存储器27。另外，自适应环路滤波器26将示出用于每个分区的滤波器系数的滤波器系数信息输出到无损编码部16。
帧存储器27使用存储介质来存储从加法部23所输入的解码图像数据和从去块效应滤波器24所输入的滤波之后的解码图像数据。
选择器28从帧存储器27读取要被用来用于帧间预测的ALF之后的解码图像数据，并且将被读取的解码图像数据提供给运动估计部40作为参考图像数据。另外，选择器28从帧存储器27读取要被用作用于帧间预测的DF之前的解码图像数据，并且将被读取的解码图像数据提供给帧内预测部30作为参考图像数据。
在帧间预测模式中，选择器29将作为从运动估计部40所输出的帧间预测的结果的预测图像数据输出到减法部13，并且还将关于帧间预测的信息输出到无损编码部16。在帧内预测模式中，选择器29将作为从帧内预测部30所输出的帧内预测的结果的预测图像数据输出到加法部13，并且还将关于帧内预测的信息输出到无损编码部16。选择器29依照从帧内预测部30或运动估计部40所输出的成本函数值的大小来对帧间预测模式和帧内预测模式进行切换。
帧内预测部30基于从排序缓冲器12所输出的要编码的图像数据（原始图像数据）和从帧存储器27所提供的作为参考图像数据的解码图像数据，针对在图像中所设置的每个块执行帧内预测处理。然后，帧内预测部30将关于帧内预测的信息（包括指示最佳预测模式的预测模式信息）、成本函数值以及预测图像数据输出到选择器29。
运动估计部40基于从排序缓冲器12所输入的原始图像数据和经由选择器28所提供的解码图像数据，针对帧间预测（inter-frame prediction）执行运动估计处理。然后，运动估计部40将关于帧间预测的信息（包括运动矢量信息和参考图像信）、成本函数值以及预测图像数据输出到选择器29。
图像编码装置10针对要被进行可伸缩视频编码的图像的多个层中的每一个重复在此所描述的一系列编码处理。首先要被编码的层被称为基本层，其代表最粗糙的图像。可以在不对其他层的编码流进行解码的情况下独立地对基本层的编码流进行解码。除了基本层之外的层被称为增强层，其代表更精细的图像。在基本层的编码流中所包含的信息被用来用于增强层的编码流以增强编码效率。因此，为了再现增强层的图像，对基本层和增强层两者的编码流进行解码。在可伸缩视频编码中处理的层的数量为三个或更多个。在这样的情况下，最下面的层是基本层并且剩余层是增强层。对于较高的增强层的编码流，较低的增强层和基本层的编码流中所包含的信息可以被用来用于进行编码和解码。在本说明书中，对于具有依赖性的至少两个层，在被依赖侧的层被称为下面的层并且在依赖侧的层被称为上面的层。
在由图像编码装置10所进行的可伸缩视频编码中，在上面的层中重新使用下面的层的四叉树信息，以有效地对四叉树信息进行编码。更具体地，图1中所示的无损编码部16包括下述缓冲器：该缓冲器可以对下面的层的四叉树信息进行缓冲以设置编码单元（CU）并且可以使用四叉树信息来确定上面的层的CU结构。自适应偏移部25包括下述缓冲器：该缓冲器对下面的层的四叉树信息进行缓冲以设置自适应偏移处理的分区并且可以使用四叉树信息对在上面的层中的分区进行布置。自适应环路滤波器26也包括下述缓冲器：该缓冲器对下面的层的四叉树信息进行缓冲以设置自适应环路滤波处理的分区并且可以使用四叉树信息对在上面的层中的分区进行布置。在本说明书中，将主要描述下述示例，在该示例中无损编码单元16、自适应偏移部25、以及自适应环路滤波器26各自重新使用四叉树信息。然后，本实施例不限于这样的示例并且无损编码部16、自适应偏移部25、以及自适应环路滤波器26中的任一个或两个可以重新使用四叉树信息。另外，自适应偏移部25和自适应环路滤波器26可以从图像编码装置10的配置中省略。
在可伸缩视频编码中分级的典型属性主要是下面的三种类型：
-空间可伸缩性：对空间分辨率或图像尺寸进行分级。
-时间可伸缩性：对帧率进行分级。
-SNR（信号噪声比率）可伸缩性：对SN比率进行分级。
此外，尽管未在任何标准中采用，但是位深可伸缩型和色度格式可伸缩性也在讨论中。当在层之间存在图像关联性时，四叉树信息的重新使用通常是有效的。层之间的图像关联性可以出现在除了时间可伸缩性之外的可伸缩型类型中。
因此，即使分辨率彼此不同，层L1的图像的内容也很可能与层L2的图像的内容类似。类似地，层L2的图像的内容很可能与层L3的图像的内容类似。这是在空间可伸缩性中的层之间的图像关联性。
因此，即使比特率彼此不同，层L1的图像的内容也很可能与层L2的图像的内容类似。类似地，层L2的图像的内容很可能与层L3的图像的内容类似。这是在SNR可伸缩性中的层之间的图像关联性。
根据本实施例的图像编码装置10关注层之间的这样的图像关联性，并且在上面的层中重新使用下面的层的四叉树信息。
[1-2.自适应偏移部的详细配置]
在本部分中，将描述图1中所示的自适应偏移部25的详细配置。图4是示出自适应偏移部25的详细配置的示例的框图。参照图4，自适应偏移部25包括结构估计部110、选择部112、偏移处理部114以及缓冲器116。
（1）基本层
在基本层的自适应偏移处理中，结构估计部110对要在图像中设置的最佳四叉树结构进行估计。即，结构估计部110首先将从去块效应滤波器24所输入的DF之后的解码图像分割为一个或更多个分区。可以递归地实施该分割，并且一个分区可以进一步地被分割为一个或更多个分区。结构估计部110在用于每个分区的各种偏移模式之中计算最佳偏移值。在由非专利文献3所提出的技术中，存在九个候选，包括：两个带偏移（BO）、六个边缘偏移（EO）以及不进行处理（OFF）。
图5是示出带偏移的说明图。在带偏移中，如图5所示，亮度的像素值的范围（例如，8个比特、0至255）被分类为32个带。然后，将偏移值给予每个带。32个带形成了第一组和第二组。第一组包含位于范围中心的16个带。第二组包含总共16个带，其中的8个各自位于范围的两端。作为偏移模式的第一带偏移（BO1）是对这样的两个组中的第一组的带的偏移值进行编码的模式。作为偏移模式的第二带偏移（BO2）是对这样的两个组中的第二组的带的偏移值进行编码的模式。当输入图像信号是广播信号时，如同图5中所示，不对总共4个带（其中的2个各自位于两端）的偏移值进行编码，从而减少了用于偏移信息的编码量。
图6是示出边缘偏移的说明图。如图6所示，边缘偏移的6个偏移模式包括4个1-D模式2个2-D模式。这些偏移模式各自限定了当对每个像素进行分类时所参考的参考像素集。每个1-D模式的参考像素的数量为2。第一边缘偏移（EO0）的参考像素是目标像素的左侧近邻像素和右侧近邻像素。第二边缘偏移（E01）的参考像素是目标像素的上方近邻像素和下方近邻像素。第三边缘偏移（EO2）的参考像是在目标像素的左上方和右下方的近邻像素。第四边缘偏移（EO3）的参考像素是在目标像素的右上方和左下方的近邻像素。使用这些参考像素，根据表1中所示的条件将每个分区中的像素分类为5个种类中的一个。
表1.1-D模式的种类分类条件
种类 条件
1 c<2个近邻像素
2 c<1个近邻像素并且c==1个近邻像素
3 c>1个近邻像素并且c==1个近邻像素
4 c>2个近邻像素
0 以上均不是
另一方面，每个2-D模式的参考像素的数量为4。第五边缘偏移（EO4）的参考像素是目标像素的左侧近邻像素和右侧近邻像素，以及上方近邻像素和下方近邻像素。第六边缘偏移（EO5）的参考像素是在目标像素的左上方、右上方、左上方以及左下方的近邻像素。使用这些参考像素，根据表2中所示的条件将每个分区中的每个像素分类为7个种类中的一个。
表2.2-D模式的种类分类条件
种类 条件
1 C<4个近邻像素
2 C<3个近邻像素并且C=第4近邻像素
3 C<3个近邻像素并且C>第4近邻像素
4 C>3个近邻像素并且C<第4近邻像素
5 C>3个近邻像素并且C=第4近邻像素
6 C>4个近邻像素
0 以上均不是
然后，将偏移值给予每个种类并且对偏移值进行编码，以及将与每个像素所属于的种类相对应的偏移值相加到像素的像素值。
结构估计部110对用于被布置为四叉树形状的每个分区的这些各个偏移模式之中的最佳偏移值进行计算，以生成偏移处理之后的图像。选择部112基于偏移处理之后的图像与原始图像的比较来选择最佳的四叉树结构、用于每个分区的偏移模式、以及偏移值集。然后，选择部分112将代表四叉树结构的四叉树信息和代表偏移模式和偏移值的偏移信息输出到偏移处理部114和无损编码部16。另外，由缓冲器116对四叉树信息进行缓冲，以用于上面的层中的处理。
偏移处理部114使用从选择部112所输入的四叉树信息来识别从去块效应滤波器24所输入的基本层的解码图像的四叉树结构，并且根据针对每个分区所选择的偏移模式将偏移值加到每个像素值。然后，偏移处理部114将具有偏移像素值的解码图像数据输出到自适应环路滤波器26。
（2）增强层
在增强层的自适应偏移处理中，重新使用由缓冲器16所缓冲的四叉树信息。
首先，结构估计部110从缓冲器116获取在下面的层的图像中所设置的并且代表四叉树结构的四叉树信息。然后，结构估计部110根据所获取的四叉树信息将一个或更多个分区布置在增强层的图像中。可以简单地采用以上所描述的分区的布置作为增强层的四叉树结构。相反，结构估计部110可以将所布置的分区进一步地分割（在下文中，称为子分割）为一个或更多个分区。结构估计部110在前述的用于被布置为四叉树形状的每个分区的各个偏移模式之中计算最佳的偏移值，以生成偏移处理之后的图像。选择部112基于偏移处理之后的图像与原始图像的比较来选择最佳的四叉树结构、用于每个分区的偏移模式、以及偏移值的集。当对下面的层的四叉树结构进行子分割时，选择部112生成分割信息以标识要被子分割的分区。然后，选择部112将分割信息和偏移信息输出到无损编码部16。另外，选择部112将下面的层的四叉树信息、分割信息、以及偏移信息输出到偏移处理部114。可以由缓冲器116对增强层的分割信息进行缓冲以用于上面的层中的处理。
偏移处理部114使用从选择部112所输入的四叉树信息和分割信息来识别从去块效应滤波器24所输入的增强层的解码图像的四叉树结构，并且根据针对每个分区所选择的偏移模式来将偏移值相加到每个像素值。然后，偏移处理部114将具有偏移像素值的解码图像数据输出到自适应环路滤波器26。
图7示出将偏移模式设置到四叉树结构的每个分区的示例的说明图。参照图7，在同一LCU中将10个分区PT00至PT03、PT1、PT2以及PT30至PT33布置为四叉树形状。在这些分区中，将带偏移BO1设置到分区PT00、PT03；将带偏移BO2设置到分区PT02；将边缘偏移EO1设置到分区PT1；将边缘偏移EO2设置到分区PT01、PT31；以及将边缘EO4设置到分区PT2。将不进行处理（OFF）设置到剩余的分区PT30、PT32以及PT33。在本实施例中，从选择部112输出到无损编码部16的偏移信息代表用于每个分区的偏移模式和用于每个偏移模式的偏移值集合（根据带的偏移值和根据种类的偏移值）。
[1-3.自适应环路滤波器的详细配置]
在此部分中，将描述在图1中所示的自适应环路滤波器26的详细配置。图8是示出自适应环路滤波器26的详细配置的示例的框图。参照图8，自适应环路滤波器26包括结构估计部120、选择部122、滤波部124以及缓冲器126。
（1）基本层
在基本层的自适应环路滤波处理中，结构估计部120对在图像中要设置的最佳四叉树结构进行估计。即，结构估计部120首先将从自适应偏移部25所输入的自适应偏移处理之后的解码图像分割为一个或更多个分区。可以递归地实施该分割，并且一个分区可以进一步地被分割为一个或更多个分区。另外，结构估计部120针对每个分区计算使得原始图像与解码图像之间的差异最小化的滤波器系数，以生成滤波之后的图像。选择部122基于滤波之后的图像与原始图像之间的比较来选择最佳四叉树结构和用于每个分区的滤波器系数集。然后，选择部122将代表四叉树结构的四叉树信息和代表滤波器系数的滤波器系数信息输出到滤波部124和无损编码部16。另外，由缓冲器126对四叉树信息进行缓冲以用于上面的层中的处理。
滤波部124使用从选择部122所输入的四叉树信息来识别基本层的解码图像的四叉树结构。然后，滤波部124使用具有针对每个分区所选择的滤波器系数的Wiener滤波器来对每个分区的解码图像进行滤波。然后，滤波部142将滤波后的解码图像数据输出到帧存储器27。
（2）增强层
在增强层的自适应环路滤波处理中，重新使用由缓冲器126所缓冲的四叉树信息。
首先，结构估计部120从缓冲器126获取在下面的层的图像中所设置的并且代表四叉树结构的四叉树信息。然后，结构估计部120根据四叉树信息在增强层的图像中布置一个或更多个分区。可以简单地采取如上所述的分区的布置作为增强层的四叉树结构。相反，结构估计部120可以将所布置的分区进一步地子分割为一个或更多个分区。结构估计部120计算用于被布置为四叉树形状的每个分区的滤波器系数，以生成滤波之后的图像。选择部122基于滤波之后的图像与原始图像之间的比较来选择最佳四叉树结构和用于每个分区的滤波器系数。当对下面的层的四叉树结构进行子分割时，选择部122生成标识要被子分割的分区的分割信息。然后，选择部122将分割信息和滤波器系数信息输出到无损编码部16。另外，选择部122将下面的层的四叉树信息、分割信息以及滤波器系数信息输出到滤波部124。可以由缓冲器126对增强层的分割信息进行缓冲以用于上面的层中的处理。
滤波部124使用从选择部122所输入的四叉树信息和分割信息来识别从自适应偏移部25所输入的增强层的解码图像的四叉树结构。接下来，滤波部124使用具有针对每个分区所选择的滤波器系数的Wiener滤波器来对每个分区的解码图像进行滤波。然后，滤波部124将滤波后的解码图像数据输出到帧存储器27。
图9是示出将滤波器系数设置到四叉树结构的每个分区的示例的说明图。参照图9，在同一LCU中将七个分区PT00至PT03、PT1、PT2以及PT3布置为四叉树形状。自适应环路滤波器26针对这些分区中的每个来计算用于Wiener滤波器的滤波器系数。作为结果，例如，将滤波器系数集Coef00设置到分区PT00。将滤波器系数集Coef01设置到分区PT01。在本实施例中，从选择部122输出到无损编码部16的滤波器系数信息代表用于每个分区的这样的滤波器系数集。
[1-4.无损编码部的详细配置]
在此部分中，将描述在图1中所示的无损编码部16的详细配置。图10是示出无损编码部16的详细配置的示例的框图。参照图10，无损编码部16包括CU结构确定部130、PU结构确定部132、TU结构确定部134、语法编码部136以及缓冲器138。
在HEVC中，如上所述，图像中被设置为四叉树形状的编码单元（CU）称为图像的编码和解码的基本处理单元。最大可设置编码单元被称为LCU（最大编码单元）并且最小可设置编码单元被称为SCU（最小编码单元）。通过使用split_flag集合（分割标志）来标识LCU中的CU结构。在图11中所示的示例中，LCU尺寸是64×64个像素，并且SCU尺寸是8×8个像素。如果当深度为0时指定split_flag=1，则将64×64个像素的LCU分割为4个32×32个像素的CU。此外，如果指定了split_flag=1，则还将32×32个像素的CU分割为4个16×16个像素的CU。以这种方式，可以通过LCU和SCU的尺寸以及split_flag集合来表示CU的四叉树结构。顺便提及，类似地还可以通过最大分区尺寸、最小分区尺寸以及split_flag集合来表示在前述的自适应偏移处理和自适应环路铝中所使用的分区的四叉树结构。
如果当在增强层中重新使用下面的层的四叉树信息时，增强层与下面的层之间的空间分辨率不同，则依照空间分辨率的比例放大的LCU尺寸或最大分区尺寸被用作用于增强层的LCU尺寸或最大分区尺寸。可以依照比例放大SCU尺寸或最小分区尺寸或可以考虑到子分割的可能性而不对其进行放大。
可以将一个编码单元分割为作为帧内预测和帧间预测的处理单元的一个或更多个预测单元（PU）。此外，可以将一个预测单元分割为作为正交变换的处理单元的一个或更多个变换单元（TU）。通常可以基于离线图像分析预先地决定这些CU、PU以及TU的四叉树结构。
（1）基本层
在基本层的编码处理中，CU结构确定部130基于离线图像分析结果确定在输入图像中所设置的四叉树形状中的CU结构。然后，CU结构确定部130生成代表CU结构的四叉树信息并且将所生成的四叉树信息输出到PU结构确定部132和语法编码部136。PU结构确定部132确定在每个CU中所设置的PU结构。然后，PU结构确定部132将代表在每个CU中的PU结构的PU设置信息输出到TU结构确定部134和语法编码部136。TU结构确定部134确定在每个PU中所设置的TU结构。然后，TU结构确定部134将代表每个PU中的TU结构的TU设置信息输出到语法编码部136。由缓冲器138对四叉树信息、PU设置信息以及TU设置信息进行缓冲以用于上面的层中的处理。
语法编码部136通过对于从量化部15所输入的基本层的量化数据执行无损编码处理来生成基本层的编码流。另外，语法编码部136对从图像编码装置10的每个部所输入的头信息进行编码，并且将编码后的头信息复用到编码流的头区域中。在此所编码的头信息可以包含从自适应偏移部25所输入的偏移信息以及从自适应环路滤波器26所输入的四叉树信息和滤波器系数信息。另外，由语法编码部136所编码的头信息可以包含从CU结构确定部130、PU结构确定部132以及TU结构确定部134分别地输入的四叉树信息、PU设置信息以及TU设置信息。
（增强层）
在增强层的编码处理中，重新使用由缓冲器138所缓冲的信息。
CU结构确定部130从缓冲器138获取代表在下面的层的每个LCU中所设置的CU的四叉树结构的四叉树信息。在此用于所获取的CU的四叉树信息通常包含LCU尺寸、SCU尺寸以及split_flag集。如果增强层与下面的层之间的空间分辨率不同，则可以依照空间分辨率的比例放大LCU尺寸。CU结构确定部130基于离线图像分析结果来确定在增强层的每个LCU中所设置的CU结构。然后，当在增强层中对CU进行子分割时，CU结构确定部130生成分割信息并且将所生成的分割信息输出到语法编码部136。
PU结构确定部132从缓冲器138获取代表在下面的层中的每个CU中所设置的PU的结构的PU设置信息。PU结构确定部132基于离线图像分析结果来确定在增强层的每个CU中所设置的PU结构。当在增强层中使用与下面的层不同的PU结构时，PU结构确定部132可以额外地生成PU设置信息，并且将所生成的PU设置信息输出到语法编码部136。
TU结构确定部134从缓冲器138获取代表在下面的层中的每个PU中所设置的TU的结构的TU设置信息。TU结构确定部134基于离线图像分析结果来确定在增强层的每个PU中所设置的TU结构。当在增强层中使用与下面的层不同的TU结构时，TU结构确定部134可以额外地生成TU设置信息，并且将所生成的TU设置信息输出到语法编码部136。
语法编码部136通过对从量化部15所输入的增强层的量化数据执行无损编码处理来生成增强层的编码流。另外，语法编码部136对从图像编码装置10的每个部所输入的头信息进行编码，并且将编码头信息复用到编码流的头区域中。在此所编码的头信息可以包括从自适应偏移部25所输入的分割信息和偏移信息以及从自适应环路滤波器26所输入的分割信息和滤波器系数信息。另外，由语法编码部136所编码的头信息可以包含从CU结构确定部130、PU结构确定部132以及TU结构确定部134分别地输入的分割信息、PU设置信息、以及TU设置信息。
图12是示出在增强层中可以额外地编码的分割信息的说明图。在图12的左侧示出了下面的层中的CU的四叉树结构。该四叉树结构包括7个编码单元CU0、CU1、CU20至CU23以及CU3。另外，示出了在下面的层中所编码的一些split_flag。例如，split_flag FL1的值为1，其指示整个所示的LCU分割为4个CU。split_flag FL2的值为0，其指示不再对编码单元CU1进行分割。类似地，其他split_flag指示是否将对应的CU进一步分割为多个CU。
在图12的右侧示出了在上面的层中的CU的四叉树结构。在上面的层的四叉树结构中，将下面的层的编码单元CU1子分割为四个编码单元CU10至CU13。另外，将下面的层的编码单元CU23子分割为四个编码单元。在上面的层中可以额外地编码的分割信息包含与这些子分割有关的一些split_flag。例如，split_flag FU1的值为1，其指示将编码单元CU1子分割为4个CU。split_flag FU2的值为0，其指示不再对编码单元CU11进行分割。split_flag FU3的值为1，其指示将编码单元CU23子分割为4个CU。因为仅针对要被进行子分割的CU来对这样的分割信息进行编码，所以由于对分割信息进行编码所导致的增加的编码量较小。
在图12中，采用CU的四叉树结构作为示例来描述可以在增强层中额外地编码的分割信息。然而，还可以通过代表每个分区的子分割的类似的split_flag集合来表示用于在前述的自适应偏移处理和自适应环路滤波处理中所设置的增强层的四叉树结构的分割信息。
<2.编码期间的处理流程的示例>
[2-1.自适应偏移处理]
图13是示出由图1中所示的自适应偏移部25所进行的自适应偏移处理的流程的示例的流程图。图13中的流程图示出了用于要进行可伸缩视频编码的图像的多个层中的一个增强层的处理的流程。假定在在此所描述的处理之前，执行用于下面的层的自适应偏移处理并且由缓冲器116对用于下面的层的四叉树信息进行缓冲。还假定基于LCU执行重复的处理。
参照图13，自适应偏移部25的结构估计部110从缓冲器116获取在下面的层的处理中所生成的四叉树信息（步骤S110）。接下来，结构估计部110根据所获取的下面的层的四叉树信息将要处理的LCU（在下文中，被称为关注的LCU）分割为一个或更多个分区（步骤S111）。需要时，结构估计部110还将每个分区子分割为一个或更多个更小的分区（步骤S112）。接下来，结构估计部110在用于每个分区的前述的各种偏移模式之中计算最佳偏移值以生成偏移处理之后的图像（步骤S113）。接下来，选择部112基于偏移处理之后的图像与原始图像之间的比较来选择最佳的四叉树结构、用于每个分区的最佳的偏移模式以及偏移值集合（步骤S114）。
接下来，选择部112通过将由下面的层的四叉树信息所代表的四叉树结构与在步骤S114中所选择的四叉树结构进行比较来确定是否存在任何被进行了子分割的分区（步骤S115）。如果存在被进行了子分割的分区，则选择部112生成指示对被设置到下面的层的四叉树结构的分区进一步进行子分割的分割信息（步骤S116）。接下来，选择部112生成代表用于在步骤S114中所选择的每个分区的最佳偏移模式的偏移信息以及偏移值集（步骤S117）。在此所生成的分割信息和偏移信息可以由无损编码部16所编码，并且被复用到增强层的编码流的头区域中。另外，由缓冲器116对分割信息进行缓冲以用于较高层的处理。
接下来，偏移处理部114根据为分区所选择的偏移模式来将相对应的偏移值相加到关注的LCU中的每个分区的像素值（步骤S118）。将具有如上所述的像素值的解码图像数据输出到自适应环路滤波器26。
然后，如果在要处理的层中存在任何剩余的尚未处理的LCU，则处理返回到步骤S110以重复前述的处理（步骤S119）。另一方面，如果不存在尚未被处理的剩余LCU，则图13中所示的自适应偏移处理结束。如果存在任何较高的层，则可以针对要处理的较高的层重复图13中所示的自适应偏移处理。
[2-2.自适应环路滤波处理]
图14是示出由图1中所示的自适应环路滤波器26所进行的自适应环路滤波处理的流程的示例的流程图。图14中的流程图示出了用于要进行可伸缩视频编码的图像的多个层中的一个增强层的处理的流程。假定在在此所描述的处理之前，执行用于较低的层的自适应环路滤波处理并且由缓冲器126对用于较低的层的四叉树信息进行缓冲。还假定基于LCU执行重复的处理。
参照图14，首先自适应环路滤波器26的结构估计部120从缓冲器126获取在下面的层的处理中所生成的四叉树信息（步骤S120）。接下来，结构估计部120根据所获取的下面的层的四叉树信息将关注的LCU分割为一个或更多个分区（步骤S121）。需要时，结构估计部120还将每个分区子分割为一个或更多个较小的分区（步骤S122）。接下来，结构估计部120针对每个分区来计算使得解码图像与原始图像之间的差异最小化的滤波器系数以生成滤波之后的图像（步骤S123）。接下来，选择部122基于滤波之后的图像与原始图像之间的比较来选择最佳的四叉树结构和滤波器系数的组合（步骤S124）。
接下来，选择部122通过将由下面的层的四叉树信息所代表的四叉树结构与在步骤S124中所选择的四叉树结构进行比较来确定是否存在任何被进行了子分割的分区（步骤S125）。如果存在进行了子分割的分区，则选择部122生成指示对被设置到下面的层的四叉树结构的分区进行进一步子分割的分割信息（步骤S126）。接下来，选择部122生成代表在步骤S124中所选择的每个分区的滤波器系数的滤波器系数信息（步骤S127）。在此所生成的分割信息和滤波器系数信息可以由无损编码部16编码并且被复用到增强层的编码流的头区域中。另外，缓冲器126可以对分割信息进行缓冲以用于较高层的处理。
接下来，滤波部124使用相对应的滤波器系数对在关注的LCU中的每个分区中的解码图像进行滤波（步骤S128）。将在此滤波后的解码图像数据输出到帧存储器27。
然后，如果在要处理的层中存在任何剩余的尚未处理的LCU，则处理返回到步骤S120以重复前述的处理（步骤S129）。另一方面，如果不存在尚未处理的剩余的LCU，则图14中所示的自适应环路滤波处理结束。如果存在更高的层，则对于要处理的更高的层可以重复图14中所示的自适应环路滤波处理。
[2-3.结束处理]
图15是示出了由图1中所示的无损编码部16所进行的编码处理的流程的示例的流程图。图15中的流程图示出了用于要进行可伸缩视频编码的图像的多个层中的一个增强层的处理的流程。假定在在此所描述的处理之前，执行用于下面的层的编码处理并且由缓冲器138对用于下面的层的四叉树信息进行缓冲。还假定基于LCU执行重复的处理。
参照图13，无损编码部16的CU结构确定部130首先从缓冲器130获取在下面的层的处理中所生成的四叉树信息（步骤S130）。类似地，PU结构确定部132获取在下面的层的处理中所生成的PU设置信息。另外，TU结构确定部134获取在下面的层的处理中所生成的TU设置信息。
接下来，CU结构确定部139确定在关注的LCU中所设置的CU结构（步骤S131）。类似地，PU结构确定部132确定在各个CU中所设置的PU结构（步骤S132）。TU结构确定部134确定在每个PU中所设置的TU结构（步骤S133）。
接下来，CU结构确定部130通过将由下面的层的四叉树信息所代表的四叉树结构与在步骤S131中所确定的CU结构进行比较来确定是否存在任何被进行了子分割的CU（步骤S134）。如果存在被进行了子分割的CU，则CU结构确定部130生成指示对被设置到下面的层的CU进一步进行子分割的分割信息（步骤S135）。类似地，PU结构确定部132和TU结构确定部134可以分别地生成新的PU设置信息和TU设置信息。
接下来，语法编码部136对由CU结构确定部130所生成的分割信息（以及可以新生成的PU设置信息和TU设置信息）进行编码（步骤S136）。接下来，语法编码部136对其他头信息进行编码（步骤S137）。然后，语法编码部136将可以包含分割信息的编码头信息复用到包含编码量化数据的编码流的头区域中（步骤S138）。将如上述所述生成的增强层的编码流从语法编码部136输出到累积缓冲器17。
然后，如果在要处理的层中存在任何剩余的尚未处理的LCU，则处理返回到步骤S130以重复前述的处理（步骤S139）。另一方面，如果不存在尚未处理的剩余的LCU，则图15中所示的编码处理结束。如果存在任何更高的层，则可以针对要处理的更高的层重复图15中所示的编码处理。
<3.图像解码装置的配置示例>
[3-1.总体配置]
图16是示出根据实施例的图像解码装置60的配置的示例的框图。参照图16，图像解码装置60包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、去块效应滤波器（DF）66、自适应偏移部（AO）67、自适应环路滤波器（ALF）68、排序缓冲器69、D/A（数字-模拟）转换部70、帧存储器71、选择器72、73、帧内预测部80以及运动补偿部90。
累积缓冲器61临时地对经由传输线所输入的编码流进行累积。
无损解码部62根据被用于编码的编码方法来对从累积缓冲器61所输入的编码流进行解码。在编码流中所包含的量化数据由无损解码部62所解码并且被输出到逆量化部63。无损解码部62还对被复用到编码流的头区域中的头信息进行解码。在此要解码的头信息可能包含，例如，前述的四叉树信息、分割信息、偏移信息、滤波器系数信息、PU设置信息以及TU设置信息。在对四叉树信息、分割信息、PU设置信息以及TU设置信息进行解码之后，无损解码部62在要解码的图像中设置一个或更多个CU、PU以及TU。在对关于自适应偏移处理的四叉树信息、分割信息以及偏移信息进行解码之后，无损解码部62将解码信息输出到自适应偏移部67。在对关于自适应环路滤波处理的四叉树信息、分割信息以及滤波器系数信息进行解码之后，无损解码部62将解码信息输出到自适应环路滤波器68。此外，要由无损解码部62所解码的头信息可以包括关于帧间预测的信息和关于帧内预测的信息。无损解码部62将关于帧内预测的信息输出到帧内预测部80。无损解码部62还将关于帧间预测的信息输出到运动补偿部90。
逆量化部63对由无损解码部62所解码的量化数据进行逆量化。逆正交变换部64根据在编码时所使用的正交变换方法来对从逆量化部63所输入的变换系数数据执行逆正交变换。然后，逆正交变换部64将所生成的预测误差数据输出到加法部65。
加法部65将从逆正交变换部64所输入的预测误差数据和从选择器73所输入的预测图像数据相加，从而生成解码图像数据。然后，加法部65将所生成的解码图像数据输出到去块效应滤波器66和帧存储器69。
去块效应滤波器66通过对从加法部65所输入的解码图像数据执行滤波来移除块失真，并且将滤波之后的解码图像数据输出到自适应偏移部67。
自适应偏移部67通过将自适应地决定的偏移值相加到DF之后的解码图像的每个像素值来改进解码图像的图像质量。在本实施例中，在图像中作为处理单元被布置为四叉树形状的分区中，使用要由无损解码部62所解码的四叉树信息、分割信息以及偏移信息来由自适应偏移部67进行自适应偏移处理。作为自适应偏移处理的结果，自适应偏移部67将具有偏移像素值的解码图像输出到环路滤波器68。
自适应环路滤波器68通过对AO之后的解码图像进行滤波来使得解码图像与原始图像之间的差异最小化。自适应环路滤波器68通常是通过使用Wiener滤波器实现的。在本实施例中，使用要由无损解码部62所解码的四叉树信息、分割信息以及滤波器系数信息，来在图像中作为处理单元被布置为四叉树形状的分区中执行由自适应环路滤波部68进行的自适应环路滤波处理。作为自适应环路滤波处理的结果，自适应环路滤波器68将滤波后的解码图像数据输出到排序缓冲器69和帧存储器71。
排序缓冲器69通过对从自适应环路滤波器68所输入的图像进行排序来生成按照时间顺序的一系列图像数据。然后，排序缓冲器69将所生成的图像数据输出到D/A转换部70。
D/A转换部70将从排序缓冲器69所输入的数字格式的图像数据转换为模拟格式的图像信号。然后，例如D/A转换部70通过将模拟图像信号输出到连接到图像解码装置60的显示器（未示出）来使得显示图像。
帧存储器71使用存储介质存储从加法部65所输入的DF之前的解码图像数据，和从自适应环路滤波器68所输入的AFL之后的解码图像数据。
选择器72依照由无损解码部62所获取的模式信息、针对图像中的每个块，在帧内预测部80与运动补偿部90之间切换来自帧存储器71的图像数据的输出目的地。例如，当指定帧内预测模式时，选择器72将从帧存储器71所提供的DF之前的解码图像数据输出到帧内预测部80作为参考图像数据。当指定帧间预测模式时，选择器72将从帧存储器71所提供的ALF之后的解码图像数据输出到运动补偿部90作为参考图像。
选择器73依照由无损解码部62所获取的模式信息、在帧内预测部80与运动补偿部90之间切换要提供给加法部65的预测图像数据的输出源。例如，当指定帧内预测模式时，选择器73将从帧内预测部80所输出到预测图像数据提供给加法部65。当指定帧间预测模式时，选择器73将从运动补偿部90所输出到的预测图像数据提供给加法部65。
帧内预测部80基于关于从无损解码部62所输入的帧内预测的信息和来自帧存储器71的参考图像来执行帧内预测处理以生成预测图像数据。然后，帧内预测部80将所生成的预测图像数据输出到选择器73。
运动补偿部90基于关于从无损解码部62所输入的帧间预测的信息和来自帧存储器71的参考图像数据来执行运动补偿处理以生成预测图像数据。然后，运动补偿部90将作为运动补偿处理的结果所生成的预测图像数据输出到选择器73。
图像解码装置60针对可伸缩视频编码图像的多个层中的每一个来重复在此所描述的一系列解码处理。首先要解码的层是基本层。在对基本层进行解码之后，对一个或更多个增强层进行解码。当对增强层进行解码时，使用通过对基本层或作为其他增强层的下面的层进行解码所获得的信息。
在由图像解码装置60所进行的可伸缩视频编码中，在上面的层中重新使用下面的层的四叉树信息。更具体地，图16中所示的无损解码部62包括缓冲器，其可以对下面的层的四叉树信息进行缓冲以设置编码单元（CU）并且使用该四叉树信息将CU设置到上面的层。自适应偏移部67包括缓冲器，其对下面的层的四叉树信息进行缓冲以设置自适应偏移处理的分区并且使用该四叉树信息将分区设置到上面的层。自适应环路滤波器68还包括如下缓冲器：该缓冲器对下面的层的四叉树信息进行缓冲以设置自适应环路滤波处理的分区并且使用该四叉树信息将分区设置到上面的层。在本说明书中，将主要描述下述示例，在该示例中无损编码单元62、自适应偏移部67、以及自适应环路滤波器68各自重新使用四叉树信息。然而，本实施例不限于这样的示例并且无损编码部62、自适应偏移部67、以及自适应环路滤波器68中的任一个或两个可以重新使用四叉树信息。另外，自适应偏移部67和自适应环路滤波器68可以从图像解码装置60的配置中省略
[3-2.无损解码部的详细配置]
在此部分中，将描述在图1中所示的无损解码部62的详细配置。图17是示出无损解码部62的详细配置的示例的框图。参照图17，无损节目部62包括语法解码部210、CU设置部212、PU设置部214、TU设置部216、以及缓冲器218。
（1）基本层
在基本层的解码处理中，语法解码部210对从累积缓冲器61所输入的编码流进行解码。在对用于被设置到基本层的CU的四叉树信息进行解码之后，语法解码部210将解码四叉树信息输出到CU设置部212。CU设置部212使用由语法解码部210所解码的四叉树信息以将一个或更多个CU设置到四叉树形状的基本层。然后，语法解码部120对用于由CU设置部212所设置的每个CU的其他头信息和图像数据（量化数据）进行解码。将由语法解码部210所解码的量化数据输出到逆量化部63。
另外，语法解码部210将解码PU设置信息和TU设置信息输出到PU设置部214和TU设置部216中的每一个。PU设置部214使用由语法解码部210解码的设置信息以进一步将一个或更多个PU设置到由CU设置部212所设置的四叉树形状的每一个CU。由PU设置部214所设置的每个PU变为由帧内预测部80所进行的帧内预测处理或由运动补偿部90所进行的运动补偿处理的处理单元。TU设置部216使用由语法解码部210所解码的TU设置信息以进一步将一个或更多个TU设置到由PU设置部214所设置的每一个PU。由TU设置部216所设置的每一个TU成为由逆量化部63进行的逆量化或由逆正交变换部64进行的逆正交变换的处理单元。
语法解码部210对用于自适应偏移处理的四叉树信息和偏移信息进行解码，并且将解码信息输出到自适应偏移部67。语法解码部210还对用于自适应环路滤波处理的四叉树信息和滤波器系数信息进行解码，并且将解码信息输出到自适应环路滤波器68。此外，语法解码部210对其他头信息进行解码，并且将解码信息输出到相对应的处理部（例如，用于关于帧内预测的信息的帧内预测部80和用于关于帧间预测的信息的运动补偿部90）。
缓冲器218针对上面的层中的处理对用于由语法解码部210所解码的CU的四叉树信息进行缓冲。可以类似于用于CU的四叉树信息来对PU设置信息和TU设置信息进行缓冲，或可以在上面的层中对其进行新的解码。
（2）增强层
在增强层的编码处理中，重新使用由缓冲器218所缓冲的信息。
语法解码部210对从累积缓冲器61所输入的增强层的编码流进行解码。语法解码部210首先从缓冲器218获取被用于将CU设置到下面的层的四叉树信息，并且将所获取的四叉树信息输出到CU设置部212。CU设置部212使用由语法解码部210所获取的下面的层的四叉树信息来将具有等价于下面的层的四叉树结构的一个或更多个CU设置到增强层。在此四叉树信息通常包含LCU尺寸、SCU尺寸以及split_flag集。如果增强层与下面的层之间的空间分辨率不同，则可以依照空间分辨率的比例放大LCU尺寸。当增强层的编码流的头信息包含分割信息时，语法解码部210对分割信息进行解码并且将解码分割信息输出到CU设置部212。CU设置部212可以通过使用根据由语法解码部210所解码的分割信息的四叉树信息来对CU进行子分割。语法解码部210如上所述地对用于由CU设置部212所设置的每个CU的其他头信息和图像数据（量化数据）进行解码。将由语法解码部210所解码的量化数据输出到逆量化部63。
另外，语法解码部210将从缓冲器218所获取的或在增强层中新解码的解码PU设置信息和TU设置信息输出到PU设置部214和TU设置部216中的每一个。PU设置部214使用从语法解码部210所输入的PU设置信息以进一步将一个或更多个PU设置到在四叉树中由CU设置部212所设置的每个CU。TU设置部216使用从语法解码部210所输入的TU设置信息以进一步将一个或更多个TU设置到由TU设置部214所设置的每个PU。
语法解码部210将增强层的编码流解码为用于自适应偏移处理的偏移信息，并且将解码偏移信息输出到自适应偏移部67。如果在编码流中包含用于自适应偏移处理的分割信息，则语法解码部210对分割信息进行解码，并且将分割信息输出到自适应偏移部67。另外，语法解码部210将增强层的编码流解码为用于自适应环路滤波处理的滤波器系数信息，并且将解码滤波器系数信息输出到自适应环路滤波器68。如果在编码流中包含用于自适应环路滤波处理的分割信息，则语法解码部210对分割信息进行解码，并且将分割信息输出到自适应环路滤波器68。此外，语法解码部210对其他头信息进行解码，并且将解码信息输出到相对应的处理部。
当存在由语法解码部210所解码的增强层的分割信息、PU设置信息、或TU设置信息时，缓冲器218可以对用于在甚至更高层中的处理的以上信息进行缓冲。
[3-3.自适应偏移部的详细配置]
在此部分中，将描述在图16中所示的自适应偏移部67的详细配置。图18是示出自适应偏移部67的详细配置的示例的框图。参照图18，自适应偏移部67包括分区设置部220、偏移获取部222、偏移处理部224以及缓冲器226。
（1）基本层
在基本层的自适应偏移处理中，分区设置部220从基本层的编码流中获取要由无损解码部62所解码的四叉树信息。然后，分区设置部220使用所获取的四叉树信息以将用于自适应偏移处理的一个或更多个分区设置到四叉树形状的基本层。偏移获取部222获取用于要由无损解码部62所解码的自适应偏移处理的信息。如上所述，在此所获取的偏移信息代表用于每个分区的偏移模式以及用于每个偏移模式的偏移值集合。然后，偏移处理部224使用由偏移获取部222所获取的偏移信息来执行用于由分区设置部220所设置的每个分区的偏移信息。即，偏移处理部224根据由偏移信息所代表的偏移模式将偏移值相加到在每个分区中的每个像素值。然后，偏移处理部224将具有偏移像素值的解码图像数据输出到自适应环路滤波器68。缓冲器226对由分区设置部220所获取的四叉树信息进行缓冲以用于上面的层中的处理。
（2）增强层
在增强层的自适应偏移处理中，重新使用由缓冲器226所缓冲的四叉树信息。
在增强层的自适应偏移处理中，分区设置部220从缓冲器226获取下面的层的四叉树信息。然后，分区设置部220使用所获取的四叉树信息以将用于自适应偏移处理的一个或更多个分区设置到增强层。当由无损解码部62对分割信息进行解码时，分区设置部220可以获取解码分割信息以根据所获取的分割信息对分区进行子分割。偏移获取部222获取用于要由无损解码部62所解码的自适应偏移处理的偏移信息。偏移处理部224使用由偏移获取部222所获取的偏移信息以针对由分区设置部220所设置的每个分区执行自适应偏移处理。然后，偏移处理部224将具有偏移像素值的解码图像数据输出到自适应环路滤波器68。可以由缓冲器226对由分区设置部220所获取的分割信息进行缓冲以用于甚至更上面的层。
[3-4.自适应环路滤波器的详细配置]
在此部分中，将描述在图16中所示的自适应环路滤波器68的详细配置。图19是示出自适应环路滤波器68的详细配置的示例的框图。参照图19，自适应环路滤波器68包括分区设置部230、系数获取部232、滤波部234以及缓冲器236。
（1）基本层
在基本层的自适应环路滤波处理中，分区设置部230从基本层的编码流中获取由无损解码部62所解码的四叉树信息。然后，分区设置部230使用所获取的四叉树信息以将用于自适应环路滤波处理的一个或更多个分区设置到四叉树形状的基本层。系数获取部232获取用于要由无损解码部62所解码的自适应环路滤波处理的滤波器系数信息。如上所述，在此所获取的滤波器系数信息代表用于每个分区的滤波器系数集合。然后，滤波部234针对由分区设置部230所设置的每个分区，使用具有由滤波器系数信息所代表的滤波器系数的Wiener滤波器对解码图像数据进行滤波。然后，滤波部234将滤波后的解码图像数据输出到排序缓冲器69和帧存储器71。缓冲器236对由分区设置部230所获取的四叉树信息进行缓冲以用于上面的层中的处理。
（2）增强层
在增强层的自适应环路滤波处理中，重新使用由缓冲器236所缓冲的四叉树信息。
在增强层的自适应环路滤波处理中，分区设置部230从缓冲器236获取下面的层的四叉树信息。然后，分区设置部230使用所获取的四叉树信息以将用于自适应环路滤波处理的一个或更多个分区设置到增强层。当由无损解码部62对分割信息进行解码时，分区设置部230可以获取解码分割信息以根据所获取的分割信息对分区进行子分割。系数获取部232获取用于要由无损解码部62所解码的自适应环路滤波处理的滤波器系数信息。滤波部234针对由分区设置部234所设置的每个分区使用具有由滤波器系数信息所代表的滤波器系数的Wiener滤波器对解码图像数据进行滤波。然后，滤波部234将滤波后的解码图像数据输出到排序缓冲器69和帧存储器71。缓冲器236对由分区设置部230所获取的分割信息进行缓冲以用于甚至更高的层中的处理。
<4.解码期间的处理流程的示例>
[4-1.解码处理]
图20是示出由图16中所示的无损解码部62所进行的解码处理的流程的示例的流程图。在图20中的流程图示出了用于要被进行可伸缩视频解码的图像的多个层中的一个增强层的处理的流程。假定在在此所描述的处理之前，执行用于下面的层的解码处理，并且缓冲器218对关于下面的层的信息进行缓冲。还假定基于LCU执行重复的处理。
参照图20，语法解码部210首先从缓冲器218获取被用于将CU设置到下面的层的四叉树信息（步骤S210）。另外，语法解码部210再度将编码流解码为PU设置信息和TU设置信息，或从缓冲器218获取PU设置信息和TU设置信息（步骤S211）。
接下来，语法解码部210确定在编码流的头区域中是否存在指示要被进行子分割的CU的存在的分割信息（步骤S212）。如果存在分割信息，则语法解码部210对分割信息进行解码（步骤S213）。
接下来，CU设置部212使用如下的四叉树信息（步骤S214）：该四叉树信息被用于将在与关注的LCU相对应的下面的层的LCU中的CU设置到具有与增强层的关注的LCU中的下面的层等价的四叉树结构的一个或更多个CU。如果存在分割信息，则CU设置部212可以根据分割信息对CU进行子分割。
接下来，PU设置部214使用由语法解码部210所获取的PU设置信息以进一步将一个或更多个PU设置到由CU设置部212所设置的每个CU（步骤S215）。
接下来，TU设置部216使用与语法解码部210所获取的TU设置信息以进一步将一个或更多个TU设置到由PU设置部214所设置的每个PU（步骤S216）。
语法解码部210还对其他头信息（诸如关于帧内预测的信息和关于帧间预测的信息）进行解码（步骤S217）。另外，语法解码部210对在增强层的解码流中所包含的关注的LCU的量化数据进行解码（步骤S218）。将由语法解码部210所解码的量化数据输出到逆量化部63。
然后，如果在要处理的层中存在剩余的尚未处理的任何LCU，则处理返回到步骤S210以重复前述的步骤（步骤S219）。另一方面，如果不存在剩余的尚未处理的LCU，则图20中所示的解码处理结束。如果存在任何较高的层，则可以针对要处理的更高的层重复图20中所示的解码处理。
[4-2.自适应偏移处理]
图21是示出由图16中所示的自适应偏移部67所进行的自适应偏移处理的流程的示例的流程图。图21中的流程图示出了用于要进行可伸缩视频编码的图像的多个层中的一个增强层的处理的流程。假定在进行在此所描述的处理之前，执行用于较低的层的自适应偏移处理并且由缓冲器226对用于较低层的四叉树信息进行缓冲。还假定基于LCU执行重复的处理。
参照图21，分区设置部220首先从缓冲器226获取被用于将分区设置到下面的层的四叉树信息（步骤S220）。
接下来，分区设置部220确定指示要进行子分割的分区的存在的分割信息是否由无损解码部62所解码（步骤S221）。如果已经对分割信息进行了解码，则分区设置部220获取分割信息（步骤S222）。
接下来，分区设置部220使用被用于将与关注的LCU相对应的下面的层的LCU中的分区设置到具有与增强层的关注的LCU中的下面的层等价的四叉树结构的一个或更多个分区的四叉树信息（步骤S223）。如果存在分割信息，则分割设置部220可以根据分割信息对分区进行子分割。
偏移设置部222获取用于由无损解码部62所解码的自适应偏移处理的偏移信息（步骤S224）。在此所获取的偏移信息代表用于在关注的LCU中的每个分区的偏移模式和用于每个偏移模式的偏移值集合。
接下来，偏移处理部224根据由所获取的偏移信息所代表的偏移模式来将偏移值相加到每个分区中的像素值（步骤S225）。然后，偏移处理部224将具有偏移像素值的解码图像数据输出到自适应环路滤波器68。
然后，如果在要处理的层中不存在剩余的尚未处理的LCU，则处理返回到步骤S220以重复前述的处理（步骤S226）。另一方面，如果不存在剩余的尚未处理的LCU，则图21中所示的自适应偏移处理结束。如果存在任何较高的层，则针对要处理的较高的层可以重复图21中所示的自适应偏移处理。
[4-3.自适应环路滤波处理]
图22是示出由图16中所示的自适应环路滤波器68所进行的自适应环路滤波处理的流程的示例的流程图。图22中的流程图示出了用于要进行可伸缩视频解码的图像的多个层中的一个增强层的处理的流程。假定在此描述的处理之前，执行用于下面的层的自适应环路滤波处理，并且由缓冲器236对用于下面的层的四叉树信息进行缓冲。还假定基于LCU执行重复的处理。
参照图22，分区设置部230首先从缓冲器236获取被用于将分区设置到下面的层的四叉树信息（步骤S230）。
接下来，分区设置部230确定指示要进行子分割的分区的存在的分割信息是否由无损解码部62所解码（步骤S231）。如果已经对分割信息进行了解码，则分区设置部230获取分割信息（步骤S232）。
接下来，分区设置部230使用被用于将与关注的LCU相对应的下面的层的LCU中的分区设置到具有与增强层的关注的LCU中的下面的层等价的四叉树结构的一个或更多个分区的四叉树信息（步骤S233）。如果存在分割信息，则分区设置部230可以根据分割信息对分区进行子分割。
系数获取部232获取用于由无损解码部62所解码的自适应滤波处理的滤波器系数信息（步骤S234）。在此所获取的滤波器系数信息代表用于关注的LCU中的每个分区的滤波器系数集合。
接下来，滤波部234使用由所获取的滤波器系数信息所代表的滤波器系数集以对每个分区中的解码图像进行滤波（步骤S235）。然后，滤波部234将滤波后的解码图像数据输出到排序缓冲器69和帧存储器71。
然后，如果在要处理的层中不存在剩余的尚未处理的LCU，则处理返回到步骤S230以重复前述的处理（步骤S236）。另一方面，如果不存在剩余的尚未处理的LCU，则图22中所示的自适应环路滤波处理结束。如果存在任何较高的层，则针对要处理的较高的层可以重复图22中所示的自适应环路滤波处。
<5.示例应用>
根据以上所描述的实施例的图像编码装置10和图像解码装置60可以被应用到各种电子设备，诸如用于卫星广播、有线广播（诸如有线电视）、因特网上的分发、经由蜂窝通信到终端的分发等的发送机或接收机、在介质（诸如光盘、磁盘或闪速存储器）上记录图像的记录装置、或从这样的记录介质再现图像的再现装置等。下面将描述四个示例应用。
[5-1.第一应用示例]
图23是示出了应用前述实施例的电视装置的示例性配置的示例的图。电视装置900包括天线901、调谐器902、多路分配器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户界面911以及总线912。
调谐器902从通过天线901所接收的广播信号中提取期待的通道的信号，并且解调提取的信号。然后，调谐器902将通过解调所获得的编码比特流输出至多路分配器903。即，调谐器902充当在电视装置900中用于接收其中图像被编码的编码流的传输装置
多路分配器903从编码比特流中分离要观看的节目的视频流和音频流，并且将每个分离的流输出至解码器904。另外，多路分配器903从编码比特流中提取辅助数据（诸如EPG（电子节目指南）），并且将提取的数据提供给控制单元910。在此，当编码比特流被加扰时，多路分配器903可以进行解扰。
解码器904对从多路分配器903所输入的视频流和音频流进行解码。然后，解码器904将通过解码处理所生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理所生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904所输入的视频数据，并且将视频显示在显示器906上。视频信号处理单元905还可以将通过网络所提供的应用程序屏幕显示在显示器906上。视频信号处理单元905还可根据设置对视频数据执行额外的处理（诸如噪声消除）。此外，视频信号处理单元905可以生成诸如菜单、按钮、或光标的GUI（图形用户界面）的图像，并且将生成的图像叠加在输出图像上。
显示器906由从视频信号处理单元905所提供的驱动信号驱动，并且在显示装置（例如，液晶显示器、等离子显示器或OELD（有机电致发光显示器））的视频屏幕上显示视频或图像。
音频信号处理单元907对于从解码器904所输入的音频数据执行再现处理（诸如D/A转换或放大），并且将音频从扬声器908输出。音频信号处理单元907还可对于音频数据执行额外的处理（诸如噪声消除）。
外部接口910是将电视装置900与外部装置或网络连接的接口。例如，解码器904可以对经由外部接口909所接收的视频流或音频流进行解码。这意味着外部接口909还充当在电视装置900中用于接收编码流（在其中图像被编码）的传输装置。
控制单元900包括处理器（诸如CPU（中央处理单元））和存储器（诸如RAM（随机存取存储器）和ROM（只读存储器））。存储器存储CPU执行的程序、程序数据、EPG数据、通过网络所获取的数据。例如当接通电视装置900时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、依照例如从用户界面911所输入的操作信号来控制电视装置900的操作。
用户界面911连接至控制单元910。例如，用户界面911包括用于用户操作电视装置900的按钮和开关，以及接收远程控制信号的接收部分。用户界面911通过这些组件检测用户操作，生成操作信号，以及将生成的操作信号输出至控制单元910。
总线912相互连接调谐器902、多路分配器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909以及控制单元910。
在按照前述方式所配置的电视装置900中的解码器904具有根据前述实施例的图像解码装置60的功能。因此，对于由移动电话920所进行的图像的可伸缩视频编码和解码，通过基于层之间的图像关联重新使用四叉树信息可以进一步增强编码效率。
[5-2.第二应用示例]
图24示出了应用了前述实施例的移动电话的示例性配置的示例的图。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、扩音器925、摄像单元926、图像处理单元927、多路分配单元928、记录/再现单元929、显示器930、控制单元931、操作单元932以及总线933。
天线921连接至通信单元922。扬声器924和扩音器925连接至音频编解码器923。操作单元932连接至控制单元931。总线933相互连接通信单元922、音频编解码器923、摄像单元926、图像处理单元927、多路分配单元928、记录/再现单元929、显示器930以及控制单元931。
移动电话920以包括音频呼叫模式、数据通信模式、图像拍摄模式以及视频电话模式的各种操作模式执行如下操作：诸如传输/接收音频信号、传输/接收电子邮件或图像数据、对图像成像或记录数据。
在音频呼叫模式中，扩音器925所生成的模拟音频信号被提供给音频编解码器923。音频编解码器923然后将模拟音频信号转换为音频数据，对转换的音频数据进行A/D转换以及压缩该数据。然后，音频编解码器923将压缩的音频数据输出至通信单元922。通信单元922对音频数据编码并且调制以生成传输信号。通信单元922然后将生成的传输信号通过天线921传送至基站（未示出）。此外，通信单元922对通过天线921所接收的无线电信号进行放大、对信号的频率进行转换、以及获取接收信号。然后，通信单元922对接收信号解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据进行扩展，对数据执行D/A转换，以及生成模拟音频信号。音频编解码器923然后通过将生成的音频信号提供给扬声器924来输出音频。
在数据通信模式中，控制单元931例如依照通过输入单元932的用户操作生成构成电子邮件的字符数据。控制单元931还将字符显示在显示器930上。此外，控制单元931依照用户通过操作单元932的传输指令而生成电子邮件数据，并且将生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据编码和调制以生成传输信号。然后，通信单元922将生成的传输信号通过天线921传送至基站（未示出）。通信单元922还对通过天线921所接收的无线电信号进行放大，对信号的频率进行转换，以及获取接收信号。然后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，以及将恢复的电子邮件数据输出至控制单元931。控制单元931将电子邮件的内容显示在显示器930上，以及将电子邮件数据存储在记录/再现单元929的存储介质中。
记录/再现单元929包括可读并且可写的任意存储介质。例如，存储介质可以是内置存储介质诸如RAM或闪速存储器，或可以是外部加载的存储介质（诸如硬盘、磁盘、磁光盘、光盘、USB（未分配空间位图）存储器或存储卡）。
在图像拍摄模式中，例如，摄像单元926对对象成像、生成图像数据、以及将生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像单元926所输入的图像数据进行编码，并且将编码流存储在记录/再现单元929的记录介质中。
在视频电话模式中，多路分配单元928例如复用图像处理单元927所编码的视频流和从音频编解码器923所输入的音频流，并且将复用的流输出至通信单元922。通信单元922对流编码和调制以生成传输信号。通信单元922随后将生成的传输信号通过天线921传送至基站（未示出）。此外，通信单元922对通过天线921所接收的无线电信号进行放大，对频率的信号进行转换，以及获取接收信号。传输信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号解调和解码以恢复流，并且将恢复的流输出至多路分配单元928。多路分配单元928从输入流中分离视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流解码以生成视频数据。视频数据然后被提供给显示一系列图像的显示器930。音频编解码器923对音频流执行扩展和D/A转换以生成模拟音频信号。音频编解码器923然后将所生成的音频信号提供给扬声器924以输出音频
在按照前述方式所配置的移动电话920中的图像处理单元927具有根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，对于由移动电话920所进行的图像的可伸缩视频编码和解码，通过基于层之间的图像关联重新使用四叉树信息可以进一步增强编码效率。
[5-3.第三应用示例]
图25是示出了应用前述实施例的记录/再现装置的示例性配置的示例的图。记录/再现装置940例如对接收的广播节目的音频数据和视频数据进行编码，并且将该数据记录在记录介质上。记录/再现装置940还可以对从另一装置所获取的音频数据和视频数据进行编码，并且将该数据记录在记录介质上。记录/再现装置940例如响应于用户指令在监视器和扬声器上对在记录介质上所记录的数据进行再现。此时，记录/再现装置940对音频数据和视频数据解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD（硬盘驱动器）944、盘驱动器945、选择器946、解码器947、OSD（屏幕显示）948、控制单元949以及用户界面950。
调谐器941从通过天线（未示出）接收的广播信号中提取期望的通道的信号，并且对提取的信号进行解调。调谐器941然后将通过解调获得的编码比特流输出至选择器946。即，调谐器941具有记录/再现装置940中的传输装置的功能。
外部接口942是将记录/再现装置940与外部装置或网络连接的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪速存储器接口。例如，将通过外部接口942所接收的视频数据和音频数据输入至编码器943。即，外部接口942具有记录/再现装置940中的传输部件的功能。
当从外部接口942所输入的视频数据和音频数据未编码时，编码器943对视频数据和音频数据编码。然后，编码器943将编码比特流输出至选择器946。
HDD944将在其中诸如视频和音频的内容数据被压缩的编码比特流、各种程序以及其它数据记录在内部硬盘上。当对视频和音频进行再现时，HDD944从硬盘读取这些数据。
盘驱动器945将数据记录在装载的记录介质上或从装载的记录介质上读取数据。装载到盘驱动器945的记录介质可以是例如DVD盘（例如，DVD-视频，DVD-RAM，DVD-R，DVD-RW，DVD+R，DVD+RW）或者蓝光（注册商标）盘。
当对视频和音频进行再现时，选择器946选择从调谐器941或编码器943所输入的编码比特流，并且将选择的编码比特流输出至HDD944或盘驱动器945。另一方面，当对视频和音频进行再现时，选择器946将从HDD944或盘驱动器945所输入的编码比特流输出至解码器947。
解码器947对编码比特流解码以生成视频数据和音频数据。解码器947然后将生成的视频数据输出至OSD948，并且将生成的音频数据输出至外部扬声器。
OSD948对从解码器947所输入的视频数据进行再现，并且显示视频。OSD948还可以在所显示的视频上叠加诸如菜单、按钮或光标等GUI的图像。
控制单元949包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储由CPU所执行的程序、以及程序数据等。例如当接通记录/再现装置940时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、依照例如从用户界面950所输入的操作信号来控制记录/再现装置940的操作。
用户界面950连接至控制单元949。例如，用户界面950包括用于用户操作记录/再现装置940的按钮、开关、以及接收远程控制信号的接收部分等。用户界面950通过这些组件检测用户操作，生成操作信号，以及将生成的操作信号输出至控制单元949。
在按照前述方式所配置的记录/再现装置940中的编码器943具有根据前述实施例的图像编码装置10的功能。另一方面，解码器947具有根据前述实施例的图像解码装置60的功能。因此，对于由记录/再现装置940所进行的图像的可伸缩视频编码和解码，通过基于层之间的图像关联重新使用四叉树信息可以进一步增强编码效率。
[5-4.第四应用示例]
图26示出了应用了前述实施例的成像装置的示例性配置的示例的图。成像装置960对对象成像、生成图像、对图像数据进行编码以及将编码图像数据记录在记录介质上。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、媒介驱动器968、OSD969、控制单元970、用户界面971以及总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示器965连接至图像处理单元964。用户界面971连接至控制单元970。总线972相互连接图像处理单元964、外部接口966、存储器967、媒介驱动器968、OSD969以及控制单元970。
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像平面上形成对象的光学图像。成像单元962包括图像传感器（诸如CCD（电耦合器件）或CMOS（补偿金属氧化物半导体）），并且执行光电转换以将在成像平面上所形成的光学图像转换为作为电信号的图像信号。随后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对于从成像单元962所输入的图像信号执行各种摄像信号处理，诸如拐点（knee）校正、伽马校正以及色彩校正。信号处理单元963将已经被执行了摄像信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963所输入的图像数据进行编码，并且生成编码数据。图像处理单元964然后将生成的编码数据输出至外部接口966或媒介驱动器968。图像处理单元964还对从外部接口966或媒介驱动器968所输入的编码数据进行解码以生成图像数据。图像处理单元964然后将生成的图像数据输出至显示器965。此外，图像处理单元964可以将从信号处理单元963所输入的图像数据输出至显示器965以显示图像。此外，图像处理单元964可将从OSD969所获取的显示数据叠加在输出在显示器965的图像上。
OSD969生成例如诸如菜单、按钮或光标的GUI的图像，并且将生成的图像输出至图像处理单元964。
外部接口966被配置为例如USB输入/输出端子。外部接口966例如在打印图像时将成像装置960与打印机进行连接。此外，需要时，驱动器连接至外部接口966。例如，可拆卸介质（诸如磁盘或光盘）装载到驱动器，以使得从可拆卸介质所读取的程序可以安装在成像装置960上。另外，外部接口966还可被配置为连接至网络（诸如LAN或因特网）的网络接口。即，外部接口966充当成像装置960中的传输装置。
装载到媒介驱动器968的记录介质可以是可读并且可写的任意可拆卸介质，诸如磁盘、磁光盘、光盘、或半导体存储器。此外，记录介质可以固定地安装在媒介驱动器968上以使得构成例如非便携式存储单元（诸如内置硬盘驱动器或SSD（固态驱动器））。
控制单元970包括处理器（诸如CPU）和存储器（诸如RAM和ROM）。存储器存储CPU执行的程序以及程序数据。例如，当接通成像装置960时，CPU读取并且执行在存储器中所存储的程序。CPU通过执行程序、依照例如从用户界面971所输入的操作信号来控制成像装置960的操作。
用户界面971连接至控制单元970。用户界面971包括例如用于用户操作成像装置960的按钮、开关等。用户界面971通过这些部件检测用户操作，生成操作信号，以及将生成的操作信号输出至控制单元970。
在按照前述方式所配置的成像装置960中的图像处理单元964具有根据前述实施例的图像编码装置10和图像解码装置60的功能。因此，对于由成像装置960所进行的图像的可伸缩视频编码和解码，通过基于层之间的图像关联重新使用四叉树信息可以进一步增强编码效率。
<6.结论>
到此为止，使用图1至图26详细地描述了根据实施例的图像编码装置10和图像解码装置60。根据本实施例，在可伸缩视频编码和解码中，使用标识被设置到下面的层的第一四叉树的四叉树信息来将第二四叉树设置到上面的层。因此，消除了对于上面的层对代表上面的层的整个四叉树结构的四叉树信息进行编码的必要性。即，避免了在多个层上对冗余的四叉树信息进行编码，以及因此增强了编码效率。
另外根据本实施例，对于上面的层可以对指示在第二四叉树中是否对第一四叉树进行进一步分割的分割信息进行编码。因此，在上面的层中可以对四叉树结构进行进一步分割，而不是采用与下面的层的四叉树结构相同的四叉树结构。因此，在上面的层中，可以以较小的处理单元执行类似于编码和解码、帧内/帧间预测、正交变换和逆正交变换、自适应偏移（AO）、以及自适应环路滤波（ALF）的处理。作为结果，可以在上面的层中更加正确地对精细图像进行再现。
四叉树可以是用于基于块的自适应环路滤波处理的四叉树。根据本实施例，虽然对于自适应环路滤波处理重新使用四叉树信息，但是可以计算并且传送层之间的不同滤波器系数。因此，即使重新使用四叉树信息，但是对于施加到上面的层的自适应环路滤波器可以确保足够的性能。
四叉树还可以是用于基于块的自适应偏移处理的四叉树。根据本实施例，虽然对于自适应偏移处理重新使用四叉树信息，但是可以计算并且传送层之间的不同偏移信息。因此，即使重新使用四叉树信息，但是对于施加到上面的层的自适应偏移处理可以确保足够的性能。
四叉树还可以是用于CU的四叉树。在HEVC中，被布置为四叉树形状的CU成为图像的编码和解码的基本处理单元，并且因此通过在层之间重新使用用于CU的四叉树信息可以显著地减少编码的量。另外，通过在层之间的每个CU中的PU的布置和/或TU的布置可以进一步减少编码的量。另一方面，如果逐层地对在每个CU中的PU布置进行编码，则针对每个层优化PU的布置，并且因此可以增强预测的精确度。类似地，如果逐层地对在每个PU中的TU的布置进行编码，则针对每个层优化TU的布置，并且因此，可以抑制通过正交变换所导致的噪声。
可以将根据本实施例的重新使用四叉树信息的机制应用到各种类型的可伸缩视频编码技术，诸如，空间可伸缩性、SNR可伸缩性、位深可伸缩性以及色度格式可伸缩性。当层之间的空间分辨率不同时，例如通过依照空间分辨率的比例放大LCU尺寸或最大分区尺寸可以容易地实现四叉树信息的重新使用。
在本文中主要描述了下述示例，在该示例中，诸如四叉树信息、分割信息、偏移信息以及滤波器系数信息的各种头信息被复用到编码流的头，并且被从编码侧传送到解码侧。然而，传送这些信息的方法不限于这样的示例。例如，可以将这些信息作为与编码比特流相关联的分离数据而传送或记录，不必将其复用到编码比特流中。在此，“关联”意味着当解码时允许在比特流中所包括的图像（可以是图像的一部分，诸如切片或块）和与当前图像相对应的信息建立链接。即，可以在与图像（或比特流）不同的传送路径上传送信息。还可以将信息记录在与图像（或比特流）不同的记录介质（或同一记录介质的不同记录区域）上。此外，通过诸如多个帧、一个帧、或帧中的一部分的任意单元将信息与图像（或比特流）彼此相关联。
尽管参照附图描述了本公开的优选实施例，但是本公开当然不限于以上示例。本领域内技术人员可以发现所附的权利要求的范围内的各种替换和修改，并且应当理解，这样的替换或修改自然地在本公开的技术范围内。
另外，本技术还可以如下配置。
（1）一种图像处理设备，包括：
解码部，所述解码部对四叉树信息进行解码，所述四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，所述可伸缩视频解码图像包括所述第一层和高于所述第一层的第二层；以及
设置部，所述设置部使用由所述解码部解码后的所述四叉树信息来将第二四叉树设置到所述第二层。
（2）根据（1）所述的图像处理设备，
其中，所述解码部对分割信息进行解码，所述分割信息指示是否进一步分割所述第一四叉树，以及
其中，所述设置部通过根据所述分割信息进一步分割通过使用所述四叉树信息所形成的四叉树来设置所述第二四叉树。
（3）根据（1）或（2）所述的图像处理设备，还包括：
滤波部，所述滤波部针对在由所述设置部设置的所述第二四叉树中包括的每个分区，执行自适应环路滤波处理。
（4）根据（3）所述的图像处理设备，
其中，所述解码部还对用于所述第二层的所述自适应环路滤波处理的、所述分区中的每个分区的滤波器系数进行解码，以及
其中，所述滤波部通过使用所述滤波器系数来执行所述自适应环路滤波处理。
（5）根据（1）或（2）所述的图像处理设备，还包括：
偏移处理部，所述偏移处理部针对在由所述设置部设置的所述第二四叉树中所包括的每个分区，执行自适应偏移处理。
（6）根据（5）所述的图像处理设备，
其中，所述解码部还对用于所述第二层的所述自适应偏移处理的偏移信息进行解码，以及
其中，所述偏移处理部通过使用所述偏移信息来执行所述自适应偏移处理。
（7）根据（1）或（2）所述的图像处理设备，
其中，所述第二四叉树是用于CU（编码单元）的四叉树，以及
其中，所述解码部针对在所述第二四叉树中所包括的每个CU来对所述第二层的图像数据进行解码。
（8）根据（7）所述的图像处理设备，其中，所述设置部还使用用于将所述一个或更多个PU设置到CU中的每个CU的PU（预测单元）设置信息、针对在所述第二四叉树中包括的所述CU中的每个CU来设置一个或更多个PU。
（9）根据（8）所述的图像处理设备，其中，所述PU设置信息是为了将PU设置到所述第一层而解码的信息。
（10）根据（8）所述的图像处理设备，其中，所述PU设置信息是为了将PU设置到所述第二层而解码的信息。
（11）根据（8）所述的图像处理设备，其中，所述设置部还使用用于将所述一个或更多个TU设置到PU中的每个PU的TU（变换单元）设置信息、针对在所述第二四叉树中包括的所述CU中的所述PU中的每个PU来设置一个或更多个变换单元。
（12）根据（11）所述的图像处理设备，其中，所述TU设置信息是为了将TU设置到所述第一层而解码的信息。
（13）根据（11）所述的图像处理设备，其中，所述TU设置信息是为了将TU设置到所述第二层而解码的信息。
（14）根据（7）至（13）中任一项所述的图像处理设备，其中，所述设置部基于所述第一层与所述第二层之间的空间分辨率的比例来放大所述第一层中的LCU（最大编码单元）的尺寸，并且基于放大后的LCU的尺寸来将所述第二四叉树设置到所述第二层。
（15）根据（1）至（13）中任一项所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的空间分辨率的层。
（16）根据（1）至（13）中任一项所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的噪声比例的层。
（17）根据（1）至（13）中任一项所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的位深的层。
（18）一种图像处理方法，包括：
对四叉树信息进行解码，所述四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，所述可伸缩视频解码图像包括所述第一层和高于所述第一层的第二层；以及
使用解码后的四叉树信息来将第二四叉树设置到所述第二层。
（19）一种图像处理设备，包括：
编码部，所述编码部对四叉树信息进行编码，所述四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，所述可伸缩视频编码图像包括所述第一层和高于所述第一层的第二层，所述四叉树信息被用于将第二四叉树设置到所述第二层。
（20）一种图像处理方法，包括：
对四叉树信息进行编码，所述四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，所述可伸缩视频编码图像包括所述第一层和高于所述第一层的第二层，所述四叉树信息被用于将第二四叉树设置到所述第二层。
参考标记列表
10图像编码装置（图像处理设备）
16编码部
60图像解码装置（图像处理设备）
62解码部
212、214、216、230设置部
224偏移处理部
234滤波部

Claims (20)

1.一种图像处理设备，包括：
解码部，所述解码部对四叉树信息进行解码，所述四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，所述可伸缩视频解码图像包括所述第一层和高于所述第一层的第二层；以及
设置部，所述设置部使用由所述解码部解码后的所述四叉树信息来将第二四叉树设置到所述第二层。
2.根据权利要求1所述的图像处理设备，
其中，所述解码部对分割信息进行解码，所述分割信息指示是否进一步分割所述第一四叉树，以及
其中，所述设置部通过根据所述分割信息进一步分割通过使用所述四叉树信息所形成的四叉树来设置所述第二四叉树。
3.根据权利要求1所述的图像处理设备，还包括：
滤波部，所述滤波部针对在由所述设置部设置的所述第二四叉树中包括的每个分区，执行自适应环路滤波处理。
4.根据权利要求3所述的图像处理设备，
其中，所述解码部还对用于所述第二层的所述自适应环路滤波处理的、所述分区中的每个分区的滤波器系数进行解码，以及
其中，所述滤波部通过使用所述滤波器系数来执行所述自适应环路滤波处理。
5.根据权利要求1所述的图像处理设备，还包括：
偏移处理部，所述偏移处理部针对在由所述设置部设置的所述第二四叉树中所包括的每个分区，执行自适应偏移处理。
6.根据权利要求5所述的图像处理设备，
其中，所述解码部还对用于所述第二层的所述自适应偏移处理的偏移信息进行解码，以及
其中，所述偏移处理部通过使用所述偏移信息来执行所述自适应偏移处理。
7.根据权利要求1所述的图像处理设备，
其中，所述第二四叉树是用于编码单元的四叉树，以及
其中，所述解码部针对在所述第二四叉树中所包括的每个编码单元来对所述第二层的图像数据进行解码。
8.根据权利要求7所述的图像处理设备，其中，所述设置部还使用用于将所述一个或更多个预测单元设置到编码单元中的每个编码单元的预测单元设置信息、针对在所述第二四叉树中包括的所述编码单元中的每个编码单元来设置一个或更多个预测单元。
9.根据权利要求8所述的图像处理设备，其中，所述预测单元设置信息是为了将预测单元设置到所述第一层而解码的信息。
10.根据权利要求8所述的图像处理设备，其中，所述预测单元设置信息是为了将预测单元设置到所述第二层而解码的信息。
11.根据权利要求8所述的图像处理设备，其中，所述设置部还使用用于将所述一个或更多个变换单元设置到预测单元中的每个预测单元的变换单元设置信息、针对在所述第二四叉树中包括的所述编码单元中的所述预测单元中的每个预测单元来设置一个或更多个变换单元。
12.根据权利要求11所述的图像处理设备，其中，所述变换单元设置信息是为了将变换单元设置到所述第一层而解码的信息。
13.根据权利要求11所述的图像处理设备，其中，所述变换单元设置信息是为了将变换单元设置到所述第二层而解码的信息。
14.根据权利要求7所述的图像处理设备，其中，所述设置部基于所述第一层与所述第二层之间的空间分辨率的比例来放大所述第一层中的最大编码单元的尺寸，并且基于放大后的最大编码单元的尺寸来将所述第二四叉树设置到所述第二层。
15.根据权利要求1所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的空间分辨率的层。
16.根据权利要求1所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的噪声比例的层。
17.根据权利要求1所述的图像处理设备，其中，所述第一层和所述第二层是具有互不相同的位深的层。
18.一种图像处理方法，包括：
对四叉树信息进行解码，所述四叉树信息标识被设置到可伸缩视频解码图像的第一层的第一四叉树，所述可伸缩视频解码图像包括所述第一层和高于所述第一层的第二层；以及
使用解码后的四叉树信息来将第二四叉树设置到所述第二层。
19.一种图像处理设备，包括：
编码部，所述编码部对四叉树信息进行编码，所述四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，所述可伸缩视频编码图像包括所述第一层和高于所述第一层的第二层，所述四叉树信息被用于将第二四叉树设置到所述第二层。
20.一种图像处理方法，包括：
对四叉树信息进行编码，所述四叉树信息标识被设置到可伸缩视频编码图像的第一层的第一四叉树，所述可伸缩视频编码图像包括所述第一层和高于所述第一层的第二层，所述四叉树信息被用于将第二四叉树设置到所述第二层。
CN201280034435.7A 2011-07-19 2012-05-24 图像处理设备和图像处理方法 Pending CN103703775A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011-158027 2011-07-19
JP2011158027A JP5810700B2 (ja) 2011-07-19 2011-07-19 画像処理装置及び画像処理方法
PCT/JP2012/063309 WO2013011738A1 (ja) 2011-07-19 2012-05-24 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN103703775A true CN103703775A (zh) 2014-04-02

Family

ID=47557929

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280034435.7A Pending CN103703775A (zh) 2011-07-19 2012-05-24 图像处理设备和图像处理方法

Country Status (4)

Country Link
US (1) US20150036758A1 (zh)
JP (1) JP5810700B2 (zh)
CN (1) CN103703775A (zh)
WO (1) WO2013011738A1 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233736A (zh) * 2014-04-25 2016-12-14 索尼公司 发送设备、发送方法、接收设备以及接收方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
WO2018001207A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 编解码的方法及装置
CN108293112A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中的弹性变换树结构

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101928910B1 (ko) 2011-08-30 2018-12-14 쏘닉 아이피, 아이엔씨. 복수의 최대 비트레이트 레벨들을 사용하여 인코딩된 비디오를 인코딩하고 스트리밍하기 위한 시스템들 및 방법들
US9532080B2 (en) 2012-05-31 2016-12-27 Sonic Ip, Inc. Systems and methods for the reuse of encoding information in encoding alternative streams of video data
FR2993084A1 (fr) * 2012-07-09 2014-01-10 France Telecom Procede de codage video par prediction du partitionnement d'un bloc courant, procede de decodage, dispositifs de codage et de decodage et programmes d'ordinateur correspondants
US9635360B2 (en) * 2012-08-01 2017-04-25 Mediatek Inc. Method and apparatus for video processing incorporating deblocking and sample adaptive offset
US9648319B2 (en) * 2012-12-12 2017-05-09 Qualcomm Incorporated Device and method for scalable coding of video information based on high efficiency video coding
US9357210B2 (en) 2013-02-28 2016-05-31 Sonic Ip, Inc. Systems and methods of encoding multiple video streams for adaptive bitrate streaming
JP2016526336A (ja) * 2013-05-24 2016-09-01 ソニック アイピー， インコーポレイテッド 適応ビットレートストリーミングのための適応量子化を用いて複数のビデオストリームをエンコードするシステムおよび方法
US9648335B2 (en) * 2013-07-12 2017-05-09 Qualcomm Incorporated Bitstream restrictions on picture partitions across layers
US20190124327A1 (en) * 2016-05-02 2019-04-25 Sony Corporation Image processing apparatus and image processing method
US10148989B2 (en) 2016-06-15 2018-12-04 Divx, Llc Systems and methods for encoding video content

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738435A (zh) * 2004-07-13 2006-02-22 微软公司 Sdmctf编码的视频的3d子带解码中的空间可伸缩性
US20080165848A1 (en) * 2007-01-09 2008-07-10 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN101459847A (zh) * 2007-12-13 2009-06-17 联发科技股份有限公司 编码器、解码器、视频帧编码方法及比特流解码方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014514833A (ja) * 2011-06-10 2014-06-19 メディアテック インコーポレイテッド スケーラブルビデオコーディングの方法及び装置
CN106851319B (zh) * 2011-06-10 2020-06-19 寰发股份有限公司 推导方法及推导装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738435A (zh) * 2004-07-13 2006-02-22 微软公司 Sdmctf编码的视频的3d子带解码中的空间可伸缩性
US20080165848A1 (en) * 2007-01-09 2008-07-10 Qualcomm Incorporated Adaptive upsampling for scalable video coding
CN101459847A (zh) * 2007-12-13 2009-06-17 联发科技股份有限公司 编码器、解码器、视频帧编码方法及比特流解码方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DANNY HONG: "Scalability Support in HEVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 6TH MEETING:TORINO,IT,14-22,JULY,2011》 *
KOOHYAR MINOO: "Spatial Scalability for HEVC", 《JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH MEETING:GENEVA,CH,16-23,MARCH,2011》 *

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106233736A (zh) * 2014-04-25 2016-12-14 索尼公司 发送设备、发送方法、接收设备以及接收方法
CN106233736B (zh) * 2014-04-25 2020-06-05 索尼公司 发送设备、发送方法、接收设备以及接收方法
WO2017036370A1 (en) * 2015-09-03 2017-03-09 Mediatek Inc. Method and apparatus of neural network based processing in video coding
US11196992B2 (en) 2015-09-03 2021-12-07 Mediatek Inc. Method and apparatus of neural network based processing in video coding
US11589041B2 (en) 2015-09-03 2023-02-21 Mediatek Inc. Method and apparatus of neural network based processing in video coding
CN108293112A (zh) * 2015-11-25 2018-07-17 高通股份有限公司 视频译码中的弹性变换树结构
CN108293112B (zh) * 2015-11-25 2022-06-17 高通股份有限公司 视频译码中的弹性变换树结构
WO2018001207A1 (zh) * 2016-06-30 2018-01-04 华为技术有限公司 编解码的方法及装置
CN107566848A (zh) * 2016-06-30 2018-01-09 华为技术有限公司 编解码的方法及装置
CN107566848B (zh) * 2016-06-30 2020-04-14 华为技术有限公司 编解码的方法及装置
US10812835B2 (en) 2016-06-30 2020-10-20 Huawei Technologies Co., Ltd. Encoding method and apparatus and decoding method and apparatus
US11245932B2 (en) 2016-06-30 2022-02-08 Huawei Technologies Co., Ltd. Encoding method and apparatus and decoding method and apparatus

Also Published As

Publication number Publication date
JP2013026724A (ja) 2013-02-04
JP5810700B2 (ja) 2015-11-11
WO2013011738A1 (ja) 2013-01-24
US20150036758A1 (en) 2015-02-05

Similar Documents

Publication Publication Date Title
CN103703775A (zh) 图像处理设备和图像处理方法
AU2017201322B2 (en) Image processing device and method
US10448057B2 (en) Image processing device and method
CN104170384A (zh) 图像解码设备、图像解码方法、图像编码设备和图像编码方法
CN103220512A (zh) 图像处理器和图像处理方法
CN103200401A (zh) 图像处理装置和图像处理方法
CN103583045A (zh) 图像处理装置以及图像处理方法
CN102972026A (zh) 图像处理装置和图像处理方法
CN106888378A (zh) 图像处理装置和图像处理方法
CN103716625A (zh) 图像处理设备和方法
CN109040762A (zh) 编码设备和编码方法
US20130294705A1 (en) Image processing device, and image processing method
CN107409208B (zh) 图像处理装置、图像处理方法以及计算机可读存储介质
CN103621080A (zh) 图像处理装置和图像处理方法
US20130136173A1 (en) Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
CN102884791A (zh) 图像处理设备和方法
CN103636211A (zh) 图像处理设备以及图像处理方法
CN104025597A (zh) 图像处理装置和方法
CN102696227A (zh) 图像处理设备和方法
CN103828367A (zh) 图像处理设备及方法
AU2017202277B2 (en) Image processing device and image processing method
CN103220513A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20140402