CN105659601A

CN105659601A - 图像处理装置和图像处理方法

Info

Publication number: CN105659601A
Application number: CN201480054471.9A
Authority: CN
Inventors: 佐藤数史
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2013-10-11
Filing date: 2014-08-25
Publication date: 2016-06-08
Also published as: US20160241882A1; JPWO2015053001A1; WO2015053001A1

Abstract

提供一种能够在增强层间参考的图像的清晰度时有效地提高图像质量的机制。提供一种图像处理装置，其包括获取部，其被配置成获取参考图像，所述参考图像用于编码或解码第二层的图像，所述第二层具有与第一层不同的属性，参考图像是基于第一层的解码图像，其中设置具有不同的块大小的多个块；滤波部，其被配置成将清晰度增强滤波器应用于由获取部获取的参考图像并且生成清晰度增强参考图像；以及控制部，其被配置成根据每个块的块大小控制清晰度增强滤波器通过滤波部对多个块的每一个的应用。

Description

图像处理装置和图像处理方法

技术领域

本公开涉及一种图像处理装置和一种图像处理方法。

背景技术

由JCTVC(联合协作组视频编码)(其为ITU-T和ISO/IEC的联合标准化组织)称为HEVC(高效视频编码)的图像编码方案的标准化目前正在为了提高编码效率超过H.264/AVC(例如，参见BenjaminBross、Woo-JinHan、GaryJ.Sullivan、Jens-RainerOhm、GaryJ.Sullivan、Ye-KuiWang和ThomasWiegand的“HighEfficiencyVideoCoding(HEVC)textspecificationdraft10(forFDIS&Consent)”(JCTVC-L1003v4，2013年1月14日至23日))。HEVC不仅提供单个层的编码，而且提供可伸缩视频编码，如在已知的图像编码方案(诸如MPEG2和AVC(高级视频编码))中。HEVC可伸缩视频编码技术也称为SHVC(可伸缩HEVC)(例如，参见JianleChen等人的“DescriptionofscalablevideocodingtechnologyproposalbyQualcomm(configuration2)”(JCTVC-K0036，2012年10月10日至19日))。

顺便提一下，可伸缩视频编码通常是一种分级编码用于传输粗糙图像信号的层和用于传输精细图像信号的层的技术。根据分级属性，可伸缩视频编码通常分为三种类型的方案，即，空间可伸缩性方案、时间可伸缩性方案和信噪比(SNR)可伸缩性方案。在空间可伸缩性方案中，分级空间分辨率(或图像大小)，并且下层的图像被上采样，然后用于编码或解码上层的图像。在时间可伸缩性方案中，分级帧速率。在SNR可伸缩性方案中，通过改变量化的粗糙度来分级信噪比。尽管在标准中尚未被采用，但是位深可伸缩性方案和色度格式可伸缩性方案也进行讨论。

在可伸缩视频编码中，使用作为参考图像的下层的图像来预测上层的图像被称为“层间预测”。非专利文献2提出了用于层间预测的几种技术。在增强层中的层间预测中，预测精度取决于充当参考图像的下层的图像的图像质量。在这方面，非专利文献3提出了两种技术作为代表良好的增益以提高下层的图像的图像质量的技术。第一技术在非专利文献4中具体描述，并且使用串色滤波器。在第一技术中，串色滤波器是一种清晰度增强滤波器，并且基于邻近亮度分量增强色度分量的清晰度。第二技术在非专利文献5中具体描述，并且使用边缘增强滤波器。

引文列表

非专利文献

非专利文献1：BenjaminBross、Woo-JinHan、GaryJ.Sullivan、Jens-RainerOhm、GaryJ.Sullivan、Ye-KuiWang、ThomasWiegand，“HighEfficiencyVideoCoding(HEVC)textspecificationdraft10(forFDIS&Consent)”(JCTVC-L1003_v4，2013年1月14日至23日)

非专利文献2：JianleChen等人，“DescriptionofscalablevideocodingtechnologyproposalbyQualcomm(configuration2)”(JCTVC-K0036，2012年10月10日至19日)

非专利文献3：JianleChen等人，“DescriptionofHEVCScalableExtensionCoreExperimentSCE3:Inter-layerfiltering”(JCTVC-N1103，2013年7月25日至8月2日)

非专利文献4：XiangLi等人，“Non-SCE3:RegionbasedInter-layerCross-ColorFiltering”(JCTVC-N0229_r2，2013年7月25日至8月2日)

非专利文献5：SychevMaximi等人，“Inter-layerpredictionmodesbasedonbaselayersharpnessfilter”(JCTVC-N0070，2013年7月25日至8月2日)

发明内容

技术问题

然而，如果将清晰度增强滤波器应用于图像内的所有像素，则滤波操作量变得巨大。特别是，即使当将清晰度增强滤波器应用于既不包括边缘，也不包括纹理的平坦区域时，图像质量没有特别地提高，并且操作量增加的缺点很大。在另一方面，如果为每个个别块调整清晰度增强滤波器的配置，则图像质量预期将得到提高。然而，当将每个块的滤波器配置信息从编码器传输到解码器时，滤波器配置信息的大的代码量降低了编码效率。

本公开的技术的目的在于提供一种能够解决或缓解至少一个上述问题的改进机制。

问题的解决方案

根据本公开，提供一种图像处理装置，包括：获取部，其被配置成获取参考图像，所述参考图像用于编码或解码第二层的图像，所述第二层具有与第一层不同的属性，参考图像是基于第一层的解码图像，其中设置具有不同的块大小的多个块；滤波部，其被配置成将清晰度增强滤波器应用于由获取部获取的参考图像并且生成清晰度增强参考图像；以及控制部，其被配置成根据每个块的块大小控制控制清晰度增强滤波器通过滤波部对所述多个块的每一个的应用。

图像处理装置可以实施为解码图像的图像解码设备，或可以实施为编码图像的图像编码设备。

根据本公开，提供一种图像处理方法，包括：获取参考图像，所述参考图像用于编码或解码第二层的图像，所述第二层具有与第一层不同的属性，参考图像是基于第一层的解码图像，其中设置具有不同的块大小的多个块；将清晰度增强滤波器应用于获取的参考图像并且生成清晰度增强参考图像；以及根据每个块的块大小控制清晰度增强滤波器对多个块的每一个的应用。

本发明的有益效果

根据本公开的技术，有可能在增强层间参考的图像的清晰度时有效地提高图像质量。

上述效果不一定受限，并且除了上述效果或代替上述效果，可以获得在本说明书中所描述的效果或可以从本说明书中理解的其他效果。

附图说明

图1是用于描述空间可伸缩性方案的说明图。

图2是用于描述SNR可伸缩性方案的说明图。

图3是用于描述使用串色滤波器的清晰度增强技术的说明图。

图4是用于描述使用边缘增强滤波器的清晰度增强技术的说明图。

图5是示出图像编码设备的示意性配置的方框图。

图6是示出图像解码设备的示意性配置的方框图。

图7是示出根据第一实施方案的EL编码部的配置的实例的方框图。

图8是示出图7中所示的清晰度增强部的详细配置的实例的方框图。

图9A是用于描述根据块大小的清晰度增强滤波器的开/关操作的第一说明图。

图9B是用于描述根据块大小的清晰度增强滤波器的开/关操作的第二说明图。

图10是示出用于编码的示意性过程流程的实例的流程图。

图11是示出根据第一实施方案的用于编码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

图12是示出根据第一实施方案的EL解码部的配置的实例的方框图。

图13是示出图12中所示的清晰度增强部的详细配置的实例的方框图。

图14是示出用于解码的示意性过程流程的实例的流程图。

图15是示出根据第一实施方案的用于解码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

图16是示出根据第二实施方案的EL编码部的配置的实例的方框图。

图17是示出图16中所示的清晰度增强部的详细配置的实例的方框图。

图18是用于描述根据块大小的滤波器配置的实例的说明图。

图19是用于描述滤波器配置信息的预测编码的实例的说明图。

图20是示出根据第二实施方案的用于编码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

图21是示出根据第二实施方案的EL解码部的配置的实例的方框图。

图22是示出图21中所示的清晰度增强部的详细配置的实例的方框图。

图23是示出根据第二实施方案的用于解码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

图24是示出电视的示意性配置的实例的方框图。

图25是示出移动电话的示意性配置的实例的方框图。

图26是示出记录/再现设备的示意性配置的实例的方框图。

图27是示出图像捕获设备的示意性配置的实例的方框图。

图28是图示可伸缩视频编码的用途的第一实例的说明图。

图29是图示可伸缩视频编码的用途的第二实例的说明图。

图30是图示可伸缩视频编码的用途的第三实例的说明图。

图31是图示多视点编解码器的说明图。

图32是示出多视点编解码器的图像编码设备的示意性配置的方框图。

图33是示出多视点编解码器的图像解码设备的示意性配置的方框图。

具体实施方式

在下文中，将参照附图详细描述本公开的优选实施方案。在本说明书和附图中，用相同的参考符号表示具有大体上相同的功能和结构的元件，并且重复说明被省略。

描述将按照以下顺序进行。

1.概述

1-1.可伸缩视频编码

1-2.参考图像的清晰度增强

1-3.编码器的基本配置实例

1-4.解码器的基本配置实例

2.EL编码部的配置实例(第一实施方案)

2-1.整体配置

2-2.清晰度增强部的配置

2-3.过程流程

3.EL解码部的配置实例(第一实施方案)

3-1.整体配置

3-2.清晰度增强部的配置

3-3.过程流程

4.EL编码部的配置实例(第二实施方案)

4-1.整体配置

4-2.清晰度增强部的配置

4-3.过程流程

5.EL解码部的配置实例(第二实施方案)

5-1.整体配置

5-2.清晰度增强部的配置

5-3.过程流程

6.示例性应用

6-1.各种产品的应用

6-2.可伸缩视频编码的各种用途

6-3.其他

7.结论

<1.概述>

[1-1.可伸缩视频编码]

在可伸缩视频编码中，编码多个层，每个层包含一系列图像。基层是首先被编码以代表最粗糙图像的层。基层的编码流可以被独立地解码，而无需解码其他层的编码流。除了基层以外的层是称为增强层的层，其代表较精细图像。通过使用在基层的编码流中所包含的信息来编码增强层的编码流。因此，为了再现增强层的图像，解码基层和增强层这两个的编码流。在可伸缩视频编码中处理的层的数量可以是等于2或更大的任何数量。当编码三层或更多层时，最低层是基层并且剩余层是增强层。对于较高增强层的编码流，在较低增强层和基层的编码流中所包含的信息可以用于编码和解码。

(1)空间可伸缩性方案

图1是用于描述空间可伸缩性方案的说明图。参看图1，图示根据空间可伸缩性方案进行可伸缩视频编码的三个层L11、L12和L13。层L11是基层，并且层L12和L13是增强层。层L12与层L11的空间分辨率比是2:1，并且层L13与层L11的空间分辨率比是4:1。本文中的分辨率比仅仅是实例。例如，可以使用非整数(诸如1.5:1)的分辨率比。层L11的块B11是在基层的图片中的编码处理的处理单元。层L12的块B12是在块B11的常见场景被投影到的增强层的图片中的编码处理的处理单元。块B12对应于层L11的块B11。层L13的块B13是在比块B11和B12的常见场景被投影到的层更高的增强层的图片中的编码处理的处理单元。块B13对应于层L11的块B11和层L12的块B12。

在图1中所示的层结构中，常见场景被投影到的各层在图像纹理方面是相似的。换句话说，层L11中的块B11、层L12中的块B12，以及层L13中的块B13在纹理方面是相似的。因此，例如，当使用作为参考块的块B11来预测块B12或块B13的像素，并且使用作为参考块的块B12来预测块B13的像素时，有可能获得高预测精度。各层之间的这种预测被称为“层间预测”。在是一种层间预测的内部BL预测中，基层的解码图像(重建图像)被用作预测增强层的解码图像的参考图像。在帧内残差预测和帧间残差预测中，基层的预测误差(残留)图像被用作预测增强层的预测误差图像的参考图像。在空间可伸缩性方案中，增强层的空间分辨率高于基层的空间分辨率。因此，基层的图像根据分辨率比被上采样并且用作参考图像。层间预测的上采样滤波器通常被设计成类似于运动补偿的内插滤波器。运动补偿的内插滤波器包括7或8个抽头的亮度分量和4个抽头的色度分量。

(2)SNR可伸缩性方案

图2是用于描述SNR可伸缩性方案的说明图。参看图2，图示根据SNR可伸缩性方案进行可伸缩视频编码的三个层L21、L22和L23。层L21是基层，并且层L22和L23是增强层。层L21被编码为仅包括三个层中的最粗糙的量化数据(通过最大的量化步长量化的数据)。层L22被编码为包括用于补偿层L21的量化误差的量化数据。因此，当解码层L21和L22时，有可能获得比在只解码层L21时清晰度更高(即，信噪比更高)的解码图像。层L23被编码为包括用于进一步补偿层L22的量化误差的量化数据。因此，当解码层L21、L22和L23时，有可能获得清晰度更高的解码图像。层L21的块B21是在基层的图片中的编码处理的处理单元。层L22的块B22是在块B21的常见场景被投影到的增强层的图片中的编码处理的处理单元。块B22对应于层L21的块B21。层L23的块B23是在比块B21和B22的常见场景被投影到的层更高的增强层的图片中的编码处理的处理单元。块B23对应于层L21的块B21和层L22的块B2。

在图2中所示的层结构中，常见场景被投影到的各层在图像纹理方面是相似的。因此，在层间预测中，例如，当使用作为参考块的块B21来预测块B22或块B23的像素，或使用作为参考块的块B22来预测块B23的像素时，有可能获得高预测精度。在单独的SNR可伸缩性方案中，增强层的空间分辨率与基层的空间分辨率相同。因此，由于基层的图像被用作参考图像，故上采样是不必要的。当空间可伸缩性方案与SNR可伸缩性方案相结合时，基层的图像被上采样。

[1-2.参考图像的清晰度增强]

在层间预测中，预测精度取决于从基层获取的参考图像的图像质量。在这方面，已提出用于增强预测过程前的参考图像的清晰度的几种技术。一种用于代表良好的增益的技术是使用在非专利文献4中描述的串色滤波器的技术。另一种用于代表良好的增益的技术是使用在非专利文献5中描述的边缘增强滤波器的技术。

(1)色度分量的串色滤波器

图3是用于描述使用串色滤波器的清晰度增强技术的说明图。在非专利文献4中提出的串色滤波器除了使用由图3中的圆形标记指示的色度分量P20作为滤波器抽头以便增强一个色度分量P20的清晰度，还使用由图3中的矩形标记指示的8个亮度分量P11至P18。编码器侧使用威纳滤波器分别为Cb分量和Cr分量计算滤波器系数，使得最小化原始图像与清晰度增强图像之间的均方误差。对每个具有均匀的块大小的一个或多个块计算滤波器系数，该均匀的块大小是通过将图像分割为一定的深度来形成。每个块的最佳滤波器系数集被编码成编码流。然而，在非专利文献4中提出的技术中，不管图像被分割的深度，将串色滤波器应用于图像中的所有像素。因此，滤波操作量是巨大的。此外，当执行深块分割时，指定每个块的滤波器系数的滤波器配置信息的代码量是大的。

(2)边缘增强滤波器

图4是用于描述使用边缘增强滤波器的清晰度增强技术的说明图。根据在非专利文献5中提出的技术，使用Prewitt滤波器来提取基层的图像的边缘图，并且基于边缘图为每个像素计算的扭曲参数被添加到每个像素。因此，增强基层的图像的边缘。参看图4，图像IM1的一部包括边缘并且边缘通过扭曲操作增强的形状是由多个箭头图标象征性地表示。然而，在非专利文献5中提出的技术中，对图像内的所有像素执行边缘图提取和扭曲操作。因此，滤波操作量也是巨大的。

(3)问题描述

在包括上述两个实例的各种清晰度增强滤波器中，当包括复杂的边缘或纹理的区域被滤波时，提高图像质量的效果是大的，但滤波既不包括边缘，也不包括纹理的区域不提供图像质量的特别提高。因此，当需要减少操作量时，自适应地控制每个区域的清晰度增强滤波器是有利的。然而，如在非专利文献4中提出的技术中，当将滤波器配置信息从编码器传输到解码器时，如果每个个别块的滤波器配置被改变，则滤波器配置信息的代码量变得巨大，并且编码效率可能会替代地降低。因此，需要一种能够自适应地提高图像质量而不降低真实的操作量范围内的编码效率的机制。在这方面，稍后将详细描述提供这种机制的两个示例性实施方案。

[1-3.编码器的基本配置实例]

图5是示出支持可伸缩视频编码的图像编码设备10的示意性配置的方框图。参看图5，图像编码设备10包括基层(BL)编码部1a、增强层(EL)编码部1b、共用存储器2和多路复用部3。

BL编码部1a编码基层图像以生成基层的编码流。EL编码部1b编码增强层图像以生成增强层的编码流。共用存储器2存储在层间常用的信息。多路复用部3多路复用由BL编码部1a生成的基层的编码流和由EL编码部1b生成的至少一个增强层的编码流，以生成多层多路复用流。

[1-4.解码器的基本配置实例]

图6是示出支持可伸缩视频编码的图像解码设备60的示意性配置的方框图。参看图6，图像解码设备60包括多路分解部5、基层(BL)解码部6a、增强层(EL)解码部6b和共用存储器7。

多路分解部5将多层多路复用流多路分解成基层的编码流和至少一个增强层的编码流。BL解码部6a从基层的编码流中解码基层图像。EL解码部6b从增强层的编码流中解码增强层图像。共用存储器7存储在层间常用的信息。

在图5中所示的图像编码设备10中，用于编码基层的BL编码部1a的配置和用于编码增强层的EL编码部1b的配置彼此相似。由BL编码部1a生成或获取的一些参数和图像可以通过使用共用存储器2被缓冲并且被EL编码部1b重用。在下一章节中，将描述EL编码部1b的这种配置的一些实施方案。

类似地，在图6中所示的图像解码设备60中，用于解码基层的BL解码部6a的配置和用于解码增强层的EL解码部6b的配置彼此相似。由BL解码部6a生成或获取的一些参数和图像可以通过使用共用存储器7被缓冲并且被EL解码部6b重用。进一步在下一章节中，将描述EL解码部6b的这种配置的一些实施方案。

<2.EL编码部的配置实例(第一实施方案)>

[2-1.整体配置]

图7是示出根据第一实施方案的EL编码部1b的配置的实例的方框图。参看图7，EL编码部1b包括排序缓冲器11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35和清晰度增强部40。

排序缓冲器11对在一系列图像数据中包括的图像进行排序。在根据GOP(图片组)结构根据编码处理对图像进行排序之后，排序缓冲器11将已被排序的图像数据输出到减法部13、帧内预测部30和帧间预测部35。

从排序缓冲器11输入的图像数据和由稍后描述的帧内预测部30或帧间预测部35输入的预测图像数据被提供给减法部13。减法部13计算预测误差数据，其为从排序缓冲器11输入的图像数据与预测图像数据之间的差，并且将计算的预测误差数据输出到正交变换部14。

正交变换部14对从减法部13输入的预测误差数据执行正交变换。由正交变换部14执行的正交变换可以是例如离散余弦变换(DCT)或K-L变换。在HEVC中，为称为变换单元(TU)的每个块执行正交变换。TU是通过递归分割编码单元(CU)所形成的块，并且TU的大小是选自4×4像素、8×8像素、16×16像素和32×32像素。正交变换部14将由正交变换处理获取的变换系数数据输出到量化部15。

量化部15被提供从正交变换部14输入的变换系数数据和来自下面将描述的速率控制部18的速率控制信号。速率控制信号指定每个块的各自的颜色分量的量化参数。通常，当量化参数大时，变换系数数据的量化误差也大。在SNR可伸缩性方案中，增强层的量化误差小于基层的量化误差。量化部15根据量化参数(和量化矩阵)用量化步长量化变换系数数据，并且将量化的变换系数数据(下文称为“量化数据”)输出到无损编码部16和逆量化部21。

无损编码部16对从量化部15输入的量化数据执行无损编码处理以生成增强层的编码流。无损编码部16编码在编码流被解码时参考的各种参数，并且将编码参数插入到编码流的标题区中。由无损编码部16编码的参数可以包括下面将描述的关于帧内预测的信息和关于帧间预测的信息。此外，也可以在增强层中编码由稍后将描述的清晰度增强部40生成的与清晰度增强相关联的参数(下文称为“清晰度增强相关参数”)。然后，无损编码部16将生成的编码流输出到累积缓冲器17。

累积缓冲器17使用存储介质(诸如半导体存储器)来暂时累积从无损编码部16输入的编码流。然后，累积缓冲器17在根据传输路径的频带的速率下将累积的编码流输出到传输部(未示出)(例如，外围设备的通信接口或接口)。

速率控制部18监视累积缓冲器17的自由空间。然后，速率控制部18根据累积缓冲器17上的自由空间生成速率控制信号，并且将生成的速率控制信号输出到量化部15。例如，当在累积缓冲器17上没有太大的自由空间时，速率控制部18生成用于降低量化数据的位速率的速率控制信号。此外，例如，当累积缓冲器17上的自由空间足够大时，速率控制部18生成用于增加量化数据的位速率的速率控制信号。

逆量化部21、逆正交变换部22和加法部23形成本地解码器。在由量化部15使用的量化步长中，逆量化部21对增强层的量化数据执行逆量化，以由此恢复变换系数数据。然后，逆量化部21将恢复的变换系数数据输出到逆正交变换部22。

逆正交变换部22对从逆量化部21输入的变换系数数据执行逆正交变换处理，以由此恢复预测误差数据。如在正交变换中，为每个TU执行逆正交变换。然后，逆正交变换部22将恢复的预测误差数据输出到加法部23。

加法部23添加从逆正交变换部22输入的恢复的预测误差数据和从帧内预测部30或帧间预测部35输入的预测图像数据，以由此生成解码图像数据(增强层的重建图像)。然后，加法部23将生成的解码图像数据输出到环路滤波器24和帧存储器25。

环路滤波器24包括用于提高图像质量的目的的滤波器组。去块滤波器(DF)是在图像被编码时减少块失真发生的滤波器。采样点自适应偏移(SAO)滤波器是将自适应确定偏移值添加到每个像素值的滤波器。自适应环路滤波器(ALF)是最小化经受SAO的图像与原始图像之间的误差的滤波器。环路滤波器24滤波从加法部23输入的解码图像数据并且将滤波的解码图像数据输出到帧存储器25。

帧存储器25使用存储介质来存储从加法部23输入的增强层的解码图像数据、从环路滤波器24输入的增强层的滤波的解码图像数据，以及从清晰度增强部40输入的基层的参考图像数据。

选择器26在用于从帧存储器25帧内预测的滤波之前读取解码图像数据，并且将作为参考图像数据的读取的解码图像数据提供给帧内预测部30。此外，选择器26读取用于从帧存储器25帧间预测的滤波的解码图像数据，并且将作为参考图像数据的读取的解码图像数据提供给帧间预测部35。当通过帧内预测部30或帧间预测部35执行层间预测时，选择器26将基层的参考图像数据提供给帧内预测部30或帧间预测部35。

在帧内预测模式中，选择器27将作为从帧内预测部30输出的帧内预测的结果的预测图像数据输出到减法部13，并且也将关于帧内预测的信息输出到无损编码部16。此外，在帧间预测模式中，选择器27将作为从帧间预测部35输出的帧间预测的结果的预测图像数据输出到减法部13，并且也将关于帧间预测的信息输出到无损编码部16。选择器27根据成本函数值的大小切换帧间预测模式和帧内预测模式。

帧内预测部30基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧内预测过程。类似于TU，PU是通过递归分割CU所形成的块。例如，帧内预测部30根据使用预定成本函数设置的预测模式中的每个候选模式评估预测结果。接着，帧内预测部30选择成本函数值是最小值的预测模式(即，压缩比是最高的预测模式)作为最佳预测模式。帧内预测部30根据最佳预测模式生成增强层的预测图像数据。帧内预测部30将关于帧内预测的信息(包括指示选择的最佳预测模式、成本函数值和预测图像数据的预测模式信息)输出到选择器27。

帧间预测部35基于原始图像数据和增强层的解码图像数据对HEVC的每个预测单元(PU)执行帧间预测过程。例如，帧间预测部35根据使用预定成本函数设置的预测模式中的每个候选模式评估预测结果。接着，帧间预测部35选择成本函数值是最小值的预测模式(即，压缩比是最高的预测模式)作为最佳预测模式。帧间预测部35根据最佳预测模式生成增强层的预测图像数据。帧间预测部35将关于帧内预测的信息(包括指示选择的最佳预测模式、成本函数值和预测图像数据的预测模式信息和运动信息)输出到选择器27。

清晰度增强部40获取由共用存储器2缓冲的基层的图像作为参考图像、将清晰度增强滤波器应用于获取的参考图像，并且生成清晰度增强参考图像。清晰度增强部40根据对基层的图像设置的块的块大小控制将清晰度增强滤波器应用于参考图像。更具体来说，在本实施方案中，清晰度增强部40使清晰度增强滤波器对具有大于阈值的块大小的块的应用无效。当基层和增强层的空间分辨率不同时，清晰度增强部40也上采样参考图像。由清晰度增强部40生成的清晰度增强参考图像可以存储在帧存储器25中，并且通过帧内预测部30或帧间预测部35适用于层间预测。通过无损编码部16编码由清晰度增强部40生成的清晰度增强相关参数。

[2-2.清晰度增强部的配置]

图8是示出图7中所示的清晰度增强部40的详细配置的实例的方框图。参看图8，清晰度增强部40包括块大小缓冲器41、参考图像获取部43、阈值设置部45、滤波器控制部47和清晰度增强滤波器49。

(1)块大小缓冲器

块大小缓冲器41是存储指定对基层图像设置的块的块大小的块大小信息的缓冲器。这里，块可以是设置为基层的编码处理的处理单元的CU、设置为预测过程的处理单元的PU，或设置为正交变换处理的处理单元的TU。通过以光栅扫描顺序以四叉树形式分级分割布置在每个图片(或切片)上的每个最大编码单元(LCU)来形成CU。通常，对一个图片设置多个CU，并且CU具有各种块大小。例如，对于高频分量在图像内是强的区域(例如，包括多个边缘或复杂的纹理的区域)，块分割很深，因此每个块的块大小是小的。在另一方面，对于高频分量在图像内是弱的区域(平坦区域)，块分割很浅，因此每个块的块大小是大的。这种趋势不仅针对CU而且针对PU和TU出现。

CU的块大小信息包括例如LCU大小信息和分割信息。LCU大小信息包括例如指定HEVC规范中的最小编码单元(SCU)的大小的参数(log2_min_luma_coding_block_size_minus3)，以及指定SCU大小与LCU大小之间的差的参数(log2_diff_max_min_luma_coding_block_size)。分割信息包括递归地指定从LCU块分割的存在或不存在的参数(一组标志(split_cu_flag))。PU的块大小信息包括指定从CU块分割成一个或多个PU的信息。TU的块大小信息包括指定从CU块分割成一个或多个TU的信息。

(2)参考图像获取部

参考图像获取部43获取由共用存储器2缓冲的基层的解码图像作为参考图像，以用于编码增强层的图像。例如，当根据单独的SNR可伸缩性方案编码增强层时，即，当基层的空间分辨率与增强层的空间分辨率相同时，参考图像获取部43将获取的参考图像输出到清晰度增强滤波器49，而无需改变。在另一方面，当根据空间可伸缩性方案编码增强层时，即，当基层具有比增强层更低的空间分辨率时，参考图像获取部43根据分辨率比上采样基层的解码图像。然后，参考图像获取部43将基层的上采样的解码图像输出到清晰度增强滤波器49作为参考图像。

(3)阈值设置部

阈值设置部45保持与块大小比较的确定阈值的设置，以便使清晰度增强滤波器49的应用有效(打开)或无效(关闭)。可以用任意单位(诸如视频数据、序列或图片)设置确定阈值。例如，当CU大小被用作块大小时，确定阈值可以具有在从SCU大小到LCU大小的范围内包括的任意值。可以预先固定地定义确定阈值。此外，确定阈值可以在编码器中被选择并且编码成编码流。此外，如稍后将描述，可以动态地设置确定阈值。当确定阈值不为解码器所已知(例如，没有预先被定义为规范)时，阈值设置部45生成指示一组确定阈值的阈值信息。例如，阈值信息可以用以2为底的块大小的对数的形式来表示。由阈值设置部45生成的阈值信息可以被输出到无损编码部16作为清晰度增强相关参数。然后，阈值信息可以通过无损编码部16编码并且插入到例如编码流的视频参数集(VPS)、序列参数集(SPS)或图片参数集(PPS)，或其扩展。

(4)滤波器控制部

滤波器控制部47根据每个块的块大小控制将清晰度增强滤波器应用于参考图像的每个多个块。更具体来说，在本实施方案中，滤波器控制部47使清晰度增强滤波器49对具有小于由阈值设置部45设置的确定阈值的块大小的块的应用有效，并且使清晰度增强滤波器49对具有大于确定阈值的块大小的块的应用无效。

图9A和图9B是用于描述根据块大小的清晰度增强滤波器的开/关操作的说明图。对图9A中所示的图像IM2设置包括块B31、B32、B33和B34的多个块。块B31的大小是64×64像素。块B32的大小是32×32像素。块B33的大小是16×16像素。块B34的大小是8×8像素。这里，例如，确定阈值被假定为指示8个像素，并且清晰度增强滤波器被假定为应用于具有等于确定阈值的块大小的块。在这种情况下，滤波器控制部47使清晰度增强滤波器49对具有8×8像素的大小的块(诸如由图9A中的影线指示的块B34)的应用有效。在另一方面，滤波器控制部47使清晰度增强滤波器49对具有64×64像素、32×32像素或16×16像素的大小的块(诸如块B31、B32和B33)的应用无效。由于具有大的块大小的块倾向于接近平坦区域，故通过如上所述自适应地关闭清晰度增强滤波器49，有可能减少滤波操作量而没有图像质量的显著损失。此外，有可能减少编码器和解码器的功率消耗。

图9B再次图示图像IM2。这里，例如确定阈值被假定为指示16个像素，并且清晰度增强滤波器被假定为应用于具有等于确定阈值的块大小的块。在这种情况下，滤波器控制部47使清晰度增强滤波器49对具有16×16像素或8×8像素的大小的块(诸如由图9B中的影线指示的块B33和B34)的应用有效。在另一方面，滤波器控制部47使清晰度增强滤波器49对具有64×64像素或32×32像素的大小的块(诸如块B31和B32)应用无效。

例如，滤波器控制部47可以根据基层与增强层之间的空间分辨率比决定确定阈值。例如，当分辨率比大时，图像的边缘和纹理很可能通过上采样而变模糊。为此，当分辨率比大时，有可能适当地增强边缘和纹理的清晰度，这个边缘和纹理是通过将确定阈值设置为大的并且增加清晰度增强滤波器被应用的区域而变模糊。

(5)清晰度增强滤波器

清晰度增强滤波器49在滤波器控制部47的控制下增强参考图像的清晰度，该参考图像用于编码具有不同于基层的属性(例如，空间分辨率或量化误差)的增强层的图像。清晰度增强滤波器49可以是例如在非专利文献4中提出的串色滤波器。在这种情况下，通过使用作为滤波器抽头的各自的色度分量和多个邻近亮度分量来滤波从参考图像获取部43输入的参考图像的色度分量，清晰度增强滤波器49执行清晰度增强。可以使用威纳滤波器计算滤波器系数，使得最小化原始图像与清晰度增强图像之间的均方误差。在这种情况下，清晰度增强滤波器49生成指示计算的滤波器系数的滤波器配置信息，并且将生成的滤波器配置信息输出到无损编码部16作为清晰度增强相关参数。此外，清晰度增强滤波器49可以是在非专利文献5中提出的边缘增强滤波器。在这种情况下，清晰度增强滤波器49使用Prewitt滤波器提取从参考图像获取部43输入的参考图像的边缘图、基于边缘图计算每个像素的扭曲参数，并且将计算的扭曲参数添加到每个像素。因此，增强参考图像的边缘。根据对应于相应的像素的基层的块的块大小控制将清晰度增强滤波器49应用于每个像素。清晰度增强滤波器49输出像素值，该像素值已进行使滤波器的应用有效的像素的清晰度增强。在另一方面，清晰度增强滤波器49输出从参考图像获取部43输入的像素值，而不改变使滤波器的应用无效的像素。由像素值形成的清晰度增强参考图像存储在帧存储器25中。

[2-3.过程流程]

(1)示意性流程

图10是示出用于编码的示意性过程流程的实例的流程图。为了描述的简单，从图10中省略不与本公开的技术直接相关的过程步骤。

参看图10，首先，BL编码部1a执行基层的编码处理，并且生成基层的编码流(步骤S11)。

共用存储器2缓冲在基层的编码处理中生成的基层的图像和几个参数(例如，分辨率信息和块大小信息)(步骤S12)。

然后，EL编码部1b执行增强层的编码处理，并且生成增强层的编码流(步骤S13)。在这里执行的增强层的编码处理中，由共用存储器2缓冲的基层的图像通过清晰度增强部40进行清晰度增强并且被用作层间预测中的参考图像。

然后，多路复用部3多路复用由BL编码部1a生成的基层的编码流和由EL编码部1b生成的增强层的编码流，以生成多层多路复用流(步骤S14)。

(2)清晰度增强相关过程

参看图11，首先，滤波器控制部47获取由阈值设置部45设置的确定阈值(步骤S21)。对增强层的像素(下文称为“感兴趣的像素”)相继执行后续过程。

滤波器控制部47识别对应于感兴趣的像素的基层的块大小(步骤S23)。这里，识别的块大小通常是在对应于增强层中的感兴趣的像素的像素位置的位置基层的CU、PU或TU的大小。

然后，滤波器控制部47基于感兴趣的像素的像素位置和层间分辨率比确定是否将执行上采样(步骤S25)。当滤波器控制部47确定将执行上采样时，参考图像获取部43将上采样滤波器应用于由共用存储器2缓冲的基层的一组像素，并且获取感兴趣的像素的参考像素值(步骤S27)。在另一方面，当确定不执行上采样时，参考图像获取部43获取由共用存储器2缓冲的基层的像素值而无需改变，该像素值具有与感兴趣的像素的参考像素值相同的位置(步骤S28)。

然后，滤波器控制部47确定是否识别的块大小是确定阈值或更小(步骤S31)。当识别的块大小大于确定阈值时，滤波器控制部47使清晰度增强滤波器49对感兴趣的像素的应用无效。在另一方面，当对应于感兴趣的像素的块大小是确定阈值或更小时，清晰度增强滤波器49通过滤波由参考图像获取部43获取的像素组来增强参考图像的清晰度(步骤S33)。这里，滤波器操作可以是串色滤波器的操作或边缘增强滤波器的操作。

然后，清晰度增强滤波器49将用于配置清晰度增强参考图像的感兴趣的像素的参考像素值存储在帧存储器25中(步骤S35)。随后，当有下一个感兴趣的像素时，过程返回到步骤S23(步骤S37)。在另一方面，当没有下一个感兴趣的像素时，通过无损编码部16编码可以包括阈值信息的清晰度增强相关参数(步骤S39)，并且图11中所示的过程结束。

<3.EL解码部的配置实例(第一实施方案)>

[3-1.整体配置]

图12是示出根据第一实施方案的EL解码部6b的配置的实例的方框图。参看图12，EL解码部6b包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、排序缓冲器67、数字-模拟(D/A)转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85和清晰度增强部90。

累积缓冲器61使用存储介质暂时累积从多路分解部5输入的增强层的编码流。

无损解码部62根据在编码时使用的编码方案从累积缓冲器61输入的增强层的编码流中解码增强层的量化数据。无损解码部62解码被插入到编码流的标题区的信息。由无损解码部62解码的信息可以包括例如关于帧内预测的信息和关于帧间预测的信息。也可以解码清晰度增强相关参数。无损解码部62将量化数据输出到逆量化部63。无损解码部62将关于帧内预测的信息输出到帧内预测部80。无损解码部62将关于帧间预测的信息输出到帧间预测部85。当已解码清晰度增强相关参数时，无损解码部62将解码的清晰度增强相关参数输出到清晰度增强部90。

在编码时使用的量化步长(或相同的量化矩阵)中，逆量化部63逆量化从无损解码部62输入的量化数据，以恢复增强层的变换系数数据。逆量化部63将恢复的变换系数数据输出到逆正交变换部64。

逆正交变换部64根据在编码时使用的正交变换方案对从逆量化部63输入的变换系数数据执行逆正交变换，以生成预测误差数据。如上所述对每个TU执行逆正交变换。然后，逆正交变换部64将生成的预测误差数据输出到加法部65。

加法部65添加从逆正交变换部64输入的预测误差数据和从选择器71输入的预测图像数据以生成解码图像数据。然后，加法部65将生成的解码图像数据输出到环路滤波器66和帧存储器69。

如在EL编码部1b的环路滤波器24中，环路滤波器66可以包括减少块失真的去块滤波器、将偏移值添加到每个像素值的采样点自适应偏移滤波器，以及最小化与原始图像的误差的自适应环路滤波器。环路滤波器66滤波从加法部65输入的解码图像数据，并且在滤波到排序缓冲器67和帧存储器69之后输出解码图像数据。

排序缓冲器67排序从环路滤波器66输入的图像以生成图像数据的时间序列。然后，排序缓冲器67将生成的图像数据输出到D/A转换部68。

D/A转换部68将从排序缓冲器67输入的数字格式的图像数据转换成模拟格式的图像信号。然后，D/A转换部68通过将模拟图像信号输出到例如连接到图像解码设备60的显示器(未示出)来显示增强层的图像。

帧存储器69使用存储介质来存储从加法部65输入的滤波前的解码图像数据、从环路滤波器66输入的滤波后的解码图像数据，以及从清晰度增强部90输入的基层的参考图像数据。

选择器70根据由无损解码部62获取的模式信息为图像中的每个块在帧内预测部80与帧间预测部85之间切换来自帧存储器69的图像数据的输出目的地。例如，当指定帧内预测模式时，选择器70将作为参考图像数据的从帧存储器69提供的滤波前的解码图像数据输出到帧内预测部80。当指定帧间预测模式时，选择器70将作为参考图像数据的滤波后的解码图像数据输出到帧间预测部85。当在帧内预测部80或帧间预测部85中执行层间预测时，选择器70将基层的参考图像数据(清晰度增强参考图像)提供给帧内预测部80或帧间预测部85。

选择器71根据由无损解码部62获取的模式信息在帧内预测部80与帧间预测部85之间切换将提供给加法部65的预测图像数据的输出源。例如，当指定帧内预测模式时，选择器71将从帧内预测部80输出的预测图像数据提供给加法部65。当指定帧间预测模式时，选择器71将从帧间预测部85输出的预测图像数据提供给加法部65。

帧内预测部80基于从无损解码部62输入的与帧内预测相关的信息和来自帧存储器69的参考图像数据执行增强层的帧内预测过程，并且生成预测图像数据。以PU为单位执行帧内预测过程。当对应于层间预测的模式被指定为帧内预测模式时，帧内预测部80参考基层的参考图像数据。帧内预测部80将增强层的生成的预测图像数据输出到选择器71。

帧间预测部85基于从无损解码部62输入的与帧间预测相关的信息和来自帧存储器69的参考图像数据执行增强层的帧间预测过程(运动补偿过程)，并且生成预测图像数据。以PU为单位执行帧间预测过程。当对应于层间预测的模式被指定为帧间预测模式时，帧间预测部85参考基层的参考图像数据。帧间预测部85将增强层的生成的预测图像数据输出到选择器71。

清晰度增强部90获取由共用存储器7缓冲的基层的图像作为参考图像、将清晰度增强滤波器应用于获取的参考图像，并且生成清晰度增强参考图像。清晰度增强部90根据对基层的图像设置的块的块大小控制将清晰度增强滤波器应用于参考图像。更具体来说，在本实施方案中，清晰度增强部90使清晰度增强滤波器对具有大于阈值的块大小的块的应用无效。当基层和增强层的空间分辨率不同时，清晰度增强部90也上采样参考图像。由清晰度增强部90生成的清晰度增强参考图像可以存储在帧存储器69中，并且可以通过帧内预测部80或帧间预测部85用作层间预测中的参考图像。清晰度增强部90可以根据从编码流解码的清晰度增强相关参数控制清晰度增强过程。

[3-2.清晰度增强部的配置]

图13是示出图12中所示的清晰度增强部90的详细配置的实例的方框图。参看图13，清晰度增强部90包括块大小缓冲器91、参考图像获取部93、阈值获取部95、滤波器控制部97和清晰度增强滤波器99。

(1)块大小缓冲器

块大小缓冲器91是存储指定对基层图像设置的块的块大小的块大小信息的缓冲器。这里，块可以是设置为基层的解码过程的处理单元的CU、设置为预测过程的处理单元的PU，或设置为正交变换处理的处理单元的TU。CU的块大小信息包括例如LCU大小信息和分割信息。PU的块大小信息包括指定从CU块分割成一个或多个PU的信息。TU的块大小信息包括指定从CU块分割成一个或多个TU的信息。

(2)参考图像获取部

参考图像获取部93获取由共用存储器7缓冲的基层的解码图像作为参考图像，以用于解码增强层的图像。例如，当根据单独的SNR可伸缩性方案解码增强层时，即，当基层的空间分辨率与增强层的空间分辨率相同时，参考图像获取部93将获取的参考图像输出到清晰度增强滤波器99，而无需改变。在另一方面，当根据空间可伸缩性方案解码增强层时，即，当基层具有比增强层更低的空间分辨率时，参考图像获取部93根据分辨率比上采样基层的解码图像。然后，参考图像获取部93将基层的上采样的解码图像输出到清晰度增强滤波器99作为参考图像。

(3)阈值获取部

阈值获取部95获取与块大小比较的确定阈值，以便使清晰度增强滤波器99的应用有效或无效。可以用任意单位(诸如视频数据、序列或图片)获取确定阈值。例如，可以预先固定地定义确定阈值。替代地，当在编码器中选择确定阈值时，可以通过无损解码部62从编码流的VPS、SPS或PPS解码清晰度增强相关参数。清晰度增强相关参数包括指示将由解码器使用的确定阈值的阈值信息。阈值获取部95可以获取阈值信息。如上所述，可以根据层间分辨率比动态地设置确定阈值。

(4)滤波器控制部

滤波器控制部97根据每个块的块大小控制将清晰度增强滤波器应用于参考图像的每个多个块。更具体来说，在本实施方案中，滤波器控制部97使清晰度增强滤波器99对具有小于由阈值获取部95获取的确定阈值的块大小的块的应用有效，并且使清晰度增强滤波器99对具有大于确定阈值的块大小的块的应用无效。例如，滤波器控制部97可以根据基层与增强层之间的空间分辨率比决定确定阈值。

(5)清晰度增强滤波器

清晰度增强滤波器99在滤波器控制部97的控制下增强参考图像的清晰度，该参考图像用于解码具有不同于基层的属性的增强层的图像。清晰度增强滤波器99可以是例如在非专利文献4中提出的串色滤波器。在这种情况下，通过使用作为滤波器抽头的各自的色度分量和多个邻近亮度分量来滤波从参考图像获取部93输入的参考图像的色度分量，清晰度增强滤波器99执行清晰度增强。在编码器侧，滤波器系数可以使用威纳滤波器来计算并且通过在清晰度增强相关参数中包括的滤波器配置信息来指定。此外，清晰度增强滤波器99可以是在非专利文献5中提出的边缘增强滤波器。在这种情况下，清晰度增强滤波器99使用Prewitt滤波器提取从参考图像获取部93输入的参考图像的边缘图、基于边缘图计算每个像素的扭曲参数，并且将计算的扭曲参数添加到每个像素。因此，增强参考图像的边缘。根据对应于相应的像素的基层的块的块大小控制将清晰度增强滤波器99应用于每个像素。清晰度增强滤波器99输出像素值，该像素值已进行使滤波器的应用有效的像素的清晰度增强。在另一方面，清晰度增强滤波器99输出从参考图像获取部93输入的像素值，而不改变使滤波器的应用无效的像素。由像素值形成的清晰度增强参考图像存储在帧存储器69中。

[3-3.用于编码的过程流程]

(1)示意性流程

图14是示出用于解码的示意性过程流程的实例的流程图。为了描述的简洁，从图20中省略不与根据本公开的技术直接相关的过程步骤。

参看图14，多路分解部5首先将多层多路复用流多路分解成基层的编码流和增强层的编码流(步骤S60)。

接着，BL解码部6a执行基层的解码过程以从基层的编码流重建基层的图像(步骤S61)。

共用存储器7缓冲在基层的解码过程中生成的基层的图像和几个参数(例如，分辨率信息和块大小信息)(步骤S62)。

然后，EL解码部6b执行增强层的解码过程，并且重建增强层图像(步骤S63)。在这里执行的增强层的解码过程中，由共用存储器7缓冲的基层的图像通过清晰度增强部90进行清晰度增强并且被用作层间预测中的参考图像。

(2)清晰度增强相关过程

参看图15，首先，阈值获取部95获取用于清晰度增强控制的确定阈值(步骤S71)。确定阈值可以从存储先前定义的参数的存储器中被获取，或可以从由无损解码部62解码的清晰度增强相关参数中被获取。对增强层的感兴趣的像素相继执行后续过程。

滤波器控制部97识别对应于基层的感兴趣的像素的块大小(步骤S73)。这里，识别的块大小通常是在对应于增强层中的感兴趣的像素的像素位置的位置基层的CU、PU或TU的大小。

然后，滤波器控制部97基于感兴趣的像素的像素位置和层间分辨率比确定是否将执行上采样(步骤S75)。当滤波器控制部97确定将执行上采样时，参考图像获取部93将上采样滤波器应用于由共用存储器7缓冲的基层的一组像素，并且获取感兴趣的像素的参考像素值(步骤S77)。在另一方面，当确定不执行上采样时，参考图像获取部93获取由共用存储器7缓冲的基层的像素值而无需改变，该像素值具有与感兴趣的像素的参考像素值相同的位置(步骤S78)。

然后，滤波器控制部97确定是否识别的块大小是确定阈值或更小(步骤S81)。当识别的块大小大于确定阈值时，滤波器控制部97使清晰度增强滤波器99对感兴趣的像素的应用无效。在另一方面，当对应于感兴趣的像素的块大小是确定阈值或更小时，清晰度增强滤波器99通过滤波由参考图像获取部93获取的像素组来增强参考图像的清晰度(步骤S83)。这里，滤波器操作可以是串色滤波器的操作或边缘增强滤波器的操作。

然后，清晰度增强滤波器99将用于配置清晰度增强参考图像的感兴趣的像素的参考像素值存储在帧存储器69中(步骤S85)。随后，当有下一个感兴趣的像素时，过程返回到步骤S73(步骤S87)。在另一方面，当没有下一个感兴趣的像素时，图15中所示的过程结束。

<4.EL编码部的配置实例(第二实施方案)>

[4-1.整体配置]

图16是示出根据第二实施方案的EL编码部1b的配置的实例的方框图。参看图16，EL编码部1b包括排序缓冲器11、减法部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、加法部23、环路滤波器24、帧存储器25、选择器26和27、帧内预测部30、帧间预测部35和清晰度增强部140。

清晰度增强部140获取由共用存储器2缓冲的基层的图像作为参考图像、将清晰度增强滤波器应用于获取的参考图像，并且生成清晰度增强参考图像。清晰度增强部140根据对基层的图像设置的块的块大小控制将清晰度增强滤波器应用于参考图像。更具体来说，在本实施方案中，清晰度增强部140根据块的块大小决定应用于每个块的清晰度增强滤波器的滤波器配置。当基层的空间分辨率不同于增强层的空间分辨率时，清晰度增强部140也上采样参考图像。由清晰度增强部140生成的清晰度增强参考图像可以存储在帧存储器25中，并且通过帧内预测部30或帧间预测部35适用于层间预测。通过无损编码部16编码由清晰度增强部140生成的清晰度增强相关参数。

[4-2.清晰度增强部的配置]

图17是示出图16中所示的清晰度增强部140的详细配置的实例的方框图。参看图17，清晰度增强部140包括块大小缓冲器41、参考图像获取部43、亮度分量缓冲器146、滤波器控制部147、系数计算部148和清晰度增强滤波器149。

(1)亮度分量缓冲器

亮度分量缓冲器146是暂时存储由参考图像获取部43获取(必要时上采样)的亮度分量的参考图像的缓冲器。由亮度分量缓冲器146存储的亮度分量的参考图像可以用于通过系数计算部148和清晰度增强滤波器149的滤波器操作计算串色滤波器的滤波器系数。

(2)滤波器控制部

滤波器控制部147根据每个块的块大小控制将清晰度增强滤波器应用于参考图像的每个多个块。更具体来说，在本实施方案中，滤波器控制部147根据块的块大小决定应用于每个块的清晰度增强滤波器149的滤波器配置。例如，滤波器控制部147使系数计算部148为具有图片或切片内的相同的块大小的块计算串色滤波器的最佳滤波器系数。因此，为每个块大小候选计算一个最佳滤波器系数集(例如，当块大小为8×8像素、16×16像素或32×32像素时，导出三组最佳滤波器系数)。然后，当将清晰度增强滤波器149应用于每个块时，滤波器控制部147使清晰度增强滤波器149使用对应于块的块大小的计算的滤波器系数集。

(3)系数计算部

系数计算部148使用具有块大小的一个或多个块的亮度分量和色度分量，为每个块大小候选计算应用于参考图像的色度分量的串色滤波器的最佳滤波器系数集。串色滤波器的滤波器抽头包括色度分量和多个邻近亮度分量。可以使用威纳滤波器计算最佳滤波器系数集，使得最小化色度分量的原始图像与清晰度增强图像之间的均方误差。这里，一个或多个块可以是具有图片或切片内的相同的块大小的所有块，或具有图片或切片内的相同的块大小的一些块。

图18是用于描述根据块大小的滤波器配置的实例的说明图。对图18中所示的图像IM3设置包括块B41、B42a、B42b、B43和B44的多个块。块B41的大小是64×64像素。块B42a和B42b的大小是32×32像素。块B43的大小是16×16像素。块B44的大小是8×8像素。首先，例如，系数计算部148计算系数集FC₆₄，使得最小化块B41的色度分量的原始图像与清晰度增强图像之间的均方误差。然后，系数计算部148计算系数集FC₃₂，使得最小化块B42a和B42b的色度分量的原始图像与清晰度增强图像之间的均方误差。然后，系数计算部148计算系数集FC₁₆，使得最小化包括块B43的16×16像素的多个块的色度分量的原始图像与清晰度增强图像之间的均方误差。然后，系数计算部148计算系数集FC₈，使得最小化包括块B44的8×8像素的多个块的色度分量的原始图像与清晰度增强图像之间的均方误差。当计算可以共同用于相同的块大小的滤波器系数集时，有可能减少用于将滤波器系数传输到解码器的滤波器配置信息的代码量。此外，可以基于块大小与高频分量强度之间的相关性导出滤波器系数集，使得高频分量更强(更小)的块的滤波器强度增加，并且高频分量更弱(更大)的块的滤波器强度减小。因此，图像质量比单个滤波器系数被使用时更有效地提高。

系数计算部148将计算的滤波器系数集输出到每个块大小的清晰度增强滤波器149。此外，系数计算部148生成指示滤波器系数集的滤波器配置信息。滤波器配置信息指示在可用的块大小的范围内由解码器中的清晰度增强滤波器使用的滤波器配置。例如，当CU大小被用作块大小，SCU大小是8×8像素，并且LCU大小是32×32像素时，系数计算部148可以省略对应于64×64像素的块大小的滤波器系数集的计算和滤波器配置信息的生成。然后，系数计算部148将生成的滤波器配置信息输出到无损编码部16作为清晰度增强相关参数。滤波器配置信息可以通过无损编码部16编码并且插入到例如编码流的VPS、SPS或PPS，或其扩展。

系数计算部148可以对图片之间的滤波器配置信息执行预测编码。此外，系数计算部148可以对不同的块大小之间的滤波器配置信息执行预测编码。此外，系数计算部148可以对不同的颜色分量(例如，从Cb分量到Cr分量，或反之亦然)之间的滤波器配置信息执行预测编码。因此，有可能进一步减少滤波器配置信息的代码量。

图19是用于描述滤波器配置信息的预测编码的实例的说明图。在图19的左边，图示在第n个图片P_n被编码时为四个块大小计算的滤波器系数集FC_{64_n}、FC_{32_n}、FC_{16_n}和FC_{8_n}。在第(n+1)个图片P_n+1被编码时，系数计算部148计算滤波器系数集FC_{64_n+1}，然后进一步计算滤波器系数差集D_{64_n+1}(＝FC_{64_n+1}-FC_{64_n})。类似地，系数计算部148也计算对应于滤波器系数集FC_{32_n+1}、FC_{16_n+1}和FC_{8_n+1}的滤波器系数差集D_{32_n+1}、D_{16_n+1}和D_{8_n+1}。通常，由于最佳滤波器系数在图片之间不显著改变，故滤波器系数差集的值的范围小于滤波器系数集的值的范围。为此，当滤波器系数差集被编码时，可以减少滤波器配置信息的代码量。

(4)清晰度增强滤波器

清晰度增强滤波器149在滤波器控制部147的控制下增强参考图像的清晰度，该参考图像用于编码具有不同于基层的属性(例如，空间分辨率或量化误差)的增强层的图像。在本实施方案中，清晰度增强滤波器149可以是例如在非专利文献4中提出的串色滤波器。在这种情况下，通过使用作为滤波器抽头的各自的色度分量和多个邻近亮度分量来滤波从参考图像获取部43输入的参考图像的色度分量，清晰度增强滤波器149执行清晰度增强。清晰度增强滤波器149在从系数计算部148输入的多个滤波器系数集中使用对应于由滤波器控制部147识别的块大小的集合。然后，清晰度增强滤波器149将清晰度增强参考图像存储在帧存储器25中。

[4-3.过程流程]

根据本实施方案的用于编码的示意性过程流程可以与上文参照图10所述的流程相同。图20是示出根据本实施方案的用于编码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

参看图20，首先，系数计算部148计算每个块大小的最佳滤波器系数(步骤S22)。对增强层的色度分量的感兴趣的像素相继执行后续过程。

滤波器控制部147识别对应于基层的感兴趣的像素的块大小(步骤S23)。这里，识别的块大小通常是在对应于增强层中的感兴趣的像素的像素位置的位置基层的CU、PU或TU的大小。

然后，滤波器控制部147基于感兴趣的像素的像素位置和层间分辨率比确定是否将执行上采样(步骤S25)。当滤波器控制部147确定将执行上采样时，参考图像获取部143将上采样滤波器应用于由共用存储器2缓冲的基层的一组像素，并且获取感兴趣的像素的参考像素值(步骤S27)。在另一方面，当确定不执行上采样时，参考图像获取部143获取由共用存储器2缓冲的基层的像素值而无需改变，该像素值具有与感兴趣的像素的参考像素值相同的位置(步骤S28)。

然后，通过使用作为滤波器抽头的从参考图像获取部43输入的色度分量和从亮度分量缓冲器146获取的多个邻近亮度分量进行滤波，清晰度增强滤波器149增强感兴趣的像素的色度分量的清晰度(步骤S32)。这里使用的滤波器系数集是对应于由滤波器控制部147识别的块大小的集合。

然后，清晰度增强滤波器149将感兴趣的像素的清晰度增强参考像素值存储在帧存储器25中(步骤S35)。随后，当有下一个感兴趣的像素时，过程返回到步骤S23(步骤S37)。在另一方面，当没有下一个感兴趣的像素时，通过无损编码部16编码可以包括滤波器配置信息(其指示每个块大小的滤波器配置)的清晰度增强相关参数(步骤S40)，并且图20中所示的过程结束。

<5.EL解码部的配置实例(第二实施方案)>

[5-1.整体配置]

图21是示出根据第二实施方案的EL解码部6b的配置的实例的方框图。参看图21，EL解码部6b包括累积缓冲器61、无损解码部62、逆量化部63、逆正交变换部64、加法部65、环路滤波器66、排序缓冲器67、D/A转换部68、帧存储器69、选择器70和71、帧内预测部80、帧间预测部85和清晰度增强部190。

清晰度增强部190获取由共用存储器7缓冲的基层的图像作为参考图像、将清晰度增强滤波器应用于获取的参考图像，并且生成清晰度增强参考图像。清晰度增强部190根据对基层的图像设置的块的块大小控制将清晰度增强滤波器应用于参考图像。更具体来说，在本实施方案中，清晰度增强部190根据块的块大小决定应用于每个块的清晰度增强滤波器的滤波器配置。当基层的空间分辨率不同于增强层的空间分辨率时，清晰度增强部190也上采样参考图像。由清晰度增强部190生成的清晰度增强参考图像可以存储在帧存储器69中，并且通过帧内预测部80或帧间预测部85用作层间预测中的参考图像。清晰度增强部190根据从编码流解码的清晰度增强相关参数控制清晰度增强过程。

[5-2.清晰度增强部的配置]

图22是示出图21中所示的清晰度增强部190的详细配置的实例的方框图。参看图22，清晰度增强部190包括块大小缓冲器91、参考图像获取部93、亮度分量缓冲器196、滤波器控制部197、系数获取部198和清晰度增强滤波器199。

(1)亮度分量缓冲器

亮度分量缓冲器196是暂时存储由参考图像获取部93获取(必要时上采样)的亮度分量的参考图像的缓冲器。由亮度分量缓冲器196存储的亮度分量的参考图像可以用于清晰度增强滤波器199的滤波器操作。

(2)滤波器控制部

滤波器控制部197根据每个块的块大小控制将清晰度增强滤波器应用于参考图像的每个多个块。更具体来说，在本实施方案中，滤波器控制部197根据块的块大小决定应用于每个块的清晰度增强滤波器199的滤波器配置。例如，滤波器控制部197使系数获取部198获取每个块大小的滤波器系数集，该滤波器系数集是通过在由无损解码部62解码的清晰度增强相关参数中包括的滤波器配置信息来指示。此外，当将清晰度增强滤波器199应用于每个块时，滤波器控制部197使清晰度增强滤波器199使用对应于块的块大小的获取的滤波器系数集。

(3)系数获取部

系数获取部198为每个块大小候选获取应用于参考图像的色度分量的串色滤波器的最佳滤波器系数集。通常，如上文参照图18所述，滤波器系数集在编码器侧被计算并且通过由无损解码部62解码的滤波器配置信息来指示。滤波器配置信息指示在可用的块大小的范围内由清晰度增强滤波器199使用的滤波器配置。例如，滤波器配置信息可以从编码流的VPS、SPS或PPS或其扩展中被解码。系数获取部198将每个块大小的获取的滤波器系数集输出到清晰度增强滤波器199。

例如，当滤波器配置信息已进行预测编码时，系数获取部198通过将滤波器系数的预测值添加到解码差值来获取滤波器系数。当在图片之间执行预测编码时，滤波器系数的预测值可以是为先前的图片解码的滤波器系数的值。当在不同的块大小之间执行预测编码时，特定块大小的滤波器系数的预测值可以是另一块大小的滤波器系数的值。当在不同的颜色分量之间执行预测编码时，例如，Cr分量的滤波器系数的预测值可以是Cb分量的滤波器系数的值(反之亦然)。

(4)清晰度增强滤波器

清晰度增强滤波器199在滤波器控制部197的控制下增强参考图像的清晰度，该参考图像用于解码具有不同于基层的属性的增强层的图像。在本实施方案中，清晰度增强滤波器199可以是例如在非专利文献4中提出的串色滤波器。通过使用作为滤波器抽头的各自的色度分量和多个邻近亮度分量来滤波从参考图像获取部93输入的参考图像的色度分量，清晰度增强滤波器199执行清晰度增强。清晰度增强滤波器199在从系数获取部198输入的多个滤波器系数集中使用对应于由滤波器控制部197识别的块大小的集合。然后，清晰度增强滤波器199将清晰度增强参考图像存储在帧存储器69中。

[5-3.过程流程]

根据本实施方案的用于解码的示意性过程流程可以与上文参照图14所述的流程相同。图23是示出根据本实施方案的用于解码的与参考图像的清晰度增强相关联的过程流程的实例的流程图。

参看图23，首先，系数获取部198从由无损解码部62解码的滤波器配置信息中获取每个块大小的滤波器系数集(步骤S72)。对增强层的色度分量的感兴趣的像素相继执行后续过程。

滤波器控制部197识别对应于基层的感兴趣的像素的块大小(步骤S73)。这里，识别的块大小通常是在对应于增强层中的感兴趣的像素的像素位置的位置基层的CU、PU或TU的大小。

然后，滤波器控制部197基于感兴趣的像素的像素位置和层间分辨率比确定是否将执行上采样(步骤S75)。当滤波器控制部197确定将执行上采样时，参考图像获取部193将上采样滤波器应用于由共用存储器7缓冲的基层的一组像素，并且获取感兴趣的像素的参考像素值(步骤S77)。在另一方面，当确定不执行上采样时，参考图像获取部193获取由共用存储器7缓冲的基层的像素值而无需改变，该像素值具有与感兴趣的像素的参考像素值相同的位置(步骤S78)。

然后，通过使用作为滤波器抽头的从参考图像获取部93输入的色度分量和从亮度分量缓冲器196获取的多个邻近亮度分量进行滤波，清晰度增强滤波器199增强感兴趣的像素的色度分量的清晰度(步骤S82)。这里使用的滤波器系数集是对应于由滤波器控制部197识别的块大小的集合。

然后，清晰度增强滤波器199将感兴趣的像素的清晰度增强参考像素值存储在帧存储器69中(步骤S85)。随后，当有下一个感兴趣的像素时，过程返回到步骤S73(步骤S87)。在另一方面，当没有下一个感兴趣的像素时，图23中所示的过程结束。

<6.示例性应用>

[6-1.各种产品的应用]

根据上述实施方案的图像编码设备10和图像解码设备60可以被应用于各种电子器件，诸如用于卫星广播、有线广播(诸如有线电视、分布在互联网上、经由蜂窝通信分配给终端等)的传输器和接收器、将图像记录在介质(诸如光盘、磁盘或闪速存储器)中的记录设备、从这种存储介质再现图像的再现设备等。下文将描述四个示例性应用。

(1)第一应用实例

图24是图示应用上述实施方案的电视设备的示意性配置的实例的图解。电视设备900包括天线901、调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示器906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户界面911和总线912。

调谐器902从通过天线901接收的广播信号中提取所需的信道的信号，并且解调提取的信号。调谐器902然后将通过解调获得的编码位流输出到多路分解器903。即，调谐器902在电视设备900中具有接收图像被编码的编码流的传输构件的作用。

多路分解器903分离将从编码位流查看的程序中的视频流和音频流，并且将每个分离流输出到解码器904。多路分解器903也从编码位流中提取辅助数据(诸如EPG(电子节目指南))，并且将提取的数据提供给控制单元910。这里，多路分解器903可以在编码位流被扰频时解扰编码位流。

解码器904解码从多路分解器903输入的视频流和音频流。解码器904然后将通过解码过程生成的视频数据输出到视频信号处理单元905。此外，解码器904将通过解码过程生成的音频数据输出到音频信号处理单元907。

视频信号处理单元905再现从解码器904输入的视频数据并且在显示器906上显示视频。视频信号处理单元905也可以在显示器906上显示通过网络提供的应用屏幕。视频信号处理单元905可以进一步根据设置对视频数据执行额外的过程(诸如噪声降低)。此外，视频信号处理单元905可以生成GUI(图形用户界面)(诸如菜单、按钮或光标)的图像，并且将生成图像叠加到输出图像上。

显示器906通过从视频信号处理单元905提供的驱动信号驱动，并且在显示设备(诸如液晶显示器、等离子显示器或OELD(有机电致发光显示器))的视频屏幕上显示视频或图像。

音频信号处理单元907对从解码器904输入的音频数据执行再现过程(诸如D/A转换和放大)，并且从扬声器908输出音频。音频信号处理单元907也可以对音频数据执行额外的过程(诸如噪声降低)。

外部接口909是连接电视设备900与外部设备或网络的接口。例如，解码器904可以解码通过外部接口909接收的视频流或音频流。这意味着，外部接口909也在电视设备900中具有接收图像被编码的编码流的传输构件的作用。

控制单元910包括处理器(诸如CPU)和存储器(诸如RAM和ROM)。存储器存储由CPU执行的程序、程序数据、EPG数据和通过网络获取的数据。例如，被存储在存储器中的程序在电视设备900启动时由CPU读取并执行。例如，通过执行程序，CPU根据从用户界面911输入的操作信号控制电视设备900的操作。

用户界面911连接到控制单元910。例如，用户界面911包括用户用于操作电视设备900的按钮和开关，以及接收远程控制信号的接收部。用户界面911通过这些组件检测用户操作、生成操作信号，并且将生成的操作信号输出到控制单元910。

总线912使调谐器902、多路分解器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910相互连接。

以上述方式配置的电视设备900中的解码器904具有根据上述实施方案的图像解码设备60的功能。因此，当电视设备900增强层间参考的图像的清晰度时，有可能有效地提高参考图像的图像质量，同时抑制操作量或代码量。

(2)第二应用实例

图25是图示移动电话的示意性配置的实例的图解。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、相机单元926、图像处理单元927、多路分解单元928、记录/再现单元929、显示器930、控制单元931、操作单元932和总线933。

天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933使通信单元922、音频编解码器923、相机单元926、图像处理单元927、多路分解单元928、记录/再现单元929、显示器930和控制单元931相互连接。

移动电话920执行操作，诸如传输/接收音频信号、传输/接收电子邮件或图像数据、成像图像，或以各种操作模式(包括音频呼叫模式、数据通信模式、摄影模式和可视电话模式)记录数据。

在音频呼叫模式中，将由麦克风925生成的模拟音频信号提供给音频编解码器923。音频编解码器923然后将模拟音频信号转换成音频数据、对转换的音频数据执行A/D转换，并且压缩数据。音频编解码器923随后将压缩的音频数据输出到通信单元922。通信单元922编码和调制音频数据以生成传输信号。通信单元922然后通过天线921将生成的传输信号传输到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号、转换信号的频率，并且获取接收信号。通信单元922随后解调和解码接收信号以生成音频数据，并且将生成的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据、对数据执行D/A转换，并且生成模拟音频信号。音频编解码器923然后通过将生成的音频信号提供给扬声器924来输出音频。

在数据通信模式中，例如，控制单元931根据通过操作单元932的用户操作生成用于配置电子邮件的字符数据。控制单元931进一步在显示器930上显示字符。此外，控制单元931根据来自用户通过操作单元932的传输指令生成电子邮件数据，并且将生成的电子邮件数据输出到通信单元922。通信单元922编码和调制电子邮件数据以生成传输信号。然后，通信单元922通过天线921将生成的传输信号传输到基站(未示出)。通信单元922进一步放大通过天线921接收的无线电信号、转换信号的频率，并且获取接收信号。通信单元922随后解调和解码接收信号、恢复电子邮件数据，将恢复的电子邮件数据输出到控制单元931。控制单元931在显示器930上显示电子邮件的内容，以及将电子邮件数据存储在记录/再现单元929的存储介质中。

记录/再现单元929包括可读和可写的任意的存储介质。例如，存储介质可以是内置的存储介质(诸如RAM或闪速存储器)，或可以是外部安装的存储介质(诸如硬盘、磁盘、磁光盘、光盘、USB(未分配的空间位图)存储器或存储卡)。

在摄影模式中，例如，相机单元926成像物体、生成图像数据，并且将生成的图像数据输出到图像处理单元927。图像处理单元927编码从相机单元926输入的图像数据，并且将编码流存储在记录/再现单元929的存储介质中。

在可视电话模式中，例如，多路分解单元928多路复用由图像处理单元927编码的视频流和从音频编解码器923输入的音频流，并且将多路复用流输出到通信单元922。通信单元922编码和调制该流以生成传输信号。通信单元922随后通过天线921将生成的传输信号传输到基站(未示出)。此外，通信单元922放大通过天线921接收的无线电信号、转换信号的频率，并且获取接收信号。传输信号和接收信号可以包括编码位流。然后，通信单元922解调和解码接收信号以恢复该流，并且将恢复的流输出到多路分解单元928。多路分解单元928从输入流分离视频流和音频流，并且将视频流和音频流分别输出到图像处理单元927和音频编解码器923。图像处理单元927解码视频流以生成视频数据。然后将视频数据提供给显示一系列图像的显示器930。音频编解码器923扩展并对音频流执行D/A转换以生成模拟音频信号。音频编解码器923然后将生成的音频信号提供给扬声器924以输出音频。

以上述方式配置的移动电话920中的图像处理单元927具有图像编码设备10和图像解码设备60的功能。因此，当移动电话920增强层间参考的图像的清晰度时，有可能有效地提高参考图像的图像质量，同时抑制操作量或代码量。

(3)第三应用实例

图35是图示应用上述实施方案的记录/再现设备的示意性配置的实例的图解。例如，记录/再现设备940编码接收的广播节目的音频数据和视频数据，并且将数据记录到记录介质中。例如，记录/再现设备940也可以编码从另一设备获取的音频数据和视频数据，并且将数据记录到记录介质中。响应于用户指令，例如，记录/再现设备940在监视器和扬声器上再现被记录在记录介质中的数据。记录/再现设备940在此时解码音频数据和视频数据。

记录/再现设备940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、磁盘驱动器945、选择器946、解码器947、OSD(屏幕显示器)948、控制单元949和用户界面950。

调谐器941从通过天线(未示出)接收的广播信号中提取所需的信道的信号，并且解调提取的信号。调谐器941然后将通过解调获得的编码位流输出到选择器946。即，调谐器941在记录/再现设备940中具有传输构件的作用。

外部接口942是连接记录/再现设备940与外部设备或网络的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口或闪速存储器接口。例如，将通过外部接口942接收的视频数据和音频数据输入到编码器943。即，外部接口942在记录/再现设备940中具有传输构件的作用。

当从外部接口942输入的视频数据和音频数据不被编码时，编码器943编码视频数据和音频数据。编码器943随后将编码位流输出到选择器946。

HDD944将内容数据(诸如视频和音频)被压缩的编码位流、各种程序和其他数据记录到内置硬盘中。HDD944在再现视频和音频时从硬盘读取这些数据。

磁盘驱动器945将数据记录到记录介质中并且从记录介质读取数据，该记录介质安装到磁盘驱动器。安装到磁盘驱动器945的记录介质可以是例如DVD光盘(诸如DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+R或DVD+RW)或蓝光(注册商标)光盘。

选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码位流，并且将选择的编码位流输出到HDD944或磁盘驱动器945。当再现视频和音频时，在另一方面，选择器946将从HDD944或磁盘驱动器945输入的编码位流输出到解码器947。

解码器947解码编码位流以生成视频数据和音频数据。解码器904然后将生成的视频数据输出到OSD948，并且将生成的音频数据输出到外部扬声器。

OSD948再现从解码器947输入的视频数据并且显示视频。OSD948也可以将GUI(诸如菜单、按钮或光标)的图像叠加到显示的视频上。

控制单元949包括处理器(诸如CPU)和存储器(诸如RAM和ROM)。存储器存储由CPU执行的程序以及程序数据。例如，被存储在存储器中的程序在记录/再现设备940启动时由CPU读取并执行。例如，通过执行程序，CPU根据从用户界面950输入的操作信号控制记录/再现设备940的操作。

用户界面950连接到控制单元949。例如，用户界面950包括用户用于操作记录/再现设备940的按钮和开关，以及接收远程控制信号的接收部。用户界面950通过这些组件检测用户操作、生成操作信号，并且将生成的操作信号输出到控制单元949。

以上述方式配置的记录/再现设备940中的编码器943具有根据上述实施方案的图像编码设备10的功能。在另一方面，解码器947具有图像解码设备60的功能。因此，当记录/再现设备940增强层间参考的图像的清晰度时，有可能有效地提高参考图像的图像质量，同时抑制操作量或代码量。

(4)第四应用实例

图27示出应用上述实施方案的图像捕获设备的示意性配置的实例。成像设备960成像物体、生成图像、编码图像数据，并且将数据记录到记录介质中。

成像设备960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示器965、外部接口966、存储器967、媒体驱动器968、OSD969、控制单元970、用户界面971和总线972。

光学块961连接到成像单元962。成像单元962连接到信号处理单元963。显示器965连接到图像处理单元964。用户界面971连接到控制单元970。总线972使图像处理单元964、外部接口966、存储器967、媒体驱动器968、OSD969和控制单元970相互连接。

光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像面上形成物体的光学图像。成像单元962包括图像传感器(诸如CCD(电荷耦合设备)或CMOS(互补金属氧化物半导体))，并且执行光电转换以将形成在成像面上的光学图像转换成作为电信号的图像信号。随后，成像单元962将图像信号输出到信号处理单元963。

信号处理单元963对从成像单元962输入的图像信号执行各种相机信号过程(诸如拐点校正、伽马校正和色彩校正)。信号处理单元963将对之执行相机信号过程的图像数据输出到图像处理单元964。

图像处理单元964编码从信号处理单元963输入的图像数据，并且生成编码数据。图像处理单元964然后将生成的编码数据输出到外部接口966或媒体驱动器968。图像处理单元964也解码从外部接口966或媒体驱动器968输入的编码数据以生成图像数据。图像处理单元964然后将生成的图像数据输出到显示器965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到显示器965以显示图像。此外，图像处理单元964可以将从OSD969获取的显示数据叠加到在显示器965上被输出的图像上。

OSD969生成GUI(诸如菜单、按钮或光标)的图像，并且将生成图像输出到图像处理单元964。

例如，外部接口966被配置成USB输入/输出端子。例如，当打印机打印图像时，外部接口966连接成像设备960与打印机。此外，根据需要将驱动器连接到外部接口966。例如，可移动介质(诸如磁盘或光盘)安装到驱动器，使得从可移动介质读取的程序可以安装到成像设备960。外部接口966也可以被配置成连接到网络(诸如LAN或互联网)的网络接口。即，外部接口966在成像设备960中具有传输构件的作用。

安装到媒体驱动器968的记录介质可以是可读和可写的任意的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装到媒体驱动器968，使得不可移动的存储单元(诸如内置的硬盘驱动器或SSD(固态驱动器))被配置。

控制单元970包括处理器(诸如CPU)和存储器(诸如RAM和ROM)。存储器存储由CPU执行的程序以及程序数据。被存储在存储器中的程序在成像设备960启动时由CPU读取然后执行。例如，通过执行程序，CPU根据从用户界面971输入的操作信号控制成像设备960的操作。

用户界面971连接到控制单元970。例如，用户界面971包括用户用于操作成像设备960的按钮和开关。用户界面971通过这些组件检测用户操作、生成操作信号，并且将生成的操作信号输出到控制单元970。

以上述方式配置的成像设备960中的图像处理单元964具有根据上述实施方案的图像编码设备10和图像解码设备60的功能。因此，当成像设备960增强层间参考的图像的清晰度时，有可能有效地提高参考图像的图像质量，同时抑制操作量或代码量。

[6-2.可伸缩视频编码的各种用途]

上述可伸缩视频编码的优点可以用于各种用途。下文将描述用途的三个实例。

(1)第一实例

在第一实例中，可伸缩视频编码用于数据的选择性传输。参看图28，数据传输系统1000包括流存储设备1001和递送服务器1002。递送服务器1002经由网络1003连接到一些终端设备。网络1003可以是有线网络或无线网络或其组合。图28示出PC(个人计算机)1004、AV设备1005、平板设备1006和移动电话1007作为终端设备的实例。

流存储设备1001存储例如流数据1011，其包括由图像编码设备10生成的多路复用流。多路复用流包括基层(BL)的编码流和增强层(EL)的编码流。递送服务器1002读取被存储在流存储设备1001中的流数据1011，并且经由网络1003将读取的流数据1011的至少一部递送到PC1004、AV设备1005、平板设备1006和移动电话1007。

当流被递送到终端设备时，递送服务器1002基于某些条件(诸如终端设备或通信环境的能力)选择要被递送的流。例如，通过不递送具有超过可以由终端设备处理的图像质量的高图像质量的编码流，递送服务器1002可以避免在终端设备的延迟或溢出的发生或处理器过载。通过不递送具有高图像质量的编码流，递送服务器1002也可以避免网络1003的通信频带的占用。在另一方面，当没有要被避免的风险或基于用户的合同或某些条件被认为是合适时，递送服务器1002可以将整个多路复用流递送到终端设备。

在图28的实例中，递送服务器1002从流存储设备1001读取流数据1011。然后，递送服务器1002将流数据1011直接递送到具有高处理能力的PC1004。因为AV设备1005具有低处理能力，所以递送服务器1002生成只包含从流数据1011提取的基层的编码流的流数据1012，并且将流数据1012递送到AV设备1005。递送服务器1002将流数据1011直接递送到能够在高通信速率下通信的平板设备1006。因为移动电话1007可以在低通信速率下通信，所以递送服务器1002将只包含基层的编码流的流数据1012递送到移动电话1007。

通过以这种方式使用多路复用流，要被传输的通信量可以被自适应地调整。当与每个层被个别编码时的情况相比时，流数据1011的代码量减少，因此，即使整个流数据1011被递送，网络1003上的负载可以减小。此外，节省了流存储设备1001的存储器资源。

终端设备的硬件性能在不同设备上是不同的。另外，对终端设备运行的应用程序的功能是多样的。此外，网络1003的通信容量是变化的。可用于数据传输的容量可能由于其他通信量而每时每刻变化。因此，在开始流数据的递送之前，递送服务器1002可以通过与递送目标终端设备的信令获取关于终端设备的硬件性能和应用能力的终端信息和关于网络1003的通信容量的网络信息。然后，递送服务器1002可以基于获取的信息选择要被递送的流。

顺便提一下，要被解码的层可以由终端设备提取。例如，PC1004可以在其屏幕上显示从接收的多路复用流提取和解码的基层图像。在通过从接收的多路复用流提取基层的编码流来生成流数据1012之后，PC1004可以使存储介质存储流数据1012或将流数据转移到另一设备。

图28中所示的数据传输系统1000的配置只是实例。数据传输系统1000可以包括任何数量的流存储设备1001、递送服务器1002、网络1003和终端设备。

(2)第二实例

在第二实例中，可伸缩视频编码用于经由多个通信信道进行数据传输。参看图29，数据传输系统1100包括广播电台1101和终端设备1102。广播电台1101在地面信道1111上广播基层的编码流1121。广播电台1101也经由网络1112将增强层的编码流1122广播到终端设备1102。

终端设备1102具有用于接收由广播电台1101广播的地面广播的接收功能，并且经由地面信道1111接收基层的编码流1121。终端设备1102也具有用于与广播电台1101通信的通信功能，并且经由网络1112接收增强层的编码流1122。

在接收基层的编码流1121之后，例如，响应于用户的指令，终端设备1102可以从接收的编码流1121解码基层图像，并且在屏幕上显示基层图像。或者，终端设备1102可以使存储介质存储解码的基层图像或将基层图像转移到另一设备。

在经由网络1112接收增强层的编码流1122之后，例如，响应于用户的指令，终端设备1102可以通过多路复用基层的编码流1121和增强层的编码流1122来生成多路复用流。终端设备1102也可以从增强层的编码流1122解码增强图像以在屏幕上显示增强图像。或者，终端设备1102可以使存储介质存储解码的增强层图像或将增强层图像转移到另一设备。

如上所述，在多路复用流中包含的每个层的编码流可以经由每个层的不同的通信信道被传输。因此，通信延迟或溢出的发生可以通过在个别信道上分配负载而减少。

可以根据某些条件动态地选择将用于传输的通信信道。例如，可以经由具有较宽的带宽的通信信道传输数据量相对较大的基层的编码流1121，并且可以经由具有较窄的带宽的通信信道传输数据量相对较小的增强层的编码流1122。可以根据通信信道的带宽切换在上面传输特定层的编码流1122的通信信道。因此，个别信道上的负载可以更有效地减少。

图29中所示的数据传输系统1100的配置只是实例。数据传输系统1100可以包括任何数量的通信信道和终端设备。这里描述的系统的配置也可以应用于除了广播以外的其他用途。

(3)第三实例

在第三实例中，可伸缩视频编码用于视频存储。参看图30，数据传输系统1200包括成像设备1201和流存储设备1202。成像设备1201可伸缩编码由被成像的主体1211生成的图像数据以生成多路复用流1221。多路复用流1221包括基层的编码流和增强层的编码流。然后，成像设备1201将多路复用流1221提供给流存储设备1202。

在每个模式不同的图像质量下，流存储设备1202存储从成像设备1201提供的多路复用流1221。例如，在正常模式下，流存储设备1202从多路复用流1221提取基层的编码流1222，并且存储基层的提取的编码流1222。在高质量模式下，相比之下，流存储设备1202实际上存储多路复用流1221。因此，只有当需要高质量视频的记录时，流存储设备1202可以存储具有大量数据的高质量流。因此，可以节省存储器资源，同时抑制图像退化对用户的影响。

例如，成像设备1201被假定为监控摄像机。当没有监控对象(例如，没有入侵者)出现在捕获的图像时，选择正常模式。在这种情况下，捕获的图像很可能是不重要的并且优先考虑数据量的减少，使得记录低图像质量的视频(即，只存储基层的编码流1222)。相比之下，当监控对象(例如，作为入侵者的主体1211)出现在捕获的图像时，选择高质量模式。在这种情况下，捕获的图像很可能是重要的并且优先考虑高图像质量，使得记录高图像质量的视频(即，存储多路复用流1221)。

在图30的实例中，流存储设备1202基于例如图像分析结果选择模式。然而，本实施方案不限于这样的实例并且成像设备1201可以选择模式。在后一种情况下，成像设备1201可以在正常模式下将基层的编码流1222提供给流存储设备1202，并且在高质量模式下将多路复用流1221提供给流存储设备1202。

用于选择模式的选择标准可以是任何标准。例如，可以根据通过麦克风获取的声音的响度或声音的波形来切换模式。也可以定期切换模式。此外，可以响应于用户的指令来切换模式。此外，可选模式的数量可以是任何数量，只要不超过层级化层的数量。

图30中所示的数据传输系统1200的配置只是实例。数据传输系统1200可以包括任何数量的成像设备1201。这里描述的系统的配置也可以应用于除了监控摄像机以外的其他用途。

[6-3.其他]

(1)多视点编解码器的应用

多视点编解码器是一种多层编解码器，并且是用于编码和解码所谓的多视点视频的图像编码系统。图31是图示多视点编解码器的说明图。参看图31，示出从三个视点捕获的三个视图帧的序列。视图ID(view_id)附属于每个视图。在多个这些视图中，一个视图被指定为基本视图。除了基本视图以外的视图被称为非基本视图。在图21的实例中，视图ID为“0”的视图是基本视图，并且视图ID为“1”或“2”的两个视图是非基本视图。当这些视图被分级编码时，每个视图可以对应于一个层。如由图31中的箭头所指示，通过参考基本视图的图像(也可以参考另一非基本视图的图像)来编码和解码非基本视图的图像。

图32是示出支持多视点编解码器的图像编码设备10v的示意性配置的方框图。参看图32，图像编码设备10v包括第一层编码部1c、第二层编码部1d、共用存储器2和多路复用部3。

第一层编码部1c的功能与使用图5所述的BL编码部1a的功能相同，不同之处在于，基本视图图像而不是基层图像被接收作为输入。第一层编码部1c编码基本视图图像以生成第一层的编码流。第二层编码部1d的功能与使用图3所述的EL编码部1b的功能相同，不同之处在于，非基本视图图像而不是增强层图像被接收作为输入。第二层编码部1d编码非基本视图图像以生成第二层的编码流。共用存储器2存储在层间常用的信息。多路复用部3多路复用由第一层编码部1c生成的第一层的编码流和由第二层编码部1d生成的第二层的编码流，以生成多层多路复用流。

图33是示出支持多视点编解码器的图像解码设备60v的示意性配置的方框图。参看图33，图像解码设备60v包括多路分解部5、第一层解码部6c、第二层解码部6d和共用存储器7。

多路分解部5将多层多路复用流多路分解成第一层的编码流和第二层的编码流。第一层解码部6c的功能与使用图4所述的BL解码部6a的功能相同，不同之处在于，基本视图图像而不是基层图像被编码的编码流被接收作为输入。第一层解码部6c从第一层的编码流解码基本视图图像。第二层解码部6d的功能与使用图4所述的EL解码部6b的功能相同，不同之处在于，非基本视图图像而不是增强层图像被编码的编码流被接收作为输入。第二层解码部6d从第二层的编码流解码非基本视图图像。共用存储器7存储在层间常用的信息。

当多视点图像数据被编码或解码并且空间分辨率在视图之间不同时，可以根据本公开中的技术控制层间参考的图像的清晰度增强。因此，类似于可伸缩视频编码的情况，有可能有效地提高参考图像的图像质量，同时抑制操作量或代码量。

(2)串流技术的应用

本公开中的技术也可以应用于流协议。在MPEG-DASH(HTTP动态自适应流媒体)中，例如，流媒体服务器预先准备具有相互不同的参数(诸如分辨率)的多个编码流。然后，流媒体服务器动态地选择合适的数据用于从多个编码流流式传输，并且递送选择的数据。在这种流协议中，可以根据本公开的技术控制在编码流之间参考的参考图像的清晰度增强。

<7.结论>

上文已参照图1至图33描述本公开的技术的各种实施方案。根据上述实施方案，根据第一层中的块的块大小控制将清晰度增强滤波器应用于参考图像，该参考图像用于编码或解码第二层的图像并且基于第一层的解码图像。因此，通过使用块大小(例如，CU大小、PU大小或TU大小)与高频分量强度之间的相关性，有可能通过清晰度增强滤波器有效地提高参考图像的图像质量。

例如，根据第一实施方案，使清晰度增强滤波器对具有大于阈值的块大小的块的应用无效。因此，滤波操作量减少。此外，有可能减少编码器和解码器的功率消耗。当使清晰度增强滤波器对具有大的块大小的块的应用无效时，由于具有大的块大小的块的图像倾向于接近平坦区域，故图像质量的损失仍是小的。

此外，根据第二实施方案，根据块的块大小决定应用于每个块的清晰度增强滤波器的滤波器配置。在这种情况下，由于对于每个块大小候选只需要将一个滤波器系数集从编码器传输到解码器，故有可能减少滤波器配置信息的代码量，该滤波器配置信息指定比为每个块决定滤波器系数的实施中更小的滤波器系数。此外，与单个滤波器系数被使用的实施相比，有可能根据每个图像区域的高频分量强度自适应地提高图像质量。

第一实施方案和第二实施方案可以彼此结合。在这种情况下，例如，使清晰度增强滤波器对具有大于确定阈值的块大小的块的应用无效，并且根据块大小决定应用于具有其他块大小的块的清晰度增强滤波器的滤波器配置。此外，根据本公开的技术不限于空间可伸缩性方案、SNR可伸缩性方案或其组合的应用。例如，当根据本公开的技术应用于位深可伸缩性方案时，可以在获取参考图像时执行位移位操作。

在本说明书中描述的术语“CU”、“PU”和“TU”指的是逻辑单元，其包括与HEVC中的个别块相关联的语法。当只集中于个别块(其是图像的部)时，块可以被称为术语“编码块(CB)”、“预测块(PB)”和“变换块(TB)”。通过分级分割四叉树形状的编码树块(CTB)而形成CB。一个完整的四叉树对应于CTB，并且对应于CTB的逻辑单元被称为编码树单元(CTU)。HEVC中的CTB和CB与H.264/AVC中的宏块的类似的作用在于CTB和CB是编码处理的处理单元。然而，CTB和CB与宏块的不同之处在于CTB和CB的大小是不固定的(宏块的大小通常是16×16像素)。CTB的大小选自16×16像素的大小、32×32像素的大小和64×64像素的大小，并且由编码流中的参数指定。可以根据CTB的分割深度来改变CB的大小。

本文主要描述的是实例，其中各条信息(诸如与清晰度增强控制相关的信息)被多路复用到编码流的标题并且从编码侧传输到解码侧。然而，传输这些条信息的方法不限于这样的实例。例如，这些条信息可以被传输或记录为与编码位流相关联的单独的数据，而无需被多路复用到编码位流。这里，术语“关联”是指允许包括在位流中的图像(可以是图像的一部，诸如切片或块)和对应于当前图像的信息在进行解码时建立链接。即，可以在与图像(或位流)不同的传输路径上传输信息。信息也可以被记录在与图像(或位流)不同的记录介质(或相同的记录介质中的不同的记录区)中。此外，信息和图像(或位流)可以通过任意单位(诸如多个帧、一个帧或一个帧内的一部)彼此相关联。

上文已参照附图描述本公开的优选实施方案，而本公开当然不限于上述实例。本领域技术人员可能发现在所附权利要求书的范围内的各种变化和修改，并且应理解这些变化和修改将自然地属于本公开的技术范围。

另外，在本说明书中描述的效果仅是说明性的和示范性的，而不是限制性的。换句话说，根据本公开的技术可以连同基于本说明书的效果一起或替代基于本说明书的效果而呈现本领域技术人员显而易见的其他效果。

另外，本技术也可以被配置如下。

(1)

一种图像处理装置，包括：

获取部，其被配置成获取参考图像，所述参考图像用于编码或解码第二层的图像，所述第二层具有与第一层不同的属性，所述参考图像是基于所述第一层的解码图像，其中设置具有不同的块大小的多个块；

滤波部，其被配置成将清晰度增强滤波器应用于由所述获取部获取的所述参考图像并且生成清晰度增强参考图像；以及

控制部，其被配置成根据所述块的每一个的块大小控制控制所述清晰度增强滤波器通过所述滤波部对所述多个块的每一个的应用。

(2)

根据(1)所述的图像处理装置，

其中所述块被设置为所述第一层的编码处理的处理单元。

(3)

根据(1)所述的图像处理装置，

其中所述块被设置为所述第一层的预测过程的处理单元。

(4)

根据(1)所述的图像处理装置，

其中所述块被设置为所述第一层的正交变换处理的处理单元。

(5)

根据(1)至(4)中任一项所述的图像处理装置，

其中所述控制部使所述清晰度增强滤波器对具有大于阈值的块大小的块的所述应用无效。

(6)

根据(5)所述的图像处理装置，

其中所述控制部根据所述第一层与所述第二层之间的空间分辨率比决定所述阈值。

(7)

根据(5)所述的图像处理装置，进一步包括

解码部，其被配置成从编码流解码指示所述阈值的阈值信息。

(8)

根据(5)所述的图像处理装置，进一步包括

编码部，其被配置成将指示所述阈值的阈值信息编码到编码流。

(9)

根据(1)至(4)中任一项所述的图像处理装置，

其中所述控制部根据所述块的所述块大小决定应用于所述块的每一个的所述清晰度增强滤波器的滤波器配置。

(10)

根据(9)所述的图像处理装置，进一步包括

解码部，其被配置成从编码流解码滤波器配置信息，所述滤波器配置信息指示对于每个块大小所要使用的所述滤波器配置。(11)

根据(9)所述的图像处理装置，进一步包括

编码部，其被配置成将滤波器配置信息编码到编码流，所述滤波器配置信息指示对于每个块大小所要使用的所述滤波器配置。(12)

根据(10)或(11)所述的图像处理装置，

其中所述滤波器配置信息指示对于在可用的块大小的范围内的每个块大小的所述滤波器配置。

(13)

根据(10)至(12)中任一项所述的图像处理装置，

其中所述滤波器配置信息包括在图片、不同的块大小或不同的颜色分量之间进行预测编码的信息。

(14)

根据(10)至(13)中任一项所述的图像处理装置，

其中所述滤波器配置信息指示对于每个块大小的最佳滤波器配置，所述最佳滤波器配置通过使用具有相应的块大小的一个或多个块的像素值在编码时计算。

(15)

根据(1)至(14)中任一项所述的图像处理装置，

其中所述清晰度增强滤波器是基于邻近亮度分量增强色度分量的清晰度的串色滤波器。

(16)

根据(1)至(8)中任一项所述的图像处理装置，

其中所述清晰度增强滤波器是边缘增强滤波器。

(17)

根据(1)至(16)中任一项所述的图像处理装置，

其中所述获取部通过上采样所述第一层的所述解码图像来获取所述参考图像，所述第一层具有比所述第二层更低的空间分辨率。

(18)

根据(1)至(17)中任一项所述的图像处理装置，

其中所述获取部获取所述第一层的所述解码图像作为所述参考图像，所述第一层具有比所述第二层更大的量化误差。

(19)

一种图像处理方法，包括：

获取参考图像，所述参考图像用于编码或解码第二层的图像，所述第二层具有与第一层不同的属性，所述参考图像是基于所述第一层的解码图像，其中设置具有不同的块大小的多个块；

将清晰度增强滤波器应用于所述获取的参考图像并且生成清晰度增强参考图像；以及

根据所述块的每一个的块大小控制所述清晰度增强滤波器对所述多个块的每一个的应用。

参考符号列表

10、10v图像编码设备(图像处理装置)

16无损编码部

43参考图像获取部

47、147滤波器控制部

49、149清晰度增强滤波器(滤波部)

60、60v图像解码设备(图像处理装置)

62无损解码部

93参考图像获取部

97、197滤波器控制部

99、199清晰度增强滤波器(滤波部)

Claims

1.一种图像处理装置，包含：

控制部，其被配置成根据所述块的每一个的块大小控制所述清晰度增强滤波器通过所述滤波部对所述多个块的每一个的应用。

2.根据权利要求1所述的图像处理装置，

其中所述块被设置为所述第一层的编码处理的处理单元。

3.根据权利要求1所述的图像处理装置，

其中所述块被设置为所述第一层的预测过程的处理单元。

4.根据权利要求1所述的图像处理装置，

5.根据权利要求1所述的图像处理装置，

6.根据权利要求5所述的图像处理装置，

7.根据权利要求5所述的图像处理装置，进一步包含

8.根据权利要求5所述的图像处理装置，进一步包含

9.根据权利要求1所述的图像处理装置，

其中所述控制部根据所述块的块大小决定应用于所述块的每一个的所述清晰度增强滤波器的滤波器配置。

10.根据权利要求9所述的图像处理装置，进一步包含

解码部，其被配置成从编码流解码滤波器配置信息，所述滤波器配置信息指示对于每个块大小所要使用的所述滤波器配置。

11.根据权利要求9所述的图像处理装置，进一步包含

编码部，其被配置成将滤波器配置信息编码到编码流，所述滤波器配置信息指示对于每个块大小所要使用的所述滤波器配置。

12.根据权利要求10所述的图像处理装置，

13.根据权利要求10所述的图像处理装置，

14.根据权利要求10所述的图像处理装置，

15.根据权利要求1所述的图像处理装置，

16.根据权利要求1所述的图像处理装置，

其中所述清晰度增强滤波器是边缘增强滤波器。

17.根据权利要求1所述的图像处理装置，

其中所述获取部通过上采样所述第一层的解码图像来获取所述参考图像，所述第一层具有比所述第二层更低的空间分辨率。

18.根据权利要求1所述的图像处理装置，

其中所述获取部获取所述第一层的解码图像作为所述参考图像，所述第一层具有比所述第二层更大的量化误差。

19.一种图像处理方法，包含：