CN104584551A - 解码装置、解码方法、编码装置以及编码方法 - Google Patents

Abstract

本公开关于解码装置、解码方法、编码装置以及编码方法，其使得可以改进根据色域所分层的图像的编码效率。色域转换单元将解码基本层图像的色域转换为增强层的色域。自适应偏移单元对色域转换后的解码基本层图像的预定频带应用滤波。加法单元通过使用对其应用了前述滤波的解码基本层图像对编码增强层图像进行解码来生成解码增强层图像。本公开可以应用于例如解码装置。

Description

解码装置、解码方法、编码装置以及编码方法

技术领域

本公开涉及一种解码装置、解码方法、编码装置以及编码方法，并且特别地，涉及能够改进针对每个色域所分层的图像的编码效率的一种解码装置、解码方法、编码装置以及编码方法。

背景技术

近年，在广播站等的信息递送以及普通家庭中的信息接收两者中下述装置是普遍的：该装置符合诸如运动图像专家组阶段(MPEG)的方案，运动图像专家组阶段通过使用图像信息所特有的冗余、根据诸如离散余弦变换的正交变换和运动补偿执行压缩。

具体地，MPEG2(ISO/IEC 13818-2)方案被定义为通常的图像编码方案，并且当前作为涵盖隔行扫描图像和顺序扫描图像以及标准分辨率图像和高清图像两者的标准被广泛地用于针对专业用途和消费者用途的广泛的应用中。当使用MPEG2方案时，例如通过在具有720×480个像素的标准分辨率的隔行扫描图像的情况下分配4Mbps至8Mbps的编码量(比特率)并且通过在具有1920×1088个像素的高分辨率的隔行扫描图像的情况下分配18Mbps至22Mbps的编码量(比特率)，可以实现高的压缩率以及优良的图像质量。

MPEG2主要用于适合于广播的高图像质量编码，但是不对应于具有低于MPEG1的编码量(比特率)的编码方案，即，不对应于具有较高压缩率的编码方案。由于便携式终端的普及，针对这样的编码方案的需求被认为在将来会增加，因此响应于该需求MPEG4被标准化。针对MPEG4的图像编码方案，1998年12月该标准被批准为国际标准ISO/IEC14496-2。

近年，针对用于视频会议的图像编码的目的，首先对H.26L(ITU-TQ6/16 VCEG)的标准化取得了进展。虽然与诸如MPEG2或MPEG4的相关技术的编码方案相比对于编码和解码需要较大的计算量，但是H.26L被认为实现了更高的编码效率。

近年，作为MPEG4活动的一部分，针对基于H.26L实现较高编码效率以及在H.26L中不支持的功能的标准化被实施为增强压缩视频编码的联合模型。2003年3月，该标准化被实现为名为H.264和MPEG-4部分10(先进视频编码(AVC))的国际标准。

作为该标准的扩展，2005年2月完成了保真度范围扩展(FRExt)的标准化，保真范围扩展包括商业使用必须的编码工具，诸如RGB、YUV422或YUV444、以及在MPEG-2中所定义的8×8 DCT或量化矩阵。因此，AVC方案被实现为能够良好地表达在电影中所包含的噪声的编码方案，因此AVC方案被用于诸如蓝光(注册商标)盘(BD)的广泛应用。

然而，近来，针对具有较高压缩率的编码的需求增加，以对具有大约4000×2000个像素(其为高清图像的分辨率的四倍)的图像进行压缩，或在具有受限传送容量的环境(诸如因特网)中递送高清图像。出于这个原因，在附属于ITU-T的视频编码专家组(VCEG)中检查了编码效率的改进。

当前，为了相比于AVC更多地改进编码效率，在作为ITU-T和ISO/IEC的联合标准化组的联合合作组-视频编码(JCTVC)中发展了被称为高效视频编码(HEVC)的编码方案的标准化。自2013年5月起，作为草案发布了NPL 1。

顺便提及，图像编码方案、MPEG-2以及AVC具有对图像进行分层和编码的可伸缩功能。根据可伸缩功能，可以依照解码侧的处理能力传送编码数据，而不执行代码转换处理。

具体地，例如，对于具有低处理能力的终端(诸如移动电话)可以仅传送基本层的图像的编码流，基本层为用作基础的层。另一方面，对于具有高处理能力的终端(诸如电视接收机或个人计算机)可以传送基本层和增强层的图像的编码流，增强层为除了基本层之外的层。

对于HEVC方案，建议了根据色域对图像进行分层和编码的可伸缩功能(在下文中称为色域可伸缩性)(例如，参见NPL 2)。

在色域可伸缩性中，例如，基本层的图像被认为是具有1920×1080个像素的HD图像的色域BT.709的图像，而增强层的图像被认为是具有被检查为超高清(UHD)图像的色域的色域BT.2020的图像。UHD图像是具有大约4000×2000个像素的图像，或是具有大约8000×4000个像素的图像，并且检查了10位或12位的位深而不是相关技术的8位的位深。

当在色域可伸缩性中进行增强层的图像的编码时参考基本层的解码图像的情况下，需要将基本层的解码图像的色域转换(convert)为增强层的色域。

作为色域转换方法，例如，存在下述方法：基于基本层与增强层的色域之间的关系的线性近似对基本层的解码图像的像素值执行位移位(bitshift)的方法；以及使用增益和偏移(offset)计算转换之后的像素值的方法。在下文中，前者的方法被称为位移位方法，而后者的方法被称为增益偏移方法。

引用列表

非专利文献

NPL 1:Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,Gary J.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding(HEVC)text specification draft 10,”JCTVC-L1003 v34,2013.1.14-1.23

NPL 2:Louis Kerofsky,Andrew Segall,Seung-Hwan Kim,KiranMisra,“Color Gamut Scalable Video Coding:New Results,”JCTVC-L0334,2013.1.14-1.23

发明内容

技术问题

然而，在以上所述的色域转换方法中，因为未在低频带(band)(低亮度)和高频带(高亮度)中建立线性近似，所以在低频带和高频带处不可以以高精度对色域进行转换。作为结果，参照基本层的图像所生成的增强层的预测图像的精度可能恶化，因此降低了编码效率。

鉴于这样的情形构思了本公开，并且本公开的目的是改进针对每个色域所分层的图像的编码效率。

问题的解决方案

根据本公开的第一方面，提供了一种解码装置，包括：接收单元，该接收单元接收针对每个色域所分层的图像中的第一层的编码图像；色域转换单元，该色域转换单元将第二层的解码图像的色域转换为第一层的色域；滤波处理单元，该滤波处理单元对由色域转换单元所转换的第二层的解码图像的预定频带执行滤波处理；以及解码单元，使用受到由滤波处理单元进行的滤波处理的第二层的解码图像，对由接收单元所接收的第一层的编码图像进行解码，以生成第一层的解码图像。

根据本公开的第一方面，解码方法对应于根据本公开的第一方面的解码装置。

在本公开的第一方面中，接收针对每个色域所分层的图像中的第一层的编码图像；将第二层的解码图像的色域转换为第一层的色域；对所转换的第二层的解码图像的预定频带执行滤波处理；以及使用受到滤波处理的第二层的解码图像，对第一层的编码图像进行解码，以生成第一层的解码图像。

根据本公开的第二方面，提供了一种编码装置，包括：色域转换单元，该色域转换单元将用于针对每个色域所分层的图像中的第一层的图像的编码第二层的解码图像的色域转换为第一层的色域；滤波处理单元，该滤波处理单元对由色域转换单元所转换的第二层的解码图像的预定频带执行滤波处理；编码单元，该编码单元使用受到由滤波处理单元进行的滤波处理的第二层的解码图像，对第一层的图像进行编码，以生成第一层的编码图像；以及传送单元，该传送单元传送由编码单元所生成的第一层的编码图像。

根据本公开的第二方面，编码方法对应于根据本公开的第二方面的编码装置。

在本公开的第二方面中，将用于针对每个色域所分层的图像中的第一层的图像的编码第二层的解码图像的色域转换为第一层的色域；对所转换的第二层的解码图像的预定频带执行滤波处理；使用受到滤波处理的第二层的解码图像对第一层的图像进行编码，以生成第一层的编码图像；以及传送第一层的编码图像。

根据第一方面的解码装置和根据第二方面的编码装置可以通过使得计算机执行程序而实现。

由计算机所执行以实现根据第一方面的解码装置和根据第二方面的编码装置的程序可以经由传送介质而被传送，或可以被记录在记录介质上以被提供。

根据第一方面的解码装置和根据第二方面的编码装置可以是独立的装置，或可以是在一个装置中所包括的内部块。

发明的有利效果

根据本公开的第一方面，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

根据本公开的第二方面，可以改进针对每个色域所分层的图像的编码效率。

附图说明

图1是用于描述空间可伸缩性的图。

图2是用于描述时间可伸缩性的图。

图3是用于SNR可伸缩性的图。

图4是示出了色域BT.709和色域BT.2000的图。

图5是用于描述相关技术的色域可伸缩性编码的图。

图6是示出了在中间频带中色域BT.709和色域BT.2020中亮度信号与色差信号之间的关系的图。

图7是示出了在位移位方法和增益偏移方法中被传送到解码侧的参数的数量的图。

图8是示出PPS的一部分的语法的示例的图。

图9是示出在低频带或高频带的色域BT.2020与色域BT.709中亮度信号以及色差信号之间的关系的图。

图10是示出应用了本公开的实施例的编码装置的配置的示例的框图。

图11是示出了图10中的增强编码单元的配置的示例的框图。

图12是示出了图11中的编码单元的配置的示例的框图。

图13是用于描述CU的图。

图14是示出了图12中的自适应偏移单元的配置的示例的框图。

图15是用于描述频带偏移处理的图。

图16是示出对基本图像的频带偏移处理中的频带的图。

图17是用于描述边缘(edge)偏移处理中的邻近像素的图。

图18是用于描述边缘偏移处理中的类别的图。

图19是示出了偏移信息的语法的示例的图。

图20是示出了自适应偏移处理的类型与类型信息之间的关系的图。

图21是用于描述图10中的编码装置的分层编码处理的流程图。

图22是用于描述图21中的增强编码处理的详情的流程图。

图23是用于描述图21中的增强编码处理的详情的流程图。

图24是用于描述图22中的自适应偏移处理的详情的流程图。

图25是示出了应用了本公开的实施例的解码装置的配置的示例的框图。

图26是示出了图25中的增强解码单元的配置的示例的框图。

图27是示出了图26中的解码单元的配置的示例的框图。

图28是示出了图27中的自适应偏移单元的配置的示例的框图。

图29是用于描述图25中的解码装置的分层解码处理的流程图。

图30是用于描述图29中的增强解码处理的详情的流程图。

图31是用于描述图30中的自适应偏移处理的详情的流程图。

图32是示出了通过可伸缩功能进行的编码的另一示例的图。

图33是示出了计算机的硬件配置的示例的框图。

图34是示出了多视图图像编码方案的示例的图。

图35是示出了应用了本技术的多视图图像编码装置的配置的示例的图。

图36是示出了应用了本技术的多视图图像解码装置的配置的示例的图。

图37是示出了应用了本公开的电视机装置的总体配置的示例的图。

图38是示出了应用了本公开的移动电话的总体配置的示例的图。

图39是示出了应用了本公开的记录再现装置的总体配置的示例的图。

图40是示出了应用了本公开的成像装置的总体配置的示例的图。

图41是示出了可伸缩编码使用的示例的框图。

图42是示出了可伸缩编码使用的另一示例的框图。

图43是示出了可伸缩编码使用的又一示例的框图。

图44是示出了应用了本技术的视频集(set)的总体配置的示例的框图。

图45是示出了应用了本技术的视频处理器的总体配置的示例的框图。

图46是示出了应用了本技术的视频处理器的总体配置的另一示例的框图。

图47是示出了内容再现系统的配置的说明图。

图48是示出了内容再现系统中的数据流的说明图。

图49是示出了MPD的具体示例的说明图。

图50是示出了内容再现系统的内容服务器的配置的功能框图。

图51是示出了内容再现系统的内容再现装置的配置的功能框图。

图52是示出了内容再现系统的内容服务器的配置的功能框图。

图53是示出了无线通信系统的装置之间的通信处理的示例的序列图。

图54是示出了无线通信系统的装置之间的通信处理的示例的序列图。

图55是示意性地示出了在无线通信系统的装置之间的通信处理中传送以及接收的帧格式的配置的示例的图。

图56是示出了无线通信系统的装置之间的通信处理的示例的序列图。

具体实施方式

<可伸缩功能的说明>

(空间可伸缩性的说明)

图1是用于描述空间可伸缩性的图。

如图1所示，空间可伸缩性是根据空间分辨率对图像进行分层和编码的可伸缩功能。具体地，在空间可伸缩性中，具有低分辨率的图像被编码为基本层的图像，以及具有高分辨率的图像被编码为增强层的图像。

因此，编码装置仅将基本层的图像的编码数据传送到具有低处理能力的解码装置，使得解码装置可以生成具有低分辨率的图像。此外，编码装置将基本层和增强层的图像的编码数据传送到具有高处理能力的解码装置，使得解码装置可以对基本层和增强层的图像进行解码，并且生成具有高分辨率的图像。

(时间可伸缩性的说明)

图2是用于描述时间可伸缩性的图。

如图2所示，时间可伸缩性是根据帧率对图像进行分层和编码的可伸缩功能。具体地，在时间可伸缩性中，例如，低帧率(在图2的示例中为7.5fps)的图像被编码为基本层的图像。中间帧率(在图2的示例中为15fps)的图像被编码为增强层的图像。高帧率(在图2的示例中为30fps)的图像被编码为增强层的图像。

因此，编码装置仅将基本层的图像的编码数据传送到具有低处理能力的解码装置，使得解码装置可以生成具有低帧率的图像。编码装置将基本层和增强层的图像的编码数据传送到具有高处理能力的解码装置，使得解码装置可以对基本层和增强层的图像进行解码，并且生成具有高帧率或中间帧率的图像。

(SNR可伸缩性的说明)

图3是用于描述SNR可伸缩性的图。

如图3所示，SNR可伸缩性是根据信号噪声比例(SNR)对图像进行分层和编码的可伸缩功能。具体地，在SNR可伸缩性中，具有低SNR的图像被编码为基本层的图像，而具有高SNR的图像被编码为增强层的图像。

因此，编码装置仅将基本层的图像的编码数据传送到具有低处理能力的解码装置，使得解码装置可以生成具有低SNR的图像。编码装置将基本层和增强层的图像的编码数据传送到具有高处理能力的解码装置，使得解码装置可以对基本层和增强层的图像进行解码，并且生成具有高SNR的图像。

尽管未示出，但是除了色域可伸缩性、空间可伸缩性、时间可伸缩性以及SNR可伸缩性之外，还存在作为可伸缩功能的其他功能。

例如，作为可伸缩功能，还存在根据位数对图像进行分层和编码的位深可伸缩性。在这种情况下，例如，对于编码，8位的视频图像被认为是基本层的图像，而10位的视频图像被认为是增强层的图像。

作为可伸缩功能，还存在根据色差信号的格式对图像进行分层和编码的色度可伸缩性。在这种情况下，例如，对于编码，YUV 420的图像被认为是基本层的图像，而YUV 422的图像被认为是增强层的图像。

在下文中，将描述增强层的数量为1的情况以有助于说明。

<本公开的先决条件>

(色域的说明)

图4是示出了色域BT.709和色域BT.2020的图。

图4的图表是基于预定约束条件将三维颜色空间映射到二维平面的色域图表。图中的十字标记指示映射白色的位置，而虚线指示可以采用色域BT.709表达的颜色范围。实线指示可以采用BT.2020表达的颜色范围，而点线指示可以由人识别出的颜色范围。

如图4所示，与色域BT.709相比，色域BT.2020可以表达更多样的颜色。

(根据相关技术的色域可伸缩性进行的编码的说明)

图5是用于描述当HD图像被设置为基本层的图像而UHD图像被设置为增强层的图像时，根据相关技术的色域可伸缩性进行的编码(在下文中称为色域可伸缩编码)的图。

如图5所示，当将HD图像作为基本层的图像(在下文中称为基本图像)输入到编码装置时，对基本图像进行编码以生成基本流。编码基本层被解码并且被认为是用于参考的基本图像。当对按照编码顺序在基本图像之后的基本图像进行编码时，使用用于参考的基本图像。

对用于参考的基本图像进行上采样，使得用于参考的基本图像的分辨率变为增强层的图像(在下文中称为增强图像)的分辨率，并且通过位移位方法以及增益偏移方法将色域转换为增强层的色域。

使用受到色域转换的用于参考的基本图像以及用于参考的增强图像对作为增强图像输入到编码装置的UHD图像进行编码，以生成增强流。用于参考的增强图像是通过对按照编码顺序的之前的编码增强图像进行解码所获得的图像。对基本流和增强流进行组合以进行输出。

(中间频带的色域BT.2020与色域BT.709之间的关系)

图6是示出在作为除了低频带和高频带之外的频带的中间频带的色域BT.2020与色域BT.709中的亮度信号以及色差信号之间的关系的图。

图6的A至图6的C中的图表是分别地指示中间频带的色域BT.2020与色域BT.709之间的亮度信号Y的值、色差信号U的值、以及色差信号V的值的关系的图表。在图6中，水平轴代表色域BT.709的值，并且垂直轴代表色域BT.2020的值。

如图6所示，可以对中间频带的色域BT.2020与色域BT.709中的亮度信号以及色差信号之间的关系进行线性近似。具体地，色域BT.2020与色域BT.709中的亮度信号以及色差信号之间的关系可以采用直线进行线性近似或可以采用图6中的点线进行近似。直线可以表达为以下的表达式(1)，并且点线可以表达为以下的表达式(2)。

[表达式1]

Y₂₀₂₀＝Y₇₀₉<<2

U₂₀₂₀＝U₇₀₉<<2

V₂₀₂₀＝V₇₀₉<<2  (1)

[表达式2]

Y₂₀₂₀＝g₁·Y₇₀₉+o₁

U₂₀₂₀＝g₂·U₇₀₉+o₂

V₂₀₂₀＝g₃·U₇₀₉+o₃  (2)

在表达式(1)和表达式(2)中，Y₂₀₁₀、U₂₀₁₀以及V₂₀₁₀分别地指示色域BT.2020中亮度信号Y的值、色差信号U的值以及色差信号V的值。此外，Y₇₀₉、U₇₀₉以及V₇₀₉分别地指示色域BT.709中亮度信号Y的值、色差信号U的值以及色差信号V的值。

在表达式(2)中，g₁至g₃分别地指示与Y₇₀₉、U₇₀₉以及V₇₀₉相乘的增益，并且o₁至o₃分别地指示与Y₇₀₉、U₇₀₉以及V₇₀₉相加的偏移。增益g₁至g₃以及偏移o₁至o₃可以是预先确定的固定值，或可以是针对每个图片所设置的可变值。

如上所述，色域BT.2020与色域BT.709中的亮度信号以及色差信号之间的关系可以采用表达式(1)中所指示的直线或采用表达式(2)中所指示的点线进行线性近似。因此，根据使用色域BT.709的值通过表达式(1)计算色域BT.2020的值的位移位方法，或使用色域BT.709的值通过表达式(2)计算色域BT.2020的值的增益偏移方法，色域BT.709可以被转换为色域BT.2020。

(在位移位方法和增益偏移方法中的参数数量的说明)

图7是示出了在位移位方法和增益偏移方法中被传送到解码侧的参数数量的图。

在位移位方法中，如图7所示，通过将色域BT.709的值Y₇₀₉、U₇₀₉以及V₇₀₉向左移位2位来计算色域BT.2020的值Y₂₀₁₀、U₂₀₁₀以及V₂₀₁₀。因此，不存在必须传送到解码侧的参数。因此，被传送到解码侧的参数数量为0。

在增益偏移方法中，如图7所示，通过将增益g₁、g₂以及g₃与色域BT.709的值Y₇₀₉、U₇₀₉以及V₇₀₉相乘并且与偏移o₁、o₂以及o₃相加来计算色域BT.2020的值Y₂₀₁₀、U₂₀₁₀以及V₂₀₁₀。因此，当增益g₁、g₂以及g₃和偏移o₁、o₂以及o₃为固定值时，不存在必须传送到解码侧的参数。因此，被传送到解码侧的参数数量为0。

相反地，当增益g₁、g₂以及g₃和偏移o₁、o₂以及o₃为可变值时，增益g₁、g₂以及g₃和偏移o₁、o₂以及o₃必须被传送到解码侧。因此，被传送到解码侧的参数数量为6。

(指定色域转换方法的信息的示例)

图8是示出了图片参数集(PPS)的一部分的语法的示例的图。

如图8的A所示，在图片参数集(PPS)中设置指示PPS是否被扩展的扩展标志(pps_extension_flag)。当PPS指示扩展时，扩展标志为1；而当PPS指示不扩展时，扩展标志为0。

当扩展标志为1时，在PPS中设置指示是否执行色域转换的转换标志(use_color_prediction)。当执行色域转换时，转换标志为1；而当未执行色域转换时，转换标志为0。

当转换标志为1时，还在PPS中设置关于色域转换的色域转换信息(color_pred_data)。色域转换信息包括指定色域转换方法的色域转换方法信息(color_predicition_model)。

如图8的B所示，当色域转换方法为位移位方法时，色域转换方法信息为0。当色域转换方法为固定增益偏移方法时，色域转换方法信息为1，固定增益偏移方法为使用固定值作为增益和偏移的增益偏移方法。当色域转换方法为自适应增益偏移方法时，色域转换方法信息为2，自适应增益偏移方法为使用可变值作为增益和偏移的增益偏移方法。

如上所述，可以通过位移位方法、固定增益偏移方法、或自适应增益偏移方法对色域进行转换。然而，在低频带或高频带中未建立图6中的关系。

(在低频带或高频带中色域BT.2020与色域BT.709之间的关系)

图9是示出了在低频带或高频带的色域BT.2020与色域BT.709之间的亮度信号以及色差信号的关系的图。

图9的A至图9的C中的图表是分别地指示低频带或高频带的色域BT.2020与色域BT.709之间的亮度信号Y的值、色差信号U的值以及色差信号V的值的关系的图表。在图9中，水平轴代表色域BT.709的值，并且垂直轴代表色域BT.2020的值。

如图9所示，在低频带或高频带中的色域BT.2020与色域BT.709中的亮度信号以及色差信号之间的关系可以不是线性近似的。因此，在通过位移位方法、固定增益偏移方法、或自适应增益偏移方法对其进行了色域转换的亮度信号和色差信号中出现误差。

因此，在本公开中，通过对在低频带或高频带中通过位移位方法、固定增益偏移方法、或自适应增益偏移方法受到色域转换的基本图像执行滤波处理，来对受到色域转换的基本图像进行校正。

<第一实施例>

(编码装置的实施例的配置的示例)

图10是示出了应用了本公开的实施例的编码装置的配置的示例的框图。

图10中的编码装置30包括基本编码单元31、增强编码单元32、组合单元33以及传送单元34。编码装置30使用HD图像和UHD图像根据符合HEVC方案的方案来执行色域可伸缩编码。

具体地，HD图像作为基本图像从外部输入到编码装置30的基本编码单元31。基本编码单元31被配置为如同相关技术的HEVC方案的编码装置中的编码单元一样，并且根据HEVC方案对基本图像进行编码。基本编码单元31将包括作为编码的结果所获得的编码数据、视频参数集(VPS)、序列参数集(SPS)以及图片参数集(PPS)的编码流作为基本流提供给组合单元33。基本编码单元31将解码基本图像提供给增强编码单元32，使得解码基本图像被用作基本图像编码时的参考图像。

UHD作为增强图像从外部输入到增强编码单元32。增强编码单元32根据符合HEVC方案的方案对增强图像进行编码。此时，增强图像编码单元32参考来自基本编码单元31的基本图像。增强编码单元32将包括作为编码结果所获得的编码数据、SPS、PPS以及VPS的扩展区域等的编码流作为增强流提供给组合单元33。

组合单元33将从基本编码单元31所提供的基本流与从增强编码单元32所提供的增强流进行组合，以生成所有层的编码流。组合单元33将所有层的编码流提供给传送单元34。

传送单元34将从组合单元33所提供的所有层的编码流传送到以下要描述的解码装置。

在此，假定编码装置30传送所有层的编码流，但是根据需要还可以仅传送基本流。

(增强编码单元的配置的示例)

图11是示出了图10中的增强编码单元32的配置的示例的框图。

图11中的增强编码单元32包括设置单元51和编码单元52。

增强编码单元32的设置单元51根据需要设置SPS、PPS以及VPS的扩展区域等的参数集。设置单元51将所设置的参数集提供给编码单元52。

编码单元52参照来自基本编码单元31的基本图像、根据符合HEVC方案的方案，对从外部所输入的增强图像进行编码。编码单元52根据作为编码的结果所获得的编码数据和从设置单元51所提供的参数集生成增强流，并且将增强流提供给图10中的组合单元33。

(编码单元的配置的示例)

图12是示出了图11中的编码单元52的配置的示例的框图。

图12中的编码单元52包括A/D转换单元71、画面排序缓冲器72、计算单元73、正交变换单元74、量化单元75、无损编码单元76、累积缓冲器77、生成单元78、逆量化单元79、逆正交变换单元80、加法单元81、去块效应滤波器82、自适应偏移单元83、自适应环路滤波器84、帧存储器85、开关86、帧内预测单元87、运动预测补偿单元88、预测图像选择单元89、速率控制单元90、上采样单元91以及色域转换单元92。

编码单元52的A/D转换单元71以输入帧为单位对增强图像执行A/D转换，并且将增强图像输出到画面排序缓冲器72以存储增强图像。画面排序缓冲器72将按照所存储的显示顺序以帧为单位的增强图像排序为根据GOP结构的用于编码的顺序，并且将排序后的增强图像输出到计算单元73、帧内预测单元87以及运动预测补偿单元88。

计算单元73用作编码单元，并且通过计算从预测图像选择单元89所提供的预测图像与从画面排序缓冲器72所输出的编码目标增强图像之间的差异来执行编码。具体地，计算单元73通过在从画面排序缓冲器72所输出的编码目标增强图像中减去从预测图像选择单元89所提供的预测图像来执行编码。

计算单元73将作为结果所获得的图像作为残差信息输出到正交变换单元74。当未从预测图像选择单元89提供预测图像时，计算单元73将从画面排序缓冲器72所读取的增强图像作为残差信息输出到正交变换单元74而不进行改变。

正交变换单元74根据预定的方案对来自计算单元73的残差信息执行正交变换，并且将所生成的正交变换系数提供给量化单元75。

量化单元75对从正交变换单元74所提供的正交变换系数进行量化，并且将作为量化的结果所获得的系数提供给无损编码单元76。

无损编码单元76从帧内预测单元87获取指示最佳帧内预测模式的帧内预测模式信息。无损编码单元76从运动预测补偿单元88获取指示最佳帧间预测模式的帧间预测模式信息、运动向量、指定参考图像的参考图像指定信息等。无损编码单元76从自适应偏移单元83获取用作自适应偏移处理的参数的偏移信息，并且从自适应环路滤波器84获取滤波器系数。

无损编码单元76对从量化单元75所提供的量化系数执行无损编码，诸如可变长度编码(例如，上下文自适应可变长度编码(CAVLC))或算术编码(例如，上下文自适应二进制算术编码(CABAC))。

无损编码单元76对作为关于编码的编码信息的帧内预测模式信息或帧间预测模式信息、运动向量、参考图像指定信息、偏移信息以及滤波器系数执行无损编码。无损编码单元76将受到无损编码的编码信息以及受到无损编码的系数作为编码数据提供给累积缓冲器77以存储编码信息和系数。受到无损编码的编码信息可以作为头信息被添加到编码数据。

累积缓冲器77暂时地存储从无损编码单元76所提供的编码数据。累积缓冲器77将所存储的编码数据提供给生成单元78。

生成单元78根据从图11中的设置单元51所提供的参数集和从累积缓冲器77所提供的编码数据生成增强流，并且将增强流提供给图10中的组合单元33。

从量化单元75所输出的量化系数还被输入到逆量化单元79。逆量化单元79对由量化单元75所量化的系数进行逆量化，并且将作为结果所获得的正交变换系数作提供给逆正交变换单元80。

逆正交变换单元80根据与正交变换单元74中的正交变换方案相对应的方案，对从逆量化单元79所提供的正交变换系数执行4阶逆正交变换，并且将作为结果所获得的残差信息提供给加法单元81。

加法单元81用作解码单元，并且将从逆正交变换单元80所提供的残差信息与从预测图像选择单元89所提供的预测图像相加以获得局域解码增强图像。当未从预测图像选择单元89提供预测图像时，加法单元81将从逆正交变换单元80所提供的残差信息设置为局域解码增强图像。加法单元81将局域解码增强图像提供给去块效应滤波器82，并且将局域解码增强图像提供给帧存储器85以对局域解码增强图像进行累积。

去块效应滤波器82对从加法单元81所提供的局域解码增强图像执行移除块失真的去块效应滤波处理，并且将作为结果所获得的增强图像提供给自适应偏移单元83。

自适应偏移单元83执行自适应偏移处理(采样自适应偏移(SAO))，该自适应偏移处理主要对受到去块效应滤波处理并且从去块效应滤波器82所提供的增强图像移除环影(ringing)。

具体地，自适应偏移单元83通过频带偏移处理或边缘偏移处理，针对每个最大编码单位(LCU)确定对增强图像要执行的自适应偏移处理的类型，最大编码单位(LCU)是最大编码的单位。

频带偏移处理是使用仅在预定频带中所设置的偏移的滤波处理。边缘偏移处理是使用根据与邻近像素的关系的偏移的滤波处理。

当自适应偏移处理的类型为频带偏移处理时，自适应偏移单元83确定针对每个LCU设置了偏移的频带，并且计算该偏移。另一方面，当自适应偏移处理的类型为边缘偏移处理时，自适应偏移单元83针对每个LCU确定邻近像素的模式，并且根据与邻近像素的模式的关系计算偏移。

例如，确定自适应偏移处理的类型和频带，并且计算该偏移，使得受到自适应偏移处理的增强图像与从画面排序缓冲器72所输出的增强图像之间的差异减小。

自适应偏移单元83基于所计算出的偏移和所确定的邻近像素的频带或模式，对受到去块效应滤波处理的增强图像执行所确定的类型的自适应偏移处理。然后，自适应偏移单元83将受到自适应偏移处理的增强图像提供给自适应环路滤波器84。

自适应偏移单元83针对每个LCU计算与从色域转换单元92所提供的基本图像的预定频带相对应的偏移。具体地，自适应偏移单元83计算偏移，使得受到频带偏移处理的基本图像与从画面排序缓冲器72所输出的增强图像之间的差异降低。

然后，自适应偏移单元83使用与来自色域转换单元92的基本图像的预定频带相对应的偏移执行滤波处理，作为基于所计算出的偏移的频带偏移处理。自适应偏移单元83将受到频带偏移处理的基本图像提供给帧存储器85。

自适应偏移单元83将指示关于增强图像的自适应偏移处理的类型的类型信息、偏移、指定频带的频带信息或指定邻近像素的模式的模式信息、以及基本图像的类型信息和偏移作为偏移信息提供给无损编码单元76。

例如，自适应环路滤波器84包括二维威纳(Wiener)滤波器。例如，自适应环路滤波器84针对每个LCU，对受到自适应偏移处理的并且从自适应偏移单元83所提供的增强图像执行自适应环路滤波(ALF)处理。

具体地，自适应环路滤波器84针对每个LCU计算用于自适应环路滤波处理的滤波器系数，使得来自画面排序缓冲器72的增强图像与受到自适应环路滤波处理的增强图像之间的差异最小化。然后，自适应环路滤波器84使用所计算出的滤波器系数，针对每个LCU对受到自适应偏移处理的增强图像执行自适应环路滤波处理。

自适应环路滤波器84将受到自适应环路滤波处理的增强图像提供给帧存储器85。自适应环路滤波器84将滤波器系数提供给无损编码单元76。

在本文中，假定针对每个LCU执行自适应环路滤波处理，但是自适应环路滤波处理的处理单位不限于LCU。通过将自适应偏移单元83与自适应环路滤波器84的处理单位进行匹配，可以有效地执行该处理。

帧存储器85对从自适应环路滤波器84所提供的增强图像、从加法单元81所提供的增强图像以及从自适应偏移单元83所提供的基本图像进行累积。在帧存储器85中所累积的基本图像或增强图像作为参考图像经由开关86被输出到帧内预测单元87或运动预测补偿单元88。

帧内预测单元87使用经由开关86从帧存储器85所读取的参考图像执行所有帧内预测模式候选的帧内预测。

帧内预测单元87基于从画面排序缓冲器72所读取的增强图像、作为帧内预测的结果所生成的预测图像、指示帧内预测模式的信息等，关于所有帧内预测模式候选计算成本函数值(以下将详细描述)。然后，帧内预测单元87将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测单元87将在最佳帧内预测模式中所生成的预测图像以及相对应的成本函数值提供给预测图像选择单元89。当预测图像选择单元89将选择了在最佳帧内预测模式中所生成的预测图像通知给帧内预测单元87时，帧内预测单元87将帧内预测模式信息提供给无损编码单元76。

成本函数值还被称为速率失真(RD)成本，并且例如基于根据为H.264/AVC方案中的参考软件的联合模型(JM)所决定的高复杂度模式和低复杂度模式中的一个方案计算成本函数值。H.264/AVC方案中的参考软件发布在http://iphome.hhi.de/suehring/tml/index.htm。

具体地，当采用高复杂度模式作为计算成本函数值的方案时，对所有预测模式候选临时地执行到解码，并且针对每个预测模式计算由以下表达式(3)所表达的成本函数值Cost(模式)。

[表达式3]

Cost(Mode)＝D+λ·R  (3)

D指示原始图像与解码图像之间的差异(失真)，R指示包括至正交变换的系数的发生编码量，并且λ指示作为量化参数QP的函数所给出的拉格朗日(Lagrange)待定乘子。

另一方面，当采用低复杂度模式作为计算成本函数值的方案时，对于所有预测模式候选执行预测图像的生成以及编码信息的编码量的计算，并且针对每个预测模式计算由以下表达式(4)所表达的成本函数Cost(模式)。

[表达式4]

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit

D指示原始图像与解码图像之间的差异(失真)，Header_Bit指示编码信息的编码量，以及QPtoQuant指示作为量化参数QP的函数所给出的函数。

在低复杂度模式中，可以针对所有预测模式生成预测图像。因为不需要生成解码图像，所以计算量降低。

运动预测补偿单元88执行所有帧间预测模式候选的运动预测补偿处理。具体地，运动预测补偿单元88基于经由开关86从画面排序缓冲器72所提供的增强图像以及从帧存储器85所读取的参考图像，检测所有帧间预测模式候选的运动向量。然后，运动预测补偿单元88基于运动向量对参考图像执行补偿处理以生成预测图像。

此时，运动预测补偿单元88基于预测图像和从画面排序缓冲器72所提供的增强图像针对所有帧间预测模式候选计算成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测补偿单元88将与最佳帧间预测模式的成本函数值相对应的预测图像提供给预测图像选择单元89。

当预测图像选择单元89将选择了在最佳帧间预测模式中所生成的预测图像通知给运动预测补偿单元88时，运动预测补偿单元88将帧间预测模式信息、相对应的运动向量、参考图像指定信息等提供给无损编码单元76。

预测图像选择单元89基于从帧内预测单元87和运动预测补偿单元88所提供的成本函数值，将最佳帧内预测模式与最佳帧间预测模式之间具有相对应的小的成本函数值的预测模式确定为的最佳预测模式。然后，预测图像选择单元89将最佳预测模式的预测图像提供给计算单元73和加法单元81。预测图像选择单元89将选择了最佳预测模式的预测图像通知给帧内预测单元87或运动预测补偿单元88。

速率控制单元90基于在累积缓冲器77中所累积的编码数据控制量化单元75的量化操作的速率，使得不发生上溢或下溢。

上采样单元91获取从图10中的基本编码单元31所提供的并且在基本图像的编码时被用作参考图像的解码基本图像。上采样单元91将基本图像的分辨率转换为增强图像的分辨率，并且将图像提供给色域转换单元92。

色域转换单元92根据位移位方法、固定增益偏移方法或自适应增益偏移方法，将从上采样单元91所提供的基本图像的色域转换为增强图像的色域。色域转换单元92将受到色域转换的基本图像提供给自适应偏移单元83。当通过自适应增益偏移方法对色域进行转换时，色域转换单元92将增益g₁至g₃以及偏移o₁至o₃提供给无损编码单元76，使得增益g₁至g₃以及偏移o₁至o₃被包括在编码信息中。

(编码单位的说明)

图13是用于描述作为HEVC方案中的编码单位的编码单位(CU)的图。

因为具有诸如4000像素×2000像素的超高清(UHD)的大图像帧的图像也是HEVC方案中的目标，所以将编码单位的大小固定为16像素×16像素不是最佳的。因此，在HEVC方案中，CU被定义为编码单位。

CU用作AVC方案中的宏块。具体地，CU被分割为预测块(PU)或被分割为转换块(TU)，预测块(PU)为帧内预测或帧间预测的单位，转换块(TU)为正交变换的单位。

在此，CU的大小为由对于每个序列可变的2的幂数个像素所表达的正方形。通过下述来设置CU：在水平方向和垂直方向上以任意次数平分CU，使得作为具有最大大小的CU的LCU不小于作为具有最小大小的CU的最小编码单位(SCU)。即，当在LCU变为SCU之前将上一层的大小分层为下一层的大小的1/4时的任意层的大小为CU的大小。

例如，在图13中，LCU的大小为128而SCU的大小为8。即，LCU的层深为0至4，而层深的数量为5。即，与CU相对应的分割的数量为0至4中之一。

指定LCU和SCU的大小的信息可以被包括在SPS中。与CU相对应的分割的数量由指示是否进一步分割每层的split_flag所指定。在NPL1中描述了CU的详情。

在本说明书中，假定编码树单位(CTU)是下述单位：该单位包括采用LCU的编码树块(CTB)及其LCU基本(层级)执行处理时的参数。假定在CTU中所包括的CU是下述单位：该单位包括采用CB(编码块)及其CU基本(层级)执行处理时的参数。

(自适应偏移单元的配置的示例)

图14是示出了图12中的自适应偏移单元83的配置的示例的框图。

图14中的自适应偏移单元包括分离单元111、边缘偏移计算单元112、频带偏移计算单元113以及滤波处理单元114。

自适应偏移单元83的分离单元111基于从图12中的去块效应滤波器82所提供的增强图像和从画面排序缓冲器72所输出的增强图像针对每个LCU确定自适应偏移处理的类型。分离单元111将关于所确定的类型的类型信息作为偏移信息提供到图12中的无损编码单元76。

当所确定的类型是边缘偏移处理时，分离单元111将增强图像从去块效应滤波器82提供给边缘偏移计算单元112。另一方面，当所确定的类型是频带偏移处理时，分离单元111将增强图像从去块效应滤波器82提供给频带偏移计算单元113。

边缘偏移计算单元112基于从分离单元111和画面排序缓冲器72所输出的增强图像确定在边缘偏移处理中的邻近像素的模式，并且针对每个类别的像素计算偏移。边缘偏移计算单元112将偏移和关于所确定的模式的模式信息以及来自分离单元111的增强图像提供给滤波处理单元114。边缘偏移计算单元112将偏移和模式信息作为偏移信息提供给无损编码单元76。

频带偏移计算单元113基于来自分离单元111的增强图像和从画面排序缓冲器72所输出的增强图像计算频带偏移处理中的频带以及关于频带的偏移。频带偏移计算单元113将关于所确定的频带的偏移和频带信息以及来自分离单元111的增强图像提供给滤波处理单元114。频带偏移计算单元113将增强图像的偏移和频带信息作为偏移信息提供给无损编码单元76。

频带偏移计算单元113基于来自图12中的色域转换单元92的基本图像和从画面排序缓冲器72所输出的增强图像以LCU为单位计算关于在频带偏移处理中预先确定的频带的偏移。频带偏移计算单元113将偏移和基本图像从色域转换单元92提供给滤波处理单元114。频带偏移计算单元113将基本图像的偏移和作为关于基本图像的类型信息的指示频带偏移处理的类型信息，作为偏移信息提供给无损编码单元76。

滤波处理单元114基于从边缘偏移计算单元112所提供的每个类别的模式信息和偏移，对增强图像执行滤波处理。

具体地，滤波处理单元114基于模式信息确定增强图像的每个像素的邻近像素，并且基于邻近像素的像素值将像素分类到类别中。然后，滤波处理单元114将增强图像的每个像素的偏移确定为该像素被分类到的类别的偏移，并且使用所确定的每个像素的偏移对增强图像执行滤波处理。

滤波处理单元114基于从频带偏移计算单元113所提供的增强图像的偏移和频带信息，关于由频带信息所指定的频带设置偏移。滤波处理单元114使用所设置的偏移对增强图像执行滤波处理。

滤波处理单元114将从频带偏移计算单元113所提供的基本图像的偏移设置为关于预先所确定的频带的偏移。滤波处理单元114使用所设置的偏移对基本图像的预定频带执行滤波处理。滤波处理单元114将受到滤波处理的增强图像提供给图12中的自适应环路滤波器84，并且将受到滤波处理的基本图像提供给帧存储器85。

(频带偏移处理的说明)

图15是用于描述频带偏移处理的图。

在频带偏移处理中，如图15所示，例如像素值被等分为32个频带。然后，在32个频带之中的预定频带中设置偏移，并且使用所设置的偏移执行滤波处理。预先确定要设置偏移的频带的数量。例如，通过指定频带之中的最低频带，可以指定设置了偏移的频带。

在图15的示例中，像素值的位深为8位并且像素值为0至255的值。因此，每个频带形成有8个像素值。在实施例中，设置有偏移的频带的数量为4。因此，通过将指定从最低频带起的第10个频带的信息设置为频带信息，可以对从最低频带起的第10个频带至第13个频带执行滤波处理。即，可以对为80至112的值的像素值执行滤波处理。

通过以上所述的频带偏移处理，可以改进在诸如空白图像的平面图像中发生伪轮廓(pseudo-contour)的图像质量恶化。

(在对基本图像的频带偏移处理中的频带)

图16是示出了在基本图像的频带偏移处理中的频带的图。

在低频带或高频带中，如上所述，在色域BT.2020与色域BT.709的亮度信号以及色差信号之间的关系可以不采用表达式(1)或表达式(2)进行近似。因此，在关于基本图像的频带偏移处理中，对4个最低频带和4个最高频带执行滤波处理。

可以仅对4个最低频带和4个最高频带中之一执行滤波处理。对其执行滤波处理的频带的数量可以不等于增强图像的情况下的频带的数量。

(边缘偏移处理的说明)

图17是用于描述在边缘偏移处理中的邻近像素的图。

如图17所示，在边缘偏移处理中的邻近像素的模式的数量为4种类型。具体地，如图17的A所示，邻近像素的第一模式为下述模式：在该模式中，在处理目标像素130的左侧邻近的像素131和在处理目标像素130的右侧邻近的像素132为邻近像素。如图17的B所示，第二模式为下述模式：在该模式中，在像素130的上侧邻近的像素133和在像素130的下侧邻近的像素134为邻近像素。

如图17的C所示，第三模式为下述模式：在该模式中，在像素130的左上侧邻近的像素135和在像素130的右下侧邻近的像素136为邻近像素。如图17的D所示，第四模式为下述模式：在该模式中，在像素130的右上侧邻近的像素137和在像素130的左下侧邻近的像素138为邻近像素。

在边缘偏移处理中，针对每个LCU选择第一模式至第四模式中之一，并且基于所选择的模式的邻近像素的像素值将在LCU中的像素分类到类别中。每个LCU的模式信息作为偏移信息被传送到解码侧。

图18是用于描述在边缘偏移处理中的类别的图。

图18的图表中，水平轴代表作为项目的处理目标像素和邻近像素，而垂直轴代表像素值(亮度值)。

如图18所示，处理目标像素被分类到的类别的数量为5。具体地，如图18的A所示，第一类别为下述类别：在该类别中，处理目标像素的像素值小于邻近像素的像素值两者。如图18的B所示，第二类别为下述类别：在该类别中，处理目标像素的像素值等于邻近像素的像素值中之一，并且小于另一像素值。

如图18的C所示，第三类别为下述类别：在该类别中，处理目标像素的像素值等于邻近像素的像素值中之一，并且大于另一像素值。如图18的D所示，第四类别为下述类别：在该类别中，处理目标像素的像素值大于邻近像素的像素值两者。如图18的E所示，第五类别为下述类别：在该类别中，处理目标像素的像素值大于邻近像素的邻近像素的像素值中之一，并且小于另一像素值。

针对被分类到第一类别至第四类别的处理目标像素计算偏移，并且该偏移作为偏移信息被传送到解码装置。然而，针对每个类别固定偏移的正或负，因此未传送关于偏移的正或负的信息。未针对被分类为第五类别的处理目标像素计算偏移。

在边缘偏移处理中，使用所计算出的偏移对被分类为第一类别至第四类别的像素执行滤波处理。因此，可以降低在边缘周围发生蚊式噪声并且改进图像质量。

(偏移信息的语法的示例)

图19是示出了偏移信息的语法的示例的图。

如图19的第2行所示，在偏移信息中设置指示偏移信息是否为关于基本图像的偏移信息的基本标志(inter_layer_sao_flag)。当基本标志指示偏移信息关于基本图像时，基本标志为1；而当基本标志指示偏移信息不关于基本图像时，基本标志为0。

如第19行和第20行所示，当转换标志为1并且基本标志为1时，在偏移信息中1被设置为关于与相对应的LCU亮度值有关的自适应偏移处理的类型信息(sao_type_idx_luma)。

即，对基本图像执行频带偏移处理。因此，当偏移信息为关于基本图像的偏移信息时，指示频带偏移处理为自适应偏移处理类型的1被设置为类型信息。

如图20所示，当自适应偏移处理的类型为频带偏移处理时，类型信息为1。然而，当未执行自适应偏移处理时，类型信息为0。当自适应偏移处理的类型为边缘偏移处理时，类型信息为2。如图8所示，在PPS中设置转换标志。

另一方面，如第21行和第22行所示，当转换标志不为1或基本标志不为1时，在偏移信息中设置关于相对应的LCU的亮度值的类型信息(sao_type_idx_luma)。

如在亮度值的情况中一样，如第25行和第26行所示，当转换标志为1并且基本标志为1时，在偏移信息中1被设置为关于相对应的LCU的色差值的类型信息(sao_type_idx_chroma)。

如第27行和第28行所示，当转换标志不为1或基本标志不为1时，在偏移信息中设置关于相对应的LCU的色差信息的类型信息(sao_type_idx_luma)。

如第30行和第32行所示，当类型信息为不为0的值时，在偏移信息中设置偏移的绝对值(sao_offset_abs)。如第33行和第37行所示，当类型信息为1时，设置偏移的符号(sao_offset_sign)并且设置频带信息(sao_band_position)。

另一方面，如第38行至第42行所示，当类型信息为不为0的值并且不为1时，即，类型信息为2时，设置模式信息(sao_eo_class_luma以及sao_eo_class_chroma)。

(编码装置的处理的说明)

图21是用于描述图10中的编码装置30的分层编码处理的流程图。

在图21的步骤S11中，编码装置30的基本编码单元31根据HEVC方案对从外部所输入的基本图像进行编码，并且通过添加参数集生成基本流。然后，基本编码单元31将基本流提供给组合单元33。

在步骤S12中，基本编码单元31将被解码为用作参考图像的基本图像提供给增强编码单元32。

在步骤S13中，增强编码单元32的设置单元51(参见图11)设置增强图像的参数集。在步骤S14中，编码单元52的上采样单元91(参见图12)将从基本编码单元31所提供的基本图像的分辨率转换为增强图像的分辨率，并且将转换后的图像提供给色域转换单元92。

在步骤S15中，色域转换单元92通过位移方法、固定增益偏移方法或自适应增益偏移方法将从上采样单元91所提供的基本图像的色域转换为增强图像的色域。色域转换单元92将受到色域转换的基本图像提供给自适应偏移单元83。

在步骤S16中，编码单元52使用受到色域转换的基本图像执行对从外部所输入的增强图像进行编码的增强编码处理。将参照以下要描述的图22和图23来描述增强编码处理的详情。

在步骤S17中，编码单元52的生成单元78(参见图12)根据在步骤S16中所生成的编码数据和从设置单元51所提供的参数集生成增强流，并且将增强流提供给组合单元33。

在步骤S18中，组合单元33将从基本编码单元31所提供的基本流与从增强编码单元32所提供的增强流进行组合，以生成所有层的编码流。组合单元33将所有层的编码流提供给传送单元34。

在步骤S19中，传送单元34将从组合单元33所提供的所有层的编码流传送到要描述的解码装置。

图22和图23是用于描述图21的步骤S16的增强编码处理的流程图。

在图22的步骤S31中，编码单元52的A/D转换单元71以帧为单位对所输入的增强图像执行A/D转换，并且将增强图像输出到画面排序缓冲器72以存储增强图像。

在步骤S32中，出于根据GOP结构进行编码的目的，画面排序缓冲器72将按照所存储的显示顺序的帧的增强图像顺序地排序。画面排序缓冲器72将排序后的以帧为单位的增强图像提供给计算单元73、帧内预测单元87以及运动预测补偿单元88。

在步骤S33中，帧内预测单元87执行所有帧内预测模式候选的帧内预测处理。帧内预测单元87基于从画面排序缓冲器72所读取的增强图像以及作为帧内预测处理的结果所生成的预测图像，关于所有帧内预测模式候选计算成本函数值。帧内预测单元87将具有最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测单元87将在最佳帧内预测模式中所生成的预测图像以及相对应的成本函数值提供给预测图像选择单元89。

运动预测补偿单元88执行所有帧间预测模式候选的运动预测补偿处理。运动预测补偿单元88基于从画面排序缓冲器72所提供的增强图像和预测图像在所有帧间预测模式候选中计算成本函数值，并且将具有最小成本函数值的帧间预测模式确定为最佳帧间预测模式。运动预测补偿单元88将最佳帧间预测模式的成本函数值以及相对应的预测图像提供给预测图像选择单元89。

在步骤S34中，预测图像选择单元89基于从帧内预测单元87和运动预测补偿单元88所提供的成本函数值将在最佳帧内预测模式与最佳帧间预测模式之中具有最小成本函数值的预测模式确定为最佳预测模式。然后，预测图像选择单元89将最佳预测模式的预测图像提供给计算单元73和加法单元81。

在步骤S35中，预测图像选择单元89确定最佳预测模式是否为最佳帧间预测模式。当预测图像选择单元89在步骤S35中确定最佳预测模式为最佳帧间预测模式时，预测图像选择单元89将选择了在最佳帧间预测模式中所生成的预测图像通知给运动预测补偿单元88。

然后，在步骤S36中，运动预测补偿单元88将帧间预测模式信息、相对应的运动向量以及参考图像指定信息提供给无损编码单元76，然后处理继续到步骤S38。

相反，当预测图像选择单元89在步骤S35中确定最佳预测模式不是最佳帧间预测模式时，即，最佳预测模式为最佳帧内预测模式时，预测图像选择单元89将选择了在最佳帧内预测模式中所生成的预测图像通知给帧内预测单元87。

然后，在步骤S37中，帧内预测单元87将帧内预测模式信息提供给无损编码单元76，然后处理继续到步骤S38。

在步骤S38中，计算单元73执行在从画面排序缓冲器72所提供的增强图像中减去从预测图像选择单元89所提供的预测图像的编码。计算单元73将作为结果所获得的图像作为残差信息输出到正交变换单元74。

在步骤S39中，正交变换单元74对来自计算单元73的残差信息执行正交变换，并且将作为结果所获得的正交变换系数提供给量化单元75。

在步骤S40中，量化单元75对从正交变换单元74所提供的系数进行量化，并且将作为结果所获得的量化系数提供给无损编码单元76以及逆量化单元79。

在图23的步骤S41中，逆量化单元79对从量化单元75所提供的量化系数进行逆量化，并且将作为结果所获得的正交变换系数提供给逆正交变换单元80。

在步骤S42中，逆正交变换单元80对从逆量化单元79所提供的正交变换系数执行逆正交变换，并且将作为结果所获得的残差信息提供给加法单元81。

在步骤S43中，加法单元81将从逆正交变换单元80所提供的残差信息与从预测图像选择单元89所提供的预测图像相加，以获得局域解码增强图像。加法单元81将所获得的增强图像提供给去块效应滤波器82，并且还将所获得的增强图像提供给帧存储器85。

在步骤S44中，去块效应滤波器82对从加法单元82所提供的局域解码增强图像执行去块效应滤波处理。去块效应滤波器82将作为结果所获得的增强图像提供给自适应偏移单元83。

在步骤S45中，自适应偏移单元83针对每个LCU，对从去块效应滤波器82所提供的增强图像和从色域转换单元92所提供的基本图像执行自适应偏移处理。将参照以下描述的图24来描述自适应偏移处理的详情。

在步骤S46中，自适应环路滤波器84针对每个LCU对从自适应偏移单元83所提供的增强图像执行自适应环路滤波处理。自适应环路滤波器84将作为结果所获得的增强图像提供给帧存储器85。自适应环路滤波器84将在自适应环路滤波处理中所使用的滤波器系数提供给无损编码单元76。

在步骤S47中，帧存储器85对从自适应环路滤波器84所提供的增强图像、从加法单元81所提供的增强图像以及从自适应偏移单元83所提供的基本图像进行累积。在帧存储器85中所累积的图像作为参考图像经由开关86被输出到帧内预测单元87或运动预测补偿单元88。

在步骤S48中，无损编码单元76对作为编码信息的帧内预测模式信息或帧间预测模式信息、运动向量、参考图像指定信息、偏移信息、以及滤波器信息执行无损编码。

在步骤S49中，无损编码单元76对从量化单元75所提供的量化系数执行无损编码。然后，无损编码单元76根据在步骤S48的处理中受到无损编码的编码信息以及受到无损编码的系数生成编码数据，并且将编码数据提供给累积缓冲器77。

在步骤S50中，累积缓冲器77临时地累积从无损编码单元76所提供的编码数据。

在步骤S51中，速率控制单元90基于在累积缓冲器77中所累积的编码数据控制量化单元75的量化操作的速率，使得不发生上溢或下溢。

在步骤S52中，累积缓冲器77将所存储的编码数据输出到生成单元78。然后，处理返回到图21的步骤S16，并且处理继续到步骤S17。

在图22和图23的编码处理中，通常执行帧内预测处理和运动预测补偿处理以有助于说明。然而，实际上，在一些情况下在一类图片等中仅执行帧内预测处理和运动预测补偿处理中之一。

图24是用于描述图22的步骤S45的自适应偏移处理的详情的流程图。

在图24的步骤S71中，自适应偏移单元83的分离单元111(参见图14)基于来自去块效应滤波器82和画面排序缓冲器72的增强图像确定对增强图像的自适应偏移处理的类型。分离单元111将关于所确定的类型的类型信息作为偏移信息提供给无损编码单元76。

在步骤S72中，分离单元111确定在步骤S71中所确定的自适应偏移处理的类型是否为边缘偏移处理。当分离单元111在步骤S72中确定自适应偏移处理的类型为边缘偏移处理时，分离单元111将增强图像从去块效应滤波器82提供给边缘偏移计算单元112。

然后，在步骤S73中，边缘偏移计算单元112基于来自分离单元111和画面排序缓冲器72的增强图像确定边缘偏移处理中的邻近像素的模式，并且计算每个类别的偏移。边缘偏移计算单元112将偏移、模式信息、以及增强图像从分离单元111提供给滤波处理单元114。

在步骤S74中，边缘偏移计算单元112将模式信息和偏移作为偏移信息输出到无损编码单元76。

在步骤S75中，滤波处理单元114基于从边缘偏移计算单元112所提供的偏移和模式信息对增强图像执行滤波处理。然后，滤波处理单元114将受到滤波处理的增强图像提供给图12中的自适应环路滤波器84，然后处理继续到步骤S79。

相反，当分离单元111在步骤S75中确定自适应偏移处理的类型不为边缘偏移处理时，即，当在步骤S71中所确定的自适应偏移处理的类型为频带偏移处理时，分离单元111将增强图像从去块效应滤波器82提供给频带偏移计算单元113。

然后，在步骤S76中，频带偏移计算单元113基于来自分离单元111和画面排序缓冲器72的增强图像确定频带偏移处理中的频带，并且计算关于频带的偏移。频带偏移计算单元113将偏移、频带信息以及增强图像从分离单元111提供给滤波处理单元114。

在步骤S77中，频带偏移计算单元113将关于增强图像的偏移和频带信息作为偏移信息提供给无损编码单元76。

在步骤S78中，滤波处理单元114基于从频带偏移计算单元113所提供的关于增强图像的偏移和频带信息对增强图像执行滤波处理。然后，滤波处理单元114将受到滤波处理的增强图像提供给图12中的自适应环路滤波器84，然后处理继续到步骤S79。

在步骤S79中，频带偏移计算单元113基于来自图12中的色域转换单元92的基本图像和从画面排序缓冲器72所输出的增强图像计算关于在频带偏移处理中预先确定的频带的基本图像的偏移。频带偏移计算单元113将偏移和基本图像从色域转换单元92提供给滤波处理单元114。频带偏移计算单元113将基本图像的偏移和作为关于基本图像的类型信息的指示频带偏移处理的类型信息，作为偏移信息提供给无损编码单元76。

在步骤S80中，滤波处理单元114基于从频带偏移计算单元113所提供的基本图像的偏移对基本图像执行滤波处理。滤波处理单元114将受到滤波处理的基本通信提供给帧存储器85。

如上所述，编码装置30将增强图像编码时所参考的基本图像的色域转换为增强图像的色域，并且对受到色域转换的基本图像的预定频带执行滤波处理。因此，在未建立色域转换的线性近似的低频带或高频带中可以改进受到色域转换的基本图像的精度，并且可以使用受到色域转换的高清基本图像对增强图像进行编码。作为结果，改进了编码效率。

在编码装置30中，对增强图像执行自适应偏移处理的自适应偏移单元83还对基本图像执行频带偏移处理。因此，可以改进编码效率而不增加电路大小。

(实施例的解码装置的配置的示例)

图25是示出了对从应用了本公开的实施例中的图10中的编码装置30所传送的所有层的编码流进行解码的解码装置的配置的示例的框图。

图25中的解码装置160包括接收单元161、分离单元162、基本解码单元163以及增强解码单元164。

接收单元161接收从图10中的编码装置30所传送的所有层的编码流，并且将编码流提供给分离单元162。

分离单元162在从接收单元161所提供的所有层的编码流中分离出基本流以将基本流提供给基本解码单元163，并且从所有层的编码流中分离出增强流以将增强流提供给增强解码单元164。

基本解码单元163被配置为如同相关技术的HEVC方案的解码装置一样，并且基本解码单元163根据HEVC方案对从分离单元612所提供的基本流进行解码以生成基本图像。基本解码单元163将基本图像提供给增强解码单元164并且输出基本图像。

增强解码单元164根据符合HEVC方案的方案对从分离单元162所提供的增强流进行解码以生成增强图像。此时，增强解码单元164根据需要参考从基本解码单元163所提供的基本图像。增强解码单元164输出所生成的增强图像。

(增强编码单元的配置的示例)

图26是示出了图25中的增强解码单元164的配置的示例的框图。

图26的增强解码单元164包括提取单元181和解码单元182。

增强解码单元164的提取单元181在从图25中的分离单元162所提供的增强流中提取参数集和编码数据，并且将参数集和编码数据提供给解码单元182。

参考从图25中的基本解码单元163所提供的基本图像，解码单元182根据符合HEVC方案的方案对从提取单元181所提供的编码数据进行解码。此时，解码单元182根据需要参考从提取单元181所提供的参数集。解码单元182输出作为解码的结果所获得的增强图像。

(解码单元的配置的示例)

图27是示出了图26中的解码单元182的配置的示例的框图。

图27中的解码单元182包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、加法单元205、去块效应滤波器206、自适应偏移单元207、自适应环路滤波器单元208、画面排序缓冲器209、D/A转换单元210、帧存储器211、开关212、帧内预测单元213、运动补偿单元214、开关2125、上采样单元216以及色域转换单元217。

解码单元182的累积缓冲器201对来自图26中的提取单元181的编码数据进行接收和累积。累积缓冲器201将所累积的编码数据提供给无损解码单元202。

无损解码单元202通过对来自累积缓冲器201的编码数据执行与图12中的无损编码单元76的无损编码相对应的无损解码，诸如可变长度解码或算术解码，获得量化系数和编码信息。无损解码单元202将量化系数提供给逆量化单元203。无损解码单元202将帧内预测模式信息作为编码信息提供给帧内预测单元213，并且将帧间预测模式信息、运动向量、参考图像指定信息等提供给运动补偿单元214。

当帧间预测模式信息不包括在编码信息中时，无损解码单元202指令开关215选择帧内预测单元213。当包括帧间预测模式信息时，无损解码单元202指令开关215选择运动补偿单元214。无损解码单元202将偏移信息作为编码信息提供给自适应偏移单元207并且将滤波器系数提供给自适应环路滤波器208。

逆量化单元203、逆正交变换单元204、加法单元205、去块效应滤波器206、自适应偏移单元207、自适应环路滤波器208、帧存储器211、开关212、帧内预测单元213、运动补偿单元214、上采样单元216以及色域转换单元217分别地执行与图12中的逆量化单元79、逆正交变换单元80、加法单元81、去块效应滤波器82、自适应偏移单元83、自适应环路滤波器84、帧存储器85、开关86、帧内预测单元87、运动预测补偿单元88、上采样单元91以及色域转换单元92相同的处理，使得图像被解码。

具体地，逆量化单元203对由无损解码单元202所量化的系数进行逆量化，并且将作为结果所获得的正交变换系数提供给逆正交变换单元204。

逆正交变换单元204对来自逆量化但单元203的正交变换系数执行逆正交变换。逆正交变换单元204将作为逆正交变换的结果所获得的残差信息提供给加法单元205。

加法单元205用作解码单元，并且通过将作为从逆正交变换单元204所提供的解码目标图像的残差信息与从开关215所提供的预测图像相加来执行解码。加法单元205将作为解码的结果所获的增强图像提供给去块效应滤波器206，并且还将增强图像提供给帧存储器211。当未从开关215提供预测图像时，加法单元205将为从逆正交变换单元204所提供的残差信息的图像当做作为解码的结果所获的增强图像提供给去块效应滤波器206，并且将图像提供给帧存储器211以对图像进行累积。

去块效应滤波器206对从加法单元205所提供的增强图像执行去块效应滤波处理，并且将作为结果所获得的增强图像提供给自适应偏移单元207。

自适应偏移单元207使用从无损解码单元202所提供的增强图像的偏移信息，针对每个LCU对来自去块效应滤波器206的增强图像执行自适应偏移处理。自适应偏移单元207将受到自适应偏移处理的增强图像提供给自适应环路滤波器208。

自适应偏移单元207使用关于基本图像的偏移信息针对每个LCU对从色域转换单元217所提供的基本图像执行频带偏移处理，并且将作为结果所获得的基本图像提供给帧存储器211。

自适应环路滤波器208使用从无损解码单元202所提供的滤波器系数针对每个LCU对从自适应偏移单元207所提供的增强图像执行自适应环路滤波处理。自适应环路滤波器208将作为结果所获得的增强图像提供给帧存储器211和画面排序缓冲器209。

画面排序缓冲器209以帧为单位对从自适应环路滤波器208所提供的增强图像进行存储。画面排序缓冲器209将按照排序后的编码顺序的以帧为单位的增强图像排序为原始显示顺序，并且将增强图像提供给D/A转换单元210。

D/A转换单元210对从画面排序缓冲器209所提供的以帧为单位的增强图像执行D/A转换，并且输出增强图像。

帧存储器211对从自适应环路滤波器208所提供的增强图像、从加法单元205所提供的增强图像以及从色域转换单元217所提供的基本图像进行累积。在帧存储器211中所累积的基本图像或增强图像作为参考图像被读取，并且经由开关212被提供给帧内预测单元213或运动补偿单元214。

帧内预测单元213使用经由开关212从帧存储器211所读取的参考图像，执行由从无损解码单元202所提供的帧内预测模式信息所指示的最佳帧内预测模式的帧内预测。帧内预测单元213将作为结果所生成的预测图像提供给开关215。

运动补偿单元214经由开关212从帧存储器211读取由从无损解码单元202所提供的参考图像指定信息所指定的参考图像。运动补偿单元214使用从无损解码单元202所提供的运动向量和参考图像执行由从无损解码单元202所提供的帧间预测模式信息所指示的最佳帧间预测模式的运动补偿处理。运动补偿单元214将作为结果所生成的预测图像提供给开关215。

当开关215被指令从无损解码单元202中选择帧内预测单元213时，开关215将从帧内预测单元213所提供的预测图像提供给加法单元205。另一方面，当开关215被指令从无损解码单元202选择运动补偿单元214时，开关215将从运动补偿单元214所提供的预测图像提供给加法单元205。

上采样单元216获取从图25中的基本解码单元163所提供的基本图像。如在图12中的上采样单元91中一样，上采样单元1216将基本图像的分辨率转换为增强图像的分辨率，并且将转换后的图像提供给色域转换单元217。

色域转换单元217根据位移位方法、固定增益偏移方法或自适应增益偏移方法将从上采样单元216所提供的基本图像的色域转换为增强图像的色域。色域转换单元217将受到色域转换的基本图像提供给自适应偏移单元207。

(自适应偏移单元的配置的示例)

图28是示出了图27中的自适应偏移单元207的配置的示例的框图。

图28中的自适应偏移单元207包括分离单元231、边缘偏移获取单元232、频带偏移获取单元233以及滤波处理单元234。

当图27中的无损解码单元202所提供的增强图像的偏移信息的类型信息为2时，自适应偏移单元207的分离单元231将增强图像从去块效应滤波器206提供给边缘偏移获取单元232。另一方面，当增强图像的偏移信息的类型信息为1时，分离单元231将增强图像从去块效应滤波器82提供给频带偏移获取单元233。

当增强图像的偏移信息的类型信息为0时，分离单元231将增强图像从去块效应滤波器206提供给图27中的自适应环路滤波器而不进行改变。

边缘偏移获取单元232从无损解码单元202获取在增强图像的偏移信息中所包括的每个类别的模式信息和偏移，并且将模式信息和偏移提供给滤波处理单元234。边缘偏移获取单元232将从分离单元231所提供的增强图像提供给滤波处理单元234。

频带偏移获取单元233从无损解码单元202获取在增强图像的偏移信息中所包括的频带信息和偏移，并且将频带信息和偏移提供给滤波处理单元234。边缘偏移获取单元232将从分离单元231所提供的增强图像提供给滤波处理单元234。

频带偏移获取单元233从无损解码单元202获取在基本图像的偏移信息中所包括的偏移，并且将偏移提供给滤波处理单元234。频带偏移获取单元233将从图25中的基本解码单元163所提供的基本图像提供给滤波处理单元234。

如在图14中的滤波处理单元114中一样，滤波处理单元234基于从边缘偏移获取单元232所提供的每个类别的偏移和模式信息对增强图像执行滤波处理。

如在滤波处理单元114中一样，滤波处理单元234基于从频带偏移获取单元233所提供的关于增强图像的偏移和频带信息对增强图像执行滤波处理。

如在滤波处理单元114中一样，滤波处理单元234基于从频带偏移获取单元233所提供的基本图像的偏移、使用关于基本图像的预定频带的偏移执行滤波处理。滤波处理单元234将受到滤波处理的增强图像提供给图27中的自适应环路滤波器208，并且将受到滤波处理的基本图像提供给帧存储器211。

(解码装置的处理的说明)

图29是示出了图25中的解码装置160的分层解码处理的流程图。

在图29的步骤S111中，解码装置160的接收单元161接收从图10中的编码装置30所传送的所有分层的编码流，并且将编码流提供给分离单元162。

在步骤S112中，分离单元162从所有分层的编码流中分离基本流和增强流。分离单元162将基本流提供给基本解码单元163，并且将增强流提供给增强解码单元164。

在步骤S113中，基本解码单元163根据HEVC方案对从分离单元162所提供的基本流进行解码以生成基本图像。基本解码单元163将所生成的基本图像提供给增强解码单元164，并且输出基本图像。

在步骤S114中，增强解码单元164的提取单元181(参见图26)在从分离单元162所提供的增强流中提取参数集和编码数据。

在步骤S115中，解码单元182的上采样单元216(参见图27)将从基本解码单元163所提供的基本图像的分辨率转换为增强图像的分辨率，并且将转换后的图像提供给色域转换单元217。

在步骤S116中，色域转换单元217通过位移位方法、固定增益偏移方法以及自适应增益偏移方法将从上采样单元216所提供的基本图像的色域转换为增强图像的色域。色域转换单元217将受到色域转换的基本图像提供给自适应偏移单元207。

在步骤S117中，解码单元182参照受到色域转换的基本图像、根据符合HEVC方案的方案执行对从提取单元181所提供的编码数据进行解码的增强图像解码处理。将参照要描述的图30描述增强解码处理的详情。然后，处理结束。

图30是用于描述图29的步骤S117的增强解码处理的详情的流程图。

在图30的步骤S130中，增强解码单元182的累积缓冲器201(参见图27)从图26中的提取单元181以帧为单位对编码数据进行接收和累积。累积缓冲器201将所累积的编码数据提供给无损解码单元202。

在步骤S131中，无损解码单元202对来自累积缓冲器201的编码数据执行无损解码以获得量化系数和编码信息。无损解码单元202将量化系数提供给逆量化单元203。无损解码单元202将用作编码信息的帧内预测模式信息提供给帧内预测单元213，并且将帧间预测模式信息、运动向量、参考图像指定信息等提供给运动补偿单元214。

当帧间模式信息不包括在编码信息中时，无损解码单元202指令开关215选择帧内预测单元213。当包括帧间预测模式信息时，无损解码单元202指令开关215选择运动补偿单元214。无损解码单元202将用作编码信息的偏移信息提供给自适应偏移单元207，并且将滤波器系数提供给自适应环路滤波器208。

在步骤S132中，逆量化单元203对来自无损解码单元202的量化系数进行逆量化，并且将作为结果所获得正交变换系数提供给逆正交变换单元204。在步骤S133中，逆正交变换单元204对来自逆量化单元203的正交变换系数执行逆正交变换，并且将作为结果所获得的残差信息提供给加法单元205。

在步骤S134中，运动补偿单元214确定是否从无损解码单元202提供了帧间预测模式信息。当在步骤S134中确定提供了帧间预测模式信息时，处理继续到步骤S135。

在步骤S135中，运动补偿单元214基于从无损解码单元202所提供的参考图像指定信息读取参考图像，并且使用运动向量和参考图像执行由帧间预测模式信息所指示的最佳帧间预测模式的运动补偿处理。运动补偿单元214将作为结果所生成的预测图像经由开关215提供给加法单元205，并且处理继续到步骤S137。

相反，当在步骤S134中确定未提供帧间预测模式信息时，即，帧内预测模式信息被提供给帧内预测单元213时，处理继续到步骤S136。

在步骤S136中，帧内预测单元213使用经由开关212从帧存储器211所读取的参考图像执行帧内预测处理。帧内预测单元213将作为结果所生成的预测图像经由开关205提供给加法单元205，并且处理继续到步骤S137。

在步骤S137中，加法单元205将从逆正交变换单元204所提供的残差信息与从开关215所提供的预测图像相加。加法单元205将作为结果所获得的增强图像提供给去块效应滤波器206，并且将增强图像提供给帧存储器211。

在步骤S138中，去块效应滤波器206对从加法单元205所提供的增强图像执行去块效应滤波处理以移除块失真。去块效应滤波器206将作为结果所获得的增强图像提供给自适应偏移单元207。

在步骤S139中，自适应偏移单元207针对每个LCU对从去块效应滤波器206所提供的增强图像以及从色域转换单元92所提供的基本图像执行自适应偏移处理。将参照要描述的图31来描述自适应偏移处理的详情。

在步骤S140中，自适应环路滤波器208使用从无损解码单元202所提供的滤波器系数、针对每个LCU对从自适应偏移单元207所提供的增强图像执行自适应环路滤波处理。自适应环路滤波器208将作为结果所获得的增强图像提供给帧存储器211和画面排序缓冲器209。

在步骤S141中，帧存储器211对从加法单元205所提供的增强图像、从自适应环路滤波器208所提供的增强图像以及从自适应偏移单元207所提供的基本图像进行累积。在帧存储器211中所累积的基本图像或增强图像作为参考图像经由开关212被提供给帧内预测单元213或运动补偿单元214。

在步骤S142中，画面排序缓冲器209以帧为单位对从自适应环路滤波器208所提供的增强图像进行存储，将按照所存储的编码顺序以帧为单位的增强图像排序为原始显示顺序，以及将增强图像提供给D/A转换单元210。

在步骤S143中，D/A转换单元210对从画面排序缓冲器209所提供以帧为单位的增强图像执行D/A转换，并且输出增强图像。然后，处理返回到图29中的步骤S117，并且结束。

图31是示出了用于描述图30的步骤S139的自适应偏移处理的详情的流程图。

在图31的步骤S161中，自适应偏移单元207的分离单元231(参见图28)获取在关于从图27中的无损解码单元202所提供的增强图像的偏移信息中所包括的类型信息。

当在步骤S162中类型信息为2时，分离单元231将增强图像从去块效应滤波器206提供给边缘偏移获取单元232，然后处理继续到步骤S163。

在步骤S163中，边缘偏移获取单元232从无损解码单元202获取在增强图像的偏移信息中所包括的每个类别的偏移和模式信息，并且将偏移和模式信息提供给滤波处理单元234。边缘偏移获取单元232将从分离单元231所提供的增强图像提供给滤波处理单元234。

在步骤S164中，滤波处理单元234基于从边缘偏移获取单元232所提供的每个类别的偏移和模式信息，对增强图像执行滤波处理。滤波处理单元234将受到滤波处理的增强图像提供给图27中的自适应环路滤波器208，并且然后处理继续到步骤S168。

相反，当在步骤S162中确定类型信息不为2时，分离单元231在步骤S165中确定类型信息是否为1。当在步骤S165中确定类型信息为1时，分离单元231将增强图像从去块效应滤波器82提供给频带偏移获取单元233。

在步骤S166中，频带偏移获取单元233从无损解码单元202获取增强图像的偏移信息中所包括的偏移和频带信息，并且将偏移和频带信息提供给滤波处理单元234。边缘偏移获取单元232将从分离单元231所提供的增强图像提供给滤波处理单元234。

在步骤S167中，滤波处理单元234基于关于从频带偏移获取单元233所提供的增强图像的偏移和频带信息对增强图像执行滤波处理。滤波处理单元234将受到滤波处理的增强图像提供给自适应环路滤波器208，然后处理继续到步骤S168。

当在步骤S165中确定类型信息不为1时，即，类型信息为0时，分离单元231将增强图像从去块效应滤波器206提供给图27中的自适应环路滤波器208而不进行改变，然后处理继续到步骤S168。

在步骤S168中，频带偏移获取单元233从无损解码单元202获取在基本图像的偏移信息中所包括的偏移，并且将偏移提供给滤波处理单元234。频带偏移获取单元233将从图25中的基本解码单元163所提供的基本图像提供给滤波处理单元234。

在步骤S169中，滤波处理单元234基于从频带偏移获取单元233所提供的基本图像的偏移，使用关于基本图像的预定频带的偏移执行滤波处理。滤波处理单元234将受到滤波处理的基本图像提供给帧存储器211。然后，处理返回到图30的步骤S139，并且处理继续到步骤S140。

如上所述，解码装置160将对增强图像进行解码时所参考的基本图像的色域转换为增强图像的色域，并且关于受到色域转换的基本图像的预定频带执行滤波处理。因此，可以改进在未建立色域转换的线性近似的低频带或高频带中受到色域转换的基本图像的精度，并且可以使用受到色域转换的高清基本图像对增强图像进行解码。作为结果，可以对由编码装置30所生成的并且改进了其编码效率的增强流进行解码。

在第一实施例中，假定层的数量为2，但是层的数量可以是两个或更多个。

在第一实施例中，根据HEVC方案对基本图像进行编码，但是可以根据AVC方案对基本图像进行编码。

在第一实施例中，必须对受到色域转换的基本图像执行自适应偏移处理，但是可以根据需要执行自适应偏移处理。在这种情况下，当未执行自适应偏移处理的情况下，关于基本图像的偏移信息的类型信息被认为是0。

在第一实施例中，对基本图像执行了频带偏移处理，但是可以执行其他滤波处理。

在第一实施例中，固定了对基本图像的频带偏移处理中的频带，但是频带可以是可变的。在这种情况下，如在增强图像的情况中一样，频带信息从编码装置30传送到解码装置160。

在第一实施例中，关于基本图像的类型信息被包括在偏移信息中。然而，关于基本图像的类型信息可以不包括在偏移信息中，但是通过将关于基本图像的类型信息设置为1可以执行自适应偏移处理。

<通过可伸缩功能进行的编码的其他示例>

图32是示出了通过可伸缩功能进行的编码的其他示例的图。

如图32所示，在通过可伸缩功能进行的编码中，在层(同一层)中还可以采取量化参数的差异。

(1)基本层

(1-1)dQP(基本层)＝Current_CU_QP(基本层)-LCU_QP(基本层)

(1-2)dQP(基本层)＝Current_CU_QP(基本层)-Previous_CU_QP(基本层)

(1-3)dQP(基本层)＝Current_CU_QP(基本层)-Slice_QP(基本层)

(2)非基本层

(2-1)dQP(非基本层)＝Current_CU_QP(非基本层)-LCU_QP(非基本层)

(2-2)dQP(非基本层)＝CurrentQP(非基本层)-PreviousQP(非基本层)

(2-3)dQP(非基本层)＝Current_CU_QP(非基本层)-Slice_QP(非基本层)

在层(不同层)中还可以采取量化参数的差异。

(3)基本层/非基本层

(3-1)dQP(中间层)＝Slice_QP(基本层)-Slice_QP(非基本层)

(3-2)dQP(中间层)＝LCU_QP(基本层)-LCU_QP(非基本层)

(4)基本层/非基本层

(4-1)dQP(中间层)＝Slice_QP(非基本层i)-Slice_QP(非基本层j)

(4-2)dQP(中间层)＝LCU_QP(非基本层i)-LCU_QP(非基本层j)

在这种情况下，前述(1)至(4)可以组合使用。例如，在非基本层中，考虑：采用基本层与非基本层之间的切片级别的量化参数的差异的方法(3-1与2-3的组合)，或采用基本层与非基本层之间的LCU级别的量化参数的差异的方法(3-2与2-1的组合)。以这种方式，即使当通过反复地应用差异执行分层编码时，可以改进编码效率。

如在以上所述的方法中一样，可以在以上所述的每个dQP中设置指明是否存在不具有0值的dQP的标志。

<第二实施例>

(应用了本公开的计算机的说明)

可以通过硬件执行或可以通过软件执行以上所述的处理系列。当通过软件执行处理系列时，软件的程序安装在计算机中。在此，计算机包括，例如，在嵌入专用硬件中的计算机以及能够通过安装各种程序执行各种功能的通用个人计算机。

图33是示出了通过程序执行以上所述的处理系列的计算机的硬件配置的示例的框图。

在计算机中，中央处理单元(CPU)501、只读存储器(ROM)502以及随机存取存储器(RAM)503通过总线504彼此连接。

输入/输出接口505也连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509以及驱动器510连接到输入/输出接口505。

输入单元506包括键盘、鼠标以及麦克风。输出单元507包括显示器和扬声器。存储单元508包括硬盘和非易失性存储器。通信单元509包括网络接口。驱动器510驱动可移除介质511，诸如，磁盘、光盘、磁光盘、或半导体存储器。

在具有这样的配置的计算机中，CU 501例如通过将存储在存储单元508中的程序经由输入/输出接口505以及总线504加载到RAM 503并且执行该程序来执行以上所述的处理系列。

例如，由计算机(CPU 501)所执行的程序可以被记录并提供给用作封装介质等的可移除介质511。程序可以经由有线或无线传送介质，诸如局域网、因特网、或数字卫星广播而被提供。

在计算机中，可移除介质511安装在驱动器510上，使得程序可以经由输入/输出接口505安装到存储单元508。程序可以经由有线或无线传送介质由通信单元509接收，并且可以被安装在存储单元508中。程序还可以预先安装在ROM 502或存储单元508中。

由计算机所执行的程序可以是按照在本说明书中所描述的顺序按照时间顺序执行处理的程序，或可以是并行地或在需要的定时(诸如调用时)执行处理的程序。

<第三实施例>

(到多视图图像编码和多视图图像解码的应用)

以上所述的处理系列可以应用到多视图图像编码和多视图图像解码。图34示出了多视图图像编码方案的示例。

如图34所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括：基本视图，对于其仅使用基本视图的图像而不使用其他视图的图像执行编码和解码；以及非基本视图，对于其使用其他视图的图形执行编码和解码。非基本视图可以被配置成使用基本视图的图像或可以被配置成使用其他的非基本视图的图像。

当如在图34中一样对多视图图像进行编码或解码时，对每个视图的图像进行编码或解码。然而，以上所述的第一实施例的方法可以应用到每个视图的编码或解码。通过这样做，可以改进针对每个色域所分层的图像的编码效率。

在以上所述的第一实施例的方法中所使用的标志或参数可以在每个视图的编码或解码中共享。更具体地，例如，偏移信息的语法的分量等可以在每个视图的编码或解码中共享。当然，在每个视图的编码或解码中可以共享除了分量之外的必要信息。

通过这样做，可以抑制冗余信息的传送，并且可以降低要传送的信息量(编码量)(即，可以抑制编码效率的降低)。

(多视图图像编码装置)

图35是示出了对以上所述的多视图图像进行编码的多视图图像编码装置的图。如图35所示，多视图图像编码装置600包括编码单元601、编码单元602以及复用单元603。

编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以生成非基本视图图像编码流。复用单元603对由编码单元601所生成的基本视图图像编码流和由编码单元602所生成的非基本视图图像编码流进行复用，以生成多视图图像编码流。

编码装置30(参见图10)可以应用到多视图图像编码装置600的编码单元601和编码单元602。即，可以在每个视图的编码中改进针对每个色域所分层的图像的编码效率。因为编码单元601和编码单元602可以使用互相相同的标志或参数(例如，关于图像之间的处理的语法的分量等)(即，编码单元可以共享标志或参数)执行编码，所以可以抑制编码效率的降低。

(多视图图像解码装置)

图36是示出了对以上所述的多视图图像进行解码的多视图图像解码装置的图。如图36所示，多视图图像解码装置610包括解复用单元611、解码单元612以及解码单元613。

解复用单元611对通过将基本视图图像编码流与非基本视图图像编码流进行复用所生成的多视图图像编码流进行解复用，以提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用单元611所提取的基本视图图像编码流进行解码以获得基本视图图像。解码单元613对由解复用单元611所提取的非基本视图图像编码流进行解码以获得非基本图像视图。

解码装置160(参见图25)可以应用到多视图图像解码装置610的解码单元612和解码单元613。即，在每个视图的解码中，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。因为解码单元612和解码单元613可以使用互相相同的标志或参数(例如，关于图像之间的处理的语法的分量等)(即，编码单元可以共享标志或参数)执行解码，所以可以抑制编码效率的降低。

<第四实施例>

(电视机装置的配置的示例)

图37例示了应用了本公开的电视机装置的总体配置。电视机装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。电视机装置900还包括控制单元910和用户接口单元911。

调谐器902从由天线901所接收的载波信号中调谐并且解调期望的信道，并且将所获得的编码比特流输出到解复用器903。

解复用器903从编码比特流中提取要观看的节目的视频或音频分组(packet)，并且将所提取的分组的数据输出到解码器904。解复用器903将数据的分组如电子节目指南(EPG)提供给控制单元910。当执行加扰时，由解复用器等释放加扰。

解码器904对分组执行解码处理，将通过解码处理所生成的视频数据输出到视频信号处理单元905，以及将音频数据输出到音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据执行噪声移除、视频处理等。视频信号处理单元905例如通过基于经由网络所提供的应用程序进行的处理，生成要由显示单元906显示的节目的视频数据或图像数据。视频信号处理单元905生成显示用于项目选择等的菜单画面的视频数据，并且将该视频数据叠加到节目的视频数据上。视频信号处理单元905基于以这种方式所生成的视频数据生成驱动信号，以驱动显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示装置(例如，液晶显示元件)，以显示节目的视频等。

音频信号处理单元907对音频数据执行诸如噪声移除的预定处理，对处理后的音频数据执行D/A转换处理或放大处理，以及通过将音频数据提供给扬声器908来执行音频输出。

外部接口单元909是用于到外部装置或网络的连接的接口，并且外部接口单元909执行视频数据、音频数据等的数据传送和接收。

用户接口单元911连接到控制单元910。用户接口单元911包括操作开关和远程控制信号接收单元，并且将根据用户的操作的操作信号提供给控制单元910。

使用中央处理单元(CPU)、存储器等配置控制单元910。存储器存储要由CPU执行的程序、CPU执行处理所需要的各种数据、EPG数据、经由网络所获取的数据等。在预定的定时(如电视机装置900启动时)由CPU读取在存储器中所存储的程序以执行该程序。CPU执行程序以控制每个单元，使得电视机装置900根据用户的操作而被操作。

在电视机装置900中，安装有总线912以将控制单元910连接到调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等。

在具有这样的配置的电视机装置中，解码器904具有根据本说明书的解码装置(解码方法)的功能。因此，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

<第五实施例>

(移动电话的配置的示例)

图38例示了应用了本公开的移动电话的总体配置。移动电话920包括通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用分离单元928、、记录再现单元929、显示单元930以及控制单元931。这些单元经由总线933彼此连接。

天线921连接到通信单元922，并且扬声器924和麦克风925连接到音频编解码器923。此外，操作单元932连接到控制单元931。

移动电话920在诸如音频呼叫模式或数字通信模式的各种模式中执行各种操作，诸如音频信号的传送和接收、电子邮件或图像数据的传送和接收、图像的拍摄以及数据的记录。

在音频呼叫模式中，由麦克风925所生成的音频信号由音频编解码器923转换为音频数据或压缩为数据以提供给通信单元922。通信单元922执行音频数据调制处理或频率转换处理，以生成传送信号。通信单元922将传送信号提供给天线921以将传送信号传送到基站(未示出)。通信单元922将通过对由天线921所接收到的信号执行放大、频率转换处理以及解调处理所获得的音频数据提供给音频编解码器923。音频编解码器923对音频数据执行数据解压，执行到模拟音频信号的转换，以及将模拟音频信号输出到扬声器924。

在数据通信模式中，当传送邮件时，控制单元931接收通过操作单元932的操作所输入的文本数据，并且将所输入的文本显示在显示单元930上。控制单元931基于操作单元932中的用户指令生成邮件数据，并且将邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且将所获得的传送信号传送到天线921。通信单元922对由天线921所接收到的接收信号执行放大、频率转换处理以及解调处理等，以恢复邮件数据。邮件数据被提供给显示单元930以显示邮件内容。

在移动电话902中，记录再现单元929还可以在存储介质中存储所接收的邮件数据。存储介质是任何可写的存储介质。例如，存储介质是诸如RAM或内置的闪速存储器的半导体存储器，或是诸如硬盘、磁盘、磁光盘、光盘、USB存储器或存储器卡的可移除介质。

当在数据通信模式中传送图像数据时，由摄像装置单元926所生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据执行编码处理以生成编码数据。

复用分离单元928根据预定的方案对由图像处理单元927所生成的编码数据与从音频编解码器923所提供给的音频数据进行复用，并且将复用的数据提供给通信单元922。通信单元922对复用的数据执行调制处理或频率转换处理，并且将所获得的传送信号从天线921传送。通信单元922对通过天线921所接收到的接收信号执行放大、频率转换处理以及调制处理等以恢复复用数据。复用数据被提供给复用分离单元928。复用分离单元928对复用数据进行分离，并且将编码数据和音频数据分别地提供给图像处理单元927和音频编解码器923。图像处理单元927对编码数据执行编码处理以生成图像数据。图像数据被提供给显示单元920以显示所接收到的图像。音频编解码器923将音频数据转换为模拟音频信号，并且将模拟音频信号提供给扬声器924以输出所接收到的音频。

在具有这样的配置的移动电话中，图像处理单元927具有本说明书的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以改进针对每个色域所分层的图像的编码效率。此外，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

<第六实施例>

(记录再现装置的配置的示例)

图39例示了应用了本公开的记录再现装置的总体配置。记录再现装置940例如将所接收到的广播节目的音频数据和视频数据记录在记录介质上以在根据用户的指令的定时处将所记录的数据提供给用户。例如，记录再现装置940还可以从其他装置获取音频数据或视频数据，并且将音频数据和视频数据记录在记录介质上。记录再现装置940可以对记录在记录介质上的音频数据或视频数据进行解码和输出，以在监视器装置等上执行音频输出或图像显示。

记录再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。

调谐器941从通过天线(未示出)所接收的广播信号中调谐出期望的信道。调谐器941将通过对期望的信道的接收信号进行解调所获得的编码比特流输出到选择器946。

外部接口单元942包括IEEE 1394接口、网络接口单元、USB接口以及闪速存储器接口中的至少一个。外部接口单元942是连接到外部装置、网络、存储器卡等的接口，并且接收要记录的数据诸如视频数据或音频数据。

当从外部接口单元942所提供的音频数据或视频数据未编码时，编码器943根据预定的方案执行编码以将编码比特流输出到选择器946。

HDD单元944将诸如视频或音频的内容数据、各种程序、其他数据等记录在内部硬盘上，并且在再现时从硬盘读取数据或程序。

盘驱动器945将信号记录在所安装的光盘上，以及从所安装的光盘再现信号。光盘是，例如，DVD盘(DVD视频、DVD-RAM、DVD-R、DVR-RW、DVD+R、DVD+RW等)或蓝光(注册商标)盘。

在记录视频或音频时，选择器946从调谐器941或编码器943选择任何编码比特流，并且将所选择的编码比特流提供给HDD单元944和盘驱动器945中之一。在视频或音频的再现时，选择器946将从HDD单元944或盘驱动器945所输出的编码比特流提供给解码器947。

解码器947对编码比特流执行解码处理。解码器947将通过执行解码处理所生成的视频数据提供给OSD单元948。解码器947输出通过执行解码处理所生成的音频数据。

OSD单元948生成显示用于项目选择等的菜单画面的视频数据，并且将该视频数据叠加在从解码器947所输出的视频数据上，以输出数据。

用户接口单元950连接到控制单元949。用户接口单元950包括操作开关或远程控制信号接收单元，并且将根据用户的操作的操作信号提供给控制单元949。

使用CPU、存储器等配置控制单元949。存储器存储要由CPU执行的程序，或CPU执行处理所需要的各种数据。在预定的定时(如记录再现装置940启动时)由CPU读取存储在存储器中的程序以执行该程序。CPU执行程序以控制每个单元，使得记录再现装置940根据用户的操作而被操作。

在具有这样的配置的记录再现装置中，解码器947具有根据本说明书的解码装置(解码方法)的功能。因此，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

<第七实施例>

(成像装置的配置的示例)

图40例示了应用了本公开的成像装置的总体配置。成像装置960将对象成像并且将对象的图像显示在显示单元上或将对象的图像作为图像数据记录在记录介质上。

成像装置960包括光学块961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、媒体驱动器968、OSD单元969以及控制单元970。用户接口单元971连接到控制单元970。图像数据处理单元964、外部接口单元966、存储器单元967、媒体驱动器968、OSD单元969以及控制单元970经由总线972彼此连接。

使用聚焦透镜、光圈机制等配置光学块961。光学块961在成像单元962的成像表面上形成对象的光学图像。使用CCD或CMOS图像传感器配置成像单元962，通过光电转换根据光学图像生成电信号，并将电信号提供给摄像装置信号处理单元963。

摄像装置信号处理单元963对从成像单元962所提供的电信号执行各种摄像装置信号处理，诸如拐点(knee)校正、伽马校正、以及颜色校正。摄像装置信号处理单元963将受到摄像装置信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从摄像装置信号处理单元963所提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理所生成的编码数据提供给外部接口单元966或媒体驱动器968。图像数据处理单元964对从外部接口单元966或媒体驱动器968所提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理所生成的图像数据提供给显示单元965。图像数据处理单元964执行将从摄像装置信号处理单元963所提供的图像数据提供给显示单元965的处理，并且将从OSD单元969所获取的显示数据叠加在图像数据上，以将数据提供给显示单元965。

OSD单元969生成显示数据，诸如由标记、文本以及图形所形成的菜单画面或图标，并且将显示数据输出到图像数据处理单元964。

外部接口单元966包括例如USB输入/输出终端，并且当打印图像时外部接口单元966连接到打印机。驱动器根据需要连接到外部接口单元966，使得诸如磁盘或光盘的可移除介质适当地安装，并且根据需要安装从可移除介质所读取的计算机程序。外部接口单元966包括连接到预定网络(诸如LAN或因特网)的网络接口。例如，控制单元970可以根据来自用户接口单元971的指令从媒体驱动器968读取编码数据，并且将编码数据从外部接口单元966提供给经由网络连接的其他装置。控制单元970可以通过外部接口单元966获取经由网络从其他装置所提供的编码数据或图像数据，并且将编码数据或图像数据提供给图像数据处理单元964。

例如，能够执行读取和写入的任何可移除介质(诸如，磁盘、磁光盘、光盘、或半导体存储器)被用作媒体驱动器968驱动的记录介质。记录介质可以是任何类型的可移除介质，可以是磁带装置、盘或存储器卡。当然，可以使用非接触式集成电路(IC)卡。

媒体驱动器968可以集成有记录介质，并且例如可以由诸如内部硬盘驱动器或固态驱动器(SSD)的非便携式存储介质配置。

使用CPU配置控制单元970。存储器单元967存储要由控制单元970执行的程序、控制单元970执行处理需要的各种数据等。在预定的定时(如成像装置960启动时)，由控制单元970执行读取存储在存储器单元967中的程序以执行该程序。控制单元970执行程序以控制各个单元，使得成像装置960根据用户的操作而被操作。

在具有这样的配置的成像装置中，图像数据处理单元964具有根据本说明书的编码装置和解码装置(编码方法和解码方法)的功能。因此，可以改进针对每个色域所分层的图像的编码效率。可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

<可伸缩编码的应用示例>

(第一系统)

接下来，将描述受到作为通过可伸缩功能进行的编码的可伸缩编码(分层编码)的可伸缩编码数据的具体使用示例。例如，可伸缩编码被用于选择要传送的数据，如在图41中所示的示例一样。

在图41所示的数据传送系统1000中，递送服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，并且经由网络1003将可伸缩编码数据递送到终端装置，诸如个人计算机1004、AV装置1005、平板式装置1006以及移动电话1007。

此时，递送服务器1002根据终端装置的能力、通信环境等对具有合适的质量的编码数据进行选择和传送。当递送服务器1002传送具有不必要高的质量的数据时，终端装置可能未获得高质量图像并且存在由于具有不必要高的质量的数据而发生延迟或上溢的担忧。还存在通信带宽不必要地被占用或终端装置的负载不必要地增加的担忧。相反，当递送服务器1002传送具有不必要低的质量的数据时，存在终端装置未获得足够质量的图像的担忧。出于这个原因，递送服务器1002将存储在可伸缩编码数据存储单元1001中的可伸缩编码数据适当地进行读取和传送，作为具有适合于终端装置的能力、通信环境等的质量的编码数据。

例如，假定可伸缩编码数据存储单元1001存储可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层两者的编码数据，并且是受到解码使得可以获得基本层的图像和增强层的图像两者的数据。

递送服务器1002根据数据被传送到的终端装置的能力、通信环境等选择适当的层，并且读取该层的数据。例如，对于具有高处理能力的个人计算机1004或平板式装置1006，递送服务器1002从可伸缩编码数据存储单元1001读取高质量可伸缩编码数据(BL+EL)1011，并且传送高质量可伸缩编码数据(BL+EL)1011而不进行改变。另一方面，例如，对于具有低处理能力的AV装置1005或移动电话1007，递送服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据，并且传送基本层的数据作为可伸缩编码数据(BL)1012，该数据为与可伸缩编码数据(BL+EL)1011相同的内容数据但是具有低于可伸缩编码数据(BL+EL)1011的质量。

因为通过以这种方式使用可伸缩编码数据可以容易地调整数据量，所以可以抑制延迟或上溢的发生，或可以抑制终端装置或通信介质的负载的不必要地增加。因为关于可伸缩编码数据(BL+EL)1011降低了层之间的冗余，所以与每个层的编码数据被设置为单独的数据时相比可以进一步降低数据量。因此，可以更加有效地使用可伸缩编码数据存储单元1001的存储区域。

因为各种装置可以应用到诸如个人计算机1004至移动电话1007的终端装置，所以终端装置的硬件能力对于各个装置不同。因为由终端装置所执行的应用程序是多样的，所以软件的能力也不同。因为包括有线网络、无线网络、或有线网络和无线网络两者的所有通信线路(诸如因特网或局域网(LAN))中的任一个可以被应用为用作通信介质的网络1003，所以数据传送能力也不同。此外，存在由于其他通信等而使得数据传送能力变化的担忧。

因此，在开始数据传送之前，递送服务器1002可以与作为数据传送目的地的终端装置进行通信，以获得关于终端装置的能力(诸如终端装置的硬件能力或由终端装置所执行的应用程序(软件)等的能力)的信息以及关于通信环境的信息(诸如网络1003的可用带宽)。递送服务器1002可以基于所获得的信息选择适当的层。

还可以由终端装置提取层。例如，个人计算机1004可以对所传送的可伸缩编码数据(BL+EL)1011进行解码，并且可以显示基本层的图像或增强层的图像。例如，个人计算机1004可以从所传送的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012，可以存储可伸缩编码数据(BL)1012，可以将可伸缩编码数据(BL)1012传送到其他装置，或可以对可伸缩编码数据(BL)1012进行解码以及显示基本层的图像。

当然，可以使用任何数量的可伸缩编码数据存储单元1001、任何数量的递送服务器1002、任何数量的网络1003、任何数量的终端装置。以上描述了递送服务器1002将数据传送到终端装置的示例，但是使用示例不限于此。数据传送系统1000可以应用到任何系统，只要数据传送系统1000是当系统将可伸缩编码数据传送到终端装置时根据终端装置的能力、通信环境等选择适当的层以传送编码数据的系统即可。

(第二系统)

例如，如在图42中所示的示例一样，可伸缩编码被用于经由多个通信媒体传送数据。

在图42所示的数据传送系统1100中，广播站1101通过地面广播1111传送基本层的可伸缩编码数据(BL)1121。广播站1101经由通过由有线通信网络、无线通信网络、或有线和无线通信网络两者所形成的任何网络1112传送增强层的可伸缩编码数据(EL)1122(例如，传送分组数据)。

终端装置1102具有由广播站1101所执行的地面广播1111的接收功能，并且接收经由地面广播1111所传送的基本层的可伸缩编码数据(BL)1121。终端装置1102还具有经由网络1112执行通信的通信功能，并且接收经由网络1112所传送的增强层的可伸缩编码数据(EL)1122。

例如，根据用户的指令等，终端装置1102对经由地面广播1111所获取的基本层的可伸缩编码数据(BL)1121进行解码以获得或存储基本层的图像，或将基本层的图像传送到其他装置。

例如，根据用户的指令等，终端装置1102对经由地面广播1111所获取的基本层的可伸缩编码数据(BL)1121与经由网络1112所获取的增强层的可伸缩编码数据(EL)1122进行组合，以获得可伸缩编码数据(BL+EL)，对可伸缩编码数据(BL+EL)进行解码以获得增强层的图像，存储可伸缩编码数据(BL+EL)，或将可伸缩编码数据(BL+EL)传送到其他装置。

如上所述，例如，可以针对每个层经由不同的通信介质传送可伸缩编码数据。因此，可以分散负载，因而可以抑制延迟或上溢的发生。

依赖于环境，可以针对每个层选择用于传送的通信介质。例如，可以经由具有宽带宽的通信介质传送具有相对大的数据量的基本层的可伸缩编码数据(BL)1121，并且可以经由具有窄带宽的通信介质传送具有相对小的数据量的增强层的可伸缩编码数据(EL)1122。例如，可以根据网络1112的可用带宽切换传送增强层的可伸缩编码数据(EL)1122的通信介质是否被设置为网络1122或地面广播1111。当然，同样适用于任何层的数据。

通过以这种方式执行控制，可以进一步抑制在数据传送中负载的增加。

当然，可以使用任何数量的层并且可以使用用于传送的任何数量的通信媒体。可以使用作为数据递送目的地的任何数量的终端装置1102。作为示例以上描述了来自广播站1101的广播，但是使用示例不限于此。数据传送系统1100可以应用到任何系统，只要数据传送系统1100是以层为单位将可伸缩编码数据划分为多个数据，并且经由多个线路传送划分后的数据的系统即可。

(第三系统)

例如，如在图43所示的示例一样，可伸缩编码被用于存储编码数据。

在图43所示的成像系统1200中，成像装置1201对通过将对象1211成像所获得的图像数据执行可伸缩编码，并且将可伸缩编码数据作为可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202存储从成像装置1201所提供的并且具有根据环境的质量的可伸缩编码数据(BL+EL)1221。例如，在正常时间的情况下，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221中提取基本层的数据，并且将所提取的数据存储为具有小的数据量的低质量的基本层可伸缩编码数据(BL)1222。另一方面，例如，在关注时间的情况下，可伸缩编码数据存储装置1202存储具有大的数据量的高质量可伸缩编码数据(BL+EL)1221。

通过这样作，可伸缩编码数据存储装置1202可以仅在需要的情况下存储具有高图像质量的图像。因此，可以抑制数据量的增加而同时抑制由于图像质量恶化导致的图像值的下降。因此，可以改进存储区域的使用效率。

例如，假定成像装置1201是监控摄像装置。当监控目标(例如，入侵者)未被成像在捕获图像(正常时间的情况)时，存在很高的可能性捕获图像的内容并不重要。因此，优选的是数据量的降低并且存储低质量图像数据(可伸缩编码数据)。另一方面，当监控目标被成像为捕获图像中的对象1211(关注时间的情况)时，存在很高的可能性捕获图像的内容是重要的。因此，图像质量是优选的，并且存储高质量图像数据(可伸缩编码数据)。

例如，当可伸缩编码数据存储装置1202分析图像时，可以确定正常时间或关注时间。成像装置1201可以确定正常时间或关注时间，并且将确定结果传送到可伸缩编码数据存储装置1202。

可以使用用于正常时间或关注时间的任何确定标准，并且可以使用用作确定标准的任何图像内容。当然，除了图像内容之外的条件也可以被用作确定标准。例如，确定标准可以根据所记录的音频的大小或波形而切换，或可以针对每个预定的时间而切换，或可以根据来自外部的指令(诸如用户的指令)而切换。

以上描述了切换正常时间和关注时间两个状态的示例，但是也可以使用任何数量的状态。例如，可以切换诸如正常时间、轻微关注时间、关注时间以及重要关注时间的三个或更多个状态。在此，切换状态的数量的上限依赖于可伸缩编码数据的层的数量。

成像装置1201可以根据状态确定可伸缩编码的层的数量。例如，在正常时间的情况下，成像装置1201可以生成具有小的数据量的低质量的基本层可伸缩编码数据(BL)1222，并且将所生成的可伸缩编码数据(BL)1222提供给可伸缩编码数据存储装置1202。例如，在关注时间的情况下，成像装置1201可以生成具有大的数据量的高质量可伸缩编码数据(BL+EL)1221，并且将所生成的可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

以上描述了监控摄像装置作为示例，但是成像系统1200可以应用于任何用途，并且使用示例不限于监控摄像装置。

<第八实施例>

(其他实施例)

以上描述了应用了本技术的装置和系统的示例，但是本技术不限于此。本技术还可以实现为在所有这些装置或系统中所包括的装置上所安装的所有配置，例如，系统大规模集成(LSI)的处理器、使用多个处理器等的模块、使用多个模块等的单元、其他功能被添加到单元的集合(即，装置的部分配置)。

(视频集的配置的示例)

将参照图44描述本技术被实现为集合的情况的示例。图44示出了应用了本技术的视频集的总体配置的示例。

近年，电子装置变得多功能化。因此，当在开发或制造中，出售或提供电子装置的配置的部分时，不仅电子装置被实现为具有单一功能的配置的情况，而且通过对具有相关功能的多个配置进行组合电子装置被实现为具有多个功能的单一集的情况，也是相当可见的。

图44所示的视频集1300具有这样的多功能配置，并且是下述视频集：在该视频集中，将具有对图像进行编码或解码(编码和解码之一或编码和解码两者)的功能的装置与具有除该功能之外的相关功能的功能进行组合。

如图44所示，视频集1300包括下述装置：该装置包括视频模块1311、外部存储器1312、电源管理模块1313、前端模块1314等的模块组，并且该装置具有连通器(connectivity)1321、摄像装置1322、传感器1323等的相关功能。

通过集合若干互相相关的组件功能,模块被配置为具有内聚功能的组件。可以使用任何指定的物理配置。例如，可以考虑下述模块：在该模块中，具有各自功能的多个处理器、诸如电阻器和电容器的电子电路元件、其他装置等布置在引线基板等上以被集成。还可以考虑新的模块：在该模块中将模块与其他模块、处理器等进行组合。

在图44的情况中，视频模块1311是组合具有与图像处理相关的功能的配置的模块。视频模块1311包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

处理器是下述组件：在该组件中，具有预定功能的配置通过SoC(芯片上系统)集成在半导体芯片上，并且例如特定的处理器被称为系统大规模集成(LSI)。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM等的配置，以及使用CPU、ROM、RAM等所执行的程序(软件配置)，或可以是组合软件配置和硬件配置两者的配置。例如，处理器包括逻辑电路、CPU、ROM以及RAM。一些功能可以通过逻辑电路(硬件配置)实现，而其他功能可以通过由CPU所执行的程序(软件配置)实现。

图44中的应用处理器1331是执行与图像处理相关的应用的处理器。由应用处理器1331所执行的应用可以执行计算处理，以实现预定功能并且还可以例如根据需要控制视频模块1311内部和外部的配置，如视频处理器1332。

视频处理器1332是具有关于图像编码/解码(编码和解码中之一或两者)的功能的处理器。

宽带调制解调器1333是下述处理器(或模块)：该处理器(或模块)执行与经由诸如因特网或公共电话线路的宽带线路所执行的有线或无线(或有线或无线两者)宽带通信有关的处理。例如，宽带调制解调器1333通过数字调制将要传送的数据(数字信号)转换为模拟信号，或对所接收到的模拟信号进行解调以将模拟信号转换为数据(数字信号)。例如，宽带调制解调器1333可以对任何种类的信息(诸如由视频处理器1332所处理的图像数据、通过对图像数据、应用程序以及设置数据进行编码所形成的流)执行数字调制和解调。

RF模块1334是下述模块：该模块对经由天线所传送的和接收的射频(RF)信号执行频率转换、调制和解调、放大、滤波处理等。例如，RF模块1334通过对由宽带调制解调器1333所生成的基带信号执行频率转换等生成RF信号。例如，RF模块1334通过对经由前端模块1314所接收到的RF信号执行频率转换等生成基带信号。

在图44中，如由点线1341所指示的，应用处理器1331和视频处理器1332可以被集成以形成为单一处理器。

外部存储器1312是安装在视频模块1311外部的模块，并且包括由视频模块1311所使用的存储装置。外部存储器1312的存储装置可以通过任何物理配置实现。在此，因为存储装置在许多情况下通常用于以帧为单位存储大容量数据诸如图像数据，所以例如存储装置优选地由相对便宜的大容量半导体存储器(如动态随机存取存储器(DRAM))实现。

电源管理模块1313管理并且控制到视频模块1311(视频模块1311内部的每个配置)的电力供给。

前端模块1314是为RF模块1334提供前端功能的模块(在天线侧的传送或接收端处的电路)。如图44所示，前端模块1314包括，例如，天线单元1351、滤波器1352以及放大单元1353。

天线单元1351具有传送和接收无线电信号的天线及其周边配置。天线单元1351传送从放大单元1353所提供的信号作为无线电信号，并且将所接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线单元1351所接收的RF信号执行滤波处理等，并且将处理后的RF信号提供给RF模块1334。放大单元1353对从RF模块1334所提供的RF信号进行放大，并且将放大的信号提供给天线单元1351。

连通器1321是具有关于到外部的连接的功能的模块。可以使用连通器1321的任何物理配置。例如，连通器1321具有不同于宽带调制解调器1333所对应的通信标准的通信功能的配置，或包括外部输入/输出端子。

例如，连通器1321可以包括下述模块：该模块具有符合诸如蓝牙(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi：注册商标))、近场通信(NFC)、红外数据通讯(IrDA)的无线通信标准的通信功能，或具有传送以及接收符合标准的信号的天线。例如，连通器1321可以包括下述模块：该模块具有符合诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI：注册商标)的有线通信标准的通信功能，或具有符合(confrom)标准的端子。例如，连通器1321可以具有模拟输入/输出端子等的其他数据(信号)传输功能。

连通器1321可以包括数据(信号)传送目的地的装置。例如，连通器1321可以包括从记录介质读取数据或将数据写入记录介质的驱动器(不仅包括可移除介质的驱动器，还包括硬盘、固态存储装置(SSD)、或网络附加存储(NAS))，记录介质诸如磁盘、光盘、磁光盘或半导体存储器。连通器1321可以包括图像或音频的输出装置(监视器、扬声器等)。

摄像装置1322是具有将对象成像并且获得对象的图像数据的功能的模块。由摄像装置1332通过成像所获得的图像数据例如被提供给视频处理器1332以被编码。

传感器1323是下述模块，该模块具有例如音频传感器、超声传感器、光学传感器、亮度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁感应传感器、撞击传感器或温度传感器中任意传感器的功能。由传感器1323所检测到的数据被提供给例如要被用于应用的应用处理器1331等。

以上作为模块所描述的配置可以由处理器实现，或相反作为处理器所描述的配置可以被实现为模块。

在具有这样的配置的视频集1300中，本技术可以应用到视频处理器1332，如以下将描述地。因此，视频集1300可以实现为应用了本技术的集合。

(视频处理器的配置的示例)

图45示出了应用了本技术的视频处理器1332(参见图44)的总体配置的示例。

在图45中的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且根据预定方案对视频信号和音频信号进行编码的功能，以及对编码视频数据和音频数据进行解码并且对视频信号和音频信号进行再现和输出的功能。

如图45所示，视频处理器1332包括视频输入处理单元1401、第一图像扩展收缩单元1402、第二图像扩展收缩单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。视频处理器1322还包括编码和解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。视频处理器1332还包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。

视频输入处理单元1401例如获取从连通器1321(参见图44)所输入的视频信号，并且将视频信号转换为数字图像数据。第一图像扩展收缩单元1402对图像数据执行格式转换或图像扩展或收缩处理。第二图像扩展收缩单元1403经由视频输出处理单元1404根据输出目的地的格式对图像数据执行图像扩张或收缩处理，或执行与第一图像扩展或收缩单元1402相同的格式转换或图像扩张或收缩处理。视频输出处理单元1404对图像数据执行格式转换或到模拟信号的转换，并且将图像数据作为再现的视频信号输出到例如连通器1321(参见图44)。

帧存储器1405是用于由视频输入处理单元1401、第一图像扩展收缩单元1402、第二图像扩展收缩单元1403、视频输出处理单元1404以及编码和解码引擎1407所共享的图像数据的存储器。帧存储器1405例如实现为如DRAM的半导体存储器。

存储器控制单元1406从编码和解码引擎1407接收同步信号，并且根据在存取管理表1406A中所写入的帧存储器1405的存取日程，来控制到帧存储器1405的写入或从帧存储器1405的读取的存取。存取管理表1406A由存储器控制单元1406通过由编码和解码引擎1407、第一图像扩展收缩单元1402、第二图像扩张收缩单元1403等所执行的处理而更新。

编码和解码引擎1407对图像数据执行编码处理，并且对作为通过对图像数据进行编码所获得的数据的视频流执行解码处理。例如，编码和解码引擎1497对从帧存储器1405所读取的图像数据进行编码，并且将图像数据作为视频流顺序地写入到视频ES缓冲器1408A。例如，编码和解码引擎1407从视频ES缓冲器1408B顺序地读取视频流以对视频流进行解码，并且将视频流作为图像数据顺序地写入帧存储器1405。编码和解码引擎1407在这样的编码或解码中使用帧存储器1405作为工作区域。编码和解码引擎1407例如在针对每个宏块开始处理的定时将同步信号输出到存储器控制单元1406。

视频ES缓冲器1408A对由编码和解码引擎1407所生成的视频流进行缓冲，并且将视频流提供给复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413所提供的视频流进行缓冲，并且将视频流提供给编码和解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410所生成的音频流进行缓冲，并且将音频流提供给复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413所提供的音频流进行缓冲，并且将音频流提供给音频解码器1411。

音频编码器1410对从例如连通器1321(参见图44)所输入的音频信号执行例如数字转换，并且根据例如诸如MPEG音频方案或AC3(音频编码数量3)方案的预定方案执行编码。音频编码器1410将作为通过对音频信号进行编码所获得的数据的音频流顺序地写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B所提供的音频流进行解码，将音频流转换为例如模拟信号，以及将模拟信号作为再现的音频信号提供给例如连通器1321(参见图44)。

复用器(MUX)1412对视频流与音频流进行复用。可以使用任何复用方法(即，通过复用所生成的比特流的格式)。在复用时，复用器(MUX)1412还可以将预定的头信息等添加到比特流。即，复用器(MUX)1412可以通过复用对流的格式进行转换。例如，复用器(MUX)1412通过对视频流与音频流进行复用将比特流转换为传送流，该传送流为具有传送格式的比特流。例如，复用器(MUX)1412通过对视频流与音频流进行复用将比特流转换为具有记录文件格式的数据(文件数据)。

解复用器(DMUX)1413根据与由复用器(MUX)1412进行复用相对应的方法对通过对视频流和音频流进行复用所获得的比特流进行解复用。即，解复用器(DMUX)1413在从流缓冲器1414所读取的比特流中提取视频流和音频流(将视频流和音频流分离)。即，解复用器(DMUX)1413可以通过解复用执行流的格式的转换(与由复用器(MUX)1412进行的转换相反的转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414获取例如从连通器1321(参见图44)或宽带调制解调器1333(参见图44)所提供的传送流，并且对传送流进行解复用以执行到视频流和音频流的转换。例如，解复用器(DMUX)1413可以例如经由流缓冲器1414通过连通器1321(参见图44)获取从各种记录媒体中的任意所读取的文件数据，并且对文件数据进行解复用以执行到视频流和音频流的转换。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412所提供的传送流进行缓冲，并且响应于来自外部的请求等在预定的定时将传送流提供给例如连通器1321(参见图44)或宽带调制解调器1333(参见图44)。

例如，流缓冲器1414对从复用器(MUX)1412所提供的文件数据进行缓冲，并且响应于来自外部的请求等在预定的定时将文件数据提供给例如连通器1321(参见图44)以将文件数据记录在各种记录媒体中的任意上。

流缓冲器1414对经由例如连通器1321(参见图44)或宽带调制解调器1333(参见图44)所获取的传送流进行缓冲，并且响应于来自外部的请求等在预定的定时将传送流提供给解复用器(DMUX)1413。

流缓冲器1414对从例如连通器1321(参见图44)中的各种记录媒体中的任意所读取的文件数据进行缓冲，并且响应于来自外部的请求等在预定的定时将文件数据提供给解复用器(DMUX)1413。

接下来，将描述具有这样的配置的视频处理器的操作的示例。例如，从连通器1321(参见图44)等输入到视频处理器1332的视频信号根据预定的方案(如4：2：2 Y/Cb/Cr方案)由视频输入处理单元1401转换为数字图像数据，然后数字图像数据顺序地被写入帧存储器1405。数字数据图像被读取到第一图像扩展收缩单元1402或第二图像扩展收缩单元1403，受到根据预定方案(诸如4：2：0 Y/Cb/Cr方案)的格式转换和扩展或收缩处理，以及被再次写入到帧存储器1405。图像数据由编码和解码引擎1407编码，并且作为视频流被写入视频ES缓冲器1408A上。

从连通器1321(参见图44)等输入到视频处理器1332的音频信号由音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A上。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读取到复用器(MUX)1412，并且被复用以被转换为传送流、文件数据等。在由复用器(MUX)1412所生成的传送流被缓冲到流缓冲器1414之后，传送流经由例如连通器1321(参见图44)或宽带调制解调器1333(参见图44)被输出到外部网络。在由复用器(MUX)1412所生成的文件数据被缓冲到流缓冲器1414之后，文件数据被输出到例如连通器1321(参见图44)以被记录在各种记录媒体中的任意上。

在例如经由连通器1321(参见图44)或宽带调制解调器1333(参见图44)从外部网络输入到视频处理器1332的传送流被缓冲到流缓冲器1414之后，传送流由解复用器(DMUX)1413解复用。在从例如连通器1321(参见图44)中的各种记录媒体中的任意所读取的并且被输入到视频处理器1332的文件数据被缓冲到流缓冲器1414之后，文件数据由解复用器(DMUX)1413解复用。即，输入到视频处理器1332的传送流或文件数据被解复用器(DMUX)1413分离为视频流和音频流。

音频流经由音频ES缓冲器1409B被提供给音频解码器1411并且被解码使得再现音频信号。在视频流被写入视频ES缓冲器1408B之后，由编码和解码引擎1407顺序地读取并且解码视频流，并且视频流被写入帧存储器1405上。解码图像数据由第二图像扩展收缩单元1403扩展或收缩，并且被写入帧存储器1405上。然后，解码图像数据由视频输出处理单元1404读取，图像数据的格式根据预定方案(如4：2：2 Y/Cb/Cr方案)被转换，图像数据还被转换为模拟信号，并且视频信号被再现和输出。

当本技术被应用到具有这样的配置的视频处理器1332时，与以上所述的实施例中的每个有关的本技术可以被应用到编码和解码引擎1407。即，例如，编码和解码引擎1407可以具有编码装置30或解码装置160的功能。通过这样作，视频处理器1332可以获得与以上参照图1至图32所描述的相同的有利效果。

在编码和解码引擎1407中，本技术(即，根据以上所述的实施例中的每个的图像编码装置和图像解码装置的功能)可以由例如逻辑电路的硬件实现，可以由例如嵌入程序的软件实现，或可以由硬件和软件两者实现。

(视频处理器的配置的另一示例)

图46示出了应用了本技术的视频处理器1332(参见图44)的总体配置的另一示例。在图46中的示例的情况下，视频处理器1332具有根据预定方案对视频数据进行编码和解码的功能。

更具体地，如图46所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。视频处理器1332还包括编解码引擎1516、存储器接口1517、复用器/解复用器(MUX/DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511控制视频处理器1332内部的每个处理单元的操作，诸如，显示接口1512、显示引擎1513、图像处理引擎1514以及编解码引擎1516。

如图46所示，控制单元1511包括例如主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行程序等以控制在视频处理器1332内部的每个处理单元的操作。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给每个处理单元(即，控制每个处理单元的操作)。子CPU 1531用作主CPU 1531的辅助角色。例如，子CPU 1532执行由CPU1531所执行的程序等的子处理或子例程。系统控制器1533控制主CPU1531和子CPU 1532的操作，例如指定要由主CPU 1531和子CPU 1532所执行的程序。

显示接口1512在控制单元1511的控制之下将图像数据输出到例如连通器1321(参见图44)。例如，显示接口1512将数字数据的图像数据转换为模拟信号，并且将模拟信号作为所再现的视频信号或数字数据的图像数据输出到连通器1321(参见图44)的监视器装置等。

显示引擎1513在控制单元1511的控制之下根据显示图像的监视器装置等的硬件规格对图像数据执行各种转换处理，诸如格式转换、大小转换以及色域转换。

图像处理引擎1514在控制单元1511的控制之下对图像数据执行预定的图像处理如滤波处理，以例如改进图像质量。

内部存储器1515是安装在视频处理器1332内部的并且由显示引擎1513、图像处理引擎1514以及编解码引擎1516所共享的存储器。内部存储器1515被用于将数据传送到例如显示引擎1513、图像处理引擎1514以及编解码引擎1516，以及从例如显示引擎1513、图像处理引擎1514以及编解码引擎1516接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516所提供的数据，并且根据需要(例如，响应于请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以由任意存储装置实现。因为在许多情况下内部存储器1515通常被用于存储小容量的数据，诸如以块为单位的图像数据或参数，所以内部存储器1515优选地由例如具有相对小的容量(例如，与外部存储器1312相比)以及高响应速度的半导体存储(如静态随机存取存储器(SRAM))实现。

编解码引擎1516执行与图像数据的编码和解码有关的处理。可以使用与编解码引擎1516相对应的任何编码和解码方案，并且编码和解码方案的数量可以是单个或多个。例如，编解码引擎1516可以具有多个编码方案和解码方案的编解码功能，并且通过选择编码和解码方案对图像数据执行编码或对编码数据进行解码。

在图46所示的示例中，作为与编解码相关的处理的功能块，编解码引擎1516具有例如MPEG-2视频1541、AVC/H.264 1542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551。

MPEG-2视频1541是根据MPEG-2方案对图像数据进行编码或解码的功能块。AVC/H.264 1542是根据AVC方案对图像数据进行编码或解码的功能块。HEVC/H.265 1543是根据HEVC方案对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544是根据HEVC方案对图像数据执行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方案对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是根据MPEG-HTTP上动态自适应流(MPEG-DASH)传送或接收图像数据的功能块。MPEG-DASH是用于使用超文本传输协议(HTTP)对视频进行流传送的技术，并且具有下述一个特征：在该特征中，从具有预先准备的不同分辨率的多个编码数据中以片段为单位选择适当的编码数据以进行传送。MPEG-DASH 1551执行符合标准的流的生成、流的传送控制等，并且使用以上所述的MPEG-2视频1541至HEVC/H.265(多视图)1545对图像数据执行编码或解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516所提供的数据经由存储器接口1517被提供给外部存储器1312。从外部存储器1312所读取的数据经由存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。

复用器/解复用器(MUX DMXU)1518对与图像相关的各种数据(诸如，编码数据的比特流、图像数据以及视频信号)执行复用或解复用。可以使用用于复用和解复用的任意方法。例如，复用时，复用器/解复用器(MUX DMXU)1518可以将多个数据聚集到一个数据中，并且还可以向数据添加预定头信息等。解复用时，复用器/解复用器(MUX DMUX)1518可以将一个数据分离为多个数据，并且还可以向所分离的数据中的每个数据添加预定的头信息等。即，复用器/解复用器(MUX DMXU)1518可以通过复用或解复用转换数据的格式。例如，复用器/解复用器(MUXDMXU)1518可以将比特流复用为传送流以执行到作为具有传送格式的比特流的传送流的转换，或执行到具有记录文件格式的数据(文件数据)的转换。当然，通过解复用还可以执行与转换相反的转换。

网络接口1519是例如宽带调制解调器1333(参见图44)或连通器1321(参见图44)专用的接口。视频接口1520是例如连通器1321(参见图44)或摄像装置1322(参见图44)专用的接口。

接下来，将描述视频处理器1332的操作的示例。例如，经由连通器1321(参见图44)、宽带调制解调器1333(参见图44)等从外部网络接收到传送流时，传送流经由网络接口1519被提供给复用器/解复用器(MUX DMUX)1518，被解复用，以及由编解码引擎1516解码。例如，通过由编解码引擎1561进行的解码所获得的图像数据受到由图像处理引擎1514进行的预定图像处理，受到由显示引擎1513进行的预定转换，以及经由显示接口1512被提供给例如连通器1321(参见图44)，使得图像被显示在监视器上。例如，通过由编解码引擎1516进行的解码所获得的图像数据由编解码引擎1516再次编码，由复用器/解复用器(MUXDMUX)1518复用以转换为文件数据，经由视频接口1520被输出到例如连通器1321(参见图44)，以及被记录在各种记录媒体中的任意上。

例如，通过对图像数据进行编码所获得的并且由连通器3121(参见图44)从记录介质(未示出)所读出的编码数据的文件数据经由视频接口1520被提供给复用器/解复用器(MUX DMUX)1518以被解复用，并且由编解码引擎1516解码。使得通过由编解码引擎1516进行的解码所获得的图像数据受到由图像处理引擎1514进行的预定的图像处理，受到由显示引擎1513进行的预定的转换，以及例如经由显示接口1512被提供给连通器1321(参见图44)，使得图像被显示在监视器上。例如，通过由编解码引擎1516进行的解码所获得的图像数据由编解码引擎1516再次编码，由复用器/解复用器(MUX DMUX)1518进行复用以转换为传送流，例如经由网络接口1519被提供给连通器1321(参见图44)或宽带调制解调器1333(参见图44)，以及被传送到其他装置(未示出)。

例如，使用内部存储器1515或外部存储器1312执行在视频处理器1332内部的处理单元之间的图像数据或其他数据的传送和接收。电源管理模块1313控制例如到控制单元1511的电力供给。

当本技术被应用到具有这样的配置的视频处理器1332时，与以上所述的实施例中的每个有关的本技术可以应用到编解码引擎1516。即，例如，编解码引擎1516可以具有实现编码装置30或解码装置160的功能块。例如，当编解码引擎1516执行以上所述的处理时，视频处理器1332可以获得与以上参照图1至图32所描述的相同的有利的效果。

在编解码引擎1516中，本技术(即，根据以上所述的实施例中的每个的图像编码装置或图像解码装置的功能)可以由例如逻辑电路的硬件实现，可以由例如嵌入程序的软件实现，或可以由硬件和软件两者实现。

以上例示了视频处理器1332的两个配置，但是视频处理器1332可以具有任何配置，并且可以具有不同于以上所述的两个配置的配置。视频处理器1332可以由单一半导体芯片配置或可以由多个半导体芯片配置。例如，视频处理器1332可以由三维堆叠的LSI实现或可以由多个LSI实现，在三维堆叠的LSI中堆叠有多个半导体。

(到装置的应用示例)

视频集1300可以嵌入对图像数据进行处理的各种装置。例如，视频集1300可以嵌入电视机装置900(参见图37)、移动电话920(参见图38)、记录再现装置940(参见图39)、成像装置960(参见图40)等。通过嵌入视频集1300，装置可以获得与以上参照图1至图32所描述的相同的有利效果。

视频集1300还可以嵌入例如终端装置，诸如，图41中的数据传送系统1000中的个人计算机1004、AV装置1005、平板式装置1006、以及移动电话1007，图42中的数据传送系统1100中的广播站1101和终端装置1102以及图43中的成像系统1200中的成像装置1201和可伸缩编码数据存储装置1202等。通过嵌入视频集1300，装置可以获得以上参照图1至图32所描述的相同的有利效果。

即使以上所述的视频集1300的每个配置的一部分也可以实现为应用了本技术的配置，只要配置的该部分包括视频处理器1332即可。例如，仅视频处理器1332可以实现为应用了本技术的视频处理器。例如，如上所述，由点线1341所指示的处理器或视频模块1311可以实现应用了本技术的处理或模块。例如，视频模块1311、外部存储器1312、电源管理模块131以及前端模块1314的组合还可以实现为应用了本技术的视频单元1361。在任意配置中，装置可以获得以上参照图1至图32所描述的相同的有利效果。

即，如在视频集1300的情况中一样，配置可以被嵌入到对图像数据进行处理的各种装置中，只要该配置包括视频处理器1332即可。例如，视频处理器1332、由点线1341所指示的处理器、视频模块1311或视频单元1361可以嵌入电视机装置900(参见图37)、移动电话920(参见图38)、记录再现装置940(参见图39)、成像装置960(参见图40)，终端装置，例如图41中的数据传送系统1000中的个人计算机1004、AV装置1005、平板式装置1006、以及移动电话1007，图42的数据传送系统1100中的广播站1101和终端装置1102以及图43中的成像系统1200中的成像装置1201和可伸缩编码数据存储装置1202等。如在视频集1300的情况中一样，通过嵌入期望应用本技术的配置，装置可以获得与以上参照图1至图32所描述的相同的有利效果。

<第九实施例>

(MPEG-DASH的应用示例)

在本技术中，从预先准备的具有不同分辨率的多个编码流中选择适当的编码数据，并且以片段为单位使用该适当的编码数据。例如，本技术还可以应用到HTTP流传送的内容再现系统，诸如以下要描述的MPEGDASH或Wi-Fi标准的无线通信系统。

<内容再现系统的概述>

首先，将参照图47至图49粗略地描述可以应用本技术的内容再现系统。

在下文中，首先将参照图47和48描述每个实施例通用的基本配置。

图47是示出了内容再现系统的配置的说明图。如图47所示，内容再现系统包括内容服务器1610和1611、网络1612以及内容再现装置1620(客户端装置)。

内容服务器1610和1611以及内容再现装置1620经由网络1612彼此连接。网络1612是从连接到网络1612的装置所传送的信息的有线或无线传送线路。

例如，网络1612可以包括公用线路网络，诸如，因特网、电话线路网络或卫星通信网络、包括以太网(注册商标)的各种局域网(LAN)、以及各种广域网(WAN)。网络162可以包括专用线路网络，诸如因特网协议虚拟私人网络(IP-VPN)。

内容服务器1610对内容数据进行编码以生成并且存储包括编码流以及关于编码流的元信息的数据文件。当内容服务器1610生成具有MP4格式的数据文件时，编码流对应于“mdat”并且源信息对应于“moov.”。

内容数据可以是诸如音乐、讲座或无线电节目的音乐数据、诸如电影、电视节目、视频节目、照片、文件、绘画或表格的视频数据、游戏、软件等。

在此，内容服务器1610关于同一内容以不同比特率生成多个数据文件。响应于来自内容再现装置1620的内容再现请求，内容服务器1611将关于内容再现装置1620添加至内容服务器1610的URL的参数的信息包括在关于URL的信息中，并且将该信息传送到内容再现装置1620。在下文中，将参照图48具体地描述该事实。

图48是示出了图47中的内容再现系统中的数据流的说明图。内容服务器1610以不同的比特率对相同的内容数据进行编码，以生成例如2Mbps的文件A、1.5Mbps的文件B以及1Mbps的文件C，如图48所示。相对地，文件A具有高比特率，文件B具有标准比特率，以及文件C具有低比特率。

如图48所示，每个文件的编码流被分割为多个片段。例如，文件A的编码流被分割为片段“A1，”“A2，”“A3，”……“An，”文件B的编码流被分割为片段“B1，”“B2，”“B3，”……“Bn，”以及文件C的编码流被分割为片段“C1，”“C2，”“C3，”……“Cn。”

通过可以逐个地再现并且以MP4的渗透(sink)采样(例如，AVC/H.264的视频编码中的IDR-图片)开始的一个或两个或更多个视频编码流和音频编码流，每个片段可以采用构成采样进行配置。例如，当采用具有15帧的固定长度的图片组(GOP)对具有每秒30帧的视频数据进行编码时，每个片段可以是与4个GOP相对应的2秒的视频和音频编码流，或可以是与20个GOP相对应的10秒的视频和音频编码流。

根据在文件中放置顺序相同的片段进行的再现范围(从内容的开始起的时间位置的范围)是相同的。例如，片段“A2，”片段“B2，”以及片段“C2，”的再现范围相同。当每个片段是2秒的编码流时，片段“A2，”片段“B2，”以及片段“C2”的所有的再现范围在所有种类的内容的2秒至4秒的范围内。

当内容服务器1610生成包括多个片段的文件A至文件C时，内容服务器1610存储文件A至文件C。然后，如图48所示，内容服务器1610顺序地将在不同的文件中所包括的片段传送到内容再现装置1620，并且内容再现装置1620对所接收到的片段执行流再现。

在此，根据实施例的内容服务器1610将包括每个编码流的比特率信息和存取信息的播放列表文件(在下文中被称为媒体呈现描述(MPD))传送到内容再现装置1620。内容再现装置1620基于MPD从多个比特率中选择一个比特率，并且给出请求以将与所选择的比特率相对应的片段传送到内容服务器1610。

在图47中仅示出了一个内容服务器1610，但是无需说明本公开不限于相关的示例。

图49是示出了MPD的具体示例的说明图。如图49所示，MPD包括关于具有不同比特率(带宽)的多个编码流的存取信息。例如，图49所示的MPD包括作为关于编码流的信息并且指示存在256Kbps、1.024Mbps、1.384Mbps、1.536Mbps以及2.048Mbps的编码流的存取信息。内容再现装置1620可以基于MPD动态地改变以流传送方式再现的编码流的比特率。

在图47中，便携式终端被示为内容再现装置1620的示例，但是内容再现装置1620不限于示例。例如，内容再现之后1620可以是诸如个人计算机(PC)、家用视频处理装置(DVD记录器、视频盒带记录器等)、个人数字助理(PDA)、家用游戏装置或电器的信息处理装置。内容再现装置1620可以是信息处理装置，诸如，移动电话、个人手持电话系统(PHS)、便携式音乐再现装置、便携式视频处理装置或便携式游戏装置。

<内容服务器1610的配置>

以上参照图47至图49描述了内容再现系统的概述。将参照图50继续地描述内容服务器1610的配置。

图50是示出了内容服务器1610的配置的功能框图。如图50所示，内容服务器1610包括文件生成单元1631、存储单元1632以及通信单元1633。

文件生成单元1631包括对内容数据进行编码的编码器1641，并且生成以上所述的MPD和具有相同的内容的不同比特率的多个编码流。例如，当文件生成单元1631生成256Kbps、1.024Mbps、1.384Mbps、1.536Mbps以及2.048Mbps的编码流时，文件生成单元1631生成图49所示的MPD。

存储单元1632存储由文件生成单元1631所生成的MPD和具有不同比特率的多个编码流。存储单元1632可以是诸如非易失性存储器、磁盘、光盘、或磁光(MO)盘的存储介质。非易失性存储器的示例包括电可擦写可编程只读存储器(EEPROM)和可擦写可编程ROM(EPROM)。磁盘的示例包括硬盘和盘类型磁盘。光盘的示例包括压缩盘(CD)、数字通用盘记录器(DVD-R)以及蓝光盘(BD：注册商标)。

通信单元1633是与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620进行通信。更具体地，通信单元1633具有根据HTTP与内容再现装置1620进行通信的HTTP服务器的功能。例如，通信单元1633将MPD传送到内容再现装置1620，基于来自根据HTTP的内容再现装置1620的MPD响应于请求从存储单元1632提取编码流，并且将编码流传送到内容再现装置1620作为HTTP响应。

<内容再现装置1620的配置>

以上描述了根据实施例的内容服务器1610的配置。将参照图51继续地描述内容再现装置1620的配置。

图51是示出了内容再现装置1620的配置的功能框图。如图51所示，内容再现装置1620包括通信单元1651、存储单元1652、再现单元1653、选择单元1654、当前地点获取单元1656。

通信单元1651是与内容服务器1610的接口，并且将用于数据的请求给予内容服务器1610以从内容服务器1610获取数据。更具体地，通信单元1651具有根据HTTP与内容再现装置1620进行通信的HTTP客户端的功能。例如，通信单元1651可以使用HTTP范围(range)以选择性地从内容服务器1610获取MPD或编码流的片段。

存储单元1652存储关于内容的再现的各种信息。例如，存储单元1652对通过通信单元1651从内容服务器1610所获取的片段顺序地进行缓冲。由存储单元1652所缓冲的编码流的片段以先进先出(FIFO)的方式顺序地被提供给再现单元1653。

基于将参数添加到在来自以下描述的内容服务器1611的MPD中所描述的内容的URL的指令，存储单元1652通过通信单元1651将参数添加到URL并且存储用于访问URL的定义。

再现单元1653对从存储单元1652所提供的片段顺序地进行再现。具体地，再现单元1653执行片段的解码、DA转换以及渲染等。

选择单元1654顺序地选择与在相同的内容中的MPD中所包括的特定比特率相对应的编码流的片段的获取。例如，当选择单元1654根据网络1612的带宽顺序地选择片段“A1，”“B2，”以及“A3”时，通信单元1651从内容服务器1610顺序地获取片段“A1，”“B2，”以及“A3”，如图48所示。

当前地点获取单元1656获取内容再现装置1620的当前地点，并且可以包括获取全球定位系统(GPS内容再现装置1620)接收器等的当前地点的模块。当前地点获取单元1656可以使用无线网络获取内容再现装置1620的当前位置。

<内容服务器1611的配置>

图52是示出了内容服务器1611的配置的示例的说明图。如图52所示，内容服务器1611包括存储单元1671和通信单元1672。

存储单元1671存储与MPD的URL有关的信息。响应于来自给出了再现内容请求的内容再现装置1620的请求，与MPD的URL有关的信息从内容服务器1611被传送到内容再现服务器1620。当关于MPD的URL的信息被提供给内容再现装置1620时，存储单元1671在内容再现装置1620将参数添加到URL时存储在MPD中所描述的定义信息。

通信单元1672是与内容再现装置1620的接口，并且经由网络1612与内容再现装置1620进行通信。即，通信单元1672从给出了再现内容请求的内容再现装置1620接收用于与MPD的URL有关的信息的请求，并且将与MPD的URL有关的信息传送到内容再现装置1620。从通信单元1672所传送的MPD的URL包括用于由内容再现装置1620添加参数的信息。

可以采用在内容服务器1611与内容再现装置1620之间所共享的定义信息广泛地设置由内容再现装置1620添加到MPD的URL的参数。例如，内容再现装置1620的当前位置、使用内容再现装置1620的用户的用户ID、内容再现装置1620的存储器大小或与内容再现装置1620的存储容量有关的信息可以由内容再现装置1620添加到MPD的URL。

在具有以上所述的配置的内容再现系统中，通过应用以上参照图1至图32所描述的本技术，可以获得与以上参照图1至图32所描述的相同的有利效果。

内容服务器1610的编码器1641具有根据以上所述的实施例的编码装置(例如，编码装置10)的功能。内容再现装置1620的再现单元1653具有根据以上所述的实施例的解码装置(例如，解码装置160)的功能。因此，可以改进针对每个色域所分层的图像的编码效率。此外，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

通过在内容再现系统中传送以及接收根据本技术所生成的编码流，可以改进针对每个色域所分层的图像的编码效率。可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

<第十实施例>

<Wi-Fi标准的无线通信系统的应用示例>

将描述可以应用本技术的无线通信系统中的无线通信装置的基本操作的示例。

<无线通信装置的基本操作的示例>

首先，传送以及接收无线分组，直到建立了点对点(P2P)连接并且特定的应用程序进行操作为止。

接下来，在与第二层的连接之前，传送以及接收无线分组直到指定了要使用的特定的应用程序、建立了P2P连接以及特定的应用程序进行操作为止。之后，在与第二层的连接之后，在特定的应用程序启动的情况下传送以及接收无线分组。

<特定的应用程序的操作的开始处的通信示例>

图53和图54是示出了直到建立了以上所述的点对点(P2P)连接并且特定的应用程序进行操作为止的无线分组的传送和接收的示例，以及作为无线通信的基础的每个装置的通信处理的示例的序列图。具体地，示出了直接连接的建立顺序的示例，在直接连接中按照在Wi-Fi联盟中标准化的Wi-Fi直连标准(有时称为Wi-Fi P2P)进行连接。

在此，在Wi-Fi直连中，多个无线通信装置检测无线通信装置的互相存在(装置发现、服务发现)。然后，当选择要连接的装置时，通过根据Wi-Fi保护设置(WPS)执行装置认证在所选择的装置之间建立直接连接。在Wi-Fi直连中，多个无线通信装置确定主装置(组拥有者)和从装置(客户端)的角色以形成通信组。

在此，在通信处理的示例中，将省略一些分组的传送以及接收。例如，初始连接时，如上所述，为了使用WPS分组交换是必要的。在认证请求/响应的交换等中，分组交换也是必要的。然而，在图53和图54中，未示出这样的分组交换，并且仅示出了在第二连接之后的连接。

在图53和图54中，示出了第一无线通信装置1701与第二无线通信装置1702之间的通信处理的示例，但是同样适用于其他无线通信装置之间的通信处理。

首先，在第一无线通信装置1701与第二无线通信装置1702之间执行装置发现(1711)。例如，第一无线通信装置1701传送探测请求(响应请求信号)并且接收探测请求(响应信号)以探测来自第二无线通信装置1702的请求。因此，第一无线通信装置1701与第二无线通信装置1702之间可以互相发现存在。此外，通过装置发现可以获取配对方的装置名称或类型(TV、PC、智能电话等)。

随后，在第一无线通信装置1701与第二无线通信装置1702之间执行服务发现(1712)。例如，第一无线通信装置1701传送服务发现查询以询问与通过装置发现所发现的第二无线通信装置1702相对应的服务。然后，第一无线通信装置1701通过接收来自第二无线通信装置1702的服务发现响应来获取与第二无线通信装置1702相对应的服务。即，可以通过服务发现获取配对方可以执行的服务等。配对方可以执行的服务的示例包括服务和协议(数字生活网络联盟(DLNA)、数字媒体渲染(DMR)等)。

随后，用户执行选择连接配对方的操作(连接配对方选择操作)(1713)。在一些情况下，仅由第一无线通信装置1701和第二无线通信装置1702中之一执行连接配对方选择操作。例如，连接配对方选择画面显示在第一无线通信装置1701的显示单元上，并且第二无线通信装置1702通过在连接配对方选择画面上的用户操作被选择作为连接配对方。

当用户执行连接配对方选择操作(1713)时，在第一无线通信装置1701与第二无线通信装置1702之间执行组拥有者协商(1714)。图53和图54示出了作为组拥有者协商的结果第一无线通信装置1701用作组拥有者1715并且第二无线通信装置1702用作客户端1716的示例。

随后，通过在第一无线通信装置1701与第二无线通信装置1702之间执行处理(1717至1720)建立直接连接。即，顺序地执行关联(L2(第二层)链路建立)(1717)和安全链路建立(1718)。然后，顺序地执行IP地址分配(1719)和通过简单服务发现协议(SSDP)等进行的在L3上的L4的设立(1720)。L2(层2)意味着第二层(数据链路层)、L3(层3)意味着第三层(网络层)以及L4(层4)意味着第四层(传送层)。

随后，由用户执行用于特定的应用程序的指定或启动操作(应用程序指定启动操作)(1721)。在一些情况下，仅由第一无线通信装置1701和第二无线通信装置1702中之一执行应用程序指定启动操作。例如，应用程序指定启动操作画面显示在第一无线通信装置1701的显示单元上，并且通过用户的操作在应用程序指定启动操作画面上选择特定的应用程序。

当由用户执行应用程序指定启动操作(1721)时，在第一无线通信装置1701与第二无线通信装置1702之间执行与程序指定启动操作相对应的特定的应用程序(1722)。

在此，假定下述情况：在该情况中，在Wi-Fi直连标准之前的技术规格(采用IEEE 802.11进行标准化的技术规格)的范围内进行接入点(AP)与基站(STA)之间的连接。在这种情况下，在与第二层的连接之前(就IEEE 802.11而言，在关联之前)，预先可能不知道连接了哪个装置。

相反，在Wi-Fi直连中，如图53和图54所示，当在装置发现或服务发现(可选)中发现了连接候选配对方时，可以获取关于连接配对方的信息。关于连接配对方的信息例如为基本装置的类型或相对应的特定的应用程序。然后，可以基于由用户所获取的关于连接配对方的信息选择连接配对方。

通过对此结构进行扩展，还可以实现下述无线通信系统：在该无线通信系统中，在与第二层的连接之前对特定的应用程序进行指定，选择连接配对方以及在选择之后自动地启动特定的应用程序。在图56中示出了在这种情况下的连接序列的示例。在图55中示出了在通信处理中传送以及接收的帧格式的配置的示例。

<帧格式的配置的示例>

图55是示意地示出了作为本技术的基础由装置在通信处理中传送以及接收的帧格式的配置的示例的图。即，图55示出了用于建立与第二层的连接的MAC帧的配置的示例。具体地，示出了用于实现图56所示的序列的关联请求/响应(1787)的帧格式的示例。

帧控制(1751)至序列控制(1756)是MAC头信息。当传送关联请求时，在帧控制中设置B3B2＝“0b00”并且B7B6B5B4＝“0b0000”(1751)。当封装关联响应时，还在帧控制中设置B3B2＝“0b00”并且B7B6B5B4＝“0b0001”(1751)。“0b00”为二进制的“00”，“0b0000”为二进制的“0000”，“0b0001”为二进制的“0001”。

在此，图55中所示的MAC帧基本上为在IEEE 802.11-2007技术规格的部分7.2.3.4以及7.2.3.5中所描述的关联请求/响应帧格式。然而，MAC帧的不同之处在于，不仅包括在IEEE 802.11技术规格中所定义的信息元素(在下文中缩略为IE)而且还包括唯一地扩展的IE。

为了指示供应商特定的IE(1760)，127被设置为IE类型的十进制数(信息元素ID(1761))。在这种情况下，在IEEE 802.11-2007技术规格的部分7.3.2.26中，长度字段(1762)和OUI字段(1763)延续，并且随后布置供应商特定内容(1764)。

作为供应商特定内容(1764)的内容，首先提供指示供应商特定IE的类型的字段(IE类型(1765))。随后，考虑可以配置成被存储的多个子元素(1766)。

作为子元素(1766)的内容，考虑包括要使用的特定的应用程序的标题(1767)或特定的应用程序操作时装置的角色(1768)。考虑包括诸如用于特定的应用程序或其控制的端口号码的信息(用于L4设立的信息)(1769)，或关于特定的应用程序的能力的信息(能力(capability)信息)。在此，能力信息是例如当指定的特定应用程序为DLNA时，规定例如与音频传送/再现的对应关系或与视频传送/再现的对应关系的信息。

在具有这样的配置的无线通信系统中，通过应用以上参照图1至图32所描述的本技术，可以获得与以上参照图1至图32所描述的相同的有利效果。系统具有根据以上所描述的实施例的编码装置(例如，编码装置10)的功能和解码装置(例如，解码装置160)的功能，因此系统可以传送以及接收编码流。作为结果，可以改进针对每个色域所分层的图像的编码效率。此外，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。在以上所述的无线通信系统中，通过传送以及接收根据本技术所生成的编码流，可以改进针对每个色域所分层的图像的编码效率。此外，可以对改进了针对每个色域所分层的图像的编码效率的编码流进行解码。

在本说明书中，描述了下述示例：在该示例中，诸如偏移信息的各种信息被复用到编码流，并且被从编码侧传送到解码侧。然而，传送信息的方案不限于示例。例如，信息可以被传送或记录为与编码比特流相关联的分离数据，而不被复用到编码比特流中。在此，术语“相关联”意味着解码时在比特流中所包括的图像(可以为图像的一部分，诸如切片或块)和与图像相对应的信息可以被链接。即，可以沿着与图像(或比特流)的传送路径不同的传送路径传送信息。信息可以记录在与图像(或比特流)的记录介质不同的记录介质(或同一记录介质的不同记录区域)上。例如，信息与图像(或比特流)可以以任意单位相关联，诸如，以多个帧为单位、以一个帧为单位、或以帧的一部分为单位。

本公开可以应用于当经由诸如卫星广播、有线TV、因特网或移动电话的网络媒介接收通过如离散余弦变换的正交变换和诸如MPEG或H.26x的运动补偿进行压缩的比特流时，或当在诸如光、磁盘或闪速存储器的存储媒介上处理比特流时所使用的编码装置或解码装置。

在本说明书中，例示了下述情况：在该情况中，根据符合HEVC方案的方案执行编码和解码，但是本公开的范围不限于此。本说明书还可以应用到其他方案的编码装置和解码装置，只要编码装置和解码装置是执行色域可伸缩编码的编码装置和相对应的解码装置即可。

本公开的实施例不限于以上所述的实施例，在不背离本公开的主旨的情况下，可以在本公开的范围内进行各种修改。

例如，在本公开中，可以配置云计算，在云计算中，要协作处理的一个功能可以经由网络被分发至多个装置。

在以上所述的流程图中所描述的步骤可以由单一装置执行，并且也可以由多个装置分散并且执行。

当在一个步骤中包括多个处理时，在一个步骤中所包括的多个处理可以由单一装置执行，并且也可以由多个装置分散并且执行。

本公开可以如下配置。

(1)一种解码装置，包括：接收单元，所述接收单元接收针对每个色域所分层的图像中的第一层的编码图像；色域转换单元，所述色域转换单元将第二层的解码图像的色域转换为所述第一层的色域；滤波处理单元，所述滤波处理单元对由所述色域转换单元所转换的所述第二层的解码图像的预定频带执行滤波处理；以及解码单元，所述解码单元使用受到由所述滤波处理单元进行的所述滤波处理的所述第二层的解码图像，对由所述接收单元所接收的所述第一层的编码图像进行解码，以生成所述第一层的解码图像。

(2)前述的(1)中所述的解码装置，所述滤波处理单元可以对由所述解码单元所解码的所述第一层的解码图像执行所述滤波处理。所述解码单元可以使用受到通过所述滤波处理进行的所述滤波处理的所述第一层的解码图像和所述第二层的解码图像，对所述第一层的编码图像进行解码。

(3)前述的(2)中所述的解码装置，所述滤波处理单元可以对所述第二层的解码图像的预定频带和所述第一层的解码图像执行采样自适应偏移(SAO)处理。

(4)前述的(3)中所述的解码装置，所述滤波处理单元可以对所述第二层的解码图像的预定频带执行频带偏移处理。

(5)前述的(4)中所述的解码装置，所述滤波处理单元可以对所述第二层的解码图像的低亮度频带执行所述频带偏移处理。

(6)前述的(4)或(5)中所述的解码装置，所述滤波处理单元可以对所述第二层的解码图像的高亮度频带执行所述频带偏移处理。

(7)前述的(1)至(6)中任一项中所述的解码装置，所述接收单元可以接收所述滤波处理的参数。所述滤波处理单元可以使用由所述接收单元所接收的参数，对所述第二层的解码图像的预定频带执行所述滤波处理。

(8)前述的(7)中所述的解码装置，所述接收单元可以以最大编码单位(LCU)接收参数。

(9)一种解码装置中的解码方法，包括：接收针对每个色域所分层的图像中的第一层的编码图像的接收步骤；将第二层的解码图像的色域转换为第一层的色域的色域转换步骤；对在所述色域转换步骤中所转换的所述第二层的解码图像的预定频带执行滤波处理的滤波处理步骤；以及使用在所述滤波处理步骤的处理中受到所述滤波处理的所述第二层的解码图像，对在所述接收步骤的处理中所接收的所述第一层的编码图像进行解码，以生成所述第一层的解码图像的解码步骤。

(10)一种编码装置，包括：色域转换单元，所述色域转换单元将用于针对每个色域所分层的图像中的第一层的图像的编码的第二层的解码图像的色域转换为第一层的色域；滤波处理单元，所述滤波处理单元对由所述色域转换单元所转换的所述第二层的解码图像的预定频带执行滤波处理；编码单元，所述编码单元使用受到通过所述滤波处理进行的所述滤波处理的所述第二层的解码图像，对所述第一层的图像进行编码，以生成所述第一层的编码图像；以及传送单元，所述传送单元传送由所述编码单元所生成的所述第一层的编码图像。

(11)前述的(10)中所述的编码装置，还可以包括：解码单元，所述解码单元对所述第一层的编码图像进行解码以生成所述第一层的解码图像。所述滤波处理可以对由所述解码单元所解码的所述第一层的解码图像执行所述滤波处理。所述编码单元可以使用受到由所述滤波处理进行的所述滤波处理的所述第一层的解码图像和所述第二层的解码图像，对所述第一层的图像进行编码。

(12)前述的(11)中所述的编码装置，所述滤波处理单元可以对所述第二层的解码图像的预定频带和所述第一层的解码图像执行采样自适应偏移(SAO)处理。

(13)前述的(12)中所述的编码装置，所述滤波处理单元可以对所述第二层的解码图像的预定频带执行频带偏移处理。

(14)前述的(13)中所述的编码装置，所述滤波处理单元可以对所述第二层的解码图像的低亮度频带执行所述频带偏移处理。

(15)前述的(13)或(14)中所述的编码装置，所述滤波处理单元可以对所述第二层的解码图像的高亮度频带执行所述频带偏移处理。

(16)前述的(10)至(15)中任一项所述的编码装置，还可以包括：计算单元，计算所述滤波处理的参数。所述滤波处理单元可以使用由所述计算单元所计算出的参数，对所述第二层的解码图像的预定频带执行所述滤波处理。所述传送单元传送所述参数。

(17)前述的(16)中所述的编码装置，所述计算单元可以以所述最大编码单位(LCU)计算所述参数。

(18)一种编码装置中的编码方法，包括：将用于针对每个色域所分层的图像中的所述第一层的图像的编码的第二层的解码图像的色域转换为第一层的色域的色域转换步骤；对在所述色域转换步骤的处理中所转换的所述第二层的解码图像的预定频带执行滤波处理的滤波处理步骤；使用受到通过所述滤波处理进行的所述滤波处理的所述第二层的解码图像对所述第一层的图像进行编码，以生成所述第一层的编码图像的编码步骤；以及传送在所述编码步骤的处理中所述生成的所述第一层的编码图像的传送步骤。

参考符号列表

30  编码装置

34  传送单元

73  计算单元

81  加法单元

92  色域转换单元

113 频带偏移计算单元

114 滤波处理单元

160 解码装置

161 接收单元

205 加法单元

217 色域转换单元

234 滤波处理单元

Claims (18)

1.一种解码装置，包括：

接收单元，所述接收单元接收针对每个色域所分层的图像中的第一层的编码图像；

色域转换单元，所述色域转换单元将第二层的解码图像的色域转换为所述第一层的色域；

滤波处理单元，所述滤波处理单元对由所述色域转换单元所转换的所述第二层的解码图像的预定频带执行滤波处理；以及

解码单元，所述解码单元使用受到由所述滤波处理单元进行的所述滤波处理的所述第二层的解码图像，对由所述接收单元所接收的所述第一层的编码图像进行解码，以生成所述第一层的解码图像。

2.根据权利要求1所述的解码装置，

其中，所述滤波处理单元对由所述解码单元所解码的所述第一层的解码图像执行所述滤波处理，以及

其中，所述解码单元使用受到由所述滤波处理进行的所述滤波处理的所述第一层的解码图像和所述第二层的解码图像，对所述第一层的编码图像进行解码。

3.根据权利要求2所述的解码装置，其中，所述滤波处理单元对所述第二层的解码图像的所述预定频带和所述第一层的解码图像执行采样自适应偏移(SAO)处理。

4.根据权利要求3所述的解码装置，其中，所述滤波处理单元对所述第二层的解码图像的所述预定频带执行频带偏移处理。

5.根据权利要求4所述的解码装置，其中，所述滤波处理单元对所述第二层的解码图像的低亮度频带执行所述频带偏移处理。

6.根据权利要求4所述的解码装置，其中，所述滤波处理单元对所述第二层的解码图像的高亮度频带执行所述频带偏移处理。

7.根据权利要求1所述的解码装置，

其中，所述接收单元接收所述滤波处理的参数，以及

其中，所述滤波处理单元使用由所述接收单元所接收的所述参数，对所述第二层的解码图像的所述预定频带执行所述滤波处理。

8.根据权利要求7所述的解码装置，其中，所述接收单元以最大编码单位(LCU)接收所述参数。

9.一种解码装置中的解码方法，包括：

接收步骤，接收针对每个色域所分层的图像中的第一层的编码图像；

色域转换步骤，将第二层的解码图像的色域转换为所述第一层的色域；

滤波处理步骤，对在所述色域转换步骤的处理中所转换的所述第二层的解码图像的预定频带执行滤波处理；以及

解码步骤，使用在所述滤波处理步骤的处理中受到所述滤波处理的所述第二层的解码图像，对在所述接收步骤的处理中所接收的所述第一层的编码图像进行解码，以生成所述第一层的解码图像。

10.一种编码装置，包括：

色域转换单元，所述色域转换单元将用于针对每个色域所分层的图像中的第一层的图像的编码的第二层的解码图像的色域转换为所述第一层的色域；

滤波处理单元，所述滤波处理单元对由所述色域转换单元所转换的所述第二层的解码图像的预定频带执行滤波处理；

编码单元，所述编码单元使用受到由所述滤波处理进行的所述滤波处理的所述第二层的解码图像，对所述第一层的图像进行编码，以生成所述第一层的编码图像；以及

传送单元，所述传送单元传送由所述编码单元所生成的所述第一层的编码图像。

11.根据权利要求10所述的编码装置，还包括：

解码单元，所述解码单元对所述第一层的编码图像进行解码以生成所述第一层的解码图像，

其中，所述滤波处理对由所述解码单元所解码的所述第一层的解码图像执行所述滤波处理，以及

其中，所述编码单元使用受到由所述滤波处理进行的所述滤波处理的所述第一层的解码图像和所述第二层的解码图像，对所述第一层的图像进行编码。

12.根据权利要求11所述的编码装置，其中，所述滤波处理单元对所述第二层的解码图像的所述预定频带和所述第一层的解码图像执行采样自适应偏移(SAO)处理。

13.根据权利要求12所述的编码装置，其中，所述滤波处理单元对所述第二层的解码图像的所述预定频带执行频带偏移处理。

14.根据权利要求13所述的编码装置，其中，所述滤波处理单元对所述第二层的解码图像的低亮度频带执行频带偏移处理。

15.根据权利要求13所述的编码装置，其中，所述滤波处理单元对所述第二层的解码图像的高亮度频带执行频带偏移处理。

16.根据权利要求10所述的编码装置，还包括：

计算单元，计算所述滤波处理的参数，

其中，所述滤波处理单元使用由所述计算单元所计算出的所述参数，对所述第二层的解码图像的所述预定频带执行所述滤波处理，以及

其中，所述传送单元传送所述参数。

17.根据权利要求16所述的编码装置，其中，所述计算单元以所述最大编码单位(LCU)计算所述参数。

18.一种编码装置中的编码方法，包括：

色域转换步骤，将用于针对每个色域所分层的图像中的第一层的图像的编码的第二层的解码图像的色域转换为所述第一层的色域；

滤波处理步骤，对在所述色域转换步骤的处理中所转换的所述第二层的解码图像的预定频带执行滤波处理；

编码步骤，使用受到由所述滤波处理进行的所述滤波处理的所述第二层的解码图像对所述第一层的图像进行编码，以生成所述第一层的编码图像；以及

传送步骤，传送在所述编码步骤的处理中所生成的所述第一层的编码图像。