CN110012297A - 解码设备和解码方法、编码设备和编码方法 - Google Patents

Abstract

本公开内容涉及可以使解码侧能够准确地识别编码目标图像的色域的解码设备、解码方法、编码设备和编码方法。接收单元从发送编码流的编码设备接收编码流，编码流包括图像的编码数据和指示图像的色域的色域信息。提取单元从编码流提取编码数据和色域信息。解码单元对编码数据进行解码并生成图像。本公开内容可以应用到例如高效视频编码(HEVC)方案的解码设备。

Description

解码设备和解码方法、编码设备和编码方法

本申请是申请号为201480002494.5(PCT申请号为PCT/JP2014/072104)、申请日为2014年8月25日、名称为“解码设备和解码方法、编码设备和编码方法”的发明专利申请的分案申请。

技术领域

本公开内容涉及解码设备、解码方法、编码设备以及编码方法，并且更具体而言，涉及使解码侧能够准确识别编码目标图像的色域(color gamut)的解码设备、解码方法、编码设备以及编码方法。

背景技术

近年来，符合诸如运动图片专家组阶段(MPEG)的方案的设备已经扩散用于广播站等的信息递送以及一般家庭中的信息接收，在这种方案中，利用图像信息的特定冗余通过正交变换(诸如离散余弦变换(DCT))和运动补偿来执行压缩。

特别地，MPEG 2(ISO/IEC 13818-2)方案被定义为通用图像编码方案，并且现在正被作为转换隔行扫描图像、逐行扫描图像、标准分辨率图像和高清晰度图像的标准，广泛地用于大范围的专业使用和消费者使用的应用。通过利用MPEG 2方案，例如，可以通过在具有720×480像素的标准分辨率的隔行扫描图像的情况下分配4至8Mbps的比特率以及在具有1920×1088像素的高分辨率的隔行扫描图像的情况下分配18至22Mbps的比特率来实现高压缩率和良好的图像质量。

MPEG 2主要针对适于广播的高质量编码，但不支持比特率比MPEG 1的比特率更低的编码方案，即高压缩率的编码方案。随着移动终端扩散，已经认为对这样的编码方案的需求在不久的将来将增加，因此MPEG 4编码方案已经标准化。ISO/IEC 14496-2已在1998年12月被批准作为MPEG 4图像编码方案的国际标准。

另外，近年来，诸如最初设计为用于视频会议的图像编码的H.26L(ITU-T Q6/16VCEG)的标准的标准化正在进行。虽然已知H.26L比诸如MPEG 2或MPEG 4的编码方案对于编码和解码需要更多的计算量，但也已知H.26L能够实现高编码效率。

另外，近年来，作为MPEG 4活动之一，基于H.26L来结合H.26L不支持的功能并实现高编码效率的标准化已经实施为增强压缩视频编码的联合模型。这种标准化已经于2003年3月以H.264或MPEG-4第10部分(高级视频编码(AVC))的名称被批准。

此外，作为其扩展，包括专业使用需要的编码工具(诸如RGB或YUV422或YUV444或8×8DCT)和在MPEG-2中指定的量化矩阵的保真度范围扩展(FRExt)已经在2005年2月被标准化。结果，AVC方案已变成还能够很好地表达电影中所包括的影片噪声的编码方案，并正使用于诸如BD(Blu-ray(注册商标)盘)的大范围的应用中。

但是，近年来，对能够压缩为高清晰度图像4倍的大约4000×2000像素的图像或者在诸如因特网的有限传输能力环境中传送高清晰度图像的高压缩率编码存在日益增加的需求。为此，编码效率的提高已由ITU-T下的视频编码专家组(VCEG)不断地审查。

目前，为了进一步将编码效率提高至比在AVC中更高，称为高效视频编码(HEVC)的编码方案的标准化已经由联合协作团队视频编码(JCTVC)进行，JCTVC是ITU-T和ISO/IEC的联合标准化组织。非专利文献1已作为草案于2013年8月发布。

同时，在AVC方案和HEVC方案中，编码目标图像的色域由视频可用性信息(VUI)的colour_primaries定义。

引用列表

非专利文件

非专利文件1：Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang,"Editors'proposed corrections to HEVC version 1,"JCTVC-M0432_v3,2013.4.18-4.26

发明内容

本发明要解决的问题

但是，编码目标图像的色域通过标识在另一标准中定义的任一色域的索引来定义。因此，难以将除固定色域之外的色域定义为编码目标图像的色域，并且难以准确地在解码侧识别编码目标图像的色域。

本公开内容是鉴于上述情况产生的，并且期望使解码侧能够准确地识别编码目标图像的色域。

问题的解决方案

根据本公开内容第一方面的解码设备包括：接收单元，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据和指示图像的色域的色域信息；提取单元，从由接收单元接收的编码流提取编码数据和色域信息；以及解码单元，对由提取单元提取的编码数据进行解码并生成图像。

根据本公开内容第一方面的解码方法与根据本公开内容第一方面的解码设备对应。

在本公开内容的第一方面中，从发送编码流的编码设备接收包括图像的编码数据和指示图像的色域的色域信息的编码流，从编码流提取编码数据和色域信息，以及对编码数据解码以生成图像。

根据本公开内容第二方面的编码设备包括：编码单元，对图像编码并生成编码数据；设置单元，设置指示图像的色域的色域信息；以及发送单元，发送包括由编码单元生成的编码数据和由设置单元生成的色域信息的编码流。

根据本公开内容第二方面的编码方法与根据本公开内容第二方面的编码设备对应。

在本公开内容的第二方面中，对图像编码以生成编码数据，设置指示图像的色域的色域信息，以及发送包括编码数据和色域信息的编码流。

根据本公开内容第三方面的解码设备包括：接收单元，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据、标识某色域的标识信息以及图像的色域与所述某色域的覆盖比；提取单元，从由接收单元接收的编码流提取编码数据、标识信息和覆盖比；以及解码单元，对由提取单元提取的编码数据进行解码并生成图像。

根据本公开内容第三方面的解码方法与根据本公开内容第三方面的解码设备对应。

在本公开内容的第三方面中，从发送编码流的编码设备接收包括图像的编码数据、标识某色域的标识信息以及图像的色域与该某色域的覆盖比的编码流，从编码流提取编码数据、标识信息和覆盖比，以及对编码数据解码以生成图像。

根据本公开内容第四方面的编码设备包括：编码单元，对图像编码并生成编码数据；设置单元，设置标识某色域的标识信息和图像的色域与所述某色域的覆盖比；以及发送单元，发送包括在编码单元中生成的编码数据以及在设置单元中生成的标识信息和覆盖比的编码流。

根据本公开内容第四方面的编码方法与根据本公开内容第四方面的编码设备对应。

在本公开内容的第四方面中，对图像编码以生成编码数据，设置标识某色域的标识信息和图像的色域与该某色域的覆盖比，以及发送包括编码数据、标识信息和覆盖比的编码流。

根据第一和第三方面的解码设备以及根据第二和第四方面的编码设备可以通过使计算机执行程序来实现。

可以提供由计算机执行以实现根据第一和第三方面的解码设备以及根据第二和第四方面的编码设备的程序，使得该程序经由传输介质发送或记录在记录介质中。

根据第一或第三方面的解码设备和根据第二或第四方面的编码设备可以是独立设备，或者可以是配置单个设备的内部块。

本发明的效果

根据本公开内容的第一和第三方面，可以对图像的编码数据进行解码。另外，根据本公开内容的第一和第三方面，可以准确地识别编码目标图像的色域。

另外，根据本公开内容的第二和第四方面，可以编码图像。另外，根据本公开内容的第二和第四方面，可以使解码侧能够准确地识别编码目标图像的色域。

不一定限制于以上所述的效果，并且可以包括本公开内容中所描述的任何效果。

附图说明

图1是示出根据本公开内容第一实施例的编码设备的示例性配置的框图。

图2是示出colour_primaries_info SEI的示例性语法的图。

图3是用于描述colour_primaries_info SEI的信息的内容的图。

图4是用于描述colour_primaries_info SEI的信息的内容的图。

图5是示出colour_primaries_info_sei_element的示例性语法的图。

图6是用于描述colour_primaries_info_sei_element的信息的内容的图。

图7是用于描述colour_primaries_info_sei_element的信息的内容的图。

图8是示出ref_display_luminance_info SEI的示例性语法的图。

图9是用于描述ref_display_luminance_info SEI的信息的内容的图。

图10是用于描述编码设备的流生成处理的流程图。

图11是示出根据本公开内容第一实施例的解码设备的示例性配置的框图。

图12是用于描述图11的解码设备的图像生成处理的流程图。

图13是示出根据本公开内容第二实施例的编码设备的示例性配置的框图。

图14是示出colour_primaries_info SEI的示例性语法的图。

图15是用于描述colour_primaries_info SEI的信息的图。

图16是用于描述colour_primaries_info SEI的信息的图。

图17是用于描述colour_primaries_info SEI的信息的图。

图18是用于描述colour_primaries_info SEI的信息的图。

图19是用于描述colour_primaries_info SEI的信息的图。

图20是用于描述编码设备的流生成处理的流程图。

图21是示出根据本公开内容第二实施例的解码设备的示例性配置的框图。

图22是用于描述图21的解码设备的图像生成处理的流程图。

图23是用于描述作为系统层的MP4框(MP4box)的图，色域信息和亮度信息布置在该MP4框中。

图24是示出计算机的示例性硬件配置的框图。

图25是示出示例性多视图图像编码方案的图。

图26是示出本公开内容适用的多视图图像编码设备的示例性配置的图。

图27是示出本公开内容适用的多视图图像解码设备的示例性配置的图。

图28是示出示例性可伸缩图像编码方案的图。

图29是用于描述示例性空间可伸缩编码的图。

图30是用于描述示例性时间可伸缩编码的图。

图31是用于描述示例性信噪比可伸缩编码的图。

图32是示出本公开内容适用的可伸缩图像编码设备的示例性配置的图。

图33是示出本公开内容适用的可伸缩图像解码设备的示例性配置的图。

图34是示出本公开内容适用的电视设备的示例性示意配置的图。

图35是示出本公开内容适用的移动电话的示例性示意配置的图。

图36是示出本公开内容适用的记录/再现设备的示例性示意配置的图。

图37是示出本公开内容适用的成像设备的示例性示意配置的图。

图38是示出可伸缩编码应用例子的框图。

图39是示出另一可伸缩编码应用例子的框图。

图40是示出另一可伸缩编码应用例子的框图。

图41示出了本公开内容适用的视频套件(viedo set)的示例性示意配置。

图42示出了本公开内容适用的视频处理器的示例性示意配置。

图43示出了本公开内容适用的视频处理器的另一示例性示意配置。

具体实施方式

<第一实施例>

(根据第一实施例的编码设备的示例性配置)

图1是示出根据本公开内容第一实施例的编码设备的示例性配置的框图。

图1的编码设备10包括设置单元11、编码单元12以及发送单元13，并根据基于HEVC方案的方案来编码图像。

具体而言，编码设备10的设置单元11设置诸如序列参数集(SPS)、图片参数集(PPS)、VUI和补充增强信息(SEI)的参数集。

SEI的例子包括colour_primaries_info SEI、ref_display_luminance_info SEI等。colour_primaries_info SEI是包括指示色域(的边界)的色域信息的SEI。ref_display_luminance_info SEI是包括指示主显示器(显示单元)的白色、灰色和黑色的亮度级别的亮度信息(主显示器的亮度信息)的SEI，该主显示器在制作编码目标图像时显示该编码目标图像。设置单元11向编码单元12提供设置的参数集。

编码目标图像以帧为单位输入到编码单元12。编码单元12根据HEVC方案对输入的编码目标图像进行编码。编码单元12基于作为编码的结果而获得的编码数据和从设置单元11提供的参数集来生成编码流，并向发送单元13提供该编码流。

发送单元13将从编码单元12提供的编码流发送到将随后描述的解码设备。

(colour_primaries_info SEI的示例性语法)

图2是示出colour_primaries_info SEI的示例性语法的图。

如图2第二行中所示，colour_primaries_info_id在colour_primaries_info SEI中描述。如图3中所示，colour_primaries_info_id是标识色域信息的目的的ID。

如图2第三行中所示，colour_primaries_type在colour_primaries_info SEI中描述。如图3中所示，colour_primaries_type指示颜色空间类型。例如，如图3的表中所示，当颜色空间类型是RGB颜色坐标系时，colour_primaries_type为1，而当颜色空间类型是XYZ颜色坐标系时，colour_primaries_type为2。

如图2第四行中所示，colour_primaries_info_present_flag在colour_primaries_info SEI中描述。如图3中所示，colour_primaries_info_present_flag是指示色域信息中指示颜色空间中的原色的位置的原色信息是否在colour_primaries_info SEI中描述的标志。当描述原色信息时，colour_primaries_info_present_flag为1，而当未描述原色信息时，colour_primaries_info_present_flag为0。

如图2第五行中所示，white_point_info_present_flag在colour_primaries_info SEI中描述。如图3中所示，white_point_info_present_flag是指示色域信息中的白色信息是否在colour_primaries_info SEI中描述的标志，其中该白色信息指示颜色空间中的白色的位置(白点)。当描述白色信息时，white_point_info_present_flag为1，而当未描述白色信息时，white_point_info_present_flag为0。

如图2第六行和第七行中所示，当VUI中包括的colour_description_present_flag为1时，limited_colour_gamut_boundaries_flag在colour_primaries_info SEI中描述。另外，colour_description_present_flag是指示是否描述了标识以另一标准在VUI中定义的色域的索引的标志。当索引在VUI中描述时，colour_description_present_flag为1，而当索引未在VUI中描述时，colour_description_present_flag为0。

另外，如图4中所示，limited_colour_gamut_boundaries_flag是指示编码目标图像的色域是否限制于由VUI中所描述的索引标识的色域的标志。当色域受限制时，limited_colour_gamut_boundaries_flag为0，而当色域不受限制时，limited_colour_gamut_boundaries_flag为1。

如图2第八和第九行中所示，当limited_colour_gamut_boundaries_flag为1时，limited_colour_gamut_range_in_percent在colour_primaries_info SEI中描述。如图4中所示，limited_colour_gamut_range_in_percent指示编码目标图像的色域与由VUI中所描述的索引标识的色域的覆盖比(cover ratio)。换句话说，limited_colour_gamut_range_in_percent是编码目标图像的色域与由VUI中所描述的索引标识的色域之比。

如图2第十和第十一行中所示，当colour_primaries_info_present_flag为1时，colour_primaries_order_type在colour_primaries_info SEI中描述。如图4中所示，colour_primaries_order_type是原色信息的描述次序的类型。

例如，如图4的表中所示，当颜色空间类型是RGB颜色坐标系，原色信息按红、绿和蓝，红、绿和蓝的次序描述，然后其它颜色按波长降序(例如，黄色和青色的次序)描述时，colour_primaries_order_type为1。另外，当颜色空间类型是RGB颜色坐标系并且原色信息按波长降序(例如，红、黄、绿、青和蓝的次序)描述时，colour_primaries_order_type为2。当颜色空间类型是XYZ颜色坐标系并且原色信息按X、Y和Z的次序描述时，colour_primaries_order_type为3。

另外，如图2第十二行中所示，当colour_primaries_info_present_flag为1时，num_colour_primaries_minus3在colour_primaries_info SEI中描述。如图4中所示，num_colour_primaries_minus3是通过从在colour_primaries_info SEI中描述的原色信息的条数中减去3而获得的值。

如图2第十三至十六行中所示，当colour_primaries_info_present_flag为1时，通过由对num_colour_primaries_minus3加3而获得的数来在colour_primaries_info SEI中描述原色信息。原色信息包括指示颜色空间中原色沿X方向的位置的colour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],and ColourPrimaryXManlen[i])以及指示沿Y方向的位置的colour_primaries_info_sei_element(ColourPrimaryYSign[i],ColourPrimaryYExp[i],ColourPrimaryYMantissa[i],and ColourPrimaryYManlen[i])。

如图2第十七至十九行中所示，当white_point_info_present_flag为1时，白色信息在colour_primaries_info SEI中描述。白色信息包括指示在颜色空间中白色沿X方向的位置的colour_primaries_info_sei_element(WhitePointXSign,WhitePointXExp,WhitePointXMantissa,WhitePointXManlen)以及指示沿Y方向的位置的colour_primaries_info_sei_element(WhitePointYSign,WhitePointYExp,WhitePointYMantissa,WhitePointYManlen)。

(colour_primaries_info_sei_element的示例性语法)

图5是示出配置原色信息和白色信息的colour_primaries_info_sei_element的示例性语法的图。

如图5中所示，colour_primaries_info_sei_element包括colour_primaries_info_sign、colour_primaries_info_exponent、colour_primaries_info_mantissa_len_minus1和colour_primaries_info_mantissa。

在图5中，ColourPrimaryXSign[i]、ColourPrimaryYSign[i]、WhitePointXSign和WhitePointYSign被统称为“OutSign”。类似地，ColourPrimaryXExp[i]、ColourPrimaryYExp[i]、WhitePointXExp和WhitePointYExp被统称为“OutExp”，而ColourPrimaryXMantissa[i]、ColourPrimaryYMantissa[i]、WhitePointXMantissa和WhitePointYMantissa被统称为“OutMantissa”。另外，ColourPrimaryXManlen[i]、ColourPrimaryYManlen[i]、WhitePointXManlen和WhitePointYManlen被统称为“OutManLen”。

如图6中所示，colour_primaries_info_sign指示在颜色空间中对应颜色的位置的浮点坐标的符号。当符号为正时，colour_primaries_info_sign为0，而当符号为负时，colour_primaries_info_sign为1。

如图6中所示，colour_primaries_info_exponent指示在颜色空间中对应颜色的位置的浮点坐标的指数。

如图6中所示，colour_primaries_info_mantissa_len_minus1是通过从colour_primaries_info_mantissa的比特数减1而获得的值。如图6中所示，colour_primaries_info_mantissa是在颜色空间中对应颜色的位置的浮点坐标的尾数。

如上所述，colour_primaries_info_sei_element可以指示在颜色空间中对应颜色的位置的坐标x。换句话说，如图7中所示，坐标x可以利用colour_primaries_info_sign、colour_primaries_info_exponent、colour_primaries_info_mantissa_len_minus1和colour_primaries_info_mantissa由以下方程式(1)获得。

[数学公式1]

如果o<e<127，则x＝(-1)^s*2^e-31*(1+n÷2^V)

如果e＝0，则x＝(-1)^s*2^-(30+V)*n...(1)

在方程式(1)中，s表示colour_primaries_info_sign，而e指示colour_primaries_info_exponent。另外，n表示colour_primaries_info_mantissa，而v表示colour_primaries_info_mantissa_len_minus1。

例如，如图7的表中所示，当colour_primaries_info_sei_element是指示在颜色空间中原色沿x方向的坐标ColourPrimariesX的colour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],andColourPrimaryXManlen[i])时，作为colour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],andColourPrimaryXManlen[i])的colour_primaries_info_sign的ColourPrimariesXSign代入方程式(1)的s。

另外，作为colour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],and ColourPrimaryXManlen[i])的colour_primaries_info_exponent的ColourPrimariesXExp代入方程式(1)的e。此外，作为colour_primaries_info_sei_element(ColourPrimaryXSign[i],ColourPrimaryXExp[i],ColourPrimaryXMantissa[i],and ColourPrimaryXManlen[i])的colour_primaries_info_mantissa的ColourPrimaryXMantissa代入方程式(1)的n，而作为colour_primaries_info_mantissa_len_minus1的ColourPrimaryXManlen代入v。因而，在颜色空间中原色沿x方向的位置的坐标ColourPrimariesX计算为坐标x。

类似地，当colour_primaries_info_sei_element是colour_primaries_info_sei_element(ColourPrimaryYSign[i],ColourPrimaryYExp[i],ColourPrimaryYMantissa[i],andColourPrimaryYManlen[i])时，在颜色空间中原色沿y方向的位置的坐标ColourPrimariesY计算为坐标x。

当colour_primaries_info_sei_element是colour_primaries_info_sei_element(WhitePointXSign,WhitePointXExp,WhitePointXMantissa,andWhitePointXManlen)时，在颜色空间中白色沿x方向的位置的坐标WhitePointX计算为坐标x。

当colour_primaries_info_sei_element是colour_primaries_info_sei_element(WhitePointYSign,WhitePointYExp,WhitePointYMantissa,andWhitePointYManlen)时，在颜色空间中白色沿y方向的位置的坐标WhitePointY计算为坐标x。

(ref_display_luminance_info SEI的示例性语法)

图8是示出ref_display_luminance_info SEI的示例性语法的图。

如图8第二行中所示，ref_display_luminance_info_id在ref_display_luminance_info SEI中描述。如图9中所示，ref_display_luminance_info_id是标识主显示器(参考显示器)的白色、灰色和黑色的亮度信息的目的的ID。

如图8第三行中所示，ref_display_luminance_white_present_flag在ref_display_luminance_info SEI中描述。如图9中所示，ref_display_luminance_white_present_flag是指示主显示器的白色的亮度信息是否在ref_display_luminance_infoSEI中描述的标志。当主显示器的白色的亮度信息在ref_display_luminance_info SEI中描述时，ref_display_luminance_white_present_flag为1，而当主显示器的白色的亮度信息未在ref_display_luminance_info SEI中描述时，ref_display_luminance_white_present_flag为0。

如图8第四行和第五行中所示，即使对于黑色和灰色，类似地，ref_display_luminance_black_present_flag和ref_display_luminance_gray_present_flag在ref_display_luminance_info SEI中描述。

另外，如图8第六行和第七行中所示，当ref_display_luminance_white_present_flag为1时，ref_display_luminance_white在ref_display_luminance_info SEI中描述。如图9中所示，ref_display_luminance_white是白色的亮度信息。

如图8第八行和第九行中所示，对于黑色，类似地，当ref_display_luminance_black_present_flag为1时，充当黑色的亮度信息的ref_display_luminance_black在ref_display_luminance_info SEI中描述。

另外，如图8第十行和第十一行中所示，即使对于灰色，类似地，当ref_display_luminance_gray_present_flag为1时，充当灰色的亮度信息的ref_display_luminance_gray在ref_display_luminance_info SEI中描述。

(编码设备的处理的描述)

图10是用于描述编码设备10的流生成处理的流程图。

在图10的步骤S11中，编码设备10的设置单元11设置SPS。在步骤S12中，设置单元11设置包括标识在另一标准中定义的色域的索引(标识信息)的VUI。

在步骤S13中，设置单元11设置PPS。在步骤S14中，设置单元11判定编码目标图像的色域是否比由VUI中包括的索引标识的色域窄。

当在步骤S14中判定编码目标图像的色域比由VUI中包括的索引标识的色域窄时，处理前进到步骤S15。在步骤S15中，设置单元11设置包括编码目标图像的色域信息的colour_primaries_info SEI，而处理前进到步骤S16。

然而，当在步骤S14中判定编码目标图像的色域不比由VUI中包括的索引标识的色域窄时，不设置包括编码目标图像的色域信息的colour_primaries_info SEI。例如，设置包括limited_colour_gamut_range_in_percent的colour_primaries_info SEI。然后，处理前进到步骤S16。

在步骤S16中，设置单元11设置包括主显示器的白色、灰色和黑色的亮度信息的ref_display_luminance_info SEI。设置单元11向编码单元12提供诸如设置的SPS、PPS、VUI、colour_primaries_info SEI和ref_display_luminance_info SEI的参数集。

在步骤S17中，编码单元12根据HEVC方案对从外部输入的帧单位的编码目标图像进行编码。在步骤S18中，编码单元12基于作为编码的结果而获得的编码数据和从设置单元11提供的参数集来生成编码流，并向发送单元13提供该编码流。

在步骤S19中，发送单元13将从编码单元12提供的编码流发送到将随后描述的解码设备，然后处理结束。

如上所述，编码设备10设置并发送包括色域信息的colour_primaries_info SEI，因此即使当编码目标图像具有与另一标准中定义的色域不同的色域时，也可以使解码侧能够准确地识别编码目标图像的色域。

另外，编码设备10设置并发送包括白色、黑色和灰色的亮度信息的ref_display_luminance_info SEI，因此可以使解码侧能够识别主显示器的亮度信息。

以上描述已经结合当编码目标图像的色域比由VUI中包括的索引标识的色域窄时设置包括色域信息的colour_primaries_info SEI的例子作出，但是当编码目标图像的色域比由VUI中包括的索引标识的色域宽时，可以设置包括色域信息的colour_primaries_info SEI。

(根据第一实施例的解码设备的示例性配置)

图11是示出根据本公开内容第一实施例的解码设备的示例性配置的框图，该解码设备对从图1的编码设备10发送的编码流进行解码。

图11的解码设备50包括接收单元51、提取单元52、解码单元53、调节单元54、显示控制单元55以及显示单元56。

解码设备50的接收单元51接收从图1的编码设备10发送的编码流，并向提取单元52提供编码流。

提取单元52从由接收单元51提供的编码流提取参数集和编码数据。提取单元52向解码单元53提供参数集和编码数据。另外，提取单元52向调节单元54提供参数集中的VUI、colour_primaries_info SEI、ref_display_luminance_info SEI。

解码单元53根据HEVC方案对从提取单元52提供的编码数据进行解码。此时，解码单元53还在需要时参考从提取单元52提供的参数集。解码单元53向调节单元54提供作为解码的结果而获得的图像。

调节单元54从由提取单元52提供的colour_primaries_info SEI获取色域信息，或者基于VUI中包括的索引来识别色域。调节单元54基于由获取的色域信息指示的色域或识别的色域以及显示单元56的色域来调节从解码单元53提供的图像的色域。

另外，调节单元54从提取单元52提供的ref_display_luminance_info SEI获取白色、黑色和灰色的亮度信息。调节单元54基于获取的亮度信息和显示单元56的亮度信息来对已调节了色域的图像的亮度动态范围进行调节。调节单元54向显示控制单元55提供已调节了亮度动态范围的图像。

这里，假设在色域的调节之后执行亮度动态范围的调节，但是可以在色域的调节之前执行亮度动态范围的调节。

显示控制单元55使从调节单元54提供的图像显示在显示单元56上。

(解码设备的处理的描述)

图12是用于描述图11的解码设备50的图像生成处理的流程图。

在图12的步骤S51中，解码设备50的接收单元51接收从图1的编码设备10发送的编码流，并向提取单元52提供编码流。

在步骤S52中，提取单元52从由接收单元51提供的编码流提取参数集和编码数据。提取单元52向解码单元53提供参数集和编码数据。另外，提取单元52向调节单元54提供参数集中的VUI、colour_primaries_info SEI、ref_display_luminance_info SEI。

在步骤S53中，解码单元53根据HEVC方案对从提取单元52提供的编码数据进行解码。此时，解码单元53在需要时参考从提取单元52提供的参数集。解码单元53向调节单元54提供作为解码的结果而获得的图像。

在步骤S54中，调节单元54判定是否已从提取单元52提供colour_primaries_infoSEI。当在步骤S54中判定已提供colour_primaries_info SEI时，处理前进到步骤S55。

在步骤S55中，调节单元54从colour_primaries_info SEI获取色域信息，并识别由获取的色域信息指示的色域。另外，当色域信息未包括在colour_primaries_info SEI中时，例如，基于limited_colour_gamut_range_in_percent来识别色域。然后，处理前进到步骤S57。

然而，当在步骤S54中判定还没有提供colour_primaries_info SEI时，在步骤S56中，调节单元54基于包括在从提取单元52提供的VUI中的索引来识别在另一标准中定义的色域。然后，处理前进到步骤S57。

在步骤S57中，调节单元54基于显示单元56的色域或者在步骤S55或步骤S56中识别的色域来调节从解码单元53提供的图像的色域。

在步骤S58中，调节单元54从提取单元52提供的ref_display_luminance_infoSEI获取白色、黑色和灰色的亮度信息。

在步骤S59中，调节单元54基于显示单元56的亮度信息和获取的亮度信息来对已调节了色域的图像的亮度动态范围进行调节。调节单元54向显示控制单元55提供已调节了亮度动态范围的图像。

在步骤S60中，显示控制单元55使从调节单元54提供的图像显示在显示单元56上，然后处理结束。

如上所述，解码设备50接收包括色域信息的colour_primaries_info SEI，因此可以准确地识别编码目标图像的色域。结果，可以优化解码图像的色域。换句话说，当编码目标图像的色域具有与另一标准中定义的色域不同的色域时，解码图像的色域可以不受影响地(in vain)减小或扩大。

另外，解码设备50接收包括白色、黑色和灰色的亮度信息的ref_display_luminance_info SEI，因此准确地识别主显示器的亮度信息。结果，可以优化解码图像的亮度动态范围。

此外，当编码目标图像的色域大于由VUI中包括的索引标识的色域时，色域信息可以不在colour_primaries_info SEI中描述。在这种情况下，解码设备50识别编码目标图像的色域，并基于limited_colour_gamut_range_in_percent和由VUI中包括的索引标识的色域来调节色域。

如上所述，与编码目标的色域由VUI的索引定义时相比，当未描述色域信息时，解码设备50可以基于limited_colour_gamut_range_in_percent来准确地识别编码目标图像的色域。

<第二实施例>

(根据第二实施例的编码设备的示例性配置)

图13是示出根据本公开内容第二实施例的编码设备的示例性配置的框图。

在图13中所示的部件中，与图1中所示的部件相同的部件由相同的参考标号表示。将适当地省略重复的描述。

图13的编码设备70的配置与图1的配置的区别在于：提供设置单元72而不是设置单元11，并且新提供了图像调节单元71。

图像从外部输入到编码设备70的图像调节单元71。图像调节单元71根据用户的制作工作执行例如在使从外部输入的图像显示在主显示器(未图示)上时编辑该图像的操作。图像调节单元71向设置单元72提供编辑的图像的色域信息以及主显示器(未图示)的白色和黑色的亮度信息。另外，图像调节单元71向编码单元12输入编辑的图像作为编码目标图像。

设置单元72设置SPS、PPS和VUI。另外，设置单元72设置包括从图像调节单元71提供的色域信息和亮度信息的colour_primaries_info SEI。设置单元72向编码单元12提供诸如设置的SPS、PPS、VUI和colour_primaries_info SEI的参数集。

(colour_primaries_info SEI的示例性语法)

图14是示出colour_primaries_info SEI的示例性语法的图，而图15至19是用于描述colour_primaries_info SEI的信息的图。

如图14中所示，colour_primaries_info_id在colour_primaries_info SEI中描述。如图15中所示，colour_primaries_info_id是标识色域信息的目的的ID。

另外，如图14中所示，colour_primaries_cancel_flag在colour_primaries_infoSEI中描述。如图15中所示，colour_primaries_cancel_flag是指示前一colour_primaries_info SEI的连续性是否被取消的标志。当前一colour_primaries_info SEI的连续性(continuity)被取消时，colour_primaries_cancel_flag为1，而当前一colour_primaries_info SEI的连续性未被取消时，colour_primaries_cancel_flag为0。

如图14中所示，当colour_primaries_cancel_flag为0时，colour_primaries_persistence_flag在colour_primaries_info SEI中描述。如图15中所示，colour_primaries_persistence_flag是指示包括在colour_primaries_info SEI中的色域信息和亮度信息是否应用到多个连续不断的图片的标志。当色域信息和亮度信息应用到多个连续图片时，colour_primaries_persistence_flag为1，而当色域信息和亮度信息仅应用到一个图片时，colour_primaries_persistence_flag为0。

另外，如图14中所示，white_level_display_luminance_present_flag在colour_primaries_info SEI中描述。如图16中所示，white_level_display_luminance_present_flag是指示white_level_display_luminance是否在colour_primaries_info SEI中描述的标志。如图19中所示，white_level_display_luminance是主显示器的白色的亮度信息。当主显示器的白色的亮度信息在colour_primaries_info SEI中描述时，white_level_display_luminance_present_flag为1，而当主显示器的白色的亮度信息未在colour_primaries_info SEI中描述时，white_level_display_luminance_present_flag为0。

如图14和16中所示，对于黑色，类似地，black_level_display_luminance_present_flag在colour_primaries_info SEI中描述。

另外，如图14中所示，colour_gamut_coverage_present_flag在colour_primaries_info SEI中描述。如图16中所示，colour_gamut_coverage_present_flag是指示colour_gamut_coverage是否在colour_primaries_info SEI中描述的标志。如图19中所示，colour_gamut_coverage是指示编码目标图像的色域与由VUI中描述的索引标识的色域的覆盖比的信息。当colour_gamut_coverage在colour_primaries_info SEI中描述时，colour_gamut_coverage_present_flag为1，而当colour_gamut_coverage未在colour_primaries_info SEI中描述时，colour_gamut_coverage_present_flag为0。

如图14和17中所示，指示色域信息中红色沿CIE颜色坐标系中x方向的色度的colour_primary_Red_x和指示红色沿y方向的色度的colour_primary_Red_y也在colour_primaries_info SEI中描述。如图14和18中所示，对于绿色、蓝色和白色，类似地，colour_primary_Green_x、colour_primary_Green_y、colour_primary_Blue_x、colour_primary_Blue_y、white_point_x和white_point_y在colour_primaries_info SEI中描述作为色域信息。

利用16比特定点描述色域信息。换句话说，例如，考虑色域信息通过可发送信息的大小受限制的高清晰度多媒体接口(HDMI)(注册商标)的扩展显示标识数据(EDID)从图像调节单元71等发送。另外，作为国际电工委员会(IEC)61966-12-2，申请人目前已提出与利用定点描述的色域相关的元数据。因此，为了不改变色域信息的大小或者为了使提出的元数据被用作色域信息，利用定点来描述色域信息。

另外，也可以利用16比特定点来描述根据第一实施例的色域信息。

如图14中所示，当white_level_display_luminance_present_flag为1时，white_level_display_luminance在colour_primaries_info SEI中描述。当black_level_display_luminance_present_flag为1时，描述black_level_display_luminance。如图19中所示，black_level_display_luminance是主显示器的黑色的亮度信息。

如上所述，white_level_display_luminance和black_level_display_luminance在colour_primaries_info SEI中描述。换句话说，申请人目前已提出与包括白色和黑色的亮度信息的亮度相关的元数据作为IEC 61966-12-2。因此，为了使提出的元数据被用作white_level_display_luminance和black_level_display_luminance，white_level_display_luminance和black_level_display_luminance在colour_primaries_info SEI中描述。

另外，如图14中所示，当colour_gamut_coverage_present_flag为1时，colour_gamut_coverage在colour_primaries_info SEI中描述。

(编码设备的处理的描述)

图20是用于描述编码设备70的流生成处理的流程图。

在图20的步骤S80中，图像调节单元71根据用户的制作工作执行在使从外部输入的图像在主显示器(未图示)上显示时编辑该图像的操作。图像调节单元71向设置单元72提供编辑的图像的色域信息以及主显示器(未图示)的白色和黑色的亮度信息。另外，图像调节单元71向编码单元12输入编辑的图像作为编码目标图像。

步骤S81至S83的处理与图10的步骤S11至S13的处理相同，因此省略其描述。

在步骤S84中，设置单元72设置包括从图像调节单元71提供的编码目标图像的色域信息和主显示器的亮度信息的colour_primaries_info SEI。

步骤S85至S87的处理与图10的步骤S17至S19的处理相同，因此省略其描述。

如上所述，编码设备70设置并发送包括色域信息的colour_primaries_info SEI，因此即使当编码目标图像具有与在另一标准中定义的色域不同的色域时，也可以使解码侧能够准确地识别编码目标图像的色域。

另外，编码设备70将white_level_display_luminance和black_level_display_luminance设为colour_primaries_info SEI并发送colour_primaries_info SEI，因此可以使解码侧能够识别主显示器的亮度信息。

(根据第二实施例的解码设备的示例性配置)

图21是示出根据本公开内容第二实施例的解码设备的示例性配置的框图，该解码设备对从图13的编码设备70发送的编码流进行解码。

在图21所示的部件中，与图11中所示的部件相同的部件由相同的参考标号表示。将适当地省略重复的描述。

图21的解码设备90的配置与图11的配置的区别在于：提供提取单元91、调节单元92和显示控制单元93，而不是提取单元52、调节单元54和显示控制单元55。

图21的解码设备90的提取单元91从接收单元51提供的编码流提取参数集和编码数据。提取单元91向解码单元53提供参数集和编码数据。另外，提取单元91向调节单元92提供参数集中的VUI和colour_primaries_info SEI，并向显示控制单元93提供colour_primaries_info SEI。

调节单元92从提取单元91提供的colour_primaries_info SEI获取色域信息和colour_gamut_coverage。另外，调节单元92基于包括在从提取单元91提供的VUI中的索引来识别色域。调节单元92基于由获取的色域信息指示的色域和识别的色域、基于colour_gamut_coverage的色域以及显示单元56的色域中的任一个来调节从解码单元53提供的图像的色域。调节单元92向显示控制单元93提供已调节了色域的图像。

显示控制单元93从由提取单元91提供的colour_primaries_info SEI获取白色和黑色的亮度信息。显示控制单元93基于获取的亮度信息和显示单元56的亮度信息来调节从调节单元92提供的被调节色域的图像的亮度动态范围。显示控制单元93提供已调节了亮度动态范围的图像，以在显示单元56上显示。

(解码设备的处理的描述)

图22是用于描述图21的解码设备90的图像生成处理的流程图。

在图22的步骤S101中，解码设备90的接收单元51接收从图13的编码设备70发送的编码流，并向提取单元91提供编码流。

在步骤S102中，提取单元91从接收单元51提供的编码流提取参数集和编码数据。提取单元91向解码单元53提供参数集和编码数据。另外，提取单元91向调节单元92提供参数集中的VUI和colour_primaries_info SEI，并向显示控制单元93提供colour_primaries_info SEI。

在步骤S103中，解码单元53根据HEVC方案对从提取单元91提供的编码数据进行解码。此时，解码单元53在需要时参考从提取单元91提供的参数集。解码单元53向调节单元92提供作为解码的结果而获得的图像。

在步骤S104中，调节单元92基于在从提取单元91提供的VUI中包括的索引来识别在另一标准中定义的色域。

在步骤S105中，调节单元92判定是否已经从提取单元91提供colour_primaries_info SEI。当在步骤S105中判定已经提供colour_primaries_info SEI时，处理前进到步骤S106。

在步骤S106中，调节单元92从colour_primaries_info SEI获取色域信息，并识别由获取的色域信息指示的色域。另外，当色域信息未包括在colour_primaries_info SEI中时，例如，基于colour_gamut_coverage和在步骤S104中识别的色域来识别色域。然后，处理前进到步骤S107。

然而，当在步骤S105中判定还未提供colour_primaries_info SEI时，处理前进到步骤S107。

在步骤S107中，调节单元92基于显示单元56的色域或者在步骤S104或步骤S106中识别的色域来调节从解码单元53提供的图像的色域。

在步骤S108中，显示控制单元93从提取单元91提供的colour_primaries_infoSEI获取白色和黑色的亮度信息。在步骤S109中，显示控制单元93基于显示单元56的亮度信息和获取的亮度信息来调节从调节单元92提供的被调节色域的图像的亮度动态范围。

在步骤S110中，显示控制单元93提供已调节了亮度动态范围的图像，以在显示单元56上显示，然后该处理结束。

如上所述，解码设备90接收包括色域信息的colour_primaries_info SEI，因此可以准确地识别编码目标图像的色域。结果，可以优化解码图像的色域。换句话说，当编码目标图像的色域具有与另一标准中定义的色域不同的色域时，解码图像的色域可以不受影响地(in vain)减小或扩大。

例如，当显示单元56的色域大于编码目标图像的色域时，解码设备90可以在不调节解码图像的色域的情况下显示解码图像。结果，可以使制作操作者期望的图像显示在显示单元56上。

另外，解码设备90可以通过基于准确识别的色域调节解码图像的色域来显示高质量解码图像。

此外，由于white_level_display_luminance和black_level_display_luminance也包括在colour_primaries_info SEI中，因此解码设备90可以准确地识别主显示器的亮度信息。结果，可以优化解码图像的亮度动态范围。

以上描述已经结合色域信息和亮度信息布置在SEI中的例子作出，但是色域信息和亮度信息可以布置在系统层中。

<色域信息和亮度信息布置在MP4框中的例子>

(布置了色域信息和亮度信息的MP4框的描述)

图23是用于描述作为系统层的MP4框的图，色域信息和亮度信息布置在该MP4框中。

如图23中所示，当色域信息和亮度信息布置在MP4框中时，新定义存储ColourPrimariesInfo作为色域信息和亮度信息的Colour Primaries Information Box(tinf)框。tinf框存储在轨道片段框(traf box)或轨道框(中存储的stbl框)中。

除插入用于字节对准的padding_value之外，ColourPrimariesInfo具有与图2的colour_primaries_info SEI和图8的ref_display_luminance_info SEI或者图14的colour_primaries_info SEI类似的配置。

本公开内容甚至可以应用到AVC方案。

<第三实施例>

(根据本公开内容的计算机的描述)

上述一系列处理可以由硬件或软件执行。当该一系列处理由软件执行时，构成该软件的程序被安装在计算机中。这里，计算机的例子包括并入专用硬件中的计算机和包括安装的各种程序并且能够执行各种功能的通用目的个人计算机。

图24是示出通过程序来执行上述一系列处理的计算机的示例性硬件配置的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203经由总线204相互连接。

输入/输出(I/O)接口205也连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209以及驱动器210连接到I/O接口205。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211。

在具有以上配置的计算机中，例如，通过经I/O接口205和总线204将存储在存储单元208中的程序加载到RAM 203上并执行该程序，CPU 201执行上述一系列处理。

例如，由计算机(CPU 201)执行的程序可以记录在作为封装介质等的可移动介质211中并提供。另外，可以通过诸如局域网(LAN)、因特网或数字卫星广播的有线或无线传输介质来提供程序。

在计算机中，可移动介质211安装到驱动器210，然后程序可以通过I/O接口205安装在存储单元208中。另外，程序可以经由有线或无线传输介质由通信单元209接收，然后安装在存储单元208中。此外，程序可以预先安装在ROM 202或存储单元208中。

另外，程序可以是以本公开内容中所描述的次序按时间顺序执行处理的程序，或者可以是并行地执行处理或在诸如被调用定时的必要定时执行处理的程序。

<第四实施例>

(对多视图图像编码和多视图图像解码的应用)

上述一系列处理可以应用到多视图图像编码和多视图图像解码。图25示出了示例性多视图图像编码方案。

如图25中所示，多视图图像包括多个视图的图像。多视图图像的多个视图包括基本视图和非基本视图，在基本视图中仅利用其自身视图的图像而不利用其它视图的图像执行编码和解码，而在非基本视图中利用其它视图的图像执行编码和解码。作为非基本视图，可以使用基本视图的图像，并且可以使用另一非基本视图的图像。

当图25的多视图图像被编码和解码时，每个视图的图像被编码和解码，但是根据第一实施例的技术可以应用到各视图的编码和解码。因而，编码目标图像的色域可以在解码侧被准确识别。

此外，在根据第一实施例的技术中使用的标志或参数可以在各视图的编码和解码中共享。更具体而言，例如，colour_primaries_info SEI或ref_display_luminance_infoSEI的语法元素可以在各视图的编码和解码中共享。当然，任何其它需要的信息都可以在各视图的编码和解码中共享。

因而，可以防止冗余信息的发送并减少要发送的信息的量(比特率)(即可以防止编码效率劣化)。

(多视图图像编码设备)

图26是示出执行上述多视图图像编码的多视图图像编码设备的图。如图26中所示，多视图图像编码设备600包括编码单元601、编码单元602和多路复用单元603。

编码单元601编码基本视图图像，并生成基本视图图像编码流。编码单元602编码非基本视图图像，并生成非基本视图图像编码流。多路复用单元603执行由编码单元601生成的基本视图图像编码流和由编码单元602生成的非基本视图图像编码流的多路复用，并生成多视图图像编码流。

编码设备10(图1)可以应用为多视图图像编码设备600的编码单元601和编码单元602。换句话说，当执行每个视图的编码时，可以使解码侧能够准确地识别编码目标图像的色域。另外，编码单元601和编码单元602可以利用相同的标志或参数(例如，与图像间处理相关的语法元素)执行编码(即可以共享标志或参数)，因此可以防止编码效率劣化。

(多视图图像解码设备)

图27是示出执行上述多视图图像解码的多视图图像解码设备的图。如图27中所示，多视图解码设备610包括多路分解单元611、解码单元612和解码单元613。

多路分解单元611对通过多路复用基本视图图像编码流和非基本视图图像编码流而获得的多视图图像编码流执行多路分解，并提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由多路分解单元611提取的基本视图图像编码流进行解码，并获得基本视图图像。解码单元613对由多路分解单元611提取的非基本视图图像编码流进行解码，并获得非基本视图图像。

解码设备50(图11)可以应用为多视图解码设备610的解码单元612和解码单元613。换句话说，当执行每个视图的解码时，编码目标图像的色域可以被准确识别。另外，解码单元612和解码单元613可以利用相同的标志或参数(例如，与图像间处理相关的语法元素)执行解码(即可以共享标志或参数)，因此可以防止解码效率劣化。

<第五实施例>

(对可伸缩图像编码和可伸缩图像解码的应用)

上述一系列处理可以应用到可伸缩图像编码和可伸缩图像解码(可伸缩编码和可伸缩解码)。图28示出了示例性可伸缩图像编码方案。

可伸缩图像编码(可伸缩编码)是图像被分成多个层(分层)的方案，使得图像数据对特定参数具有可伸缩功能，并且对每一层执行编码。可伸缩图像解码(可伸缩解码)是与可伸缩图像编码对应的解码。

如图28中所示，对于图像的分层，基于具有可伸缩功能的特定参数来将图像分成多个图像(层)。换句话说，分层图像(可伸缩图像)包括特定参数的值彼此不同的多个层的图像。可伸缩图像的多个层包括基本层和非基本层(也被称为“增强层”)，在基本层中仅利用其自身层的图像而不利用其它层的图像执行编码和解码，而在非基本层中利用其它层的图像执行编码和解码。作为非基本层，可以使用基本层的图像，并且可以使用任何其它非基本层的图像。

一般而言，非基本层配置有其自身图像与另一层的图像之间的差分图像的数据(差分数据)，使得冗余减小。例如，当一个图像被分为两层，即基本层和非基本层(也被称为增强层)时，当仅使用基本层的数据时获得比原始图像质量低的图像，而当组合基本层的数据和非基本层的数据时获得原始图像(即高质量图像)。

由于图像如上所述被分层，可以取决于情形而获得各种质量的图像。例如，对于具有低处理能力的终端(诸如移动终端)，仅发送基本层的图像压缩信息，并再现低空间和时间分辨率或低质量的运动图像，而对于具有高处理能力的终端(诸如电视或个人计算机)，发送增强层以及基本层的图像压缩信息，并再现高空间和时间分辨率或高质量的运动图像。换句话说，在不执行转码(transcoding)处理的情况下，可以从服务器发送根据终端或网络的能力的图像压缩信息。

当图28中所示的可伸缩图像被编码和解码时，各层的图像被编码和解码，但是根据第一实施例的技术可以应用于各层的编码和解码。因而，编码目标图像的色域可以在解码侧被准确识别。

此外，在根据第一实施例的技术中使用的标志或参数可以在各层的编码和解码中共享。更具体而言，例如，colour_primaries_info SEI或ref_display_luminance_infoSEI的语法元素可以在各层的编码和解码中共享。当然，任何其它需要的信息都可以在各层的编码和解码中共享。

因而，可以防止冗余信息的发送并减少要发送的信息的量(比特率)(即可以防止编码效率劣化)。

(可伸缩参数)

在可伸缩图像编码和可伸缩图像解码(可伸缩编码和可伸缩解码)中，任何参数都具有可伸缩功能。例如，如图29中所示，空间分辨率可以用作参数(空间可伸缩性)。在空间可伸缩性的情况下，各层具有不同的图像分辨率。换句话说，在这种情况下，如图29中所示，每个图片被分为两个层，即分辨率在空间上低于原始图像的分辨率的基本层和与基本层组合以获得原始空间分辨率的增强层。当然，层的个数是示例，并且每个图片可以被分为任何数量的层。

作为具有这样的可伸缩性的另一参数，如图30中所示，例如，可以应用时间分辨率(时间可伸缩性)。在时间可伸缩性的情况下，各层具有不同的帧率。换句话说，在这种情况下，如图30中所示，每个图片被分为两个层，即帧率低于原始运动图像帧率的基本层和与基本层组合以获得原始帧率的增强层。当然，层的个数是示例，并且每个图片可以被分为任何数量的层。

作为具有这样的可伸缩性的另一参数，例如，可以应用信噪比(SNR)(SNR可伸缩性)。在SNR可伸缩性的情况下，各层具有不同的SNR。换句话说，在这种情况下，如图31中所示，每个图片被分为两个层，即SNR低于原始图像SNR的基本层和与基本层组合以获得原始SNR的增强层。当然，层的个数是示例，并且每个图片可以被分为任何数量的层。

除上述例子之外的参数可以应用为具有可伸缩性的参数。例如，比特深度可以用作具有可伸缩性的参数(比特深度可伸缩性)。在比特深度可伸缩性的情况下，各层具有不同的比特深度。在这种情况下，例如，基本层(base layer)包括8比特图像，并且可以通过将增强层添加到基本层来获得10比特图像。

作为具有可伸缩性的另一参数，例如，可以使用色度格式(色度可伸缩性)。在色度可伸缩性的情况下，各层具有不同的色度格式。在这种情况下，例如，基本层(base layer)包括4：2：0格式的分量图像，并且可以通过将增强层添加到基本层来获得4：2：2格式的分量图像。

(可伸缩图像编码设备)

图32是示出执行上述可伸缩图像编码的可伸缩图像编码设备的图。如图32中所示，可伸缩图像编码设备620包括编码单元621、编码单元622和多路复用单元623。

编码单元621编码基本层图像，并生成基本层图像编码流。编码单元622编码非基本层图像，并生成非基本层图像编码流。多路复用单元623对由编码单元621生成的基本层图像编码流和由编码单元622生成的非基本层图像编码流执行多路复用，并生成可伸缩图像编码流。

编码设备10(图1)可以应用为可伸缩图像编码设备620的编码单元621和编码单元622。换句话说，可以在执行每一层的编码时使解码侧能够准确地识别编码目标图像的色域。另外，编码单元621和编码单元622可以利用相同的标志或参数(例如，与图像间处理相关的语法元素)来执行例如帧内预测滤波处理的控制(即可以共享标志或参数)，因此可以防止编码效率劣化。

(可伸缩图像解码设备)

图33是示出执行上述可伸缩图像解码的可伸缩图像解码设备的图。如图33中所示，可伸缩图像解码设备630包括多路分解单元631、解码单元632和解码单元633。

多路分解单元631对通过多路复用基本层图像编码流和非基本层图像编码流而获得的可伸缩图像编码流执行多路分解，并提取基本层图像编码流和非基本层图像编码流。解码单元632对由多路分解单元631提取的基本层图像编码流进行解码，并获得基本层图像。解码单元633对由多路分解单元631提取的非基本层图像编码流进行解码，并获得非基本层图像。

解码设备50(图11)可以应用为可伸缩图像解码设备630的解码单元632和解码单元633。换句话说，当执行每一层的解码时，编码目标图像的色域可以被准确识别。另外，解码单元632和解码单元633可以利用相同的标志或参数(例如，与图像间处理相关的语法元素)执行解码(即可以共享标志或参数)，因此可以防止解码效率劣化。

<第六实施例>

(电视设备的示例性配置)

图34示出了本技术适用的电视设备的示意配置。电视设备900包括：天线901、调谐器902、多路分解器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部I/F单元909。电视设备900还包括控制单元910、用户I/F单元911等。

调谐器902根据由天线901接收的广播信号调谐到期望的频道，执行解调，并将获得的编码比特流输出到多路分解器903。

多路分解器903从编码比特流提取观看目标的节目的视频或音频包，并将提取包的数据输出到解码器904。多路分解器903将诸如电子节目指南(EPG)的数据包的数据提供给控制单元910。另外，当已执行加扰时，由多路分解器等执行解扰。

解码器904执行对包解码的解码处理，并将由解码处理生成的视频数据和音频数据输出到视频信号处理单元905和音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据执行噪声消除处理或视频处理。视频信号处理单元905生成要在显示单元906上显示的节目的视频数据、根据基于经由网络提供的应用的处理生成图像数据等。视频信号处理单元905生成用于显示的视频数据(例如用来选择条目的菜单画面)，并使视频数据叠加在节目的视频数据上。视频信号处理单元905基于如上所述生成的视频数据来生成驱动信号，并驱动显示单元906。

显示单元906基于从视频信号处理单元905提供的驱动信号来驱动显示设备(例如，液晶显示设备等)，并使节目视频等显示。

音频信号处理单元907对音频数据执行诸如噪声消除处理的特定处理，对处理的音频数据执行数模(D/A)转换处理和放大处理，并将结果数据提供给扬声器908以输出声音。

外部I/F单元909是用于与外部设备或网络连接的接口，并执行诸如视频数据或音频数据的数据的发送和接收。

用户I/F单元911与控制单元910连接。用户I/F单元911包括操作开关、遥控信号接收单元等，并根据用户的操作向控制单元910提供操作信号。

控制单元910包括中央处理单元(CPU)、存储器等。存储器存储由CPU执行的程序、当CPU执行处理时需要的各种数据、EPG数据、经由网络获取的数据等。存储在存储器中的程序在特定定时(诸如电视设备900被激活的定时)由CPU读取并执行。CPU执行程序，并控制各单元，使得根据用户的操作来操作电视设备900。

电视设备900具有连接调谐器902、多路分解器903、视频信号处理单元905、音频信号处理单元907、外部I/F单元909等与控制单元910的总线912。

在具有以上配置的电视设备中，解码器904具有根据本申请的解码设备(解码方法)的功能。因此，可以准确识别编码目标图像的色域。

<第七实施例>

(移动电话的示例性配置)

图35示出了本技术适用的移动电话的示意配置。移动电话920包括通信单元922、语音编解码器923、照相机单元926、图像处理单元927、多路复用/多路分解单元928、记录/再现单元929、显示单元930以及控制单元931。这些单元经由总线933相互连接。

另外，天线921连接到通信单元922，而扬声器924和麦克风925连接到语音编解码器923。另外，操作单元932连接到控制单元931。

移动电话920以诸如语音呼叫模式和数据通信模式的各种模式执行各种操作，诸如语音信号的发送和接收、电子邮件或图像数据的发送和接收、图像拍摄或者数据记录。

在语音呼叫模式中，由麦克风925生成的语音信号通过语音编解码器923转换成语音数据，被压缩，然后提供给通信单元922。通信单元922执行例如语音数据的调制处理和频率变换处理，并生成发送信号。另外，通信单元922向天线921提供发送信号，使得发送信号被发送到基站(未图示)。另外，通信单元922对通过天线921接收的接收信号执行放大处理、频率变换处理和解调处理，并将获得的语音数据提供给语音编解码器923。语音编解码器923解压缩语音数据、将解压缩数据转换成模拟语音信号，并将模拟语音信号输出到扬声器924。

在数据通信模式中，当执行邮件传输时，控制单元931接收通过对操作单元932操作来输入的文本数据，并使输入文本在显示单元930上显示。另外，控制单元931例如基于通过操作单元932输入的用户指令来生成邮件数据，并将邮件数据提供给通信单元922。通信单元922执行例如邮件数据的调制处理和频率变换处理，并通过天线921发送获得的发送信号。另外，通信单元922对通过天线921接收的接收信号执行例如放大处理、频率变换处理和解调处理，并恢复邮件数据。邮件数据被提供给显示单元930，使得邮件内容被显示。

移动电话920可以通过记录/再现单元929在存储介质中存储接收的邮件数据。存储介质是任意可重写的存储介质。存储介质的例子包括：诸如RAM或内部闪速存储器的半导体存储器、硬盘、磁盘、磁光盘、光盘、以及诸如通用串行总线(USB)存储器或存储卡的可移动介质。

在数据通信模式中，当发送图像数据时，通过照相机单元926生成的图像数据被提供给图像处理单元927。图像处理单元927执行编码图像数据的编码处理，并生成编码数据。

多路复用/多路分解单元928根据特定方案对通过图像处理单元927生成的编码数据和从语音编解码器923提供的语音数据进行多路复用，并将结果数据提供给通信单元922。通信单元922对多路复用的数据执行例如调制处理和频率变换处理，并通过天线921发送获得的发送信号。另外，通信单元922对通过天线921接收的接收信号执行例如放大处理、频率变换处理和解调处理，并恢复多路复用的数据。多路复用的数据被提供给多路复用/多路分解单元928。多路复用/多路分解单元928对多路复用的数据进行多路分解，并将编码数据和语音数据提供给图像处理单元927和语音编解码器923。图像处理单元927执行对编码数据解码的解码处理，并生成图像数据。图像数据被提供给显示单元930，使得接收的图像被显示。语音编解码器923将语音数据转换成模拟语音信号，将模拟语音信号提供给扬声器924，并输出接收的语音。

在具有以上配置的移动电话中，图像处理单元927具有根据本申请的编码设备和解码设备(编码方法和解码方法)的功能。因此，可以使解码侧能够准确识别编码目标图像的色域。另外，可以准确识别编码目标图像的色域。

<第八实施例>

(记录/再现设备的示例性配置)

图36示出了本技术适用的记录/再现设备的示意配置。记录/再现设备940将例如接收的广播节目的音频数据和视频数据记录在记录介质中，并在根据用户的指令的定时将记录的数据提供给用户。另外，记录/再现设备940可以从另一设备获取例如音频数据或视频数据，并使获取的数据被记录在记录介质中。此外，记录/再现设备940解码并输出记录在记录介质中的音频数据或视频数据，使得图像显示或声音输出可以在监视器设备中执行。

记录/再现设备940包括：调谐器941、外部I/F单元942、编码器943、硬盘驱动(HDD)单元944、盘驱动器945、选择器946、解码器947、屏上显示(OSD)单元948、控制单元949以及用户I/F单元950。

调谐器941根据通过天线(未图示)接收的广播信号调谐到期望的频道。调谐器941解调期望的频道的接收信号，并将获得的编码比特流输出到选择器946。

外部I/F单元942配置有IEEE1394接口、网络接口、USB接口、闪速存储器接口等中的至少一个。外部I/F单元942是用于与外部设备、网络、存储卡等连接的接口，并接收要记录的诸如视频数据至音频数据的数据。

编码器943根据特定方案对从外部I/F单元942提供的未编码的视频数据或音频数据编码，并将编码的比特流输出到选择器946。

HDD单元944将诸如视频或声音的内容数据、各种节目以及其它数据记录在内部硬盘中，并在再现时等从硬盘读取记录的数据。

盘驱动器945将信号记录在安装的光盘中，并从光盘再现信号。光盘的例子包括：DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)和Blu-ray(注册商标)盘。

当记录视频或声音时，选择器946选择从调谐器941提供的编码比特流和从编码器943提供的编码比特流中的任一个，并将选择的编码比特流提供给HDD单元944和盘驱动器945中的任一个。另外，当再现视频或声音时，选择器946向解码器947提供从HDD单元944或盘驱动器945输出的编码比特流。

解码器947执行对编码比特流解码的解码处理。解码器947将通过执行解码处理生成的视频数据提供给OSD单元948。另外，解码器947输出通过执行解码处理而生成的音频数据。

OSD单元948生成用来显示例如用来例如选择条目的菜单画面的视频数据，并输出视频数据，以叠加在从解码器947输出的视频数据上。

用户I/F单元950连接到控制单元949。用户I/F单元950包括操作开关、遥控信号接收单元等，并根据用户的操作向控制单元949提供操作信号。

控制单元949配置有CPU、存储器等。存储器存储由CPU执行的程序以及当CPU执行处理时需要的各种数据。存储在存储器中的程序在特定定时(诸如记录/再现设备940被激活的定时)由CPU读取并执行。CPU执行程序，并控制各单元，使得根据用户的操作来操作记录/再现设备940。

在具有以上配置的记录/再现设备中，解码器947具有根据本申请的解码设备(解码方法)的功能。因此，可以准确识别编码目标图像的色域。

<第九实施例>

(成像设备的示例性配置)

图37说明了本技术适用的成像设备的示意配置。成像设备960拍摄被摄体，并使被摄体的图像显示在显示单元上或者将图像数据记录在记录介质中。

成像设备960包括：光学块961、成像单元962、照相机信号处理单元963、图像数据处理单元964、显示单元965、外部I/F单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。另外，用户I/F单元971连接到控制单元970。此外，图像数据处理单元964、外部I/F单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等经由总线972相互连接。

光学块961配置有聚焦透镜、光圈机构等。光学块961在成像单元962的成像面上形成被摄体的光学图像。成像单元962配置有CCD图像传感器或CMOS图像传感器，并根据由光电转换获得的光学图像生成电信号，并将电信号提供给照相机信号处理单元963。

照相机信号处理单元963对从成像单元962提供的电信号执行各种照相机信号处理，诸如拐点校正、伽玛校正和颜色校正。照相机信号处理单元963向图像数据处理单元964提供已经受到照相机信号处理的图像数据。

图像数据处理单元964执行对从照相机信号处理单元963提供的图像数据进行编码的编码处理。图像数据处理单元964向外部I/F单元966或介质驱动器968提供通过执行编码处理而生成的编码数据。另外，图像数据处理单元964执行对从外部I/F单元966或介质驱动器968提供的编码数据进行解码的解码处理。图像数据处理单元964向显示单元965提供通过执行解码处理而生成的图像数据。另外，图像数据处理单元964执行将从照相机信号处理单元963提供的图像数据提供给显示单元965的处理，或者将从OSD单元969获取的显示数据提供给显示单元965，以叠加在图像数据上。

OSD单元969生成包括符号、文本或图的菜单画面或者诸如图标的显示数据，并向图像数据处理单元964输出生成的菜单画面或显示数据。

外部I/F单元966配置有例如USB I/O终端等，并在打印图像时与打印机连接。另外，驱动器在需要时连接到外部I/F单元966，诸如磁盘或光盘的可移动介质被适当地安装，并且在需要时安装从可移动介质读取的计算机程序。此外，外部I/F单元966连接到特定网络(诸如LAN或因特网)，并包括网络接口。控制单元970可以例如根据通过用户I/F单元971给出的指令从介质驱动器968读取编码数据，并通过外部I/F单元966将读取的编码数据提供给经由网络连接的另一设备。另外，控制单元970可以通过外部I/F单元966经由网络获取从另一设备提供的编码数据或图像数据，并将获取的编码数据或图像数据提供给图像数据处理单元964。

作为由介质驱动器968驱动的记录介质，例如使用诸如磁盘、磁光盘、光盘或半导体存储器的任意可读/可写可移动介质。另外，无论可移动介质的类型，记录介质可以是带式设备、盘或存储卡。当然，记录介质可以是非接触集成电路(IC)卡等等。

另外，介质驱动器968可以与记录介质集成以配置非便携式存储介质，诸如内部HDD或固态驱动器(SSD)。

控制单元970配置有CPU。存储器单元967存储由控制单元970执行的程序、当控制单元970执行处理时需要的各种数据等。存储在存储器单元967中的程序在特定定时(诸如成像设备960被激活的定时)由控制单元970读取并执行。控制单元970执行程序，并控制各单元，使得根据用户的操作来操作成像设备960。

在具有以上配置的成像设备中，图像数据处理单元964具有根据本申请的解码设备(解码方法)的功能。因此，可以使解码侧能够准确识别编码目标图像的色域。另外，可以准确识别编码目标图像的色域。

<可伸缩编码的应用>

(第一系统)

接下来，将描述由可伸缩编码生成的可伸缩编码数据的具体应用例子。例如，如图38中所示，可伸缩编码用于待发送的数据的选择。

在图38中所示的数据传输系统1000中，递送服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，并经由网络1003将可伸缩编码数据传送到终端设备，诸如个人计算机1004、AV设备1005、平板设备1006以及移动电话1007。

此时，递送服务器1002根据终端设备的能力或通信环境来选择适当的高质量编码数据，并发送选择的高质量编码数据。虽然递送服务器1002不必要地发送高质量数据，但是终端设备不一定获得高质量图像，并且可能发生延迟或溢出。另外，可能不必要地占用通信带，并且可能不必要地增加终端设备的负载。另一方面，虽然递送服务器1002不必要地发送低质量数据，但是终端设备不太可能获得具有足够质量的图像。因此，递送服务器1002读取存储在可伸缩编码数据存储单元1001中的可伸缩编码数据，作为具有适于终端设备的能力或通信环境的质量的编码数据，然后发送读取的数据。

例如，假设可伸缩编码数据存储单元1001存储通过可伸缩编码来编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层这两者的编码数据，而基本层的图像和增强层的图像都可以通过对可伸缩编码数据(BL+EL)1011解码来获得。

递送服务器1002根据数据发送到的终端设备的能力或者通信环境来选择适当的层，并读取选择的层的数据。例如，对于具有高处理能力的个人计算机1004或平板设备1006，递送服务器1002从可伸缩编码数据存储单元1001读取高质量可伸缩编码数据(BL+EL)1011，并且不改变地发送可伸缩编码数据(BL+EL)1011。另一方面，例如，对于具有低处理能力的AV设备1005或移动电话1007，递送服务器1002从可伸缩编码数据(BL+EL)1011提取基本层的数据，并发送与可伸缩编码数据(BL+EL)1011内容相同但是质量比可伸缩编码数据(BL+EL)1011低的可伸缩编码数据(BL)1012。

如上所述，可以利用可伸缩编码数据来容易地调节数据量，因此可以防止延迟或溢出的发生，并防止终端设备或通信介质的负载不必要地增加。另外，可伸缩编码数据(BL+EL)1011在层之间冗余减小，因此可以将数据量减少到比当单独的数据用作每一层的编码数据时少。因此，可以更高效地使用可伸缩编码数据存储单元1001的存储区域。

另外，诸如个人计算机1004至移动电话1007的各种设备可以应用为终端设备，因此终端设备的硬件性能根据每种设备而不同。另外，由于可以由终端设备执行各种应用，因此软件具有各种能力。此外，包括有线网络和无线网络(诸如因特网或局域网(LAN))中的任一个或二者的所有通信线路网络可以应用为充当通信介质的网络1003，因此提供各种数据传输能力。此外，可以由另一通信等进行变化。

就此而言，递送服务器1002可以配置为在开始数据传输之前执行与充当数据的传输目的地的终端设备的通信，并获得与终端设备的能力有关的信息(诸如终端设备的硬件性能，或者由终端设备执行的应用(软件)的性能)以及与通信环境有关的信息(诸如网络1003的可用带宽)。于是，递送服务器1002可以基于获得的信息来选择适当的层。

此外，层的提取可以在终端设备中执行。例如，个人计算机1004可以解码发送的可伸缩编码数据(BL+EL)1011并显示基本层的图像或增强层的图像。另外，例如，个人计算机1004可以从发送的可伸缩编码数据(BL+EL)1011提取基本层的可伸缩编码数据(BL)1012、存储基本层的可伸缩编码数据(BL)1012、将基本层的可伸缩编码数据(BL)1012向另一设备转移、对基本层的可伸缩编码数据(BL)1012进行解码以及显示基本层的图像。

当然，可伸缩编码数据存储单元1001的数目、递送服务器1002的数目、网络1003的数目以及终端设备的数目是任意的。以上描述已经结合递送服务器1002将数据发送到终端设备的例子作出，但是应用例子不限于这个例子。数据传输系统1000可以应用到如下任何系统：在系统中，当通过可伸缩编码生成的编码数据发送到终端设备时，根据终端设备的能力或通信环境选择适当的层并发送编码数据。

(第二系统)

例如，如图39中所示，可伸缩编码用于利用多种通信介质的传输。

在图39中所示的数据传输系统1100中，广播站1101通过地面广播1111发送基本层的可伸缩编码数据(BL)1121。另外，广播站1101经由配置有包括有线网络和无线网络中的任一个或两者的通信网络的任意网络1112发送增强层的可伸缩编码数据(EL)1122(例如，打包可伸缩编码数据(EL)1122，然后发送由此得到的包)。

终端设备1102具有接收由广播站1101广播的地面广播1111的功能，并接收通过地面广播1111发送的基本层的可伸缩编码数据(BL)1121。终端设备1102还具有经由网络1112执行通信的通信功能，并接收经由网络1112发送的增强层的可伸缩编码数据(EL)1122。

终端设备1102例如根据用户的指令等来对通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121进行解码，获得基本层的图像，存储获得的图像，并将获取的图像发送到另一设备。

另外，终端设备1102例如根据用户的指令等来组合通过地面广播1111获取的基本层的可伸缩编码数据(BL)1121与通过网络1112获取的增强层的可伸缩编码数据(EL)1122，获得可伸缩编码数据(BL+EL)，解码可伸缩编码数据(BL+EL)以获得增强层的图像，存储获得的图像，并将获得的图像发送到另一设备。

如上所述，可以通过例如不同的通信介质发送各层的可伸缩编码数据。因此，可以分散负载，并且可以防止延迟或溢出的发生。

另外，可以根据情形选择用于每一层的传输的通信介质。例如，具有相对大量数据的基本层的可伸缩编码数据(BL)1121可以通过具有大带宽的通信介质发送，而具有相对少量数据的增强层的可伸缩编码数据(EL)1122可以通过具有小带宽的通信介质发送。另外，例如，用于发送增强层的可伸缩编码数据(EL)1122的通信介质可以根据网络1112的可用带宽在网络1112和地面广播1111之间切换。当然，这同样适用于任意层的数据。

由于如上所述地执行控制，因此可以进一步抑制数据传输中负载的增加。

当然，层的数目是任意的，并且用于传输的通信介质的数目也是任意的。另外，充当数据递送目的地的终端设备1102的数目也是任意的。以上描述已经结合从广播站1101进行广播的例子作出，而应用例子不限于这个例子。数据传输系统1100可以应用到如下任意系统：在系统中，通过可伸缩编码生成的编码数据以层为单位被分为两个或更多个层，并通过多条线路发送。

(第三系统)

例如，如图40中所示，可伸缩编码用于编码数据的存储。

在图40中所示的成像系统1200中，成像设备1201拍摄被摄体1211，对获得的图像数据执行可伸缩编码，并向可伸缩编码数据存储设备1202提供可伸缩编码数据(BL+EL)1221。

可伸缩编码数据存储设备1202以根据情形的质量存储从成像设备1201提供的可伸缩编码数据(BL+EL)1221。例如，在正常时间期间，可伸缩编码数据存储设备1202从可伸缩编码数据(BL+EL)1221提取基本层的数据，并将提取的数据以低质量存储为具有少量数据的基本层的可伸缩编码数据(BL)1222。另一方面，例如，在观察时间期间，可伸缩编码数据存储设备1202不改变地以高质量存储具有大量数据的可伸缩编码数据(BL+EL)1221。

因而，可伸缩编码数据存储设备1202可以仅在需要时以高质量存储图像，因此可以抑制数据量的增加并改进存储区域的使用效率，同时抑制由质量恶化造成的图像的值的减小。

例如，成像设备1201是监视照相机。(在正常时间期间)当监视目标(例如侵入者)未显示在拍摄的图像上时，拍摄的图像的内容可能是不重要的，因此数据量的减小优先，而图像数据(可伸缩编码数据)以低质量存储。另一方面，(在观察时间期间)当监视目标在拍摄的图像上显示为被摄体1211时，拍摄的图像的内容可能是重要的，因此图像质量优先，而图像数据(可伸缩编码数据)以高质量存储。

例如，可以通过由可伸缩编码数据存储设备1202分析图像来判定是正常时间还是观察时间。另外，成像设备1201可以执行判定并向可伸缩编码数据存储设备1202发送判定结果。

另外，是正常时间还是观察时间的判定准则是任意的，并且充当判定准则的图像的内容是任意的。当然，除图像的内容之外的其它条件可以是判定准则。例如，可以根据记录的声音的幅度或波形来执行切换，可以以特定时间间隔执行切换，或者可以根据诸如用户的指令的外部指令来执行切换。

以上描述已经结合在正常时间和观察时间这两种状态之间执行切换的例子描述，但是状态的数目是任意的。例如，可以在三种或更多种状态(诸如正常时间、低级观察时间、观察时间和高级观察时间等)之间执行切换。这里，要切换的状态的上限数目取决于可伸缩编码数据的层的数目。

另外，成像设备1201可以根据状态决定用于可伸缩编码的层的数目。例如，在正常时间期间，成像设备1201可以以低质量生成具有少量数据的基本层的可伸缩编码数据(BL)1222，并将基本层的可伸缩编码数据(BL)1222提供给可伸缩编码数据存储设备1202。另外，例如，在观察时间期间，成像设备1201可以以高质量生成具有大量数据的基本层的可伸缩编码数据(BL+EL)1221，并将基本层的可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储设备1202。

以上描述已经结合监视照相机的例子作出，但是成像系统1200的用途是任意的并且不限于监视照相机。

<第十实施例>

(其它实施例)

以上实施例已经结合根据本技术的设备、系统等的例子描述，但是本技术不限于以上例子并且可以实现为安装在设备中的任何部件或者配置系统的设备，例如，充当系统(大规模集成)LSI等的处理器、使用多个处理器等的模块、使用多个模块等的单元、任何其它功能进一步添加到单元的套件(即设备的一些部件)等。

(视频套件的示例性配置)

将参考图41来描述本技术实现为套件的例子。图41示出了本技术适用的视频套件的示例性示意配置。

近年来，电子设备的功能已经变得多样化，而当一些部件实现为在开发或制造中出售、供应等时，存在许多具有相关功能的多个部件被组合并实现为具有多种功能的套件的情况，以及实现方式被执行为具有单一功能的部件的情况。

图41中所示的视频套件1300是多功能化的配置，其中具有与图像编码和/或图像解码有关的功能的设备和具有与该功能有关的任何其它功能的设备进行组合。

如图41中所示，视频套件1300包括模块组(诸如视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314)以及具有相关功能的设备(诸如连接1321、照相机1322和传感器1323)。

模块是具有集成了若干相关部分功能的多个功能的部件。具体的物理配置是任意的，但是，例如，配置为使得具有各自功能的多个处理器、诸如电阻器和电容器的电路元件以及其它设备布置并集成在布线基板上。另外，可以通过将模块与另一个模块或处理器组合来获得新模块。

在图41的例子的情况下，视频模块1311是具有与图像处理有关的功能的部件的组合，并包括应用处理器、视频处理器、宽带调制解调器1333以及射频(RF)模块1334。

处理器是具有特定功能的配置通过片上系统(SoC)集成到半导体芯片中的处理器，并且也被称为例如系统LSI(大规模集成)等。具有特定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM以及利用CPU、ROM和RAM执行的程序(软件配置)，并且可以是硬件配置与软件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，一些功能可以通过逻辑电路(硬件部件)实现，而其它功能可以通过由CPU执行的程序(软件部件)实现。

图41的应用处理器1331是执行与图像处理有关的应用的处理器。由应用处理器1331执行的应用可以不仅执行计算处理，而且在需要时控制诸如视频处理器1332的视频模块1311内部和外部的部件，以实现特定功能。

视频处理器1332是具有与图像编码和/或图像解码有关的功能的处理器。

宽带调制解调器1333是执行与有线和/或无线宽带通信有关的处理的处理器(或模块)，其中有线和/或无线宽带通信经由诸如因特网或公共电话线路网络的宽带线路执行。例如，宽带调制解调器1333通过例如数字调制将待发送的数据(数字信号)转换成模拟信号，解调接收的模拟信号，并将模拟信号转换成数据(数字信号)。例如，宽带调制解调器1333可以对任意信息(诸如由视频处理器1332处理的图像数据、图像数据被编码的流、应用程序或者设置数据)执行数字调制和解调。

RF模块1334是对通过天线收发的射频(RF)信号执行频率变换处理、调制/解调处理、放大处理、滤波处理等的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号执行例如频率变换，并生成RF信号。另外，例如，RF模块1334对通过前端模块1314接收的RF信号执行例如频率变换，并生成基带信号。

另外，如图41中所示，虚线1341即应用处理器1331和视频处理器1332可以集成为单个处理器。

外部存储器1312安装在视频模块1311之外，并且是具有被视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以由任何物理配置实现，但通常用来存储大容量数据(诸如帧单位的图像数据)，因此期望利用相对小片(chip)大容量半导体存储器(诸如动态随机存取存储器(DRAM))来实现外部存储器1312的存储设备。

电源管理模块1313管理并控制向视频模块1311(视频模块1311中的各部件)的电力供应。

前端模块1314是向RF模块1334提供前端功能(天线侧的收发端的电路)的模块。如在图41中所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括收发无线电信号的天线以及外围配置。天线单元1351发送从放大单元1353提供的信号作为无线电信号，并向滤波器1352提供接收的无线电信号作为电信号(RF信号)。滤波器1352例如对通过天线单元1351接收的RF信号执行滤波处理，并将处理的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并将放大的RF信号提供给天线单元1351。

连接1321是具有和与外部的连接相关的功能的模块。连接1321的物理配置是任意的。例如，连接1321包括具有与宽带调制解调器1333支持的通信标准不同的通信功能的配置、外部I/O端子等。

例如，连接1321可以包括具有基于无线通信标准(诸如Bluetooth(注册商标)、IEEE 802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)、红外线数据协会(IrDA))的通信功能的模块、收发满足该标准的信号的天线等。另外，例如，连接1321可以包括具有基于有线通信标准(诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标))的通信功能的模块或者满足该标准的端子。此外，例如，连接1321可以包括诸如模拟I/O端子的任何其它数据(信号)传输功能等。

另外，连接1321可以包括数据(信号)的传输目的地的设备。例如，连接1321可以包括从记录介质(诸如磁盘、光盘、磁光盘或半导体存储器)读取数据/在该记录介质中写数据的驱动器(包括硬盘、固态驱动器(SSD)、网络附连储存器(NAS)等，以及可移动介质的驱动器)。此外，连接1321可以包括输出图像或声音的输出设备(监视器、扬声器等)。

照相机1322是具有拍摄被摄体并获得被摄体的图像数据的功能的模块。例如，通过照相机1322的拍摄获得的图像数据被提供给视频处理器1332并由视频处理器1332编码。

传感器1323是具有任意传感器功能的模块，诸如声音传感器、超声波传感器、光学传感器、亮度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性识别传感器、震动传感器或者温度传感器。例如，由传感器1323检测的数据提供给应用处理器1331并由应用等使用。

以上描述为模块的配置可以实现为处理器，并且描述为处理器的配置可以实现为模块。

在具有以上配置的视频套件1300中，本技术可以应用到如随后将描述的视频处理器1332。因此，视频套件1300可以实现为本技术适用的套件。

(视频处理器的示例性配置)

图42示出了本技术适用的视频处理器1332(图41)的示例性示意配置。

在图42的例子的情况下，视频处理器1332具有接收视频信号和音频信号的输入并根据特定方案对视频信号和音频信号编码的功能，以及对编码的视频数据和音频数据解码并再现和输出视频信号和音频信号的功能。

如图42中所示，视频处理器1332包括：视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。视频处理器1332还包括：编码/解码引擎1407、视频基本流(ES)缓存器1408A和1408B以及音频ES缓存器1409A和1409B。视频处理器1332还包括：音频编码器1410、音频解码器1411、多路复用单元(多路复用器(MUX))1412、多路分解单元(多路分解器(DMUX))1413以及流缓存器1414。

例如，视频输入处理单元1401获取从连接1321(图41)等输入的视频信号，并将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行例如格式转换处理和图像放大/缩小处理。第二图像放大/缩小单元1403根据通过视频输出处理单元1404将图像数据输出到的目的地的格式对图像数据执行图像放大/缩小处理，或者对图像数据执行与第一图像放大/缩小单元1402的格式转换处理和图像放大/缩小处理同样的格式转换处理和图像放大/缩小处理。视频输出处理单元1404对图像数据执行格式转换以及到模拟信号的转换，并将再现的视频信号输出到例如连接1321(图41)等。

帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据存储器。例如，帧存储器1405实现为诸如DRAM的半导体存储器。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并根据写在访问管理表1406A中的用于帧存储器1405的访问时间表来控制对帧存储器1405的写/读访问。根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理，通过存储器控制单元1406来更新访问管理表1406A。

编码/解码引擎1407执行对图像数据进行编码的编码处理以及对作为通过对图像数据编码而获取的数据的视频流进行解码的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并顺序地将编码图像数据写入视频ES缓存器1408A作为视频流。另外，例如，编码/解码引擎1407顺序地从视频ES缓存器1408B读取视频流、顺序地解码视频流，并顺序地将解码图像数据写入帧存储器1405。在编码或解码时，编码/解码引擎1407使用帧存储器1405作为工作区域。另外，在每个宏块的处理开始的定时，编码/解码引擎1407向存储器控制单元1406输出同步信号。

视频ES缓存器1408A缓存由编码/解码引擎1407生成的视频流，然后将视频流提供给多路复用单元(MUX)1412。视频ES缓存器1408B缓存从多路分解单元(DMUX)1413提供的视频流，然后将视频流提供给编码/解码引擎1407。

音频ES缓存器1409A缓存由音频编码器1410生成的音频流，然后将音频流提供给多路复用单元(MUX)1412。音频ES缓存器1409B缓存从多路分解单元(DMUX)1413提供的音频流，然后将音频流提供给音频解码器1411。

例如，音频编码器1410将从例如连接1321(图41)等输入的音频信号转换成数字信号，并根据诸如MPEG音频方案或AudioCode3号(AC3)方案的特定方案编码数字信号。音频编码器1410顺序地将通过编码音频信号获得的数据的音频流写入音频ES缓存器1409A。音频解码器1411对从音频ES缓存器1409B提供的音频流进行解码、执行例如到模拟信号的转换，并将再现的音频信号提供给例如连接1321(图41)等。

多路复用单元(MUX)1412执行视频流和音频流的多路复用。多路复用方法(即通过多路复用生成的比特流的格式)是任意的。另外，在多路复用时，多路复用单元(MUX)1412可以将特定的头信息等添加到比特流。换句话说，多路复用单元(MUX)1412可以通过多路复用来转换流格式。例如，多路复用单元(MUX)1412对要转换成传输流的视频流和音频流进行多路复用，其中传输流是传送格式的比特流。另外，例如，多路复用单元(MUX)1412对要转换成记录文件格式的数据(文件数据)的视频流和音频流进行多路复用。

多路分解单元(DMUX)1413通过与由多路复用单元(MUX)1412执行的多路复用对应的方法来对由多路复用视频流和音频流而获得的比特流进行多路分解。换句话说，多路分解单元(DMUX)1413根据从流缓存器1414读取的比特流提取视频流和音频流(分离视频流和音频流)。换句话说，多路分解单元(DMUX)1413可以通过多路分解来执行流的格式的转换(由多路复用单元(MUX)1412执行的转换的逆转换)。例如，多路分解单元(DMUX)1413可以通过流缓存器1414获取从例如连接1321或宽带调制解调器1333(均见图41)提供的传输流，并通过多路分解将传输流转换成视频流和音频流。另外，例如，多路分解单元(DMUX)1413可以通过流缓存器1414获取通过例如连接1321从各种记录介质(图41)读取的文件数据，并通过多路分解将文件数据转换成视频流和音频流。

流缓存器1414缓存比特流。例如，流缓存器1414缓存从多路复用单元(MUX)1412提供的传输流，并在特定定时或者基于外部请求等将传输流提供给例如连接1321或宽带调制解调器1333(均见图41)。

另外，例如，流缓存器1414缓存从多路复用单元(MUX)1412提供的文件数据，在特定定时或者基于外部请求等将文件数据提供给例如连接1321(图41)等，并使文件数据记录在各种记录介质中。

此外，流缓存器1414缓存通过例如连接1321或宽带调制解调器1333(均见图41)获取的传输流，并在特定定时或者基于外部请求等将传输流提供给多路分解单元(DMUX)1413。

另外，流缓存器1414缓存在例如连接1321(图41)等中从各种记录介质读取的文件数据，并在特定定时或者基于外部请求等将文件数据提供给多路分解单元(DMUX)1413。

接下来，将描述具有以上配置的视频处理器1332的操作。例如，从连接1321(图41)等输入到视频处理器1332的视频信号在视频输入处理单元1401中根据诸如4:2:2Y/Cb/Cr方案的特定方案转换成数字图像数据，并顺序地写入帧存储器1405。数字图像数据被读出到第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，受到执行到诸如4:2:0Y/Cb/Cr方案的特定方案的格式转换的格式转换处理和放大/缩小处理，并再次写入帧存储器1405。图像数据由编码/解码引擎1407编码，并写入视频ES缓存器1408A作为视频流。

另外，从连接1321(图41)等输入视频处理器1332的音频信号由音频编码器1410编码，并写入音频ES缓存器1409A作为音频流。

视频ES缓存器1408A的视频流和音频ES缓存器1409A的音频流被读出到多路复用单元(MUX)1412并被多路复用单元(MUX)1412多路复用，并转换成传输流、文件数据等。由多路复用单元(MUX)1412生成的传输流在流缓存器1414中缓存，然后例如通过连接1321或宽带调制解调器1333(均见图41)输出到外部网络。另外，由多路复用单元(MUX)1412生成的文件数据在流缓存器1414中缓存，然后输出到例如连接1321(图41)等，并记录在各种记录介质中。

另外，例如通过连接1321或宽带调制解调器1333(均见图41)从外部网络输入到视频处理器1332的传输流在流缓存器1414中缓存，然后由多路分解单元(DMUX)1413多路分解。另外，在例如连接1321(图41)等中从各种记录介质读取然后输入到视频处理器1332的文件数据在流缓存器1414中缓存，然后由多路分解单元(DMUX)1413多路分解。换句话说，输入到视频处理器1332的传输流或文件数据通过多路分解单元(DMUX)1413多路分解成视频流和音频流。

音频流通过音频ES缓存器1409B提供给音频解码器1411并被解码，因此音频信号被再现。另外，视频流写入视频ES缓存器1408B，顺序地被读出到编码/解码引擎1407并由编码/解码引擎1407解码，并写入帧存储器1405。解码图像数据受到由第二图像放大/缩小单元1403执行的放大/缩小处理，并被写入帧存储器1405。然后，解码图像数据被读出到视频输出处理单元1404，受到执行到诸如4:2:2Y/Cb/Cr方案的特定方案的格式转换的格式转换处理，并被转换成模拟信号，因此视频信号被再现。

当本技术应用到具有以上配置的视频处理器1332时，优选的是本技术的以上实施例应用到编码/解码引擎1407。换句话说，例如，编码/解码引擎1407优选地具有根据第一实施例的编码设备或解码设备的功能。因而，视频处理器1332可以获得与以上参考图1至12所描述的效果相同的效果。

另外，在编码/解码引擎1407中，本技术(即根据以上实施例的图像编码设备或图像解码设备的功能)可以由诸如逻辑电路的硬件和诸如嵌入式程序的软件中的任一个或二者实现。

(视频处理器的另一示例性配置)

图43示出了本技术适用的视频处理器1332(图41)的另一示例性示意配置。在图43的例子的情况下，视频处理器1332具有根据特定方案的编码和解码视频数据的功能。

更具体而言，如图43中所示，视频处理器1332包括：控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。视频处理器1332还包括编解码器引擎1516、存储器接口1517、多路复用/多路分解单元(MUX DMUX)1518、网络接口1519以及视频接口1520。

控制单元1511控制视频处理器1332中的每个处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。

如图43中所示，例如，控制单元1511包括主CPU 1531、副CPU 1532以及系统控制器1533。主CPU 1531执行例如用于控制视频处理器1332中每个处理单元的操作的程序。主CPU1531例如根据该程序生成控制信号，并将该控制信号提供给每个处理单元(即控制每个处理单元的操作)。副CPU 1532起到主CPU 1531的补充作用。例如，副CPU 1532执行由主CPU1531执行的程序的子处理或子例程。系统控制器1533控制主CPU 1531和副CPU 1532的操作，例如，指定由主CPU 1531和副CPU 1532执行的程序。

显示接口1512在控制单元1511的控制下将图像数据输出到例如连接1321(图41)等。例如，显示接口1512将数字数据的图像数据转换成模拟信号，并将模拟信号输出到例如连接1321(图41)的监视器设备作为再现的视频信号，或者将数字数据的图像数据输出到例如连接1321(图41)的监视器设备。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理(诸如格式转换处理、大小转换处理以及色域转换处理)，以符合例如显示图像的监视器设备的硬件规格。

在控制单元1511的控制下，图像处理引擎1514对图像数据执行特定图像处理(诸如滤波处理)以改进图像质量。

内部存储器1515是安装在视频处理器1332中并由显示引擎1513、图像处理引擎1514和编解码器引擎1516共享的存储器。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码器引擎1516之间执行的数据转移。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并在需要时(例如根据请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何存储设备实现，但是由于内部存储器1515主要用于小容量数据(诸如块单位的图像数据或者参数)的存储，因此期望利用(例如与外部存储器1312相比)容量相对小并且响应速度快的半导体存储器(诸如静态随机存取存储器(SRAM))来实现内部存储器1515。

编解码器引擎1516执行与图像数据的编码和解码有关的处理。由编解码器引擎1516支持的编码/解码方案是任意的，并且编解码器引擎1516可以支持一个或多个方案。例如，编解码器引擎1516可以具有支持多个编码/解码方案的编解码器功能，并利用从该方案中选择的方案执行图像数据的编码或编码数据的解码。

在图43中所示的例子中，编解码器引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551，作为与编解码器有关的处理的功能块。

MPEG-2视频1541是根据MPEG-2方案编码或解码图像数据的功能块。AVC/H.2641542是根据AVC方案编码或解码图像数据的功能块。HEVC/H.265 1543是根据HEVC方案编码或解码图像数据的功能块。HEVC/H.265(可伸缩)1544是根据HEVC方案对图像数据执行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方案对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是根据通过HTTP的MPEG-动态自适应流(MPEG-DASH)发送和接收图像数据的功能块。MPEG-DASH是利用超文本传输协议(HTTP)对视频进行流传输的技术，并具有如下特征：以段为单位从与之前准备的分辨率等不同的多条编码数据中选择适当的编码数据，并发送选择的该编码数据。MPEG-DASH1551执行符合标准的流的生成、流的传输控制等，并将MPEG-2视频1541或HEVC/H.265(多视图)1545用于图像数据的编码和解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517提供给外部存储器1312。另外，从外部存储器1312读取的数据通过存储器接口1517提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

多路复用/多路分解单元(MUX DMUX)1518对与图像有关的各种数据(诸如图像数据、视频信号和编码数据的比特流)执行多路复用和多路分解。多路复用/多路分解方法是任意的。例如，在多路复用时，多路复用/多路分解单元(MUX DMUX)1518不仅可以将多个数据组合成一个，而且可以向数据添加特定头信息等。另外，在多路分解时，多路复用/多路分解单元(MUX DMUX)1518不仅可以将一个数据分成多个数据，而且可以向每个分开的数据添加特定头信息等。换句话说，多路复用/多路分解单元(MUX DMUX)1518可以通过多路复用/多路分解来转换数据格式。例如，多路复用/多路分解单元(MUX DMUX)1518可以对要转换成充当传送格式的比特流的传输流或记录文件格式的数据(文件数据)的比特流进行多路复用。当然，也可以通过多路分解执行逆转换。

网络接口1519是用于例如宽带调制解调器1333或连接1321(均见图41)的接口。视频接口1520是用于例如连接1321或照相机1322(均见图41)的接口。

接下来，将描述视频处理器1332的示例性操作。例如，当传输流通过例如连接1321或宽带调制解调器1333(均见图41)从外部网络接收时，传输流通过网络接口1519提供给多路复用/多路分解单元(MUX DMUX)1518，被多路分解，然后由编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的图像数据受到由例如图像处理引擎1514执行的特定图像处理，受到由显示引擎1513执行的特定转换，并通过显示接口1512提供给例如连接1321(图41)等，因此图像显示在监视器上。另外，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516再次编码，被多路复用/多路分解单元(MUX DMUX)1518多路复用以转换成文件数据，通过视频接口1520输出到例如连接1321(图41)等，然后记录在各种记录介质中。

此外，例如，通过对经由连接1321(图41)等从记录介质(未图示)读取的图像数据编码而获得的编码数据的文件数据通过视频接口1520提供给多路复用/多路分解单元(MUXDMUX)1518，然后被多路分解，并由编解码器引擎1516解码。通过编解码器引擎1516的解码而获得的图像数据受到由图像处理引擎1514执行的特定图像处理，受到由显示引擎1513执行的特定转换，并通过显示接口1512提供给例如连接1321(图41)等，因此图像显示在监视器上。另外，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516再次编码，被多路复用/多路分解单元(MUX DMUX)1518多路复用以转换成传输流，通过网络接口1519提供给例如连接1321或宽带调制解调器1333(均见图41)，并发送到另一设备(未图示)。

另外，例如利用内部存储器1515或外部存储器1312执行在视频处理器1332中的处理单元之间图像数据或其它数据的转移。此外，例如，电源管理模块1313控制向控制单元1511的电力供应。

当本技术应用到具有以上配置的视频处理器1332时，期望将本技术的以上实施例应用到编解码器引擎1516。换句话说，例如，优选的是编解码器引擎1516具有实现根据第一实施例的编码设备和解码设备的功能块。此外，例如，由于编解码器引擎1516如上所述地操作，因此视频处理器1332可以具有与以上参考图1至12所描述的效果相同的效果。

另外，在编解码器引擎1516中，本技术(即根据以上实施例的图像编码设备或图像解码设备的功能)可以由诸如逻辑电路的硬件和诸如嵌入式程序的软件中的任一个或二者来实现。

以上已经描述了视频处理器1332的两种示例性配置，但是视频处理器1332的配置是任意的，并且可以具有与以上两种示例性配置不同的任何配置。另外，视频处理器1332可以配置有单个半导体芯片或者可以配置有多个半导体芯片。例如，视频处理器1332可以配置有层叠多个半导体的三维层叠LSI。另外，视频处理器1332可以由多个LSI实现。

(对设备的应用例子)

视频套件1300可以结合到处理图像数据的各种设备中。例如，视频套件1300可以结合到电视设备900(图34)、移动电话920(图35)、记录/再现设备940(图36)、成像设备960(图37)等中。由于结合了视频套件1300，因此设备可以具有与以上参考图1至12所描述的效果相同的效果。

另外，视频套件1300也可以结合到终端设备中，该终端设备诸如图38的数据传输系统1000中的个人计算机1004、AV设备1005、平板设备1006或移动电话1007，图39的数据传输系统1100中的广播站1101或终端设备1102，或者图40的成像系统1200中的成像设备1201或可伸缩编码数据存储设备1202。由于结合了视频套件1300，因此设备可以具有与以上参考图1至12所描述的效果相同的效果。

另外，当部件包括视频处理器1332时，甚至视频套件1300中的每个部件都可以实现为本技术适用的部件。例如，仅视频处理器1332可以实现为本技术适用的视频处理器。另外，例如，如上所述由虚线1341指示的处理器、视频模块1311等可以实现为本技术适用的例如处理器或模块等。另外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314的组合可以实现为本技术适用的视频单元1361。这些配置可以具有与以上参考图1至12所描述的效果相同的效果。

换句话说，与视频套件1300的情况类似，包括视频处理器1332的配置可以结合到处理图像数据的各种设备中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以结合到电视设备900(图34)、移动电话920(图35)、记录/再现设备940(图36)、成像设备960(图37)、终端设备等中，该终端设备诸如：图38的数据传输系统1000中的个人计算机1004、AV设备1005、平板设备1006或移动电话1007，图39的数据传输系统1100中的广播站1101或终端设备1102、图40的成像系统1200中的成像设备1201或可伸缩编码数据存储设备1202。另外，与视频套件1300类似，作为本技术适用的配置，设备可以具有与以上参考图1至12所描述的效果相同的效果。

在本公开内容中，已经结合诸如色域信息和亮度信息的各种信息被多路复用为编码数据并从编码侧发送到解码侧的例子作出。但是，发送信息的技术不限于这个例子。例如，信息可以作为与编码数据关联的单独的数据发送或记录，而不被多路复用为编码数据。这里，术语“关联”意味着在解码时比特流中包括的图像(或者图像的一部分，诸如片或块)可以与对应于该图像的信息相联系。换句话说，可以通过与编码数据不同的传输路径发送信息。另外，信息可以记录在与编码数据不同的记录介质(或者相同记录介质的不同记录区域)中。此外，信息和编码数据可以例如以多个帧、帧或者诸如一帧的部分的任意单位为单位相互关联。

在本公开内容中，系统代表多个部件(设备、模块(部分)等)的组，并且不是所有部件都必需布置在单个壳体中。因此，布置在单独的壳体中并经由网络相互连接的多个设备和包括布置在单个壳体中的多个模块的单个设备都被认为是系统。

本公开内容中所描述的效果仅仅是例子，并且可以获得其它效果。

另外，本公开内容的实施例不限于以上实施例，并且在不背离本公开内容要旨的范围内可以进行各种变化。

例如，本公开内容可以具有云计算配置，其中一个功能经由网络被多个设备共享并联合处理。

以上参考流程图描述的步骤可以由单个设备执行或者可以由多个设备分担并执行。

此外，当多个处理包括在单个步骤中时，包括在单个步骤中的多个处理可以由单个设备执行或者可以由多个设备分担并执行。

本公开内容也可以具有以下配置。

(1)一种解码设备，包括：

接收单元，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据和指示图像的色域的色域信息；

提取单元，从由接收单元接收的编码流提取编码数据和色域信息；以及

解码单元，对由提取单元提取的编码数据进行解码并生成图像。

(2)根据(1)的解码设备，还包括：

调节单元，基于由提取单元提取的色域信息来调节由解码单元生成的图像的色域。

(3)根据(2)的解码设备，

其中编码流包括指示在图像制作时显示图像的显示单元的亮度的亮度信息，

提取单元从编码流提取亮度信息，以及

调节单元基于由提取单元提取的亮度信息来调节由解码单元生成的图像的亮度动态范围。

(4)根据(3)的解码设备，

其中亮度信息指示显示单元的白色和黑色的亮度。

(5)一种由解码设备执行的解码方法，包括：

接收步骤，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据和指示图像的色域的色域信息；

提取步骤，从在接收步骤中接收的编码流提取编码数据和色域信息；以及

解码步骤，对在提取步骤中提取的编码数据进行解码并生成图像。

(6)一种编码设备，包括：

编码单元，对图像编码并生成编码数据；

设置单元，设置指示图像的色域的色域信息；以及

发送单元，发送包括由编码单元生成的编码数据和由设置单元生成的色域信息的编码流。

(7)根据(6)的编码设备，

其中设置单元设置指示在图像制作时显示图像的显示单元的亮度的亮度信息，以及

发送单元发送包括编码数据、色域信息和亮度信息的编码流。

(8)根据(7)的编码设备，

其中亮度信息指示显示单元的白色和黑色的亮度。

(9)一种由编码设备执行的编码方法，包括：

编码步骤，对图像编码并生成编码数据；

设置步骤，设置指示图像的色域的色域信息；以及

发送步骤，发送包括在编码步骤中生成的编码数据和在设置步骤中生成的色域信息的编码流。

(10)一种解码设备，包括：

接收单元，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据、标识特定色域的标识信息以及图像的色域与所述特定色域的覆盖比；

提取单元，从由接收单元接收的编码流提取编码数据、标识信息和覆盖比；以及

解码单元，对由提取单元提取的编码数据进行解码并生成图像。

(11)根据(10)的解码设备，还包括

调节单元，基于由提取单元提取的标识信息和覆盖比来调节由解码单元生成的图像的色域。

(12)根据(11)的解码设备，

其中编码流包括指示在图像制作时显示图像的显示单元的亮度的亮度信息，

提取单元从编码流提取亮度信息，以及

调节单元基于由提取单元提取的亮度信息来调节由解码单元生成的图像的亮度动态范围。

(13)根据(12)的解码设备，

其中亮度信息指示显示单元的白色和黑色的亮度。

(14)一种由解码设备执行的解码方法，包括：

接收步骤，从发送编码流的编码设备接收编码流，编码流包括图像的编码数据、标识特定色域的标识信息以及图像的色域与所述特定色域的覆盖比；

提取步骤，从在接收步骤中接收的编码流提取编码数据、标识信息和覆盖比；以及

解码步骤，对在提取步骤中提取的编码数据进行解码并生成图像。

(15)一种编码设备，包括：

编码单元，对图像编码并生成编码数据；

设置单元，设置标识特定色域的标识信息和图像的色域与所述特定色域的覆盖比；以及

发送单元，发送包括由编码单元生成的编码数据以及由设置单元生成的标识信息和覆盖比的编码流。

(16)根据(15)的编码设备，

其中设置单元设置指示在图像制作时显示图像的显示单元的亮度的亮度信息，以及

发送单元，发送包括编码数据、色域信息和亮度信息的编码流。

(17)根据(16)的编码设备，

其中亮度信息指示显示单元的白色和黑色的亮度。

(18)一种由编码设备执行的编码方法，包括：

编码步骤，对图像编码并生成编码数据；

设置步骤，设置标识特定色域的标识信息和图像的色域与所述特定色域的覆盖比；以及

发送步骤，发送包括在编码步骤中生成的编码数据以及在设置步骤中生成的标识信息和覆盖比的编码流。

符号列表

10 编码设备

11 设置单元

12 编码单元

13 发送单元

50 解码设备

51 接收单元

52 提取单元

53 解码单元

54 调节单元

70 编码设备

72 设置单元

90 解码设备

91 提取单元

92 调节单元

Claims (11)

1.一种解码设备，包括：

电路，被配置为

接收第一颜色信息、第二颜色信息和图像的编码数据，第一颜色信息指示识别颜色显示控制信息之一的索引，第二颜色信息指示补充增强信息；

解码所述编码数据以生成所述图像、第一颜色信息和第二颜色信息；

选择第一颜色信息和第二颜色信息中的一个；以及

基于选择的颜色信息调整生成的图像的颜色显示。

2.如权利要求1所述的解码设备，其中，第一颜色信息是AVC的VUI或HEVC的VUI。

3.如权利要求2所述的解码设备，其中，第一颜色信息包括标志，所述标志指示是否描述了识别以另一标准在VUI中定义的色域的索引(colour_description_present_flag)。

4.如权利要求1所述的解码设备，其中，第一颜色信息是ATSC的SPS。

5.如权利要求1所述的解码设备，其中，第二颜色信息是AVC的SEI或HEVC的SEI。

6.如权利要求1所述的解码设备，其中，所述电路还被配置为

在第二颜色信息被解码时选择第二颜色信息。

7.一种由解码设备执行的解码方法，所述方法包括：

接收第一颜色信息、第二颜色信息和图像的编码数据，第一颜色信息指示识别颜色显示控制信息之一的索引，第二颜色信息指示补充增强信息；

解码所述编码数据以生成所述图像、第一颜色信息和第二颜色信息；

选择第一颜色信息和第二颜色信息中的一个；以及

基于选择的颜色信息调整生成的图像的颜色显示。

8.一种编码设备，包括：

电路，被配置为

接收第一颜色信息、第二颜色信息和要编码的图像，第一颜色信息指示识别颜色显示控制信息之一的索引，第二颜色信息指示补充增强信息；

编码所述图像、第一颜色信息和第二颜色信息，以生成编码数据；

其中所述电路还被配置为在第二颜色信息中包括主显示器的亮度信息(ref_display_luminance_info SEI)。

9.如权利要求8所述的编码设备，其中，在所述图像的色域不同于第一颜色信息中的索引指定的色域时，所述电路还在第二颜色信息中包括指示色域的补充色域信息(colour_primaries_info SEI)。

10.一种由编码设备执行的编码方法，所述方法包括：

接收第一颜色信息、第二颜色信息和要编码的图像，第一颜色信息指示识别颜色显示控制信息之一的索引，第二颜色信息指示补充增强信息；

在第二颜色信息中包括主显示器的亮度信息(ref_display_luminance_info SEI)；以及

编码所述图像、第一颜色信息和第二颜色信息，以生成编码数据。

11.如权利要求10所述的编码方法，其中，在所述图像的色域不同于第一颜色信息中的索引指定的色域时，在第二颜色信息中包括主显示器的亮度信息的步骤还在第二颜色信息中包括指示色域的补充色域信息(colour_primaries_info SEI)。