CN104813666A - 解码装置和解码方法、以及编码装置和编码方法 - Google Patents

Abstract

提供了一种解码装置，该解码装置包括电路，该电路被配置成接收编码数据和转换信息，该编码数据关于具有第一动态范围中的亮度的图像，而该转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及对所接收的编码数据进行解码以便生成图像，其中，该转换使用拐点函数。

Description

解码装置和解码方法、以及编码装置和编码方法

技术领域

本公开涉及一种解码装置和解码方法以及编码装置和编码方法，并且特别地涉一种能够将解码图像转换为具有不同的动态范围的期望的图像的解码装置和解码方法以及编码装置和编码方法。

<相关申请的交叉引用>

本申请要求2013年10月15日提交的日本优先权专利申请JP2013-215060、2013年12月27日提交的日本优先权专利申请JP2013-272945以及2014年3月4日提交的日本优先权专利申请JP2014-042174的权益，上述日本优先权专利申请中的每个的全部内容通过引用并入本文。

背景技术

近年，针对在广播站中的信息递送等和在普通家庭中的信息接收两者，遵守诸如运动图像专家组(MPEG)的方法的设备得到了广泛地传播。MPEG通过使用图像信息所特有的冗余经由诸如离散余弦变换的正交变换和运动补偿对图像信息进行压缩。

具体地，作为涵盖了隔行扫描图像和逐行扫描图像以及标准分辨率图像和高清晰度图像两者的标准，MPEG2(ISO/IEC 13818-2)方法被限定为通用图像编码方法，并且当前广泛地用于针对专业用途和消费者使用的广泛应用。通过使用MPEG2方法，例如通过为具有720×480像素的标准分辨率的隔行扫描图像分配4Mbps至8Mbps的比特率以及通过为具有1920×1088像素的高分辨率的隔行扫描图像分配18Mbps至22Mbps的比特率，可以实现高压缩比例和良好图像质量。

MPEG2主要以适合于广播的高图像质量编码为目标，但是不处理以比MPEG1的比特率更低的比特率(即，较高的压缩比例)的编码方法。随着便携式终端的广泛使用，对于这样的编码方法的期望被认为增长，因此已经对MPEG4编码方法进行了标准化以便与其相一致。关于MPEG4的图像编码方法，1998年12月其标准被批准为题为ISO/IEC 14496-2的国际标准。

另外，近年，针对用于视频会议用途的图像编码的最初目的，被称为H.26L(ITU-T Q6/16VCEG)的标准的标准化取得了进展。与现有技术的编码方法诸如MPEG2或MPEG4相比，由于编码和解码H.26L使用较大的计算量，但是H.26L被已知实现了较高的编码效率。

此外，作为MPEG4的活动的一部分，基于H.26L、还通过并入H.26L所不支持的功能，当前正在对增强压缩视频编码的联合模型进行标准化，以为了实现更高的编码效率。关于其标准化的时间表，2003年3月以H.26L和MPEG-4部分10(先进视频编码(AVC))的名义，该编码方法成为国际标准。

另外，作为AVC方法的扩展，在2005年2月对保真度范围扩展(FRExt)进行了标准化，保真度范围扩展(FRExt)包括用于商业用途的编码工具，诸如RGB或YUS422以及YUV444，并且还包括在MPEG2中所限定的8×8DCT或量化矩阵。这实现了下述编码方法：在该编码方法中，通过使用AVC方法，甚至可以有利地表达在电影中所包括的胶片噪声，因此引起了对于各种应用的使用，诸如蓝光(注册商标)盘(BD)。

然而，近来，对于更高压缩比例编码存在增长的需求，诸如对具有大约4000×2000个像素的图像(其为高视觉图像的尺寸的四倍)的压缩的需求，或在诸如互联网的受限传送容量情形下递送高视觉图像的需求。由于此原因，附属于以上ITU-T的视频编码专家组(VCEG)当前正在执行对编码效率的改进的研究。

另外，当前，出于对比AVC的编码效率更高的编码效率进行改进的目的，联合协作组-视频编码(JCTVC)对被称为高效视频编码(HEVC)的编码方法的标准化处于进展中，联合协作组-视频编码(JCTVC)是ITU-T和ISO/IEC的联合标准化组织。2013年8月，NPL 1当前作为草案被公布。

同时，近来，随着技术的进展，在市场上已经开始出售具有500尼特(nit)或1000尼特的最大亮度的高动态范围(HDR)显示器。

在对标准动态范围(SDR)显示和HDR显示进行混合的情况下，需要按照AVC方法或HEVC方法对SDR图像和HDR图像中的每个图像进行编码，因此数据量增加。因此，考虑下述方法：在该方法中，对SDR图像和HDR图像中的一个图像进行编码，然后根据需要在执行解码之后对动态范围进行转换，从而生成另一个图像。

引用列表

非专利文献

NPL 1：Benjamin Bross,Gary J.Sullivan,Ye-Kui Wang,“Editors’proposed corrections to HEVC version1”,JCTVC-M0432_v3,2013.4.18–4.26

发明内容

技术问题

然而，当对动态范围的转换进行转换时，未考虑制作者打算的到图像的转换。

期望将解码图像转换为具有不同的动态范围的期望的图像。

问题的解决方案

根据本公开的实施例，提供了一种解码装置，包括：电路，该电路被配置成接收编码数据和转换信息，该编码数据关于具有在第一动态范围中的亮度的图像，以及转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及对所接收的编码数据进行解码以便生成图像，其中，转换使用拐点(knee)函数。

一种解码方法，该解码方法使得解码装置执行：接收编码数据和转换信息，该编码数据关于具有第一动态范围中的亮度的图像，以及转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及对所接收的编码数据进行解码以便生成图像，其中，转换使用拐点函数。

一种编码装置，包括：电路，该电路被配置成设置转换信息，该转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及对具有第一动态范围中的亮度的图像进行编码以便生成编码数据，其中，转换使用拐点函数。

一种在其上存储有编码数据和转换信息的非暂态计算机可读介质，该编码数据关于具有第一动态范围中的亮度的图像，以及转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换，其中，解码装置对编码数据进行解码，基于解码数据生成图像，以及基于包括拐点的转换信息对动态范围进行转换。

根据本公开的实施例，提供了一种解码装置，包括：提取单元，从编码流中提取编码数据和转换信息，该编码流包括作为具有第一动态范围中的亮度的图像的第一图像的编码数据和关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的转换信息；以及解码单元，对由提取单元所提取的编码数据进行解码，以便生成第一图像。

根据本公开的实施例的解码方法对应于根据本公开的实施例的解码装置。

根据本公开的实施例，从编码流提取编码数据和转换信息，该编码流包括作为具有第一动态范围中的亮度的图像的第一图像的编码数据和作为关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的信息的转换信息，以及对所提取的编码数据进行解码使得生成第一图像。

根据本公开的另一实施例，提供了一种编码装置，包括：设置单元，设置作为关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的信息的转换信息；编码单元，对作为具有第一动态范围中的亮度的图像的第一图像进行编码以便生成编码数据；以及传送单元，传送编码流，该编码流包括由设置单元所设置的转换信息和由编码单元所生成的第一图像的编码数据。

本公开的另一实施例的编码方法对应于根据本公开的另一实施例的编码装置。

根据本公开的实施例，设置转换信息，该转换信息为关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的信息；对第一图像进行编码使得生成编码数据，第一图像为具有第一动态范围中的亮度的图像；以及传送编码流，该编码流包括转换信息和第一图像的编码数据。

另外，通过在计算机中执行程序可以实现根据实施例的解码装置和编码装置。

此外，为了实现根据实施例的解码装置和编码装置在计算机中所执行的程序可以通过经由传送介质传送程序或通过将程序记录在记录介质上而提供。

根据实施例的解码装置和编码装置可以是独立的装置，以及可以是形成单一设备的内部块。

发明的有利效果

根据本公开的实施例，可以对图像的编码数据进行解码。另外，根据本公开的实施例，可以将解码图像转换为具有不同的动态范围的期望的图像。

根据本公开的另一实施例，可以对图像进行编码。另外，根据本公开的另一实施例，可以对图像进行编码使得在解码期间解码图像可以被转换为具有不同的动态范围的期望的图像。

另外，在此所描述的效果不必是受限的，并且可以是在本公开中所描述的效果中的任一个。

附图说明

图1是示出了SDR图像的图。

图2是示出了HDR图像的图。

图3是示出了本公开的实施例中的编码的概述的图。

图4是示出了本公开的实施例中的解码的概述的图。

图5是示出了拐点解压缩的图。

图6是示出了应用了本公开的编码装置的实施例的配置示例的框图。

图7是示出了knee_function_info SEI的语法的示例的图。

图8是示出了在图7的knee_function_info SEI中所设置的每个信息的图。

图9是示出了在knee_function_info SEI中所设置的转换信息的示例的图。

图10是示出了在knee_function_info SEI中所设置的转换信息的示例的图。

图11是示出了由编码装置所执行的流生成处理的流程图。

图12是示出了应用了本公开的解码装置的实施例的配置示例的框图。

图13是由图12的解码装置所执行的图像生成处理的流程图。

图14是示出了knee_function_info SEI的语法的另一示例的图。

图15是示出了在图14的knee_function_info SEI中所设置的每个信息的图。

图16是示出了应用了本公开的实施例的编码装置的第一实施例的配置示例的框图。

图17是示出了由图16的设置单元所设置的knee_function_info SEI的语法的第一示例的图。

图18是示出了在图17的knee_function_info SEI中所设置的每个信息的图。

图19是示出了图17的DR转换信息的示例的图。

图20是示出了图17的DR转换信息的示例的图。

图21是示出了由图16的编码装置所执行的流生成处理的流程图。

图22是示出了应用了本公开的解码装置的第二实施例的配置示例的框图。

图23是示出了由图22的解码装置所执行的图像生成处理的流程图。

图24是示出了图17的DR转换信息的另一示例的图。

图25是示出了图17的DR转换信息的又一示例的图。

图26是示出了包括图17的DR转换信息的tone_mapping_info_SEI的语法的示例的图。

图27是示出了包括图17的DR转换信息的tone_mapping_info_SEI的语法的另一示例的图。

图28是示出了由图16的设置单元所设置的knee_function_info SEI的语法的第二示例的图。

图29是示出了在图28的knee_function_info SEI中所设置的每个信息的图。

图30是示出了图28的DR转换信息的示例的图。

图31是示出了图28的DR转换信息的示例的图。

图32是示出了包括图28的DR转换信息的tone_mapping_info_SEI的语法的示例的图。

图33是示出了在限制拐点数量的情况下在图28的knee_function_info SEI中所设置的每个信息的图。

图34是示出了在限制拐点的数量的情况下图28的knee_function_info SEI的示例的图。

图35是示出了在限制拐点数量的情况下图32的tone_mapping_info_SEI的示例的图。

图36是示出了由图16的设置单元所设置的knee_function_info SEI的语法的第三示例的图。

图37是示出了在图36的knee_function_info SEI中所设置的每个信息的图。

图38是示出了图36的DR转换信息的示例的图。

图39是示出了包括图36的DR转换信息的tone_mapping_info_SEI的语法的示例的图。

图40是示出了由图16的设置单元所设置的knee_function_info SEI的语法的第四示例的图。

图41是示出了在图40的knee_function_info SEI中所设置的每个信息的图。

图42是示出了图40的DR转换信息的示例的图。

图43是示出了图40的DR转换信息的示例的图。

图44是示出了在图40的knee_function_info SEI被设置为多个的情况下解码装置的操作的图。

图45是示出了包括图40的DR转换信息的tone_mapping_info_SEI的语法的示例的图。

图46是示出了布置有DR转换信息的MP4盒子(box)的图。

图47是示出了ToneMapInfo的语法的示例的图。

图48是示出了在应用了本公开的编码装置的第三实施例的第一配置中的语义为与第二实施例中不同的形式的图。

图49是示出了应用了本公开的解码系统的实施例的第一配置示例的框图。

图50A是示出了由图49的解码系统所接收到的knee_function_infoSEI所限定的拐点和拐点转换函数的示例的图。

图50B是示出了由图49的解码系统所接收到的knee_function_infoSEI所限定的拐点和拐点转换函数的示例的图。

图51是示出了图50的拐点转换的近似函数的示例的图。

图52是示出了图50的拐点转换的近似函数的示例的图。

图53是示出了由图49的解码装置所执行的解码处理的流程图。

图54是示出了由图49的显示装置所执行的显示处理的流程图。

图55是示出了应用了本公开的编码装置的第三实施例的第二配置中的knee_function_info SEI的语法的示例的图。

图56是示出了图55的语义与第二实施例的不同之处的图。

图57A是示出了由图55的knee_function_info SEI所限定的拐点和拐点转换函数的示例的图。

图57B是示出了由图55的knee_function_info SEI所限定的拐点和拐点转换函数的示例的图。

图58是示出了图57的拐点转换的近似函数的示例的图。

图59是示出了图57的拐点转换的近似函数的示例的图。

图60是示出了approximate_knee_function_info SEI的语法的示例的图。

图61是示出了CRT的输入电信号与显示亮度之间的关系的图。

图62是示出了与亮度成正比的电信号的图。

图63是示出了输入电信号与显示亮度之间的关系的图。

图64是示出了具有与图61的函数相反的特性的函数的图。

图65是示出了从图像的捕获起直到显示图像为止的处理的流程的示例的图。

图66是示出了在SDR图像中使用的OETF的图。

图67是示出了在HDR图像中使用的OETF的图。

图68是示出了第四实施例中的光电转换处理的概述的图。

图69是示出了第四实施例中的电光转换的概述的图。

图70是示出了应用了本公开的编码装置的第四实施例的配置示例的框图。

图71是示出了由图70的编码装置所执行的流生成处理的流程图。

图72是示出了应用了本公开的解码装置的第四实施例的配置示例的框图。

图73是示出了由图72的解码装置所执行的图像生成处理的流程图。

图74是示出了计算机的硬件配置示例的框图。

图75是示出了多视图图像编码方法的示例的图。

图76是示出了应用了本公开的多视图图像编码装置的配置示例的图。

图77是示出了应用了本公开的多视图图像解码装置的配置示例的图。

图78是示出了分层图像编码方法的示例的图。

图79是示出了空间可伸缩编码的示例的图。

图80是示出了时间可伸缩编码的示例的图。

图81是示出了S/N比例的可伸缩编码的示例的图。

图82是示出了应用了本公开的分层图像编码装置的配置示例的图。

图83是示出了应用了本公开的分层图像解码装置的配置示例的图。

图84是示出了应用了本公开的电视机设备的示意性配置示例的框图。

图85是示出了应用了本公开的移动电话的示意性配置示例的框图。

图86是示出了应用了本公开的记录/再现设备的示意性配置示例的框图。

图87是示出了应用了本公开的成像设备的示意性配置示例的框图。

图88是示出了使用可伸缩编码的示例的框图。

图89是示出了使用可伸缩编码的另一示例的框图。

图90是示出了使用可伸缩编码的又一示例的框图。

图91是示出了应用了本公开的视频集装置的示意性配置示例的图。

图92是示出了应用了本公开的视频处理器的示意性配置示例的图。

图93是示出了应用了本公开的视频处理器的另一示意性配置示例的图。

具体实施方式

<本公开的基础>

(SDR图像的说明)

图1是示出了SDR图像的图。

如图1所示，例如，SDR图像是其图像质量被调整为与具有100尼特(坎德拉每平方米)的最大亮度的显示装置相对应的图像。因为在一些情况下自然系统中的最大亮度达到20000尼特或更高，所以在SDR图像中，明亮度动态范围大大地被压缩。

(HDR图像的说明)

图2是示出了HDR图像的图。

如图2所示，HDR图像是亮度的动态范围大于0至100％的图像。在本说明书中，除非特别地描述，否则HDR图像的亮度的动态范围为0至400％。例如，如图2所示，在对亮度的动态范围0至800％(800尼特)的HDR图像进行编码并且该HDR图像被记录在蓝光(注册商标)盘(BD)等上的情况下，连同HDR图像一起还记录有指示亮度的属性信息。另外，属性信息连同解码HDR图像一起被输入到显示装置，并且HDR图像被显示为亮度的动态范围为0至800％的图像。

此外，在显示装置的最大亮度为1000尼特的情况下，例如，将HDR图像的亮度缩放到1000尼特并且显示该HDR图像。即使在以这种方式执行缩放的情况下，HDR图像具有为0至800％的亮度的动态范围，因此由于缩放导致的其图像质量劣化小于SDR图像的图像质量劣化。

<第一实施例>

(第一实施例中的编码的概述)

图3是示出了应用了本公开的编码装置的第一实施例中的编码的概述的图。

在图3中，横轴表示亮度值(输入代码值)，而纵轴表示亮度(输出视频等级)。另外，图3的横轴的亮度值是通过将亮度值的比特数量设置为10比特并且将经受了拐点转换的白光亮度设置为100％所获得的值，但是实际上被转换为亮度的亮度值是被归一化为大于等于0并且小于等于1的值。对于稍后描述的图5同样如此。

如图3所示，在第一实施例中，亮度的动态范围为0至400％的HDR图像的80％至400％被拐点压缩为80％至100％，使得生成亮度的动态范围为0至100％的SDR图像，然后对其进行编码。

(第一实施例中的解码的概述)

图4是示出了应用了本公开的解码装置的第一实施例中的解码的概述的图。

如图4所示，在第一实施例中，对如图3所描述地生成的、亮度的动态范围为0至100％的SDR图像的编码数据进行解码。在显示单元是SDR显示器的情况下，作为解码的结果所获得的SDR图像被输入到显示单元并且显示在显示单元上而不进行改变。另一方面，在显示单元是HDR显示器的情况下，作为解码的结果所获得的SDR图像被缩放为HDR图像，以及被输入到显示单元并且显示在显示单元上。

具体地，如图5所示，亮度的动态范围为0至100％的SDR图像的80％至100％被拐点解压缩为80％至400％，因此生成亮度的动态范围为0至400％的HDR图像。另外，显示所生成的HDR图像。

另外，此时，为了生成期望的HDR图像，下述信息是必要的：关于从SDR图像到期望的HDR图像的转换的信息，诸如拐点解压缩的SDR图像的亮度的范围(在图5的示例中为80％至100％)以及与该范围相对应的HDR图像的亮度的范围(在图5的示例中为80％至400％)。因此，在第一实施例中，关于从SDR图像到HDR图像的转换的转换信息从编码装置被传送到解码装置，因此可以根据解码装置中的解码SDR图像生成期望的HDR图像。

(编码装置的第一实施例的配置示例)

图6是示出了应用了本公开的编码装置的第一实施例的配置示例的框图。

图6的编码装置10包括设置单元11、编码单元12、传送单元13以及转换单元14，并且按照遵守HEVC方法的方法对从HDR图像所转换的SDR图像进行编码。

具体地，编码装置10的设置单元11设置序列参数集(SPS)、图片参数集(PPS)、VUI等。另外，设置单元11响应于来自用户(制作者)的命令设置包括转换信息的knee_function_info补充增强信息(SEI)。设置单元11将包括所设置的SPS、PPS、VUI、knee_function_info SEI等的参数集提供给编码单元12。

编码单元12按照HEVC方法对从转换单元14所提供的SDR图像进行编码。编码单元12根据作为编码的结果所获得的编码数据和从设置单元11所提供的参数集生成编码流，并且将所生成的编码流传送到传送单元13。

传送单元13将从编码单元12所提供的编码流传送到稍后描述的解码装置。另外，传送单元13可以将编码流传送到记录装置，该记录装置将编码流记录在诸如BD的记录介质上。在这种情况下，编码流经由记录介质被传送到解码装置。

转换单元14通过拐点压缩将从外部装置所输入的HDR图像转换为SDR图像，并且将SDR图像提供给编码单元12。

(knee_function_info SEI的语法的示例)

图7是示出了knee_function_info SEI的语法的示例的图，而图8是示出了在图7的knee_function_info SEI中所设置的每个信息的图。

如图7所示，作为转换信息，在knee_function_info SEI中设置有输入拐点位置信息(knee_point_of_input)、输出拐点位置信息(knee_point_of_input)、输出亮度范围信息(output_white_level_range)、输出亮度信息(output_white_level_range_luminace)等。

输入拐点位置信息是指示作为未转换的图像的SDR图像的拐点解压缩的亮度的最小值(拐点)的信息。输入拐点位置信息是当SDR图像的亮度的最大值被设置为千分之1000时的拐点的千分比。

输出拐点位置信息是指示作为转换后的图像的HDR图像的亮度的信息，其与作为未转换的图像的SDR图像的拐点解压缩目标的亮度的最小值(拐点)相对应。输出拐点位置信息是当HDR图像的亮度的最大值被设置为千分之1000时与拐点相对应的亮度的千分比。

输出亮度范围信息是指示作为转换后的图像的HDR图像的白光亮度的信息。另外，输出亮度信息是指示显示单元的明亮度(亮度)的信息，其与作为转换后的图像的HDR图像的白光相对应。

(转换信息的示例)

图9和图10是示出了在knee_function_info SEI中所设置的转换信息的示例的图。

在图9的示例中，用户把作为将SDR图像的亮度的80％至100％拐点解压缩到80％至400％的结果所获得的HDR图像设置为期望的HDR图像。在这种情况下，在knee_function_info SEI中，800被设置为输入拐点位置信息(knee_point_of_input)而200被设置为输出拐点位置信息(knee_point_of_output)。

因此，稍后描述的解码装置可以基于输入拐点位置信息和输出拐点位置信息将作为解码的结果所获得的SDR图像的亮度的80％至100％拐点解压缩至80％至400％。作为结果，解码装置可以将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

另外，在图9的示例中，输出亮度范围信息(output_white_level_range)为400，而输出亮度信息(output_white_level_range_luminace)为800(坎德拉每平方米)。

在图10的示例中，用户把作为将SDR图像的亮度的80％至100％拐点解压缩到100％至400％的结果所获得的HDR图像设置为期望的HDR图像。在这种情况下，在knee_function_info SEI中，800被设置为输入拐点位置信息(knee_point_of_input)而200被设置为输出拐点位置信息(knee_point_of_output)。

因此，稍后描述的解码装置可以基于输入拐点位置信息和输出拐点位置信息将作为解码的结果所获得的SDR图像的亮度的80％至100％拐点解压缩至100％至400％。作为结果，解码装置可以将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

另外，在图10的示例中，输出亮度范围信息(output_white_level_range)为400，而输出亮度信息(output_white_level_range_luminace)为800(坎德拉每平方米)。

(编码装置中的处理的说明)

图11是示出了由编码装置10所执行的流生成处理的流程图。

在图11的步骤S10中，编码装置10的转换单元14将从外部装置所输入的HDR图像转换为之后被提供给编码单元12的SDR图像。

在步骤S11中，设置单元11设置SPS。在步骤S12中，设置单元11设置VUI。在步骤S13中，设置单元设置PPS。

在步骤S14中，设置单元11响应于来自用户的指令等设置knee_function_info SEI。设置单元11将包括所设置的SPS、PPS、VUI、knee_function_info SEI等的参数集提供给编码单元12。

在步骤S15中，编码单元12按照HEVC方法对从转换单元14所提供的SDR图像进行编码。在步骤S16中，编码单元12根据作为编码的结果所获得的编码数据和从设置单元11所提供的参数集生成编码流，并且将所生成的编码流传送到传送单元13。

在步骤S17中，传送单元13将从编码单元12所提供的编码流传送到稍后描述的解码装置，然后结束处理。

如上所述，编码装置10设置并且传送包括转换信息的knee_function_info SEI，因此稍后描述的解码装置可以基于转换信息将作为解码的结果所获得的SDR图像转换为期望的HDR图像。因此，可以说编码装置10可以对SDR图像进行编码，使得在解码期间解码SDR图像可以被转换为期望的HDR图像。

另外，因为设置了转换信息，所以编码装置10可以仅通过对SDR图像进行编码来生成与HDR显示器和SDR显示器相对应的图像的编码流。因此，与对HDR图像和SDR图像两者进行编码的情况相比，可以进一步降低编码流的数据量。

(解码装置的第一实施例的配置示例)

图12是示出了应用了本公开的并且对从图6的编码装置10所传送的编码流进行解码的解码装置的实施例的配置示例的框图。

图12的解码装置50包括接收单元51、提取单元52、解码单元53、转换单元54、显示控制单元55以及显示单元56。

解码装置50的接收单元51接收从图6的编码装置10所传送的编码流，并且将编码流提供给提取单元52。

提取单元52在从接收单元51所提供的编码流中提取参数集和SDR图像的编码数据。提取单元52将参数集和编码数据提供给解码单元53。另外，提取单元52将参数集之中的knee_function_info SEI提供给转换单元54。

解码单元53按照HEVC方法对从提取单元52所提供的SDR图像的编码数据进行解码。此时，解码单元53根据需要还参考从提取单元52所提供的参数集。解码单元53将作为解码的结果所获得的SDR图像提供给转换单元54。

转换单元54基于在从提取单元52所提供的knee_function_info SEI中所包括的转换信息通过拐点解压缩将从解码单元53所提供的SDR图像转换为HDR图像，并且将HDR图像提供给显示控制单元55。

显示控制单元55将从转换单元54所提供的HDR图像显示在显示单元56上。显示单元56是HDR显示器。

(解码装置中的处理的说明)

图13是示出了由图12的解码装置50所执行的图像生成处理的流程图。

在图13的步骤S51中，解码装置50的接收单元51接收从图6的编码装置10所传送的编码流，并且将编码流提供给提取单元52。

在步骤S52中，提取单元52在从接收单元51所提供的编码流中提取参数集和SDR图像的编码数据。提取单元52将参数集和SDR图像的编码数据提供给解码单元53。另外，提取单元52将参数集之中的knee_function_info SEI提供给转换单元54。

在步骤S53中，解码单元53按照HEVC方法对从提取单元52所提供的SDR图像的编码数据进行解码。此时，解码单元53根据需要还参考从提取单元52所提供的参数集。解码单元53将作为解码的结果所获得的SDR图像提供给转换单元54。

在步骤S54中，转换单元54在从提取单元52所提供的knee_function_info SEI中获取转换信息。

在步骤S55中，转换单元54基于转换信息将从解码单元53所提供的SDR图像转换为HDR图像，并且将HDR图像提供给显示控制单元55。

在步骤S56中，显示控制单元55将从转换单元54所提供的HDR图像显示在显示单元56上，并且结束处理。

如上所述，解码装置50基于转换信息将作为解码的结果所获得的SDR图像转换为HDR图像，因此可以将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

(knee_function_info SEI的语法的另一示例)

图14是示出了knee_function_info SEI的语法的另一示例的图，而图15是示出了在图14的knee_function_info SEI中所设置的每个信息的图。

图14的knee_function_info SEI与图7的knee_function_info SEI相同，除了代替于输出亮度范围信息(output_white_level_range)和输出亮度信息(output_white_level_range_luminance)设置了亮度范围信息(white_level_range)和亮度信息(white_level_range_luminace)之外。

亮度范围信息是当输入拐点位置信息(knee_point_of_input)等于或大于输出拐点位置信息(knee_point_of_output)时(即，当以与第一实施例相同的方式在解码侧执行拐点解压缩时)的输出亮度范围信息。

另一方面，当输入拐点位置信息小于输出拐点位置信息时(即，当在解码侧执行拐点压缩时)，亮度范围信息是指示未转换的图像(例如，HDR图像)的白光亮度的信息。

类似地，以与第一实施例相同的方式，当输入拐点位置信息等于或大于输出拐点位置信息时，亮度信息(white_level_range_luminance)是输出亮度信息；而当输出拐点位置信息小于输出拐点位置信息时，亮度信息(white_level_range_luminance)是指示未转换的图像(例如，HDR图像)的白光亮度的信息。

另外，在第一实施例中，在编码装置10中仅对SDR图像进行编码，但是可以仅对从SDR图像所转换的HDR图像进行编码。在这种情况下，在SEI中设置关于从SDR图像到HDR图像的转换的信息，并且该信息被传送到解码装置50。具体地，在其中未转换的图像被设置为HDR图像而转换后的图像被设置为SDR图像的图7或图15中所示的knee_function_info SEI被传送到解码装置50。另外，解码装置50基于knee_function_info SEI以高精度将HDR图像转换为原始SDR图像。

另外，在第一实施例中，显示单元56为HDR显示器，但是显示单元56可以SDR显示器。在这种情况下，转换单元54将SDR图像提供给显示控制单元55而进行到HDR图像的转换。因此，SDR图像显示在显示单元56上。

另外，期望的图像可以是被输入到编码装置10的HDR图像。

另外，在第一实施例中，编码装置10将从外部装置所输入的HDR图像转换为之后被编码的SDR图像，但是可以对从外部装置所输入的SDR图像进行编码而不进行转换。

<第二实施例>

(编码装置的第二实施例的配置示例)

图16是示出了应用了本公开的编码装置的第二实施例的配置示例的框图。

在图16所示的构成元件之中，对于与图6的构成元件相同的构成元件给予相同的附图标记。将适当地省略重复的说明。

图16的编码装置70的配置与图6的编码装置10的不同之处在于：代替于设置单元11、编码单元12以及转换单元14提供了设置单元71、编码单元72以及转换单元73。编码装置70按照遵守HEVC方法的方法，对从外部装置所输入的HDR图像进行编码，或对从HDR图像所转换的SDR图像进行编码。

具体地，编码装置70的设置单元71设置SPS、PPS、VUI等。另外，设置单元71响应于来自用户(制作者)的命令设置SEI，诸如包括DR转换信息的knee_function_info SEI。DR转换信息是关于从作为编码目标的图像的亮度的动态范围到不同的动态范围的转换的信息。设置单元71将参数集提供给编码单元72，参数集包括SPS、PPS、VUI、knee_function_info SEI等。

编码单元72将从转换单元73所提供的HDR图像或SDR图像设置为编码目标图像，并且按照HEVC方法对编码目标图像进行编码。编码单元72根据作为编码结果所获得的编码数据和从设置单元71所提供的参数集生成编码流，并且将所生成的编码流传送到传送单元13。

转换单元73对从外部装置所输入的HDR图像的亮度进行拐点压缩，以便生成之后被提供给编码单元72的SDR图像，或将从外部装置所输入的HDR图像提供给编码单元72而不进行压缩。

(knee_function_info SEI的语法的第一示例)

图17是示出了由图16的设置单元71所设置的knee_function_infoSEI的语法的第一示例的图，而图18是示出了在图17的knee_function_info SEI中所设置的每个信息的图。

如图17所示，在knee_function_info SEI中设置拐点转换ID(knee_function_id)和拐点转换取消标志(knee_function_cancel_flag)。

拐点转换ID是下述ID：其对于作为如图18所示的拐点压缩或拐点解压缩的拐点转换的目的而言是特有的ID。另外，拐点转换取消标志是示出是否取消先前的knee_function_info SEI的持续的标志。当指示取消先前的knee_function_info SEI的持续时，拐点转换取消标志被设置为1，而当不取消持续时拐点转换取消标志被设置为0。

如果拐点转换取消标志为0，则如图17所示，作为DR转换信息，在knee_function_info SEI中设置有单个转换前位置信息(input_knee_point)、单个转换后位置信息(output_knee_point)、HDR亮度范围信息(d_range)以及显示亮度信息(d_range_disp_luminance)。

转换前位置信息是指示在与DR转换信息相对应的转换中作为未转换的图像的编码目标图像的拐点的信息，并且转换前位置信息是当编码目标图像的亮度的最大值被设置为千分之1000时拐点的千分比。拐点是不为0的亮度(其为通过对在0.0至1.1的范围中的RGB值进行线性归一化所获得的值)，拐点为以与编码目标图像的亮度的动态范围的转换比例相同的转换比例进行了拐点转换的亮度的范围的起始点。

转换后位置信息是指示与拐点转换后的亮度的范围相对应的亮度的范围的起始点的信息，在与DR转换信息相对应的转换中被转换之后的图像(在下文中，被称为转换后图像)中，拐点转换后的亮度的范围以拐点作为起始点。具体地，转换后位置信息是当转换后的图像的亮度的最大值被设置为千分之1000时，与拐点相对应的转换后的图像的亮度的千分比。

HDR亮度范围信息是指示作为编码目标图像或转换后的图像的HDR图像的亮度的最大值的千分比的信息。另外，显示亮度信息是指示与HDR图像的亮度的最大值相对应的显示单元的明亮度(亮度)的期望值的信息。

(DR转换信息的第一示例)

图19和图20是示出了在图17的knee_function_info SEI中所设置的DR转换信息的示例的图。

在图19的示例中，编码目标图像是SDR图像，并且用户把作为将SDR图像的亮度的80％至100％拐点解压缩到80％至400％的结果所获得的HDR图像设置为期望的转换后的图像。在这种情况下，在knee_function_info SEI中，800被设置转换前位置信息(input_knee_point)，而200被设置为转换后位置信息(output_knee_point)。

另外，在图19的示例中，HDR亮度范围信息(d_range)为4000，而显示亮度范围信息(d_range_disp_luminance)为800(坎德拉每平方米)。

如在图19的情况中一样，在编码目标图像是SDR图像并且转换后的图像是HDR图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转后的图像的亮度output_knee_point_PER(％)由下面的等式(1)限定。

[数学等式1]

$\mathrm{input}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=100\&times;\frac{\mathrm{input}\_\mathrm{knee}\_\mathrm{point}}{1000}$

$\mathrm{output}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=\frac{d\_\mathrm{range}}{10}\&times;\frac{\mathrm{output}\_\mathrm{knee}\_\mathrm{point}}{1000}...\left(1\right)$

因此，稍后描述的解码装置根据等式(1)识别出拐点input_knee_point_PER和亮度output_knee_point_PER为80％。另外，因为转换前位置信息等于或大于转换后位置信息，所以稍后描述的解码装置识别出与DR转换信息相对应的拐点转换是拐点解压缩。此外，稍后描述的解码装置根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。

如上所述，稍后描述的解码装置将作为解码的结果所获得的SDR图像的亮度的80％至100％拐点解压缩为80％至400％。因此，解码装置可以将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

在图20的示例中，编码目标图像为HDR图像，并且用户把作为将HDR图像的亮度的80％至400％拐点压缩到80％至100％的结果所获得的SDR图像设置为期望的转换后的图像。在这种情况下，在knee_function_info SEI中，200被设置为转换前位置信息(input_knee_point)，而800被设置为转换后位置信息(output_knee_point)。

另外，在图20的示例中，HDR亮度范围信息(d_range)为4000，而显示亮度范围信息(d_range_disp_luminance)为800(坎德拉每平方米)。

如图20的情况一样，在编码目标图像是HDR图像并且转换后的图像是SDR图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转后的图像的亮度output_knee_point_PER(％)由下面的等式(2)限定。

[数学等式2]

$\mathrm{input}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=\frac{d\_\mathrm{range}}{10}\&times;\frac{\mathrm{input}\_\mathrm{knee}\_\mathrm{point}}{1000}$

$\mathrm{output}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=100\&times;\frac{\mathrm{output}\_\mathrm{knee}\_\mathrm{point}}{1000}...\left(2\right)$

因此，稍后描述的解码装置根据等式(2)识别出拐点input_knee_point_PER和亮度output_knee_point_PER为80％。另外，因为转换前位置信息小于转换后位置信息，所以稍后描述的解码装置识别出与DR转换信息相对应的拐点转换是拐点压缩。此外，稍后描述的解码装置根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。

如上所述，稍后描述的解码装置将作为解码的结果所获得的SDR图像的亮度的80％至400％拐点压缩为80％至100％。因此，解码装置可以将作为解码的结果所获得的HDR图像转换为期望的SDR图像。

(编码装置中的处理的说明)

图21是示出了由图16的编码装置70所执行的流生成处理的流程图。

在图21的步骤S71中，解码装置70的转换单元73响应于来自用户的指令等确定例如编码目标图像是否是SDR图像。如果在S71中确定编码目标图像是SDR图像，则处理继续到步骤S72。

在步骤S72中，转换单元73通过HDR图像的亮度的拐点压缩将从外部装置所输入的HDR图像转换为SDR图像，并且将SDR图像提供给编码单元72。

另一方面，如果在步骤S71中确定编码目标图像不是SDR图像，即，编码目标图像是HDR图像，则转换单元73将从外部装置所输入的HDR图像提供给编码单元72而不进行改变，并且处理继续到步骤S73。

在步骤S73中，设置单元设置SPS。在步骤S74中，设置单元71设置VUI。在步骤S75中，设置单元71设置PPS。

在步骤S76中，设置单元71响应于来自用户的指令等设置knee_function_info SEI。设置单元71将包括所设置的SPS、PPS、VUI、knee_function_info SEI等的参数集提供给编码单元72。

在步骤S77中，编码单元72按照HEVC方法将从转换单元73所提供的SDR图像或HDR图像作为编码目标图像进行编码。在步骤S78中，编码单元72根据作为编码的结果所获得的编码数据和从设置单元71所提供的参数集生成编码流，并且将所生成的编码流传送到传送单元13。

在步骤S79中，传送单元13将从编码单元72所提供的编码流传送到稍后描述的解码装置，然后结束处理。

如上所述，编码装置70设置并且传送包括DR转换信息的knee_function_info SEI，因此稍后描述的解码装置可以基于DR转换信息将作为解码的结果所获得的编码目标图像转换为期望的转换后的图像。因此，可以说，编码装置70可以对图像进行编码，使得在解码期间解码图像可以被转换为期望的转换后的图像。

另外，因为设置了DR转换信息，所以编码装置70可以仅通过对SDR图像或HDR图像进行编码生成与HDR显示器和SDR显示器相对应的图像的编码流。因此，与对HDR图像和SDR图像两者进行编码的情况相比，可以进一步降低编码流的数据量。

(解码装置的第二实施例的配置示例)

图22是示出了应用了本公开的并且对从图16的编码装置70所传送的编码流进行解码的解码装置的第二实施例的配置示例的框图。

在图22所示的构成元件之中，对于与图12的构成元件相同的构成元件给予相同的附图标记。将适当地省略重复的说明。

图22的解码装置90的配置与图12的解码装置50的配置的不同之处在于：代替于提取单元52、解码单元53、转换单元54、显示控制单元55以及显示单元56提供了提取单元91、解码单元92、转换单元93、显示控制单元94以及显示单元95。解码装置90根据显示单元95的类型将解码图像转换为转换后的图像，并且将转换后的图像显示在显示单元95上。

具体地，解码装置90的提取单元91在从接收单元51所提供的编码流中提取参数集和编码数据。提取单元91将参数集和编码数据提供给解码单元92。另外，提取单元91将参数集之中的knee_function_info SEI提供给转换单元93。

解码单元92按照HEVC方法对从提取单元91所提供的编码数据进行解码。此时，解码单元92根据需要还参考从提取单元91所提供的参数集。解码单元92将解码图像提供给转换单元93。

在与显示单元95相对应的亮度的动态范围是解码图像的亮度的动态范围的情况下，转换单元93将从解码单元92所提供的解码图像提供给显示控制单元94而不进行改变。另一方面，在与显示单元95相对应的亮度的动态范围不是解码图像的亮度的动态范围的情况下，转换单元93基于在从提取单元91所提供的knee_function_info SEI中所包括的DR转换信息通过拐点转换将解码图像转换为转换后的图像。另外，转换单元93将转换后的图像作为显示图像提供给显示控制单元94。

具体地，在显示单元95是HDR显示器并且解码图像是HDR图像的情况下，或在显示单元95是SDR显示器并且解码图像是SDR图像的情况下，转换单元93将解码图像提供给显示控制单元94而不进行改变。另一方面，在显示单元95是HDR显示器而解码图像是SDR图像的情况下，转换单元93基于DR转换信息对解码图像执行拐点转换以便生成转换后的图像。另外，转换单元93将转换后的图像作为显示图像提供给显示控制单元94。

显示控制单元94将从转换单元93所提供的显示图像显示在显示单元95上。因此，在显示单元95是HDR显示器的情况下，HDR图像显示在显示单元95上，而在显示单元95是SDR显示器的情况下，SDR图像显示在显示单元95上。显示单元95是HDR显示器或SDR显示器，并且对从显示控制单元所提供的显示图像进行显示。

(解码装置中的处理的说明)

图23是示出了由图22的解码装置90所执行的图像生成处理的流程图。

在图23的步骤S91中，解码装置90的接收单元51接收从图16的编码装置70所传送的编码流，并且将编码流提供给提取单元91。

在步骤S92中，提取单元91在从接收单元51所提供的编码流中提取参数集和编码数据。提取单元91将参数集和编码数据提供给解码单元92。另外，提取单元91将参数集之中的knee_function_info SEI提供给转换单元93。

在步骤S93中，解码单元92按照HEVC方法对从提取单元91所提供的编码数据进行解码。此时，解码单元91根据需要还参考从提取单元91所提供的参数集。解码单元92将解码图像提供给转换单元93。

在步骤S94中，转换单元93在从提取单元91所提供的knee_function_info SEI中获取DR转换信息。

在步骤S95中，转换单元93确定与显示单元95相对应的亮度的动态范围是否为解码图像的亮度的动态范围。如果确定与显示单元95相对应的亮度的动态范围不是解码图像的亮度的动态范围，则处理继续到步骤S96。

在步骤S96中，转换单元93基于DR转换信息将从解码单元92所提供的解码图像转换为转换后的图像，并且将转换后的图像作为显示图像提供给显示控制单元94。另外，处理继续到步骤S97。

另一方面，在步骤S95中确定与显示单元95相对应的亮度的动态范围是解码图像的亮度的动态范围，则转换单元93将从解码单元92所提供的解码图像作为显示图像提供给显示控制单元94而不进行改变。另外，处理继续到步骤S97。

在步骤S97中，显示控制单元94将从转换单元93所提供的显示图像显示在显示单元95上，并且结束处理。

如上所述，解码装置90基于DR转换信息将解码图像转换为转换后的图像，因此可以将解码图像转换为期望的转换后的图像。

另外，在第二实施例中，SDR图像和HDR图像中的一个图像是编码目标图像，并且另一个图像是转换后的图像，但是可以采用HDR图像的减感(desensitized)显影图像替换SDR图像，与SDR图像相比，在HDR图像的减感显影图像中，与亮度的最大值相对应的显示单元的明亮度的期望值更大。

(DR转换信息的第二示例)

图24和图25是示出了在减感显影图像和HDR图像中的一个图像是编码目标图像而另一个图像是转换后的图像的情况下，在knee_function_info SEI中所设置的DR转换信息的示例的图。

另外，在图24和图25的示例中，减感显影图像是亮度的动态范围是0至200％的图像，减感显影图像是通过对HDR图像执行1EV(曝光值)的减感显影所获得的。此外，与减感显影图像的亮度的最大值相对应的显示单元的明亮度的期望值为400(坎德拉每平方米)，其大于与SDR图像中的亮度的最大值相对应的明亮度的期望值200(坎德拉每平方米)。

由设置单元71在tone_mapping_info_SEI中设置指示编码目标图像或转换后的图像是通过对HDR图像执行减感显影所获得的图像的信息，和减感显影图像的亮度的动态范围。

在图24的示例中，编码目标图像是减感显影图像，而用户把作为将减感显影图像的亮度的160％至200％拐点解压缩到160％至400％的结果所获得的HDR图像设置为期望的转换后的图像。在这种情况下，在knee_function_info SEI中，800被设置为转换前位置信息(input_knee_point)，而400被设置为转换后位置信息(output_knee_point)。

另外，在图24的示例中，HDR亮度范围信息(d_range)为4000，而显示亮度范围(d_range_disp_luminance)为800(坎德拉每平方米)。

如在图24的情况中一样，在编码目标图像是减感显影图像并且转换后的图像是HDR图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转后的图像的亮度output_knee_point_PER(％)由以上的等式(1)限定。

因此，解码装置90根据等式(1)识别出拐点input_knee_point_PER和亮度output_knee_point_PER为160％。另外，解码装置90根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。此外，解码装置90根据tone_mapping_info_SEI识别出编码目标图像的亮度的动态范围为0至200％。此外，在显示单元95是HDR显示器的情况下，作为解码的结果所获得的减感显影图像的亮度的160％至200％被拐点解压缩为160％至400％，以便显示为显示图像。

另一方面，在显示单元95是SDR显示器的情况下，解码装置90将减感显影图像显示为显示图像而不进行改变。此时，与SDR图像相比，与减感显影图像的亮度的最大值相对应的显示单元的明亮度的期望值更大，因此显示图像的明亮度不足。

然而，近来，已经开发了下述SDR显示器(在下文中被称为高亮度SDR显示器)：该SDR显示器的与亮度的最大值的相对应的明亮度为相对高的300(坎德拉每平方米)等。在显示单元95是高亮度SDR显示器的情况下，显示图像的明亮度可以足够地维持，即使在减感显影图像被显示为显示图像而不进行改变的情况下也如此。另外，因为与编码目标图像是SDR图像的情况相比，编码目标图像的生成期间拐点压缩的压缩比例较低，所以可以改进显示图像的质量。

在图25的示例中，编码目标图像是HDR图像，并且用户把作为将HDR图像的亮度的160％至400％拐点压缩到160％至200％的结果所获得的减感显影图像设置为期望的转换后的图像。在这种情况下，在knee_function_info SEI中，400被设置为转换前位置信息(input_knee_point)，而800被设置为转换后位置信息(output_knee_point)。

另外，在图25的示例中，HDR亮度范围信息(d_range)为4000，而显示亮度范围信息(d_range_disp_luminance)为800(坎德拉每平方米)。

如在图25的情况中一样，在编码目标图像为HDR图像并且转换后的图像为减感显影图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转后的图像的亮度output_knee_point_PER(％)由以上等式(2)限定。

因此，解码装置90根据等式(2)识别出拐点input_knee_point_PER和亮度output_knee_point_PER为160％。另外，解码装置90根据HDR亮度范围信息识别出编码目标图像的亮度的最大值为400％。此外，解码装置90根据tone_mapping_info SEI识别出转换后的图像的亮度动态范围为0至200％。

此外，在显示单元95是SDR显示器的情况下，解码装置90将作为解码的结果所获得的HDR图像的亮度的160％至400％拐点压缩到160％至200％以便将压缩结果显示为显示图像。在这种情况下，如上所述，显示图像的明亮度不足。然而，在显示单元95是高亮度SDR显示器的情况下，可以如上所诉地足够维持显示图像的明亮度。另外，可以改进显示图像的质量。

另一方面，在显示单元95是HDR显示器的情况下，解码装置90将作为解码的结果所获得的HDR图像显示为显示图像而不进行改变。

另外，图17的DR转换信息可以被包括在除了knee_function_infoSEI之外的SEI中，诸如tone_mapping_info_SEI。

(tone_mapping_info_SEI的语法的第一示例)

图26是示出了在图17的DR转换信息被包括在tone_mapping_info_SEI中的情况下，tone_mapping_info SEI的语法的示例的图。

tone_mapping_info_SEI是关于亮度转换的SEI。如图26所示，在图17的DR转换信息被包括在tone_mapping_info_SEI中的情况下，指示亮度的转换模型的tone_mapping_id被设置为例如5。另外，在tone_mapping_info_SEI中，作为DR转换信息，转换前位置信息(input_knee_point)、转换后位置信息(output_knee_point)、HDR亮度范围信息(d_range)以及显示亮度信息(d_range_disp_luminance)被设置在tone_mapping_info_SEI中。

另外，当tone_map_model_id为4时，HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)被包括在tone_mapping_info_SEI中。因此，如图27所示，HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)可以不被包括在tone_mapping_info_SEI中。此外，可以仅包括HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)中的一个。

(knee_function_info SEI的语法的第二示例)

图28是示出了由图16的设置单元71所设置的knee_function_infoSEI的语法的第二示例的图，而图29是示出了在图28的knee_function_info SEI中所设置的每个信息的图。

在图28的knee_function_info SEI中设置多个拐点。具体地，以与图17的情况相同的方式，在图28的knee_function_info SEI中设置拐点转换ID(knee_function_id)和拐点转换取消标志(knee_function_cancel_flag)。

另外，如果拐点转换取消标志为0，则如图28所述，在knee_function_info SEI中设置DR转换信息。DR转换信息与图17的情况相同，除了包括压缩标志(compression_flag)和拐点数量(num_knee_point_minus1)，并且针对每个拐点设置转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)之外。重复与图17的情况相同的部分的说明，因此将适当地对其进行省略。

如图29所示，压缩标志是指示拐点转换是否为拐点压缩的标志。换言之，在拐点的数量为一的情况下，当转换前位置信息(input_knee_point)等于或大于转换后位置信息(output_knee_point)时，可以确定拐点转换为拐点解压缩，而当转换前位置信息(input_knee_point)小于转换后位置信息(output_knee_point)时，可以确定拐点转换为拐点压缩。

然而，在存在多个拐点的情况下，通过使用转换前位置信息与转换后位置信息之间的量值关系，不能够精确地确定拐点转换是拐点解压缩还是拐点压缩，并且因此设置了压缩标志。另外，即使在拐点的数量为一的情况下，也可以设置压缩标志。当拐点转换为拐点压缩时，压缩标志被设置为1，而当拐点转换为拐点解压缩时，压缩标志被设置为0。

拐点数量是通过从拐点的数量中减去1所获得的值。另外，在其中设置有转换前位置信息和转换后位置信息的顺序i(其中，i为大于等于0的整数)是转换前位置减少的顺序。

(DR转换信息的第三示例)

图30和图31是示出了在图28的knee_function_info SEI中所设置的DR转换信息的示例的图。

在图30的示例中，目标编码图像是SDR图像。另外，用户将作为分别地将SDR图像的0至60％、60％至80％、80％至90％以及90％至100％转换到0至40％、40％至100％、100％至180％以及180％至400％所获得的结果的HDR图像设置为期望的转换后的图像。

在这种情况下，在knee_function_info SEI中，第0个拐点的转换前位置信息(input_knee_point[0])被设置为600以及其转换后位置信息(output_knee_point[0])被设置为100。第1个拐点的转换前位置信息(input_knee_point[1])被设置为800以及其转换后位置信息(output_knee_point[1])被设置为250。第2个拐点的转换前位置信息(input_knee_point[2])被设置为900以及其转换后位置信息(output_knee_point[2])被设置为450。

另外，在图30的示例中，HDR亮度范围信息(d_range)为4000，显示亮度范围(d_range_disp_luminance)为800(坎德拉每平方米)，以及压缩标志(compression_flag)为0。

如上所述，在编码目标图像为SDR图像并且转换后的图像为HDR图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转换后的图像的亮度output_knee_point_PER(％)由以上等式(1)限定。

因此，解码装置90根据等式(1)识别出第0个拐点至第2个拐点input_knee_point_PER分别为60％、80％以及90％。另外，解码装置90识别出第0个至第2个亮度output_knee_point_PER分别为40％、100％以及180％。此外，解码装置90根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。

此外，解码装置90根据在其中拐点按照所设置的顺序彼此连接的转换直线，将作为解码的结果所获得的SDR图像的0至60％、60％至80％、80％至90％以及90％至100％分别地拐点转换到0至40％、40％至100％、100％至180％以及180％至400％。因此，解码装置90可以将作为解码结果所获得的SDR图像转换为期望的HDR图像。

在图31的示例中，编码目标图像是HDR图像。另外，用户将作为分别地将HDR图像的亮度的0至40％、40％至100％、100％至180％以及180％至400％转换到0至60％、60％至80％、80％至90％以及90％至100％的结果所获得的SDR图像设置为期望的转换后的图像。

在这种情况下，在knee_function_info SEI中，第0个拐点的转换前位置信息(input_knee_point[0])被设置为100以及转换后位置信息(output_knee_point[0])被设置为600。第1个拐点的转换前位置信息(input_knee_point[1])被设置为250以及转换后位置信息(output_knee_point[1])被设置为800。第2个拐点的转换前位置信息(input_knee_point[2])被设置为450以及转换后位置信息(output_knee_point[2])被设置为900。

另外，在图31的示例中，HDR亮度范围信息(d_range)为4000，显示亮度范围(d_range_disp_luminance)为800(坎德拉每平方米)，以及压缩标志(compression_flag)为1。

如上所述，在编码目标图像是HDR图像并且转换后的图像是SDR图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转换后的图像的亮度output_knee_point_PER(％)由以上等式(2)限定。

因此，解码装置90根据等式(2)识别出第0个至第2个拐点input_knee_point_PER(％)分别地为40％、100％以及180％。另外，第0个至第2个亮度output_knee_point_PER(％)分别地为60％、80％以及90％。另外，解码装置90根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。

此外，解码装置90通过按照所设置的顺序将拐点彼此连接来将作为解码的结果所获得的HDR图像的0至40％、40％至100％、100％至180％以及180％至400％拐点转换到0至60％、60％至80％、80％至90％以及90％至100％。因此，解码装置90可以将作为解码的结果所获得的HDR图像转换为期望的SDR图像。

如上所述，在设置有多个拐点的情况下，与设置单个拐点的情况相比，可以更精细地设置压缩比例。因此，可以以更高的精度执行拐点转换。

另外，图28的DR转换信息可以被包括在除了knee_function_infoSEI之外的SEI中，诸如tone_mapping_info_SEI。

(tone_mapping_info_SEI的语法的第二示例)

图32是示出了在图28的DR转换信息被包括在tone_mapping_info_SEI中的情况下，tone_mapping_info_SEI的语法的示例的图。

如图32所示，在图28的DR转换信息被包括在tone_mapping_info_SEI中的情况下，tone_map_model_id被设置为例如5。另外，在tone_mapping_info_SEI中，作为DR转换信息，压缩标志(compression_flag(mapping_flag))、HDR亮度范围信息(d_range)、显示亮度信息(d_range_disp_luminance)、拐点数量(num_knee_point_minus1)以及每个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)被设置在tone_mapping_info_SEI中。

另外，以与图27的tone_mapping_info_SEI相同的方式，在图32的tone_mapping_info_SEI中可以不包括HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)。此外，可以仅包括HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)中的一个。

此外，如图33至图35所示，拐点数量(num_knee_point_minus1)可以是0、1以及2中的任一个。换言之，拐点数量(num_knee_point_minus1)可以被限制为2或更小。在这种情况下，如图33至图35所示，在knee_function_info SEI或tone_mapping_info_SEI中所包括的拐点数量(num_knee_point_minus1)的比特数量被固定为2比特(u(2))。

如上所述，确定拐点数量(num_knee_point_minus1)的最大值，因此可以降低DR转换信息的量。因此，如同在高清晰度多媒体接口(HDMI(注册商标))的AVI InfoFrame中一样可以以较小的分组传送DR转换信息。

(knee_function_info SEI的语法的第三示例)

图36是示出了由图16的设置单元71所设置的knee_function_infoSEI的语法的第三示例的图，而图37是示出了在图36的knee_function_info SEI中所设置的每个信息的图。

在图36的knee_function_info SEI中设置多个拐点和代表性地使用的拐点(在下文中，称为代表性的拐点)。

具体地，以与图17的情况相同的方式，在图36的knee_function_infoSEI中设置拐点转换ID(knee_function_id)和拐点转换取消标志(knee_function_cancel_flag)。

另外，如果拐点转换取消标志为0，则如图36所示，在knee_function_info SEI中设置DR转换信息。DR转换信息与图28的情况相同，除了包括代表性的转换前位置信息(representative_input_knee_point)和代表性的转换后位置信息(representative_output_knee_point)之外。重复与图28的情况相同的描述，因此将适当地对其进行省略。

如图37所示，代表性的转换前位置信息是指示在与DR转换信息相对应的转换中作为未转换的图像的编码目标图像的代表性的拐点的信息，并且是当编码目标图像的亮度的最大值被设置为千分之1000时代表性拐点的千分比。

代表性转换后位置信息是指示在与DR转换信息相对应的转换中与转换后的图像的代表性拐点相对应的亮度的信息，并且是当转换后的图像的亮度的最大值被设置为千分之1000时与拐点相对应的亮度的千分比。

另外，代表性拐点可以是与在DR转换信息中所包括的多个转换前位置信息相对应的拐点中的一个拐点，并且可以是与该拐点完全地不同的拐点。

(DR转换信息的第四示例)

图38是示出了在图36的knee_function_info SEI中所设置的DR转换信息的示例的图。

在图38的示例中，编码目标图像是SDR图像。另外，当解码装置90以高精度执行拐点转换时，用户把作为将SDR图像的0至60％、60％至80％、80％至90％以及90％至100％分别地转换到0至40％、40％至100％、100％至180％以及180％至400％的结果所获得的HDR图像设置为期望的转换后的图像。此外，当解码装置90以低精度执行简单的拐点转换时，用户把通过将SDR图像的亮度的80％至100％拐点解压缩到80％至400％所获得的HDR图像设置为期望的转换后的图像。

在这种情况下，在knee_function_info SEI中，对第0个至第2个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)设置与图30相同的值。另外，代表性转换前位置信息(representative_input_knee_point)为800而代表性转换后位置信息(representative_output_knee_point)为200。

另外，在图38的示例中，HDR亮度范围信息(d_range)为4000，显示亮度范围(d_range_disp_luminance)为800(坎德拉每平方米)，以及压缩标志(compression_flag)为0。

如图38所示，在解码装置90以低精度执行简单的拐点转换的情况下，解码装置90根据以上等式(1)识别出代表性拐点representative_input_knee_PER(％)和与代表性的拐点相对应的转换后的图像的亮度representative_output_knee_point_PER(％)为80％。另外，解码装置90根据HDR亮度范围信息识别出转换后的图像的亮度的最大值为400％。此外，解码装置90将作为解码的结果所获得的SDR图像的亮度的80％至100％拐点解压缩为80％至400％。因此，解码装置90可以将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

另一方面，在解码装置90以高精度执行拐点转换的情况下，解码装置90执行与图30相同的处理，并且将作为解码的结果所获得的SDR图像转换为期望的HDR图像。

如上所述，代表性转换前位置信息(representative_input_knee_point)和代表性转换后位置信息(representative_output_knee_point)被包括在图36的DR转换信息中。因此，即使当在解码装置90中不能够足够地确保处理速率或诸如存储器容量的资源的情况下，可以基于代表性的拐点执行拐点转换。另外，因为代表性的转换前位置信息和代表性的转换后位置信息被传送到解码装置90，所以解码装置90不需要基于多个拐点的转换前位置信息和转换后位置信息生成代表性的转换前位置信息和代表性的转换后位置信息。

另外，图36的DR转换信息可以被包括在除了knee_function_infoSEI之外的SEI中，诸如tone_mapping_info_SEI。

(tone_mapping_info_SEI的语法的第三示例)

图39是示出了在图36的DR转换信息被包括在tone_mapping_info_SEI中的情况下的tone_mapping_info_SEI的语法的示例的图。

如图39所示，在图36的DR转换信息被包括在tone_mapping_info_SEI中的情况下，tone_map_model_id被设置为例如5。另外，在tone_mapping_info_SEI中，作为DR转换信息，压缩标志(compression_flag)、代表性转换前位置信息(representative_input_knee_point)、代表性转换后位置信息(representative_output_knee_point)、HDR亮度范围信息(d_range)、显示亮度信息(d_range_disp_luminance)、拐点数量(num_knee_point_minus1)以及每个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)被设置在tone_mapping_info_SEI中。

另外，以与图27的tone_mapping_info_SEI相同的方式，HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)可以不被包括在图39的tone_mapping_info_SEI中。此外，可以仅包括HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)中的一个。

(knee_function_info SEI的语法的第四示例)

图40是示出了由图16的设置单元71所设置的knee_function_infoSEI的语法的第四示例的图，而图41是示出了在图40的knee_function_info SEI中所设置的每个信息(的语义)的图。

在图40的knee_function_info SEI中，除了SDR图像之外的图像可以被采用作为编码目标图像和转换后的图像中的一个图像。

具体地，以与图17的情况相同的方式，在图40的knee_function_infoSEI中设置拐点转换ID(knee_function_id)和拐点转换取消标志(knee_function_cancel_flag)。

另外，如果拐点转换取消标志为0，则如图40所示在knee_function_info SEI中设置DR转换信息。DR转换信息与图28的情况相同，除了新近地包括拐点转换持续标志(knee_function_persistence_flag)、并且代替于HDR亮度范围信息(d_range)和显示亮度信息(d_range_disp_luminance)包括有未转换的显示范围信息(input_d_range)、未转换的显示亮度信息(input_disp_luminance)、转换后的显示范围信息(output_d_range)以及转换后的显示亮度信息(output_disp_luminance)之外。重复与图28的情况中相同的部分的说明，并且因此将适当地对其进行省略。

如图41所示，拐点转换持续标志是指示DR转换信息是否被应用到连续地定位的多个图片的标志。当DR转换信息被应用到连续地定位的多个图片时，拐点转换持续标志被设置为1；而当DR转换信息仅被应用到一个图片时，拐点转换持续标志被设置为0。还可以在图17、图28、图34以及图36的knee_function_info SEI中设置拐点转换持续标志。

另外，未转换的亮度范围信息是指示在与DR转换信息相对应的转换中作为未转换的图像的编码目标图像的亮度的最大值的千分比的信息，并且转换后的亮度范围信息是指示转换后的图像的亮度的最大值的千分比的信息。

另外，未转换的显示亮度信息是指示与编码目标图像的亮度的最大值相对应的显示单元的明亮度的期望值的信息，而转换后的显示亮度信息是指示与转换后的图像的亮度的最大值的相对应的显示单元的明亮度的期望值的信息。

(DR转换信息的第五示例)

图42和图43是示出了在图40的knee_function_info SEI中所设置的DR转换信息的示例的图。

在图42的示例中，编码目标图像是动态范围为0至200％的HDR图像(在下文中，被称为200％的HDR图像)。另外，用户把作为分别地将200％的HDR图像的亮度的0至120％、120％至160％、160％至180％以及180％至200％拐点转换至0至40％、40％至100％、100％至180％以及180％至400％的结果所获得的400％的HDR图像设置为期望的转换后的图像。400％的HDR图像是动态范围为0至400％的HDR图像。

在这种情况下，在knee_function_info SEI中，对第0个至第2个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)设置与图30相同的值。另外，2000被设置为未转换的亮度范围信息(input_d_range)，而4000被设置为转换后的亮度范围信息(output_d_range)。

此外，在图42的示例中，未转换的显示亮度信息(input_disp_luminance)为400(坎德拉每平方米)，而转换后的显示亮度信息(output_disp_luminance)为800(坎德拉每平方米)。压缩标志(compression_flag)为0。

如图42所示，在编码目标图像是具有与未转换的亮度范围信息相对应的动态范围的图像并且转换后的图像是具有与转换后的亮度范围信息相对应的动态范围的图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转换后的图像的亮度output_knee_point_PER(％)由下面的等式(3)限定。

[数学等式3]

$\mathrm{input}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=\frac{\mathrm{input}\_d\_\mathrm{range}}{10}\&times;\frac{\mathrm{input}\_\mathrm{knee}\_\mathrm{point}}{1000}$

$\mathrm{output}\_\mathrm{knee}\_\mathrm{point}\_\mathrm{DR}=\frac{\mathrm{output}\_d\_\mathrm{range}}{10}\&times;\frac{\mathrm{output}\_\mathrm{knee}\_\mathrm{point}}{1000}...\left(3\right)$

因此，解码装置90根据等式(3)识别出第0个至第2个拐点input_knee_point_PER分别地为120％、160％以及180％。另外，解码装置90识别出第0个至第2个亮度output_knee_point_PER分别地为40％、100％以及180％。此外，解码装置90根据输入亮度范围信息识别出编码目标图像的亮度的最大值为200％，并且根据输出亮度范围信息识别出转换后的图像的亮度的最大值为400％。

此外，解码装置90根据在其中按照所设置的顺序彼此连接拐点的转换直线，将作为解码的结果所获得的200％的HDR图像的0至120％、120％至160％、160％至180％以及180％至200％分别地拐点转换至0至40％、40％至100％、100％至180％以及180％至400％。因此，解码装置90可以将作为解码的结果所获得的200％的HDR图像转换为期望的400％的HDR图像。

在图43的示例中，编码目标图像是400％的HDR图像。另外，用户把作为将400％的HDR图像的亮度的0至40％、40％至100％、100％至180％以及180％至400％分别地拐点转换至0至120％、120％至160％、160％至180％以及180％至200％的结果所获得的200％的HDR图像设置为期望的转换后的图像。

在这种情况下，在knee_function_info SEI中，对第0个至第2个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)设置与图31相同的值。另外，4000被设置为未转换的亮度范围信息(input_d_range)，而2000被设置为转换后的亮度范围信息(output_d_range)。

此外，在图43的示例中，未转换的显示亮度信息(input_disp_luminance)为800(坎德拉每平方米)，而转换后的显示亮度信息(output_disp_luminance)为400(坎德拉每平方米)。压缩标志(compression_flag)为1。

如上所述，在编码目标图像是具有与未转换的亮度范围信息相对应的动态范围的图像并且转换后的图像是具有与转换后的亮度范围信息相对应的图像的情况下，拐点input_knee_point_PER(％)和与拐点相对应的转换后的图像的亮度output_knee_point_PER(％)由以上的等式(3)限定。

因此，解码装置90根据等式(3)识别出第0个至第2个拐点input_knee_point_PER分别地为40％、100％以及180％。另外，解码装置90识别出第0个至第2个亮度output_knee_point_PER(％)分别地为120％、160％以及180％。此外，解码装置90根据输入亮度范围信息识别出编码目标图像的亮度的最大值为400％，并且根据输出亮度范围信息识别出转换后的图像的亮度的最大值为200％。

此外，解码装置90通过按照所设置的顺序将拐点彼此连接，将作为解码的结果所获得的400％的HDR图像的0至40％、40％至100％、100％至180％以及180％至400％分别地拐点转换至0至120％、120％至160％、160％至180％以及180％至200％。因此，解码装置90可以将作为解码的结果所获得的400％的HDR图像转换为期望的200％的HDR图像。

如上所述，根据图40的DR转换信息，在解码装置90中如用户所期望地，不仅可以执行SDR图像与HDR图像之间的转换，还可以执行具有不同的动态范围的HDR图像之间的转换。HDR图像的动态范围可以大于0至100％，以及可以是0至400％、0至800％、0至1300％等。另外，与HDR图像的亮度的最大值相对应的显示的明亮度的期望值可以大于100(坎德拉每平方米)，以及可以是800(坎德拉每平方米)、4000(坎德拉每平方米)、1500(坎德拉每平方米)等。

(解码装置的操作的说明)

图44是示出了在图40的knee_function_info SEI被设置为多个的情况下，解码装置90的操作的图。

在图44的示例中，目标编码图像是400％的HDR图像。另外，设置用于将期望的转换后的图像设置为动态范围为0至800％的800％的HDR图像的knee_function_info SEI(在下文中，称为800％的HDR图像的knee_function_info SEI)以及用于将期望的转换后的图像设置为SDR图像的knee_function_info SEI(在下文中，称为SDR图像的knee_function_info SEI)。在这种情况下，对于800％的HDR图像的knee_function_info SEI和SDR图像的knee_function_info SEI给予不同的拐点转换ID。

在显示单元95是可以显示800％的HDR图像的HDR显示器的情况下，解码装置90基于800％的HDR图像的knee_function_info SEI将作为解码图像的400％的HDR图像的亮度进行拐点解压缩，以便生成期望的800％的HDR图像作为显示图像。

另一方面，在显示单元95是可以显示400％的HDR图像的HDR显示器的情况下，解码装置90使用为解码图像的400％的HDR图像作为显示图像而不进行改变。另外，在显示单元95是SDR显示器的情况下，解码装置90基于SDR图像的knee_function_info SEI对作为解码图像的400％的HDR图像的亮度进行拐点压缩，以便生成期望的SDR图像作为显示图像。

另外，图40的DR转换信息可以被包括在除了knee_function_infoSEI之外的SEI中，诸如tone_mapping_info_SEI。

(tone_mapping_info_SEI的语法的第四示例)

图45是示出了在图40的DR转换信息被包括在tone_mapping_info_SEI中的情况下tone_mapping_info_SEI的语法的示例的图。

如图45所示，在图40的DR转换信息被包括在tone_mapping_info_SEI的情况下，tone_map_model_id被设置为例如5。另外，在tone_mapping_info_SEI中，作为DR转换信息，压缩标志(compression_flag)、输入亮度范围信息(input_d_range)、输入显示亮度范围(input_d_range_disp_luminance)、输出亮度范围信息(output_d_range)、输出显示亮度范围(output_d_range_disp_luminance)、拐点数量(num_knee_point_minus1)以及每个拐点的转换前位置信息(input_knee_point)和转换后位置信息(output_knee_point)被设置在tone_mapping_info_SEI中。

另外，输入亮度范围信息(input_d_range)、输入显示亮度范围(input_d_range_disp_luminance)、输出亮度范围信息(output_d_range)以及输出显示亮度范围(output_d_range_disp_luminance)中至少之一可以不被包括在图45的tone_mapping_info_SEI中。

另外，在以上的说明中，DR转换信息被布置在SEI中，但是可以布置在系统层中。

<在MP4的盒子中布置DR转换信息的示例>

(布置有DR转换信息的MP4盒子的说明)

图46是示出了作为系统层的、布置有DR转换信息的MP4盒子的图。

如图46所示，在DR转换信息被布置在MP4盒子中的情况下，新近地限定将DR转换信息存储为ToneMapInfo的tinf(音调映射信息盒子)。tinf盒子被存储在trak盒子(音轨盒子)(在其中存储有stbl盒子)或traf盒子(音轨片段盒子)中。

(ToneMapInfo的语法的示例)

图47是示出了ToneMapInfo的语法的示例的图。

图47的ToneMapInfo具有与图32的tone_mapping_info_SEI的配置相同的配置，除了用于字节对准的padding_value被插入到其中之外。

另外，尽管未示出，但是ToneMapInfo可以具有与图26、图27、图39或图45的tone_mapping_info_SEI的配置相同的配置，除了用于字节对准的padding_value被插入到其中之外。

另外，以与第二实施例相同的方式，第一实施例中的转换信息被布置在系统层中。

另外，用户所期望的HDR图像可以是被输入到编码装置70的HDR图像。

此外，在第二实施例中，HDR图像被输入到编码装置70，但是SDR图像可以被输入到编码装置70。在这种情况下，当编码目标图像是HDR图像时，编码装置70将从外部装置所输入的SDR图像转换为之后被设置为编码目标图像的HDR图像。

另外，在图40的knee_function_info SEI中设置多个拐点。因此，与仅设置一个拐点的情况相比，可以限定具有更平滑并且更复杂的函数的拐点转换。作为结果，转换单元93可以执行最优拐点转换。

然而，如果拐点数量增加，则DR转换信息的量也增加。因此，例如，在通过HDMI传送解码图像和DR转换信息的情况下，DR转换信息的量等于或大于27字节，其为HDMI的AVI InfoFrame的一个分组的大小，因此在AVI InfoFrame中可以不包括DR转换信息。

因此，在稍后描述的第三实施例中，在DR转换信息的量减少的情况下，诸如在通过HDMI传送DR转换信息的情况下，解码装置对最优拐点执行狭缩(thinning-out)。

<第三实施例>

(语义的第一示例)

应用了本公开的编码装置的第三实施例的第一配置与图16的编码装置70的配置相同，除了由设置单元71所设置的图40的knee_function_infoSEI所指示的拐点的顺序i和语义之外。因此，在下文中，将仅描述图40的knee_function_info SEI所指示的拐点的顺序i和语义。

在应用了本公开的编码装置的第三实施例的第一配置中，拐点的顺序i被设置为下述顺序：在图40的knee_function_info SEI中代表期望的拐点转换函数的优先级较高。

另外，图48是示出了应用了本公开的编码装置的第三实施例的第一配置的语法与第二实施例中不同之处的图。

如图48所示，在应用了本公开的编码装置的第三实施例的第一配置的图40的语义中，第i个拐点的转换前位置信息(input_knee_point[i])可以等于或小于第i-1个拐点的转换前位置信息(input_knee_point[i-1])。换言之，在其中设置有拐点的转换前位置信息和转换后位置信息的顺序i(其中，i为大于等于0的整数)可以不是转换后位置信息较小的顺序。

另外，拐点转换的函数(拐点函数)是按照转换前位置信息(input_knee_point)较小的顺序(升序)将拐点彼此连接的直线。

此外，解码图像可以通过使用拐点转换的近似函数进行拐点转换。拐点转换的近似函数是按照转换前位置信息较小的顺序将第0个至第N个(其中N大于等于0并且小于等于num_knee_point_minus1)拐点彼此连接的直线。因为按照代表期望的拐点转换的函数的优先级较高的顺序设置拐点的顺序i，所以N越大，拐点转换的近似函数更近似于期望的拐点转换的函数。

(解码系统的一个实施例的第一配置示例)

图49是示出了应用了本公开的并且对从应用了本公开的编码装置的第三实施例的第一配置所传送的编码流进行解码的解码系统的实施例的第一配置示例的框图。

在图49所示的构成元件之中，对于与图12和图22的构成元件相同的构成元件给予相同的附图标记。将适当地省略重复的说明。

图49的解码系统110包括解码装置111和显示装置112。解码装置111包括接收单元51、提取单元91、解码单元92、选择单元121以及传送单元122。

解码装置111的选择单元121在由提取单元91所提取的参数集之中获取knee_function_info SEI。选择单元121从在knee_function_info SEI中所包括的多个拐点的DR转换信息之中，按照顺序i较低的顺序选择在HDMI的AVI InfoFrame的单个分组中所包括的拐点的数量(例如，3)的DR转换信息。选择单元121将所选择的拐点的DR转换信息提供给传送单元122。

传送单元122将由选择单元121所选择的DR转换信息布置在HDMI的AVI InfoFrame的单个分组中，并且通过HDMI将其结果连同由解码单元92所生成的解码图像一起传送到显示装置112。

显示装置112包括接收单元131、转换单元93、显示控制单元94以及显示单元95。

显示装置112的接收单元131接收通过HDMI从传送单元122所传送的AVI InfoFrame和解码图像。接收单元131将在AVI InfoFrame中所布置的DR转换信息和解码图像提供给转换单元93。

(拐点的第一选择方法的说明)

图50是示出了由图49的解码系统110所接收的knee_function_infoSEI所限定的拐点和拐点转换的函数的示例的图。

另外，在图50的示例中，在knee_function_info SEI中所设置的拐点数量(number_knee_point_minus1)为8。

如图50A所示，在knee_function_info SEI中所设置的八个拐点之中，第0个拐点的转换前位置信息(input_knee_point[0])为200，并且其转换后位置信息(output_knee_point[0])为433。另外，第1个拐点的转换前位置信息(input_knee_point[1])为600，并且其转换后位置信息(output_knee_point[1])为774，以及第2个拐点的转换前位置信息(input_knee_point[2])为100，并且其转换后位置信息(output_knee_point[2])为290。

此外，第3个拐点的转换前位置信息(input_knee_point[3])为400，并且其转换后位置信息(output_knee_point[3])为628，以及第4个拐点的转换前位置信息(input_knee_point[4])为800，并且其转换后位置信息(output_knee_point[4])为894。

此外，第5个拐点的转换前位置信息(input_knee_point[5])为300，并且其转换后位置信息(output_knee_point[5])为540，以及第6个拐点的转换前位置信息(input_knee_point[6])为500，并且其转换后位置信息(output_knee_point[6])为705。

另外，第7个拐点的转换前位置信息(input_knee_point7])为700，并且其转换后位置信息(output_knee_point[7])836，以及第8个拐点的转换前位置信息(input_knee_point[8])为900，并且其转换后位置信息(output_knee_point[8])为949。

在这种情况下，按照转换前位置信息较小的顺序彼此连接各个拐点，因此拐点转换的函数如图50B所示。换言之，按照第2个拐点、第0个拐点、第5个拐点、第3个拐点、第6个拐点、第1个拐点、第7个拐点、第4个拐点以及第8个拐点的顺序将拐点彼此连接的直线用作拐点转换的函数。另外，图50B的横轴表示编码目标图像的亮度，而纵轴表示转换后的图像的亮度。对于稍后描述的图51、图52以及图57至图59也是如此。

在选择单元121从由图50A的knee_function_info SEI所限定的拐点的DR转换信息中选择三个拐点的DR转换信息的情况下，具有所选择的拐点的拐点转换的近似函数如图51所示。

换言之，在这种情况下，选择单元121在由knee_function_info SEI所限定的第0个至第8个拐点的DR转换信息之中选择第0个至第2个拐点的DR转换信息。因此，具有所选择的拐点的拐点转换函数是按照转换前位置信息较小的顺序，即，按照第2个拐点、第0个拐点以及第1个拐点的顺序，将第0个至第2个拐点彼此连接的直线。

同时，在选择单元121从由图50A的knee_function_info SEI所限定的拐点的DR转换信息中选择5个拐点的DR转换信息时的情况下，具有所选择的拐点的拐点转换的近似函数如图52所示。

换言之，在这种情况下，选择单元121在由knee_function_info SEI所限定的第0个至第8个拐点的DR转换信息之中选择第0个至第4个拐点的DR转换信息。因此，具有所选择的拐点的拐点转换函数是按照转换前位置信息较小的顺序，即，按照第2个拐点、第0个拐点、第3个拐点、第1个拐点以及第4个拐点的顺序，将第0个至第4个拐点彼此连接的直线。

按照代表作为期望的拐点转换函数的图50B的函数的优先级较高的顺序，设置拐点的顺序i，并且从较低的顺序i起选择拐点的预定数量的DR转换信息。因此，如图51和图52所示，与选择相同数量的其他拐点的情况相比，拐点转换的近似函数更近似于图50B的函数。

另外，较大数量的拐点导致更平滑并且更复杂的函数。因此，与拐点数量为3的图51的拐点转换的近似函数相比，拐点的数量为5的图52的拐点转换的近似函数更近似于图50B的拐点转换的函数。

(解码系统中的处理的说明)

图53是示出了由图49的解码系统110的解码装置111所执行的解码处理的流程图。

在图53的步骤S111中，解码装置111的接收单元51接收从图16的编码装置70所传送的编码流，并且将编码流提供给提取单元91。

在步骤S112中，提取单元91在从接收单元51所提供的编码流中提取参数集和编码数据。提取单元91将参数集和编码数据提供给解码单元92。另外，提取单元91将参数集之中的knee_function_info SEI提供给选择单元121。

在步骤S113中，解码单元92按照HEVC方法对从提取单元91所提供的编码数据进行解码。此时，解码单元92还根据需要参考从提取单元91所提供的参数集。解码单元92将解码图像提供给传送单元122。

在步骤S114中，选择单元121按照顺序i较低的顺序，从在来自提取单元91的knee_function_info SEI中所包括的多个拐点的DR转换信息之中选择在HDMI的AVI InfoFrame的单个分组中所包括的拐点的数量的DR转换信息。选择单元121将所选择的拐点的DR转换信息提供给传送单元122。

在步骤S115中，传送单元122将由选择单元121所选择的DR转换信息布置在HDMI的AVI InfoFrame的单个分组中，并且通过HDMI将其结果连同由解码单元92所生成的解码图像一起传送到显示装置112。另外，结束处理。

图54是示出了由解码系统110的显示装置112所执行的显示处理的流程图。

在图54的步骤S131中，显示装置112的接收单元131接收在AVIInfoFrame中所布置的DR转换信息以及通过HDMI从传送单元122所传送的解码图像。接收单元131将DR转换信息和解码图像提供给转换单元93。

步骤S132至S134中的处理与图23的步骤S95和S97中的处理相同，因此将不再重复对其的描述。

如上所述，在应用了本公开的第三实施例的第一配置中，拐点的DR转换信息被设置在knee_function_info SEI中并且被传送，在该拐点的DR转换信息中，按照用于代表期望的拐点转换的优先级较高的顺序设置顺序。因此，解码装置111按照顺序i较低的顺序选择在AVI InfoFrame的单个分组中所包括的拐点的数量的DR转换信息，因此可以在AVIInfoFrame的单个分组中布置指示更近似于期望的拐点转换的函数的拐点转换的近似函数的DR转换信息。

(knee_function_info SEI的语法的示例)

应用了本公开的编码装置的第三实施例的第二配置与图16的编码装置70的配置相同，除了由设置单元71所设置的knee_function_info SEI和语义之外。因此，在下文中，将仅描述knee_function_info SEI和语义。

图55是示出了应用了本公开的编码装置的第三实施例的第二配置中由设置单元71所设置的knee_function_info SEI的语法的示例的图。

图55的knee_function_info SEI与图40的knee_function_info SEI相同，除了指示按照代表期望的拐点转换函数的优先级较高的顺序设置顺序i的近似拐点指标(approximate_knee_point_index)(优先级信息)之外。

按照与图40的情况相同的方式，在图55的knee_function_info SEI中，拐点的顺序i是转换前位置较小的顺序，但是新近地设置了近似拐点指标(approximate_knee_point_index)。近似拐点指标(approximate_knee_point_index)的值等于或小于拐点数量(number_knee_point_minus1)。

(语义的第二示例)

图56是示出了与第二实施例不同的图55的语义的图。

如图56所示，在图55的语义中，解码图像可以通过使用拐点转换的近似函数进行拐点转换。拐点转换的此近似函数是下述直线：该直线按照顺序i较小的顺序对顺序i为第0个近似拐点指标到第N(其中，N等于或大于0并且等于或小于num_knee_point_minus1)个近似拐点指标(approximate_knee_point_index[0]至approximate_knee_point_index[N])的拐点进行连接。近似拐点指标的顺序j是代表期望的拐点转换的函数的优先级较高的顺序，因此随着N更大、拐点转换的近似函数更近似于期望的拐点转换的函数。

(编码系统的一个实施例的配置示例)

应用了本公开的解码系统的实施例的第二配置与图49的解码系统110的配置相同，除了不是基于拐点的顺序i而是基于近似拐点指标的顺序j执行由选择单元121进行的选择之外。因此，在下文中，将仅描述由选择单元121进行的选择。

(拐点的第二选择方法的说明)

图57A和图57B是示出了由图55的knee_function_info SEI所限定的拐点和拐点转换的函数的示例的图。

另外，在图57A和图57B的示例中，以与图50A和图50B相同的方式，在knee_function_info SEI中所设置的拐点数量(number_knee_point_minus1)为8，并且拐点还与图50A和图50B相同。然而，在图55的knee_function_info SEI中，拐点的顺序i是在其中转换前位置信息较小的顺序，因此其与图50A和图50B不同。

如图57A所示，在knee_function_info SEI中所设置的八个拐点之中，第0个拐点的转换前位置信息(input_knee_point[0])为100，并且其转换后位置信息(output_knee_point[0])为290。另外，第1个拐点的转换前位置信息(input_knee_point[1])为200，并且其转换后位置信息(output_knee_point[1])为433，以及第2个拐点的转换前位置信息(input_knee_point[2])为300，并且其转换后位置信息(output_knee_point[2])为540。

此外，第3个拐点的转换前位置信息(input_knee_point[3])为400，并且其转换后位置信息(output_knee_point[3])为628，以及第4个拐点的转换前位置信息(input_knee_point[4])为500，并且其转换后位置信息(output_knee_point[4])为705。

此外，第5个拐点的转换前位置信息(input_knee_point[5])为600，并且其转换后位置信息(output_knee_point[5])为774，以及第6个拐点的转换前位置信息(input_knee_point[6])为700，并且其转换后位置信息(output_knee_point[6])为836。

另外，第7个拐点的转换前位置信息(input_knee_point7])为800，并且其转换后位置信息(output_knee_point[7])894，以及第8个拐点的转换前位置信息(input_knee_point[8])为900，并且其转换后位置信息(output_knee_point[8])为949。

在这种情况下，按照顺序i较小的顺序将各个拐点彼此连接，因此拐点转换的函数如图57B所示。

另外，如图57A所示，在其中顺序j为0至8的近似拐点指标(approximate_knee_point_index)为按照顺序的1、5、0、3、7、2、4、6以及8。

在选择单元121从由图57A的knee_function_info SEI所限定的拐点的DR转换信息之中选择三个拐点的DR转换信息的情况下，具有所选择的拐点的拐点转换的函数如图58所示。

换言之，在这种情况下，选择单元121在由knee_function_info SEI所限定的第0个至第8个拐点的DR转换信息之中，选择顺序i为第0个近似拐点指标至第2个近似拐点指标(approximate_knee_point_index)的拐点的DR转换信息。换言之，选择单元121选择第1个、第5个以及第0个拐点的DR转换信息。因此，具有所选择的拐点的拐点转换函数是按照顺序i较低的顺序，即，按照第0个、第1个以及第5个拐点的顺序将第1个、第5个以及第0个拐点彼此连接的直线。

同时，在选择单元121从由图57A的knee_function_info SEI所限定的拐点的DR转换信息之中，选择五个拐点的DR转换信息的情况下，具有所选择的拐点的拐点转换的函数如图59所示。

换言之，在这种情况下，选择单元121在由knee_function_info SEI所限定的第0个至第8个拐点的DR转换信息之中，选择顺序i为第0个近似拐点指标至第4个近似拐点指标(approximate_knee_point_index)的拐点的DR转换信息。换言之，选择单元121选择第1个、第5个、第0个、第3个以及第7个拐点的DR转换信息。因此，具有所选择的拐点的拐点转换函数是按照顺序i较低的顺序，即，按照第0个、第1个、第3个、第5个以及第7个拐点的顺序将第1个、第5个、第0个、第3个以及第7个拐点彼此连接的直线。

近似拐点指标的顺序j被设置为用于代表图57B的函数的优先级较高的顺序，图57B的函数是期望的拐点转换的函数，并且从较低的顺序j起按照顺序i选择具有预定数量的近似拐点指标的拐点的DR转换信息。因此，如图58和图59所示，与选择相同数量的其他拐点的情况相比，拐点转换的近似函数更近似于图57B的函数。

另外，较大数量的拐点导致更平滑并且更复杂的函数。因此，与拐点数量为3的图58中的拐点转换的近似函数相比，拐点数量为5的图59的拐点转换的近似函数更近似于图57B的拐点转换的函数。

另外，如图60所示，可以在与knee_function_info SEI不同的approxiamte_knee_function_info SEI中设置近似拐点指标(approximate_knee_point_index)。

在这种情况下，在approximate_knee_function_info SEI中设置近似拐点转换ID(approximate_knee_function_id)和近似拐点转换取消标志(approximate_knee_function_cancel_flag)。

近似拐点转换ID是对于使用近似函数进行拐点转换的目的所特有的ID。另外，近似拐点转换取消标志是示出先前的approximate_knee_function_info SEI的持续是否取消的标志。当指示取消了先前的approximate_knee_function_info SEI的持续时，近似拐点转换取消标志被设置为1，而当持续未取消时，近似拐点转换取消标志被设置为0。

在近似拐点转换取消标志为0的情况下，在approximate_knee_function_info SEI中设置参考拐点转换ID(ref_knee_function_id)。参考拐点转换ID是包括指示通过使用approximate_knee_function_info SEI的近似拐点指标所近似的拐点转换的函数的拐点的DR信息的knee_function_info SEI的拐点转换ID。

另外，设置近似拐点指标数量(num_aapoximate_knee_point_indices_minus1)和近似拐点指标(approximate_knee_point_index)，近似拐点指标数量(num_aapoximate_knee_point_indices_minus1)是通过从近似拐点指标中减去1所获得的值。

如上所述，另外在近似拐点指标(approximate_knee_point_index)被设置在approximate_knee_function_info SEI中的情况下，语义与图56所描述的语义相同。

另外，在以上的说明中，仅设置了包括指示拐点转换的函数的拐点的DR信息的knee_function_info SEI，但是可以设置包括指示拐点转换的近似函数的拐点的DR信息的knee_function_info SEI。在这种情况下，例如，指示拐点转换的函数的拐点的DR信息被设置为在其中拐点转换ID为0的knee_function_info SEI，并且指示拐点转换的近似函数的拐点的DR信息被设置为在其中拐点转换ID为1的knee_function_info SEI。此外，在通过HDMI传送DR信息的情况下，解码装置将在其中拐点转换ID为1的knee_function_info SEI中所包括的DR信息布置在AVIInfoFrame的单个分组中，并且传送DR信息。

另外，作为未转换的显示亮度信息(input_disp_luminance)和转换后的亮度范围信息(output_d_range)，在预定的明亮度中设置独有的ID，因此可以降低DR信息量。在这种情况下，例如，作为ID，0可以被分配给400坎德拉每平方米，而1可以被分配给800坎德拉每平方米。在编码侧和显示侧通用地设置ID与分配有ID的明亮度之间的对应关系，因此显示侧可以根据ID识别出明亮度。

在第三实施例中，按照用于代表期望的拐点转换的函数的优先级较高的顺序选择拐点，但是可以按照其他顺序选择拐点。

另外，在第三实施例中，所选择的拐点的数量是可以是在AVIInfoFrame的单个分组中所包括的数量，但是其不限于此。例如，在解码装置111具有显示装置112的功能的情况下，所选择的拐点的数量可以是与可以由转换单元93处理的拐点转换相对应的拐点的数量等。

<第四实施例>

(第四实施例的基础)

如图61所示，在阴极射线管(CRT)显示器中所使用的阴极射线管中，输入电信号与显示亮度不具有正比关系，并且为了显示高亮度需要输入较高的电信号。因此，如果如图62所示正比于图像的亮度的电信号被输入到CRT显示器，则如图63所示显示亮度低于图像的原始亮度。因此，为了显示具有图像的原始亮度的图像，如图64所示，需要通过使用具有与图61的函数的特性相反的特性的函数将图像的亮度转换为电信号。

另外，在图61和图63中，横轴表示通过当用于在CRT显示器上进行最大亮度显示的输入电信号的值设置为1时对输入电信号进行归一化所获得的值，以及纵轴表示通过当CRT显示器的显示亮度的最大值被设置为1时对显示亮度进行归一化所获得的值。在图62和图64中，横轴表示当显示目标图像的亮度的最大值被设置为1时通过对显示目标图像的亮度进行归一化所获得的值，而纵轴表示当与显示目标图像的亮度的最大值相对应的电信号的值被设置为1时通过对电信号进行归一化所获得的值。

如图61所示，用于将输入电信号转换为显示亮度的函数被称为电光传递函数(EOTF)，并且如图64所示，用于将图像的亮度转换为电信号的函数被称为光电传递函数(OETF)。

诸如发光二极管(LED)面板的其他显示器具有与CRT显示器不同的特性。然而，为了不依赖于显示器而改变输入电信号的生成过程，在采用其他显示器执行显示的情况下，也以与CRT显示器一样的方式执行使用EOTF和OETF的处理。

图65是示出了从图像的捕获直到图像被显示为止的处理的流程的示例的图。

另外，在图65的示例中，电信号是具有10位的编码值(0至1023)，以及在BT.709中限定了OETF和EOTF。

如图65所示，当通过摄像装置等捕获图像时，对捕获图像执行通过使用OETF将亮度(光)转换为电信号(编码值)的光电转换处理。然后，对电信号进行编码，以及对编码电信号进行解码。另外，对解码电信号执行通过使用EOTF将电信号转换为亮度的电光转换处理。

同时，人类视觉感知具有下述特性：对在低亮度处的亮度差异敏感，而对在高亮度处的亮度差异不敏感。因此，如图65所示，BT.709的OETF是下述函数：在该函数中，与高亮度部分相比，更多的编码值被分配给低亮度部分。作为结果，实现主观充分的图像质量。

在图像的最大亮度为约100坎德拉每平方米的情况下，通过使用BT.709的OETF可以将符合要求的编码值分配给低亮度部分。然而，显示器的最大亮度近来趋向于增加，并且其被期望在将来加速。如果图像的最大亮度与之相应地增加，则在BT.709的OETF中被分配给低亮度部分的编码值不足，因此不能够获得符合要求的图像质量。

因此，考虑到生成用于在HDR图像中使用的新的OETF，在该新的OETF中被分配给低亮度部分的编码值的比例增加，因此在HDR图像中获得符合要求的图像质量。然而，在这种情况下，为了执行光电转换处理和电光转换处理，需要针对HDR图像准备OETF和EOTF以及针对SDR图像准备OETF和EOTF两者。

另一方面，在通过使用针对HDR图像的OETF对SDR图像执行电光转换的情况下，亮度的灰度表现变粗糙。

例如，如图66所示，在通过使用针对具有最大亮度为100坎德拉每平方米的SDR图像的BT.709的OETF对SDR图像执行光电转换的情况下，SDR图像的亮度以包括0至1023的1024个编码表示。相比之下，如图67所示，在通过使用针对具有最大亮度为400坎德拉每平方米的HDR图像的OETF对SDR图像执行光电转换的情况下，例如SDR图像的亮度以包括0至501的502个编码值表示。

因此，OETF和EOTF优选地可变，以为了在具有高最大亮度的HDR图像和具有低最大亮度的SDR图像两者中为低亮度部分分配足够的编码值。因此，在第四实施例中，在BT.709的OETF之前以及在BT.709的EOTF之后执行拐点转换，因此可以为低亮度部分分配足够的编码值。

(第四实施例中光电转换处理的概述)

图68是示出了在第四实施例中的光电转换处理的概述的图。

如图68的左侧部分所示，在第四实施例中，首先，对捕获的图像的亮度(输入亮度)执行预定拐点转换。在图68的示例中，通过拐点转换，输入亮度的低亮度部分的10％被转换至输入亮度’的低亮度部分的90％，而输入亮度的高亮度部分的90％被转换为输入亮度’的高亮度部分的10％。因此，生成了输入亮度’，在其中，与高亮度部分相比更多的值被分配给低亮度部分。

接下来，如图68的中间部分所示，对输入亮度’执行使用BT.709的OETF进行的光电转换处理，以便生成具有预定比特数量(在图68的示例中为10比特)的编码值。如上所述，如图68的右侧部分所示，因为在输入亮度’中，与高亮度部分相比更多的值被分配给低亮度部分，所以与BT.709的OETF相比，由于输入亮度的低亮度部分而在从输入亮度’所转换的编码值中分配更多的值。在图68的示例中，输入亮度的低亮度部分的10％被分配给编码值的94％。

如上所述，在第四实施例中，通过使用拐点转换函数作为参数，调整将编码值分配给低亮度部分(黑暗部分)的范围和将编码值分配给高亮度部分(明亮部分)的范围。

另外，在图40的knee_function_info SEI中设置关于对输入亮度所执行的拐点转换的拐点的信息，并且该信息被传送到解码侧。

(在第四实施例中的电光转换处理的概述)

图69是示出了在第四实施例中电光转换处理的概述的图。

如图69的左侧部分所示，在第四实施例中，首先，对解码图像的编码值执行使用BT.709的EOTF进行的电光转换处理，以便生成亮度(输出亮度)。接下来，如图69的中间部分所示，对输出亮度执行预定的拐点转换。在图68的示例中，通过拐点转换，输出亮度的低亮度部分的90％被转换为输出亮度’的低亮度部分的10％，并且输出亮度的高亮度部分的10％被转换为输出亮度’的高亮度部分的90％。

因此，如图69的右侧部分所示，与BT.709的EOTF相比、由于输入亮度的低亮度部分而分配更多值的编码值可以被转换为与对应于编码值的输入亮度相同的输出亮度’。

如上所述，在第四实施例中，通过使用拐点转换的函数作为参数，在其中分配给低亮度部分(黑暗部分)的范围和分配给高亮度部分(明亮部分)的范围被调整的编码值被转换为亮度。

另外，基于在从编码侧所传送的knee_function_info SEI等中所设置的信息，确定关于对输出亮度所执行的拐点转换的拐点的信息。

(编码装置的第四实施例的配置示例)

图70是示出了应用了本公开的编码装置的第四实施例的配置示例的框图。

在图70所示的构成元件之中，对与图6或图16的构成元件相同的构成元件给予相同的附图标记。将适当地省略重复的说明。

图70的编码装置150的配置与图16的配置的不同之处在于：代替于转换单元73提供了量化单元151。编码装置150对从外部装置所输入的捕获的图像执行光电转换以便执行编码。

具体地，编码装置150的量化单元151对从外部装置所输入的捕获图像的亮度执行拐点转换。关于拐点转换的拐点的信息由设置单元71设置在knee_function_info SEI中。量化单元151使用BT.709的OETF对拐点转换后的亮度执行光电转换处理以便生成编码值。量化单元151将所生成的编码值提供给编码单元72作为编码目标图像。

(在编码装置中的处理的说明)

图71是示出了由图70的编码装置150所执行的流生成处理的流程图。

在图71的步骤S150中，编码装置150的量化单元151对从外部装置所输入的捕获图像的亮度进行拐点转换。在步骤S152中，量化单元151使用BT.709的EOTF对拐点转换后的亮度执行光电转换处理以便生成编码值。量化单元151将所生成的编码值提供给编码单元72作为编码目标图像。

在步骤S152至步骤S154中的处理与图21的步骤S73至S75的处理相同，因此将省略对其的描述。

在步骤S155中，设置单元71设置knee_function_info SEI，该knee_function_info SEI包括关于由于在步骤S150中的处理所执行的拐点转换的拐点的信息。设置单元71将诸如所设置的SPS、PPS、VUI以及knee_function_info SEI的参数集提供给编码单元72。

在步骤S156中，编码单元72按照HEVC方法对从转换单元73所提供的编码目标图像进行编码。在步骤S157和步骤S158中的处理与图21的步骤S78和S79中的处理相同，因此将省略对其的描述。

如上所述，在BT.709的OETF之前编码装置150执行拐点转换，因此可以通过使用BT.709的OETF执行适合于SDR图像和HDR图像两者的光电转换。

(解码装置的第四实施例的配置示例)

图72是示出了应用了本公开的并且对从图70的编码装置150所传送的编码流进行解码的解码装置的第四实施例的配置示例的框图。

在图72所示的构成元件之中，对与图12或图22的构成元件相同的构成元件给予相同的附图标记。将适当地省略重复的说明。

图72的解码装置170的配置与图22的解码装置90的配置的不同之处在于：代替于转换单元93提供了转换单元171。解码装置170对编码流进行解码，并且对作为其结果所获得的解码图像执行电光转换处理。

具体地，解码装置170的转换单元171对作为从解码单元92所提供的解码图像的编码值执行使用BT.709的EOTF的电光转换处理，以便生成亮度。转换单元171基于来自提取单元91的knee_function_info SEI对亮度执行拐点转换。转换单元171将作为拐点转换的结果所获得的亮度提供给显示控制单元94作为显示图像。

(在解码装置中的处理的说明)

图73示出了由图72的解码装置170所执行的图像生成处理的流程图。

图73的步骤S171至S173中的处理与图23的步骤S91至S93中的处理相同，因此将省略对其的说明。

在步骤S174中，解码装置170的转换单元171对作为从解码单元92所提供的解码图像的编码值执行使用BT.709的EOTF的电光转换处理，以便生成亮度。

在步骤S175中，转换单元171基于来自提取单元91的knee_function_info SEI对所生成的亮度执行拐点转换。转换单元171将作为拐点转换的结果所获得的亮度提供给显示控制单元94作为显示图像。

在步骤S176中，显示控制单元94将从转换单元93所提供的显示图像显示在显示单元95上，以及结束处理。

如上所述，解码装置170在BT.709的EOTF之后执行拐点转换，因此通过使用BT.709的EOTF执行适合于SDR图像和HDR图像两者的电光转换处理。

另外，编码目标图像的最大亮度可以连同编码数据一起被包括在编码流中，并且从编码装置150被传送到解码装置170，以及可以预先被确定为编码装置150和解码装置170通用的值。此外，可以针对编码目标图像的最大亮度的每项设置knee_function_info SEI。

另外，在第四实施例中，可以设置第一实施例至第三实施例的knee_function_info SEI。在这种情况下，解码侧通过使用DR转换信息执行拐点转换，因此可以执行到适合于各种亮度的显示器的图像的转换。

另外，第四实施例中的解码装置170可以与第三实施例中相同的方式被分割为解码装置和显示装置。

此外，在第四实施例中，通过使用拐点转换的函数作为参数，调整将编码值分配到低亮度部分的范围和将编码值分配到高亮度部分的范围，但是可以通过使用除了拐点转换的函数之外的函数作为参数进行调整。

此外，本公开可以应用到AVC方法。

<第五实施例>

(应用了本公开的计算机的说明)

上述处理系列可以由硬件或软件执行。当上述处理系列由软件执行时，构成软件的处理被安装到计算机中。在此，计算机包括在专用硬件中所包含的计算机，或通过安装各种程序可以执行各种功能的通用个人计算机等。

图74是示出了根据程序执行上述处理系列的计算机的硬件的配置示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202以及随机存取存储器(RAM)203经由总线204彼此连接。

总线204还连接到输入和输出接口205。输入和输出接口205连接到输入单元206、输出单元207、存储单元208、通信单元209以及驱动器210。

输入单元206包括键盘、鼠标、麦克风等。输出单元207包括显示器、扬声器等。存储单元208包括硬盘、非易失性存储器等。通信单元209包括网络接口等。驱动器210驱动可移除介质211，诸如磁盘、光盘、磁光盘等。

在按照这种方式所配置的计算机中，CPU 201例如通过经由输入和输出接口205以及总线204将在存储单元208中所述存储的程序载入到RAM 203以及执行该程序来执行上述处理系列。

由计算机(CPU 201)所执行的程序可以记录在例如作为封装介质的可移除介质211上，并且可以被提供。另外，可以经由有线或无线传送介质，诸如局域网、互联网、或数字卫星广播提供程序。

在计算机中，通过将可移除介质211安装到驱动器210中，程序可以经由输入和输出接口205被安装到存储单元208中。另外，程序可以由通信单元209经由有线或无线传送介质而接收，并且可以被安装在存储单元208中。此外，程序可以预先安装在ROM 202或存储单元208中。

另外，由计算机所执行的程序可以是根据在本说明书中所描述的顺序按照时间序列执行处理的程序，以及可以是并行地或在必要的定时(诸如当访问时)执行处理的程序。

<第六实施例>

(到多视图图像编码和多视图图像解码的应用)

上述处理系列可以被应用到多视图图像编码和多视图图像解码。图75是示出了多视图图像编码方法的示例的图。

如图75所示，多视图图像包括在多个视图处的图像。多视图图像的多个视图包括基本视图和非基本视图，在基本视图中通过仅使用在其自身视图处的图像执行编码/解码，在非基本视图中通过使用在其他视图处的图像执行编码/解码。非基本视图可以使用基本视图图像并且可以使用其他非基本视图图像。

当在如图75一样对多视图图像进行编码/解码的情况下，对每个视图图像进行编码/解码，并且可以将以上所述的第一实施例的方法应用到每个视图的编码/解码中。以这种方式，解码图像可以被转换为具有不同的动态范围的期望的图像。

另外，在每个视图的编码/解码中，可以共享在第一实施例的方法中所使用的标志或参数。更具体地，例如，可以在每个视图的编码/解码中共享knee_function_info SEI的语法元素等。当然，在每个视图的编码/解码中可以共享这些元素之外的必要信息。

以这种方式，可以使冗余信息的传送最小化，因此降低所传送的信息量(比特率)(即，可以使得编码效率的降低最小化)。

(多视图图像编码装置)

图76是示出了执行上述多视图图像编码的多视图图像编码装置的图。如图76所示，多视图图像编码装置600包括编码单元601、编码单元602以及复用器603。

编码单元601对基本视图图像进行编码以生成基本视图图像编码流。编码单元602对非基本视图图像进行编码以便生成非基本视图图像编码流。复用器603将在编码单元601中所生成的基本视图图像编码流和在编码单元602中所生成的非基本视图图像编码流进行复用，以便生成多视图图像编码流。

编码装置10(图6)适用于多视图图像编码装置600的编码单元601和编码单元602。换言之，在每个视图的编码中，可以对图像进行编码使得在解码期间解码图像可以被转换为具有不同的动态范围的期望的图像。另外，编码单元601和编码单元602通过使用互相相同的标志或参数(例如，关于图像处理的语法元素等)可以执行编码(即，可以共享标志或参数)，因此可以使得编码效率的降低最小化。

(多视图图像解码装置)

图77是示出了执行以上所述的多视图图像解码的多视图图像解码装置的图。如图77所示，多视图图像解码装置610包括解复用器611、解码单元612以及解码单元613。

解复用器611对基本视图图像编码流和非基本视图图像编码流被复用成的多视图图像编码流解复用，以便提取基本视图图像编码流和非基本视图图像编码流。解码单元612对由解复用器611所提取的基本视图图像编码流进行解码以便获得基本视图图像。解码单元613对由解复用器611所提取的非基本视图图像编码流进行解码以便获得非基本视图图像。

解码装置50(图12)可应用于多视图图像解码装置610的解码单元612和解码单元613。换言之，在每个视图的解码中，解码图像可以被转换为具有不同的动态范围的期望的图像。另外，解码单元612和解码单元613通过使用互相相同的标志或参数(例如，关于图像处理的语法元素等)可以执行编码(即，可以共享标志或参数)，因此可以使得编码效率的降低最小化。

<第七实施例>

(到分层图像编码和分层图像解码的应用)

以上的处理系列可以被应用到分层图像编码和分层图像解码。图78示出了分层图像编码方法的示例。

分层图像编码(可伸缩编码)用于生成图像的多个分层并且对每个分层进行编码使得图像数据关于预定的参数具有可伸缩功能。分层图像解码(可伸缩解码)是与分层图像编码相对应的解码。

如图78所示，在图像的分层中，采用具有可伸缩功能的预定参数作为参考，单个图像被分割为多个图像(分层)。换言之，分层后的图像(分层图像)包括多个分层的图像，其中，预定参数的值彼此不同。分层图像的多个分层包括基本层和非基本层(也被称为增强层)，在基本层中，通过仅使用其自身分层的图像执行编码/解码，在非基本层中通过使用其他分层的图像执行编码/解码。非基本层可以使用基本层并且可以使用其他非基本层图像。

通常，非基本层由其自身图像和与其他分层的图像的差分图像的数据(差分数据)形成。例如，在单个图像被生成为包括基本层和非基本层(也被称为增强层)的两个分层的情况下，通过仅使用基本层的数据获得具有低于原始图像的质量的质量的图像，因此基本层的数据和非基本层的数据彼此组合以便获得原始图像(即，高质量图像)。

如上所述地对图像进行分层，以及因此依赖于环境可以容易地获得各种质量图像。例如，仅基本层的图像压缩信息被传送到具有低处理性能的终端，诸如移动电话，使得对空间分辨率和时间分辨率较低或图像质量较低的运动图像进行再现，而增强层和基本层的图像压缩信息被传送到具有高处理性能的终端，诸如电视机或个人计算机，使得对空间分辨率和时间分辨率较高或图像质量较高的运动图像进行再现。以这种方式，可以依赖于终端或网络性能从服务器传送图像压缩信息而不执行转码处理。

对如在图78的示例中的分层图像进行编码/解码，对每个分层的图像进行编码/解码，第一实施例的上述方法可以应用到每个分层的编码/解码。以这种方式，解码图像可以被转换为具有不同的动态范围的期望的图像。

另外，在每个分层的解码/编码中，可以共享在第一实施例的方法中所使用的标志或参数。更具体地，例如，在每个分层的编码/解码中可以共享knee_function_info SEI的语法元素等。当然，在每个分层的编码/解码中可以共享这些元素之外的必要信息。

以这种方式，可以使冗余信息的传送最小化，因此降低所传送的信息量(比特率)(即，可以使得编码效率的降低最小化)。

(可伸缩参数)

在这样的分层图像编码和分层图像解码(可伸缩编码和解码)中，具有可伸缩功能的参数是任意的。例如，如图79所示的空间分辨率可以是参数(空间可伸缩性)。在空间可伸缩性的情况下，图像的分辨率针对每个分层而不同。换言之，在这种情况下，如图79所示，每个图片被生成为包括基本层和增强层的两个分层，基本层的空间分辨率低于原始图像的空间分辨率，增强层允许通过与基本层进行组合获得原始空间分辨率。当然，分层的数量是示例，并且可以生成任何数量的分层。

另外，如图80所示可以采用例如时间分辨率(时间可伸缩性)作为给予这样的可伸缩性的参数。在时间可伸缩性的情况下，针对每个分层帧率不同。换言之，在这种情况下，如图80所示，每个图片被生成为包括基本层和增强层的两个分层，基本层的帧率低于原始运动图像的帧率，而增强层允许通过与基本层组合获得原始帧率。当然，分层的数量是示例，并且可以生成任何数量的分层。

此外，可以采用例如信号噪声比(SNR)(SNR可伸缩性)作为给予这样的可伸缩性的参数。在SNR可伸缩性的情况下，针对每个分层SNR不同。换言之，在这种情况下，如图81所示，每个图片被生成为包括基本层和增强层的两个分层，基本层的SNR低于原始图像的SNR，而增强层允许通过与基本层组合获得原始SNR。当然，分层的数量是示例，并且可以生成任何数量的分层。

给予可伸缩性的参数可以使用除了以上所述的示例之外的参数。例如，作为给予可伸缩性的参数，可以使用位深(位深可伸缩性)。在位深可伸缩性的情况下，针对每个层的位深不同。在这种情况下，例如，基本层由8位图像形成而增强层被添加至基本层使得可以获得10位图像。

另外，作为给予可伸缩性的参数，可以使用色度格式(色度可伸缩)。在色度可伸缩性的情况下，针对每个分层色度格式不同。在这种情况下，例如，基本层由具有4：2：0的格式的分量图像形成，而增强层被添加至基本层使得可以获得具有4：2：2的格式的分量图像。

此外，作为给予可伸缩性的参数，可以使用亮度的动态范围(DR可伸缩性)。在DR可伸缩性的情况下，针对每个分层的亮度的动态范围不同。在这种情况下，例如，基本层由SDR图像形成，而增强层添加至基本层使得可以获得HDR图像。

在将上述处理系列应用到动态范围可伸缩性的情况下，例如，作为DR转换信息可以在基本层图像的编码流中设置关于从SDR图像拐点解压缩到HDR图像的信息。另外，作为DR转换信息，在增强层图像的编码流中设置关于HDR图像的亮度的动态范围的拐点压缩的信息。

另外，可以仅对基本层图像的编码流进行解码并且包括HDR显示器的解码装置基于DR转换信息，将作为解码图像的SDR图像转换为HDR图像，并且将HDR图像设置为显示图像。另一方面，还可以对增强层图像的编码流进行解码并且包括可以显示具有低动态范围的HDR图像的HDR显示器的解码装置基于DR转换信息，将作为解码图像的HDR图像的亮度的动态范围进行拐点压缩，并且将其结果设置为显示图像。

此外，作为DR转换信息可以在增强层图像的编码流中设置关于HDR图像的亮度的动态范围的解压缩的信息。在这种情况下，还可以对增强层图像的编码流进行解码并且包括可以显示具有高动态范围的HDR图像的HDR显示器的解码装置基于DR转换信息，将作为解码图像的HDR图像的亮度的动态范围进行拐点解压缩，并且将其结果设置为显示图像。

如上所述，在基本层图像或增强层图像的编码流中设置DR转换信息，并且因此可以显示更适合于显示性能的图像。

(分层图像编码装置)

图82是示出了执行以上所述的分层图像编码的分层图像编码装置的图。如图82所示，分层图像编码装置620包括编码单元621、编码单元622以及复用器623。

编码单元621对基本层图像进行编码以便生成基本层图像编码流。编码单元622对非基本层图像进行编码以便生成非基本层图像编码流。复用器623对在编码单元621中所生成的基本层图像编码流和在编码单元622中所生成的非基本层图像编码流进行复用，以便生成分层图像编码流。

编码装置10(图6)可应用于分层图像编码装置620的编码单元621和编码单元622。换言之，在每个分层的编码中，可以对图像进行编码使得在解码期间解码图像可以被转换为具有不同的动态范围的期望的图像。另外，编码单元621和编码单元622可以通过使用互相相同的标志或参数(例如，关于图像的处理的语法元素等)执行帧内预测滤波器处理的控制等(即，可以共享标志或参数)，因此可以使得编码效率的降低最小化。

(分层图像解码装置)

图83是示出了执行以上所述的分层图像解码的分层图像解码装置的图。如图83所示，分层图像解码装置630包括解复用器631、解码单元632以及解码单元633。

解复用器631对基本层图像编码流和非基本层图像编码流被复用成的分层图像编码流解复用，以便提取基本层图像编码流和非基本层图像编码流。解码单元632对由解复用器631所提取的基本层图像编码流进行解码以便获得基本层图像。解码单元633对由解复用器631所提取的非基本层图像编码流进行解码，以便获得非基本层图像。

解码装置50(图12)可应用于分层图像解码装置630的解码单元632和解码单元633。换言之，在每个层的解码中，解码图像可以被转换为具有不同的动态范围的期望的图像。另外，解码单元612和解码单元613通过使用互相相同的标志或参数(例如，关于图像处理的语法元素等)可以执行编码(即，可以共享标志或参数)，因此可以使得编码效率的降低最小化。

<第八实施例>

(电视设备的配置示例)

图84例示了应用了本技术的电视设备。电视设备900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908以及外部接口单元909。另外，电视设备900包括控制单元910、用户接口911等。

调谐器902从经由天线901所接收的广播信号中选择期望的信道，对所选择的信道进行解调制，以及将通过解调制所获得的编码比特流输出到解复用器903。

解复用器903从编码比特流中提取作为观看目标的程序的视频分组或音频分组，并且将在所提取的分组上的数据输出到解码器904。另外，解复用器903将诸如电子节目指南(EPG)的数据的分组提供给控制单元910。此外，当编码流被加扰时解复用器等可以执行解扰。

解码器904对分组进行解码，并且将通过解码所生成的视频数据和音频数据分别地输出到视频信号处理单元905和音频信号处理单元907。

视频信号处理单元905根据用户设置对视频数据执行噪声移除或视频处理等。视频信号处理单元905例如通过基于经由网络所提供的应用程序进行的处理，生成要显示在显示单元906上的节目的视频数据或图像数据等。另外，视频信号处理单元905生成用于显示诸如项目选择的菜单画面的视频数据，并且将该视频数据叠加到节目的视频数据上。视频信号处理单元905基于以这种方式所生成的视频数据生成驱动信号，以便生成显示单元906。

显示单元906基于来自视频信号处理单元905的驱动信号来驱动显示装置(例如，液晶显示元件)，以显示节目的视频等。

音频信号处理单元907对音频数据执行诸如噪声移除的处理，并且对之后被提供给扬声器908的处理后的音频数据执行D/A转换或放大处理，从而输出声音。

外部接口单元909是用于到外部装置或网络的连接的接口，并且传送和接收诸如视频数据或音频数据的数据。

控制单元910连接到用户接口单元911。用户接口单元911包括操作开关、远程控制信号接收部，并且将与用户的操作相对应的操作信号提供给控制单元910。

通过使用中央处理单元(CPU)、存储器等构成控制单元910。存储器存储要由CPU执行的程序、CPU执行处理所需要的各种数据、EPG数据、经由网络所获取的数据等。例如当电视设备900启动时，由CPU读取并且执行在存储中所存储的程序。CPU执行程序并且控制每个单元，使得电视设备900响应于用户的操作而执行操作。

另外，电视设备900设置有总线912，其将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910彼此连接。

在具有这样的配置的电视设备中，在解码器904中提供本申请的解码装置(解码方法)的功能。由于这个原因，可以将解码图像转换为具有不同的动态范围的期望的图像。

<第九实施例>

(移动电话的配置示例)

图85例示了应用了本公开的移动电话的示意性配置。移动电话920包括通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用器/解复用器928、记录/再现单元929、显示单元930以及控制单元931。这些构成元件经由总线933彼此连接。

另外，通信单元922连接到天线921，而音频编解码器923连接到扬声器924和麦克风925。此外，控制单元931连接到操作单元932。

移动电话920在诸如语音模式和数据通信模式的各种模式中执行各种操作，诸如音频信号的传送和接收、电子邮件或图像数据的传送和接收、图像的捕获以及数据的记录。

在语音模式中，由麦克风925所生成的音频信号在音频编解码器923中经受到音频数据的转换或数据压缩，并且然后被提供给通信单元922。通信单元922对音频数据执行调制处理或频率转换处理，以便生成传送信号。此外，通信单元922将传送信号传送到天线921，以便将传送信号传送到基站(未示出)。此外，通信单元922对经由天线921所接收到的信号执行放大、频率转换处理以及解调处理，并且将所生成的音频数据提供给音频编解码器923。音频编解码器923对音频数据执行数据解压缩，或将音频数据转换为模拟音频信号，以及将所生成的音频信号输出到扬声器924。

此外，在数据通信模式中，在传送邮件的情况下，控制单元931接收通过使用操作单元932所输入的文本数据，并且将所输入的文本显示在显示单元930上。此外，控制单元931响应于由用户通过使用操作单元932所进行的指令生成邮件数据，并且将所生成的邮件数据提供给通信单元922。通信单元922对邮件数据执行调制处理或频率转换处理，并且将所生成的传送信号从天线921传送。此外，通信单元922对经由天线921所接收到的信号执行放大、频率转换处理以及解调处理，以便恢复邮件数据。邮件数据被提供给显示单元930，以及因此显示邮件内容。

另外，移动电话920可以通过使用记录/再现单元920将所接收的邮件数据存储在记录介质上。记录介质可以是任何可写记录介质。例如，记录介质是半导体存储器诸如RAM或内置的闪速存储器，或是可移除介质诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储器卡。

当在数据通信模式中传送图像数据的情况下，由摄像装置单元926所生成的图像数据被提供给图像处理单元927。图像处理单元927对图像数据执行编码处理以生成编码数据。

此外，复用器/解复用器928对由图像处理单元927所生成的图像流与从音频编解码器923所提供给的音频数据进行复用，并且将复用的数据提供给通信单元922。通信单元922对复用的数据执行调制处理或频率转换处理，并且将所获得的传送信号传送到天线921。此外，通信单元922对经由天线921所接收到的信号执行放大处理、频率转换处理以及解调处理等以恢复复用数据。复用数据被提供给复用器/解复用器928。复用器/解复用器928对复用数据进行解复用，并且将编码数据提供给图像处理单元927以及将音频数据提供给音频编解码器923。图像处理单元927对编码数据进行解码以便生成图像数据。图像数据被提供给显示单元930以便允许所接收到的图像被显示。音频编解码器923将音频数据转换为之后被提供给扬声器924的模拟音频信号，以便输出所接收到的声音。

在具有配置的移动电话设备中，在图像处理单元927中提供了本申请的编码装置和解码装置(编码方法和解码方法)的功能。由于这个原因，图像可以被编码，使得在解码期间解码图像可以被转换为具有不同的动态范围的期望的图像。另外，可以将解码图像转换为具有不同的动态范围的期望的图像。

<第十实施例>

(记录/再现设备的配置的示例)

图86例示了应用了本公开的记录/再现设备的示意性配置。记录/再现设备940例如将所接收到的广播节目的音频数据和视频数据记录在记录介质上，并且以与根据来自用户的指令相对应的定时将所记录的数据提供给用户。例如，记录/再现设备940还可以从其他设备获取音频数据和图像数据，并且可以将数据记录在记录介质上。此外，记录/再现设备940可以对在记录介质上所记录的音频数据或视频数据进行编码和输出，使得可以在监视器装置上执行图像显示或声音输出。

记录/再现设备940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。

调谐器941从经由天线(未示出)所接收的广播信号中选择期望的信道。另外，调谐器941将通过对期望的信道的接收信号进行解调所获得的编码比特流输出到选择器946。

外部接口单元942包括IEEE 1394接口、网络接口、USB接口、闪速存储器接口等中的任何一个。外部接口单元942是连接到外部设备、网络、存储器卡等的接口，并且接收要记录的数据诸如视频数据或音频数据。

在从外部接口单元942所提供的音频数据和视频数据未编码的情况下，编码器943根据预定的方法对视频数据或音频数据进行编码，并且将编码比特流输出到选择器946。

HDD单元944将诸如视频和声音的内容数据、各种程序、以及其他数据记录在内置的硬盘上，并且对视频和音频进行再现时从硬盘读取数据。

盘驱动器945将数据记录在安装在其中的光盘上，并且从安装在其中的光盘再现数据。光盘可以是，例如，DVD盘(DVD视频、DVD-RAM、DVD-R、DVR-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。

当记录视频和声音时，选择器946选择从调谐器941或编码器943所输入的编码比特流，并且将所选择的编码比特流输出到HDD单元944或盘驱动器945。另外，当再现视频和声音时，选择器946将从HDD单元944或盘驱动器945所输出的编码比特流输出到解码器947。

解码器947对编码比特流进行解码。另外，解码器947将通过解码处理所生成的视频数据提供给OSD单元948。此外，解码器947输出通过执行解码处理所生成的音频数据。

OSD单元948生成用于显示诸如项目选择的菜单画面的视频数据，并且将该视频数据叠加并且输出到从解码器947所输出的视频数据。

控制单元949连接到用户接口单元950。用户接口单元950由操作开关、远程控制信号接收部等构成，并且将与用户的操作相对应的操作信号提供给控制单元949。

通过使用中央处理器(CPU)、存储器等构成控制单元949。存储器存储要由CPU执行的程序、CPU执行处理所需要的各种数据、EPG数据、经由网络所获取的数据等。例如当记录/再现设备940启动时，以预定的定时由CPU读取并且执行在存储器中所存储的程序。CPU执行程序，以及因此控制每个单元，使得记录/再现设备940响应于用户的操作而执行操作。

在具有该配置的记录/再现设备中，在解码器947中提供本申请的解码装置(解码方法)的功能。由于这个原因，可以将解码图像转换为具有不同的动态范围的解码图像。

<第十一实施例>

(成像设备的配置示例)

图87例示了应用了本公开的成像设备的示意性配置。成像设备960捕获对象的图像，并且将对象的图像显示在显示单元上或将图像作为图像数据记录在记录介质上。

成像设备960包括光学块961、成像单元962、摄像装置信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、媒介驱动器968、OSD单元969以及控制单元970。另外，控制单元970连接到用户接口单元971。此外，图像数据处理单元964、外部接口单元966、存储器单元967、媒介驱动器968、OSD单元969以及控制单元970等经由总线972彼此连接。

光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962包括诸如CCD或CMOS的图像传感器，并且通过光电转换生成与光学图像相对应的电信号，以及将电信号提供给摄像装置信号处理单元963。

摄像装置信号处理单元963对从成像单元962所输入的图像信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正以及颜色校正。摄像装置信号处理单元963将经历了摄像装置信号处理的图像数据提供给图像数据处理单元964。

图像数据处理单元964对从摄像装置信号处理单元963所提供的图像数据进行编码。图像数据处理单元964将通过编码处理所生成的编码数据提供给外部接口单元966或媒介驱动器968。此外，图像数据处理单元964对从外部接口单元966或媒介驱动器968所提供的编码数据进行解码。此外，图像数据处理单元964将通过解码处理所生成的图像数据提供给显示单元965。此外，图像数据处理单元964将从摄像装置信号处理单元963所提供的图像数据提供给显示单元965，或将从OSD单元969所获取的显示数据叠加在之后被输出到显示单元965的图像数据上。

OSD单元969生成显示数据，诸如由符号、字符、或图所形成的菜单画面或图标，并且将显示数据输出到图像数据处理单元964。

外部接口单元966例如由USB输入和输出终端构成，并且当打印图像时外部接口单元966连接到打印机。另外，外部接口单元966根据需要连接到驱动器。诸如磁盘或光盘的可移除介质适当地安装在驱动器中，并且根据需要在其中安装从可移除介质所读取的计算机程序。此外，外部接口单元966包括连接到预定网络(诸如LAN或因特网)的网络接口。例如，控制单元970可以响应于来自用户接口单元971的指令从媒介驱动器968读取编码数据，并且可以将编码数据从外部接口单元966提供给经由网络连接的其他设备。另外，控制单元970可以通过外部接口单元966获取经由网络从其他设备所提供的编码数据或图像，并且可以将数据提供给图像数据处理单元964。

由媒介驱动器968所驱动的记录介质可以是任何可读和可写的可移除介质，诸如，磁盘、磁光盘、光盘、或半导体存储器。另外，记录介质可以是任何类型的可移除介质，可以是磁带装置、可以是盘、以及可以是存储器卡。当然，可以使用非接触式集成电路(IC)卡等。

此外，媒介驱动器和记录介质可以一体化地形成，以便由诸如内置的硬盘驱动器或固态驱动器(SSD)的非便携式存储单元构成。

通过使用CPU构成控制单元970。存储器单元967存储要由控制单元970执行的程序、控制单元970执行处理需要的各种数据等。例如，成像设备960启动时，以预定的定时由控制单元970读取并且执行在存储器单元967中所存储的程序。控制单元970执行程序，以及因此控制各个单元，使得成像设备960响应于用户的操作而执行操作。

在具有该配置的成像设备中，在图像数据处理单元964中提供了本申请的编码装置和解码装置(编码方法和解码方法)的功能。由于这个原因，可以对图像进行编码，使得在解码期间解码图像可以被转换为具有不同的动态范围的期望的图像。另外，可以将解码图像转换为具有不同的动态范围的期望的图像。

<可伸缩编码的应用示例>

(第一系统)

接下来，将对使用被可伸缩编码的可伸缩编码(分层编码)数据的具体使用示例进行说明。例如，可伸缩编码被用于选择如要在图88中所示的示例中传送的数据。

在图88所示的数据传送系统1000中，递送服务器1002读取在可伸缩编码数据存储单元1001中所存储的可伸缩编码数据，并且经由网络1003将可伸缩编码数据递送到终端设备，诸如个人计算机1004、AV设备1005、平板式装置1006以及移动电话1007。

此时，递送服务器1002基于终端设备的性能、通信环境等对具有合适的质量的编码数据进行选择和传送。如果递送服务器1002不必要地传送高质量的数据，不能说在终端设备中获得了高质量图像，并且存在可能发生延迟或上溢的担忧。另外，存在高质量数据可能不必要地占用通信带宽以及可能不必要地增加对终端设备的负载的担忧。相反，如果递送服务器1002不必要地传送低质量的数据时，存在有在终端设备中未获得具有足够图像质量的图像的担忧。出于这个原因，递送服务器1002从可伸缩编码数据存储单元1001中读取并且传送具有适合于终端设备的性能或通信环境等的质量的编码数据(分层)。

在此，假定可伸缩编码数据存储单元1001存储可伸缩编码的可伸缩编码数据(BL+EL)1011。可伸缩编码数据(BL+EL)1011是包括基本层和增强层两者的编码数据，并且是允许通过解码获得基本层的图像和增强层的图像的数据。

递送服务器1002根据数据被传送到的终端设备的性能或通信环境选择适当的分层，并且读取该分层的数据。例如，对于具有高处理性能的个人计算机1004或平板式装置1006，递送服务器1002从可伸缩编码数据存储单元1001读取高质量可伸缩编码数据(BL+EL)1011，并且如原样传送该数据。相反，例如，对于具有低处理性能的AV装置1005或移动电话1007，递送服务器1002从可伸缩编码数据(BL+EL)1011提取基本层数据，并且将该数据作为可伸缩编码数据(BL)1012传送，该数据为就内容而言与可伸缩编码数据(BL+EL)1011相同的内容数据，但是具有低于可伸缩编码数据(BL+EL)1011的质量。

如上所述，因为通过使用可伸缩编码数据可以容易地调整数据量，所以可以使延迟或上溢的发生最小化，或可以使得终端设备或通信介质的负载的不必要的增加最小化。另外，在可伸缩编码数据(BL+EL)1011中降低了分层之间的冗余，因此与每个分层的编码数据被用作单独的数据的情况相比可以进一步降低其数据量。因此，可以更加有效地使用可伸缩编码数据存储单元1001的存储区域。

另外，诸如个人计算机1004至移动电话1007的各种设备可以作为终端设备被采用，因此终端设备的硬件性能依赖于各个设备而不同。此外，存在由终端设备所执行的各种应用程序，因此还存在其软件的各种性能。此外，例如包括有线网络、无线网络、或有线网络和无线网络两者的所有通信线网络(诸如因特网或局域网(LAN))可以被采用为作为通信介质的网络1003，以及存在各种数据传送性能。此外，存在依赖于其他通信环境等而使得数据传送性能变化的担忧。

因此，在开始数据传送之前，递送服务器1002可以与作为数据传送目的地的终端设备进行通信，以便获得关于终端设备的性能(诸如终端设备的硬件性能和由终端设备所执行的应用程序(软件)的性能)的信息，以及关于通信环境(诸如网络1003的可用带宽)的信息。另外，递送服务器1002可以基于在此所获得的信息选择适当的分层。

此外，可以由终端设备执行分层的提取。例如，个人计算机1004可以对所传送的可伸缩编码数据(BL+EL)1011进行解码，以便显示基本层图像并且显示增强层图像。此外，例如，个人计算机1004可以从所传送的可伸缩编码数据(BL+EL)1011中提取基本层的可伸缩编码数据(BL)1012以便存储该数据，从而该数据传送到其他装置，或对该数据进行解码以用于基本层图像的显示。

当然，可伸缩编码数据存储单元1001的数量、递送服务器1002的数量、网络1003的数量以及终端设备的数量均是任意的。另外，在以上说明中，对递送服务器1002将数据传送到终端设备的示例进行了描述，但是使用示例不限于此。数据传送系统1000可以应用到任何系统，只要当将可伸缩编码的编码数据传送到终端设备时该系统基于终端设备的性能、通信环境等选择并且传送适当的分层即可。

(第二系统)

例如，如在图89中所示的示例一样，可伸缩编码被用于使用多个通信介质进行传送。

在图89所示的数据传送系统1100中，广播站1101通过使用地面广播1111传送基本层可伸缩编码数据(BL)1121。另外，广播站1101经由通过由有线网络、无线网络、或有线和无线网络两者所形成的任何网络1112传送(例如，分组化和传送)增强层可伸缩编码数据(EL)1122。

终端设备1102具有由广播站1101所广播的地面广播1111的接收功能，并且接收经由地面广播1111所传送的基本层可伸缩编码数据(BL)1121。另外，终端设备1102还具有使用网络1112执行通信的通信功能，并且接收经由网络1112所传送的增强层可伸缩编码数据(EL)1122。

例如，响应于来自用户的指令，终端设备1102可以对经由地面广播1111所获取的基本层可伸缩编码数据(BL)1121进行解码，以便获得基本层图像以存储该图像，并且将该图像传送到其他设备。

例如，响应于来自用户的指令，终端设备1102对经由地面广播1111所获取的基本层可伸缩编码数据(BL)1121与经由网络1112所获取的非基本层可伸缩编码数据(EL)1122进行组合，以便获得可伸缩编码数据(BL+EL)，并且可以对数据进行解码，以便获得基本层图像以存储该图像，并且将该图像传送到其他装置。

如上所述，例如，可以经由针对每个分层不同的通信介质传送可伸缩编码数据。在这种情况下，可以分散负载，因此可以使得延迟或上溢的发生最小化。

另外，依赖于环境，可以针对每个分层选择用于传送的通信介质。例如，可以经由具有宽带宽的通信介质传送具有相对大的数据量的基本层可伸缩编码数据(BL)1121，并且可以经由具有窄带宽的通信介质传送具有相对小的数据量的增强层可伸缩编码数据(EL)1122。另外，例如，可以依赖于网络1112的可用带宽在网络1112与地面广播1111之间改变传送增强层可伸缩编码数据(EL)1122的通信介质。当然，这同样适用于任何分层的数据。

如上所述地执行控制，因此可以进一步使得在数据传送中负载的增加最小化。

当然，分层的数量是任意的并且用于传送的通信介质的数量也是任意的。此外，用作数据传送目的地的终端设备1102的数量是任意的。此外，在以上说明中，作为示例对来自广播站1101的广播进行了描述，但是使用示例不限于此。数据传送系统1100可应用到任何系统，只要该系统以层为单位将可伸缩编码的编码数据划分为多个数据项，并且经由多个线路传送数据项即可。

(第三系统)

例如，如在图90所示的示例一样，可伸缩编码被用于存储编码数据。

在图90所示的成像系统1200中，成像设备1201对通过将对象1211成像所获得的图像数据执行可伸缩编码，并且将所得到的数据作为可伸缩编码数据(BL+EL)1221提供给可伸缩编码数据存储装置1202。

可伸缩编码数据存储装置1202存储从成像设备1201所提供的、具有基于环境的质量的可伸缩编码数据(BL+EL)1221。例如，在正常时间的情况下，可伸缩编码数据存储装置1202从可伸缩编码数据(BL+EL)1221中提取基本层数据，并且将数据存储为具有小的数据量的低质量的基本层可伸缩编码数据(BL)1222。相反，例如，在关注时间的情况下，可伸缩编码数据存储装置1202如原样地存储具有大的数据量的高质量的可伸缩编码数据(BL+EL)1221。

因此，因为可伸缩编码数据存储装置1202可以仅在需要的情况下保留高质量图像，可以使得数据量的增加最小化而同时使得由于图像质量恶化导致的图像值的下降最小化，因此可以改进存储区域的使用效率。

例如，假定成像设备1201是监视摄像装置。在监视目标(例如，入侵者)未被反映在捕获的图像中的情况下(正常时间的情况下)，存在捕获的图像的内容可能并不重要的很高的可能性，因此优选的是数据量的降低并且以低质量存储图像数据(可伸缩编码数据)。相反，在监视目标被反映在如对象1211的捕获的图像中的情况下(关注时间的情况下)，存在捕获图像的内容是重要的很高的可能性，因此图像质量是优选的，并且以高质量存储图像数据(可伸缩编码数据)。

例如，通过可伸缩编码数据存储装置1202对图像进行分析，可以确定正常时间或关注时间。此外，例如，通过成像设备1201可以确定正常时间和关注时间，并且确定结果可以被传送到可伸缩编码数据存储装置1202。

另外，正常时间和关注时间的确定标准是任意的，并且用作确定标准的捕获的图像的内容是任意的。当然，除了捕获的图像的内容之外的条件也可以被用作确定标准。例如，正常时间和关注时间可以根据所记录的声音的大小、波形等而改变，以及例如可以针对每个预定的时间间隔而改变，或可以根据外部指令(诸如来自用户的指令)而改变。

另外，在以上的说明中，对改变包括正常时间和关注时间的两个状态的示例进行了描述，但是状态的数量是任意的，以及例如，可以改变诸如正常时间、轻微关注时间、关注时间以及重要关注时间的三个或更多个状态。在此，改变状态的数量的上限依赖于可伸缩编码数据的分层的数量。

另外，成像设备1201可以基于状态确定可伸缩编码的分层的数量。例如，在正常时间的情况下，成像设备1201可以生成具有小的数据量的低质量的基本层可伸缩编码数据(BL)1222，并且可以将数据提供给可伸缩编码数据存储装置1202。此外，例如，在关注时间的情况下，成像设备1201可以生成具有大的数据量的高质量基本层和非基本层编码数据(BL+EL)1221，并且可以将数据提供给可伸缩编码数据存储装置1202。

在以上说明书中，作为示例对监视摄像装置进行了描述，但是成像系统1200的使用是任意的，并且不限于监视摄像装置。

<第十二实施例>

(其他实施例)

在以上说明中，描述了应用了本技术的设备和系统的示例，但是本技术不限于此，并且还可以通过安装在形成设备或系统的装置上的所有配置实现本技术，例如，作为系统大规模集成(LSI)的处理器等、使用多个处理器的模块、使用多个模块等的单元、其他功能被添加到单元的集合等(即，设备的部分配置)。

(视频集装置的配置的示例)

将参照图91描述通过集合实现本技术的示例。图91示出了应用了本技术的视频集装置的示意配置的示例。

近来，电子设备的多功能化取得了进展，因此当在开发或制造中，出售或提供电子设备的部分配置时，存在不仅实现具有单一功能的配置的情况，而且通过具有相关功能的多个配置进行组合还实现了具有多个功能的集合的情况。

图91所示的视频集装置1300具有多功能配置，并且是下述视频集装置：在该视频集装置中，将具有对图像进行编码或解码(可以使用编码和解码之一或两者)的功能的装置与具有与该功能相关的其他功能的装置进行组合。

如图91所示，视频集装置1300包括：模块组，诸如，视频模块1311、外部存储器1312、电力管理模块1313、以及前端模块1314；以及具有相关的功能的装置，诸如，连通器(connectivity)1321、摄像装置1322、以及传感器1323。

通过集合若干互相相关的组件功能，模块是具有联合功能的组件。模块的指定的物理配置是任意的，以及例如，具有各自功能的多个处理器、诸如电阻器和电容器的电子电路元件、其他装置等可以布置在引线板上并且一体化地形成。另外，模块可以与其他模块、处理器等进行组合以便形成新的模块。

在图91的情况中，视频模块1311是具有与图像处理相关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

处理器是下述组件：在该组件中，具有预定功能的配置通过使用芯片上系统(SoC)集成到半导体芯片中，并且例如可以存在被称为系统大规模集成(LSI)的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM等，以及通过使用配置所执行的程序(软件配置)，以及可以是软件配置和硬件配置的组合。例如，处理器包括逻辑电路、CPU、ROM、RAM等，一些功能可以通过逻辑电路(硬件配置)实现，而其他功能可以通过由CPU所执行的程序(软件配置)实现。

图91中的应用处理器1331是执行与图像处理相关的应用的处理器。由应用处理器1331所执行的应用可以执行计算处理以实现预定功能，并且还可以控制视频模块1311内部和外部的构成元件，诸如视频处理器1332。

视频处理器1332是具有关于图像编码/解码(编码和解码中之一或两者)的功能的处理器。

宽带调制解调器1333是下述处理器(或模块)：该处理器(或模块)执行与经由诸如因特网或公共电话线路的宽带线路所执行的有线或无线(或有线和无线两者)宽带通信有关的处理。例如，宽带调制解调器1333数字地调制将要传送的数据(数字信号)以用于转换到模拟信号，或对所接收到的模拟信号进行解调以用于转换到数据(数字信号)。例如，宽带调制解调器1333可以对任何信息(诸如由视频处理器1332所处理的图像数据、在其中图像数据被编码的流、应用程序或设置数据)进行数字调制/解调。

RF模块1334是下述模块：该模块对经由天线所传送的和接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波等。例如，RF模块1334对由宽带调制解调器1333所生成的基带信号执行频率转换等以便生成RF信号。另外，例如，RF模块1334对经由前端模块1314所接收到的RF信号执行频率转换等以便生成基带信号。

此外，在图91中，如由点线1341所指示的，应用处理器1331和视频处理器1332可以被一体化形成以构成单一处理器。

外部存储器1312是在视频模块1311外部所提供的模块，并且包括由视频模块1311所使用的存储装置。外部存储器1312的存储装置可以通过任何物理配置实现，但是通常用于存储大容量数据诸如以帧为单位的图像数据，因此存储装置优选地由相对便宜的大容量半导体存储器(如动态随机存取存储器(DRAM))实现。

电力管理模块1313管理并且控制被提供给视频模块1311(视频模块1311中的每个构成元件)的电力。

前端模块1314是为RF模块1334提供前端功能的模块(在天线侧的传送或接收端处的电路)。如图91所示，前端模块1314包括，例如，天线部分1351、滤波器1352以及放大部分1353。

天线部分1351包括传送和接收无线信号的天线及周边构成元件。天线部分1351传送从放大部分1353所提供的信号作为无线信号，并且将所接收的无线信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线部分1351所接收的接收到的RF信号执行滤波处理，并且将处理后的RF信号提供给RF模块1334。放大部分1353对从RF模块1334所提供的RF信号进行放大，并且将放大的信号提供给天线部分1351。

连通器1321是具有关于到外部装置的连接的功能的模块。连通器1321的物理配置是任意的。例如，连通器1321包括具有不同于由宽带调制解调器1333所支持的通信标准的通信功能的构成元件、外部输入和输出端子等。

例如，连通器1321可以包括：模块，该模块具有符合诸如蓝牙(注册商标)、或IEEE 802.11(例如，无线保真(Wi-Fi，注册商标))、近场通信(NFC)、或红外数据通讯(IrDA)的无线通信标准的通信功能；天线，该天线传送以及接收符合标准的信号等。另外，例如，连通器1321可以包括：模块，该模块具有符合诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的有线通信标准的通信功能；或端子，该端子符合标准。此外，例如，连通器1321可以具有模拟输入和输出端子等中的其他数据(信号)传输功能。

另外，连通器1321可以包括数据(信号)传送目的地的装置。例如，连通器1321可以包括执行从记录介质读取数据或执行将数据写入记录介质的驱动器(不仅包括可移除介质的驱动器，还包括硬盘、固态驱动器(SSD)、以及网络附加存储装置(NAS))，记录介质诸如磁盘、光盘、磁光盘或半导体存储器。此外，连通器1321可以包括图像或声音的输出装置(监视器、扬声器等)。

摄像装置1322是具有捕获对象的图像并且获取对象的图像数据的功能的模块。由捕获对象的图像的摄像装置1332所获得的图像数据例如被提供给视频处理器1332，并且被编码。

传感器1323是下述模块，该模块具有例如音频传感器、超声传感器、光学传感器、亮度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁识别传感器、撞击传感器或温度传感器中任意传感器的功能。由传感器1323所检测到的数据被提供给例如应用处理器1331，并且由应用程序等所使用。

在以上说明中，作为模块所描述的配置可以实现为处理器，以及相反地，作为处理器所描述的配置可以被实现为模块。

在具有上述的配置的视频集装置1300中，本公开可以应用到稍后描述的视频处理器1332。因此，视频集装置1300可以实现为应用了本技术的集合。

(视频处理器的配置的示例)

图92示出了应用了本技术的视频处理器1332(图91)的示意性配置的示例。

在图92中的示例的情况下，视频处理器1332具有接收视频信号和音频信号，并且按照预定方法对信号进行编码的功能，以及对编码视频数据和音频数据进行解码以便对视频信号和音频信号进行再现的功能。

如图92所示，视频处理器1332包括视频输入处理部分1401、第一图像扩展/收缩部分1402、第二图像扩展/收缩部分1403、视频输出处理部分1404、帧存储器1405以及存储器控制部分1406。另外，视频处理器1322还包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413以及流缓冲器1414。

视频输入处理部分1401例如获取从连通器1321(图91)所输入的视频信号等，并且将视频信号转换为数字图像数据。第一图像扩展/收缩部分1402对图像数据执行格式转换或图像扩展或收缩处理。第二图像扩展/收缩部分1403依照经由视频输出处理部分1404输出的视频目的地的格式对图像数据执行图像扩张或收缩处理，或对图像数据执行与第一图像扩展/收缩部分1402相同的格式转换或图像扩张或收缩处理。视频输出处理部分1404对图像数据执行格式转换、到模拟信号的转换等，并且将转换后的信号作为再现的视频信号输出到例如连通器1321(图91)。

帧存储器1405是用于由视频输入处理部分1401、第一图像扩展/收缩部分1402、第二图像扩展/收缩部分1403、视频输出处理部分1404以及编码/解码引擎1407所共享的图像数据的存储器。帧存储器1405例如由诸如DRAM的半导体存储器实现。

存储器控制部分1406从编码/解码引擎1407接收同步信号，并且根据在存取管理表1406A中所写入的帧存储器1405的存取日程，来控制对帧存储器1405写入/读取的存取。存取管理表1406A由存储器控制部分1406依照由编码/解码引擎1407、第一图像扩展/收缩部分1402、第二图像扩张收缩单元1403等所执行的处理而更新。

编码/解码引擎1407对图像数据执行编码处理，并且对作为图像数据的编码数据的视频流执行解码处理。例如，编码/解码引擎1407对从帧存储器1405所读取的图像数据进行编码，并且将编码图像数据作为视频流顺序地写入到视频ES缓冲器1408A。另外，例如，视频流从视频ES缓冲器1408B被顺序地读取以便进行解码，并且作为图像数据顺序地写入帧存储器1405。编码/解码引擎1407在编码或解码中使用帧存储器1405作为工作区域。此外，编码/解码引擎1407例如在对每个宏块开始处理的定时将同步信号输出到存储器控制部分1406。

视频ES缓冲器1408A对由编码/解码引擎1407所生成的视频流进行缓冲，并且将缓冲的视频流提供给复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413所提供的视频流进行缓冲，并且将缓冲的视频流提供给编码/解码引擎1407。

音频ES缓冲器1409A对由音频编码器1410所生成的音频流进行缓冲，并且将缓冲的音频流提供给复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413所提供的音频流进行缓冲，并且将缓冲的音频流提供给音频解码器1411。

音频编码器1410例如对从例如连通器1321(图91)等所输入的音频信号进行数字转换，并且按照诸如MPEG音频方案或AC3(音频编码序号3)的预定方法对转换后的音频信号进行编码。音频编码器1410将作为音频信号的编码数据的音频流顺序地写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B所提供的音频流进行解码以便执行到模拟信号的转换，以及将模拟信号作为再现的音频信号提供给例如连通器1321(图91)。

复用器(MUX)1412对视频流与音频流进行复用。复用的方法(即，通过复用所生成的比特流的格式)是任意的。另外，在复用期间，复用器(MUX)1412可以将预定的头信息等添加到比特流。换言之，复用器(MUX)1412可以通过复用对流的格式进行转换。例如，复用器(MUX)1412对视频流与音频流进行复用以便执行到传送流的转换，该传送流为具有传送格式的比特流。此外，例如，复用器(MUX)1412对视频流与音频流进行复用以便执行到具有记录文件格式的数据(文件数据)的转换。

解复用器(DMUX)1413按照与由复用器(MUX)1412进行复用相对应的方法对在其中视频流和音频流被复用的比特流进行解复用。换言之，解复用器(DMUX)1413在从流缓冲器1414所读取的比特流中提取视频流和音频流(从其中将视频流和音频流分离)。即，解复用器(DMUX)1413可以通过解复用执行流的格式的转换(由复用器(MUX)1412进行的转换相反的转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414获取例如从连通器1321或宽带调制解调器1333(图91)所提供的传送流，并且对传送流进行解复用以便执行到视频流和音频流的转换。另外，例如，解复用器(DMUX)1413可以例如经由流缓冲器1414通过连通器1321(图91)获取从各种记录介质中所读取的文件数据，并且对传送流进行解复用以便执行到视频流和音频流的转换。

流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412所提供的传送流进行缓冲，并且在预定的定时、或基于来自外部装置的请求等将缓冲的传送流提供给例如连通器1321或宽带调制解调器1333(图91)。

另外，例如，流缓冲器1414对从复用器(MUX)1412所提供的文件数据进行缓冲，并且在预定的定时、或基于来自外部装置的请求等将缓冲的文件数据提供给例如连通器1321(图91)以便将文件数据记录在各种记录介质上。

此外，流缓冲器1414对经由例如连通器1321或宽带调制解调器1333(图91)所获取的传送流进行缓冲，并且在预定的定时、或基于来自外部装置的请求等将缓冲的传送流提供给解复用器(DMUX)1413。

此外，流缓冲器1414对从连通器1321(图91)等中的各种记录介质所读取的文件数据进行缓冲，并且在预定的定时、或基于来自外部装置的请求等将缓冲的传送流提供给解复用器(DMUX)1413。

接下来，将描述具有该配置的视频处理器1332的操作的示例。例如，从连通器1321(图91)等输入到视频处理器1332的视频信号按照预定的方案(诸如4:2:2Y/Cb/Cr方案)由视频输入处理部分1401转换为数字图像数据，并且顺序地被写入帧存储器1405。数字图像数据被读取到第一图像扩展/收缩部分1402或第二图像扩展/收缩部分1403，并且按照预定方案(诸如4:2:0Y/Cb/Cr方案)经受格式转换和扩展或收缩处理，以便再次写入到帧存储器1405。图像数据由编码/解码引擎1407编码，之后作为视频流被写入视频ES缓冲器1408A。

另外，从连通器1321(图91)等输入到视频处理器1332的音频信号由音频编码器1410编码，并且作为音频流被写入音频ES缓冲器1409A。

视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流被读取到复用器(MUX)1412以便被复用，并且被转换为传送流、文件数据等。由复用器(MUX)1412所生成的传送流在流缓冲器1414中被缓冲，之后经由例如连通器1321或宽带调制解调器1333(图91)被输出到外部网络。另外，由复用器(MUX)1412所生成的文件数据被缓冲到流缓冲器1414中，之后被输出到例如连通器1321(图91)以便被记录在各种记录介质上。

此外，例如经由连通器1321或宽带调制解调器1333(图91)从外部网络输入到视频处理器1332的传送流被缓冲到流缓冲器1414中，之后由解复用器(DMUX)1413解复用。此外，例如，对从例如连通器1321(图91)中的各种记录介质中所读取的并且被输入到视频处理器1332的文件数据被缓冲到流缓冲器1414中，之后由解复用器(DMUX)1413解复用。换言之，输入到视频处理器1332的传送流或文件数据被解复用器(DMUX)1413分离为视频流和音频流。

音频流经由音频ES缓冲器1409B被提供给音频解码器1411以便被解码并且被再现为音频信号。另外，被写入到视频ES缓冲器1408B的视频流之后由编码/解码引擎1407顺序地读取，以便被解码并且被写入帧存储器1405。解码图像数据在第二图像扩展/收缩部分1403中经受扩展或收缩处理，以便被写入帧存储器1405。此外，解码图像数据被读取到视频输出处理部分1404，以便按照预定方案(如4:2:2Y/Cb/Cr方案)经受格式转换，并且进一步经受到模拟信号的转换，因此视频信号被再现和输出。

在本技术被应用到具有该配置的视频处理器1332的情况下，与以上所述的每个实施例中有关的本公开可以被应用到编码/解码引擎1407。换言之，例如，编码/解码引擎1407可以具有与第一实施例有关的编码装置或解码装置的功能。因此，视频处理器1332可以实现与以上参照图6至图13所描述的效果相同的效果。

另外，在编码/解码引擎1407中，本技术(即，与以上所述的每个实施例有关的图像编码装置或图像解码装置的功能)可以由诸如逻辑电路的硬件实现，可以由诸如嵌入程序的软件实现，或可以由硬件和软件两者实现。

(视频处理器的配置的另一示例)

图93示出了应用了本技术的视频处理器1332(图91)的另一示意性配置示例。在图93中的示例的情况下，视频处理器1332具有按照预定方法对视频数据进行编码和解码的功能。

更具体地，如图93所示，视频处理器1332包括控制部分1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。另外，视频处理器1332包括编解码引擎1516、存储器接口1517、复用器/解复用器(MUX/DMUX)1518、网络接口1519以及视频接口1520。

控制部分1511控制视频处理器1332的每个处理部分(诸如，显示接口1512、显示引擎1513、图像处理引擎1514以及编解码引擎1516)的操作。

如图93所示，控制部分1511包括例如主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行程序等以控制视频处理器1332的每个处理部分的操作。主CPU 1531根据程序等生成控制信号，并且将控制信号提供给每个处理部分(即，控制每个处理部分的操作)。子CPU1531辅助主CPU 1531。例如，子CPU 1532执行由CPU 1531所执行的程序等的子处理、子例程等。系统控制器1533通过指定要由主CPU 1531和子CPU 1532所执行的程序，控制主CPU 1531和子CPU 1532的操作。

显示接口1512在控制部分1511的控制之下将图像数据输出到例如连通器1321(图91)。例如，显示接口1512将数字图像数据转换为模拟信号，并且将模拟信号输出到连通器1321(图93)的监视器装置等，或将数字图像数据如原样地输出到监视器装置。

显示引擎1513在控制部分1511的控制之下，对图像数据执行各种转换处理，诸如格式转换、大小转换以及色域转换，以便适合于显示图像的监视器装置等的硬件规格。

图像处理引擎1514在控制部分1511的控制之下对图像数据执行预定的图像处理如滤波处理，以用于改进图像质量。

内部存储器1515是在视频处理器1332中所提供的、并且由显示引擎1513、图像处理引擎1514以及编解码引擎1516所共享的存储器。内部存储器1515被用于例如在显示引擎1513、图像处理引擎1514以及编解码引擎1516之间传送以及接收数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516所提供的数据，并且根据需要(例如，响应于请求)将数据提供给显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以由任意存储装置实现，但是一般经常被用于存储小容量的数据，诸如以块为单位的图像数据或参数，因此优选地由具有相对小的容量(例如，与外部存储器1312相比)但是具有高响应速度的半导体存储器(诸如静态随机存取存储器(SRAM))实现。

编解码引擎1516执行与图像数据的编码或解码有关的处理。由编解码引擎1516所支持的编码或解码方法是任意的，并且其数量可以是单个，可以是多个。例如，编解码引擎1516可以具有多个编码方法/解码方法的编解码功能，并且按照在方法中所选择的方法执行图像数据的编码或编码数据的解码。

在图93所示的示例中，作为与编解码相关的处理的功能块，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551。

MPEG-2视频1541是按照MPEG-2方法对图像数据进行编码或解码的功能块。AVC/H.2641542是按照AVC方法对图像数据进行编码或解码的功能块。HEVC/H.2651543是按照HEVC方法对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544是按照HEVC方法对图像数据进行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是按照HEVC方法对图像数据进行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是按照HTTP上MPEG动态自适应流传送(MPEG-DASH)方法传送或接收图像数据的功能块。MPEG-DASH是通过使用超文本传输协议(HTTP)对视频执行流传送的技术，并且具有下述特征之一：在该特征中，从预先准备的并且具有彼此不同的分辨率等的多个编码数据项中以片段为单位选择适当的数据，并且进行传送。MPEG-DASH 1551执行符合标准的流的生成、流的传送控制等，并且使用以上所述的MPEG-2视频1541或HEVC/H.265(多视图)1545以用于图像数据的编码或解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码引擎1516所提供的数据经由存储器接口1517被提供给外部存储器1312。另外，从外部存储器1312所读取的数据经由存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。

复用器/解复用器(MUX DMXU)1518对与图像相关的各种数据项(诸如，编码数据的比特流、图像数据以及视频信号)进行复用或解复用。复用和解复用的方法是任意的。例如，在复用期间，复用器/解复用器(MUX DMXU)1518不仅可以将多个数据项聚集到单个数据项中，并且还可以向数据添加预定头信息等。另外，在解复用期间，复用器/解复用器(MUX DMUX)1518不仅可以将单个数据项分离为多个数据项，并且还可以向每个所分离的数据添加预定的头信息等。换言之，复用器/解复用器(MUX DMXU)1518可以通过复用和解复用转换数据的格式。例如，复用器/解复用器(MUX DMXU)1518可以将比特串进行复用，以便执行到作为具有传送格式的比特串的传送流的转换，或执行到具有记录文件格式的数据(文件数据)的转换。当然，通过解复用可以执行其逆转换。

网络接口1519是例如宽带调制解调器1333或连通器1321(图91)专用的接口。视频接口1520是例如连通器1321或摄像装置1322(图91)专用的接口。

接下来，将描述视频处理器1332的操作的示例。例如，经由连通器1321或宽带调制解调器1333(图91)从外部网络接收到传送流时，传送流经由网络接口1519被提供给复用器/解复用器(MUX DMUX)1518以便被解复用，之后由编解码引擎1516解码。例如，通过编解码引擎1516中的编码所获得的图像数据经受例如由图像处理引擎1514进行的预定图像处理，以便经受预定的转换，之后经由显示接口1512被提供给例如连通器1321(图91)，以及其图像被显示在监视器上。另外，例如，通过在编解码引擎1516中的编码所获得的图像数据由编解码引擎1516再次解码，以便由复用器/解复用器(MUX DMUX)1518复用并且被转换为文件数据，之后经由视频接口1520被输出到例如连通器1321(图91)，以便被记录在各种记录介质上。

此外，例如，作为编码图像数据的并且由连通器1321(图91)从记录介质(未示出)所读出的编码数据的文件数据经由视频接口1520被提供给复用器/解复用器(MUX DMUX)1518，之后由编解码引擎1516解码。通过在编解码引擎1516中进行的解码所获得的图像数据经受由图像处理引擎1514进行的预定的图像处理，以便经受由显示引擎1513进行的预定的转换，之后例如经由显示接口1512被提供给连通器1321(图91)，并且其图像被显示在监视器上。另外，例如，通过在编解码引擎1516中进行的解码所获得的图像数据由编解码引擎1516再次编码，以便由复用器/解复用器(MUX DMUX)1518进行复用并且被转换为传送流，之后例如经由网络接口1519被输出到连通器1321或宽带调制解调器1333(图91)，以便被传送到其他设备(未示出)。

此外，例如，使用内部存储器1515或外部存储器1312执行在视频处理器1332的各个处理部分之间的图像数据或其他数据的传送和接收。另外，电力管理模块1313控制例如到控制部分1511的电力供给。

如果本技术被应用到具有该配置的视频处理器1332，则与以上所述的每个实施例有关的本技术可以应用到编解码引擎1516。换言之，例如，编解码引擎1516可以包括用于实现与第一实施例有关的编码装置或解码装置的功能块。另外，例如，如果编解码引擎1516包括以上所述的功能块，则视频处理器1332可以实现与参照图6至图13所描述的效果相同的效果。

另外，在编解码引擎1516中，本技术(即，与以上所述的每个实施例有关的图像编码装置或图像解码装置的功能)可以由诸如逻辑电路的硬件实现，可以由例如嵌入程序的软件实现，或可以由硬件和软件两者实现。

如上所述，对视频处理器1332的两个示例性配置进行了描述，但是视频处理器1332可以具有任何配置，并且可以具有两个示例性配置之外的配置。另外，视频处理器1332可以由单一半导体芯片配置，以及可以由多个半导体芯片配置。例如，可以使用其中堆叠有多个半导体的三维堆叠的LSI。此外，视频处理器1332可以由多个LSI实现。

(到设备的应用示例)

视频集装置1300可以并入到对图像数据进行处理的各种设备。例如，视频集装置1300可以并入电视机设备900(图84)、移动电话920(图85)、记录/再现设备940(图86)、成像设备960(图87)等。视频集装置1300被并入到设备，因此设备可以实现与参照图6至图13所描述的效果相同的效果。

另外，视频集装置1300可以并入到例如终端设备，诸如，图88的数据传送系统1000的个人计算机1004、AV设备1005、平板式装置1006以及移动电话1007，图89的数据传送系统1100的广播站1101和终端设备1102，图90的成像系统1200的成像设备1201和可伸缩编码数据存储装置1202等。视频集装置1300被并入到设备，因此设备可以实现与参照图6至图13所描述的效果相同的效果。

另外，即使以上所述的视频集装置1300的配置的一些包括视频处理器1332，配置也可以实现为应用了本技术的配置。例如，仅视频处理器1332可以实现为应用了本技术的视频处理器。另外，例如，如上所述，由点线1341所指示的处理器、视频模块1311等可以实现为应用了本技术的处理器、模块等。此外，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314的组合还可以实现为应用了本技术的视频单元1361。任意配置可以实现与参照图6至图13所描述的效果相同的效果。

换言之，包括视频处理器1332的任意配置可以并入到以与视频集装置1300相同的方式对图像数据进行处理的各种设备。例如，视频处理器1332、由点线1341所指示的处理器、视频模块1311或视频单元1361可以并入到电视机设备900(图84)、移动电话920(图85)、记录/再现设备940(图86)、成像设备960(图87)、终端设备，诸如图88的数据传送系统1000的个人计算机1004、AV设备1005、平板式装置1006以及移动电话1007，图89的数据传送系统1100的广播站1101和终端设备1102，图90的成像系统1200的成像设备1201和可伸缩编码数据存储装置1202等。应用了本技术的配置中的任一个被并入到设备，因此以与视频集装置1300相同的方式，设备可以实现与参照图6至图13所描述的效果相同的效果。

另外，在本说明书中，对下述示例进行了说明：在该示例中，诸如转换信息、DR转换信息以及近似拐点指标的各种信息被复用到编码数据，并且从编码侧被传送到解码侧。然而，传送信息的方法不限于示例。例如，信息可以被传送或记录为与编码数据相关联的分离数据，而不被复用到编码数据中。在此，术语“相关联”指示解码期间使得在比特流中所包括的图像(可以为图像的一部分，诸如切片或块)链接到与图像相对应的信息。换言之，可以在编码数据的传送路径不同的传送路径上传送信息。另外，信息可以记录在与编码数据的记录介质不同的记录介质(或同一记录介质的不同记录区域)上。此外，信息和编码数据可以以任意单位诸如以多个帧为单位、以一个帧为单位、或以帧的一部分为单位彼此相关联。

另外，在本说明书中，系统指示多个构成元件(装置、模块(组件)等)的集合，并且无论是否所有构成元件被定位在同一壳体内。因此，在分离的壳体中所存储的并且经由网络彼此连接的多个装置、多个模块被存储在单一壳体中的单一装置均为系统。

在本说明说中所公开的效果仅为示例并且不是限制的，并且可以存在其他效果。

另外，本公开的实施例不限于以上所述的实施例，并且可以在不背离本公开的精神的范围中进行各种修改。

例如，本公开可以具有云计算配置，在云计算配置中，单一功能经由网络被分布到多个装置，并且彼此协作地被处理。

此外，在以上的流程图中所描述的每个步骤可以由单一装置执行，并且还可以以分布式地方式由多个装置执行。

此外，当在单一步骤中包括多个多个处理的情况下，在单一步骤中所包括的多个处理可以由单一装置执行，并且可以以分布式地方式由多个装置执行。

本公开可以具有下面的配置。

(1)一种解码装置，包括：电路，所述电路被配置成接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及对所接收的编码数据进行解码以便生成所述图像，其中，所述转换使用拐点函数。

(2)根据上述(1)所述的解码装置，其中，所述转换使用拐点。

(3)根据上述(1)或(2)所述的解码装置，其中，所述转换使用所述拐点函数将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，并且所述拐点函数由所述拐点限定。

(4)根据上述(1)至(3)中任一项所述的解码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

(5)根据上述(1)至(4)中任一项所述的解码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

(6)根据上述(1)至(5)中任一项所述的解码装置，其中，所述转换使用由多个拐点所限定的拐点函数。

(7)根据上述(1)至(6)中任一项所述的解码装置，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(8)根据上述(1)至(7)中任一项所述的解码装置，其中，所述转换通过将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围来使用所述拐点函数，以及基于由多个拐点所限定的邻近区段之间的边界将亮度的第一动态范围的多个邻近区段映射到亮度的第二动态范围的相对应的多个邻近区段。

(9)根据上述(1)至(8)中任一项所述的解码装置，其中，所述转换通过在由所述拐点所限定的点之前以第一转换比例以及在从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

(10)根据上述(1)至(9)中任一项所述的解码装置，其中，所述拐点函数由SEI消息所指定。

(11)根据上述(1)至(10)中任一项所述的解码装置，其中，所述SEI消息包括knee_function_id的设置。

(12)一种解码方法，所述解码方法使得解码装置执行：接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及对所接收到的编码数据进行解码以便生成所述图像，其中，所述转换使用拐点函数。

(13)根据上述(12)所述的解码方法，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

(14)根据上述(12)或(13)所述的解码方法，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

(15)根据上述(12)至(14)中任一项所述的解码方法，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(16)根据上述(12)至(15)中任一项所述的解码方法，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

(17)一种编码装置，包括：电路，所述电路被配置成设置转换信息，所述转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及对具有所述第一动态范围中的亮度的图像进行编码以便生成编码数据，其中，所述转换使用拐点函数。

(18)根据上述(17)所述的编码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

(19)根据上述(17)或(18)所述的编码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

(20)根据上述(17)至(19)中任一项所述的编码装置，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(21)根据上述(17)至(20)中任一项所述的编码装置，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

(22)一种在其上存储有编码数据和转换信息的非暂态计算机可读介质，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换，其中解码装置对所述编码数据进行解码，基于所解码的数据生成所述图像，以及基于包括拐点的所述转换信息对所述动态范围进行转换。

(23)根据上述(22)所述的非暂态计算机可读介质，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

(24)根据上述(22)或(23)所述的非暂态计算机可读介质，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

(25)根据上述(22)至(24)中任一项所述的非暂态计算机可读介质，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(26)根据上述(22)至(25)中任一项所述的非暂态计算机可读介质，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

(27)一种解码装置，包括：提取单元，所述提取单元从编码流中提取编码数据和转换信息，所述编码流包括作为具有第一动态范围中的亮度的图像的第一图像的编码数据和关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换的转换信息；以及解码单元，所述解码单元对由所述提取单元所提取的编码数据进行解码以便生成所述第一图像。

(28)根据上述(27)所述的解码装置，还包括转换单元，所述转换单元基于由所述提取单元所提取的转换信息，将由所述解码单元所生成的第一图像转换为作为具有所述第二动态范围中的亮度的图像的第二图像。

(29)根据上述(27)或(28)所述的解码装置，其中，通过对所述第一图像的亮度进行拐点转换来执行所述转换。

(30)根据上述(27)至(29)中的任一项所述的解码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点转换目标的亮度的范围，所述转换后信息指示与所述范围相对应的、所述第二动态范围中的亮度的范围。

(31)根据上述(27)至(30)中的任一项所述的解码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例被拐点转换的亮度的范围，以及其中所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(32)根据上述(27)至(31)中的任一项所述的解码装置，还包括选择单元，所述选择单元按照对被包括在所述转换信息中的顺序，在由所述提取单元所提取的转换信息中所包括的多个对中选择预定数量的对。

(33)根据上述(27)至(31)中的任一项所述的解码装置，还包括选择单元，所述选择单元基于指示对的优先级更高的顺序的优先级信息从在所述转换信息中所包括的多个对之中选择预定数量的对，其中，所述提取单元提取在所述编码流中所包括的优先级信息。

(34)根据上述(27)至(33)中任一项所述的解码装置，还包括传送单元，所述传送单元传送由所述选择单元所选择的预定数量的对。

(35)根据上述(27)至(34)中任一项所述的解码装置，其中，所述转换信息包括所述第一图像的亮度的最大值和第二图像的亮度的最大值中至少之一。

(36)根据上述(27)至(35)中任一项所述的解码装置，其中，所述转换信息包括显示所述第一图像的显示单元的明亮度的期望值和显示第二图像的显示单元的明亮度的期望值中至少之一。

(37)一种解码方法，所述解码方法使得解码装置执行：从编码流提取编码数据和转换信息，所述编码流包括作为具有第一动态范围中的亮度的图像的第一图像的编码数据和作为关于所述图像的亮度的动态范围从所述第一动态范围到所述第二动态范围的转换的信息的转换信息；以及对所提取的编码数据进行解码以便生成所述第一图像。

(38)一种编码装置，包括：设置单元，所述设置单元设置转换信息，所述转换信是息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的信息；编码单元，所述编码单元对作为具有所述第一动态范围中的亮度的图像的第一图像进行编码以便生成编码数据；以及传送单元，所述传送单元传送编码流，所述编码流包括由所述设置单元所设置的转换信息和由所述编码单元所生成的所述第一图像的编码数据。

(39)根据上述(38)所述的编码装置，其中，通过对所述第一图像的亮度进行拐点转换执行所述转换。

(40)根据上述(38)或(39)所述的编码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点转换目标的亮度的范围，所述转换后信息指示与所述范围相对应的、所述第二动态范围中的亮度的范围。

(41)根据上述(38)至(40)中任一项所述的编码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例被拐点转换的亮度的范围，以及其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

(42)根据上述(38)至(41)中任一项所述的编码装置，其中，所述转换信息包括按照优先级更高的顺序的转换前信息和转换后信息的多个对。

(43)根据上述(38)至(42)中任一项所述的编码装置，其中，所述传送单元传送指示对的优先级更高的顺序的优先级信息。

(44)根据上述(38)至(43)中任一项所述的编码装置，其中，所述转换信息包括所述第一图像的亮度的最大值和所述第二图像的亮度的最大值中至少之一。

(45)根据上述(38)至(44)中任一项所述的编码装置，其中，所述转换信息包括显示所述第一图像的显示单元的明亮度的期望值和显示所述第二图像的显示单元的明亮度的期望值中至少之一。

(46)一种编码方法，所述编码方法使得编码装置执行：设置转换信息，所述转换信息是关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换的信息；对作为具有所述第一动态范围中的亮度的图像的第一图像进行编码以便生成编码数据；以及传送编码流，所述编码流包括所设置的转换信息和所生成的第一图像的编码数据。

本领域内技术人员应当理解，依赖于设计需要和其他因素可以发生各种修改、组合、子组合以及替换，只要其在所附的权利要求或其等价条件的范围内即可。

参考标记列表

10       编码装置

11       设置单元

12       编码单元

13       传送单元

14       转换单元

50       解码装置

52       提取单元

53       解码单元

54       转换单元

70       编码装置

71       设置单元

72       编码单元

90       解码装置

91       提取单元

92       解码单元

93       转换单元

110      解码系统

111     解码装置

112     显示装置

121     选择单元

122     传送单元

权利要求书(按照条约第19条的修改)

1.一种解码装置，包括：

电路，所述电路被配置成

接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及

对所接收的编码数据进行解码以便生成所述图像，

其中

所述转换使用拐点函数，以及

所述转换信息包括指示所述转换信息是否被应用到多个连续图像的转换持续信息。

2.根据权利要求1所述的解码装置，其中，所述转换使用拐点。

3.根据权利要求2所述的解码装置，其中，所述转换使用所述拐点函数将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，并且所述拐点函数由所述拐点限定。

4.根据权利要求3所述的解码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

5.根据权利要求4所述的解码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

6.根据权利要求1所述的解码装置，其中，所述转换使用由多个拐点所限定的拐点函数。

7.根据权利要求6所述的解码装置，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

8.根据权利要求1所述的解码装置，其中，所述转换通过将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围来使用所述拐点函数，以及基于由多个拐点所限定的邻近区段之间的边界将亮度的第一动态范围的多个邻近区段映射到亮度的第二动态范围的相对应的多个邻近区段。

9.根据权利要求3所述的解码装置，其中，所述转换通过在由所述拐点所限定的点之前以第一转换比例以及在从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

10.根据权利要求1所述的解码装置，其中，所述拐点函数由补充增强信息SEI消息所指定。

11.根据权利要求10所述的解码装置，其中，所述SEI消息包括knee_function_id的设置。

12.一种解码方法，所述解码方法使得解码装置执行：

接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及

对所接收到的编码数据进行解码以便生成所述图像，

其中

所述转换使用拐点函数，以及

所述转换信息包括指示所述转换信息是否被应用到多个连续图像的转换持续信息。

13.一种编码装置，包括：

电路，所述电路被配置成

设置转换信息，所述转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及

对具有所述第一动态范围中的亮度的图像进行编码以便生成编码数据，

其中

所述转换使用拐点函数，以及

所述转换信息包括指示所述转换信息是否被应用到多个连续图像的转换持续信息。

14.一种在其上存储有编码数据和转换信息的非暂态计算机可读介质，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换，

其中

解码装置对所述编码数据进行解码，基于所解码的数据生成所述图像，以及基于包括拐点的所述转换信息对所述动态范围进行转换，以及

所述转换信息还包括指示所述转换信息是否被应用到多个连续图像的转换持续信息。

Claims (26)

1.一种解码装置，包括：

电路，所述电路被配置成

接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及

对所接收的编码数据进行解码以便生成所述图像，

其中，所述转换使用拐点函数。

2.根据权利要求1所述的解码装置，其中，所述转换使用拐点。

3.根据权利要求2所述的解码装置，其中，所述转换使用所述拐点函数将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，并且所述拐点函数由所述拐点限定。

4.根据权利要求3所述的解码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

5.根据权利要求4所述的解码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

6.根据权利要求1所述的解码装置，其中，所述转换使用由多个拐点所限定的拐点函数。

7.根据权利要求6所述的解码装置，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

8.根据权利要求1所述的解码装置，其中，所述转换通过将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围来使用所述拐点函数，以及基于由多个拐点所限定的邻近区段之间的边界将亮度的第一动态范围的多个邻近区段映射到亮度的第二动态范围的相对应的多个邻近区段。

9.根据权利要求3所述的解码装置，其中，所述转换通过在由所述拐点所限定的点之前以第一转换比例以及在从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

10.根据权利要求1所述的解码装置，其中，所述拐点函数由补充增强信息SEI消息所指定。

11.根据权利要求10所述的解码装置，其中，所述SEI消息包括knee_function_id的设置。

12.一种解码方法，所述解码方法使得解码装置执行：

接收编码数据和转换信息，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换；以及

对所接收到的编码数据进行解码以便生成所述图像，

其中，所述转换使用拐点函数。

13.根据权利要求12所述的解码方法，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

14.根据权利要求13所述的解码方法，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

15.根据权利要求13所述的解码方法，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

16.根据权利要求12所述的解码方法，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

17.一种编码装置，包括：

电路，所述电路被配置成

设置转换信息，所述转换信息关于图像的亮度的动态范围从第一动态范围到第二动态范围的转换；以及

对具有所述第一动态范围中的亮度的图像进行编码以便生成编码数据，

其中，所述转换使用拐点函数。

18.根据权利要求17所述的编码装置，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

19.根据权利要求18所述的编码装置，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

20.根据权利要求18所述的编码装置，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

21.根据权利要求17所述的编码装置，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。

22.一种在其上存储有编码数据和转换信息的非暂态计算机可读介质，所述编码数据关于具有第一动态范围中的亮度的图像，以及所述转换信息关于所述图像的亮度的动态范围从所述第一动态范围到第二动态范围的转换，其中

解码装置对所述编码数据进行解码，基于所解码的数据生成所述图像，以及基于包括拐点的所述转换信息对所述动态范围进行转换。

23.根据权利要求22所述的非暂态计算机可读介质，其中，所述转换信息包括转换前信息和转换后信息，所述转换前信息指示所述第一动态范围中作为拐点函数目标的亮度的范围，所述转换后信息指示与所述第一动态范围中作为所述拐点函数目标的亮度的范围相对应的、所述第二动态范围中的亮度的范围。

24.根据权利要求23所述的非暂态计算机可读介质，其中，所述转换前信息指示以与所述第一动态范围的转换范围相同的转换比例通过拐点函数所转换的亮度的范围。

25.根据权利要求23所述的非暂态计算机可读介质，其中，所述转换信息包括所述转换前信息与所述转换后信息的多个对。

26.根据权利要求22所述的非暂态计算机可读介质，其中，所述转换通过在由拐点所限定的点之前以第一转换比例以及从由所述拐点所限定的点起以第二转换比例将所述图像的亮度的动态范围从所述第一动态范围映射到所述第二动态范围，使用所述拐点函数。