CN105874801A

CN105874801A - 解码设备和解码方法、以及编码设备和编码方法

Info

Publication number: CN105874801A
Application number: CN201480072111.1A
Authority: CN
Inventors: 铃木辉彦; 詹姆斯·加梅
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2014-01-08
Filing date: 2014-12-25
Publication date: 2016-08-17
Anticipated expiration: 2034-12-25
Also published as: US10523952B2; CN105874801B; US20200029083A1; CN110572650B; CN117459724A; WO2015105003A1; JPWO2015105003A1; US10893279B2; US20160295217A1; CN110572650A

Abstract

本发明涉及被配置成可以调整最小压缩率的解码装置和解码方法以及编码装置和编码方法。解码单元对根据H.265/HEVC标准所编码的位流进行解码，且具有针对主层级和高层级两者而设置当对图像进行编码时的最小压缩率的简档，所述解码使用递归地分割的CU(编码单位)作为其单位。本发明可以应用于例如HEVC(高效率视频编码)解码装置等。

Description

解码设备和解码方法、以及编码设备和编码方法

技术领域

本公开内容涉及解码设备和解码方法、以及编码设备和编码方法，更具体地，涉及能够调整最低限度的压缩率的解码设备和解码方法、以及编码设备和编码方法。

背景技术

近年来，为了将编码效率提高得比MPEG-4Part 10(高级视频编码；下文中，被称为AVC)的编码效率大，已通过联合协作组-视频编码(JCTVC)来进行被称为高效视频编码(HEVC)的编码系统的标准化，其中该JCTVC是国际电信联盟电信标准化分会(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准组织(例如，参见专利文件1)。

另外，在HEVC中，已审阅了例如用于支持高端专用格式(诸如被称为4:2:2或4:4:4的色差信号格式的图像或者关于画面内容的简档)的范围扩展(例如，参见非专利文件2)。

引用列表

非专利文件

非专利文件1：Benjamin Bross,Gary J.Sullivan,Ye-KuiWang,”Editors’proposed corrections to HEVC version 1”,JCTVC-M0432_v3,2013.4.25

非专利文件2：David Flynn,Joel Sole,Teruhiko Suzuki,“HighEfficiency Video Coding(HEVC),Range Extension text specification:Draft4”,JCTVC-N1005_v1,2013.8.8

发明内容

本发明要解决的问题

然而，在HEVC系统中，作为定义在每个简档中所定义的解码所需的工具(要素技术)的限制的项目，存在级别(level)和层级(tier)。级别定义作为编码目标的图像的大小(分辨率)的最大值，以及层级定义作为编码目标的图像的位速率的最大值。在HEVC系统中，由于处理具有相同大小和不同位速率的许多图像，因此通过使用级别和层级这两个轴来定义进行解码所需的工具。另外，针对每个级别，设置了表示最低限度的压缩率的MinCr。

然而，尚未考虑通过调整最低限度的压缩率来对编码流的自适应。

本公开内容考虑了这样的状况并且使得能够调整最低限度的压缩率。针对问题的解决方案

根据本公开内容的第一方面的解码设备是如下解码设备，其包括：解码单元，其以被递归地分割的块为单位对根据编码标准所编码的位流进行解码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

根据本公开内容的第一方面的解码方法对应于根据本公开内容的第一方面的解码设备。

根据本公开内容的第一方面，以递归地分割的块为单位对根据编码标准所编码的位流进行解码，其中该编码标准具有针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率的简档。

根据本公开内容的第二方面的编码设备是如下编码设备，其包括：编码单元，以被递归地分割的块为单位、根据编码标准对图像进行编码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

根据本公开内容的第二方面的编码方法对应于根据本公开内容的第二方面的编码设备。

根据本公开内容的第二方面，以递归地分割的块为单位、根据编码标准对图像进行编码，其中该编码标准具有针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率的简档。

根据第一方面的解码设备和根据第二方面的编码设备可以通过使得计算机执行程序来实现。

为了实现根据第一方面的解码设备和根据第二方面的编码设备，可以通过经由传输介质传送程序或者通过将程序记录在记录介质上来提供计算机执行的程序。

根据第一方面的解码设备和根据第二方面的编码设备可以是独立设备或构成一个设备的内部块。

发明效果

根据本公开内容的第一方面，可以对编码流进行解码。另外，根据本公开内容的第一方面，可以对最低限度的压缩率被调整的编码流进行解码。

根据本公开内容的第二方面，可以对图像进行编码。另外，根据本公开内容的第二方面，可以调整最低限度的压缩率。

这里所描述的优点不一定受限制，而是可包括在本公开内容中描述的任何优点。

附图说明

图1是示出HEVC系统中由级别和层级定义的限制的图。

图2是示出在简档是Main和Main 10的情况下由级别和层级定义的特有限制的图。

图3是示出根据本公开内容的第一实施例的编码设备的配置的示例的框图。

图4是示出profile_tier_level的语法的示例的图。

图5是示出参数的第一示例的图。

图6是示出参数HbrFactor和ShFactor的第一示例的图。

图7是示出图3所示的编码单元的配置的示例的框图。

图8是示出CU的图。

图9是示出图3所示的编码设备执行的流生成处理的流程图。

图10是示出图9所示的编码处理的详情的流程图。

图11是示出图9所示的编码处理的详情的流程图。

图12是根据本公开内容的第一实施例的解码设备的配置的示例的框图。

图13是示出图12所示的解码单元的配置的示例的框图。

图14是示出图12所示的解码设备执行的图像生成处理的流程图。

图15是示出图14所示的解码处理的详情的流程图。

图16是示出参数的第二示例的图。

图17是示出参数HbrFactor和ShFactor的第二示例的图。

图18是示出参数的第三示例的图。

图19是示出参数HbrFactor和ShFactor的第三示例的图。

图20是示出针对每个层级而设置的MinCr的示例的图。

图21是示出根据本公开内容的第二实施例的图。

图22是示出根据本公开内容的第二实施例的图。

图23是示出根据本公开内容的第二实施例的图。

图24是示出根据本公开内容的第二实施例的图。

图25是示出根据本公开内容的第二实施例的图。

图26是示出根据本公开内容的第二实施例的图。

图27是示出根据本公开内容的第二实施例的图。

图28是示出根据本公开内容的第二实施例的图。

图29是示出根据本公开内容的第二实施例的图。

图30是示出根据本公开内容的第二实施例的图。

图31是示出根据本公开内容的第二实施例的图。

图32是示出根据本公开内容的第二实施例的图。

图33是示出根据本公开内容的第二实施例的图。

图34是示出计算机的硬件配置的示例的框图。

图35是示出根据本公开内容的电视机设备的示意性配置的示例的图。

图36是示出根据本公开内容的移动电话的示意性配置的示例的图。

图37是示出根据本公开内容的记录/再现设备的示意性配置的示例的图。

图38是示出根据本公开内容的成像设备的示意性配置的示例的图。

图39示出根据本公开内容的视频装置(video set)的示意性配置的示例。

图40示出根据本公开内容的视频处理器的示意性配置的示例。

图41示出根据本公开内容的视频处理器的示意性配置的另一示例。

具体实施方式

<本公开内容的概述>

(层级和级别的描述)

图1是示出HEVC系统中由级别和层级定义的限制的图，以及图2是示出在简档是Main和Main 10的情况下由级别和层级定义的特有限制的图。

如图1和图2所示，在HEVC系统中，针对每个层级，定义编码目标图像的最大尺寸(最大亮度图片尺寸(Max luma picture size))。另外，针对级别4或更高级别中的每个级别，定义表示对于同一级别内的每个层级而言不同的位速率的最大值的信息(最大CPB尺寸(Max CPB size)，MaxBR)。作为这样的层级，存在主层级(Main tier)和高层级(High tier)，该主层级定义诸如广播的应用所使用的相对低的位速率，高层级定义诸如视频制作或记录在存储介质上的应用所使用的相对高的位速率。另外，如图2所示，针对每个级别设置MinCr。

然而，在高层级中，由于位速率高，则存在编码流的压缩率高于MinCr的情况。在这样的情况下，需要再次执行编码以使得压缩率低于MinCr。在将周围的状态存储作为上下文的同时执行使用在HEVC标准中所用的上下文的算术编码(CABAC)。相应地，在编码单位级别要求重试(retry)的情况下，需要在存储所有上下文状态的情况下执行重试。因此，尤其在CABAC的情况下，根据重试完成算术编码的计算负荷高，并且施加至该系统的负荷高。

另外，在HEVC系统中，层级的数量为两个，包括主层级和高层级，并且无法生成具有较高位速率的编码流。然而，在考虑到执行视觉无损压缩、无损压缩或对于医学图像的低压缩等的应用的情况下，需要与比高层级的位速率更高的位速率对应的层级。

因此，在本公开内容中，设置了用于标识对最低限度的压缩率和对应于层级的位速率的最大值的调整的标识数据，并且基于标识数据调整MinCr和位速率的最大值。

<第一实施例>

(根据第一实施例的编码设备的配置的示例)

图3所示的编码设备10由设置单元11、编码单元12、控制单元13和传送单元14构成，并且使用符合HEVC系统的系统来对图像进行编码。

更具体地，编码设备10的设置单元11设置参数集，诸如序列参数集(SPS)、图片参数集(PPS)、视频可用性信息(VUI)和补充增强信息(SEI)。为SPS和VPS设置包括标识数据、表示级别和层级的信息等的profile_tier_level。设置单元11将所设置的参数集提供至编码单元12和控制单元13。

以帧为单位的图像被输入至编码单元12。编码单元12在控制单元13的控制下使用HEVC系统来执行对输入图像的编码。编码单元12基于作为编码处理的结果而获取的编码数据以及从设置单元11提供的参数集来生成编码流，并且将所生成的编码流提供至传送单元14。

控制单元13基于与由从设置单元11提供的profile_tier_level中包括的信息表示的级别对应的MinCr和标识数据来计算最低限度的压缩率。另外，控制单元13基于与由profile_tier_level中包括的信息表示的层级对应的位速率的最大值和标识数据来计算位速率的最大值。控制单元13基于最低限度的压缩率和位速率的最大值来控制编码单元12执行的编码处理。

更具体地，控制单元13确定编码数据的压缩率是否高于最低限度的压缩率，并且在编码数据的压缩率为最低限度的压缩率或更低的情况下，控制单元13使得再次执行编码处理，以使得编码数据的压缩率高于最低限度的压缩率。

传送单元14将从编码单元12提供的编码流传送至稍后描述的解码设备。

(profile_tier_level的语法的示例)

图4是示出profile_tier_level的语法的示例的图。

如图4所示，在profile_tier_level中，设置了表示层级是主层级还是高层级的层级标记(general_tier_flag)。另外，在profile_tier_level中，设置了表示位速率是否低的低位速率标记(general_lower_bit_rate_constraint_flag)和标识数据(general_higher_bit_rate_indication_flag)。

在低位速率标记表示位速率为低的情况下，低位速率标记为“1”，而在低位速率标记表示位速率不为低的情况下，低位速率标记为“0”。另外，在标识数据表示调整了与最低限度的压缩率和层级对应的位速率的最大值的情况下，标识数据为“1”，而在标识数据表示没有调整的情况下为“0”。

另外，在profile_tier_level中，设置了表示层级的层级信息(general_level_idc)。

(用于计算位速率的最大值和最低限度的压缩率的参数的第一示例)

图5是示出用于计算位速率的最大值和最低限度的压缩率的参数的第一示例的图。

使用以下等式(3)、通过使用参数CpbBrVclFactor和CpbBrNalFactor来计算位速率的最大值。

[数学公式1]

VCL HRD参数:最大位速率＝CpbBrVclFactor*MaxBR

NAL HRD参数:最大位速率＝CpbBrNalFactor*MaxBR (3)

在等式(3)中，Max bit rate是位速率的最大值，以及MaxBR是与profile_tier_level中包括的级别信息和层级标记对应的、图2所示的表示位速率的最大值的信息。

另外，使用以下等式(4)、通过使用参数MinCrScaleFactor来计算最低限度的压缩率。

[数学公式2]

MinCr＝Max(1,MinCrBase*MinCrScalefactor)…(4)

在等式(4)中，MinCr是最低限度的压缩率，以及MinCrBase是与profile_tier_level中包括的级别信息和层级标记对应的、在图2中表示的MinCr。

针对每个简档而设置如图5所示的用于计算位速率的最大值的参数CpbBrVclFactor或CpbBrNalFacto以及用于计算最低限度的压缩率的参数MinCrScaleFactor。

在图5所示的示例中，参数CpbBrVclFactor和CpbBrNalFactor是通过使用参数HbrFactor和参数ShFactor来调整的，以及参数MinCrScaleFactor是通过使用参数HbrFactor来调整的。

参数HbrFactor是使用profile_tier_level中包括的低位速率标记(general_lower_bit_rate_constraint_flag)和标识数据(general_higher_bit_rate_indication_flag)、通过使用以下等式(5)来定义的。

[数学公式3]

HbrFactor＝2-general_lower_bit_rate_constraint_flag

+2*general_higher_bit_rate_indication_flag…(5)

参数ShFactor是使用profile_tier_level中包括的低位速率标记(general_lower_bit_rate_constraint_flag)和标识数据(general_higher_bit_rate_indication_flag)、通过使用以下等式(6)来定义的。

[数学公式4]

ShFactor＝1+(！general_lower_bit_rate_constraint_flag)*3*

general_higher_bit_rate_indication_flag…(6)

(参数HbrFactor和ShFactor的第一示例)

图6是示出在简档为Long Gop简档和All Intra简档的情况下用于调整图5所示的参数的参数HbrFactor和ShFactor的示例的图。

这里，超高层级是位速率的最大值高于高层级的位速率的虚拟层级。

如图6所示，在简档为Long Gop简档并且层级为主层级的情况下，层级标记(general_tier_flag)被设置为零。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，以及标识数据(general_higher_bit_rate_indication_flag)被设置为“0”。相应地，参数HbrFactor变为“1”，并且参数ShFactor变为“1”。

因此，位速率的最大值和最低限度的压缩率分别变为对应于主层级的位速率的最大值和由MinCr表示的最低限度的压缩率，并且不调整位速率的最大值和最低限度的压缩率。

另一方面，在简档是Long Gop简档并且层级是高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因此，参数HbrFactor变为“2”，并且参数ShFactor变为“1”。

因此，在位速率的最大值变为对应于主层级的位速率的最大值并且未被调整时，最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2。

另外，在简档为Long Gop简档并且层级是超高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因此，参数HbrFactor变为“4”，并且参数ShFactor变为“4”。

因此，位速率的最大值变为对应于主层级的位速率的四倍，并且最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/4。

在简档为All Intra简档并且层级为主层的情况下，层级标记(general_tier_flag)被设置为“0”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”或“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“0”。因此，参数HbrFactor变为“2”或“1”，并且参数ShFactor变为“2”或“1”。

因此，位速率的最大值变为对应于主层级的位速率的两倍，并且最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2，或者不对位速率的最大值和最低限度的压缩率这两者进行调整。

另一方面，在简档为All Intra简档并且层级为高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”或“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因此，参数HbrFactor变为“4”或“2”，并且参数ShFactor变为“4”或“2”。

因此，位速率的最大值变为对应于主层级的位速率的四倍或两倍，并且最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/4或1/2。

另外，在简档为All Intra简档并且层级为超高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因此，参数HbrFactor变为“4”，并且参数ShFactor变为“4”。

(编码单元的配置的示例)

图7是示出图3所示的编码单元12的配置示例的框图。

图7所示的编码单元12包括A/D转换单元31、画面重排缓冲器32、计算单元33、正交变换单元34、量化单元35、可逆编码单元36、累积缓冲器37、生成单元38、逆量化单元39、逆正交变换单元40以及加法单元41。另外，编码单元12包括去块滤波器42、自适应偏移滤波器43、自适应环路滤波器44、帧存储器45、开关46、帧内预测单元47、运动预测/补偿单元48、预测图像选择单元49和速率控制单元50。

编码单元12的A/D转换单元31对作为编码目标输入的、以帧为单位配置的图像执行A/D转换。A/D转换单元31将作为转换后的数字信号的图像输出至画面重排缓冲器32以将其存储在画面重排缓冲器32中。

画面重排缓冲器32按根据GOP结构进行编码的顺序对以显示顺序排列的、所存储的以帧为单位配置的图像进行重排。画面重排缓冲器32将重排之后的图像输出至计算单元33、帧内预测单元47和运动预测/补偿单元48。

计算单元33从自画面重排缓冲器32提供的图像减去自预测图像选择单元49提供的预测图像，从而执行编码。计算单元33将作为其结果所获取的图像作为残差信息输出至正交变换单元34。另外，在未从预测图像选择单元49提供预测图像的情况下，计算单元33将从画面重排缓冲器32读取的图像按原样作为残差信息输出至正交变换单元34。

正交变换单元34以变换单位(TU)为单位对从计算单元33提供的残差信息执行正交变换。正交变换单元34将作为正交变换的结果所获取的正交变换系数提供至量化单元35。

量化单元35对从正交变换单元34提供的正交变换系数进行量化。量化单元35将量化后的正交变换系数提供至可逆编码单元36。

可逆编码单元36从帧内预测单元47获取表示最佳帧内预测模式的帧内预测模式信息。另外，可逆编码单元36从运动预测/补偿单元48获取表示最佳帧间预测模式的帧间预测模式信息、运动矢量、指定参考图像的信息等。

另外，可逆编码单元36从自适应偏移滤波器43获取与偏移滤波器相关的偏移滤波器信息，并且从自适应环路滤波器44获取滤波器系数。

可逆编码单元36对从量化单元35提供的量化后的正交变换系数执行可逆编码，诸如可变长度编码(例如，上下文-自适应可变长度编码(CAVLC))、算术编码(例如，上下文-自适应二进制算术编码(CABAC))等。

可逆编码单元36使用帧内预测模式信息或帧间预测模式信息、运动矢量、指定参考图像的信息、偏移滤波器信息以及滤波器系数作为与编码有关的编码信息来执行可逆编码。可逆编码单元36将已被可逆编码的编码信息和正交变换系数作为编码数据提供至累积缓冲器37以存储在累积缓冲器37中。另外，可将已被可逆编码的编码信息作为诸如条带报头的报头部分添加到编码数据中。

累积缓冲器37暂时存储从可逆编码单元36提供的编码数据。另外，累积缓冲器37将所存储的编码数据提供至生成单元38。

生成单元38基于从图3所示的设置单元11提供的参数集和从累积缓冲器37提供的编码数据来生成编码流，并且将所生成的编码流提供至图3所示的传送单元14。

另外，从量化单元35输出的量化后的正交变换系数也被输入至逆量化单元39。逆量化单元39使用与量化单元35使用的量化方法对应的方法来对经量化单元35量化的正交变换系数执行逆量化。逆量化单元39将作为逆量化处理的结果所获取的正交变换系数提供至逆正交变换单元40。

逆正交变换单元40通过使用与正交变换单元34使用的正交变换方法对应的方法来以TU为单位对从逆量化单元39提供的正交变换系数执行逆正交变换。逆正交变换单元40将作为其结果所获取的残差信息提供至加法单元41。

加法单元41将从逆正交变换单元40提供的残差信息与从预测图像选择单元49提供的预测图像相加并且局部地执行解码。在未从预测图像选择单元49提供预测图像的情况下，加法单元41将从逆正交变换单元40提供的残差信息设置为局部解码图像。加法单元41将局部解码图像提供至去块滤波器42和帧存储器45。

去块滤波器42执行消除从加法单元41提供的局部解码图像的块失真的去块滤波处理，并且将作为其结果所获取的图像提供至自适应偏移滤波器43。

自适应偏移滤波器43执行用于主要消除去块滤波器43执行的去块滤波处理之后的图像的振铃的自适应偏移滤波(采样自适应偏移(SAO))处理。

更具体地，自适应偏移滤波器43针对作为最大编码单位的每个最大编码单位(LCU)而确定自适应偏移滤波处理的类型，并且获取在自适应偏移滤波处理中所使用的偏移量。自适应偏移滤波器43通过使用所获取的偏移量来对去块滤波处理之后的图像执行所确定的类型的自适应偏移滤波处理。

自适应偏移滤波器43将自适应偏移滤波处理之后的图像提供至自适应环路滤波器44。另外，自适应偏移滤波器43将表示所执行的自适应偏移滤波处理的类型以及偏移量的信息作为偏移滤波器信息提供至可逆编码单元36。

自适应环路滤波器44例如由二维维纳滤波器配置而成。自适应环路滤波器44例如针对每个LCU而对从自适应偏移滤波器43提供的在自适应偏移滤波处理之后的图像执行自适应环路滤波器(自适应环路滤波器(ALF))处理。

更具体地，自适应环路滤波器44针对每个LCU而计算在自适应环路滤波处理中所使用的滤波器系数，以使得作为从画面重排滤波器32输出的图像的原始图像与自适应环路滤波器之后的图像之间的残差最小。然后，自适应环路滤波器44通过使用针对每个LCU而计算的滤波器系数来对自适应偏移滤波处理之后的图像执行自适应环路滤波处理。

自适应环路滤波器44将自适应环路滤波处理之后的图像提供至帧存储器45。另外，自适应环路滤波器44将在自适应环路滤波处理中所使用的滤波器系数提供至可逆编码单元36。

这里，在描述要针对每个LCU而执行自适应环路滤波处理时，自适应环路滤波处理的处理单位不限于LCU。然而，通过将自适应偏移滤波器43的处理单位和自适应环路滤波器44的处理单位匹配，可以有效地执行处理。

帧存储器45累积从自适应环路滤波器44提供的图像和从加法单元41提供的图像。在累积在帧存储器45中的尚未被执行滤波处理的图像中，与预测单位(PU)邻接的像素作为周围像素通过开关46被提供至帧内预测单元47。另一方面，累积在帧存储器45中的已被执行滤波处理的图像作为参考图像通过开关46被输出至运动预测/补偿单元48。

帧内预测单元47以PU为单位、通过使用通过开关46从帧存储器45读取的周围像素，来执行作为候选的所有帧内预测模式的帧内预测处理。

另外，帧内预测单元47基于从画面重排缓冲器32读取的图像和作为帧内预测处理的结果而生成的预测图像，针对作为候选的所有帧内预测模式来计算成本函数值(稍后将描述其详情)。然后，帧内预测单元47将成本函数值最小的帧内预测模式确定为最佳帧内预测模式。

帧内预测单元47将在最佳帧内预测模式下生成的预测图像和对应的成本函数值提供至预测图像选择单元49。在从预测图像选择单元49通知对在最佳帧内预测模式下生成的预测图像的选择的情况下，帧内预测单元47将帧内预测模式信息提供至可逆编码单元36。

另外，成本函数值也称为速率失真(RD)成本，并且例如基于作为H.264/AVC系统中的参考软件的联合模型(JM)中定义的高复杂度模式或低复杂度模式的技术来计算。在http://iphome.hhi.de/suehring/tml/index.htm中公开了H.264/AVC系统中的参考软件。

更具体地，在采用高复杂度模式作为用于计算成本函数值的技术的情况下，通过针对作为候选的所有预测模式而临时执行直到解码，来针对每种预测模式计算在以下等式(1)中表示的成本函数值。

[数学公式5]

Cost(Mode)＝D+λ·R…(1)

这里，D是原始图像与解码图像之间的差(失真)，R是包括直到正交变换系数的生成的编码量，以及λ是作为量化参数(QP)的函数给出的拉格朗日未定义乘数。

另一方面，在采用低复杂度模式作为用于计算成本函数值的技术的情况下，通过针对作为候选的所有预测模式生成预测图像并计算编码信息的编码量，针对每种预测模式计算在以下等式(2)中表示的成本函数(Cost(Mode))。

[数学公式6]

Cost(Mode)＝D+QPtoQuant(QP)·Header_Bit…(2)

这里，D是原始图像与预测图像之间的差分(失真)，Header_Bit是编码信息的编码量，以及QPtoQuant是作为量化参数QP的函数给出的函数。

在低复杂度模式下，仅可针对所有预测模式生成预测图像，并且不必生成解码图像，而且计算量小。

运动预测/补偿单元48以PU为单位执行作为候选的所有帧间预测模式的运动预测/补偿处理。更具体地，运动预测/补偿单元48包括二维线性内插自适应滤波器。另外，运动预测/补偿单元48通过使用二维线性内插自适应滤波器来对参考图像和从画面重排缓冲器32提供的图像执行内插滤波处理，从而提高该图像和参考图像的分辨率。

运动预测/补偿单元48基于分辨率已被增大的图像和参考图像来以分数像素(fractional pixel)精度检测作为候选的所有帧间预测模式的运动矢量。然后，运动预测/补偿单元48基于运动矢量来对参考图像执行补偿处理，从而生成预测图像。这里，帧间预测模式是表示PU的大小等的模式。

另外，运动预测/补偿单元48基于从画面重排缓冲器32提供的图像和预测图像，针对作为候选的所有帧间预测模式而计算成本函数值，并且将成本函数值最小的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元48将最佳帧间预测模式的成本函数值和对应的预测图像提供至预测图像选择单元49。

另外，在从预测图像选择单元49通知选择了在最佳帧间预测模式下所生成的预测图像的情况下，运动预测/补偿单元48将帧间预测模式信息、对应的运动矢量、指定参考图像的信息等输出至可逆编码单元36。

预测图像选择单元49基于从帧内预测单元47和运动预测/补偿单元48提供的成本函数值，将最佳帧内预测模式和最佳帧间预测模式中具有较小的对应成本函数值的一种模式确定为最佳预测模式。然后，预测图像选择单元49将最佳预测模式的预测图像提供至计算单元33和加法单元41。另外，预测图像选择单元49向帧内预测单元47或运动预测/补偿单元48通知选择了最佳预测模式的预测图像。

速率控制单元50基于累积在累积缓冲器37中的编码数据来控制量化单元35执行的量化操作的速率，以使得上溢或下溢不会发生。

[编码单位的描述]

图8是示出作为在HEVC系统中所使用的编码单位的编码单位(CU)的图。

HEVC系统也针对具有诸如4000像素×2000像素的超高清晰度(UHD)的大图片帧的图像，因而，将编码单位的大小固定为16像素×16像素不是最佳的。相应地，在HEVC系统中，CU被定义为编码单位。在非专利文献1中描述了CU的详情。

CU(编码块)起到了与AVC系统中的宏块相同的作用。更具体地，CU被分割为PU或被分割为TU。

然而，CU具有正方形形状，其大小由可针对每个序列改变的二的指数个像素表示。更具体地，CU是通过以下方式来设置的：将作为具有最大大小的CU的LCU递归地分割成两个部分任意次数，以不小于最小编码单位(SCU)，该最小编码单位是在水平方向和垂直方向上具有最小大小的CU。换言之，在对LCU进行分层次以使得较高层次的大小为较低层次的大小的1/4直到LCU变为SCU时的任意层次的大小为CU的大小。

例如，在图8所示的情况下，LCU的大小为128，以及SCU的大小为8。因此，LCU的层次深度(Depth)为0至4，以及层次深度的数量为5。换言之，对应于CU的分割次数为“0”至“4”之一。

这里，指定LCU和SCU的大小的信息包括在SPS中。另外，对应于CU的分割次数由表示是否针对每个层次执行进一步分割的split_flag指定。

类似于CU的split_flag，TU的大小可以使用split_transform_flag来指定。通过使用SPS来将在执行帧间预测时TU的最大分割次数以及在执行帧内预测时TU的最大分割次数分别指定为max_transform_hierarchy_depth_inter和max_transform_hierarchy_depth_intra。

在本说明书中，假设编码树单位(CTU)为包括LCU的编码树块(CTB)和在其LCU基层(级别)进行处理时的参数的单位。另外，假设构成CTU的CU是包括编码块(CB)以及在其CU基层(级别)进行处理时的参数的单位。

(编码设备执行的处理的描述)

图9是示出图3所示的编码设备10执行的流生成处理的流程图。

如图9所示，在步骤S11中，编码设备10的设置单元11设置参数集。设置单元11将所设置的参数集提供至编码单元12和控制单元13。

在步骤S12中，控制单元13基于与由从设置单元11提供的profile_tier_level中包括的信息表示的级别对应的MinCr和标识数据，计算最低限度的压缩率。另外，控制单元13基于与profile_tier_level中包括的信息表示的层级对应的位速率的最大值和标识数据来计算位速率的最大值。控制单元13基于最低限度的压缩率和位速率的最大值来控制步骤S13的编码处理。

在步骤S13中，编码单元12执行通过使用HEVC系统对从外部输入的以帧为单位构成的图像进行编码的编码处理。将参照稍后描述的图10和图11描述该编码处理的详情。

在步骤S14中，编码单元12的生成单元38(图7)基于累积的编码数据和从设置单元11提供的参数集来生成编码流，并将所生成的编码流提供至传送单元14。

在步骤S15中，传送单元14将从设置单元11提供的编码流传送至稍后描述的解码设备，并且结束该处理。

图10和图11表示示出了图9所示的步骤S13的编码处理的详情的流程图。

在图10所示的步骤S31中，编码单元12的A/D转换单元31对作为编码目标输入的以帧为单位构成的图像执行A/D转换。A/D转换单元31将作为转换之后的数字信号的图像输出至画面重排缓冲器32以将其存储在该画面重排缓冲器32中。

在步骤S32中，画面重排缓冲器32将按显示顺序存储的帧的图像重排成根据GOP结构进行编码的顺序。画面重排缓冲器32将重排之后的以帧为单位构成的图像提供至计算单元33、帧内预测单元47和运动预测/补偿单元48。

在步骤S33中，帧内预测单元47以PU为单位执行作为候选的所有帧内预测模式的帧内预测处理。另外，帧内预测单元47基于从画面重排缓冲器32读取的图像以及作为帧内预测处理的结果而生成的预测图像，针对作为候选的所有帧内预测模式计算成本函数值。然后，帧内预测单元47将成本函数值最小的帧内预测模式确定为最佳帧内预测模式。帧内预测单元47将在最佳帧内预测模式下生成的预测图像和对应的成本函数值提供至预测图像选择单元49。

另外，运动预测/补偿单元48以PU为单位执行作为候选的所有帧间预测模式的运动预测/补偿处理。另外，运动预测/补偿单元48基于从画面重排缓冲器32提供的图像以及预测图像，针对作为候选的所有帧间预测模式计算成本函数值，并且将成本函数值最小的帧间预测模式确定为最佳帧间预测模式。然后，运动预测/补偿单元48将最佳帧间预测模式的成本函数值和对应的预测图像提供至预测图像选择单元49。

在步骤S34中，预测图像选择单元49基于从帧内预测单元47和运动预测/补偿单元48提供的成本函数值，将最佳帧内预测模式和最佳帧间预测模式中成本函数值最小的一种模式确定为最佳预测模式。然后，预测图像选择单元49将最佳预测模式的预测图像提供至计算单元33和加法单元41。

在步骤S35中，预测图像选择单元49确定最佳预测模式是否是最佳帧间预测模式。在步骤S35中确定最佳预测模式是最佳帧间预测模式的情况下，预测图像选择单元49向运动预测/补偿单元48通知选择了在最佳帧间预测模式下生成的预测图像。

然后，在步骤S36中，运动预测/补偿单元48将帧间预测模式信息、运动矢量和指定参考图像的信息提供至可逆编码单元36，并且该处理进行至步骤S38.

另一方面，在步骤S35中确定最佳预测模式不是最佳帧间预测模式的情况下，也就是说，在最佳预测模式是最佳帧内预测模式的情况下，预测图像选择单元49向帧内预测单元47通知选择了在最佳帧内预测模式下所生成的预测图像。然后，在步骤S37中，帧内预测单元47将帧内预测模式信息提供至可逆编码单元36，并且该处理进行至步骤S38。

在步骤S38中，计算单元33通过从自画面重排缓冲器32提供的图像减去从预测图像选择单元49提供的预测图像来执行编码。计算单元33将作为其结果所获取的图像作为残差信息输出至正交变换单元34。

在步骤S39中，正交变换单元34以TU为单位对从计算单元33提供的残差信息执行正交变换，并且将作为其结果所获取的正交变换系数提供至量化单元35。

在步骤S40中，量化单元35对从正交变换单元34提供的正交变换系数进行量化，并将量化后的正交变换系数提供至可逆编码单元36和逆量化单元39。

在图11所示的步骤S41中，逆量化单元39对从量化单元35提供的量化后的系数执行逆量化，并且将作为其结果所获取的正交变换系数提供至逆正交变换单元40。

在步骤S42中，逆正交变换单元40以TU为单位对从逆量化单元39提供的正交变换系数执行逆正交变换，并且将作为其结果所获取的残差信息提供至加法单元41。

在步骤S43中，加法单元41将从逆正交变换单元40提供的残差信息与从预测图像选择单元49提供的预测图像相加，并且局部地执行解码。加法单元41将局部解码图像提供至去块滤波器42和帧存储器45。

在步骤S44中，去块滤波器42对从加法单元41提供的局部解码图像执行去块滤波处理。去块滤波器42将作为其结果所获取的图像提供至自适应偏移滤波器43。

在步骤S45中，自适应偏移滤波器43针对每个LCU对从去块滤波器42提供的图像执行自适应偏移滤波处理。自适应偏移滤波器43将作为结果所获取的图像提供至自适应环路滤波器44。另外，自适应偏移滤波器43针对每个LCU而将偏移滤波器信息提供至可逆编码单元36。

在步骤S46中，自适应环路滤波器44针对每个LCU而对从自适应偏移滤波器43提供的图像执行自适应环路滤波处理。自适应环路滤波器44将作为其结果所获取的图像提供至帧存储器45。另外，自适应环路滤波器44将在自适应环路滤波处理中所使用的滤波器系数提供至可逆编码单元36。

在步骤S47中，帧存储器45累积从自适应环路滤波器44提供的图像和从加法单元41提供的图像。在累积在帧存储器45中的、尚未被执行滤波处理的图像中，与PU邻接的像素作为周围像素通过开关46被提供至帧内预测单元47。另一方面，累积在帧存储器45中的、已被执行滤波处理的图像作为参考图像通过开关46被输出至运动预测/补偿单元48。

在步骤S48中，可逆编码单元36对作为编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量、指定参考图像的信息、偏移滤波器信息和滤波器系数执行可逆编码。

在步骤S49中，可逆编码单元36对从量化单元35提供的量化后的正交变换系数执行可逆编码。然后，可逆编码单元36基于在步骤S48的处理中已被可逆编码的编码信息以及已被可逆编码的正交变换系数来生成编码数据，并且将所生成的编码数据提供至累积缓冲器37。

在步骤S50中，累积缓冲器37暂时累积从可逆编码单元36提供的编码数据。

在步骤S51中，速率控制单元50基于累积在累积缓冲器37中的编码数据来控制量化单元35执行的量化操作的速率，以使得上溢或下溢不发生。

在步骤S52中，累积缓冲器37将所存储的编码数据输出至生成单元38。然后，处理返回至图9所示的步骤S13并且进行至步骤S14。然后，该处理返回至图9所示的步骤S13并且进行至步骤S14。

在图10和图11所示的编码处理中，为了简化描述，虽然帧内预测处理和运动预测/补偿处理被配置为一直执行，但是也存在基于图片类型等仅执行帧内预测处理和运动预测/补偿处理中的一种处理的情况。

如上所述，由于设置了标识数据，因此编码设备10可以基于标识数据来调整最低限度的压缩率和位速率的最大值。结果，可以抑制编码处理的重试。另外，可以生成较高位速率的编码流。

(根据第一实施例的解码设备的配置的示例)

图12是示出根据本公开的第一实施例的解码设备的配置的示例的框图，该解码设备对从图3所示的编码设备10传送的编码流进行解码。

图12所示的解码设备110由以下单元构成：接收单元111、提取单元112、控制单元113和解码单元114。

解码设备110的接收单元111接收从图3所示的编码设备10传送的编码流，并且将所接收到的编码流提供至提取单元112。

提取单元(解析单元)112从自接收单元111提供的编码流提取(解析)参数集和编码数据，并且将所提取的编码数据提供至解码单元114。另外，提取单元112将参数集提供至控制单元113。

类似于图3所示的控制单元13，控制单元113基于与从提取单元112提供的profile_tier_level中包括的信息表示的级别对应的MinCr和标识数据，计算最低限度的压缩率。另外，类似于控制单元13，控制单元113基于与由profile_tier_level中包括的信息表示的层级对应的位速率的最大值和标识数据，计算位速率的最大值。控制单元13基于最低限度的压缩率以及位速率的最大值来控制解码单元114执行的解码处理。

在控制单元113的控制下，解码单元114通过使用HEVC系统来以CU为单位对从提取单元112提供的编码数据进行解码。此时，按照需要，解码单元114参考从提取单元112提供的参数集。解码单元114输出作为解码处理的结果所获取的图像。

(解码单元的配置的示例)

图13是示出图12所示的解码单元114的配置的示例的框图。

图13所示的解码单元114包括累积缓冲器131、可逆解码单元132、逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138以及画面重排缓冲器139。另外，解码单元114包括D/A转换单元140、帧存储器141、开关142、帧内预测单元143、运动补偿单元140和开关145。

解码单元114的累积缓冲器131从图12所示的提取单元112接收编码数据并累积所接收的编码数据。累积缓冲器131将所累积的编码数据提供至可逆解码单元132。

可逆解码单元132对从累积缓冲器131提供的编码数据执行与图7所示的可逆编码单元36执行的可逆编码处理相对应的可逆解码(诸如可变长度解码或算术解码)，从而获取量化后的正交变换系数和编码信息。可逆解码单元132将量化后的正交变换系数提供至逆量化单元133。另外，可逆解码单元132将帧内预测模式信息等作为编码信息提供至帧内预测单元143。可逆解码单元132将运动矢量、帧间预测模式信息、指定参考图像的信息等提供至运动补偿单元144。

此外，可逆解码单元132将作为编码信息的帧内预测模式信息或帧间预测模式信息提供至开关145。可逆解码单元132将作为编码信息的偏移滤波器信息提供至自适应偏移滤波器137。可逆解码单元132将作为编码信息的滤波器系数提供至自适应环路滤波器138。

逆量化单元133、逆正交变换单元134、加法单元135、去块滤波器136、自适应偏移滤波器137、自适应环路滤波器138、帧存储器141、开关142、帧内预测单元143以及运动补偿单元144分别执行与图7中所示的逆量化单元39、逆正交变换单元40、加法单元41、去块滤波器42、自适应偏移滤波器43、自适应环路滤波器44、帧存储器45、开关46、帧内预测单元47以及运动预测/补偿单元48类似的处理，并且相应地，对图像进行解码。

更具体地，逆量化单元133对从可逆解码单元132提供的量化后的正交变换系数执行逆量化，并且将作为其结果所获取的正交变换系数提供至逆正交变换单元134。

逆正交变换单元134以TU为单位对从逆量化单元133提供的正交变换系数执行逆正交变换。逆正交变换单元134将作为逆正交变换的结果所获取的残差信息提供至加法单元135。

加法单元135将从逆正交变换单元134提供的残差信息与从开关145提供的预测图像相加，从而执行解码。加法单元135将作为解码处理的结果所获取的图像提供至去块滤波器136和帧存储器141。

另外，在未从开关145提供预测图像的情况下，加法单元135将作为从逆正交变换单元134提供的残差信息的图像当作作为解码处理的结果所获取的图像提供至去块滤波器136和帧存储器141。

去块滤波器136对从加法单元135提供的图像执行去块滤波处理，并且将作为其结果所获取的图像提供至自适应偏移滤波器137。

自适应偏移滤波器137通过使用由从可逆解码单元132提供的偏移滤波器信息表示的偏移量，针对每个LCU而对去块滤波处理之后的图像执行由偏移滤波器信息表示的类型的自适应偏移滤波处理。自适应偏移滤波器137将自适应偏移滤波处理之后的图像提供至自适应环路滤波器138。

自适应环路滤波器138通过使用从可逆解码单元132提供的滤波系数，针对LCU而对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将作为其结果所获取的图像提供至帧存储器141和画面重排缓冲器139。

画面重排缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像。画面重排缓冲器139将按编码顺序所存储的以帧为单位构成的图像重排成原始显示顺序，并且将重排后的图像提供至D/A转换单元140。

D/A转换单元140对从画面重排缓冲器139提供的以帧为单位构成的图像执行D/A转换，并且输出转换后的图像。

帧存储器141累积从自适应环路滤波器138提供的图像和从加法单元135提供的图像。在累积在帧存储器141中的、尚未被执行滤波处理的图像中，与PU邻接的像素作为周围像素通过开关142被提供至帧内预测单元143。另一方面，累积在帧存储器141中的、已被执行滤波处理的图像作为参考图像通过开关142被提供至运动补偿单元144。

帧内预测单元143以PU为单位、通过使用经由开关142从帧存储器141读取的周围像素，执行由从可逆解码单元132提供的帧内预测模式信息表示的最佳帧内预测模式的帧内预测处理。帧内预测单元143将作为其结果所生成的预测图像提供至开关145。

运动补偿单元144通过开关142从帧存储器141读取参考图像，该参考图像是由从可逆解码单元132提供的指定参考图像的信息来指定的。运动补偿单元144包括二维线性插值自适应滤波器。运动补偿单元144通过使用二维线性插值自适应滤波器来对参考图像执行插值滤波处理，从而增大参考图像的分辨率。运动补偿单元144通过使用分辨率已增大的参考图像和从可逆解码单元132提供的运动矢量，以PU为单位执行由从可逆解码单元132提供的帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元144将作为其结果所生成的预测图像提供至开关145。

在从可逆解码单元132提供了帧内预测模式信息的情况下，开关145将从帧内预测单元143提供的预测图像提供至加法单元135。另一方面，在从可逆解码单元132提供了帧间预测模式信息的情况下，开关145将从运动补偿单元144提供的预测图像提供至加法单元135。

(解码设备的处理的描述)

图14是示出图12所示的解码设备100执行的图像生成处理的流程图。

在图14所示的步骤S111中，解码设备110的接收单元111接收从图3所示的编码设备10传送的编码流，并且将所接收的编码流提供至提取单元112。

在步骤S112中，提取单元112从自接收单元111提供的编码流中提取编码数据和参数集，并且将已提取的编码数据和参数集提供至解码单元114。

在步骤S113中，控制单元113基于与由从提取单元112提供的profile_tier_level中包括的信息表示的级别对应的MinCr和标识数据，计算最低限度的压缩率。另外，控制单元113基于与由profile_tier_level中包括的信息表示的层级对应的位速率的最大值和标识数据，计算位速率的最大值。控制单元113基于最低限度的压缩率和位速率的最大值来控制步骤S114的解码处理。

在步骤S114中，解码单元114根据需要，使用从提取单元112提供的参数集来执行通过使用符合HEVC系统的系统对从提取单元112提供的编码数据进行解码的解码处理。稍后将参照随后描述的图15描述该解码处理的详情。然后，该处理结束。

图15是示出了图14所示的步骤S114的解码处理的详情的流程图。

在图15所示的步骤S131中，解码单元114的累积缓冲器131(图13)从图12所示的提取单元112接收以帧为单位的编码数据，并且累积所接收的数据。累积缓冲器131将所累积的编码数据提供至可逆解码单元132。

在步骤S132中，可逆解码单元132对从累积缓冲器131提供的编码数据执行可逆解码。从而获取量化后的正交变换系数和编码信息。可逆解码单元132将量化后的正交变换系数提供至逆量化单元133。

另外，可逆解码单元132将作为编码信息的帧内预测模式信息等提供至帧内预测单元143。可逆解码单元132将运动矢量、帧间预测模式信息、指定参考图像的信息等提供至运动补偿单元144。

另外，可逆解码单元132将作为编码信息的帧内预测模式信息或帧间预测模式信息提供至开关145。可逆解码单元132将作为编码信息的偏移滤波器信息提供至自适应偏移滤波器137，并且将滤波器系数提供至自适应环路滤波器138。

在步骤S133中，逆量化单元133对从可逆解码单元132提供的量化后的正交变换系数执行逆量化，并将作为其结果所获取的正交变换系数提供至逆正交变换单元134。

在步骤S134中，逆正交变换单元134对从逆量化单元133提供的正交变换系数执行逆正交变换，并且将作为结果所获取的残差信息提供至加法单元135。

在步骤S135中，运动补偿单元144确定是否从可逆解码单元132提供了帧间预测模式信息。在步骤S135中确定提供了帧间预测模式信息的情况下，该处理进行至步骤S136。

在步骤S136中，运动补偿单元144以PU为单位、基于从可逆解码单元132提供的参考图像指定信息来读取参考图像，并且通过使用运动矢量和参考图像来执行由帧间预测模式信息表示的最佳帧间预测模式的运动补偿处理。运动补偿单元144将作为其结果所生成的预测图像通过开关145提供至加法单元135，并且该处理进行至步骤S138。

另一方面，在步骤S135中确定没有提供帧间预测模式信息的情况下，换言之，在帧内预测模式信息被提供至帧内预测单元143的情况下，该处理进行至步骤S137。

在步骤S137中，帧内预测单元143以PU为单位、通过使用经由开关142从帧存储器141读取的周围像素，来执行由帧内预测模式信息表示的帧内预测模式的帧内预测处理。帧内预测单元143将作为帧内预测处理的结果所生成的预测图像通过开关145提供至加法单元135，并且该处理进行至步骤S138。

在步骤S138中，加法单元135将从逆正交变换单元134提供的残差信息与从开关145提供的预测图像相加，从而局部地执行解码。加法单元135将作为解码处理的结果所获取的图像提供至去块滤波器136和帧存储器141。

在步骤S139中，去块滤波器136对从加法单元135提供的图像执行去块滤波处理，从而消除了块失真。去块滤波器136将作为其结果所获取的图像提供至自适应偏移滤波器137。

在步骤S140中，自适应偏移滤波器137基于从可逆解码单元132提供的偏移滤波器信息，针对每个LCU而对从去块滤波器136提供的图像执行自适应偏移滤波处理。自适应偏移滤波器137将自适应偏移滤波处理之后的图像提供至自适应环路滤波器138。

在步骤S141中，自适应环路滤波器138通过使用从可逆解码单元132提供的滤波器系数，针对每个LCU而对从自适应偏移滤波器137提供的图像执行自适应环路滤波处理。自适应环路滤波器138将作为其结果所获取的图像提供至帧存储器141和画面重排缓冲器139。

在步骤S142中，帧存储器141累积从加法单元135提供的图像和从自适应环路滤波器138提供的图像。在累积在帧存储器141中的、尚未被执行滤波处理的图像中，与PU邻接的像素作为周围像素通过开关142被提供至帧内预测单元143。另一方面，累积在帧存储器141中的已被执行滤波处理的图像作为参考图像通过开关142被提供至运动补偿单元144。

在步骤S143中，画面重排缓冲器139以帧为单位存储从自适应环路滤波器138提供的图像，按原始显示顺序对按编码顺序存储的以帧为单位构成的图像进行重排，并且将重排后的图像提供至D/A转换单元140。

在步骤S144中，D/A转换单元140对从画面重排缓冲器139提供的以帧为单位构成的图像执行D/A转换，并且输出转换后的图像。然后，该处理返回至图14所示的步骤S114，并且该处理结束。

如上所述，解码设备110基于标识数据来调整最低限度的压缩率和位速率的最大值。相应地，可以对编码设备10生成的、作为最低限度的压缩率和位速率的最大值的限制被调整的编码流进行解码。

(用于计算位速率的最大值和最低限度的压缩率的参数的第二示例)

图16是示出用于计算位速率的最大值和最低限度的压缩率的参数的第二示例的图。

在图16所示的示例中，根据参数ShFactor来调整简档是Main简档或Main 10简档的情况的参数MinCrScaleFactor，并且参数ShFactor没有通过上述的等式(6)来定义而是通过以下等式(7)来定义，这两个参数不同于图5所示的示例。

[数学公式7]

ShFactor＝1+(！general_lower_bit_rate_constraint_flag)*

general_higher_bit_rate_indication_flag (7)

(参数HbrFactor和ShFactor的第二示例)

图17是示出用于在简档是Long Gop简档和All Intra简档的情况下调整图16所示的参数使用的参数HbrFactor和ShFactor的示例的图。

这里，超高层级是位速率的最大值高于高层级的最大值的虚拟层级。

如图17所示，在简档是Long Gop简档并且层级是主层级的情况下，层级标记(general_tier_flag)被设置为零。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“0”。相应地，参数HbrFactor变为“1”，以及参数ShFactor变为“1”。

结果，位速率的最大值和最低限度的压缩率分别变为对应于主层级的位速率的最大值以及由MinCr表示的最低限度的压缩率，并且不调整位速率的最大值和最低限度的压缩率。

另一方面，在简档是Long Gop简档并且层级是高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因而，参数HbrFactor变为“2”，以及参数ShFactor变为“1”。

结果，位速率的最大值变为对应于主层级的位速率的最大值，并因而不被调整。然而，在简档不是Main简档和Main 10简档的情况下，最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2。在简档是Main简档或Main 10简档的情况下，也不调整最低限度的压缩率。

另外，在简档是Long Gop简档并且层级是超高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因而，参数HbrFactor变为“4”，以及参数ShFactor变为“2”。

结果，位速率的最大值变为对应于主层级的位速率的两倍。另外，在简档不是Main简档和Main 10简档的情况下，最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/4。在简档是Main简档或Main 10简档的情况下，最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2。

如上所述，在简档是Main简档或Main 10简档的情况下，在高层级时不调整最低限度的压缩率，而仅在超高层级时调整最低限度的压缩率。

简档是All Intra简档的情况类似于图6所示的情况，因而，将不呈现对其的描述。

在以上呈现的描述中，虽然标识数据用于标识对与层级对应的最低限度的压缩率和位速率的最大值这两者的调整，但是标识数据可被配置成用于标识对其中之一的调整。在这样的情况下，基于标识数据，调整与层级对应的最低限度的压缩率和位速率的最大值之一。

例如，在标识数据用于标识仅对最低限度的压缩率的调整的情况下，参数CpbBrVclFactor、CpbBrNalFactor和MinCrScaleFactor如图18所示。

换言之，如图18所示，使用参数HbrFactor'来调整参数CpbBrVclFactor和CpbBrNalFactor，并且使用参数HbrFactor来调整参数MinCrScaleFactor。

使用profile_tier_level中包括的低位速率标记(general_lower_bit_rate_constraint_flag)来在以下等式(8)中定义参数HbrFactor'。

[数学公式8]

HbrFactor'＝2-general_lower_bit_rate_constraint_flag…(8)

另外，例如，简档是Long Gop简档和All Intra简档的情况的参数HbrFactor如图19所示。

如图19所示，在简档是Long Gop简档并且层级是主层级的情况下，层级标记(general_tier_flag)被设置为“0”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“0”。因而，参数HbrFactor变为“1”。结果，最低限度的压缩率变为由MinCr表示的最低限度的压缩率，且因此不被调整。

另一方面，在简档是Long Gop简档并且层级是高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因而，参数HbrFactor变为“2”。结果，最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2。

在图18所示的示例的情况下，在简档是Long Gop简档的情况下，不调整位速率的最大值。

另外，在简档是All Intra简档并且层级是主层级的情况下，层级标记(general_tier_flag)被设置为“0”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”或“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“0”。因而，参数HbrFactor变为“2”或“1”，并且参数ShFactor变为“2”或“1”。

结果，位速率的最大值变为对应于主层级的位速率的两倍，并且最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/2，或者不对位速率的最大值和最低限度的压缩率这两者进行调整。

另一方面，在简档是All Intra简档并且层级是高层级的情况下，层级标记(general_tier_flag)被设置为“1”。另外，低位速率标记(general_lower_bit_rate_constraint_flag)被设置为“0”或“1”，并且标识数据(general_higher_bit_rate_indication_flag)被设置为“1”。因而，参数HbrFactor变为“4”或“2”，并且参数ShFactor变为“4”或“2”。

结果，位速率的最大值变为对应于主层级的位速率的四倍或两倍，并且最低限度的压缩率变为由MinCr表示的最低限度的压缩率的1/4或1/2。

另外，替代参数HbrFactor'，参数HbrFactor可被配置来使用。

在以上呈现的描述中，虽然基于标识数据来调整最低限度的压缩率，但是如图20所示，通过针对每个层级来设置MinCr，可调整最低限度的压缩率。

<第二实施例>

我们已将我们的评论添加到部分1并添加我们提出的系统作为新的“选项2”，从而将工作起草文本添加到附记中。

我们已通过使得CpbBr[Vcl|Nal]Factor作为FormatCapabilityFactor的函数而将FormatCapabilityFactor引入最大位速率计算中。如果有太多改变，则CpbBr[Vcl|Nal]Factor总之是简档特定的，并且我们可以仅仅调整该值以适应4:4:412-位或16-位(该值仅用于确定最大位速率)。

我们已利用一些额外的ShFactor来修改选项1，当处于超高层级时，这应该会引起位速率的期望的四倍。应注意，选项1并未解决CPB不能存储整个帧，但这不是实际要求，仅仅是有则更好。

如果我们继续进行该选项，则我们将需要调节较高简档的CpbBr[Vcl|Nal]Factor的值，以便将最大位深度以及色度格式纳入考虑。

由于选项1的变型1没有解决最大位速率的问题—仅修改了MinCR，因此可能不必去除该变型1。

只要选项3被O1005_v4接受(即，傍着HbrFactor要素)，选项3就可以起作用。如果使用该情况，则如同选项1一样，我们将需要调节较高简档的CpbBr[Vcl|Nal]Factor以得到针对较高位深度而言我们想要的最大位速率。

此外，似乎在工作草案中的分条款E.2.3中存在遗漏的编辑。具体地，cpb_size_value_minus1和cpb_size_du_value_minus1的推断默认值的定义仍包含对CpbBrVclFactor和CpbBrNalFactor的引用，即使这些值在确定CPB大小时已分别被固定为1000和1100。

摘要

对MinCR的约束被指定为限制CABAC解码处理的最差情况。在当前级别/层级定义中，MinCR的值对于主层级和高层级而言是相同的。当前MinCR主要是针对主层级而定义的，并且较大的值用于较高级别。例如，对于级别5.1(4K@60p)，MinCR等于8。然而，该值对于高端专业设备而言太大。另外，对于MinCr变得过量的状况，认为由最大位速率和最大亮度(luna)采样率定义的隐含的最小序列压缩率在使用所有帧内编码或者较高位深度和色度格式时过度受限。该稿件提出了减小MinCR的值，并且引入新的层级以允许针对高端专业应用增大位速率。

1 MinCR

在图1(表A-1)和图2(表A-2)中指定了级别和层级限制。

主层级是主要针对消费者应用来定义的。高层级是针对高端消费者和专业应用来定义的。高层级的位速率高于主层级的位速率。然而，MinCR对于主层级和高层级而言是相同的。

对于大图片，例如，4K视频，使用MinCR的较高值来降低CABAC的最差情况复杂性。例如，对于级别5.1(4K@60p)，MinCR的值为8。

然而，对于高端应用，MinCR＝8太高。当以160Mbps对4K@60p视频进行编码时，对于I图片，通常出现该MinCR＞8，并且这不是罕见情况。

另外，当目标质量在视觉上无损时，MinCR＝8太高。由于该约束而难以实现视觉无损编码。

除了MinCR定义的每帧最小压缩率之外，对于整体由最大位速率和最大亮度采样率定义的序列还存在隐含的最小压缩率。在以上给出的示例中，如果要使用级别5.1(可以对4K@60p这样的视频进行编码的最低级别)来对4K@60p视频进行编码，则尽管MinCr值为8，实际的最小压缩率也被定义为：

最大亮度采样率＝534,773,760样本/秒(等于4096x2176@60p)最大位速率(高层级)＝160,000,000位/秒(主简档CpbBrVclFactor)

基带位速率＝534,773,760*1.5(4:2:0)*8(位/样本)＝6,417,285,120位/秒

最小序列压缩率＝基带位速率/最大位速率＝40:1

虽然该压缩程度可能对于帧间编码序列是可接受的(由于帧间图片可以被压缩达到比帧内图片更大的程度)，但是对于所有帧内编码序列，由于必须使用仅帧内编码来将该序列压缩40:1，因此MinCR定义的最小压缩率变为纯理论性的。

鉴于此，如果MinCR的值完全相关，则将需要当使用全帧内编码时修改最大位速率。另外，上述示例仅使用4:2:0 8-bit编码。当使用较高位深度以及更详细的色度格式时，最小压缩率将甚至更大。例如，当使用4:4:4 12-bit处理时，最小压缩率加倍为80:1。

此外，对于某些简档和级别组合(例如，使用级别4编码的HD@30p4:4:4 12-bit—MinCr＝4(MinCrBase)*0.5(MinCrScaleFactor)＝2)，如果该编码图片具有等于MinCR的压缩率，则编码图片缓冲器(CPB)(在级别4为30000000位)将不能包含该整个编码图片。虽然不存在解码器必须立刻保持整个图片的实际要求，但是其在实现时可能引起困难。

然而，存在解码器能够从CPB实时去除图片的要求。最大编码图片尺寸被给出为(例子:在级别4编码的HD@30p 4:4:4 12-bit)：

基带图片尺寸＝1920*1080*3*12＝74,649,600位

最大压缩图片尺寸＝基带大小/MinCR＝37,324,800位

如果CPB以最大位速率(对于在级别4(高层级)的4:4:4 12-bit为45,000,000位/秒)填充，则解码器将仅接收1.2图片/秒并且将不能实时地对序列进行解码。可以通过在较高级别编码来缓解该问题，尽管甚至对于HD@30p，需要级别6.1或更高级别来提供足够高的最大位速率。

因此，该贡献是提出了减小MinCR的值并且为高端专业应用引入新层级。

2提议

当前工作草案文本的版本4(JCTVC-O1005_v4)允许当使用全帧内编码时经由HbrFactor而使MinCR减半并且使最大位速率加倍。虽然对MinCR的该修改是足够的，但是需要对最大位速率进行更大改变以用在高端专业应用中。

由于已开始HEVC的产品研发并且在市场中存在一些部署，因此，应该进行不影响这样的部署的改变。可存在以下选项。

选项1：添加另一层级，例如“超高层级”，并且针对这样的层级减小MinCR。引入用以指示减小MinCR并增大Max Bitrate以及针对RExt简档定义简档特定级别/层级约束的标记。对于这些简档，高层级的MinCR被解释为较低值。

选项2：添加超高层级以及针对该层级增大Max Bitrate。使用在JCTVC-O1005_v4中所指定的方法来减小MinCR。

选项3：如果所有当前部署针对主层级并且如果所有人同意，则可以改变高层级的MinCR和Max Bitrate的值。这意味着，这些改变应用于Main简档和Main 10简档。

在附记中总结了对于每个选项的文本改变。

如果无人反对，则由于选项2最容易与当前工作草案结合而无需要求对版本1进行修改，因此选项2是理想的，但选项1和选项3也是优良的。应该在圣何塞会议的讨论期间对其进行决定。

3结论

在该贡献中，提出了减小MinCR以及增大最大位速率的三个选项。应该采用这些选项之一以支持HEVC中的视觉无损编码。

4附记

4.1选项1

添加用以指示较高位速率的标记(general_higher_bit_rate_indication_flag)(图3)

如下改变级别限制

如下推导最大位速率。

VCL HRD参数:最大位速率＝CpbBrVclFactor*MaxBR

NAL HRD参数:最大位速率＝CpbBrNalFactor*MaxBR

如下推导MinCR

MinCR＝Max(1,MinCrBase*MinCrScaleFactor)

其中，在表A-2中定义MaxBR和MinCrBase。

在表A-3中如下定义CpbBrVclFactor，CpbBrNalFactor和MinCrScaleFactor。

变型1：针对高层级减小MinCR(图21和图22)

HbrFactor＝(2-general_lower_bit_rate_constraint_flag)+2*general_higher_bit_rate_indication_flag

VCL HRD参数:最大位速率＝CpbBrVclFactor*MaxBR

NAL HRD参数:最大位速率＝CpbBrNalFactor*MaxBR

MinCR＝Max(1,MinCrBase*MinCrScaleFactor)

变型2：添加“超高层级”并且仅针对新层级改变Main和Main 10的MinCR(图23和图24)。

ShFactor＝1+(！general_lower_bit_rate_constraint_flag)*general_higher_bit_rate_indication_flag

变型3：添加“超高层级”并且针对高层级修改MinCR(图25和图26)

HbrFactor＝2-general_lower_bit_rate_constraint_flag+2*general_higher_bit_rate_indication_flag

ShFactor＝1+(！general_lower_bit_rate_constraint_flag)*3*general_higher_bit_rate_indication_flag

VCL HRD参数:最大位速率＝CpbBrVclFactor*MaxBR

NAL HRD参数:最大位速率＝CpbBrNalFactor*MaxBR

MinCR＝Max(1,MinCrBase*MinCrScaleFactor)

4.2选项2

引入超高层级。使用如在JCTVC-O1005_v4中的方法来修改MinCR。4.2.1简档、层级和级别语法(图27)

除了当general_tier_flag的值为0时外，general_super_high_tier_flag的值应为0。为了将来的使用而反转当general_tier_flag的值为1时general_super_high_tier_flag的值1。

如下改变层级限制

如下推导最大位速率。

VCL HRD参数:最大位速率＝CpbBrVclFactor*MaxBR

NAL HRD参数:最大位速率＝CpbBrNalFactor*MaxBR

如下推导MinCR

MinCR＝Max(1,MinCrBase*MinCrScaleFactor)

如下推导HbrFactor

HbrFactor＝2-general_lower_bit_rate_constraint_flag

如下推导CpbBrVclFactor和CpbBrNalFactor。

CpbBrVclFactor＝((FormatCapabilityFactor*HbrFactor)/1.5)*1000

CpbBrNalFactor＝((FormatCapabilityFactor*HbrFactor)/1.5)*1100

其中，在表A-2中定义MaxBR和MinCrBase。在表A-3中定义FormatCapabilityFactor和MinCrScaleFactor。

表A1—通用的层级和级别限制(图28)

表A 2—对于Monochrome 12、Monochrome 16、Main、Main 10、Main 12、Main 4:2:2 10、Main 4:2:2 12、Main 4:4:4、Main 4:4:4 10和Main 4:4:4 12、Main Intra、Main 10Intra、Main 12Intra、Main 4:2:2 10Intra、Main 4:2:2 12Intra、Main 4:4:4Intra、Main 4:4:4 10Intra和Main4:4:4 12Intra简档的层级和级别限制(图29)

表A 3—FormatCapabilityFactor和MinCrScaleFactor的规范(图30和图31)

4.3选项3

用下表替代表A-1和A-2:

表A1—通用的层级和级别限制(图32)

表A2—对于Main和Main 10简档的层级和级别限制(图33)

<第三实施例>

[根据本公开内容的计算机的描述]

上述的一系列处理可以由硬件或由软件来执行。在这一系列处理由软件来执行的情况下，将构成软件的程序安装至计算机。这里，计算机包括置于专用硬件中的计算机、可以通过向其安装各种程序来执行各种功能的诸如通用个人计算机的计算机等。

图34是示出根据程序来执行上述的这一系列处理的计算机的硬件配置的示例的框图。

在计算机中，中央处理单元(CPU)201、只读存储器(ROM)202和随机存取存储器(RAM)203通过总线204互相连接。

另外，输入/输出接口205连接至总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接至输入/输出接口205。

输入单元206由键盘、鼠标、麦克风等构成。输出单元207由显示器、扬声器等构成。存储单元208由硬盘、非易失性存储器等构成。通信单元209由网络接口等构成。驱动器210驱动磁盘、光盘、磁光盘或诸如半导体存储器的可移除介质211。

在如上配置的计算机中，CPU 201例如通过输入/输出接口205和总线204将存储在存储单元208中的程序装载到RAM 203中，并且执行所装载的程序，从而执行上述的这一系列处理。

由计算机(CPU 201)执行的程序例如可通过记录在作为封装介质的可移除介质211等上来提供。另外，程序可以通过有线或无线传输介质(诸如局域网、互联网或数字卫星广播)来提供。

在计算机中，通过将可移除介质211装载到驱动器210中，可以通过输入/输出接口205将程序安装至存储单元208。另外，可以通过经由有线或无线传输介质、使用通信单元209接收程序来将程序安装至存储单元208。此外，程序可以预先安装至ROM 202或存储单元208。

另外，由计算机执行的程序可以是沿着在说明书中描述的序列、按时间序列执行处理的程序或者以并行方式或在需要的时候(诸如，在调用的时候)执行处理的程序。

<第四实施例>

(电视机设备的配置的示例)

图35示出了应用了本技术的电视机设备的示意性配置的示例。电视机设备900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口单元909。另外，电视机设备900具有控制单元910、用户接口单元911等。

调谐器902根据天线901接收的广播波信号选择期望频道，执行解调，并且将所获取的编码位流输出至解复用器903。

解复用器903从编码位流中提取作为观看目标的节目的视频和音频的分组，并且将所提取的分组的数据输出至解码器904。另外，解复用器903将电子节目指南(EPG)的数据的分组等提供至控制单元910。此外，在编码位流被加扰的情况下，解复用器可使用解复用器等来执行解扰。

解码器904执行对分组进行解码的处理并将通过解码处理而生成的视频数据输出至视频信号处理单元905，并且将音频数据输出至音频信号处理单元907。

视频信号处理单元905对视频数据执行噪声消除、对应于用户设置的视频处理等。视频信号处理单元905生成在显示单元906上要显示的节目的视频数据、通过基于通过网络提供的应用的处理所获取的图像数据等。另外，视频信号处理单元905生成例如显示用于项目选择的菜单画面等所使用的视频数据，并且将所生成的视频数据叠加到节目的视频数据上。视频信号处理单元905基于以该方式所生成的视频数据来生成驱动信号，并且驱动显示单元906。

显示单元906基于从视频信号处理单元905提供的驱动信号来驱动显示装置(例如，液晶显示器等)，从而显示节目的视频等。

音频信号处理单元907对音频数据执行诸如噪声去除的预定处理，在该处理或对音频数据的放大处理之后对音频数据执行D/A转换处理，并且将所得到的数据提供至扬声器908，从而执行音频输出。

外部接口单元909是用于连接至外部装置或网络的接口，并且传送/接收诸如视频数据或音频数据的数据。

用户接口单元911连接至控制单元910。用户接口单元911由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供至控制单元910。

控制单元910由中央处理单元(CPU)、存储器等构成。存储器存储由CPU执行的程序、由CPU执行的处理所需的各种数据、EPG数据、通过网络所获取的数据等。存储在存储器中的程序在诸如启动电视机设备900的预定定时由CPU读取并执行。通过执行该程序，CPU执行对每个单元的控制，以使得电视机设备900根据用户操作来进行操作。

另外，在电视机设备900中，为了将调谐器902、解复用器903、视频信号处理单元905、音频信号处理单元907、外部接口单元909等连接至控制单元910，设置了总线912。

在以该方式配置的电视机设备中，在解码器904中实现根据本申请的解码设备的功能(解码方法)。因此，可以对其中对最低限度的压缩率和位速率的最大值的限制被调整的编码流进行解码。

<第五实施例>

(移动电话的配置示例)

图36示出了应用了本技术的移动电话的示意性配置。移动电话920包括通信单元922、音频编解码器923、相机单元926、图像处理单元927、复用/分离单元928、记录/再现单元929、显示单元930和控制单元931。这些通过总线933相互连接。

另外，天线921连接至通信单元922，以及扬声器924和麦克风925连接至音频编解码器923。此外，操作单元932连接至控制单元931。

移动电话920以各种模式(诸如语音呼叫模式和数据通信模式)执行各种操作，诸如音频数据的传送和接收、电子邮件和图像数据的传送和接收、图像捕获以及数据记录。

在语音呼叫模式下，音频编解码器923将麦克风925生成的音频信号转换成音频数据或对其进行压缩，并且所得到的信号被提供至通信单元922。通信单元922对音频数据执行调制处理、频率转换处理等，从而生成传送信号。另外，通信单元922将传送信号提供至天线921以传送至图中未示出的基站。此外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，并且将所获取的音频数据提供至音频编解码器923。音频编解码器923对音频数据执行数据解压缩并将音频数据转换成模拟音频信号，并且将所得到的信号输出至扬声器924。

另外，在数据通信模式下，在发送邮件的情况下，控制单元931接收通过对操作单元932的操作而输入的字符数据，并且在显示单元930上显示所输入的字符。此外，控制单元931基于来自操作单元932的用户指令来生成邮件数据，并将所生成的邮件数据提供至通信单元922。通信单元922对邮件数据执行调制处理、频率转换处理等，并且传送从天线921获取的传输信号。另外，通信单元922对天线921接收的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复邮件数据。该邮件数据被提供至显示单元930，从而显示邮件的内容。

另外，移动电话920可以使用记录/再现单元929来将所接收的邮件数据存储在存储介质中。存储介质可以是任意可重写存储介质。例如，存储介质是半导体存储器(诸如RAM或内置型闪存)、硬盘、磁盘、磁光盘、光盘、或者可移除介质(诸如通用串行总线(USB)存储器或存储卡)。

在数据通信模式下，在传送图像数据的情况下，相机单元926生成的图像数据被提供至图像处理单元927。图像处理单元927对图像数据执行编码处理，从而生成编码数据。

复用/分离单元928根据预定系统对图像处理单元927生成的编码数据和从音频编解码器923提供的音频数据进行复用，并且将复用数据提供至通信单元922。通信单元922对复用数据执行调制处理、频率转换处理等，并且传送从天线921获取的传送信号。另外，通信单元922对天线921接收到的接收信号执行放大处理、频率转换处理、解调处理等，从而恢复复用数据。该复用数据被提供至复用/分离单元928。复用/分离单元928对复用数据进行分离，并且将编码数据提供至图像处理单元927并将音频数据提供至音频编解码器923。图像处理单元927对编码数据执行解码处理，从而生成图像数据。该图像数据被提供至显示单元930，从而显示所接收的图像。音频编解码器923将音频数据转换成模拟音频信号并将转换后的模拟音频信号提供至扬声器924，从而输出所接收的音频。

在以该方式配置的移动电话装置中，在图像处理单元927中实现根据本申请的编码设备和解码设备的功能(编码方法和解码方法)。为此，可以调整对最低限度的压缩率和位速率的最大值的限制。另外，可以对最低限度的压缩率和位速率的最大值被调整的编码流进行解码。

<第六实施例>

(记录/再现设备的配置示例)

图37示出了应用了本技术的记录/再现设备的示意性配置。记录/再现设备940例如将接收的广播节目的音频数据和视频数据记录在记录介质上，并且在根据用户的指令的定时为用户提供所记录的数据。另外，记录/再现设备940例如可从另一装置获取音频数据和视频数据，并且将音频数据和视频数据记录在记录介质上。此外，记录/再现设备940对记录在记录介质上的音频数据和视频数据进行解码并输出，从而可以在监视器装置等中执行图像的显示或者音频的输出。

记录/再现设备940具有调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。

调谐器941从图中未示出的天线接收到的广播信号当中选择期望通道。调谐器941将通过对期望通道的接收信号进行解调而获取的编码位流输出至选择器946。

外部接口单元942由IEEE1394接口、网络接口单元、USB接口、闪存接口等中的至少一个构成。外部接口单元942是用于连接至外部装置、网络、存储卡等的接口，并且执行要记录的视频数据、音频数据等的数据接收。

当未对从外部接口单元942提供的视频数据和音频数据进行编码时，编码器943根据预定系统对视频数据和音频数据进行编码，并且将编码位流输出至选择器946。

HDD单元944将诸如视频和音频的内容数据、各种程序、其他数据等记录在内置的硬盘上，并且在再现等时从硬盘读取所记录的数据。

盘驱动器945对装载的光盘执行信号记录和信号再现。光盘例如是DVD盘(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)、蓝光(注册商标)盘等。

当记录视频或音频时，选择器946选择从调谐器941或编码器943提供的编码位流，并将所选择的编码位流提供至HDD单元944和盘驱动器945之一。另外，当再现视频或音频时，选择器946将从HDD单元944或盘驱动器945输出的编码位流提供至解码器947。

解码器947对编码位流执行解码处理。解码器947将通过执行解码处理而生成的视频数据提供至OSD单元948。另外，解码器947输出通过执行解码处理而生成的音频数据。

OSD单元948生成用于显示菜单画面(诸如项目选择菜单等)的视频数据，并且输出所生成的视频数据以与从解码器947输出的视频数据重叠。

用户接口单元950连接至控制单元949。用户接口单元950由操作开关、远程控制信号接收单元等构成，并且将根据用户操作的操作信号提供至控制单元949。

控制单元949是通过使用CPU、存储器等来配置的。存储器存储CPU执行的程序以及由CPU执行的处理所需的各种数据。CPU在诸如启动记录/再现设备940的预定定时读取并执行存储在存储器中的程序。CPU执行程序，从而执行对每个单元的控制以使得记录/再现设备940根据用户操作进行操作。

在以该方式配置的记录/再现设备中，在解码器947中实现根据本申请的解码设备(解码方法)的功能。为此，可以对其中最低限度的压缩率和位速率的最大值的限制被调整的编码流进行解码。

<第七实施例>

<成像设备的配置示例>

图38是示出应用了本技术的成像设备的示意性配置的示例的图。成像设备960使对象成像并在显示单元上显示对象的图像或者将对象的图像作为图像数据记录在记录介质上。

成像设备960包括光块961、成像单元962、相机信号处理单元963、图像数据处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969以及控制单元970。另外，用户接口单元971连接至控制单元970。此外，图像数据处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970等通过总线972相互连接。

光学块961是通过使用聚焦透镜、光圈机构等来配置的。光学块961在成像单元962的成像表面上形成对象的光学图像。成像单元962是通过使用CCD或CMOS图像传感器来配置的，并且根据光学图像、通过光电转换来生成电信号，并且将所生成的电信号提供至相机信号处理单元963。

相机信号处理单元963对从成像单元962提供的电信号执行各种相机信号处理，诸如拐点校正、伽马校正和颜色校正。相机信号处理单元963将相机信号处理之后的图像数据提供至图像数据处理单元964。

图像数据处理单元964对从相机信号处理单元963提供的图像数据执行编码处理。图像数据处理单元964将通过执行编码处理而生成的编码数据提供至外部接口单元966或介质驱动器968。另外，图像数据处理单元964对从外部接口单元966或介质驱动器968提供的编码数据执行解码处理。图像数据处理单元964将通过执行解码处理而生成的图像数据提供至显示单元965。另外，图像数据处理单元964执行将从相机信号处理单元963提供的图像数据提供至显示单元965的处理，并且将从OSD单元969获取的显示数据通过与图像数据重叠而提供至显示单元965。

OSD单元969生成显示数据(诸如菜单画面或由符号、字符或图形构成的图标)，并且将所生成的显示数据输出至图像数据处理单元964。

外部接口单元966例如由USB输入/输出终端等构成，并且在打印图像的情况下连接至打印机。另外，按照需要将驱动器连接至外部接口单元966，适当地安装诸如磁盘或光盘的可移除介质，并且按照需要安装从其读取的计算机程序。此外，外部接口单元966包括连接至诸如LAN或互联网的预定网络的网络接口。例如，根据来自用户接口单元971的指令，控制单元970可以从介质驱动器968读取编码数据，并且将所读取的编码数据从外部接口单元966提供至通过网络连接的另一装置。另外，控制单元970可以通过外部接口单元966获取通过网络从另一装置提供的编码数据或图像数据，并且将所获取的数据提供至图像数据处理单元964。

作为介质驱动器968驱动的记录介质，使用了诸如磁盘、磁光盘、光盘或半导体存储器的任意可读写可移除介质。另外，作为可移除介质的记录介质的类型是任意的，因而，可以是磁带装置、盘或存储卡。此外，非接触式集成电路(IC)卡等可被用作记录介质。

另外，通过将介质驱动器968和记录介质集成在一起，例如，记录介质可由诸如内置型硬盘驱动器或固态驱动器(SSD)的不可移动记录介质构成。

控制单元970是通过使用CPU来配置的。存储器单元967存储控制单元970执行的程序、控制单元970执行的处理所需的各种数据等。控制单元970在诸如启动成像设备960的预定定时读取并执行存储在存储器单元967中的程序。控制单元970执行程序，从而执行对每个单元的控制以使得成像设备960根据用户操作进行操作。

在以该方式配置的成像设备中，在图像数据处理单元964中实现根据本申请的编码设备和解码设备的功能(编码方法和解码方法)。为此，可以调整对最低限度的压缩率和位速率的最大值的限制。另外，可以对其中对最低限度的压缩率和位速率的最大值被调整的编码流进行解码。

<第八实施例>

(其他示例)

尽管以上描述了应用了本技术的设备、系统等的示例，但是本技术不限于此。因而，本技术还可被实现为安装在该设备或构成该系统的设备中的所有部件，诸如作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元以及通过将其他功能添加到该单元(换言之，该设备的配置的一部分)中而获取的装置。

(视频装置的配置示例)

将参照图39描述本技术被实现为装置的情况的示例。图39示出了应用了本技术的视频装置的示意性配置的示例。

近年来，多种功能在电子设备中的实现已得到进展，并且在开发或制造每个电子设备时，在按销售、供应等实现配置的一部分的情况下，通常，不仅存在作为具有一种功能的配置来实现该部分的情况，而且存在通过组合具有相关功能的多种配置来作为具有多种功能的一种装置实现该部分的情况。

图39所示的视频装置1300具有这样的配置：其具有多种功能并且通过将具有与图像的编码/解码(编码和解码之一或者其两者)相关的功能的装置与具有与该功能相关的其他功能的装置组合来得到。

如图39所示，视频装置1300包括诸如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1214的模块组以及具有相关功能(诸如连接部(connectivity)1321、相机1322和传感器1323)的装置。

模块是包括具有通过聚集彼此相关的若干部件功能而获取的相干性的功能的部件。特定的物理配置是任意的，并且例如，可考虑具有相应功能的多个处理器、诸如电阻器和电容器的电子电路部件以及其他装置被布置成集成在配线板等中的配置。另外，可考虑通过将模块与其他模块、处理器等结合来形成新模块。

在图39所示的示例的情况下，视频模块1311通过结合具有与图像处理相关的功能的配置来构成，并且包括应用处理器、视频处理器、宽带调制解调器1333以及RF模块1334。

处理器是通过经由芯片上系统(SoC)将具有预定功能的配置集成在半导体芯片上来形成的，并且例如，存在被称为大规模集成(LSI)等的处理器。具有预定功能的配置可以是逻辑电路(硬件配置)、包括CPU、ROM、RAM等以及使用部件来执行的程序(软件配置)的配置、或者通过将两者结合而获取的配置。例如，该配置可被配置成使得处理器包括逻辑电路、CPU、ROM、RAM等，其部分功能由逻辑电路(硬件配置)来实现，并且其他功能由CPU执行的程序(软件配置)来实现。

图39所示的应用处理器1331是执行与图像处理相关的应用的处理器。为了实现预定功能，该应用处理器1331执行的应用不仅执行计算处理，而且还可按照需要来控制视频模块1311的内部/外部的配置(诸如，视频处理器1332等)。

视频处理器1332是具有与图像的编码/解码(编码和解码之一或者编码和解码两者)相关的功能的处理器。

宽带调制解调器1333是与通过宽带线路(诸如互联网或公共电话网络)所执行的有线或无线(或有线和无线)宽带通信相关的处理器(或模块)。例如，宽带调制解调器1333通过数字调制等将要传送的数据(数字信号)转换成模拟信号，或者对接收到的模拟信号进行解调以转换成数据(数字信号)。例如，宽带调制解调器1333可以对任意信息(诸如视频处理器1332处理的图像数据、图像数据被编码的流、应用程序、设置数据等)执行数字调制/解调。

RF模块1334是对通过天线传送或接收的无线电(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334对宽带调制解调器1333生成的专用线路连接系统信号执行频率转换等，从而生成RF信号。另外，例如，RF模块1334对通过前端模块1314接收的RF信号执行频率转换等，从而生成专用线路连接系统信号。

如图39中虚线1341所示，可集成应用处理器1331和视频处理器1332以将其配置为一个处理器。

外部存储器1312是布置在视频模块1311外部的模块并且具有视频模块1311使用的存储器装置。尽管外部存储器1312的存储器装置可通过某一物理配置来实现，但是一般地，存储器装置通常用于存储诸如以帧为单位构成的图像数据的大量数据。因此，优选的是，存储器装置以相对低的成本由大容量半导体存储器(诸如，动态随机存取存储器(DRAM))来实现。

电力管理模块1313管理并控制向视频模块1311的电力供给(每个配置布置在视频模块1311内部)。

前端模块1314是为RF模块1334提供前端功能(在天线侧的发送/接收端的电路)的模块。如图39所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。

天线单元1351包括发送和接收无线信号的天线以及周围配置。天线单元1351发送从放大单元1353提供的信号作为无线信号，并且将所接收到的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对通过天线单元1351接收到的RF信号执行滤波处理等，并且将处理之后的RF信号提供至RF模块1334。放大单元1353对从RF模块1334提供的RF信号进行放大，并且将放大后的RF信号提供至天线单元1351。

连接部132是具有同与外部的连接相关的功能的模块。连接部1321的物理配置是任意的。例如，连接部1321包括具有根据除了宽带调制解调器1333符合的通信标准外的通信标准的通信功能的配置、外部输入/输出端子等。

例如，连接部1321可以被配置成包括具有符合无线电通信标准(诸如蓝牙(注册商标)、IEEE 802.11(例如，无线保真；注册商标(Wi-Fi))、近场通信(NFC)或红外数据协会(IrDA))的通信功能的模块、发送和接收符合该标准的信号的天线等。另外，例如，连接部1321可被配置成包括具有符合有线通信标准(诸如通用串行总线(USB)或高清多媒体接口(HDMI(注册商标))的通信功能的模块以及符合该标准的终端。此外，例如，连接部1321可被配置成具有模拟输入/输出端子等的另一数据(信号)传输功能。

另外，连接部1321可被配置成包括数据(信号)的传送目的地的装置。例如，连接部1321可被配置成包括从记录介质(诸如磁盘、光盘、磁光盘或半导体存储器)读取数据/将数据写入该记录介质中的驱动器(不仅包括可移除介质的驱动器而且还包括硬盘、固态驱动器(SSD)、网络附接存储装置(NAS)等)。另外，连接部1321可被配置成包括图像或语音的输出装置(监视器、扬声器等)。

相机1322是具有用于通过使物体成像来获取目标的图像数据的功能的模块。通过相机1322执行的成像处理而获取的图像数据例如被提供至视频处理器1332并被编码。

传感器1323是具有任意传感器(诸如声音传感器、超声波传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性标识传感器、冲击传感器或温度传感器)的功能的模块。传感器1323检测到的数据例如被提供至应用处理器1331并由应用等来使用。

以上作为模块来描述的配置可被实现为处理器。相反，以上作为处理器来描述的配置可被实现为模块。

在具有上述配置的视频装置1300中，如稍后将描述的那样，本技术可应用于视频处理器1332。因此，视频装置1300可被实现为应用了本技术的装置。

(视频处理器的配置示例)

图40示出了应用了本技术的视频处理器1332(图39)的示意性配置的示例。

在图40所示的示例的情况下，视频处理器1332具有接收视频信号和音频信号的输入并且根据预定系统对视频信号和音频信号进行编码的功能，以及对编码后的视频数据和编码后的音频数据进行解码并且再现并输出视频信号和音频信号的功能。

如图40所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405以及存储器控制单元1406。另外，视频处理器1332包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用单元(复用器(MUX))1412、解复用单元(解复用器(DMUX))1413以及流缓冲器1414。

视频输入处理单元1401例如获取从连接部1321(图39)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行通过视频输出处理单元1404根据输出目的地的格式的图像放大/缩小处理、与第一图像放大/缩小单元1402的格式转换类似的格式转换、图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号的转换等，并且将例如所得到的信号输出至连接部1321(图39)等作为再现的视频信号。

帧存储器1405是视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404以及编码/解码引擎1407共用的图像数据的存储器。帧存储器1405例如由诸如DRAM的半导体存储器来实现。

存储器控制单元1406从编码/解码引擎1407接收同步信号，并且控制对帧存储器1405的访问以根据写入访问管理表1406A中的用于访问帧存储器1405的访问时间表来进行读写。存储器控制单元1406根据编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。

编码/解码引擎1407执行对图像数据的编码处理以及对作为通过对图像数据进行编码而获取的数据的视频流的解码处理。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将图像数据作为视频流顺序地写入视频ES缓冲器1408A中。另外，例如，编码/解码引擎1407顺序地对从视频ES缓冲器1408B提供的视频流进行读取和解码，并且将解码后的视频流作为图像数据顺序地写入帧存储器1405中。编码/解码引擎1407在这样的编码和解码处理中使用帧存储器1405作为工作区。另外，编码/解码引擎1407例如在开始对于每个宏块的处理时将同步信号输出至存储器控制单元1406。

视频ES缓冲器1408A缓冲编码/解码引擎1407生成的视频流，并将所缓冲的视频流提供至复用单元(MUX)1412。视频ES缓冲器1408B缓冲从解复用单元(DMUX)1413提供的视频流并将所缓冲的视频流提供至编码/解码引擎1407。

音频ES缓冲器1409A缓冲音频编码器1410生成的音频流并将所缓冲的音频流提供至复用单元(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413提供的音频流并将所缓冲的音频流提供至音频解码器1411。

音频编码器1410例如将例如从连接部1321(图39)等输入的音频信号转换成数字信号，并且根据预定系统(诸如MPEG音频系统或音频码编号3(AC3)系统)对转换后的数字信号进行编码。音频编码器1410将每一个均为通过对音频信号进行编码而获取的数据的音频流顺序地写入音频ES缓冲器1409A中。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，并且例如将解码后的音频流转换成模拟信号等并将例如所得到的信号作为再现的音频信号提供至连接部1321(图39)等。

复用单元(MUX)1412对视频流和音频流进行复用。该复用处理的方法(换言之，通过复用处理而生成的位流的格式)是任意的。另外，在复用处理中，复用单元(MUX)1412可将预定的报头信息等添加到位流中。换言之，复用单元(MUX)1412可以通过复用处理对流的格式进行转换。例如，通过对视频流和音频流进行复用，复用单元(MUX)1412将这些流转换成作为具有传送格式的位流的传输流。另外，例如，通过将视频流和音频流进行复用，复用单元(MUX)1412将这些流转换成具有记录文件格式的数据(文件数据)。

解复用单元(DMUX)1413对如下位流进行解复用，在该位流中，视频流和音频流是使用与复用单元(MUX)1412执行的复用处理对应的方法来复用的。换言之，解复用单元(DMUX)1413从自流缓冲器1414读取的位流中提取视频流和音频流(将视频流和音频流彼此分离)。换言之，解复用单元(DMUX)1413可以通过解复用处理对流的格式进行转换(复用单元(MUX)1412执行的转换的逆转换)。例如，解复用单元(DMUX)1413通过流缓冲器1414获取例如从连接部1321、宽带调制解调器1333等(全部在图39中)提供的传输流，并且对所提供的传输流进行解复用，从而将传输流转换成视频流和音频流。另外，例如，解复用单元(DMUX)1413通过流缓冲器1414获取例如通过连接部1321(图39)从各种记录介质读取的文件数据，并对所获取的文件数据进行解复用，从而将文件数据转换成视频流和音频流。

流缓冲器1414缓冲位流。例如，流缓冲器1414缓冲从复用单元(MUX)1412提供的传输流，并且例如在预定定时或者基于来自外部的请求等而将所缓冲的传输流提供至例如连接部1321、宽带调制解调器1333(全部在图39中)等。

另外，例如，流缓冲器1414缓冲从复用单元(MUX)1412提供的文件数据，并且例如在预定定时、基于来自外部的请求等将所缓冲的文件数据提供至连接部1321(图39)等，以将其记录在各种记录介质上。

此外，流缓冲器1414缓冲例如通过连接部1321、宽带调制解调器1333等(全部在图39中)获取的传输流，并在预定定时或者基于来自外部的请求等将所缓冲的传输流提供至解复用单元(DMUX)1413。

另外，流缓冲器1414缓冲通过连接部1321(图39)等从各种记录介质读取的文件数据，并且在预定定时或者基于来自外部的请求等将所缓冲的文件数据提供至解复用单元(DMUX)1413。

接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，从连接部1321(图39)等输入至视频处理器1332的视频信号在视频输入处理单元1401中被转换成诸如4:2:2Y/Cb/Cr系统的预定系统的数字图像数据，并且被顺序地写入帧存储器1405中。该数字图像数据由第一图像放大/缩小单元1402或第二图像放大/缩小单元1403读取，对所读取的数字图像数据执行转换成诸如4:2:0Y/Cb/Cr系统的预定系统的格式转换以及放大/缩小处理，并且将所得到的数字图像数据重新写入帧存储器1405中。该图像数据由编码/解码引擎1407进行编码并作为视频流被写入视频ES缓冲器1408A中。

另外，从连接部1321(图39)等输入至视频处理器1332的音频信号由音频编码器1410进行编码并被写入音频ES缓冲器1409A中作为音频流。

视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流由复用单元(MUX)1412读取并复用，并且被转换成传输流、文件数据等。复用单元(MUX)1412生成的传输流缓冲在流缓冲器1414中，然后，例如通过连接部1321、宽带调制解调器1333(全部在图39中)等输出至外部网络。另外，复用单元(MUX)1412生成的文件数据缓冲在流缓冲器1414中，然后输出至例如连接部1321(图39)等并记录在各种记录介质中。

另外，例如通过连接部1321、宽带调制解调器1333(全部在图39中)等从外部网络输入至视频处理器1332的传输流缓冲在流缓冲器1414中，然后由解复用单元(DMUX)1413进行解复用。另外，例如通过连接部1321(图39)等从各种记录介质读取并输入至视频处理器1332的文件数据缓冲在流缓冲器1414中，然后由解复用单元(DMUX)1413进行解复用。换言之，解复用单元(DMUX)1413将输入至视频处理器1332的传输流或文件数据分离成视频流和音频流。

将音频流通过音频ES缓冲器1409B提供至音频解码器1411并对其进行解码，并且对音频信号进行再现。另外，视频流被写入视频ES缓冲器1408B中，然后由编码/解码引擎1407顺序地读取和解码并写入帧存储器1405中。解码后的图像数据由第二图像放大/缩小单元1403处理成被放大或缩小并且写入帧存储器1405中。然后，解码后的图像数据由视频输出处理单元1404读取，根据诸如4:2:2Y/Cb/Cr系统等的预定系统被转换成另一格式并进一步转换成模拟信号，且再现并输出视频信号。

在本技术应用于这样配置的视频处理器1332的情况下，与上述每个实施例相关的本技术可应用于编码/解码引擎1407。换言之，例如，编码/解码引擎1407可被配置成具有根据第一实施例和第二实施例的编码设备和解码设备的功能。通过这样进行配置，视频处理器1332可以具有与以上参照图1至图20所述的优点相同的优点。

另外，在编码/解码引擎1407中，本技术(换言之，根据上述的每个实施例的图像编码设备和图像解码设备的功能)可由诸如逻辑电路的硬件或诸如嵌入程序的软件来实现，或者可由硬件和软件这两者来实现。

(视频处理器的另一配置实例)

图41示出了应用了本技术的视频处理器1332(图39)的示意性配置的另一实例。在图41所示的示例的情况下，视频处理器1332具有用于根据预定系统对视频数据进行编码和解码的功能。

更具体地，如图41所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。另外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用/解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。

控制单元1511控制布置在视频处理器1332内的每个处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。

如图41所示，控制单元1511例如包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制布置在视频处理器1332内的每个处理单元的操作的程序等。主CPU 1531根据该程序等生成控制信号，并且将控制信号提供至每个处理单元(换言之，控制每个处理单元的操作)。副CPU 1532实现了主CPU 1531的辅助作用。例如，副CPU 1532执行主CPU 1531执行的程序的子进程、例程等。系统控制器1533通过执行对主CPU 1531和副CPU 1532要执行的程序等的指定来控制主CPU1531和副CPU 1532的操作。

显示接口1512在控制单元1511的控制下将例如图像数据输出至连接部1321等(图39)。例如，显示接口1512将作为数字数据的图像数据转换成模拟信号，并且将作为再现视频信号的模拟信号或作为数字数据的图像数据输出至连接部1321(图39)的监视器装置等。

在控制单元1511的控制下，显示引擎1513对图像数据执行各种转换处理(诸如格式转换、尺寸转换和色域转换)，以与显示图像的监视器装置等的硬件规格匹配。

图像处理引擎1514在控制单元1511的控制下对图像数据执行预定图像处理，诸如用于改进图像质量的滤波处理等。

内部存储器1515是由显示引擎1513、图像处理引擎1514和编解码器引擎1516共用的存储器，并且设置在视频处理器1332内部。内部存储器1515例如用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间进行数据传递。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且按照需要(例如，根据请求)将数据提供至显示引擎1513、图像处理引擎1514和编解码器引擎1516。该内部存储器1515可通过使用任意种类的存储器装置来实现。然而，一般地，内部存储器通常用于以块和参数为单位存储诸如图像数据的少量数据，因此，优选的是使用具有相对小的容量(与外部存储器1312相比)且具有高响应速度(诸如固态随机存取存储器(SRAM))的半导体存储器来实现内部存储器。

编解码器引擎1516执行与对图像数据的编码和解码相关的处理。编解码器引擎1516符合的编码/解码系统是任意的，并且编码/解码系统的数量可以是一个或多个。例如，编码/解码系统可被配置成使得编解码器引擎1516可具有多个编码/解码系统的编解码器功能并且被配置为通过使用所选的一个编码/解码系统来执行图像数据的编码或者编码数据的解码。

在图41所示的示例中，编解码器引擎1516例如包括MPEG-2Video1541、AVC/H.2641542、HEVC/H.2651543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为用于与编解码器相关的处理的功能块。

MPEG-2Video 1541是根据MPEG-2系统对图像数据进行编码或解码的功能块。AVC/H.2641542是根据AVC系统对图像数据进行编码或解码的功能块。HEVC/H.2651543是根据HEVC系统对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)1544是根据HEVC系统对图像数据执行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC系统对图像数据执行多视图编码或多视图解码的功能块。

MPEG-DASH 1551是根据经由HTTP的MPEG-Dynamic自适应流送(MPEG-DASH)系统传送和接收图像数据的功能块。MPEG-DASH是用于使用超文本传输协议(HTTP)来执行视频流送的技术，并且其特征之一是选择预先准备的具有相互不同的分辨率等的多条编码数据之中的适当编码数据，并且以分段为单位传送该适当编码数据。MPEG-DASH1551执行符合该标准的流的生成、流的传送控制等，并且使用上述的MPEG-2Video 1541至HEVC/H.265(多视图)1545来对图像数据进行编码和解码。

存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514或编解码器引擎1516提供的数据通过存储器接口1517被提供至外部存储器1312。另外，从外部存储器1312读取的数据通过存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。

复用/解复用单元(MUX DMUX)1518执行与图像相关的各种数据(诸如编码数据的位流、图像数据和视频数据)的复用和解复用。复用/解复用的方法是任意的。例如，在执行复用时，复用/解复用单元(MUXDMUX)1518不仅可将多条数据排列成一条，而且可将预定报头信息等添加到数据中。另外，在执行解复用时，复用/解复用单元(MUX DMUX)1518不仅可将一条数据分割成多个部分，而且可将预定报头信息等添加到所分割的每个数据部分中。换言之，复用/解复用单元(MUX DMUX)1518可以通过复用/解复用处理对数据格式进行转换。例如，复用/解复用单元(MUX DMUX)1518可以通过对位流进行复用来将位流转换成作为传送格式的位流或记录文件格式的数据(文件数据)的传输流。显而易见的是，对其的逆转换可以通过解复用处理来执行。

网络接口1519是例如专用于宽带调制解调器1333、连接部132(全部在图39中)等的接口。视频接口1520是例如专用于连接部1321、相机1322(全部在图39中)等的接口。

接下来，将描述这样的视频处理器1332的操作的示例。例如，当通过连接部1321、宽带调制解调器1333(全部在图39中)等从外部网络接收传输流时，传输流通过网络接口1519被提供至复用/解复用单元(MUXDMUX)1518，被解复用，并且由编解码器引擎1516进行解码。对于通过编解码器引擎1516执行的解码处理而获取的图像数据，预定图像处理例如由图像处理引擎1514执行，并且预定转换由显示引擎1513执行。然后，所得到的图像数据通过显示接口1512被提供至例如连接部1321(图39)等，并且其图像显示在监视器上。另外，例如通过编解码器引擎1516执行的解码处理而获取的图像数据由编解码器引擎1516记录，由复用/解复用单元(MUX DMUX)1518进行复用，被转换成文件数据，通过视频接口1520输出至例如连接部1321(图39)等，并且被记录在各种记录介质上。

另外，通过对例如通过连接部1321(图39)等从未示出的记录介质读取的图像数据进行编码而获取的编码数据的文件数据通过视频接口1520被提供至复用/解复用(MUX DMUX)1518，被解复用，并且由编解码器引擎1516进行解码。对于通过编解码器引擎1516执行的解码处理而获取的图像数据，图像处理引擎1514执行预定图像处理，并且显示引擎1513执行预定转换。然后，所得到的图像数据通过显示接口1512被提供至例如连接部1321(图39)等，并且其图像显示在监视器上。另外，例如通过编解码器引擎1516执行的解码处理而获取的图像数据由编解码器引擎1516记录，由复用/解复用单元(MUX DMUX)1518复用，被转换成传输流，通过网络接口1519被提供至例如连接部1321、宽带调制解调器1333(全部在图39中)等，并且被传送至未示出的另一设备。

这里，使用内部存储器1515或外部存储器1312来在布置在例如视频处理器1332内部的各处理单元之间传送/接收图像数据和其他数据。另外，电力管理模块1313例如控制向控制单元1511的电力供给。

在本技术应用于这样配置的视频处理器1332的情况下，根据上述的每个实施例的本技术可应用于编解码器引擎1516。换言之，例如，编解码器引擎1516可被配置成包括实现根据第一和第二实施例的编码设备和解码设备的功能块。通过这样配置的编解码器引擎1516，视频处理器1332可以获取与以上参照图1至图20所述的优点类似的优点。

另外，在编解码器引擎1516中，本技术(换言之，根据上述的每个实施例的图像编码设备和图像解码设备的功能)可由诸如逻辑电路的硬件或诸如嵌入程序的软件来实现，或者可由硬件和软件两者来实现。

虽然如上描述了视频处理器1332的配置的两个示例，但是视频处理器1332的配置是任意的并且可以是除了上述的两个示例外的配置。这里，视频处理器1332可被配置为一个半导体芯片或多个半导体芯片。例如，视频处理器可被配置为三维堆叠LSI。另外，视频处理器可由多个LSI来实现。

(对设备的应用示例)

视频装置1300可内置于对图像数据进行处理的各种设备中。例如，视频装置1300可内置于电视机设备900(图35)、移动电话920(图36)、记录/再现设备940(图37)、成像设备960(图38)等中。通过将视频装置1300内置于其中，该设备可以获取与以上参照图1至图20所述的优点类似的优点。

此外，上述的视频装置1300的配置中的部分配置在视频处理器1332包括在其中的情况下可以是应用了本技术的配置。例如，仅视频处理器1332可被配置为应用了本技术的视频处理器。另外，如上所述，由虚线1341表示的处理器、视频模块1311等可被配置为应用了本技术的处理器、模块等。此外，例如，可将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合以配置为应用了本技术的视频单元1361。在这些配置中的任一配置中，可以获取与以上参照图1至图20描述的优点相同的优点。

换言之，类似于视频装置1300的情况，包括视频处理器1332的任意配置可内置于对图像数据进行处理的各种设备中。例如，视频处理器1332、由虚线1341表示的处理器、视频模块1311或视频单元1361可内置于电视机设备900(图35)、移动电话920(图36)、记录/再现设备940(图37)、成像设备960(图38)等中。通过将应用了本技术的任意配置构建到设备中，类似于视频装置1300的情况，该设备可以获取与以上参照图1至图20所述的优点相同的优点。

在本说明书中，描述了诸如标识数据的各种信息被复用到编码数据中并且从编码侧传送至解码侧的示例。然而，用于传送这样的信息的技术不限于这样的技术。例如，这样的信息可被传送或记录为与编码数据相关联的独立数据而不复用到编码数据中。这里，术语“关联”表示获取包括在位流中的图像(其可以是诸如条带、块等的图像的一部分)和对应于该图像的信息并且在对图像和信息进行解码时将图像和信息彼此链接。换言之，可在除了编码数据的传输线路外的传输线路中传送该信息。另外，该信息可记录在除了用于编码数据的记录介质外的记录介质(或者相同记录介质的不同记录区域)上。此外，信息和编码数据例如可以以任意部分为单位(诸如多个帧、一帧或该帧的一部分)彼此相关联。

当通过网络介质(诸如卫星广播、有线TV、互联网或移动电话)接收通过诸如离散余弦变换和运动补偿的正交变换来压缩的位流时，或者当在存储介质(诸如光盘、磁盘或闪存)上处理压缩后的位流时，本公开内容可应用于如在MPEG、H.26x等中使用的编码设备和解码设备。

此外，根据本公开内容的编码系统可以是除了以具有递归层级结构的单位执行编码的HEVC系统外的编码系统。

在本说明书中，系统表示多个构成元件的集合(设备、模块(部件)等)，并且所有构成元件不必设置在同一壳体中。因而，容置于分开的壳体中并且通过网络连接的多个设备以及多个模块容置于一个壳体中的一个设备是系统。

另外，在本说明书中描述的优点仅仅是示例，并且优点不限于此，可存在其他优点。

根据本公开内容的实施例不限于上述实施例，但可在不背离本公开内容的构思的范围内在这些实施例中进行各种改变。

例如，本公开内容可采用一种功能通过网络由多个设备分担并协作地处理的云计算的配置。

另外，在上述的每个流程图中描述的每个步骤可以由一个设备执行或者由多个设备以共享方式执行。

此外，在多个处理包括在一个步骤中的情况下，包括在该一个步骤中的多个处理可由一个设备执行或者由多个设备以共享方式执行。

本公开内容还可以采用以下配置。

(1)一种解码设备，包括：

解码单元，其以被递归地分割的块为单位对根据编码标准所编码的位流进行解码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

(2)根据以上在(1)中所述的解码设备，

其中，针对所述多个层级中的每一个而设置的最低压缩率对于每个级别而言不同。

(3)根据以上在(1)或(2)中所述的解码设备，

其中，所述多个层级是主层级和高层级。

(4)根据以上在(3)中所述的解码设备，

其中，为预定级别或较高级别的级别的所述高层级的最低压缩率和所述主层级的最低压缩率彼此不同。

(5)根据以上在(4)中所述的解码设备，

其中，所述预定级别是级别5。

(6)根据以上在(5)中所述的解码设备，

其中，为级别5或较高级别的级别的所述高层级的最低压缩率是4。

(7)根据以上在(1)至(6)之一中所述的解码设备，

其中，所述编码标准是H.265/HEVC标准，并且

其中，所述解码单元根据所述H.265/HEVC标准对所编码的位流进行解码。

(8)一种使用解码设备的解码方法，所述解码方法包括：

解码步骤，以被递归地分割的块为单位对根据编码标准所编码的位流进行解码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

(9)一种编码设备，包括：

编码单元，以被递归地分割的块为单位、根据编码标准对图像进行编码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

(10)根据以上在(9)中所述的编码设备，

(11)根据以上在(9)或(10)中所述的编码设备，

其中，所述多个层级是主层级和高层级。

(12)根据以上在(11)中所述的编码设备，

(13)根据以上在(12)中所述的编码设备，

其中，所述预定级别是级别5。

(14)根据以上在(13)中所述的编码设备，

(15)根据以上在(9)至(14)之一中所述的编码设备，

其中，所述编码标准是H.265/HEVC标准，并且

其中，所述编码单元根据所述H.265/HEVC标准对所述图像进行编码。

(16)一种使用编码设备的编码方法，所述编码方法包括：

编码步骤，以被递归地分割的块为单位、根据编码标准对图像进行编码，其中所述编码标准具有简档，在所述简档中，针对多个层级中的每一个而设置在对图像进行编码时的最低压缩率。

附图标记列表

10 编码设备

11 设置单元

12 编码单元

110 解码设备

112 提取单元

114 解码单元

Claims

1.一种解码设备，包括：

2.根据权利要求1所述的解码设备，

3.根据权利要求2所述的解码设备，

其中，所述多个层级是主层级和高层级。

4.根据权利要求3所述的解码设备，

5.根据权利要求4所述的解码设备，

其中，所述预定级别是级别5。

6.根据权利要求5所述的解码设备，

7.根据权利要求6所述的解码设备，

其中，所述编码标准是H.265/HEVC标准，并且

8.一种使用解码设备的解码方法，所述解码方法包括：

9.一种编码设备，包括：

10.根据权利要求9所述的编码设备，

11.根据权利要求10所述的编码设备，

其中，所述多个层级是主层级和高层级。

12.根据权利要求11所述的编码设备，

13.根据权利要求12所述的编码设备，

其中，所述预定级别是级别5。

14.根据权利要求13所述的编码设备，

15.根据权利要求14所述的编码设备，

其中，所述编码标准是H.265/HEVC标准，并且

16.一种使用编码设备的编码方法，所述编码方法包括：