CN105247864A - 图像处理装置、图像处理方法及程序 - Google Patents

Abstract

用于处理图像信号的图像处理系统、方法及装置。所述图像处理系统、方法及装置接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及基于由操作模式信号指示的已确定操作模式来控制块设置过程的块划分深度。

Description

图像处理装置、图像处理方法及程序

相关申请的交叉引用

本申请要求2013年5月31日提交的日本优先权专利申请JP2013-114947的权益，其全部内容通过引用合并到本文中。

技术领域

本公开内容涉及图像处理装置、图像处理方法及程序。

背景技术

目前，联合协作组-视频编码(JCTVC)已在进行被称为高效率视频编码(HEVC)的图像编码方案的标准化，ITU-T与ISO/IEC间的联合标准组，旨在将编码效率提高到超过H.264/AVC。

采用旧的图像编码方案如MPEG-2或H.264/AVC，在被称为宏块的处理单元中执行编码过程。宏块是具有16×16像素的统一尺寸的块。相反地，采用HEVC，在被称为编码单元(CU)的处理单元中执行编码过程。CU是通过递归地划分最大编码单元(LCU)而形成的具有可变尺寸的块。最大可用CU尺寸为64×64像素。最小可用CU尺寸为8×8像素。由于实现具有可变尺寸的CU，用HEVC可以根据图像内容适当地调整图像质量和编码效率。通常基于影响编码效率的成本的比较来确定将LCU划分多深(即，使用什么尺寸的CU)的问题。

引用列表

专利文献

PTL1：JP2008-078969A

发明内容

技术问题

然而，如果试图针对所有可想到的划分模式执行综合成本比较，那么处理负荷变得非常大，并且对编码器的能耗或处理性能产生不利影响。

因此，希望实现能够灵活配置块划分深度的机制。

问题的解决方案

根据本公开内容的实施方式，提供了一种图像处理装置，该图像处理装置包括设置部和控制部，设置部设置通过递归地划分图像的块而形成的编码单元以在块中编码，控制部根据与资源效率有关的模式对在设置部中执行的块划分深度进行控制。

根据本公开内容的实施方式，提供了一种图像处理方法，该图像处理方法包括设置通过递归地划分图像的块而形成的编码单元以在块中编码，以及当在块中设置编码单元时根据与资源效率有关的模式对块划分深度进行控制。

根据本公开内容的实施方式，提供了一种程序，其使控制图像处理装置的计算机用作：设置部，其设置通过递归地划分图像的块而形成的编码单元以在块中编码；以及控制部，其根据与资源效率有关的模式对在设置部中执行的块划分深度进行控制。

在本公开内容的一个或更多个实施方式中，一种用于对图像信号进行编码的编码器包括处理器，该处理器被配置成：接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及基于由操作模式信号指示的已确定操作模式来控制块设置过程的块划分深度。可选地，编码器根据高效率视频编码(HEVC)来对图像信号进行编码。

可选地，处理器对于每个已确定的最大编码单元(LCU)基于由操作模式信号指示的已确定操作模式来控制块设置过程的块划分深度。操作模式可以是基于针对用户接口的、从多个操作模式中选择操作模式的用户输入确定的。可选地，与资源效率相关联的已确定操作模式是正常模式和资源效率模式之一，并且通过针对用户接口的用户输入指定，资源效率模式是以下模式之一：其中减少电池消耗优先于图像质量的电池使用效率模式；当电池电量低于阈值时自动启动的电池电量模式；以及其中处理资源优先的处理资源使用效率模式。

此外，可选地，已确定操作模式是第一操作模式和第二操作模式之一，并且处理器通过在第一操作模式下将块划分深度设置成第一深度以及通过在第二操作模式下将块划分深度设置成第二深度来控制块设置过程的块划分深度，第二操作模式下的第二深度小于第一操作模式下的第一深度。

对于从包括第一操作模式和第二操作模式的多个操作模式中确定的第一操作模式，可选地，处理器控制块划分深度以使得不限制块设置过程的块划分深度。可选地或可替选地，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的第一操作模式，处理器对从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)执行块设置过程。

此外，可选地，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的第二操作模式，处理器控制块划分深度以使得限制块设置过程的块划分深度。可选地或可替选地，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的第二操作模式，处理器对少于从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)执行块设置过程。可选地或可替选地，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的第二操作模式，与针对关于总数量的CU的第一操作模式执行的计算相比，处理器处理至少一个关于少于总数量的CU的多个编码单元(CU)的较小成本计算。

可选地，通过以下方式执行块划分过程：增大最小编码单元(SCU)的值并且执行关于包括已确定的最大编码单元(LCU)的所有其他编码单元(CU)的成本计算和成本比较；或者跳过关于LCU的成本计算和成本比较。可选地或可替选地，通过以下方式执行块划分过程：减小已确定的最大编码单元(LCU)的值并且执行关于包括最小编码单元(SCU)的所有其他编码单元(CU)的成本计算和成本比；或者跳过关于LCU的成本计算和成本比较。

根据本公开内容的一个或更多个实施方式，一种被配置成对编码图像信号进行解码的解码器包括处理电路，该处理电路被配置成对编码图像信号进行解码以重现与编码图像信号相关联的四叉树结构，其中，编码图像信号是基于以下信息编码的：操作模式信号，其指示对编码图像信号进行编码的编码器的与资源效率相关联的已确定操作模式；以及基于对编码图像信号进行编码的编码器的由操作模式信号指示的已确定操作模式来针对块设置过程设置的块划分深度。可选地，处理电路基于多路复用至编码图像信号的参数，通过递归地划分编码图像信号的最大编码单元(LCU)来重现与编码图像信号相关联的四叉树结构。

此外，根据本公开内容的一个或更多个实施方式，一种图像处理系统包括用户接口；以及处理电路，被配置成：接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及基于由操作模式信号指示的已确定操作模式来控制块设置过程的块划分深度，其中，已确定操作模式是基于针对用户接口的、从多个操作模式中选择操作模式的用户输入确定的。

可选地，处理电路对于每个已确定的最大编码单元(LCU)基于由操作模式信号指示的已确定操作模式来控制块设置过程的块划分深度。此外，在本公开内容的一个或更多个实施方式中，已确定操作模式是第一操作模式和第二操作模式之一，并且处理电路通过在第一操作模式下将块划分深度设置成第一深度以及通过在第二操作模式下将块划分深度设置成第二深度来控制块设置过程的块划分深度，第二操作模式下的第二深度小于第一操作模式下的第一深度。

在本公开内容的一个或更多个实施方式中，图像处理系统可以是移动电话并且还包括电池。或者，图像处理系统是记录和播放装置并且还包括解码器；HDD；以及盘驱动器。或者，图像处理系统是摄像机并且还包括电池；以及图像拍摄电路。

本发明的技术效果

根据依照本公开内容的技术，块划分深度的灵活配置成为可能。

附图说明

[图1]图1是描述HEVC中的递归块划分的示例的说明图。

[图2]图2是描述编码器进行的块划分确定的说明图。

[图3A]图3A是描述用于划分确定的处理序列的示例的第一说明图。

[图3B]图3B是描述用于划分确定的处理序列的示例的第二说明图。

[图4]图4是示出根据第一实施方式的图像编码装置的示意性配置的框图。

[图5A]图5A是示出块划分部的详细配置的第一示例的框图。

[图5B]图5B是示出块划分部的详细配置的第二示例的框图。

[图5C]图5C是示出块划分部的详细配置的第三示例的框图。

[图6A]图6A是示出使用户能够指定操作模式的用户接口的第一示例的说明图。

[图6B]图6B是示出使用户能够指定操作模式的用户接口的第二示例的说明图。

[图7A]图7A是示出在并行处理中资源效率与操作模式之间的关系的第一示例的说明图。

[图7B]图7B是示出在并行处理中资源效率与操作模式之间的关系的第二示例的说明图。

[图8A]图8A是示出在串行处理中资源效率与操作模式之间的关系的第一示例的说明图。

[图8B]图8B是示出在串行处理中资源效率与操作模式之间的关系的第二示例的说明图。

[图9]图9是用于描述编码过程的加速的说明图。

[图10]图10是示出块划分过程的图解流程的示例的流程图。

[图11A]图11A是示出模式确定过程的详细流程的第一示例的流程图。

[图11B]图11B是示出模式确定过程的详细流程的第二示例的流程图。

[图11C]图11C是示出模式确定过程的详细流程的第三示例的流程图。

[图11D]图11D是示出模式确定过程的详细流程的第四示例的流程图。

[图12]图12是示出正常模式下的块设置过程的详细流程的示例的流程图。

[图13A]图13A是示出资源节约模式下的块设置过程的详细流程的第一示例的流程图。

[图13B]图13B是示出资源节约模式下的块设置过程的详细流程的第二示例的流程图。

[图13C]图13C是示出资源节约模式下的块设置过程的详细流程的第三示例的流程图。

[图13D]图13D是示出资源节约模式下的块设置过程的详细流程的第四示例的流程图。

[图14]图14是描述在资源节约模式下调整LCU尺寸的情况下块的扫描顺序的说明图。

[图15]图15是示出根据第二实施方式的图像编码装置的示意性配置的框图。

[图16]图16是示出帧内/帧间确定控制过程的详细流程的示例的流程图。

[图17]图17是描述帧内/帧间确定的处理序列的示例的说明图。

[图18]图18是示出合并确定控制过程的详细流程的示例的流程图。

[图19]图19是示出变换单元控制过程的详细流程的示例的流程图。

[图20]图20是示出移动电话的示意性配置的示例的框图。

[图21]图21是示出记录和播放装置的示意性配置的示例的框图。

[图22]图22是示出图像拍摄装置的示意性配置的示例的框图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施方式。应注意，在本说明书和附图中，采用相同的附图标记表示具有基本上相同功能和结构的结构元件并且省略对这些结构元件的重复说明。

此外，将按照下述顺序进行说明。

1.递归块划分

1-1.块划分的示例

1-2.与块划分有关的语法

1-3.块划分的处理序列

2.第一实施方式

2-1.整体配置

2-2.块划分部的详细配置

2-3.操作模式与资源效率之间的关系

2-4.处理流程

3.第二实施方式

3-1.整体配置

3-2.帧内/帧间确定的控制

3-3.合并确定的控制

3-4.变换单元设置的控制

4.应用

5.结论

<1.递归块划分>

<1-1.块划分的示例>

采用HEVC，针对要编码的图像配置一个或更多个最大编码单元(LCU)，并且通过递归地划分LCU来配置一个或更多个编码单元(CU)。CU是HEVC中的编码过程的处理单元。然而在较旧的图像编码方案如MPEG-2或H.264/AVC中，宏块的尺寸固定为16×16像素，CU的尺寸是可变的。由最小编码单元(SCU)尺寸和LCU尺寸规定CU尺寸可以选取的范围。根据HEVC规范，由于SCU尺寸的最小值为8×8像素以及LCU尺寸的最大值为64×64像素，所以在最广泛的情况下，CU尺寸的可用范围是从8×8像素到64×64像素。

通过递归地划分LCU而形成的树状块结构被称为四叉树结构。CU对应于四叉树的叶。图1是用于描述HEVC中的递归块划分的示例的说明图。图1的左侧示出了描绘人脸的图像IM01。图像IM01包括水平方向上的ULCU和竖直方向上的VLCU，或者换言之，U×VLCU。每个LCU被递归地划分成在不小于SCU尺寸的范围内的一个或更多个CU。作为示例，图1的右侧示出了其中纹理边界(人的头部与背景之间的边界)所穿过的LCU0被划分成多个CU的状态的放大图。在纹理边界附近的区域中，通过重复划分来配置小的CU，而在其他区域中，通过减少划分数来配置大的CU。例如，假定LCU0的尺寸为64×64像素，则CU01的尺寸为32×32像素、CU02的尺寸为16×16像素以及CU03的尺寸为8×8像素。重复划分数还被称为划分深度。在LCU尺寸为64×64像素的情况下，如果划分深度为0则CU尺寸为64×64像素，如果划分深度为1则CU尺寸为32×32像素，如果划分深度为2则CU尺寸为16×16像素，以及如果划分深度为3则CU尺寸为8×8像素。在LCU的尺寸为32×32像素的情况下，如果划分深度为0则CU尺寸为32×32像素，如果划分深度为1则CU尺寸为16×16像素，以及如果划分深度为2则CU尺寸为8×8像素。此外，虽然未在附图中示出，但是每个CU可以被划分成用作正交变换的各处理单元的一个或更多个变换单元(TU)。此外，每个CU可以被划分成用作帧内预测或帧间预测的各处理单元的一个或更多个预测单元(PU)。根据这种递归块划分，通过根据图像内容来改变块尺寸，可以灵活调整要解码的图像的图像质量和编码效率。

<1-2.与块划分有关的语法>

在编码器处确定在图像中放置什么尺寸的LCU以及如何将每个LCU划分成CU的问题。编码器将使解码器能够重现所确定的四叉树结构的参数多路复用到要编码的图像的流中。在HEVC规范草案10(BenjaminBross,Woo-JinHan,GaryJ.Sullivan,Jens-RainerOhm,GaryJ.Sullivan,Ye-KuiWang,ThomasWiegand,"HighEfficiencyVideoCoding(HEVC)textspecificationdraft10(forFDIS&Consent)",JCTVC-L1003_v4,2013年1月14日至23日)中，将下面三个参数限定为用于指定四叉树结构的参数：

-log2_min_luma_coding_block_size_minus3

-log2_diff_max_min_luma_coding_block_size

-split_cu_flag

参数“log2_min_luma_coding_block_size_minus3”指定(亮度分量)SCU尺寸(表示为通过从以2为底SCU尺寸的对数中减去3而获得的值)。例如，如果该参数等于0，则SCU尺寸为8×8像素。参数“log2_diff_max_min_luma_coding_block_size”指定SCU尺寸(的对数)与LCU尺寸(的对数)之间的差。例如，如果SCU尺寸为8×8像素并且该参数等于3，则LCU尺寸为64×64像素。具有使用这些参数指定的尺寸的LCU以栅格布置在图像上。标志“split_cu_flag”指定是否对每个LCU或从LCU划分的每个CU进行划分(下文中指定为分裂标志)，并且根据划分深度递归地生成。在与给定的LCU或CU相关联的分裂标志指示0的情况下，不再划分LCU或CU。在与给定的LCU或CU相关联的分裂标志指示1的情况下，将LCU或CU划分为四个尺寸减半的CU。而将“log2_min_luma_coding_block_size_minus3”和“log2_diff_max_min_luma_coding_block_size”包括在序列参数集(SPS)中，将split_cu_flag集包括在每个片的分段数据中。

<1-3.块划分的处理序列>

解码器参照上述参数递归地划分LCU以重现四叉树结构。同时，编码器基于根据预期要产生的编码速率的成本的比较来确定是否将LCU或CU划分成较小的CU。在实际实践中，如在HM参考软件中实现的那样，可以以自下而上的方式进行这个过程，其中从最小尺寸开始按顺序进行成本计算和划分确定。

图2是描述由编码器确定的块划分的说明图。在图2的示例中，LCU尺寸为64×64像素，并且SCU尺寸为8×8像素。附图的左边缘处示出的四个块B30、B31、B32和B33是尺寸等于SCU尺寸的候选CU。块B20是尺寸为SCU尺寸的两倍的候选CU。编码器首先计算用于四个块B30、B31、B32和B33以及块B20的各自的成本，并且比较块B30、块B31、块B32和块B33的总成本与块B20的成本(过程P1)。随后，在前者的成本较低的情况下，编码器确定将块B20划分为B30、块B31、块B32和块B33。相反地，在后者的成本较低的情况下，编码器确定不划分块B20。此外，当针对四个块B20、B21、B22和B23的划分确定完成时，编码器计算块B10的成本，并且比较块B20、块B21、块B22和块B23的总成本与块B10的成本(过程P2)。随后，在前者的成本较低的情况下，编码器确定将块B10划分为块B20、块B21、块B22和块B23。相反地，在后者的成本较低的情况下，编码器确定不划分块B10。此外，当针对四个块B10、B11、B12和B13划分确定完成时，编码器计算块B00的成本，并且比较块B10、块B11、块B12和块B13的总成本与块B00的成本(过程P3)。随后，在前者的成本较低的情况下，编码器确定将块B00划分为块B10、块B11、块B12和块B13。相反地，在后者的成本较低的情况下，编码器确定不划分块B00。在候选CU尺寸达到LCU尺寸的情况下，对于较大的尺寸不进行成本计算和成本比较。分裂标志(split_cu_flag)将这种划分确定表示为值0(不划分)或1(划分)。

图3A和图3B是描述用于划分确定的处理序列的示例的说明图。图3A示出了在本说明书中使用的块的标签。仅一个64×64像素CU存在于LCU内，并且将该CU标记为“64×64(0)”。四个32×32像素CU存在于LCU内，并且将这些CU按顺序从左上、右上、左下、右下标记为从“32×32(0)”到“32×32(3)”。十六个16×16像素CU存在于LCU内，并且将这些CU按图中所示的顺序标记为从“16×16(0)”到“16×16(15)”。六十四个8×8像素CU存在于LCU内，并且将这些CU按图中所示的顺序标记为从“8×8(0)”到“8×8(63)”。图3B图解地示出了针对这些CU的成本计算过程和划分确定(成本比较)过程的顺序的示例。成本计算过程表示为“成本{X}”，并且划分确定过程表示为“比较{X}”，其中X是要处理的块的标签。应注意，在实际实践中，也可以并行进行若干处理。如图3B中所示，在最大的情况下，成本计算过程执行64+16+4+1＝85次，并且划分确定过程执行16+4+1＝21次。

然而，如果试图执行图3B中所示的综合成本计算和成本比较，那么处理负荷变得非常大，并且编码器的资源效率降低。例如，对于由电池驱动的移动设备，过大的负荷可能会缩短电池寿命。在设备缺乏足够的处理器性能或存储器容量的情况下，过大的负荷甚至可能妨碍过程的正常进度。此外，即使在设备具有足够的处理器性能和存储器容量的情况下，如果有大量的处理，那么编码处理需要时间。因此，在接下来的章节中所描述的实施方式中，设置除了正常操作模式以外的新的操作模式，以使得能够适当地控制处理负荷。采用新的操作模式，通过限制划分深度进行处理，可以有效利用编码资源，并且减少处理负荷。应注意，在本说明书中，为了方便起见，正常操作模式被指定为“正常模式”，并且其中有效利用资源的操作模式被指定为“资源节约模式”。

<2.第一实施方式>

<2-1.整体配置>

图4是示出根据第一实施方式的图像编码装置10的示意性配置的框图。参照图4，图像编码装置10配备有重排序缓冲器11、相减部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、相加部23、环路滤波器24、帧存储器25、选择部26和选择部27、帧内预测部30、帧间预测部35以及块划分部40。

重排序缓冲器11对包括在图像数据的序列中的图像进行重排序。在根据编码处理根据图片组(GOP)结构对图像进行重排序之后，重排序缓冲器11将经重排序的图像数据输出至相减部13、帧内预测部30、帧间预测部35以及块划分部40。

给相减部13提供从重排序缓冲器11输入的图像数据以及从后述的帧内预测部30或帧间预测部35输入的预测图像数据。相减部13计算预测误差数据，并且将所计算的预测误差数据输出至正交变换部14，预测误差数据是从重排序缓冲器11输入的图像数据与预测图像数据之间的差。

正交变换部14对从相减部13输入的预测误差数据进行正交变换。例如，正交变换部14所执行的正交变换可以是离散余弦变换(DCT)或卡洛(Karhunen-Loeve)变换。针对通过划分CU而形成的每个变换单元(TU)执行正交变换。自适应地从4×4像素、8×8像素、16×16像素以及32×32像素选择TU尺寸。正交变换部14将通过正交变换处理获得的变换系数数据输出至量化部15。

给量化部15提供从正交变换部14输入的变换系数数据和来自将在下面描述的速率控制部18的速率控制信号。量化部15用根据速率控制信号确定的量化步长对变换系数数据进行量化。量化部15将量化后的变换系数数据(下文中称为量化数据)输出至无损编码部16和逆量化部21。

无损编码部16通过对从量化部15输入的量化数据进行无损编码过程来生成编码流。此外，无损编码部16对解码器所参考的各种参数进行编码，并且将已编码参数插入到编码流的头区域中。由无损编码部16编码的参数可以包括指定四叉树结构的上述参数以及将在下面描述的有关帧间预测的信息和有关帧内预测的信息。然后，无损编码部16将所生成的编码流输出至累积缓冲器17。

累积缓冲器17使用存储介质如半导体存储器暂时缓冲从无损编码部16输入的编码流。然后，累积缓冲器17根据传输通道的带宽以一定速率将缓冲的编码流输出至未示出的传输部(例如，通信接口或与外围设备连接的连接接口)。

速率控制部18监视累积缓冲器17中的空闲空间。然后，速率控制部18根据累积缓冲器17中的空闲空间生成速率控制信号，并且将所生成的速率控制信号输出至量化部15。例如，当累积缓冲器17中没有太多空闲空间时，速率控制部18生成用于降低量化数据的比特率的速率控制信号。此外，例如，当累积缓冲器17中的空闲空间足够大时，速率控制部18生成用于增大量化数据的比特率的速率控制信号。

逆量化部21、逆正交变换部22以及相加部23形成局部解码器。逆量化部21采用与量化部15所使用的量化步长相同的量化步长对量化数据进行逆量化，并且重构变换系数数据。然后，逆量化部21将重构的变换系数数据输出至逆正交变换部22。

逆正交变换单元22通过对从逆量化部21输入的变换系数数据进行逆正交变换来重构预测误差数据。类似于正交变换，针对每个TU执行逆正交变换。然后，逆正交变换部22将重构的预测误差数据输出至相加部23。

相加部23通过将从逆正交变换部22输入的重构的预测误差数据和从帧内预测部30或帧间预测部35输入的预测图像数据相加来生成解码图像数据(重构图像)。然后，相加部23将所生成的解码图像数据输出至环路滤波器24和帧存储器25。

环路滤波器24包括用于改进图像质量的滤波器组，如去块滤波器(DF)、样本自适应偏移(SAO)滤波器以及自适应环路滤波器(ALF)。环路滤波器24对从相加部23输入的解码图像数据进行滤波并且将经滤波的解码图像数据输出至帧存储器25。

帧存储器25使用存储介质存储从相加部23输入的滤波前的解码图像数据以及从环路滤波器24输入的经滤波的解码图像数据。

选择部26从帧存储器25中检索要用于帧内预测的滤波前的解码图像数据并且将检索到的解码图像数据作为参考图像数据提供给帧内预测部30。此外，选择部26从帧存储器25中检索要用于帧间预测的经滤波的解码图像数据并且将检索到的解码图像数据作为参考图像数据提供给帧间预测部35。

在帧内预测模式下，选择部27将预测图像数据作为从帧内预测部30输出的帧内预测的结果输出至相减部13，并且还将有关帧内预测的信息输出至无损编码部16。此外，在帧间预测模式下，选择部27将预测图像数据作为从帧间预测部35输出的帧间预测的结果输出至相减部13，并且还将有关帧间预测的信息输出至无损编码部16。选择部27根据成本大小在帧间预测模式和帧内预测模式间切换。

帧内预测部30基于原始图像数据和解码图像数据对通过划分CU而形成的每个预测单元(PU)执行帧内预测处理。例如，帧内预测部30针对预测模式集合中的每个候选模式使用指定的成本函数来评估预测结果。接下来，帧内预测部30选择产生最小成本的预测模式作为最佳预测模式，或者换言之，选择产生最大压缩比的预测模式作为最佳预测模式。此外，帧内预测部30根据最佳预测模式生成预测图像数据。然后，帧内预测部30将包括表示所选择的最佳预测模式的预测模式信息的与帧内预测有关的信息、以及成本和预测图像数据输出至选择部27。

帧间预测部35基于原始图像数据和解码图像数据对通过划分CU而形成的每个PU执行帧间预测处理。例如，帧间预测部35针对预测模式集合中的每个候选模式使用指定的成本函数来评估预测结果。接下来，帧间预测部35选择产生最小成本的预测模式作为最佳预测模式，或者换言之，选择产生最大压缩比的预测模式作为最佳预测模式。此外，帧间预测部35根据最佳预测模式生成预测图像数据。然后，帧间预测部35将包括表示所选择的最佳预测模式的预测模式信息和运动信息的与帧内预测有关的信息以及成本和预测图像数据输出至选择部27。

针对在图像中配置的每个LCU，块划分部40配置CU的四叉树结构。更具体地，块划分部40将LCU以栅格布置在图像上。此外，块划分部40将每个LCU划分成多个候选CU。随后，如图2所示，块划分部40针对给定尺寸的四个候选CU的以及两倍尺寸的候选CU的计算成本。然后块划分部40比较四个候选CU的总的成本与两倍尺寸的候选CU的成本，并且确定是否划分两倍尺寸的候选CU。当累积从SCU尺寸上至LCU尺寸的成本时，块划分部40执行这种成本计算和划分确定，并且在各LCU中配置优化编码效率的CU的四叉树结构。此外，在本实施方式中，块划分部40根据与资源效率相关的操作模式控制上述过程中的块划分深度。在操作模式的选择中提供至少两种类型。第一操作模式是正常模式，而第二操作模式是资源节约模式。相对于正常模式，在资源节约模式下，用于成本计算和划分确定处理的CU尺寸的范围限制在较窄的范围内。应注意，也可以设置具有不同CU尺寸限制水平的多个资源节约模式。

<2-2.块划分部的详细配置>

在本章节中，将描述块划分部40的详细配置的几个示例。

(1)第一示例配置

图5A是示出块划分部40的详细配置的第一示例的框图。参考图5A，块划分部40配备有模式控制部41和块设置部47。例如，模式控制部41和块设置部47可以是由处理器如中央处理单元(CPU)或数字信号处理器(DSP)执行的程序模块。

模式控制部41确定与资源效率相关的操作模式，并且根据所确定的模式通过块设置部47控制块划分深度。模式控制部41可以选择任何数量的操作模式候选。例如，操作模式候选包括上面讨论的正常模式和资源节约模式。在选择正常模式的情况下，在不限制块划分深度的情况下，模式控制部41使用CU的各种可用尺寸，使得能够以高质量解码图像。另一方面，相对于正常模式，资源节约模式指示资源效率优先。在选择资源节约模式的情况下，模式控制部41由块设置部47限制块划分深度。

作为示例，资源效率可以是指电池使用效率。在这种情况下，在资源节约模式下，减少电池消耗优先于图像质量。例如，模式控制部41可以监视给图像编码装置10供电的电池的电量，并且在电池电量低于阈值的情况将操作模式自动设置为资源节约模式。可以在电池电量不低于阈值的情况下将操作模式设置为正常模式。或者，例如，在图像编码装置10未连接到外部电源的情况下(即，通过电池驱动)，模式控制部41可以将操作模式自动地设置为资源节约模式。在图像编码装置10连接到外部电源的情况下，可以将操作模式设置为正常模式。此外，模式控制部41也可以结合这两个标准。例如，在图像编码装置10未连接到外部电源且电池电量低于阈值的情况下，将操作模式设置为资源节约模式。

作为另一示例，资源效率可以是指处理资源如处理器、存储器或逻辑电路的使用效率。在这种情况下，在资源节约模式下，优先考虑有效地利用处理资源。此外，例如，所产生的过量的处理资源可以用于实现较高的帧速率。否则，可以通过提前执行稍后讨论的过程来加速编码过程。

模式控制部41也可以设置由用户输入指定的操作模式。可以经由用户接口如设置在设备中的触摸面板、按钮、开关、调节控制盘或者语音输入接口来获取用户输入。图6A和图6B分别示出了使用户能够指定操作模式的用户接口的示例。在图6A的第一示例中，操作模式指定窗口W1是可以显示在触摸面板上的窗口。操作模式指定窗口W1包括滑块SD1。用户能够通过向左向右拖动滑块SD1来指定三种操作模式之一。例如，在滑块SD1位于左边缘的情况下，资源效率模式被选择，并且可以优先考虑减少电池消耗。在滑块SD1位于右边缘的情况下，正常模式被选择，并且可以图像质量优先。在滑块SD1位于中间的情况下，中间操作模式被选择。在图6B的第二示例中，操作模式指定窗口W2是可以显示在屏幕上的窗口。操作模式指定窗口W2包括复选框CB1。用户能够通过指定复选框CB1中列出的候选之一来指定两种操作模式之一。例如，在指定顶部候选的情况下，为一种类型的资源效率模式的快速模式被选择，并且块划分深度被限制以加速编码处理。在指定底部候选的情况下，正常模式被选择，并且图像质量可以优先于处理速率。应注意，替代如图6A和图6B中所示的那样使用户指定操作模式，也可以设置使用户能够指定划分深度限制值的用户接口。

作为另一示例，在拍摄图像的装置的快速运动的情况下，模式控制部41也可以将操作模式自动地设置为资源节约模式。例如，模式控制部41可以基于来自结合摄像机设置的传感器(例如，如加速度传感器或陀螺仪传感器)的输出监视表示摄像机运动的指标(如加速度、速度或角速度)。通常，在快速摄像机运动的情况下，由于预测编码的较低精度，所以难以保持高的图像质量。此外，当视角快速变化时，用户的视觉特性倾向于不过度感知图像质量劣化。因此，在快速摄像机运动的条件下自动设置资源节约模式并且有效利用资源优先于保持图像质量是有价值的。

针对一个或更多个LCU中的每个LCU，块设置部47配置具有通过递归地划分该LCU而形成的四叉树结构的一个或更多个CU。如前面所讨论的，可用CU尺寸的范围由SCU尺寸和LCU尺寸限定。块设置部47通过输入输入信息如原始图像数据以及来自帧内预测或帧间预测的预测结果将每个候选CU的成本计算为成本函数。随后，块设置部47通过比较该候选CU的成本与对应于该候选CU的四个较小CU的成本来确定是否划分候选CU。块设置部47按顺序从SCU尺寸上至LCU尺寸重复执行这种成本计算和划分确定，并且在每个LCU中配置因此得出的CU的四叉树结构。

块设置部47生成用于指定在每个LCU中配置的四叉树结构的参数。除了指定SCU尺寸和LCU尺寸的参数以外，由块设置部47生成的参数包括指定块划分深度的分裂标志集。递归地指定分裂标志。换言之，如果给定的块被划分成四个CU，则分裂标志指定生成了划分，并且然后还生成指示是否划分四个CU中的每个CU的分裂标志。由块设置部47生成的这些参数被无损编码部16编码。

如前面讨论的，由模式控制部41根据与资源效率相关的操作模式来控制块设置部47中的块划分深度。作为示例，在资源节约模式下，模式控制部41可以限制块设置部47中的块划分深度，以使得CU不具有多个可用尺寸之中的较小尺寸。在这种情况下，禁止在深层中的块划分。在禁止在深层中的块划分的第一技术中，针对尺寸等于SCU尺寸的CU，模式控制部41使块设置部47跳过成本计算和成本比较。针对尺寸为两倍SCU尺寸的CU的分裂标志都指示0(不划分)。根据第一技术，可以改变划分深度同时保持SCU尺寸设置，或者换言之，不更新SPS。针对尺寸大于SCU尺寸的CU，可以另外跳过成本计算和成本比较。在禁止深层中的块划分的第二技术中，模式控制部41调整SCU尺寸的值，使该值增大到大于正常模式的值。根据第二技术，可以减少用于指定四叉树结构的分裂标志的数量。此外，因为SPS被重新定义，所以用户可以容易地获知操作模式在正常模式与资源节约模式之间切换的定时。

作为另一示例，在资源节约模式下，模式控制部41可以限制块设置部47中的块划分深度，以使得CU不具有多个可用尺寸之中的较大尺寸。在这种情况下，在浅层中进行块划分。在浅层中进行块划分的第一技术中，针对尺寸等于LCU尺寸的CU，模式控制部41使块设置部47跳过成本计算和成本比较。针对尺寸等于LCU尺寸的CU的分裂标志都指示1(划分)。根据第一技术，可以改变划分深度同时保持LCU尺寸设置，或者换言之，不更新SPS。针对尺寸为小于LCU尺寸的CU，可以另外跳过成本计算和成本比较。在浅层中进行块划分的第二技术中，模式控制部41调整LCU尺寸的值，使该值减小到小于正常模式的值。根据第二技术，可以减少用于指定四叉树结构的分裂标志的数量。此外，因为SPS被重新定义，所以用户可以容易地获知操作模式在正常模式与资源节约模式之间切换的定时。应注意，在LCU尺寸变化的情况下，图像中的块的扫描顺序变化。

(2)第二示例配置

图5B是示出块划分部40的详细配置的第二示例的框图。如图5B所示，同样地在第二示例中，块划分部40配备有模式控制部41和块设置部47。模式控制部41和块设置部47分别包括类似于第一示例配置中所描述的功能。然而，在第二示例配置中，各部被实现为专用逻辑电路而不是被实现为逻辑程序模块。

模式控制部41包括模式确定部43和时钟生成部45。块设置部47包括8×8计算部49a、16×16计算部49b、32×32计算部49c、64×64计算部49d以及比较部51。8×8计算部49a、16×16计算部49b、32×32计算部49c以及64×64计算部49d并联连接在时钟生成部45与比较部51之间。

模式确定部43确定与资源效率相关的操作模式。模式确定部43自动地或者根据经由用户接口的用户输入在正常模式与资源节约模式之间切换操作模式。例如，模式确定部43可以根据用户输入将操作模式设置为资源节约模式以减少电池消耗、提高帧速率、或者获得较高的速度。此外，在电池电量下降到低于阈值的情况下，或者在图像编码装置10未连接到外部电源的情况下，模式确定部43可以将操作模式设置为资源节约模式以减少电池消耗。在拍摄图像的装置快速运动的情况下，模式确定部43也可以将操作模式设置为资源节约模式。

时钟生成部45生成时钟信号，并且将所生成的时钟信号提供给8×8计算部49a、16×16计算部49b、32×32计算部49c以及64×64计算部49d。针对相应地具有对应尺寸的候选CU，8×8计算部49a、16×16计算部49b、32×32计算部49c以及64×64计算部49d使用由时钟生成部45提供的时钟信号来执行成本计算。在正常模式下，如果SCU尺寸为8×8像素以及LCU尺寸为64×64像素，则时钟生成部45将时钟信号提供给所有的8×8计算部49a、16×16计算部49b、32×32计算部49c以及64×64计算部49d。在资源节约模式下，在禁止深层中的块划分的情况下，时钟生成部45停止给8×8计算部49a提供时钟信号。时钟生成部45也可以停止给多个计算部(例如，8×8计算部49a和16×16计算部49b)提供时钟信号。在资源节约模式下，在浅层中进行块划分的情况下，时钟生成部45停止给64×64计算部49d提供时钟信号。时钟生成部45也可以停止给多个计算部(例如，32×32计算部49c和64×64计算部49d)提供时钟信号。时钟生成部45不给对应于尺寸小于SCU尺寸的计算部提供时钟信号。类似地，时钟生成部45不给对应于大于LCU尺寸的尺寸的计算部提供时钟信号。

8×8计算部49a使用由时钟生成部45提供的时钟信号对具有8×8像素的尺寸的候选CU执行成本计算。然后8×8计算部49a将所计算的成本输出至比较部51。16×16计算部49b使用由时钟生成部45提供的时钟信号对具有16×16像素的尺寸的候选CU执行成本计算。然后16×16计算部49b将所计算的成本输出至比较部51。32×32计算部49c使用由时钟生成部45提供的时钟信号对具有32×32像素的尺寸的候选CU执行成本计算。然后32×32计算部49c将所计算的成本输出至比较部51。64×64计算部49d使用由时钟生成部45提供的时钟信号对具有64×64像素的尺寸的候选CU执行成本计算。然后64×64计算部49d将所计算的成本输出至比较部51。

比较部51通过比较该候选CU与对应于该候选CU的四个较小的CU之间所计算的成本来确定是否划分给定尺寸的候选CU。比较部51从SCU尺寸上至LCU尺寸按顺序重复执行这种划分确定。在对于给定尺寸停止提供时钟信号并且跳过成本计算的情况下，比较部51跳过与该尺寸有关的划分确定。随后，比较部51生成用于指定每个LCU的由于一系列划分确定而获得的四叉树结构的参数，并且将所生成的参数输出至无损编码部16。

(3)第三示例配置

图5C是示出块划分部40的详细配置的第三示例的框图。如图5C所示，同样地在第三示例中，块划分部40配备有模式控制部41和块设置部47。模式控制部41和块设置部47分别包括类似于第一示例配置中所描述的功能。然而，在第三示例配置中，各部被实现为专用逻辑电路而不是被实现为逻辑程序模块。

模式控制部41包括模式确定部44和时钟生成部46。块设置部47包括成本计算部50和比较部52。与第二示例配置不同，在第三示例配置中，成本计算部50串行地对一系列候选CU执行成本计算处理。

模式确定部44确定与资源效率有关的操作模式。模式确定部44自动地或者根据经由用户接口的用户输入在正常模式与资源节约模式之间切换操作模式。例如，模式确定部44可以根据用户输入将操作模式设置为资源节约模式以减少电池消耗、提高帧速率、或者获得较高的速度。此外，在电池电量下降到低于阈值的情况下，或者在图像编码装置10未连接到外部电源的情况下，模式确定部44可以将操作模式设置为资源节约模式以减少电池消耗。在拍摄图像的装置快速运动的情况下，模式确定部44也可以将操作模式设置为资源节约模式。

时钟生成部46生成时钟信号，并且将所生成的时钟信号提供给成本计算部50。成本计算部50使用由时钟生成部46提供的时钟信号对一系列候选CU中的每个候选CU执行成本计算。在设置资源节约模式以减少电池消耗的情况下，时钟生成部46也可以暂时停止在原本应在其中执行被跳过的成本计算的时段期间提供时钟信号。在针对较高的速度的资源节约模式的情况下，不停止从时钟生成部46向成本计算部50提供时钟信号，并且由于针对若干候选CU跳过成本计算，所以更快地完成块划分。同样地，在设置资源节约模式以提高帧速率的情况下，不停止从时钟生成部46向成本计算部50提供时钟信号，并且使用通过跳过一些候选CU的成本计算而产生的过量处理资源以提高帧速率。

成本计算部50使用由时钟生成部46提供的时钟信号对具有各种尺寸的候选CU执行成本计算。然后成本计算部50将所计算的成本顺序地输出至比较部52。

比较部52通过比较该候选CU与对应于该候选CU的四个较小的CU之间所计算的成本来确定是否划分给定尺寸的候选CU。比较部52按顺序从SCU尺寸上至LCU尺寸重复执行这种划分确定。在对于给定尺寸跳过成本计算的情况下，比较部52跳过与该尺寸相关的划分确定。随后，比较部52生成用于指定每个LCU的由于一系列划分确定而得出的四叉树结构的参数，并且将所生成的参数输出至无损编码部16。

<2-3.操作模式与资源效率之间的关系>

(1)并行处理-第一示例

图7A是示出并行处理中资源效率与操作模式之间的关系的第一示例的说明图。附图的水平方向对应于时间轴线。中空粗框代表成本计算，实体粗框代表被执行的划分确定过程，并且虚线框代表被跳过的过程。

在图7A的上部中示出的过程序列例示了操作模式M11中的序列，其中操作模式M11是正常模式。在正常模式下，可以针对8×8像素候选CU、16×16像素候选CU、32×32像素候选CU以及64×64像素候选CU并行执行成本计算。当针对一个16×16像素候选CU完成了成本计算时，执行针对该候选CU的划分确定。当针对一个32×32像素候选CU完成了成本计算时，执行针对该候选CU的划分确定。当针对一个64×64像素候选CU完成了成本计算时，执行针对该候选CU的划分确定。

在图7A的中间部分示出的过程序列例示了操作模式M12中的序列，其中操作模式M12是资源节约模式。在该资源节约模式下，针对16×16像素候选CU、32×32像素候选CU以及64×64像素候选CU并行执行成本计算，然而，针对8×8像素候选CU跳过成本计算。同样跳过针对16×16像素候选CU的划分确定。因此，减少电池的消耗速率或其他资源的使用率。

在图7A的下部示出的过程序列例示了操作模式M13中的序列，其中操作模式M13是更强的资源节约模式。在该资源节约模式下，针对32×32像素候选CU和64×64像素候选CU并行执行成本计算，而针对8×8像素候选CU和16×16像素候选CU跳过成本计算。同样跳过针对16×16像素候选CU和32×32像素候选CU的划分确定。因此，进一步减少电池的消耗速率或其他资源的使用率。

(2)并行处理-第二示例

图7B是示出在并行处理中资源效率与操作模式之间的关系的第二示例的说明图。

在图7B的上部示出的过程序列例示了操作模式M21中的序列，其中操作模式M21是正常模式。操作模式M21中的序列与在图7A的上部示出的操作模式M11的序列基本上相同。

在图7B的中间部分示出的过程序列例示了操作模式M22中的序列，其中操作模式M22是资源节约模式。在该资源节约模式下，针对8×8像素候选CU、16×16像素候选CU以及32×32像素候选CU并行执行成本计算，而针对64×64像素候选CU跳过成本计算。同样跳过针对64×64像素候选CU的划分确定。因此，减少电池的消耗速率或其他资源的使用率。

在图7B的下部示出的过程序列例示了操作模式M23中的序列，其中操作模式M23是更强的资源节约模式。在该资源节约模式下，针对8×8像素候选CU和16×16像素候选CU并行执行成本计算，而针对32×32像素候选CU和64×64像素候选CU跳过成本计算。同样跳过针对32×32像素候选CU和64×64像素候选CU的划分确定。因此，进一步减少电池的消耗速率或其他资源的使用率。

(3)串行处理-第一示例

图8A是示出串行处理中资源效率与操作模式之间的关系的第一示例的说明图。

在图8A的上部示出的过程序列例示了操作模式M31中的序列，其中操作模式M31是正常模式。在正常模式下，当针对四个8×8像素候选CU和相应的16×16像素候选CU完成了成本计算时，针对该16×16像素候选CU执行划分确定。此外，当针对四个16×16像素候选CU完成了划分确定时，针对相应的32×32像素候选CU执行成本计算和划分确定。此外，当针对四个32×32像素候选CU完成了划分确定时，针对相应的64×64像素候选CU执行成本计算和划分确定。

在图8A的中间部分示出的过程序列例示了操作模式M32中的序列，其中操作模式M32是资源节约模式。在该资源节约模式下，跳过针对8×8像素候选CU的成本计算以及针对16×16像素候选CU的划分确定。因此，减少电池的消耗速率或其他资源的使用率。

在图8A的下部示出的过程序列例示了操作模式M33中的序列，其中操作模式M33是更强的资源节约模式。在该资源节约模式下，跳过针对8×8像素候选CU和16×16像素候选CU的成本计算。同样跳过针对16×16像素候选CU和32×32像素候选CU的划分确定。因此，进一步减少电池的消耗速率或其他资源的使用率。

(4)串行处理-第二示例

图8B是示出串行处理中资源效率与操作模式之间的关系的第二示例的说明图。

在图8B的上部示出的过程序列例示了操作模式M41中的序列，其中操作模式M41是正常模式。操作模式M41中的序列与在图8A的上部示出的操作模式M31的序列基本上相同。

在图8B的中间部分示出的过程序列例示了操作模式M42中的序列，其中操作模式M42是资源节约模式。在该资源节约模式下，跳过针对64×64像素候选CU的成本计算和划分确定。因此，减少电池的消耗速率或其他资源的使用率。

在图8B的下部示出的过程序列例示了操作模式M43中的序列，其中操作模式M43是更强的资源节约模式。在该资源节约模式下，跳过针对32×32像素候选CU和64×64像素候选CU的成本计算。同样跳过针对32×32像素候选CU和64×64像素候选CU的划分确定。因此，进一步减少电池的消耗速率或其他资源的使用率。

(5)较高的帧速率和较高的速度

在图7A至图8B所示的示例中，由于跳过由虚线框指示的过程，所以产生过量的资源。如果在跳过定时期间没有执行过程，则减小电池消耗的时间平均。否则，可以通过使用所产生的过量的资源对附加帧执行编码过程来实现较高的帧速率。作为示例，鉴于在正常模式下可以设置60帧每秒(fps)的帧速率，可以在资源节约模式下设置120fps的高帧速率。

此外，在跳过给定过程的情况下，可以通过在较早的定时处进行后续过程来实现更快的编码处理。图9是描述编码过程的加速的说明图。在图9的上部示出的过程序列例示了操作模式M51中的序列，其中操作模式M51是正常模式。操作模式M51中的序列与图8A的上部中示出的操作模式M31的序列基本上相同。在图9的底部示出的过程序列例示了操作模式M52中的序列，其中操作模式M52是资源节约模式。在该资源节约模式下，跳过针对8×8像素候选CU的成本计算以及针对16×16像素候选CU的划分确定。此外，如图中的虚线箭头所指示的，提前执行被跳过的过程后面的过程。因此，在操作模式M52中，块划分所花费的处理时间缩短，并且可以加速编码处理。

<2-4.处理流程>

(1)图解流程

图10是示出由块划分部40执行的块划分过程的图解流程的示例的流程图。块划分部40针对构成视频的一系列图像中的每个图像执行图10中所示的块划分过程。

参照图10，首先，块划分部40的模式控制部41执行稍后讨论的模式确定过程(步骤S10)。因此，在块划分部40中设置从包括正常模式和资源节约模式的多个候选中选择的操作模式。

针对以栅格布置在图像上的LCU中的每个LCU重复稍后的过程。在每次重复中，块设置部47首先确定当前LCU，该当前LCU是要处理的LCU。通常，以栅格扫描顺序来处理LCU。

随后，块划分过程根据当时的操作模式分支(步骤S25)。在操作模式是正常模式的情况下，块设置部47在正常模式下对当前LCU执行块设置过程(步骤S30)。在操作模式是资源节约模式的情况下，块设置部47在资源节约模式下对当前LCU执行块设置过程(步骤S50)。应注意，块划分过程不限于附图中所示的示例，并且也可以分支成对应于三个或更多个操作模式的过程。

当针对当前LCU的块设置过程完成时，块设置部47确定图像中是否存在未处理的LCU(步骤S90)。随后，在存在未处理的LCU的情况下，过程返回到步骤S20，并且下一个LCU成为新的当前LCU。在不存在未处理的LCU的情况下，针对该图像的块划分过程结束。

(2)模式确定过程

图11A是示出模式确定过程的详细流程的第一示例的流程图。在第一示例中，首先，模式控制部41识别经由用户接口获取的用户输入(步骤S11)。此处的用户接口可以是如图6A和图6B中所例示的图形用户接口(GUI)。此外，也可以使用语音UI或者物理UI如简单的按钮或开关。随后，模式控制部41设置与在块划分部40中识别的用户输入对应的操作模式。应注意，该过程不限于附图中所示的示例，并且也可以从三个或更多个候选中选择操作模式。

图11B是示出模式确定过程的详细流程的第二示例的流程图。在第二示例中，首先，模式控制部41监视电池电量(步骤S12)。随后，模式控制部41确定当时的电池电量是否超过指定的阈值(步骤S15)。在电池电量超过阈值的情况下，模式控制部41将正常模式设置为操作模式(步骤S19a)。相反地，在电池电量不超过阈值的情况下，模式控制部41将资源节约模式设置为操作模式(步骤S19b)。应注意，该过程不限于附图中所示的示例，并且也可以使用两个或更多个阈值从三个或更多个候选中选择操作模式。

图11C是示出模式确定过程的详细流程的第三示例的流程图。在第三示例中，首先，模式控制部41确定至外部电源的连接(步骤S13)。随后，在图像编码装置10当时连接到外部电源的情况下(步骤S16)，模式控制部41将正常模式设置为操作模式(步骤S19a)。相反地，在图像编码装置10未连接到外部电源的情况下，模式控制部41将资源节约模式设置为操作模式(步骤S19b)。

图11D是示出模式确定过程的详细流程的第四示例的流程图。在第四示例中，首先，模式控制部41监视摄像机运动(步骤S14)。随后，例如，模式控制部41通过将表示摄像机运动的指标与阈值进行比较来确定摄像机运动是否快(步骤S17)。在确定摄像机运动不快的情况下，模式控制部41将正常模式设置为操作模式(步骤S19a)。相反地，在确定摄像机运动快的情况下，模式控制部41将资源节约模式设置为操作模式(步骤S19b)。应注意，该过程不限于附图中所示的示例，并且也可以使用两个或更多个阈值从三个或更多个候选中选择操作模式。

(3)正常模式下的块设置过程

图12是示出正常模式下的块设置过程的详细流程的示例的流程图。针对每个当前LCU执行图12中所示的块设置过程。

参照图12，首先，块设置部47计算当前LCU内的四个N×N像素的CU的成本(步骤S31)。在此，N等于SCU尺寸。接下来，块设置部47计算对应于这四个CU的一个2N×2N像素的CU的成本(步骤S32)。接下来，块设置部47通过比较在步骤S31中计算出的总成本与在步骤S32中计算出的成本来确定是否划分2N×2N像素CU(步骤S33)。例如，在前者成本较低的情况下，块设置部47决定划分2N×2N像素CU。另一方面，在后者成本较低的情况下，块设置部47决定不划分2N×2N像素CU。

接下来，块设置部47确定2N×2N像素CU是否等于LCU(步骤S34)。在2N×2N像素CU等于LCU的情况下，图12中所示的块设置过程结束。另一方面，在2N×2N像素CU不等于LCU的情况下，处理行进至步骤S35。

在步骤S35中，块设置部47确定针对四个2N×2N像素的CU的划分确定是否完成(步骤S35)。在此，在针对四个2N×2N像素的CU的划分确定没有完成的情况下，过程返回到步骤S31，并且针对下一个2N×2N像素CU执行划分确定的过程。

在针对四个2N×2N像素的CU的划分确定完成的情况下，块设置部47计算对应于这四个CU的一个4N×4N像素的CU的成本(步骤S36)。接下来，块设置部47通过比较四个2N×2N像素的CU的总成本与在步骤S36中计算出的成本来确定是否划分4N×4N像素CU(步骤S37)。例如，在前者成本较低的情况下，块设置部47决定划分4N×4N像素CU。另一方面，在后者成本较低的情况下，块设置部47决定不划分4N×4N像素CU。

接下来，块设置部47确定4N×4N像素CU是否等于LCU(步骤S38)。在4N×4N像素CU等于LCU的情况下，图12中所示的块设置过程结束。另一方面，在否定的情况下，过程行进至步骤S39。

在步骤S39中，块设置部47确定针对四个4N×4N像素的CU的划分确定是否完成(步骤S39)。在此，在针对四个4N×4N像素的CU的划分确定没有完成的情况下，过程返回到步骤S31，并且针对下一个4N×4N像素CU(以及更小的CU)执行划分确定的过程。

在针对四个4N×4N像素的CU的划分确定完成的情况下，块设置部47计算对应于这四个CU的一个8N×8N像素的CU的成本(步骤S40)。接下来，块设置部47通过比较四个4N×4N像素的CU的总成本与在步骤S40中计算出的成本来确定是否划分8N×8N像素CU(步骤S41)。例如，在前者成本较低的情况下，块设置部47决定划分8N×8N像素CU。另一方面，在后者成本较低的情况下，块设置部47决定不划分8N×8N像素CU。根据对SCU尺寸和LCU尺寸的限制，8N×8N像素CU等于LCU，并且因此当针对8N×8N像素CU的划分确定完成时，图12中所示的块设置过程结束。

(4)资源节约模式下的块设置过程-第一示例

图13A是示出资源节约模式下的块设置过程的详细流程的第一示例的流程图。在第一示例中，限制块划分深度以使得CU不具有可用尺寸中的最小尺寸。保持SCU尺寸设置与操作模式无关。

参照图13A，首先，块设置部47跳过针对当前LCU内的四个N×N像素的CU的成本计算(步骤S51)。在此，N等于SCU尺寸。接下来，块设置部47计算对应于这四个CU的一个2N×2N像素的CU的成本(步骤S52)。接下来，块设置部47跳过针对2N×2N像素CU的划分确定，并且生成指示不划分2N×2N像素CU的分裂标志(步骤S53a)。

接下来，块设置部47确定2N×2N像素CU是否等于LCU(步骤S54a)。在2N×2N像素CU等于LCU的情况下，图13A中所示的块设置过程结束。另一方面，在2N×2N像素CU不等于LCU的情况下，过程行进至步骤S55a。

在步骤S55a中，块设置部47确定针对四个2N×2N像素的CU的分裂标志生成是否完成(步骤S55a)。在此，在分裂标志生成没有完成的情况下，过程返回到步骤S51a。

在完成了针对四个2N×2N像素的CU的分裂标志生成的情况下，块设置部47计算对应于这四个CU的一个4N×4N像素的CU的成本(步骤S56a)。接下来，块设置部47通过比较四个2N×2N像素的CU的总成本与在步骤S56a中计算出的成本来确定是否划分4N×4N像素CU，并且生成对应于确定结果的分裂标志(步骤S57a)。

接下来，块设置部47确定4N×4N像素CU是否等于LCU(步骤S58)。在4N×4N像素CU等于LCU的情况下，图13A中所示的块设置过程结束。另一方面，在否定的情况下，过程行进至步骤S59。

在步骤S59中，块设置部47确定是否已完成针对四个4N×4N像素的CU的划分确定(步骤S59)。在此，在没有完成针对四个4N×4N像素的CU的划分确定的情况下，过程返回到步骤S51，并且针对下一个4N×4N像素CU执行划分确定的过程。

在完成了针对四个4N×4N像素的CU的划分确定的情况下，块设置部47计算对应于这四个CU的一个8N×8N像素的CU的成本(步骤S60a)。接下来，块设置部47通过比较四个4N×4N像素的CU的总成本与在步骤S60a中计算出的成本来确定是否划分8N×8N像素CU，并且生成对应于确定结果的分裂标志(步骤S61a)。当针对8N×8N像素CU的划分确定完成时，图13A中所示的块设置过程结束。

(5)资源节约模式下的块设置过程-第二示例

图13B是示出资源节约模式下的块设置过程的详细流程的第二示例的流程图。在第二示例中，限制块划分深度以使得CU不具有可用尺寸中的最小尺寸。SCU尺寸被重新配置成作为正常模式的值的两倍的值。

参照图13B，首先，模式控制部41将SCU尺寸从N×N像素更新到M×M像素(其中，M＝2N)(步骤S70a)。

接下来，块设置部47计算当前LCU内的四个M×M像素的CU的成本(步骤S71a)。接下来，块设置部47计算对应于这四个CU的一个2M×2M像素的CU的成本(步骤S72)。接下来，块设置部47通过比较在步骤S71a中计算出的总成本与在步骤S72中计算出的成本来确定是否划分2M×2M像素CU，并且生成对应于确定结果的分裂标志(步骤S73a)。

接下来，块设置部47确定2M×2M像素CU是否等于LCU(步骤S74a)。在2M×2M像素CU等于LCU的情况下，图13B中所示的块设置过程结束。另一方面，在否定的情况下，处理行进至步骤S75。

在步骤S75中，块设置部47确定针对四个2M×2M像素的CU的划分确定是否完成(步骤S75a)。在此，在针对四个2M×2M像素的CU的划分确定没有完成的情况下，过程返回到步骤S71a。

在已完成针对四个2M×2M像素的CU的划分确定的情况下，块设置部47计算对应于这四个CU的一个4M×4M像素的CU的成本(步骤S76)。接下来，块设置部47通过比较四个2M×2M像素的CU的总成本与在步骤S76中计算出的成本来确定是否划分4M×4M像素CU，并且生成对应于确定结果的分裂标志(步骤S77)。当针对4M×4M像素CU的划分确定完成时，图13B中所示的块设置过程结束。

在图13A和图13B中所示的两个示例中，如上面所讨论的禁止在深层中的块划分。例如，在禁止将块划分到8×8像素的CU的情况下，可以从图3B中所示的成本计算过程和划分确定过程之中跳过64个成本计算过程(成本{8×8(0)}至成本{8×8(63)})和16个划分确定过程(比较{16×16(0)}至比较{16×16(15)})。作为另一示例，在禁止将块划分到16×16像素的CU的情况下，可以另外跳过16个成本计算过程(成本{16×16(0)}至成本{16×16(15)})和4个划分确定过程(比较{32×32(0)}至比较{32×32(3)})。

(6)资源节约模式下的块设置过程-第三示例

图13C是示出资源节约模式下的块设置过程的详细流程的第三示例的流程图。在第三示例中，限制块划分深度以使得CU不具有可用尺寸中的最大尺寸。保持LCU尺寸设置与操作模式无关。

参照图13C，首先，块设置部47计算当前LCU内的四个N×N像素的CU的成本(步骤S51b)。在此，N等于SCU尺寸。接下来，块设置部47计算对应于这四个CU的一个2N×2N像素的CU的成本(步骤S52)。接下来，块设置部47通过比较在步骤S51b中计算出的总成本与在步骤S52中计算出的成本来确定是否划分2N×2N像素CU，并且生成对应于确定结果的分裂标志(步骤S53b)。

接下来，块设置部47确定是否已完成针对四个2N×2N像素的CU的划分确定(步骤S54b)。在此，在划分确定没有完成的情况下，过程返回到步骤S51b。在完成了针对四个2N×2N像素的CU的划分确定的情况下，块设置部47另外确定对应于这四个CU的4N×4N像素的CU是否等于LCU(步骤S55b)。在4N×4N像素CU等于LCU的情况下，过程行进到步骤S56b。另一方面，在否定的情况下，过程行进到步骤S55a。

在步骤S56a中，块设置部47计算一个4N×4N像素的CU的成本(步骤S56a)。接下来，块设置部47通过比较四个2N×2N像素的CU的总成本与在步骤S56a中计算出的成本来确定是否划分4N×4N像素CU，并且生成对应于确定结果的分裂标志(步骤S57a)。随后，过程行进到步骤S59。

另外，在步骤S56b中，块设置部47跳过针对等于LCU的4N×4N像素CU的成本计算(步骤S56b)。接下来，块设置部47决定划分4N×4N像素CU，并且生成指示划分该CU的分裂标志(步骤S57b)。

在步骤S59中，块设置部47确定是否已完成针对四个4N×4N像素的CU的划分确定(步骤S59)。在此，在针对四个4N×4N像素的CU的划分确定没有完成的情况下，过程返回到步骤S51b，并且针对下一个4N×4N像素CU(以及较小的CU)执行划分确定的过程。

在针对四个4N×4N像素的CU的划分确定完成之后，块设置部47跳过针对对应于这四个CU的8N×8N像素的CU的成本计算(步骤S60b)。接下来，块设置部47决定划分8N×8N像素CU，并且生成指示划分该CU的分裂标志(步骤S61b)。当在步骤S57b或步骤S61b中完成了等于LCU的CU的分裂标志的生成时，图13C中所示的块设置过程结束。

(7)资源节约模式下的块设置过程-第四示例

图13D是示出资源节约模式下的块设置过程的详细流程的第四示例的流程图。在第四示例中，限制块划分深度以使得CU不具有可用尺寸中的最大尺寸。LCU尺寸被重新配置成为正常模式的值的一半的值。

参照图13D，首先，模式控制部41将LCU尺寸从L×L像素更新到K×K像素(其中，K＝L/2)(步骤S70b)。

接下来，块设置部47计算当前LCU内的四个N×N像素的CU的成本(步骤S71b)。在此，N等于SCU尺寸。接下来，块设置部47计算对应于这四个CU的一个2N×2N像素的CU的成本(步骤S72)。接下来，块设置部47通过比较在步骤S71b中计算出的总成本与在步骤S72中计算出的成本来确定是否划分2N×2N像素CU，并且生成对应于确定结果的分裂标志(步骤S73b)。

接下来，块设置部47确定2N×2N像素CU是否等于K×K像素LCU(步骤S74b)。在2N×2N像素CU等于LCU的情况下，图13D中所示的块设置过程结束。另一方面，在否定的情况下，过程行进到步骤S75。

在步骤S75中，块设置部47确定是否已完成针对四个2N×2N像素的CU的划分确定(步骤S75)。在此，在划分确定没有完成的情况下，过程返回到步骤S71b。在针对四个2N×2N像素的CU的划分确定已完成的情况下，过程行进到步骤S76。

在步骤S76中，块设置部47计算一个4N×4N像素的CU的成本(步骤S76)。接下来，块设置部47通过比较四个2N×2N像素的CU的总成本与在步骤S76中计算出的成本来确定是否划分4N×4N像素CU，并且生成对应于确定结果的分裂标志(步骤S77)。当以此方式完成了等于LCU的CU的分裂标志的生成时，图13D中所示的块设置过程结束。

在图13C中所示的第三示例中，如上面所讨论的进行在浅层中的块划分。例如，在将64×64像素CU块划分成32×32像素CU的情况下，可以从图3B中所示的成本计算过程和划分确定过程之中跳过更多的资源密集型成本计算过程成本{64×64(0)}和划分确定过程比较{64×64(0)}。作为另一示例，在将块划分进行到16×16像素的CU的情况下，可以另外跳过4个成本计算过程(成本{32×32(0)}至成本{32×32(3)})和4个划分确定过程(比较{32×32(0)}至比较{32×32(3)})。

同样地，在图13D所示的第四实施方式中，可以类似地跳过成本计算过程和划分确定过程。然而，由于在本示例中LCU尺寸按比例缩小，所以图像中的块的扫描顺序在正常模式与资源节约模式间不同。与图3A相比，图14是用于描述在资源节约模式下按比例缩小LCU尺寸的情况下的块扫描顺序的说明图。在图3A的示例中，例如，由于在64×64像素LCU内扫描块，所以在块8×8(31)之后下一个扫描的块8×8(32)位于块8×8(31)下方的行的左边缘处。相反地，在图14的示例中，由于在32×32像素LCU内扫描块，所以在块8×8(31)之后下一个扫描的块8×8(32)位于块8×8(31)的右侧的列的顶边缘处。类似地，在图3A的示例中，在块16×16(7)之后下一个扫描的块16×16(8)位于块16×16(7)下方的行的左边缘处。相反地，在图14的示例中，在块16×16(7)之后下一个扫描的块16×16(8)位于块16×16(7)的右侧的列的顶边缘处。

<3.第二实施方式>

第一实施方式描述了根据与资源效率有关的操作模式控制从LCU到CU的块划分深度。本章节中描述的第二实施方式试图通过除了控制块划分深度以外进一步利用与资源效率有关的操作模式来更多地减少编码器上的处理负荷。

<3-1.整体配置>

图15是示出根据第二实施方式的图像编码装置60的示意性配置的框图。参照图15，图像编码装置60配备有重排序缓冲器11、相减部13、正交变换部14、量化部15、无损编码部16、累积缓冲器17、速率控制部18、逆量化部21、逆正交变换部22、相加部23、环路滤波器24、帧存储器25、选择部26和选择部27、帧内预测部30、帧间预测部35以及块划分部90。

块划分部90包括类似于根据第一实施方式的块划分部40的功能，并且针对设置在图像中的每个LCU设置CU的四叉树结构。块划分部90将LCU以栅格布置在图像上，并且另外将每个LCU划分成多个CU。同样地，在本实施方式中，块划分部90根据与资源效率有关的操作模式来控制块划分深度。此外，在本实施方式中，块划分部90根据与资源效率有关的操作模式来控制下述中至少之一：选择部27选择的帧内预测或帧间预测、帧间预测部35的合并确定以及正交变换部14的TU设置。

<3-2.帧内/帧间确定的控制>

例如，对于LCU内的一个或更多个CU中的每个CU，选择部27通过比较帧内预测的成本与帧间预测的成本来选择帧内预测和帧间预测之一。在正常模式下，块划分部90使选择部27确定针对每个CU是选择帧内预测还是选择帧间预测。另一方面，在资源节约模式下，块划分部90使选择部27确定针对LCU内的所有CU共同选择帧内预测还是选择帧间预测。例如，块划分部90可以将针对LCU内首先被扫描的CU(通常是左上CU)的确定结果共同应用于其余的CU。

图16是示出帧内/帧间确定控制过程的详细流程的示例的流程图。参照图16，首先，块划分部90执行使用图11A至图11D描述的模式确定过程(步骤S10)。随后，帧内/帧间确定控制过程根据所确定的操作模式分支(步骤S115)。在操作模式是正常模式的情况下，块划分部90使选择部27针对每个CU选择帧内预测或帧间预测(步骤S120a)。在操作模式是资源节约模式的情况下，块划分部90使选择部27针对LCU内的所有CU共同选择帧内预测或帧间预测(步骤S120b)。

图17是用于描述帧内/帧间确定的处理序列的示例的说明图。文中，由选择部27执行的帧内/帧间确定过程被表示为“帧内/帧间{X}”，其中X是如图3A中所示的要处理的块的标签。如图17所示，在SCU尺寸为8×8像素且LCU尺寸为64×64像素的情况下，在正常模式下，选择部27针对8×8像素CU执行六十四个帧内/帧间确定、针对16×16像素CU执行十六个帧内/帧间确定、针对32×32像素CU执行四个帧内/帧间确定、针对64×64像素CU执行一个帧内/帧间确定。相反地，在资源节约模式下，可以执行更少数量(例如，仅一个)的帧内/帧间确定。作为示例，选择部27可以在8×8像素层中仅执行帧内/帧间确定P11，并且将该结果应用于所有其余的CU。此外，选择部27可以在16×16像素层中仅执行帧内/帧间确定P12，并且将该结果应用于所有其余的CU。此外，选择部27可以在32×32像素层中仅执行帧内/帧间确定P13，并且将该结果应用于所有其余的CU。此外，选择部27可以在64×64像素层中仅执行帧内/帧间确定P14。因此，可以减少用于帧内/帧间确定的资源量，并且有效地利用资源。

<3-3.合并确定的控制>

此外，在HEVC中，引入合并模式作为用于帧间预测的一种工具。对于CU内的一个或更多个PU中的每个PU，帧间预测部35确定是否将该PU与其他PU合并作为帧间预测过程的一部分。在合并多个PU的情况下，因为对于那些PU仅一个运动信息集合被编码，所以可以降低运动信息的编码率。在正常模式下，块划分部90使帧间预测部35针对每个PU确定是否将该PU与其他PU合并。另一方面，在资源节约模式下，块划分部90使帧间预测部35跳过除了以下确定之外的合并确定：是否合并每个CU内的一个或更多个PU的全部。此外，块划分部90也可以使帧间预测部35跳过除了以下确定之外的合并确定：是否合并LCU内的所有的PU。

图18是示出合并确定控制过程的详细流程的示例的流程图。参照图18，首先，块划分部90执行使用图11A至图11D描述的模式确定过程(步骤S10)。随后，合并确定控制过程根据所确定的操作模式分支(步骤S115)。在操作模式是正常模式的情况下，块划分部90使帧间预测部35针对每个PU执行合并确定(步骤S130a)。在操作模式是资源节约模式的情况下，块划分部90使帧间预测部35执行仅确定是否合并CU(或LCU)内的所有PU的合并确定(步骤S130b)。

<3-4.变换单元设置的控制>

此外，在HEVC中，来自4×4像素至32×32像素的四个尺寸可用作TU尺寸。正交变换部14对通过划分CU而形成的一个或更多个TU中的每个TU的预测误差数据执行正交变换。在使用较小的TU尺寸的情况下可以实现高图像质量，但是在另一方面，因为更多的DC部件被包括在变换系数数据中，所以可以减少资源使用效率。因此，尽管在正常模式下块划分部90不限制TU尺寸的选择，但是在资源节约模式下块划分部90限制正交变换部14的选择TU尺寸，以使得TU不具有可用尺寸之中的较小尺寸(例如4×4像素，或者4×4像素和8×8像素)。

图19是示出变换单元控制过程的详细流程的示例的流程图。参照图19，首先，块划分部90执行使用图11A至图11D描述的模式确定过程(步骤S10)。随后，变换单元控制过程根据所确定的操作模式分支(步骤S115)。在操作模式是正常模式的情况下，块划分部90使正交变换部14从所有TU尺寸候选中选择最佳的TU尺寸(步骤S140a)。在操作模式是资源节约模式的情况下，例如，块划分部90施加限制以从关于GOP的B图片和P图片的TU尺寸候选中排除4×4像素或者从TU尺寸候选中排除4×4或8×8像素,并且使正交变换部14从受限的TU尺寸候选中选择最佳的TU尺寸(步骤S140b)。

<4.示例应用>

前述实施方式可以应用于各种电子产品，如使用卫星链路、电缆TV链路、因特网、蜂窝式通信网络等传输编码视频流的传输装置，或者将编码视频流记录至介质如光盘、磁盘或闪速存储器的记录装置。在下文中，将描述三个示例应用。

(1)第一示例应用

图20是示出采用上述实施方式的移动电话的示例示意配置的框图。移动电话920包括天线921、通信部922、音频编解码器923、扬声器924、麦克风925、摄像机部926、图像处理部927、多路复用/解多路复用(复用/解复用)部928、记录和播放部929、显示部930、控制部931、可操作部932、传感器部933、总线934以及电池935。

天线921连接至通信部922。扬声器924和麦克风925连接至音频编解码器923。可操作部932连接至控制部931。总线934将通信部922、音频编解码器923、摄像机部926、图像处理部927、复用/解复用部928、记录和播放部929、显示器930、控制部931以及传感器部933相互连接。

移动电话920执行诸如发送和接收音频信号、发送和接收电子邮件或图像数据、拍摄图像以及记录不同工作模式下的数据等操作，工作模式包括音频通信模式、数据通信模式、成像模式以及可视电话模式。

在音频通信模式下，将麦克风925产生的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据，并且进行A/D转换以及压缩所转换的音频数据。然后，音频编解码器923将经压缩的音频数据输出到通信部922。通信部922对音频数据进行编码和调制，并且生成传输信号。然后，通信部922经由天线921将所生成的传输信号传输到基站(未示出)。此外，通信部922对经由天线921接收到的无线信号进行放大并且转换无线信号的频率，并且获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码，并且生成音频数据，并且将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并且使音频输出。

此外，在数据通信模式下，例如，控制部931根据用户经由可操作部932的操作生成构成电子邮件的文本数据。此外，控制部931使文本显示在显示部930上。此外，控制部931根据来自用户经由可操作部932的传输指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信部922。通信部922对电子邮件数据进行编码和调制，并且生成传输信号。然后，通信部922经由天线921将所生成的传输信号传输到基站(未示出)。此外，通信部922对经由天线921接收的无线信号进行放大并且转换无线信号的频率，并且获取所接收的信号。然后，通信部922对所接收的信号进行解调和解码、重构电子邮件数据并且将重构的电子邮件数据输出至控制部931。控制部931使显示部930显示电子邮件的内容，并且还使电子邮件数据存储在记录和播放部929的存储介质中。

记录和播放部929包括任意的可读写存储介质。例如，存储介质可以是内置存储介质如RAM或快闪存储器，或者存储介质可以是外部安装的存储介质如硬盘、磁盘、磁光盘、光盘、USB存储器或存储卡。

此外，在成像模式下，例如，摄像机部926拍摄对象的图像、生成图像数据、并且将所生成的图像数据输出至图像处理部927。图像处理部927对从摄像机部926输入的图像数据进行编码，并且使编码流存储在记录和播放部929的存储介质中。

此外，在可视电话模式下，例如，复用/解复用部928对由图像处理部927编码的视频流和从音频编解码器923输入的音频流进行多路复用，并且将多路复用流输出至通信部922。通信部922对流进行编码和调制，并且生成传输信号。然后，通信部922经由天线921将所生成的传输信号传输到基站(未示出)。此外，通信部922对经由天线921接收到的无线信号进行放大并且转换无线信号的频率，并且获取所接收的信号。传输信号和接收的信号可以包括编码位流。然后，通信部922对所接收的信号进行解调和解码、重构流并且将重构的流输出至复用/解复用部928。复用/解复用部928从输入流中分离视频流和音频流，并且将视频流输出至图像处理部927以及将音频流输出至音频编解码器923。图像处理部927解码视频流并且生成视频数据。视频数据被提供给显示部930，并且由显示部930显示一系列图像。音频编解码器923对音频流进行解压缩和D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供至扬声器924并且使音频输出。

传感器部包括传感器组如加速度传感器和陀螺仪传感器，并且输出表示移动电话920的运动的指标。电池935经由从附图中省略的电力线给通信部922、音频编解码器923、摄像机部926、图像处理部927、多路复用/解多路复用部928、记录和播放部929、显示部930、控制部931以及传感器部933提供电力。

在以这种方式配置的移动电话920中，图像处理部927包括根据前述实施方式的图像编码装置10或图像编码装置60的功能。因此，在移动电话920中，可以由图像处理部927根据与资源效率有关的操作模式来灵活控制块划分深度，并且有效地利用移动电话920的资源。

(2)第二示例应用

图21是示出采用上述实施方式的记录和播放装置的示例示意配置的框图。例如，记录和播放装置940对所接收的广播节目的音频数据和视频数据进行编码并且将其记录到记录介质上。例如，记录和播放装置940还可以对从另一装置获得的音频数据和视频数据进行编码并且将其记录到记录介质上。此外，例如，记录和播放装置940根据来自用户的指令经由监视器和扬声器播放记录在记录介质上的数据。在此，记录和播放装置940对音频数据和视频数据进行解码。

记录和播放装置940包括调谐器941、外部接口942、编码器943、硬盘驱动器(HDD)944、盘驱动器945、选择器946、解码器947、屏幕上显示器(OSD)948、控制部949以及用户接口950。

调谐器941从经由天线(未示出)接收的广播信号中提取所需通道的信号，并且解调所提取的信号。然后，调谐器941将通过解调获得的编码位流输出至选择器946。也就是说，调谐器941可以用作记录和播放装置940的传输装置。

外部接口942是用于将记录和播放装置940与外部设备或网络连接的接口。例如，外部接口942可以是IEEE1394接口、网络接口、USB接口、闪速存储器接口等。例如，通过外部接口942接收的视频数据和音频数据被输入至编码器943。也就是说，外部接口942可以用作记录和播放装置940的传输装置。

在从外部接口942输入的视频数据和音频数据未被编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码位流输出至选择器946。

HDD944将作为经压缩内容数据如视频或音频、各种程序和其他数据的编码位流记录到内部硬盘中。此外，当播放视频和音频时，HDD944从硬盘中读出这些数据。

盘驱动器945对插入的记录介质记录或读取数据。例如，插入到盘驱动器945中的记录介质可以是DVD盘(如DVD视频、DVD-RAM、DVD-R、DVD-RW、DVD+或DVD+RW盘)、蓝光(注册商标)盘等。

当记录视频和音频时，选择器946对从调谐器941或编码器943输入的编码位流进行选择，并且将所选择的编码位流输出至HDD944或盘驱动器945。此外，当播放视频和音频时，选择器946将从HDD944或盘驱动器945输入的编码位流输出至解码器947。

解码器947对编码位流进行解码，并且生成视频数据和音频数据。然后解码器947将所生成的视频数据输出至OSD948。此外，解码器904将所生成的音频数据输出至外部扬声器。

OSD948播放从解码器947输入的视频数据并显示视频。此外，OSD948例如可以将GUI图像如菜单、按钮或光标叠加到所显示的视频上。

控制部949包括处理器如CPU以及存储器如RAM或ROM。存储器存储要由CPU执行的程序、程序数据等。例如，存储在存储器中的程序由CPU在启动记录和播放装置940时读取并且执行。例如，通过执行程序，CPU根据从用户接口950输入的操作信号来控制记录和播放装置940的操作。

用户接口950连接至控制部949。例如，用户接口950包括用户用来操作记录和播放装置940的按钮和开关以及远程控制信号接收器。用户接口950对用户经由这些结构构件的操作进行检测、生成操作信号并且将所生成的操作信号输出至控制部949。

在以上述方式配置的记录和播放装置940中，编码器943包括根据上述实施方式的图像编码装置10或图像编码装置60的功能。因此，在记录和播放装置940中，可以由编码器943根据与资源效率有关的操作模式来灵活控制块划分深度，并且有效地利用记录和播放装置940的资源。

(3)第三示例应用

图22是示出采用上述实施方式的成像装置的示例示意配置的框图。成像装置960拍摄对象的图像、生成图像、对图像数据进行编码并且将图像数据记录到记录介质上。

成像装置960包括光学块961、成像部962、信号处理部963、图像处理部964、显示部965、外部接口966、存储器967、介质驱动器968、OSD969、控制部970、用户接口971、传感器972、总线973以及电池974。

光学块961连接至成像部962。成像部962连接至信号处理部963。显示部965连接至图像处理部964。用户接口971连接至控制部970。总线973将图像处理部964、外部接口966、存储器967、介质驱动器968、OSD969、控制部970以及传感器972相互连接。

光学块961包括聚焦透镜、孔径光阑机制等。光学块961将对象的光学像形成在成像部962的成像表面上。成像部962包括图像传感器如CCD或CMOS传感器，并且将形成在成像表面上的光学像光电转换成作为电信号的图像信号。然后，成像部962将图像信号输出至信号处理部963。

信号处理部963对从成像部962输入的图像信号执行各种摄像机信号处理如拐点校正、伽马校正和颜色校正。信号处理部963将经处理的图像数据输出至图像处理部964。

图像处理部964对从信号处理部963输入的图像数据进行编码并且生成编码数据。然后图像处理部964将这样生成的编码数据输出至外部接口966或介质驱动器968。此外，图像处理部964对从外部接口966或介质驱动器968输入的编码数据进行解码并且生成图像数据。然后图像处理部964将所生成的图像数据输出至显示部965。此外，图像处理部964可以将从信号处理部963输入的图像数据输出至显示部965并且使图像显示。此外，图像处理部964可以将从OSD969获取的显示数据叠加到要输出到显示部965上的图像上。

例如，OSD969生成GUI图像如菜单、按钮或光标并且将所生成的图像输出至图像处理部964。

例如，外部接口966被配置成USB输入/输出端子。例如，当打印图像时，外部接口966将成像装置960与打印机相连接。此外，驱动器根据需要连接至外部接口966。例如，可移除介质如磁盘或光盘被插入到驱动器中，并且从可移除介质中读取的程序可以被安装在成像装置960中。此外，外部接口966可以被配置成连接至网络如LAN或因特网的网络接口。也就是说，外部接口966用作图像拍摄装置960的传输装置。

例如，插入到介质驱动器968中的记录介质可以是任意可读写的可移除介质，如磁盘、磁光盘、光盘或半导体存储器。此外，例如，记录介质可以固定地安装在介质驱动器968中以构成非可移动存储部如内部硬盘驱动器或固态驱动器(SSD)。

控制部970包括处理器如CPU以及存储器如RAM或ROM。存储器存储要由CPU执行的程序、程序数据等。例如，存储在存储器中的程序由CPU在启动成像装置960时读取并且执行。例如，通过执行程序，CPU根据从用户接口971输入的操作信号来控制成像装置960的操作。

用户接口971连接至控制部970。例如，用户接口971包括用户用来操作成像装置960的按钮、开关等。用户接口971对用户经由这些结构构件的操作进行检测、生成操作信号并且将所生成的操作信号输出至控制部970。

传感器972包括传感器组如加速度传感器和陀螺仪传感器，并且输出表示图像拍摄装置960的运动的指标。电池974经由从图中省略的电力线给图像拍摄部962、信号处理部963、图像处理部964、显示部965、介质驱动器968、OSD969、控制部970以及传感器972提供电力。

在以上述方式配置的图像拍摄装置960中，图像处理部964包括根据上述实施方式的图像编码装置10或图像编码装置60的功能。因此，在图像拍摄装置960中，可以由图像处理部964根据与资源效率相关的操作模式来灵活控制块划分深度，并且有效地利用图像拍摄装置960的资源。

<5.结论>

因此，前面使用图1至图22详细描述了根据本公开内容的技术的实施方式。根据上述实施方式，在通过递归地划分要编码的图像的块而形成编码单元的图像编码方案中，当配置编码单元时，根据与资源效率有关的模式来控制块划分深度。因此，在图像质量优先的情况下，可以确保用于决定最优块划分的足够的资源，而在资源效率优先的情况下，可以限制块划分深度并且节约资源。例如，在限制块划分深度的情况下，可以减少电池消耗，并且过量的资源可以用于实现较高的帧或者用于加速编码处理。

在一个工作示例中，限制块划分深度以使得编码单元不具有多个可用尺寸之中的较小尺寸。在这种情况下，可以省略用于决定块划分的多个处理，并且可以有效地减少资源的使用率。此外，在一个工作示例中，限制块划分深度以使得编码单元不具有多个可用尺寸之中的较大尺寸。在这种情况下，可以减少资源的使用率同时仍然使用小CU以为解码时重现图像的细纹理留下空间。

在一个工作示例中，通过调整LCU尺寸或SCU尺寸的值来限制块划分深度。在这种情况下，用于指定四叉树结构的分裂标志的数目减少，从而提高编码效率。此外，在一个工作示例中，不是通过调整LCU或SCU尺寸的值来限制块划分深度，而是通过跳过对编码单元的指定尺寸的成本比较来限制块划分深度。在这种情况下，可以在不更新SPS的情况下自由地改变划分深度。

应注意，可以在任何软件、硬件以及软件和硬件的组合中实现本说明书所描述的装置进行的一系列控制过程。例如，构成软件的程序预先存储在设置在每个装置的内部或外部的非暂态介质中。然后，例如，在运行时将每个程序加载到随机存取存储器(RAM)中并且由处理器如CPU执行。

在本说明书中阐述的术语CU、PU和TU是指与HEVC中的各块相关联的包括语法的逻辑单元。在仅处理作为图像的一部分的各块的情况下，这些术语可以分别被下述术语取代：编码块(CB)、预测块(PB)和变换块(TB)。CB是通过将编码树块(CTB)递归地划分成四叉树结构而形成的。一整个四叉树对应于CTB，并且对应于CTB的逻辑单元被称为编码树单元(CTU)。

应注意，本说明书主要描述了其中有关块划分的信息被多路复用到编码流的头中并且被从编码侧传输至解码侧的示例。然而，传输这种信息的技术不限于这种示例。例如，这种信息也可以被传输或记录为与编码位流相关联的独立的数据而不被复用至编码位流。本文中，术语“相关联”是指当解码时包括在位流中的图像(也包括部分图像如片或块)和对应于那些图像的信息能够链接。换言之，可以在与图像(或位流)分离的传输通道上传输信息。此外，可以将信息记录至与图像(或位流)分离的记录介质(或相同记录介质上的不同记录区域)。此外，例如，信息和图像(或位流)可以以任意单元如多个帧、单帧或帧内的一部分彼此相关联。

因此，前面参照附图详细描述了本公开的优选实施方式。然而，本公开的技术范围并不限于这种示例。本公开内容所属领域的技术人员应明白，在权利要求中所述的技术思想的范围内可以对本公开内容进行各种修改或变化，并且应理解，这种修改或变化明显属于本公开的技术范围。

另外，本技术还可以配置如下。

(1)一种用于对图像信号进行编码的编码器，包括：

处理器，被配置成：

接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及

基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

(2)根据(1)所述的编码器，其中，所述处理器对于每个已确定的最大编码单元(LCU)，基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

(3)根据(1)或(2)所述的编码器，其中，所述编码器用于根据高效率视频编码(HEVC)对所述图像信号进行编码。

(4)根据(1)至(3)中任一项所述的编码器，其中，所述操作模式是基于针对用户接口的、从多个操作模式中选择所述操作模式的用户输入来确定的。

(5)根据(1)至(4)中任一项所述的编码器，其中，所述与资源效率相关联的已确定操作模式是正常模式和资源效率模式之一，并且通过针对用户接口的用户输入指定，所述资源效率模式是以下模式之一：电池使用效率模式，其中减少电池消耗优先于图像质量；电池电量模式，其在电池电量低于阈值时自动启动；处理资源使用效率模式，其中处理资源优先。

(6)根据(1)至(4)中任一项所述的编码器，其中，所述已确定操作模式是第一操作模式和第二操作模式之一，并且所述处理器通过以下方式控制用于所述块设置过程的所述块划分深度：在所述第一操作模式下将所述块划分深度设置成第一深度以及在所述第二操作模式下将所述块划分深度设置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。

(7)根据(1)至(4)中任一项所述的编码器，其中，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第一操作模式，所述处理器控制所述块划分深度，使得不对用于所述块设置过程的所述块划分深度进行限制。

(8)根据(1)至(4)中任一项所述的编码器，其中，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第一操作模式，所述处理器对从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)执行所述块设置过程。

(9)根据(1)至(4)中任一项所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，所述处理器控制所述块划分深度，使得限制用于所述块设置过程的所述块划分深度。

(10)根据(1)至(4)中任一项所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，所述处理器对少于从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)的编码单元执行所述块设置过程。

(11)根据(1)至(4)中任一项所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，与关于总数量的编码单元针对所述第一操作模式执行的计算相比，所述处理器关于少于所述总数量编码单元的多个编码单元(CU)进行至少一个较小成本的计算。

(12)根据(9)至(11)中任一项所述的编码器，其中，通过以下方式执行所述块划分过程：增大最小编码单元(SCU)的值并且执行关于包括已确定的最大编码单元(LCU)的所有其他编码单元(CU)的成本计算和成本比较；或者跳过关于所述LCU的成本计算和成本比较。

(13)根据(9)至(11)中任一项所述的编码器，其中，通过以下方式执行所述块划分过程：减小已确定的最大编码单元(LCU)的值并且执行关于包括最小编码单元(SCU)的所有其他编码单元(CU)的成本计算和成本比较；或者跳过关于所述LCU的成本计算和成本比较。

(14)一种被配置成对编码图像信号进行解码的解码器，包括：

处理电路，被配置成对所述编码图像信号进行解码以重现与所述编码图像信号相关联的四叉树结构，

其中，所述编码图像信号是基于以下方面编码的：

操作模式信号，其指示对所述编码图像信号进行编码的编码器的与资源效率相关联的已确定操作模式，以及

基于对所述编码图像信号进行编码的编码器的所述操作模式信号所指示的所述已确定操作模式来针对块设置过程设置的块划分深度。

(15)根据(14)所述的解码器，其中，所述处理电路基于多路复用至所述编码图像信号的参数，通过递归地划分所述编码图像信号的最大编码单元(LCU)来重现与所述编码图像信号相关联的所述四叉树结构。

(16)一种图像处理系统，包括：

用户接口；以及

处理电路，被配置成：

接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及

基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度，

其中，所述已确定操作模式是基于针对用户接口的、从多个操作模式中选择所述操作模式的用户输入确定的。

(17)根据(16)所述的图像处理系统，其中，

所述处理电路对于每个已确定的最大编码单元(LCU)，基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

(18)根据(16)或(17)所述的图像处理系统，其中，所述已确定操作模式是第一操作模式和第二操作模式之一，并且所述处理电路通过以下方式控制用于所述块设置过程的所述块划分深度：在所述第一操作模式下将所述块划分深度设置成第一深度以及在所述第二操作模式下将所述块划分深度设置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。

(19)根据(16)至(18)中任一项所述的图像处理系统，其中，所述图像处理系统是移动电话并且还包括电池。

(20)根据(16)至(18)中任一项所述的图像处理系统，其中，所述图像处理系统是记录和播放装置并且还包括：

解码器；

HDD；以及

盘驱动器。

(21)根据(16)至(18)中任一项所述的图像处理系统，其中，所述图像处理系统是摄像机并且还包括：

电池；以及

图像拍摄电路。

附图标记列表

10，60图像编码装置

14正交变换部

27选择部

35帧间预测部

41模式控制部

47块设置部

Claims (21)

1.一种用于对图像信号进行编码的编码器，包括：

处理器，被配置成：

接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及

基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

2.根据权利要求1所述的编码器，其中，所述处理器对于每个已确定的最大编码单元(LCU)，基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

3.根据权利要求1所述的编码器，其中，所述编码器用于根据高效率视频编码(HEVC)对所述图像信号进行编码。

4.根据权利要求1所述的编码器，其中，所述操作模式是基于针对用户接口的、从多个操作模式中选择所述操作模式的用户输入来确定的。

5.根据权利要求1所述的编码器，其中，所述与资源效率相关联的已确定操作模式是正常模式和资源效率模式之一，并且通过针对用户接口的用户输入指定，所述资源效率模式是以下模式之一：电池使用效率模式，其中减少电池消耗优先于图像质量；电池电量模式，其在电池电量低于阈值时自动启动；处理资源使用效率模式，其中处理资源优先。

6.根据权利要求1所述的编码器，其中，所述已确定操作模式是第一操作模式和第二操作模式之一，并且所述处理器通过以下方式控制用于所述块设置过程的所述块划分深度：在所述第一操作模式下将所述块划分深度设置成第一深度以及在所述第二操作模式下将所述块划分深度设置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。

7.根据权利要求1所述的编码器，其中，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第一操作模式，所述处理器控制所述块划分深度，使得不对用于所述块设置过程的所述块划分深度进行限制。

8.根据权利要求1所述的编码器，其中，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第一操作模式，所述处理器对从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)执行所述块设置过程。

9.根据权利要求1所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，所述处理器控制所述块划分深度，使得限制用于所述块设置过程的所述块划分深度。

10.根据权利要求1所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，所述处理器对少于从最小编码单元(SCU)到已确定的最大编码单元(LCU)的所有编码单元(CU)的编码单元执行所述块设置过程。

11.根据权利要求1所述的编码器，对于从包括第一操作模式和第二操作模式的多个操作模式中确定的所述第二操作模式，与关于总数量的编码单元针对所述第一操作模式执行的计算相比，所述处理器关于少于所述总数量编码单元的多个编码单元(CU)进行至少一个较小成本的计算。

12.根据权利要求9所述的编码器，其中，通过以下方式执行所述块划分过程：增大最小编码单元(SCU)的值并且执行关于包括已确定的最大编码单元(LCU)的所有其他编码单元(CU)的成本计算和成本比较；或者跳过关于所述LCU的成本计算和成本比较。

13.根据权利要求9所述的编码器，其中，通过以下方式执行所述块划分过程：减小已确定的最大编码单元(LCU)的值并且执行关于包括最小编码单元(SCU)的所有其他编码单元(CU)的成本计算和成本比较；或者跳过关于所述LCU的成本计算和成本比较。

14.一种被配置成对编码图像信号进行解码的解码器，包括：

处理电路，被配置成对所述编码图像信号进行解码以重现与所述编码图像信号相关联的四叉树结构，

其中，所述编码图像信号是基于以下方面编码的：

操作模式信号，其指示对所述编码图像信号进行编码的编码器的与资源效率相关联的已确定操作模式，以及

基于对所述编码图像信号进行编码的编码器的所述操作模式信号所指示的所述已确定操作模式来针对块设置过程设置的块划分深度。

15.根据权利要求14所述的解码器，其中，所述处理电路基于多路复用至所述编码图像信号的参数，通过递归地划分所述编码图像信号的最大编码单元(LCU)来重现与所述编码图像信号相关联的所述四叉树结构。

16.一种图像处理系统，包括：

用户接口；以及

处理电路，被配置成：

接收指示与资源效率相关联的已确定操作模式的操作模式信号，以及

基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度，

其中，所述已确定操作模式是基于针对用户接口的、从多个操作模式中选择所述操作模式的用户输入确定的。

17.根据权利要求16所述的图像处理系统，其中，所述处理电路对于每个已确定的最大编码单元(LCU)，基于由所述操作模式信号指示的所述已确定操作模式来控制用于块设置过程的块划分深度。

18.根据权利要求16所述的图像处理系统，其中，所述已确定操作模式是第一操作模式和第二操作模式之一，并且所述处理电路通过以下方式控制用于所述块设置过程的所述块划分深度：在所述第一操作模式下将所述块划分深度设置成第一深度以及在所述第二操作模式下将所述块划分深度设置成第二深度，所述第二操作模式下的所述第二深度小于所述第一操作模式下的所述第一深度。

19.根据权利要求16所述的图像处理系统，其中，所述图像处理系统是移动电话并且还包括电池。

20.根据权利要求16所述的图像处理系统，其中，所述图像处理系统是记录和播放装置并且还包括：

解码器；

HDD；以及

盘驱动器。

21.根据权利要求16所述的图像处理系统，其中，所述图像处理系统是摄像机并且还包括：

电池；以及

图像拍摄电路。