CN108702506A - 编码设备和编码方法 - Google Patents

Abstract

本公开内容涉及一种可以生成编码流的编码设备和编码方法，从该编码流可以以低负荷解码高图片质量的图像。算术单元等将图像单独编码成多个AU，并且生成多个AU的编码列表。设置单元将0设置为pic_output_flag，以指示通过对由算术单元等生成的多个AU的编码流中的除了最后一个分割AU之外的AU的编码流进行解码而获得的解码图像将不被显示。本公开内容可以应用于例如编码设备等。

Description

编码设备和编码方法

技术领域

本发明涉及编码设备和编码方法，并且特别地涉及可以生成编码流的编码设备和编码方法，通过该编码流能够解码低负荷和高图片质量的图像。

背景技术

当对通过AVC(高级视频编码)方法、HEVC(高效率视频编码)方法(例如，参考NPL1)等编码的移动图像进行解码时，解码器上的负荷根据各种因素而变化。在帧的分辨率彼此相等的情况下，对解码器上的负荷具有很大影响的因素通常是每一帧的比特生成量。例如。具有大比特生成量的帧(例如周期性插入的内部帧、场景发生变化的场景变化帧等)的解码器上的负荷高于其他帧的解码器上的负荷。

此外，如果在涉及移动图片的解码处理的实时应用中解码器上的负荷局部增加，则解码器上的负荷和除了解码器之外的上的负荷的总和有时超过用于实施实时处理的临界负荷。例如，在解码器上的负荷局部增加的情况下，即使除了解码器之外的上的负荷针对每个帧固定，解码器上的负荷和除了解码器之外的上的负荷的总和有时也会超过实时处理的临界负荷。因此，在如刚刚描述的这样的情况下，不能保证实时处理。

根据前述，要求在通过AVC方法、HEVC方法等对移动图片进行编码时，执行编码以使得解码器上的负荷被均横。如刚刚描述的用于编码的这样的方法，例如，用于均衡各个帧中的比特生成量的方法是可用的。

[引文列表]

[专利文献]

[NPL 1]

BENJAMIN BROSS；WOO-JIN HAN；JENS-RAINER OHM；GARY J.SULLIVAN；YE-KUIWANG；THOMAS WIEGAND:“High Efficiency Video Coding(HEVC)text specificationdraft 10(forFDIS&LastCall),”JCTVC-L1003_V34,JOINT COLLABORATIVE TEAM ON VIDEOCODING(JCT-VC)OF ITU-T SG 16 WP 3 AND ISO/IEC JTC 1/SC 29/WG 11 12TH MEETING:GENEVA,CH,14 January 2013(2013-01-14)

发明内容

然而，在比特生成量在帧间被均衡的情况下，需要通过增加在编码中使用的量化参数等来抑制内部帧或场景变化帧中的比特生成量。相应地，解码图像的图片质量降低。

鉴于如上所述的这样的情况，进行了本公开内容，并且本公开内容使得可以生成编码流，从该编码流可以解码低负荷并且高图片质量的图像。

[解决方案]

本公开内容的一个方面的编码设备是以下编码设备，该编码设备包括：编码部，其被配置成将图像分割成多个访问单元，并且对多个访问单元进行编码以生成多个访问单元的编码流；以及设置部，其被配置成设置非显示信息，该非显示信息指示通过对由编码部生成的多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。

本公开内容的一个方面的编码方法对应于根据本公开内容的一个方面的编码设备。

在本公开内容的一个方面中，图像被分割成多个访问单元并且被编码以生成多个访问单元的编码流，并且设置非显示信息，该非显示信息指示通过对多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。

要注意的是，可以通过使计算机执行程序来实现本公开内容的一个方面的编码设备。

此外，要由计算机执行以实现本公开内容的一个方面的编码设备的程序可以通过经由传输介质传输程序或者通过将程序记录在记录介质上来提供。

[有益效果]

根据本公开内容的一个方面，可以执行编码。此外，根据本公开内容的一个方面，可以生成编码流，从该编码流可以解码低负荷并且高图片质量的图像。

要注意的是，此处描述的效果不一定是限制性的，并且效果可以是本公开内容中描述的效果中的任何一种。

附图说明

[图1]图1是示出根据应用本公开内容的编码设备的第一实施方式的编码方法的概述的视图。

[图2]图2是描绘应用本公开内容的编码设备的第一实施方式的配置的示例的框图。

[图3]图3是描绘分析表的配置的示例的视图。

[图4]图4是描绘分析表中登记的值的示例的视图。

[图5]图5是描绘图2的非分割编码部的配置的示例的框图。

[图6]图6是描绘图2的分割编码部的配置的示例的框图。

[图7]图7是示出图2的编码设备的编码处理的流程图。

[图8]图8是示出图7的分析处理的流程图。

[图9]图9是示出图7的AU确定处理的流程图。

[图10]图10是示出图7的非分割编码处理的流程图。

[图11]图11是示出图10的编码处理的流程图。

[图12]图12是示出图10的编码处理的另一流程图。

[图13]图13是示出图7的分割编码处理的流程图。

[图14]图14是示出图13的头部设置处理的流程图。

[图15]图15是示出图13的图像改变处理的流程图。

[图16]图16是描绘解码设备的配置的示例的视图。

[图17]图17是描绘图16的解码部的配置的示例的框图。

[图18]图18是示出图16的解码设备的显示处理的流程图。

[图19]图19是示出图18的解码处理的细节的流程图。

[图20]图20是示出根据应用本公开内容的编码设备的第二实施方式的编码方法的概述的视图。

[图21]图21是描绘应用本公开内容的编码设备的第二实施方式的配置的示例的框图。

[图22]图22是描绘图21的对编码部的配置的示例的框图。

[图23]图23是示出图21的编码设备的编码处理的流程图。

[图24]图24是示出图23的对确定处理的流程图。

[图25]图25是示出图23的对编码处理的流程图。

[图26]图26是示出图25的合成处理的流程图。

[图27]图27是示出不同的第一合成方法的视图。

[图28]图28是示出不同的第二合成方法的视图。

[图29]图29是示出不同的第三合成方法的视图。

[图30]图30是描绘计算机的硬件配置的示例的框图。

具体实施方式

在下文中，描述用于执行本公开内容的模式(在下文中称为实施方式)。要注意的是，按以下顺序给出描述。

1.第一实施方式：编码设备(图1至图19)

2.第二实施方式：编码设备(图20至29)

3.第三实施方式：计算机(图30)

<第一实施方式>

(编码方法的概述)

图1是示出根据应用本公开内容的编码设备的第一实施方式的编码方法的概述的视图。

第一实施方式中的编码方法是符合HEVC方法的编码方法。

图1的B是横轴表示编码时间并且纵轴表示AU(访问单元)单元中的编码流的比特生成量的条形图。在条形图中的每个条中，描述了指示与编码流对应的图片类型的字母(在图1的示例中，I或P)，关于字母的条表示比特生成量。这些事项也类似地应用于在下文中描述的图20的B。

同时，图1的A是通过在图1的B的横轴上的位置处排列表示帧的图像的四边形来描绘帧的图像的编码顺序的视图，所述帧的图像将在由横轴上的位置表示的编码时间点处被编码。要注意的是，表示每个帧的图像的四边形中的字母表示图像的图片类型，并且图片之间的箭头标记表示参考关系。这些事项也类似地应用于在下文中描述的图20的A。

如图1的A和图1的B中所描绘的，在根据第一实施方式的编码方法中，在预期具有大比特生成量的帧的图像被分割成多个AU之后，对所述图像进行编码。

在图1的示例中，从顶部起的第八帧的图像24是预期具有大比特生成量的帧的图像，计划在编码时间t₁₄处对图像24进行编码。因此，在图像24被分割成四个AU之后，对图像24进行编码。

特别地，图像24在竖直方向上被分割成三个分割区域。然后，生成分割图像11，分割图像11包括上部分割区域，并且其中除了分割区域之外的区域指示像素值是固定值的固定值图像(在图1的示例中为黑色图像)。在图像24前四帧的图像20的编码时间t₁₀与图像24前三帧的图像21的编码时间t₁₁之间的编码时间t₂₁处，分割图像11被编码为I图片。由此，生成图像24的第一个AU的编码流。此时，编码流被解码，并且如图1的C所描绘的，获得了分割解码图像41，在分割解码图像41中，除了上部区域31之外的区域指示固定值图像。

然后，生成分割图像12，分割图像12包括在上部部分和中央部分处的分割区域，并且其中除了分割区域之外的区域指示固定值图像。然后，在编码时间t₁₁与图像21的下一帧的图像22的编码时间t₁₂之间的编码时间t₂₂处，通过参考分割解码图像41将分割图像12编码为P图片。由此，生成图像24的第二个AU的编码流。此时，除了中央部分处的分割区域之外的区域的编码模式被设置为跳过(skip)模式，在跳过模式中，编码流中不包括相对于参考图像的运动矢量和来自参考图像的残差，并且使参考图像的每个像素的像素值是解码图像的处于与所述像素的位置相同的位置处的像素的像素值。因此，如图1的C中所描绘的，在编码时获得的编码流的解码结果是分割解码图像42，在分割解码图像42中，上部区域31与分割解码图像41的上部区域相同，并且除了上部区域31和中央部分处的区域32之外的区域指示固定值图像。

然后，生成包括上部部分、中央部分和下部部分的分割区域的图像24作为分割图像13。然后，在编码时间t₁₂与图像22下一帧的图像23的编码时间t₁₃之间的编码时间t₂₃处，参考分割解码图像42将分割图像13编码为P图片。由此，生成图像24的第三个AU的编码流。此时，除了下部分割区域之外的区域的编码模式被设置为跳过模式。因此，如图1的C中所描绘的，在编码时获得的编码流的解码结果是其中上部部分的区域31和中央部分的区域32与分割解码图像42的区域31和区域32相同的分割解码图像43，即对应于图像24的整个区域的图像。

最后，在编码时间t₁₄处，参考分割解码图像43将图像24编码为P图片。由此，生成图像24的第四个AU的编码流。此时，编码流被解码，并且如图1的C中所描绘的，获得解码图像44，与分割解码图像43相比较，解码图像44具有高图片质量。

此外，pic_output_flag被设置为0以指示解码图像将不被显示，pic_output_flag被设置在分割图像11至13是AU的编码流中并且指示所述分割图像11至13的解码图像是否要被显示。因此，未显示分割解码图像41至43。另一方面，被设置在图像24是AU的编码流中的pic_output_flag被设置为1以指示图像24的解码图像将被显示。相应地，显示解码图像44。

如上所述，在根据第一实施方式的编码方法中，预期具有很大比特生成量的帧的图像24被分割成多个分割图像11至13，所述多个分割图像11至13在图像24之前的帧的图像20至23的编码时间t₁₀至t₁₃之间的编码时间处被单独编码。因此，可以抑制每单位时间段的比特数的局部增加，所述每单位时间段是帧的单元的编码时间段。结果是，可以抑制局部解码负荷的增加。

此外，在图像24的编码时间t₁₄处，图像24被设置为AU，并且参考与图像24的整个区域对应的低图片质量的解码图像43来执行编码。因此，能够以小比特生成量来生成高图片质量的解码图像44的编码流。

此外，由于分割图像11的除了分割区域之外的区域不包括图像信息，因此所述区域指示固定值图像。结果，可以降低分割图像11的编码流的比特生成量。此外，由于分割图像12和分割图像13的除了分割区域之外的区域的编码模式被设置为跳过模式，所以可以降低分割图像12和分割图像13的编码流的比特生成量。

要注意的是，尽管在图1的示例中，预期具有很大比特生成量的帧的图像24被分割成四个AU并且然后被编码，但是当然，图像要被分割成的AU的数量不限于四。此外，分割区域的数量是通过从图像被分割成的AU的数量减去1而获得的数字。

(编码设备的第一实施方式的配置的示例)

图2是描绘应用本公开内容的编码设备的第一实施方式的配置的示例的框图。

图2的编码设备50包括分析部51、分析缓冲器52、确定部53、非分割编码部54和分割编码部55。编码设备50通过参照图1描述的编码方法对帧的单元的图像进行编码，所述图像被输入作为编码目标的图像。

特别地，编码设备50的分析部51分析输入至其的图像以在AU的单元中生成分析表。分析部51将AU单元的分析表提供至分析缓冲器52以进行存储。

确定部53从分析缓冲器52读出分析表并且确定编码目标的AU。在编码目标的AU是要使用一个AU来进行编码的图像的AU的情况下，基于分析表，确定部53将与AU对应的图像提供至非分割编码部54。另一方面，在编码目标的AU是要被分割成多个AU并且被编码的图像的AU的情况下，确定部53将与AU对应的图像和分析表提供至分割编码部55。此外，确定部53更新分析部51中存储的编码目标的AU的分析表。

要注意的是，在下面的描述中，通过一个AU对图像进行编码被称为非分割编码，并且将图像分割成多个AU并且进行编码被称为分割编码。

非分割编码部54通过HEVC方法对从确定部53提供的图像进行非分割编码以生成AU单元的编码流。此时，非分割编码部54根据需要使用从分割编码部55提供的解码图像作为参考图像。非分割编码部54输出生成的AU单元的编码流。

分割编码部55基于从确定部53提供的分析表来通过HEVC方法对图像进行分割编码。特别地，在编码目标的AU是用于分割编码的AU中的除了最后一个AU(在下文中称为最后一个分割AU)之外的AU的情况下，分割编码部55基于分析表来根据从确定部53提供的图像生成分割图像。然后，分割编码部55通过HEVC方法对分割图像进行编码，并且生成0被设置为pic_output_flag的AU单元的编码流以及由于编码而获得的编码数据。

另一方面，在编码目标的AU是最后一个分割AU的情况下，分割编码部55参考与最后一个分割AU紧之前的AU对应的分割解码图像，以对从确定部53提供的图像进行编码。此时生成的解码图像被提供至非分割编码部54。分割编码部55生成其中1被设置为pic_output_flag的AU单元的编码流以及由于编码而获得的编码数据。分割编码部55输出所生成的AU单元的编码流。

(分析表的配置的示例)

图3是描绘存储在图2的分析缓冲器52中的分析表的配置的示例的图。

在图3的示例中，在分析缓冲器52中，存储有max_au_idx+1个AU分析表。如图3所描绘的，在分析表中，登记有au_idx、frame_idx、au_divide_flag、au_divide_idx、au_divide_num和coded_flag。

au_idx是用于标识与该分析表对应的AU的索引。frame_idx是用于标识与该分析表对应的图像的帧的索引。此外，au_divide_flag是指示与该分析表对应的AU是分割编码AU还是非分割编码AU的标志。在与该分析表对应的AU是分割编码AU的情况下，au_divide_flag为1，而在与该分析表对应的AU是非分割编码AU的情况下，au_divide_flag为0。

在au_divide_flag为1的情况下，登记au_divide_idx和au_divide_num。au_divide_idx是用于标识分割编码AU中与该分析表对应的AU的AU编号是什么的索引。au_divide_num是包括与该分析表对应的AU的分割编码AU的总数量。coded_flag是指示与该分析表对应的AU是否已经被编码的标志。

图4是描绘在图1的图像20至24被输入作为编码目标的图像的情况下分析表中登记的值的示例的视图。

在图4的示例中，从0开始的索引按照从顶部帧开始的顺序应用于与帧对应的AU。此外，从0开始的索引按照从顶部帧开始的顺序应用于帧。

在图1的示例中，对除了从顶部起的第八帧之外的帧的图像进行非分割编码。相应地，如图4所描绘的，在与从顶部起的第四帧的图像20对应并且其中3被登记为au_idx和frame_idx的分析表中，0被登记为au_divide_flag。类似地，在与从顶部起的第五帧至第七帧的图像21至23对应并且其中4至6分别被登记为au_idx和frame_idx的分析表中，0也被登记为au_divide_flag。

同时，从顶部起的第八帧的图像24被分割成四个AU并且进行编码。相应地，如图4所描绘的，与从顶部起的第八帧的图像24相对应地生成其中7至10被分别登记为au_idx的四个分析表。由于与四个分析表对应的图像是从顶部起的第八帧的图像24，所以在所有四个分析表中7被登记为frame_idx。此外，由于图像24被分割成四个AU并且被编码，所以在所有四个分析表中，1被登记为au_divide_flag，并且4被登记为au_divide_num。此外，在四个分析表中，0至3按顺序被分别登记为au_divide_idx。

此外，在图4的示例中，尚未针对图像20至24执行编码。因此，0被登记在所有分析表的coded_flag中。

(非分割编码部的配置的示例)

图5是描绘图2的非分割编码部54的配置的示例的框图。

图5的非分割编码部54包括缓冲器71、算术运算部72、正交变换部73、量化部74、可逆编码部75、累积缓冲器76、生成部77、设置部78、去量化部79、逆正交变换部80和加法部81。此外，非分割编码部54包括滤波器82、帧存储器85、开关86、帧内预测部87，运动预测补偿部88、预测图像选择部89和速率控制部90。

非分割编码部54的缓冲器71存储从图2的确定部53提供的图像。缓冲器71将存储在其中的图像输出至算术运算部72、帧内预测部87和运动预测补偿部88。

算术运算部72从由缓冲器71提供的图像中减去从预测图像选择部89提供的预测图像以执行编码。算术运算部72将由于编码而获得的图像作为残差信息输出至正交变换部73。

正交变换部73在TU(变换单元)的单元中对来自算术运算部72的残差信息进行正交变换。正交变换部73将由于正交变换而获得的正交变换系数提供至量化部74。

量化部74对从正交变换部73提供的正交变换系数执行量化。量化部74将量化的正交变换系数提供至可逆编码部75。

可逆编码部75从帧内预测部87获取指示最佳帧内预测模式的帧内预测模式信息。此外，可逆编码部75从运动预测补偿部88获取指示最佳帧间预测模式的帧间预测模式信息、运动矢量、用于指定参考图像的信息等。此外，可逆编码部75从滤波器82获取与偏移滤波器有关的偏移滤波信息。

可逆编码部75对从量化部74提供的量化的正交变换系数执行可逆编码，例如算术编码(例如，CABAC(上下文自适应二进制算术编码)等)。

此外，可逆编码部75对作为与编码有关的编码信息的帧内预测模式信息或帧间预测模式信息、运动矢量、用于指定参考图像的信息和偏移滤波器信息进行可逆地编码。可逆编码部75将可逆编码后的编码信息和正交变换系数作为编码数据提供至累积缓冲器76以被累积到累积缓冲器76中。

累积缓冲器76临时存储从可逆编码部75提供的编码数据。此外，累积缓冲器76将所存储的编码数据提供至生成部77。

生成部77根据从设置部78提供的头部和从累积缓冲器76提供的编码数据生成编码流，并且输出编码流。

设置部78在切片单元中设置片头，所述片头包括作为pic_output_flag的1。此外，设置部78根据需要设置参数集，例如SPS(序列参数集)、PPS(图片参数集)等。此时，被设置在PPS中并且指示片头中是否存在pic_output_flag的output_flag_present_flag被设置为1。设置部78将设置的片头和参数集编码为头部，并且将编码的头部提供至生成部77。

此外，从量化部74输出的量化的正交变换系数还被输入至去量化部79。去量化部79通过与量化部74的量化方法对应的方法对由量化部74量化的正交变换系数执行去量化。去量化部79将由于去量化而获得的正交变换系数提供至逆正交变换部80。

逆正交变换部80通过与正交变换部73的正交变换方法对应的方法在TU单元中对从去量化部79提供的正交变换系数执行逆正交变换。逆正交变换部80将由于逆正交变换而获得的残差信息提供至加法部81。

加法部81将从逆正交变换部80提供的残差信息与从预测图像选择部89提供的预测图像相加以局部地执行解码。加法部81将局部解码图像提供至滤波器82和帧存储器85。

滤波器82执行去块滤波处理以去除从加法部81提供的图像的块失真。然后，滤波器82执行自适应偏移滤波(SAO(采样自适应偏移))处理以主要去除去块滤波处理之后的图像的振铃。

特别地，滤波器82确定作为最大编码单元的每个LCU(最大编码单元)的自适应偏移滤波处理的类型，并且确定要在自适应偏移滤波处理中使用的偏移。滤波器82使用所确定的偏移来针对去块滤波处理后的图像执行所确定类型的自适应偏移滤波处理。

滤波器82将自适应偏移滤波处理后的图像提供至帧存储器85。另外，滤波器82将所执行的自适应偏移滤波处理的类型和指示偏移的信息作为偏移滤波信息提供至可逆编码单元75。

帧存储器85累积从滤波器82提供的图像以及从加法器81提供的图像。此外，帧存储器85累积从图2中描绘的分割编码部55提供的作为解码图像并且已经对其执行滤波处理的图像。与图像中的PU(预测单元)相邻的像素通过开关86被提供至帧内预测部87作为周边像素，所述图像累积在帧存储器85中并且尚未对其执行滤波处理。另一方面，累积在帧存储器85中并且已经对其执行滤波处理的图像通过开关86被输出至运动预测补偿部88作为参考图像。

帧内预测部87在PU单元中使用通过开关86从帧存储器85读出的周边像素来执行成为候选的所有帧内预测模式的帧内预测处理。

此外，帧内预测部87基于从缓冲器71读出的图像以及由于帧内预测处理而生成的预测图像，针对成为候选的所有帧间预测模式计算成本函数值(RD(率失真)成本)。然后，帧内预测部87将指示最小成本函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测部87将在最佳帧内预测模式下生成的预测图像和相应的成本函数值提供至预测图像选择部89。在从预测图像选择部89向帧内预测部87通知选择在最佳帧内预测模式下生成的预测图像的情况下，帧内预测部87将帧内预测模式信息提供至可逆编码部75。

运动预测补偿部88在PU单元中执行成为候选的所有帧间预测模式的运动预测补偿处理。特别地，运动预测补偿部88具有二维线性插值自适应滤波器。此外，运动预测补偿部88使用二维线性插值自适应滤波器来对从缓冲器71提供的图像和参考图像执行插值滤波处理，使得所述图像和参考图像具有高分辨率。

运动预测补偿部88基于高分辨率的图像和参考图像，以分数像素精度检测成为候选的所有帧间预测模式下的运动矢量。然后，运动预测补偿部88基于运动矢量对参考图像执行补偿处理以生成预测图像。要注意的是，帧间预测模式是表示PU的大小等的模式、跳过模式等。

此外，运动预测补偿部88基于从缓冲器71提供的图像和预测图像来针对成为候选的所有帧间预测模式计算成本函数值，并且将指示最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测补偿部88将最佳帧间预测模式的成本函数值和相应的预测图像提供至预测图像选择部89。

此外，在从预测图像选择部89向运动预测补偿部88通知选择在最佳帧间预测模式下生成的预测图像的情况下，运动预测补偿部88将帧间预测模式信息、相应的运动矢量、用于指定参考图像的信息等输出至可逆编码部75。

预测图像选择部89基于从帧内预测部87和运动预测补偿部88提供的成本函数值来将最佳帧内预测模式和最佳帧间预测模式中的一者确定为最佳预测模式，所述最佳帧内预测模式和最佳帧间预测模式的相应成本函数值较低。然后，预测图像选择部89将最佳预测模式的预测图像提供至算术运算部72和加法部81。此外，预测图像选择部89向帧内预测部87或运动预测补偿部88通知对最佳预测模式的预测图像的选择。

速率控制部90基于累积在累积缓冲器76中的编码数据来控制量化部74的量化参数，使得可以不发生上溢或下溢。

(分割编码部的配置的示例)

图6是描绘图2的分割编码部55的配置的示例的框图。

图6的分割编码部55包括图像改变部110、缓冲器111、算术运算部112(编码部)、正交变换部113、量化部114、可逆编码部115、累积缓冲器116、生成部117、设置部118、去量化部119、逆正交变换部120和加法部121。同时，非分割编码部54包括滤波器122、帧存储器125、开关126、帧内预测部127、运动预测补偿部128、预测图像选择部129和速率控制部130。

分割编码部55的除了图像改变部110、设置部118、帧内预测部127、运动预测补偿部128、预测图像选择部129和速率控制部130之外的部件的配置与图5的非分割编码部54的除了设置部78、帧内预测部87、运动预测补偿部88、预测图像选择部89和速率控制部90之外的部件的配置类似。因此，适当地省略对除了图像改变部110、设置部118、帧内预测部127、运动预测补偿部128和预测图像选择部129之外的其他部件的处理的描述。

图像改变部110基于从图2的确定部53提供的分析表的au_divide_idx和au_divide_num来确定编码目标的AU是否是除了最后一个分割AU之外的AU。

在编码目标的AU是除了最后一个分割AU之外的AU的情况下，图像改变部110将从确定部53提供的图像分割成au_divide_num-1个分割区域。然后，图像改变部110基于au_divide_idx生成一个帧的分割图像并且将生成的分割图像提供至缓冲器111，其中，所述一个帧的分割图像包括au_divide_num–1个分割区域中的从顶部至第(au_divide_idx+1)个的分割区域并且其中除了分割区域之外的区域是固定值图像。

另一方面，在编码目标的AU是最后一个分割AU的情况下，图像改变部110将从确定部53提供的图像原样提供至缓冲器111。

在编码目标的AU是除了最后一个分割AU之外的AU的情况下，设置部118设置包括作为pic_output_flag的0的片头(非显示信息)。另一方面，在编码目标的AU是最后一个分割AU的情况下，设置部118设置包括作为pic_output_flag的1的片头(显示信息)。

此外，设置部118根据需要设置参数集例如SPS或PPS。此时，被设置在PPS中的output_flag_present_flag被设置为1。设置部118将设置的片头或参数集编码为头部，并且将头部提供至生成部117。

在分割编码部55中，从滤波器122输出的图像作为解码图像被提供至图5的帧存储器85，并且不将图像从分割编码部55的外部提供至帧存储器125。

在编码目标的AU是分割编码中的第一个AU的情况下，与在图5的帧内预测部87中类似，帧内预测部127对从缓冲器111提供的分割图像执行成为候选的所有帧内预测模式的帧内预测处理。

此外，帧内预测部127基于从缓冲器111提供的分割图像和由于帧内预测处理而生成的预测图像来针对所有成为候选的帧内预测模式计算成本函数值。然后，帧内预测部127将指示最小成本函数值的帧内预测模式确定为最佳帧内预测模式。

帧内预测部127将在最佳帧内预测模式下生成的预测图像提供至预测图像选择部129。帧内预测部127将帧内预测模式信息提供至可逆编码部115。

在编码目标的AU是分割编码中的除第一个AU以外的AU的情况下，与在图5的运动预测补偿部88中类似，运动预测补偿部128对从缓冲器111提供的分割图像或图像的分割区域执行成为候选的所有帧间预测模式下的运动预测补偿处理。此外，运动预测补偿部128基于从缓冲器111提供的图像和预测图像来针对成为候选的所有帧间预测模式计算成本函数值，并且将指示最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测补偿部128将在最佳帧间预测模式下生成的预测图像提供至预测图像选择部129。此外，运动预测补偿部128将帧间预测模式信息、相应的运动矢量、用于指定参考图像的信息等提供至可逆编码部115。

此外，运动预测补偿部128通过将指示跳过模式的帧间预测信息和用于指定参考图像的信息提供至可逆编码部115，来对分割图像的除了分割区域之外的区域执行跳过模式的帧间编码。在这种情况下，不将正交变换系数输入至可逆编码部115，并且假定正交变换系数为0来执行可逆编码。

预测图像选择部129将从帧内预测部127或运动预测补偿部128提供的预测图像提供至算术运算部112和加法部121。

速率控制部130基于累积缓冲器116中累积的编码数据来控制量化部114的量化参数，使得可以不发生上溢或下溢。

分割编码部55以如上所述的方式对与分割编码中的第一个AU对应的分割图像进行帧内编码。此外，分割编码部55对分割图像和与分割编码中的除了第一AU之外的AU对应的图像进行帧间编码。此时，分割编码部55将分割图像中的除了分割区域之外的区域的编码模式设置为跳过模式。

(编码设备的处理的描述)

图7是示出图2的编码设备50的编码处理的流程图。

在图7的步骤S11处，编码设备50的分析部51将max_au_idx和frame_idx设置为0，并且确定部53将prev_au_divide_flag设置为0。在步骤S12处，分析部51执行分析处理以生成输入图像的分析表。在下文中参照图8描述分析处理的详细信息。

在步骤S13处，确定部53确定frame_idx是否等于或大于延迟帧数。延迟帧数是在进行分割编码时插入分割图像的编码所需要的在编码目标的图像的帧之前的帧的数量(在图1的示例中为3)，即等于或大于通过从max_divide_num中减去1而获得的数量，max_divide_num是分割编码中的AU的分割数量。

在步骤S13处确定frame_idx等于或大于延迟帧数的情况下，在步骤S14处，确定部53执行AU确定处理以确定编码目标的AU。在下文中参照图9来描述AU确定处理的详细信息。

在步骤S15处，确定部53确定编码目标的AU的分析表中登记的au_divide_flag是否为1。在步骤S15处确定au_divide_flag不是1的情况下，确定部53将与编码目标的AU对应的图像提供至非分割编码部54。

然后，在步骤S16处，非分割编码部54执行非分割编码处理以对从确定部53提供的图像进行非分割编码。在下文中参照图10描述非分割编码处理的详细信息。

另一方面，在步骤S15处确定au_divide_flag为1的情况下，确定部53将分析表和编码目标的AU的图像提供至分割编码部55。然后在步骤S17处，分割编码部55基于从确定部53提供的分析表来执行分割编码处理以对图像进行分割编码。在下文中参照图13来描述分割编码处理的详细信息。

在步骤S16或步骤S17处的处理之后，处理进行至步骤S18。在步骤S18处，确定部53将coded_flag改变成1，coded_flag被登记在分析缓冲器52中存储的其中au_idx是通过步骤S14处的AU确定处理而设置的coded_au_idx的分析表中，即被登记在编码目标的AU的分析表中。然后，处理进行至步骤S19。

另一方面，在步骤S13处确定frame_idx不是等于或大于延迟帧数的情况下，即，在尚未输入插入分割图像的编码所需要的帧数的图像的情况下，处理进行至步骤S19。

在步骤S19处，编码设备50确定是否要结束处理，例如是否将新的图像输入至编码设备50。在步骤S19处确定不结束处理时，处理进行至步骤S20。

在步骤S20处，分析部51将frame_idx增加1。然后，处理返回至步骤S12，并且重复步骤S12至S19的处理直到确定要结束处理。

另一方面，在步骤S19处确定要结束处理的情况下，处理结束。

图8是示出图7的步骤S12处的分析处理的流程图。

在图8的步骤S31处，分析部51将au_divide_flag和au_divide_idx设置为0。在步骤S32处，分析部51确定frame_idx是否等于或大于通过从max_divide_num中减去1而获得的值。

在步骤S32处确定frame_idx等于或大于通过从max_divide_num中减去1所获得的值的情况下，即，在可以对由输入的frame_idx标识的帧的图像进行分割编码的情况下，处理进行至步骤S33。

在步骤S33处，分析部51计算由输入的frame_idx标识的帧的图像和由在所述帧的前一帧的frame_idx–1标识的帧的另一图像(在前图像)的处于相同位置的像素之间的像素值的SAD(绝对差的和)。

在步骤S34处，分析部51确定在步骤S33处计算的SAD是否大于阈值。在步骤S34处确定SAD大于阈值的情况下，分析部51确定由frame_idx标识的帧是预测要通过非分割编码生成的编码流的比特生成量增加的场景变化帧，并且使处理进行至步骤S35。

在步骤S35处，分析部51确定要对由frame_idx标识的帧的图像进行分割编码，并且将au_divide_flag改变为1。

在步骤S36处，分析部51确定au_divide_idx是否小于max_divide_num。在步骤S36处确定au_divide_idx小于max_divide_num的情况下，分析缓冲器52使处理进行至步骤S37。

在步骤S37处，分析部51生成分析表，在所述分析表中，0被登记为coded_flag，max_au_idx被登记为au_idx并且max_divide_num被登记为au_divide_num。此外，分析部51将当前设置的frame_idx、au_divide_flag和au_divide_idx登记到分析表中。然后，分析部51将所生成的分析表提供至分析缓冲器52以进行存储。

在步骤S38处，分析部51将au_divide_idx和max_au_idx增加1，并使处理返回至步骤S36。因此，重复步骤S36至S38的处理，直到au_divide_idx变得等于或大于max_divide_num之后。结果是，针对由frame_idx标识的帧的图像生成max_divide_num分析表。

另一方面，在步骤S36处确定au_divide_idx等于或大于max_divide_num的情况下，处理返回至图7的步骤S12，并且然后进行至步骤S13。

此外，在步骤S32处确定frame_idx不是等于或大于通过从max_divide_num中减去1而获得的值的情况下，即，在尚不可以对由输入的frame_idx标识的帧的图像进行分割编码的情况下，处理进行至步骤S39。

此外，在步骤S34处确定SAD等于或小于阈值的情况下，分析部51确定要通过一个AU对由frame_idx标识的帧的图像进行编码，并且使处理进行至步骤S39。

在步骤S39处，分析部51生成分析表，在所述分析表中，0被登记为coded_flag，并且max_au_idx被登记为au_idx。此外，分析部51将当前设置的frame_idx和au_divide_flag登记到分析表中。然后，分析部51将所生成的分析表提供至分析缓冲器52以被存储。

在步骤S40处，分析部51将max_au_idx增加1，使处理返回至图7的步骤S12，并且然后进行至步骤S13。

图9是示出图7的步骤S14处的AU确定处理的流程图。

在图9的步骤S61处，确定部53将idx和coded_au_divide_flag设置为0，并且将指示编码目标的AU的au_idx的coded_au_idx设置为-1，以表示这还尚未确定。在步骤S62处，确定部53确定idx是否小于max_au_idx，即其中idx被登记为au_idx的分析表是否被存储在分析缓冲器52中。

在步骤S62处确定idx小于max_au_idx的情况下，处理进行至步骤S63。在步骤S63处，确定部53将由作为idx的au_idx标识的AU确定为处理目标的AU，并且从分析缓冲器52读出并且获取其中idx被登记为au_idx的分析表。

在步骤S64处，确定部53确定在所获取的分析表中登记的coded_flag是否为0，即是否尚未执行与所获取的分析表对应的AU的编码。

在步骤S64处确定coded_flag为0的情况下，处理进行至步骤S65。在步骤S65处，确定部53确定prev_au_divide_flag是否为0，以及在所获取的分析表中登记的au_divide_flag是否为1，以及此外au_divide_idx是否小于au_divide_num-1。

在步骤S65处确定prev_au_divide_flag为0并且au_divide_flag为1并且此外au_divide_idx小于au_divide_num-1的情况下，即，在编码目标紧之前的AU不是分割编码AU并且此外处理目标的AU是分割编码中的除了最后一个分割AU之外的AU的情况下，处理进行至步骤S66。

在步骤S66处，确定部53将当前的idx确定为编码目标的AU的au_idx，并且将coded_au_idx改变为idx。因此，分割编码的AU不会继续是编码目标的AU。此外，确定部53将coded_au_divide_flag改变为1。

在步骤S67处，确定部53将prev_au_divide_flag改变为coded_au_divide_flag。然后，处理返回至图7的步骤S14，并且进行至步骤S15。

另一方面，在步骤S65处确定prev_au_divide_flag不是0或者au_divide_flag不是1或者au_divide_idx等于或大于au_divide_num-1的情况下，即，在编码目标紧之前的AU是分割编码AU或者处理目标的AU是非分割编码AU或最后一个分割AU的情况下，处理前进至步骤S68。

在步骤S68处，确定部53确定coded_au_idx是否为-1。在步骤S68处确定coded_au_idx为-1的情况下，即在尚未发现未进行编码的非分割编码AU或最后一个分割AU的情况下，处理进入至步骤S69。

在步骤S69处，确定部53确定au_divide_flag是否为0或者au_divide_idx是否为au_divide_num-1。

在步骤S69处确定au_divide_flag是0或者au_divide_idx是au_divide_num-1的情况下，即，在处理目标的AU是非分割编码AU或最后一个分割AU的情况下，确定部53发现作为尚未进行编码的非分割编码AU或最后一个分割AU的处理目标的AU。

然后，在步骤S70处，确定部53临时将当前的idx确定为编码目标的AU的au_idx，并且将coded_au_idx设置为idx，并且然后将coded_au_divide_flag设置为0。然后，处理进入步骤S71。

另一方面，在步骤S64处确定coded_flag不为0的情况下，即，在处理目标的AU是已经被编码的AU的情况下，处理进行至步骤S71。

另一方面，在步骤S68处确定coded_au_idx不是-1的情况下，即，在已经发现尚未进行编码的非分割编码AU或最后一个分割AU的情况下，处理进行至步骤S71。

此外，在步骤S69处确定au_divide_flag不为0并且此外au_divide_idx不是au_divide_num_1的情况下，即，在处理目标的AU是分割编码中的除了最后一个分割AU之外的尚未进行编码的AU的情况下，处理进行至步骤S71。

在步骤S71处，确定部53将idx增加1，并且然后使处理返回至步骤S62。然后，重复步骤S62至S65以及S68至S71的处理，直到编码目标紧之前的AU是非分割编码AU并且此外发现尚未进行编码的分割编码AU之后，或者直到编码目标紧之前的AU是分割编码AU并且与分析缓冲器52中存储的全部分析表对应的AU成为处理目标的AU。

另一方面，在步骤S62处确定为idx等于或大于max_au_idx的情况下，即，在与分析缓冲器52中存储的全部分析表对应的AU成为处理目标的AU的情况下，则处理进行至步骤S67，在步骤S67处，执行上文中描述的步骤S67处的处理。特别地，在这种情况下，由在步骤S70处设置的coded_au_idx标识的非分割编码AU或最后一个分割AU最终被确定为编码目标的AU。

通过执行如上所述的这样的AU确定处理，在分割编码中的除了最后一个分割AU之外的尚未进行编码的AU的分析表被存储在分析缓冲器52中的情况下，确定部53将该AU优选地确定为编码目标的AU。然而，确定部53不将分割编码中的除了最后一个分割AU之外的AU连续地确定为编码目标的AU。

图10是示出图7的步骤S16处的非分割编码处理的流程图。

在图10的步骤S91处，非分割编码部54(图5)的设置部78设置切片单元的片头，该片头包括作为pic_output_flag的1。此外，设置部78根据需要设置参数集。

在步骤S92处，设置部78对设置的片头的头部、参数集等进行编码，并且将编码的头部提供至生成部77。

在步骤S93处，非分割编码部54执行编码处理以对与编码目标的AU对应的图像进行编码。在下文中参照图11和图12描述编码处理的详细信息。在步骤S93处的处理之后，处理返回至图7的步骤S16，并且进行至步骤S18。

图11和图12是示出图10的步骤S93处的编码处理的流程图。

在图11的步骤S131处，非分割编码部54(图5)的缓冲器71存储从图2的确定部53提供的图像。在步骤S132处，缓冲器71读出存储在其中的图像，并且将图像提供至算术运算部72、帧内预测部87和运动预测补偿部88。

在步骤S133处，帧内预测部87在PU单元中执行成为候选的所有帧内预测模式的帧内预测处理。此外，帧内预测部87基于从缓冲器71读出的图像以及由于帧内预测处理而生成的预测图像，针对成为候选的所有帧内预测模式计算成本函数值。然后，帧内预测部87将指示最小成本函数值的帧内预测模式确定为最佳帧内预测模式。帧内预测部87将在最佳帧内预测模式下生成的预测图像和相应的成本函数值提供至预测图像选择部89。

此外，运动预测补偿部88在PU单元中执行成为候选的所有帧间预测模式下的运动预测补偿处理。此外，运动预测补偿部88基于从缓冲器71提供的图像和预测图像来针对成为候选的所有帧间预测模式计算成本函数值。然后，运动预测补偿部88将指示最小成本函数值的帧间预测模式确定为最佳帧间预测模式。然后，运动预测补偿部88将最佳帧间预测模式下的成本函数值和相应的预测图像提供至预测图像选择部89。

在步骤S134处，预测图像选择部89基于从帧内预测部87和运动预测补偿部88提供的成本函数值，从最佳帧内预测模式和最佳帧间预测模式中确定指示最小成本函数值的模式作为最佳预测模式。然后，预测图像选择部89将最佳预测模式的预测图像提供至算术运算部72和加法部81。

在步骤S135处，预测图像选择部89确定最佳预测模式是否是最佳帧间预测模式。在步骤S135处确定最佳预测模式是最佳帧间预测模式的情况下，预测图像选择部89向运动预测补偿部88通知对在最佳帧间预测模式下生成的预测图像的选择。

然后，在步骤S136处，运动预测补偿部88将帧间预测模式信息、运动矢量和指定参考图像的信息提供至可逆编码部75，并且使处理进行至步骤S138。

另一方面，在步骤S135处确定最佳预测模式不是最佳帧间预测模式的情况下，即，在最佳预测模式是最佳帧内预测模式的情况下，预测图像选择部89向帧内预测部87通知对在最佳帧内预测模式下生成的预测图像的选择。然后，在步骤S137处，帧内预测部87将帧内预测模式信息提供至可逆编码部75，并且使处理进行至步骤S138。

在步骤S138处，算术运算部72通过从由缓冲器71提供的图像减去从预测图像选择部89提供的预测图像来执行编码。算术运算部72将由于编码而获得的信息作为残差信息输出至正交变换部73。

在步骤S139处，正交变换部73在TU单元中针对来自算术运算部72的残差信息执行正交变换，并且将由于正交变换而获得的正交变换系数提供至量化部74。

在步骤S140处，量化部74对从正交变换部73提供的正交变换系数进行量化，并且将量化的正交变换系数提供至可逆编码部75和去量化部79。

在图12步骤S141处，去量化部79对从量化部74提供的量化的正交变换系数进行去量化，并且将由于去量化而获得的正交变换系数提供至逆正交变换部80。

在步骤S142处，逆正交变换部80在TU单元中对从去量化部79提供的正交变换系数执行逆正交变换，并且将由于逆正交变换而获得的残差信息提供至加法部81。

在步骤S143处，加法部81将从逆正交变换部80提供的残差信息与从预测图像选择部89提供的预测图像相加，并且局部地执行解码。加法部81将局部解码图像提供至滤波器82和帧存储器85。

在步骤S144处，滤波器82针对从加法部81提供的局部解码图像执行去块滤波处理。

在步骤S145处，滤波器82针对每个LCU对去块滤波处理后的图像执行SAO处理。滤波器82将由于SAO处理而获得的图像提供至帧存储器85。此外，滤波器82针对每个LCU将偏移滤波信息提供至可逆编码部75。

在步骤S146处，帧存储器85累积从滤波器82提供的图像和从加法部81提供的图像。此外，帧存储器85累积从分割解码部55提供的作为解码图像的已经对其执行了滤波处理的图像。通过开关86将帧存储器85中累积的且尚未对其进行滤波处理的图像的被定位成与PU相邻的像素提供至帧内预测部87作为周边像素。另一方面，通过开关86将帧存储器85中累积的且已经对其执行了滤波处理的图像输出至运动预测补偿部88作为参考图像。

在步骤S147处，可逆编码部75将帧内预测模式信息或帧间预测模式信息、运动矢量以及指定参考图像的信息和偏移滤波信息可逆地编码为编码信息。

在步骤S148处，可逆编码部75对从量化部74提供的量化的正交变换系数进行可逆地编码。然后，可逆编码部75根据由步骤S147处的处理可逆地编码的编码信息和可逆地编码的正交变换系数生成编码数据，并且将编码数据提供至累积缓冲器76。

在步骤S149处，累积缓冲器76临时累积从可逆编码部75提供的编码数据。

在步骤S150处，速率控制部90基于累积缓冲器76中累积的编码数据来控制量化部74的量化操作的速率，使得可以不发生上溢或下溢。

在步骤S151处，累积缓冲器76将其中存储的编码数据输出至生成部77。

在步骤S152处，生成部77根据从设置部78提供的头部和从累积缓冲器76提供的编码数据生成编码流，并且输出编码流。然后，处理返回至图10的步骤S93，并且还返回至图7的步骤S16，并且然后进行至步骤S18。

要注意的是，尽管在图11和图12的编码处理中，为了简化描述总是按顺序执行帧内预测处理和运动预测补偿处理，但是根据图片类型等有时仅执行帧内预测处理和运动预测补偿处理中的一者。

图13是示出图7的步骤S17处的分割编码处理的流程图。

在图13的步骤S171处，分割编码部55(图6)的设置部118执行头部设置处理以对头部进行设置和编码。在下文中参照图14来描述头部设置处理的详细信息。

在步骤S172处，图像改变部110基于从确定部53提供的分析表执行图像改变处理以改变图像。在下文中参照图15来描述图像改变处理的详细信息。

在步骤S173处，分割编码部55执行编码处理，以对由图像改变部110改变的图像进行编码。然后，处理返回至图7的步骤S17，并且然后进行至步骤S18。

图14是示出图13的步骤S171处的头部设置处理的流程图。

在图14的步骤S191处，设置部118确定从确定部53提供的分析表中登记的au_divide_idx是否为0，在步骤S191处确定au_divide_idx不为0的情况下，即，在编码目标的AU不是分割编码中的第一个AU的情况下，处理进行至步骤S192。

在步骤S192处，设置部118将编码目标的AU的包括P切片的片头设置为切片类型(slice_type)。在步骤S193处，设置部118设置包括参考图片集的参数集，该参考图片集是参考图像的候选的列表，其中，图像中的只有与以下AU对应的图像被设置为参考图像的候选：所述AU具有与编码目标的AU的frame_idx相同的frame_idx但是具有比编码目标的AU的au_divide_idx小1的au_divide_idx。然后，处理进行至步骤S195。

另一方面，在步骤S191处确定编码目标的AU的au_divide_idx是0的情况下，即，在编码目标的AU是分割编码中的第一个AU的情况下，处理进行至步骤S194。

在步骤S194处，设置部118将包括I切片的片头设置为切片类型，并且使处理进行至步骤S195。

在步骤S195处，确定从确定部53提供的分析表中登记的au_divide_idx是否是au_divide_num–1。在步骤S195处确定au_divide_idx不是au_divide_num–1的情况下，即，在编码目标的AU不是最后一个分割AU的情况下，处理进行至步骤S196。

在步骤S196处，设置部118将在步骤S193或S194处设置的片头中包括的pic_output_flag设置为0，并且使处理进行至步骤S198。

另一方面，在步骤S195处确定au_divide_idx是au_divide_num-1的情况下，即，在编码目标的AU是最后一个分割AU的情况下，处理进行至步骤S197。

在步骤S197处，设置部118将在步骤S193或S194处设置的片头中包括的pic_output_flag设置为1，并且使处理进行至步骤S198。

在步骤S198处，设置部118将设置的片头和参数集编码为头部，并且将编码的头部提供至生成部117。然后，处理返回至图13的步骤S171，并且然后进行至步骤S172。

图15是示出图13的步骤S172处的图像改变处理的流程图。

在图15的步骤S211处，图像改变部110确定从确定部53提供的分析表中登记的au_divide_idx是否小于au_divide_num-2。在步骤S211处确定au_divide_idx小于au_divide_num-2的情况下，即在编码目标的AU既不是最后一个分割AU也不是从最后一个起的第二个AU的情况下，处理进入至步骤S212。

在步骤S212处，图像改变部110将从确定部53提供的图像的竖直方向上的像素数高度乘以au_divide_idx+1，并且将通过使相乘值除以au_divide_num-1而获得的值设置为坐标y。特别地，图像改变部110将分割区域中的从顶部起的第au_divide_idx+2个分割区域的顶部处的像素的y坐标设置为坐标y，所述分割区域通过将图像的竖直方向上的像素分割成au_divide_num-1部分而获得。要注意的是，像素的x坐标是表示以0开始从左边像素起像素的编号是什么的整数值，并且y坐标是表示以0开始从顶部像素起像素的编号是什么的整数值。

在步骤S213处，图像改变部110确定坐标y是否小于编码目标的图像的竖直方向上的像素数高度。在步骤S213处确定坐标y小于图像的竖直方向上的像素数高度的情况下，即在坐标y表示图像中的像素的y坐标的情况下，处理进行至步骤S214。

在步骤S214处，图像改变部110将坐标x设置为0。在步骤S215处，图像改变部110确定坐标x是否小于编码目标的图像的水平方向上的像素数宽度。在步骤S215处确定坐标x小于图像的水平方向上的像素数宽度的情况下，即在坐标x表示图像中的像素的x坐标的情况下，处理进行至步骤S216。

在步骤S216处，图像改变部110将从确定部53提供的图像的坐标(x，y)的像素值改变成0。在步骤S217处，图像改变部110将x增加1，并且使处理返回至步骤S215。然后，执行步骤S215至S217处的处理，直到坐标x变得等于或大于图像的水平方向上的像素数宽度，即直到坐标x表示图像外的像素的x坐标。因此，从确定部53提供的图像中的坐标y的行中的所有像素被改变成黑色图像的那些像素。

另一方面，在步骤S215处确定坐标x等于或大于图像的水平方向上的像素数宽度的情况下，处理进行至步骤S218。在步骤S218处，图像改变部110将坐标y增加1，并且使处理返回至步骤S213。然后，重复步骤S213至S218处的处理，直到坐标y变得等于或大于图像的竖直方向上的像素数高度，即，直到在步骤S212处设置的坐标y的行之后的行中的所有像素被改变成黑色图像的那些像素。

在步骤S213处确定坐标y等于或大于图像的竖直方向上的像素数高度的情况下，图像改变部110将变化后的图像作为分割图像提供至缓冲器111。然后，处理返回至图13的步骤S172，并且进行至步骤S173。

另一方面，在步骤S211处确定au_divide_idx等于或大于au_divide_num-2的情况下，即，在编码目标的AU是分割编码中的最后一个分割AU或从最后一个起的第二个AU的情况下，图像改变部110将从确定部53提供的图像原样提供至缓冲器111。特别地，在编码目标的AU是分割编码中的从最后一个起的第二个AU的情况下，图像改变部110将从确定部53提供的图像作为分割图像提供至缓冲器111。另一方面，在编码目标的AU是最后一个分割AU的情况下，图像改变部110将从确定部53提供的图像原样提供至缓冲器111。然后，处理返回至图13的步骤S172，并且进行至步骤S173。

(解码设备的配置的示例)

图16是描绘对从图2的编码设备50输出的编码流进行解码的解码设备的配置的示例的视图。

图16的解码设备150包括获取部151、解码部152和显示部153。

图16的获取部151获取从编码设备50输出的编码流，并且将编码流提供至解码部152。

解码部152从获取部151提供的编码流分离编码数据和头部。解码部152根据需要参考头部对编码数据进行解码。解码部152仅将解码图像中的与包括作为pic_output_flag的1的片头对应的解码图像提供至显示部153。

显示部153显示从解码部152提供的解码图像。

(解码部的配置的示例)

图17是描绘图16的解码部152的配置的示例的框图。

图17的解码部152包括分离部170、累积缓冲器171、可逆解码部172、去量化部173、逆正交变换部174、加法部175、滤波器176和屏幕图像排序缓冲器179。此外，解码部152包括帧存储器181、开关182、帧内预测部183、运动补偿部184和开关185。

解码部152的分离部170从由图16的获取部151提供的编码流分离编码数据和头部。分离部170将编码数据提供至累积缓冲器171。此外，分离部170将头部的片头中包括的pic_output_flag提供至屏幕图像排序缓冲器179。此外，分离部170根据需要将头部中包括的信息提供至相关联部分。

累积缓冲器171累积从分离部170提供的编码数据。累积缓冲器171将累积的编码数据提供至可逆解码部172。

可逆解码部172对来自累积缓冲器171的编码数据执行与图5的可逆编码部75的可逆编码对应的可逆解码例如算术解码等，以获得量化的正交变换系数和编码信息。可逆解码部172将量化的正交变换系数提供至去量化部173。此外，可逆解码部172将帧内预测模式信息等作为编码信息提供至帧内预测部183。可逆解码部172将运动矢量、帧间预测模式信息、用于指定参考图像的信息等提供至运动补偿部184。

此外，可逆解码部172将帧内预测模式信息或帧间预测模式信息作为编码信息提供至开关185。可逆解码部172将偏移滤波信息作为编码信息提供至滤波器176。

去量化部173、逆正交变换部174、加法部175、滤波器176、帧存储器181、开关182、帧内预测部183和运动补偿部184执行与图5的去量化部79、逆正交变换部80、加法部81、滤波器82、帧存储器85、开关86、帧内预测部87和运动预测补偿部88的处理类似的处理，从而解码图像。

特别地，去量化部173对来自可逆解码部172的量化的正交变换系数进行去量化，并且将由于去量化而获得的正交变换系数提供至逆正交变换部174。

逆正交变换部174在TU单元中对来自去量化部173的正交变换系数执行逆正交变换。逆正交变换部174将由于逆正交变换而获得的残差信息提供至加法部175。

加法部175将从逆正交变换部174提供的残差信息与从开关185提供的预测图像相加以执行解码。加法部175将由于解码而获得的图像提供至滤波器176和帧存储器181。

滤波器176对从加法部175提供的图像执行去块滤波处理。滤波器176针对每个LCU使用由来自可逆解码部172的偏移滤波信息表示的偏移来对去块滤波处理后的图像执行由偏移滤波信息表示的类型的自适应偏移滤波处理。滤波器176将自适应偏移滤波处理后的图像提供至帧存储器181和屏幕图像排序缓冲器179。

屏幕图像排序缓冲器179基于从分离部170提供的pic_output_flag，仅存储帧单元中的解码图像(解码图像是从滤波器176提供的图像)中的其所有切片的pic_output_flag均为1的解码图像。屏幕图像排序缓冲器179对存储的帧单元的解码图像进行排序使得它们的用于编码的顺序为用于显示的原始顺序，并且将排序后的解码图像提供至图16的显示部153。

帧存储器181累积从滤波器176提供的图像和从加法部175提供的图像。通过开关182将累积在帧存储器181中并且尚未对其执行滤波器处理的图像中的被定位成与PU相邻的像素作为周边像素提供至帧内预测部183。同时，通过开关182将累积在帧存储器181中并且已经对其执行滤波处理的图像作为参考图像提供至运动补偿部184。

帧内预测部183在PU单元中使用通过开关182从帧存储器181读出的周边像素，来执行由从可逆解码部172提供的帧内预测模式信息指示的最佳帧内预测模式的帧内预测处理。帧内预测部183将由于帧内预测处理而生成的预测图像提供至开关185。

运动补偿部184通过开关182从帧存储器181中读出由从可逆解码部172提供的用于指定参考图像的信息指定的参考图像。运动补偿部184具有二维线性插值自适应滤波器。运动补偿部184使用二维线性插值自适应滤波器针对参考图像执行插值滤波处理，以将参考图像转换成高分辨率图像。运动补偿部184在PU单元中使用被转换成高分辨率图像的参考图像以及从可逆解码部172提供的运动矢量来执行最佳帧间预测模式的运动补偿处理，所述最佳帧间预测模式由从可逆解码部172提供的帧间预测模式信息指示。运动补偿部184将由于运动补偿处理而生成的预测图像提供至开关185。

在从可逆解码部172提供帧内预测模式信息的情况下，开关185将从帧内预测部183提供的预测图像提供至加法部175。另一方面，在从可逆解码部172提供帧间预测模式信息的情况下，开关185将从运动补偿部184提供的预测图像提供至加法部175。

(解码设备的处理)

图18是示出图16的解码设备150的显示处理的流程图。

在图18的步骤S231处，获取部151获取从编码设备50输出的编码流，并且将编码流提供至解码部152。

在步骤S232处，解码部152执行解码处理以对从获取部151提供的编码流中包括的编码数据进行解码。在下文中参照图19来描述解码处理的详细信息。

在步骤S233处，屏幕图像排序缓冲器179确定解码图像的所有切片的pic_output_flag是否均为1，所述解码图像是由于在步骤S232处的解码处理而从滤波器176提供的图像。在步骤S233处确定解码图像的所有切片的pic_output_flag均为1的情况下，即，在解码图像是非分割编码AU或最后一个分割AU的解码图像的情况下，处理进入至步骤S234。

在步骤S234处，屏幕图像排序缓冲器179存储解码图像并且对存储的解码图像进行排序使得解码图像的解码的顺序被改变成用于显示的原始顺序，并且将原始顺序的解码图像提供至图16的显示部153。

在步骤S235处，显示部153显示从解码部152提供的解码图像，并且然后结束处理。

另一方面，在步骤S233处确定解码图像的至少一个切片的pic_output_flag不是1的情况下，即，在解码图像是分割编码中的除了最后一个分割AU之外的AU的解码图像的情况下，处理结束。

图19是示出图18的步骤S232处的解码处理的详细信息的流程图。

在图19的步骤S250处，解码部152(图17)的分离部170从由获取部151提供的编码流分离编码数据和头部。分离部170将编码数据提供至累积缓冲器171。此外，分离部170将头部的片头中包括的pic_output_flag提供至屏幕图像排序缓冲器179。此外，分离部170根据需要将头部中包括的信息提供至相关联部分。

在步骤S251处，累积缓冲器171累积从分离部170提供的编码数据。累积缓冲器171将累积的编码数据提供至可逆解码部172。

在步骤S252处，可逆解码部172对来自累积缓冲器171的编码数据进行可逆地解码，以获得量化的正交变换系数和编码信息。可逆解码部172将量化的正交变换系数提供至去量化部173。

此外，可逆解码部172将帧内预测模式信息等作为编码信息提供至帧内预测部183。可逆解码部172将运动矢量、帧间预测模式信息、用于指定参考图像的信息等提供至运动补偿部184。

此外，可逆解码部172将帧内预测模式信息或帧间预测模式信息作为编码信息提供至开关185。可逆解码部172将偏移滤波信息作为编码信息提供至滤波器176。

在步骤S253处，去量化部173对来自可逆解码部172的量化的正交变换系数进行去量化，并且将由于去量化而获得的正交变换系数提供至逆正交变换部174。

在步骤S254处，逆正交变换部174对来自去量化部173的正交变换系数执行逆正交变换，并且将由于逆正交变换而获得的残差信息提供至加法部175。

在步骤S255处，运动补偿部184确定是否从可逆解码部172提供了帧间预测模式信息。在步骤S255处确定提供了帧间预测模式信息的情况下，处理进行至步骤S256。

在步骤S256处，运动补偿部184在PU的单元中基于从可逆解码部172提供的指定参考图像的信息读出参考图像，并且使用运动矢量和参考图像来执行由帧间预测模式信息指示的最佳帧间预测模式的运动补偿处理。运动补偿部184通过开关185将由于运动补偿处理而生成的预测图像提供至加法部175，并且使处理进行至步骤S258。

另一方面，在步骤S255处确定未提供帧间预测模式信息的情况下，即，在帧内预测模式信息被提供至帧内预测部183的情况下，处理进行至步骤S257。

在步骤S257处，帧内预测部183在PU的单元中使用通过开关182从帧存储器181读出的周边像素来执行由帧内预测模式信息指示的帧内预测模式的帧内预测处理。帧内预测部183通过开关185将由于帧内预测处理而生成的预测图像提供至加法部175，并且使处理进行至步骤S258。

在步骤S258处，加法部175将从逆正交变换部174提供的残差信息与从开关185提供的预测图像相加，以局部地执行解码。加法部175将由于解码而获得的图像提供至滤波器176和帧存储器181。

在步骤S259处，滤波器176对从加法部175提供的图像执行去块滤波处理以从图像中去除块失真。

在步骤S260处，滤波器176针对每个LCU基于从可逆解码部172提供的偏移滤波信息对去块滤波处理后的图像执行SAO处理。滤波器176将SAO处理后的图像提供至帧存储器181和屏幕图像排序缓冲器179。

在步骤S261处，帧存储器181累积从加法部175提供的图像和从滤波器176提供的图像。通过开关182将累积在帧存储器181中的并且尚未对其执行滤波处理的图像中的被定位成与PU相邻的像素作为周边像素提供至帧内预测部183。另一方面，通过开关182将累积在帧存储器181中的并且已经对其执行滤波处理的图像作为参考图像提供至运动补偿部184。然后，处理返回至图18的步骤S232，并且然后进行至步骤S233。

如上所述，编码设备50将图像分割成多个AU并且对它们进行编码。因此，可以使每单位时间段的编码流的比特生成量均衡。

此外，与通过增加量化参数来抑制比特生成量的替选情况相比较，编码设备50可以生成高图片质量的编码流。相比之下，在通过增加量化参数来抑制比特生成量的情况下，不仅比特生成量被抑制的编码流的解码图像的图片质量下降，而且参考该解码图像的解码图像的图片质量也下降。

解码设备150可以通过对由编码设备50生成的并且比特生成量被均衡的高图片质量的编码流进行解码来在不会局部产生高负荷的情况下对高图片质量的图像进行解码。换言之，可以解码低负荷和高图片质量的图像。

此外，编码设备50将分割编码中的除了最后一个分割AU之外的AU的解码图像的pic_output_flag设置为0。因此，解码设备150可以基于该pic_output_flag避免显示分割编码中的除了最后一个分割AU之外的AU的解码图像，即在分割编码流的解码处理期间的图像。

<第二实施方式>

(编码方法的概述)

图20是示出应用本公开内容的编码设备的第二实施方式中的编码方法的概述的视图。

图20中所描绘的部件中与图1中的部件相同的部件由相同的附图标记表示。适当地省略重叠描述。

第二实施方式中的编码方法与第一实施方式中的编码方法的不同之处在于：同时合成并编码分割图像或黑色图像以及要进行非分割编码的图像或与最后一个分割AU对应的图像，并且不显示解码图像中的分割图像或黑色图像的区域。

特别地，如图20的A和图20的B中所描绘的，分割图像11被合成到图像24前三帧的图像21的下部部分，并且在图像21的编码时间t₁₁处被编码为P图片。此时，与在第一实施方式中类似，根据需要通过参考图像21之前的帧的图像对图像21进行编码，并且对分割图像11进行帧内编码。结果是，如图20的C中所描绘的，在编码时获得的编码流的解码结果成为合成图像201，在合成图像201中，分割解码图像41被合成到图像21的解码图像191的下部部分。

然后，分割图像12被合成到图像21的下一帧的图像22的下部部分，并且在图像22的编码时间t₁₂处被编码为P图片。此时，根据需要参考合成图像201中的解码图像191或解码图像191之前的帧的解码图像对图像22进行编码，并且与第一实施例中类似地参考分割解码图像41对分割图像12进行编码。结果是，如图20的C中所描绘的，在编码时获得的编码流的解码结果成为合成图像202，在合成图像202中，分割解码图像42被合成到图像22的解码图像192的下部部分。

此后，分割图像13被合成到图像22的下一帧的图像23的下部部分，并且在图像23的编码时间t₁₃处被编码为P图片。此时，根据需要参考合成图像202中的解码图像192或解码图像192之前的帧的解码图像对图像23进行编码，并且与第一实施方式中类似地参考分割解码图像42对分割图像13进行编码。结果是，如图20的C中所描绘的，在编码时获得的编码流的解码结果成为合成图像203，在合成图像203中，分割解码图像43被合成到图像23的解码图像193的下部部分。

最后，黑色图像211被合成到图像24的下部部分，并且在图像24的编码时间t₁₄处被编码为P图片。此时，与第一实施方式中类似，参考合成图像203中的分割解码图像43对图像24进行编码，并且根据需要参考解码图像193或解码图像193之前的帧的解码图像对黑色图像211进行编码。结果是，如图20的C中所描绘的，在编码时获得的编码流的解码结果成为合成图像204，在合成图像204中，黑色图像211被合成到解码图像44的下部部分。

此外，对于合成图像201至203的编码流，分别设置用于指定合成图像201至203的上半部分解码图像191至193的区域作为显示区域的信息。此外，在图像204的编码流中，指定用于指定合成图像204的上半解码图像44的区域作为显示区域的信息。因此，不显示分割解码图像41至43和黑色图像211。

(编码设备的第二实施方式的配置的示例)

图21是示出应用本公开内容的编码设备的第二实施方式的配置的示例的框图。

在图21中描绘的部件中的与图2中的部件相同的部件由相同的附图标记表示。适当省略重叠描述。

图21的编码设备230的配置与图2的编码设备50的配置的不同之处在于：编码设备230包括对确定部231和对编码部232来替代确定部53、非分割编码部54和分割编码部55。

对确定部231从分析缓冲器52中读出分析表。对确定部231基于分析表将非分割编码AU或最后一个分割AU以及分割编码中的除了最后一个分割AU之外的AU确定为编码目标的一对AU。

然而，在分析缓冲器52中存储的分析表中不存在分割编码中的除了最后一个分割AU之外的尚未进行编码的AU的分析表的情况下，对确定部231仅将非分割编码AU或最后一个分割AU确定为编码目标的一对AU。

对确定部231将编码目标的AU对的分析表以及与构成所述对的AU对应的图像提供至对编码部232。此外，对确定部231将编码目标的构成AU对的AU的存储在分析部51中的分析表的coded_flag改变成1。

对编码部232基于编码目标的AU对的分析表以及从对确定部231提供的图像来生成合成图像。对编码部232通过HEVC方法将合成图像编码为一个AU，以生成AU单元的编码流。对编码部232输出所生成的AU单元的编码流。

(对编码部的配置的示例)

图22是描绘图21的对编码部232的配置的示例的框图。

图22中描绘的部件中的与图5的部件相同的部件由相同的附图标记表示。适当省略重叠的描述。

图22的对编码部232的配置与图5的非分割编码部54的配置的不同之处在于：新设置了图像合成部251，并且设置了设置部253、帧内预测部254、运动预测补偿部255、预测图像选择部256和速率控制部257来替代设置部78、帧内预测部87、运动预测补偿部88、预测图像选择部89和速率控制部90。

图像合成部251基于从图21的对确定部231提供的分析表来确定编码目标的AU对中的一个AU是否是分割编码中的除了最后一个分割AU之外的AU。在图像合成部251确定编码目标的AU对中的一个AU是分割编码中的除了最后一个分割AU之外的AU的情况下，与图6的图像改变部110类似，其根据与所述AU对应的图像生成分割图像。然后，图像合成部251(图像改变部)将分割图像合成到与编码目标的AU对中的另一个AU对应的图像的下部部分，以生成合成图像。

另一方面，在编码目标的AU对仅包括非分割编码AU或最后一个分割AU的情况下，图像合成部251将黑色图像(预定图像)合成到与非分割编码AU或最后一个分割AU对应的图像的下部部分，以生成合成图像。图像合成部251将合成图像提供至缓冲器71。

设置部253设置SPS，在SPS中设置有VUI(视频可用性信息)，VUI(视频可用性信息)包括用于指定上半区域作为解码图像的显示区域的信息。特别地，设置部253将default_display_window_flag设置成1以指示显示区域被指定，default_display_window_flag指示是否指定了显示区域。

此外，设置部253将def_disp_win_bottom_offset设置成指示像素数等于解码图像的竖直方向上的像素数的一半的值，def_disp_win_bottom_offset指示从解码图像的下端至显示区域的下端的像素数。

此外，设置部253将def_disp_win_top_offset、def_disp_win_left_offset以及def_disp_win_right_offset设置成0，def_disp_win_top_offset指示从解码图像的上端至显示区域的上端的像素数，def_disp_win_left_offset指示从解码图像的左端至显示区域的左端的像素数，def_disp_win_right_offset指示从解码图像的右端至显示区域的右端的像素数。

如上面所描述的以这样的方式设置的def_disp_win_bottom_offset、def_disp_win_top_offset、def_disp_win_left_offset以及def_disp_win_right_offset是将解码图像中的与非分割编码AU和最后一个分割AU对应的上半图像指定为显示区域的信息。特别地，刚刚描述的这样的信息是非显示信息和显示信息，所述非显示信息指示解码图像中的与分割编码中的除了最后一个分割AU之外的AU对应的图像不被显示，并且所述显示信息指示与非分割编码AU和最后一个分割AU对应的图像将被显示。

设置部253设置SPS，在该SPS中设置有VUI，该VUI包括default_display_window_flag、def_disp_win_bottom_offset、def_disp_win_top_offset、def_disp_win_left_offset以及def_disp_win_right_offset。

要注意的是，由于VUI被设置在SPS中，因此被设置在SPS中并且指示VUI是否存在的vui_parametrs_present_flag被设置成1，以指示VUI存在。此外，设置部253根据需要设置一些其他参数集例如PPS等。此外，设置部253在切片单元中设置片头。设置部253将设置的片头和参数集例如SPS、PPS等编码为头部，并且将编码的头部提供至生成部77。

帧内预测部254对从缓冲器71提供的合成图像中的与非分割编码AU和黑色图像对应的图像执行与图5的帧内预测部87的处理类似的处理，并且针对分割编码AU执行与图6的帧内预测部127的处理类似的处理。

运动预测补偿部255针对从缓冲器71提供的合成图像中的与非分割编码AU和黑色图像对应的图像执行与图5的运动预测补偿部88的处理类似的处理，并且针对分割编码AU执行与图6的运动预测补偿部128的处理类似的处理。

预测图像选择部256针对合成图像中的与非分割编码AU和黑色图像对应的图像执行与图5的预测图像选择部89的处理类似的处理，并且针对分割编码AU执行与图6的预测图像选择部129的处理类似的处理。

(编码设备的处理的描述)

图23是示出图21的编码设备230的编码处理的流程图。

在图23的步骤S281处，编码设备230的分析部51将max_au_idx和frame_idx设置为0。在步骤S282处，分析部51执行图8的分析处理。

在步骤S283处，确定部53确定frame_idx是否等于或大于延迟帧数。在步骤S283处确定frame_idx等于或大于延迟帧数的情况下，在步骤S284处对确定部231执行对确定处理以确定编码目标的一对AU。在下文中参照图24来描述对确定处理的详细信息。

在步骤S285处，对编码部232执行对编码处理以对编码目标的AU对进行编码。在下文中参照图25来描述对编码处理的详细信息。

在步骤S286处，对确定部231将登记在分析表中的coded_flag改变为1，所述分析表存储在分析缓冲器52中并且其中au_idx是通过步骤S284处的对确定处理设置的disp_au_idx，即，是编码目标的AU对中的与显示区域对应的AU的分析表。然后，处理进行至步骤S287。

在步骤S287处，对确定部231确定通过步骤S284处的对确定处理设置的non_disp_au_idx是否为-1。在步骤S287处确定non_disp_au_idx不是-1的情况下，即，在编码目标的AU对中存在与非显示区域对应的AU的情况下，处理进行至步骤S288。

在步骤S288处，对确定部231将登记在分析表中的coded_flag改变成1，所述分析表存储在分析缓冲器52中并且其中au_idx是non_disp_au_idx，即，是编码目标的AU对中的与非显示区域对应的AU的分析表。然后，处理进行至步骤S289。

另一方面，在步骤S287处non_disp_au_idx是-1的情况下，即，在编码目标的AU对中不存在与非显示区域对应的AU的情况下，处理进行至步骤S289。

另一方面，在步骤S283处确定frame_idx不是等于或大于延迟帧数的情况下，处理进行至步骤S289。由于步骤S289和步骤S290处的处理与图7的步骤S19和步骤S20处的处理类似，因此省略对其的描述。

图24是示出了图23的步骤S284处的对确定处理的流程图。

在图24的步骤S311处，对确定部231将idx设置为0。此外，对确定部231将指示与显示区域对应的AU的au_idx的disp_au_idx以及指示与非显示区域对应的AU的au_idx的non_disp_au_idx设置为-1以指示其尚未确定。

步骤S312至步骤S314处的处理与图9的步骤S62至S64的处理类似，并且因此，省略了对它们的描述。

在步骤S315处，对确定部231确定在步骤S313处获取的分析表中登记的au_divide_flag是否是0或者au_divide_idx是否是au_divide_num-1。在步骤S315处确定au_divide_flag是0或者au_divide_idx是au_divide_num-1的情况下，即，在处理目标的AU是非分割编码AU或最后一个分割AU的情况下，处理进行至步骤S316。

在步骤S316处，对确定部231确定disp_au_idx是否为-1。在步骤S316处disp_au_idx是-1的情况下，即，在第一次发现尚未进行编码的非分割编码AU或最后一个分割AU的情况下，处理进行至步骤S317。

在步骤S317处，对确定部231将处理目标的AU确定为编码目标的AU对中的一个AU，并且将disp_au_idx设置成idx，随后使处理进行至步骤S320。

另一方面，在步骤S316处确定disp_au_idx不是-1的情况下，即，在已经发现尚未进行编码的非分割编码AU或最后一个分割AU的情况下，处理进行至步骤S320。

另一方面，在步骤S315处确定au_divide_flag不是0并且此外au_divide_idx不是au_divide_num-1的情况下，即，在编码目标的AU是分割编码中的除了最后一个分割AU之外的AU的情况下，处理进行至步骤S318。

在步骤S318处，对确定部231确定non_disp_au_idx是否为-1。在步骤S318处non_disp_au_idx是-1的情况下，即，在第一次发现分割编码中的除了最后一个分割AU之外的未进行编码的AU的情况下，处理进行至步骤S319。

在步骤S319处，对确定部231将处理目标的AU确定为编码目标的AU对中的一个AU，并且将non_disp_au_idx设置成idx，随后使处理进行至步骤S320。

另一方面，在步骤S318处确定non_disp_au_idx不是-1的情况下，即，在已经发现分割编码中的除了最后一个分割AU之外的未进行编码的AU的情况下，处理进行至步骤S320。

在步骤S320处，对确定部231将idx增加1，并且使处理返回至步骤S312。然后，直到idx变为等于或大于max_au_idx之后，即直到对与分析缓冲器52中存储的所有分析表对应的AU执行了尚未进行编码的非分割编码AU或最后一个分割AU与分割编码中的除了最后一个分割AU之外的AU的对的检测之后，重复步骤S312至S320处的处理。

因此，检测到尚未进行编码的具有最小au_idx的非分割编码AU或最后一个分割AU与分割编码中的除了最后一个分割AU之外的AU的对。然而，也存在未检测到分割编码中的除了最后一个分割AU之外的AU的情况。在这种情况下，non_disp_au_idx保持-1。

另一方面，在步骤S312处确定idx等于或大于max_au_idx的情况下，对确定部231将au_idx为disp_au_idx和non_disp_au_idx的分析表以及与该分析表对应的图像提供至对编码部232。要注意的是，在不存在其中non_disp_au_idx是-1并且au_idx是non_disp_au_idx的分析表的情况下，只有其中au_idx是disp_au_idx的分析表以及与该分析表对应的图像被提供至对编码部232。然后，处理返回至图23的步骤S284，并且然后进行至步骤S285。

图25是示出图23的步骤S285处的对编码处理的流程图。

在图25的步骤S341处，对编码部232(图22)的设置部253将def_disp_win_left_offset、def_disp_win_right_offset和def_disp_win_top_offset设置成0，并且将def_disp_win_bottom_offset设置成通过将解码图像的竖直方向上的像素数除以SubHeightC而得到的值。SubHeightC是通过HEVC方法定义的参数，以由1/SubHeightC倍的值指示竖直方向上的像素数。因此，在解码时，通过def_disp_win_bottom_offset与SubHeightC相乘而获得的值是从解码图像的下端至显示区域的下端的像素数。

在步骤S342处，设置部253将在步骤S341处设置的def_disp_win_bottom_offset、def_disp_win_top_offset、def_disp_win_left_offset和def_disp_win_right_offset、设置有VUI的SPS以及片头设置为头部，所述VUI包括作为default_display_window_flag的1。此外，设置部253根据需要还将其他参数集例如PPS等设置为头部。

在步骤S343处，设置部253对头部进行编码。在步骤S344处，图像合成部251执行合成处理以合成与编码目标的AU对对应的图像。在下文中参照图26来描述合成处理的详细信息。

在步骤S345处，对编码部232对通过步骤S344处的合成处理而生成的合成图像进行编码，并且使处理返回至图23的步骤S285，并且然后使处理进行至步骤S286。

图26是示出图25的步骤S344处的合成处理的流程图。

在图26的步骤S361处，图像合成部251将坐标x和坐标y设置成0。在步骤S362处，图像合成部251将与非分割编码AU或最后一个分割AU对应的图像设置为disp_frame，所述图像从对确定部231提供并且由au_idx是disp_au_idx的分析表中登记的frame_idx标识。

在步骤S363处，图像合成部251确定由对确定部231设置的non_disp_au_idx是否为-1。在步骤S363处确定non_disp_au_idx不是-1的情况下，即，在从对确定部231提供与对应于disp_frame的AU构成对的AU的图像的情况下，处理进行至步骤S364。

在步骤S364处，图像合成部251将与分割编码中的除了最后一个分割AU之外的AU对应的编码目标的图像设置为non_disp_frame，所述图像从对确定部231提供并且由au_idx是non_disp_au_idx的分析表中登记的frame_idx标识。然后，处理进行至步骤S365。

另一方面，在步骤S362处确定non_disp_au_idx是-1的情况下，即，在仅从对确定部231提供disp_frame的情况下，处理进入步骤S365。

在步骤S365处，图像合成部251确定坐标x是否小于编码目标的图像的水平方向上的像素数宽度。在步骤S365处确定坐标x小于编码目标的图像的水平方向上的像素数宽度的情况下，即，在坐标x是要生成的合成图像的列中的像素的x坐标的情况下，处理进行至步骤S366。

在步骤S366处，图像合成部251确定坐标y是否小于编码目标的图像的垂直方向上的像素数高度。在步骤S366处确定坐标y小于编码目标的图像的竖直方向上的像素数高度的情况下，即，在坐标y是要生成的合成图像中的上半部分的行中的像素的y坐标的情况下，处理进行至步骤S367。

在步骤S367处，图像合成部251将disp_frame的坐标(x，y)的像素值设置成要生成的合成图像的坐标(x，y)的像素值。在步骤S368处，图像合成部251将坐标y增加1，并且使处理返回至步骤S366。然后，重复步骤S366至S368的处理，直到坐标y变得等于或大于编码目标的图像的竖直方向中的像素数高度之后，即，直到坐标y表示要生成的合成图像中的上半部分中的最低行中的像素的y坐标之后。因此，合成图像的坐标x的列的上半部分中的像素的像素值变成与在该像素的位置相同的位置处的disp_frame的像素值相同。

另一方面，在步骤S366处确定坐标y等于或大于编码目标的图像的竖直方向上的像素数高度的情况下，即，在坐标y是要生成的合成图像中的上半部分下方的行中的像素的y坐标的情况下，处理进行至步骤S369。

在步骤S369处，图像合成部251确定坐标y是否小于编码目标的图像的竖直方向上的像素数高度的两倍。在步骤S369处确定坐标y小于编码目标的图像的竖直方向上的像素数高度的两倍的情况下，即，在坐标y是要生成的合成图像中的下半部分中的像素的y坐标的情况下，处理进行至步骤S370。

在步骤S370处，图像合成部251确定non_disp_au_idx是否为-1。在步骤S370处确定non_disp_au_idx不是-1的情况下，即在从对确定部231提供与对应于disp_frame的AU构成对的AU的图像的情况下，处理进行至步骤S371。

在步骤S371处，图像合成部251将non_disp_frame的坐标(x，y-高度)处的像素值设置为要生成的合成图像的坐标(x，y)的像素值。

另一方面，在步骤S370处确定non_disp_au_idx是-1的情况下，即，在仅从对确定部231提供disp_frame的情况下，处理进行至步骤S372。在步骤S372处，图像合成部251将要生成的合成图像的坐标(x，y)处的像素值设置为0。

在步骤S371或S372处的处理之后，处理进行至步骤S368，在步骤S368处坐标y增加1，此后处理返回至步骤S366。然后，重复步骤S366以及步骤S368至S372的处理，直到确定坐标y等于或大于编码目标的图像的竖直方向上的像素数高度的两倍之后，即，直到坐标y表示要生成的合成图像中的最低行的像素的y坐标之后。因此，合成图像的坐标x的列的下半部分中的每个像素的像素值变成比该像素高高度的位置处的non_disp_frame的像素的像素值或0。

另一方面，在步骤S369处确定坐标y等于或大于编码目标的图像的竖直方向上的像素数高度的两倍的情况下，即，在坐标y表示要生成的合成图像中的最低行中的像素的y坐标的情况下，处理进行至步骤S373。

在步骤S373处，图像合成部251将坐标x增加1，并且将坐标y返回至0。然后，处理返回至步骤S365，并且重复步骤S365至S373的处理，直到坐标x变得等于或者大于编码目标的图像的水平方向上的像素数宽度之后，即，直到坐标x表示要生成的合成图像中的最右列中的像素的x坐标之后。因此，生成其中上半部分是disp_frame并且下半部分是non_disp_frame或黑色图像的合成图像。

在步骤S365处确定坐标x等于或大于编码目标的图像的水平方向上的像素数宽度的情况下，即，在坐标x表示要生成的合成图像中最右列中的像素的x坐标的情况下，处理返回至图25的步骤S344，并且然后前进至步骤S345。

要注意的是，虽然在上面给出的描述中，与分割编码中的除了最后一个分割AU之外的AU对应的图像或黑色图像被合成至与非分割编码AU或最后一个分割AU对应的图像的下部部分，但是合成位置不限于下部。

例如，与分割编码中的除了最后一个分割AU之外的AU对应的图像或黑色图像可以如图27所描绘的被合成至与非分割编码AU或最后一个分割AU对应的图像的上部部分。

在这种情况下，解码图像的上半部分被指定为非显示区域，而下半部分被指定为显示区域。特别地，def_disp_win_top_offset被设置成通过将解码图像的竖直方向上的像素数除以SubHeightC而获得的值。此外，def_disp_win_bottom_offset、def_disp_win_left_offset和def_disp_win_right_offset被设置成0。

此外，与分割编码中的除了最后一个分割AU之外的AU对应的图像或黑色图像可以如图28所描绘的被合成至与非分割编码AU或最后一个分割AU对应的图像的左侧。

在这种情况下，解码图像的左半部分被指定为非显示区域，而右半部分被指定为显示区域。特别地，def_disp_win_left_offset被设置为通过将解码图像的水平方向上的像素数除以SubWidthC而获得的值。此外，def_disp_win_bottom_offset、def_disp_win_top_offset和def_disp_win_right_offset被设置成0。要注意的是，SubWidthC是通过HEVC方法定义的参数，以将水平方向上的像素数指示为等于1/SubWidthC倍的值。

此外，与分割编码中的除了最后一个分割AU之外的AU对应的图像或黑色图像可以如图29所描绘的被合成至与非分割编码AU或最后一个分割AU对应的图像的右侧。

在这种情况下，解码图像的左半部分被指定为显示区域，而右半部分被指定为非显示区域。特别地，def_disp_win_right_offset被设置成通过将解码图像的水平方向上的像素数除以SubWidthC而获得的值。此外，def_disp_win_bottom_offset、def_disp_win_top_offset和def_disp_win_left_offset被设置成0。

要注意的是，尽管未描绘，但是除了解码部152仅将解码图像中的由def_disp_win_top_offset、def_disp_win_bottom_offset、def_disp_win_left_offset和def_disp_win_right_offset指定的显示区域提供至显示部153之外，第二实施方式中的解码设备的配置与图16的配置相同。

特别地，在第二实施方式的解码设备中，屏幕图像排序缓冲器179仅将从滤波器176提供的图像中的由def_disp_win_top_offset、def_disp_win_bottom_offset、def_disp_win_left_offset和def_disp_win_right_offset指定的显示区域存储在帧单元中。

要注意的是，虽然在第二实施方式中，编码方法是HEVC方法，但是也可以使用AVC方法作为编码方法。在这种情况下，default_display_window_flag、def_disp_win_top_offset、def_disp_win_bottom_offset、def_disp_win_left_offset、def_disp_win_right_offset、SubWidthC和SubHeightC被frame_cropping_flag、frame_crop_top_offset、frame_crop_bottom_offset、frame_crop_left_offset、frame_crop_right_offset、CropUnitX和CropUnitY替代。此外，针对可逆编码，不仅可以使用算术编码(例如，CABAC(上下文自适应二进制算术编码)等)，而且还可以使用可变长度编码(例如，CAVLC(上下文自适应可变长度编码)等)。

<第三实施方式>

(应用本公开内容的计算机的描述)

尽管上述一系列处理可以由硬件执行，但是也可以由软件执行。在一系列处理由软件执行的情况下，构建软件的程序被安装到计算机中。此处，计算机包括内置在专用硬件中的计算机，例如能够通过安装各种程序来执行各种功能的通用个人计算机等。

图30是描绘根据程序执行上述一系列处理的计算机的硬件配置的示例的框图。

在计算机900中，CPU(中央处理单元)901、ROM(只读存储器)902和RAM(随机存取存储器)903通过总线904彼此连接。

输入/输出接口905又连接至总线904。输入部906、输出部907、存储部908、通信部909和驱动器910连接至输入/输出接口905。

输入部906包括键盘、鼠标、麦克风等。输出部907包括显示器、扬声器等。存储部908包括硬盘、非易失性存储器等。通信部909包括网络接口等。驱动器910驱动可移除介质911例如磁盘、光盘、磁光盘或半导体存储器。

在以上述方式配置的计算机900中，CPU 901通过输入/输出接口905和总线904将存储在例如存储部908中的程序加载至RAM 903中，并且执行该程序以执行上述一系列处理。

由计算机900(CPU 901)执行的程序可以被记录在可移除介质911例如作为封装介质等上并且被设置为可移除介质911例如作为封装介质等。此外，可以通过有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。

在计算机900中，可以通过将可移除介质911加载到驱动器910中来通过输入/输出接口905将程序安装到存储部908中。此外，程序可以通过有线或无线传输介质由通信部909接收并且被安装到存储部908中。此外，可以将程序预先安装到ROM 902或存储部908中。

要注意的是，由计算机900执行的程序可以是通过其处理被根据本说明书中描述的顺序按时间序列执行的程序或者其中处理被并行执行或者处理在程序被调用等的时刻处被执行的程序。

此外，本说明书中描述的效果仅为示例性的而不是限制性的，并且可以得到其他效果。

此外，本公开内容的实施方式不限于上述实施方式，并且可以在不偏离本公开内容的主题的情况下以各种方式进行改变。

例如，在编码目标的图像的图片类型是通常具有大比特生成量的I图片的情况下，可以执行分割编码。

此外，分割编码中的AU的数量可以等于分割区域的数量。在这种情况下，不执行具有不同量化比特率的编码。

要注意的是，本公开内容可以具有如下所述的这样的配置。

(1)一种编码设备，包括：

编码部，其被配置成将图像分割成多个访问单元，并且对所述多个访问单元进行编码以生成所述多个访问单元的编码流；以及

设置部，其被配置成设置非显示信息，所述非显示信息指示通过对由所述编码部生成的所述多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。

(2)根据上述(1)所述的编码设备，其中，

所述编码设备被配置成使得：

在所述图像与所述图像前一时刻的在前图像之间的差大于阈值的情况下，所述编码部将所述图像分割成所述多个访问单元，并且然后对所述多个访问单元进行编码。

(3)根据上述(1)所述的编码设备，其中，

所述编码设备被配置成使得：

在所述图像的图片类型是I图片的情况下，所述编码部将所述图像分割成所述多个访问单元，并且对所述多个访问单元进行编码。

(4)根据上述(1)至(3)中任一项所述的编码设备，其中，

所述编码设备被配置成使得：

还包括图像改变部，其被配置成将所述图像分割成多个分割区域，并且生成包括各分割区域的多个分割图像，并且

所述编码部将由所述图像改变部生成的所述分割图像编码为访问单元。

(5)根据上述(4)所述的编码设备，其中，

所述编码设备被配置成使得：

所述编码部对所述多个分割图像中的第一分割图像进行帧内编码。

(6)根据上述(5)所述的编码设备，其中，

所述编码设备被配置成使得：

所述图像改变部将除了构成所述第一分割图像的分割区域之外的区域中的像素值设置成固定值。

(7)根据上述(6)所述的编码设备，其中，

所述编码设备被配置成使得：

所述编码部以跳过模式对所述多个分割图像中的除了所述第一分割图像之外的分割图像中的除了所述分割区域之外的区域进行编码。

(8)根据上述(7)所述的编码装置，其中，

所述编码设备被配置成使得：

所述编码部参考通过对所述多个分割图像中的最后一个分割图像的编码流进行解码而获得的解码图像以将所述图像编码为最后一个访问单元。

(9)根据以上(4)至(8)中任一项所述的编码设备，其中，所述编码设备被配置成使得：

所述图像改变部将与除了所述最后一个访问单元之外的访问单元对应的分割图像和不同图像进行合成以生成合成图像，

所述编码部将由所述图像改变部生成的所述合成图像编码为访问单元，并且

所述非显示信息指示通过对除了所述最后一个访问单元之外的访问单元的编码流进行解码而获得的合成图像中的所述分割图像将不被显示。

(10)根据上述(9)所述的编码设备，其中，

所述编码设备被配置成使得：

所述非显示信息是将通过对除了所述最后一个访问单元之外的访问单元的编码流进行解码而获得的合成图像中的、除了所述分割图像的区域之外的区域指定为显示区域的信息。

(11)根据上述(9)或(10)所述的编码设备，其中，所述编码设备被配置成使得：

所述图像改变部将所述图像与不同图像的分割图像或给定图像进行合成以生成与最后一个访问单元对应的合成图像，

所述编码部将由所述图像改变部生成的与所述最后一个访问单元对应的合成图像编码为所述最后一个访问单元，并且

所述设置部设置显示信息，所述显示信息将通过对所述最后一个访问单元的编码流进行解码而获得的合成图像中的所述图像的区域指定为显示区域。

(12)根据上述(1)至(8)中任一项所述的编码设备，其中，

所述编码设备被配置成使得：

所述设置部设置显示信息，所述显示信息指示通过对所述最后一个访问单元的编码流进行解码而获得的解码图像要被显示。

(13)一种用于编码设备的编码方法，包括：

编码步骤，所述编码步骤将图像分割成多个访问单元，并且对所述多个访问单元进行编码以生成所述多个访问单元的编码流；以及

设置步骤，所述设置步骤设置非显示信息，所述非显示信息指示通过对通过所述编码步骤的处理生成的所述多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。

附图标记列表

11至13：分割图像，24：图像，41至43：分割编码图像，44：解码图像，50：编码设备，112：算术运算部，118：设置部，201至204：合成图像，230：编码设备，251：图像合成部，253：设置部。

Claims (13)

1.一种编码设备，包括：

编码部，其被配置成将图像分割成多个访问单元，并且对所述多个访问单元进行编码以生成所述多个访问单元的编码流；以及

设置部，其被配置成设置非显示信息，所述非显示信息指示通过对由所述编码部生成的所述多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。

2.根据权利要求1所述的编码设备，其中，

所述编码设备被配置成使得：

在所述图像与所述图像前一时刻的在前图像之间的差大于阈值的情况下，所述编码部将所述图像分割成所述多个访问单元，并且然后对所述多个访问单元进行编码。

3.根据权利要求1所述的编码设备，其中，

所述编码设备被配置成使得：

在所述图像的图片类型是I图片的情况下，所述编码部将所述图像分割成所述多个访问单元，并且对所述多个访问单元进行编码。

4.根据权利要求1所述的编码设备，其中，

所述编码设备被配置成使得：

还包括图像改变部，其被配置成将所述图像分割成多个分割区域，并且生成包括各分割区域的多个分割图像，并且

所述编码部将由所述图像改变部生成的所述分割图像编码为访问单元。

5.根据权利要求4所述的编码设备，其中，

所述编码设备被配置成使得：

所述编码部对所述多个分割图像中的第一个分割图像进行帧内编码。

6.根据权利要求5所述的编码设备，其中，

所述编码设备被配置成使得：

所述图像改变部将除了构成所述第一个分割图像的分割区域之外的区域中的像素值设置成固定值。

7.根据权利要求6所述的编码设备，其中，

所述编码设备被配置成使得：

所述编码部以跳过模式对所述多个分割图像中的除了所述第一个分割图像之外的分割图像中的除了所述分割区域之外的区域进行编码。

8.根据权利要求7所述的编码设备，其中，

所述编码设备被配置成使得：

所述编码部参考通过对所述多个分割图像中的最后一个分割图像的编码流进行解码而获得的解码图像以将所述图像编码为最后一个访问单元。

9.根据权利要求4所述的编码设备，其中，所述编码设备被配置成使得：

所述图像改变部将与除了所述最后一个访问单元之外的访问单元对应的分割图像与不同图像进行合成以生成合成图像，

所述编码部将由所述图像改变部生成的所述合成图像编码为访问单元，并且

所述非显示信息指示通过对除了所述最后一个访问单元之外的访问单元的编码流进行解码而获得的合成图像中的所述分割图像将不被显示。

10.根据权利要求9所述的编码设备，其中，

所述编码设备被配置成使得：

所述非显示信息是将通过对除了所述最后一个访问单元之外的访问单元的编码流进行解码而获得的合成图像中的、除了所述分割图像的区域之外的区域指定为显示区域的信息。

11.根据权利要求9所述的编码设备，其中，所述编码设备被配置成使得：

所述图像改变部将所述图像与不同图像的分割图像或给定图像进行合成以生成与最后一个访问单元对应的合成图像，

所述编码部将由所述图像改变部生成的与所述最后一个访问单元对应的合成图像编码为所述最后一个访问单元，并且

所述设置部设置显示信息，所述显示信息将通过对所述最后一个访问单元的编码流进行解码而获得的合成图像中的所述图像的区域指定为显示区域。

12.根据权利要求1所述的编码设备，其中，

所述编码设备被配置成使得：

所述设置部设置显示信息，所述显示信息指示通过对所述最后一个访问单元的编码流进行解码而获得的解码图像要被显示。

13.一种用于编码设备的编码方法，包括：

编码步骤，所述编码步骤将图像分割成多个访问单元，并且对所述多个访问单元进行编码以生成所述多个访问单元的编码流；以及

设置步骤，所述设置步骤设置非显示信息，所述非显示信息指示通过对通过所述编码步骤的处理生成的所述多个访问单元的编码流中的除了最后一个访问单元之外的访问单元的编码流进行解码而获得的解码图像将不被显示。