CN107211140A - 图像解码设备、图像解码方法和存储介质 - Google Patents

Abstract

一种图像解码设备，该图像解码设备用于对使用多个时间层对包括一个或多个图像的运动图像进行分级编码所获得的编码数据进行解码，所述图像解码设备包括：第一获取单元，用于获取与运动图像的与所述分级编码中所使用的所述多个时间层相对应的帧频有关的信息；第二获取单元，用于获取与所述一个或多个图像的关注区域的大小有关的信息；确定单元，用于根据与对应于各所述时间层的帧频有关的信息以及与所述关注区域的大小有关的信息，来确定在显示所述关注区域的情况下所要使用的帧频；以及解码单元，用于以所确定出的帧频来对所述关注区域进行解码。

Description

图像解码设备、图像解码方法和存储介质

技术领域

本发明涉及一种图像解码设备、图像解码方法和存储介质，并且特别涉及使用时域可伸缩编码(temporal scalable coding)的图像解码技术。

背景技术

为了发送、存储并且重放运动图像，使用与图像数据压缩编码(以下称为编码)有关的技术。作为运动图像编码技术，例如已经有H.264/MPEG-4AVC(以下称为H.264)和高效视频编码(以下称为HEVC)。

在这种运动图像编码技术中，在扩展规范中采用从低质量到高质量的分层方式来对运动图像进行编码的可伸缩视频编码(scalable video coding)。可以按照要分层的信息的类型将可伸缩视频编码分类成空间可伸缩性(spatial scalability)、时域可伸缩性以及信噪比(SNR)可伸缩性。这里，时域可伸缩性是用于根据时间尺度变化、即图像编码中每单位时间段的帧数(运动图像的帧频)来进行分层的技术。可以通过切出具有分层构造的数据的一部分来调节帧频。即，可以通过生成能够实现多个帧频的运动图像并且通过考虑诸如网络发送或重放(解码)处理等的环境的不同的限制来灵活地对运动图像的帧频进行切换。

为了实现支持上述时域可伸缩性的分级编码(hierarchical coding)，规定如下：运动图像的各帧设置有表示用于标识时间层(temporal layer)中的各层的信息的时间层标识符(时间ID)，并且对运动图像的各帧进行编码。各层的帧被构造成能够通过参考所设置的时间ID的值以及具有值比所设置的时间ID的值小的时间ID的帧来进行重放。然后，根据该时间ID来选择时间层，并且进行重放(解码并显示)。

另外，关于上述的运动图像编码技术，提出了如下技术：由于视频的画面视图整体没有以一样的帧频进行编码，因此增大了针对特定区域的帧频，并且仅减小了针对非特定区域的帧频(专利文献1)。在专利文献1中，描述了如下内容：在对从多个监控摄像机输入的视频进行压缩的情况下，使用被配置为根据从监控摄像机输入的图像的重要程度来针对各监控摄像机设置帧频、并且产生具有所设置帧频的视频数据的视频压缩单元。

然而，在上述现有技术中，对于以低帧频来编码的非特定区域，在接收设备进行解码和重放时，对帧频的控制可能受到限制。例如，在编码时被视为非特定区域的区域不能以比在接收装置侧的编码时所使用的帧频高的帧频来进行解码和重放。即，在现有技术中，在解码和重放时可能不能获取到期望帧频。即，期望能够在解码时以适当帧频来对运动图像进行解码的图像解码设备。

引用文献列表

专利文献

专利文献1：日本特开2008-167101

发明内容

解决问题的方案

本发明提供一种图像解码设备，所述图像解码设备对使用多个时间层对包括一个或多个图像的运动图像进行分级编码所获得的编码数据进行解码，所述图像解码设备包括：第一获取单元，用于获取与运动图像的与所述分级编码中所使用的所述多个时间层相对应的帧频有关的信息；第二获取单元，用于获取与所述一个或多个图像的关注区域的大小有关的信息；确定单元，用于根据所述第一获取单元所获取到的与对应于各个时间层的帧频有关的信息、以及所述第二获取单元所获取到的与所述关注区域的大小有关的信息，来确定在显示所述关注区域的情况下要使用的帧频；以及解码单元，用于以所述确定单元所确定出的帧频来对所述关注区域进行解码。

通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。

根据本发明，图像解码设备能够以适当帧频来对进行了时域可伸缩编码的运动图像进行解码。

附图说明

图1是示出根据第一实施例的图像解码设备的结构的框图。

图2是示出根据第一实施例的帧频计算单元的结构的框图。

图3是示出输入至图像解码设备的编码数据的示例的图。

图4A是示出与图像解码设备的处理性能有关的编码对象片区(tile)的数量和帧频之间的关系的示例的图。

图4B是示出与图像解码设备的处理性能有关的编码对象片区的数量和帧频之间的关系的示例的图。

图5A是示出帧片区分割的示例的图。

图5B是示出帧片区分割的示例和关注区域的示例的图。

图5C是示出帧片区分割的示例和关注区域的示例的图。

图5D是示出帧片区分割的示例和关注区域的示例的图。

图6A是示出根据第一实施例的解码处理的一部分的流程图。

图6B是示出根据第一实施例的解码处理的另一部分的流程图。

图7是示出根据第二实施例的图像解码设备的结构的框图。

图8是示出根据第二实施例的帧频计算单元的结构的框图。

图9A是示出与图像解码设备的处理性能有关的编码对象片区的数量和帧频之间的关系的示例的图。

图9B是示出与图像解码设备的处理性能有关的编码对象片区的数量和帧频之间的关系的示例的图。

图10A是示出根据第二实施例的解码处理的一部分的流程图。

图10B是示出根据第二实施例的解码处理的另一部分的流程图。

图11是示出根据第二实施例的图像解码设备的另一结构的框图。

图12是示出根据第三实施例的图像解码设备的结构的框图。

图13是示出根据第三实施例的帧频计算单元的结构的框图。

图14A是示出根据第三实施例的解码处理的一部分的流程图。

图14B是示出根据第三实施例的解码处理的另一部分的流程图。

图15是示出能够应用于图像解码设备的计算机的硬件结构的示例的框图。

具体实施方式

以下将参考附图、根据本发明的实施例的示例来进行详细说明。注意，以下实施例所示的结构仅是示例，并且本发明不限于所示结构。

在以下实施例中，将对运动图像进行时域可伸缩编码(支持时域可伸缩性的分级编码)所生成的编码数据(位流)输入至图像解码设备。这里，时域可伸缩编码是可以在H.264和高效视频编码(HEVC)中使用的方式。此外，时域可伸缩编码使得可以以多个帧频(图片帧频)来表现运动图像，并且使得可以提供用于选择帧频的功能。这里，在以下实施例中，假定要输入至图像解码设备的编码数据是使用HEVC所编码的数据。

为了实现上述时域可伸缩编码，规定如下：运动图像的各帧没有设置表示用于标识时间层中的各层的时间层级别(时间ID、时间层标识符)。时域可伸缩性的各层的帧被构造成能够通过参考针对各帧设置的时间层级别的值以及具有比时间层级别的值小的值的时间层级别的帧来进行重放。然后，根据该时间层级别来选择时间层，并且进行重放(解码并显示)。

另外，在一帧(图片)以矩形方式被分割成片区(tile)的情况下，可以在使用HEVC的编码-解码处理中以片区为单位进行编码和解码。另外，在HEVC中，定义了片区，其中利用这些片区，可以以序列为单位仅对作为运动图像的连续帧的一部分的片区进行独立编码和解码(以下称为独立解码片区)。然后，将由帧内的一个或多个片区构成的独立解码片区(独立解码片区组)称为temporal_motion_constrained_tile_set(时间运动约束片区组)(以下称为TMCTS)。然后，在HEVC中，可以通过仅将位于与TMCTS中所包括的片区的位置相对一致的位置处的片区视为帧间预测对象并且通过在不使用(参考)位于与TMCTS中所包括的片区的位置不相对一致的位置处的片区的情况下进行预测，来确保编码和解码的独立性。注意，与TMCTS中所包括的片区的位置有关的信息可以插入至编码数据的头部中的补充增强信息(supplemental enhancement information(SEI))消息中。

第一实施例

以下将参考附图来说明根据本实施例的图像解码设备。首先，将使用图1来说明根据本实施例的图像解码设备的结构。图1是示出根据本实施例的图像解码设备10的结构的框图。

在图1中，输入单元101将通过对运动图像进行时域可伸缩编码所生成的编码数据输入至后续的各种处理单元。将从输入单元101输出的编码数据输入至缓冲器102，并且缓冲器102存储以片区为单位进行了时域可伸缩编码的编码数据。片区解码单元103以片区为单位对从缓冲器102输出的编码数据进行解码，并且重放解码后的图像。注意，在本实施例中，片区解码单元103具有用以在单位时间段(一秒)内对一个以上的帧(图片)进行解码的处理性能(解码性能)。然而，片区解码单元103的解码性能不限于此，并且可以是表示在特定时间段内能够被解码的帧数的任何结构。显示控制器109进行控制，以使得将片区解码单元103所解码出的解码图像显示在显示器110上。显示器110在显示控制器109的控制下进行显示。头解码单元104对从输入单元101输出的编码数据的头部进行解码，并且将通过进行解码所获得的信息输出至后续的处理单元。性能获取单元105获取表示片区解码单元103的解码处理性能(能力)的性能信息。注意，性能信息示出表示中央处理单元(CPU)的负荷的信息以及表示存储器的容量的信息等。

区域设置单元106在图像中设置用户所指定的特定区域、诸如检测器(未示出)所检测出的特征区域等的关注区域、或者这两者。例如，区域设置单元106能够在显示器110设置有触摸面板并且用户在触摸面板上指定了关注区域的位置和大小的情况下设置关注区域。另外，区域设置单元106可以将表示所设置的关注区域的信息输出至显示控制器109，并且显示控制器109可以进行控制，以使得将关注区域显示在显示器110上。另外，在图像解码设备10正对图像进行解码时用户设置了关注区域或指定了关注区域的改变、或者通过检测器(未示出)检测到特征区域的情况下，区域设置单元106将区域设置请求发送至帧频计算单元107。这里，在本实施例中，区域设置请求包括与用户所进行的指定有关的信息和与检测有关的信息至少之一。另外，区域设置单元106将与关注区域的设置状况有关的关注区域信息发送至帧频计算单元107。这里，关注区域信息包括与关注区域的数量有关的信息、与关注区域的位置有关的信息、以及与关注区域的大小有关的信息至少之一。

帧频计算单元107计算在显示运动图像的一整个帧(图片)的情况下(在整体视图显示的情况下)所要使用的帧频以及在显示帧内关注区域的情况下(在部分视图显示的情况下)所要使用的帧频。帧频计算单元107从区域设置单元106获取区域设置请求和关注区域信息。另外，帧频计算单元107从性能获取单元105获取与片区解码单元103有关的性能信息，并且从头解码单元104获取与时间层级别有关的编码数据。然后，帧频计算单元107根据从区域设置单元106、性能获取单元105和头解码单元104获取到的上述信息中的至少任意信息来计算作为显示对象的运动图像的帧频。解码片区确定单元108根据表示帧频计算单元107所计算出的帧频的信息，从缓冲器102中所存储的编码数据中选择要解码的时间层级别和片区。

接着，将使用图2来详细说明帧频计算单元107的结构。将表示片区解码单元103的解码处理性能的性能信息从性能获取单元105输入至端子201。将与图像有关的信息、与时间层有关的信息以及与片区有关的信息从头解码单元104输入至端子202。注意，在本实施例中，与图像有关的信息表示与图像的诸如帧的大小等的特性有关的信息，以及与时间层有关的信息表示时间层的数量、与各时间层级别的帧频有关的信息、或者这两者。另外，在本实施例中，与片区有关的信息表示与例如独立解码片区的数量和帧内的独立解码片区的数量至少之一、通过分割帧所获得的片区的数量以及分割位置有关的信息。将关注区域信息从区域设置单元106输入至端子203。级别获取单元204从端子202接收与图像有关的信息、与时间层有关的信息以及与片区有关的信息。级别获取单元204获取(计算)各时间层级别的帧频。片区确定单元205从端子203接收关注区域信息，并且从端子202接收与片区有关的信息。然后，片区确定单元205针对与以整体视图方式显示运动图像的情况或者根据关注区域以部分视图显示方式显示运动图像的情况，来确定解码对象片区，并将与所确定出的解码对象片区有关的信息输出至计数器206。

计数器206对片区确定单元205所确定出的解码对象片区的数量进行计数。然后，计数器206将基于计数结果的计数信息输出至帧频确定单元207。帧频确定单元207根据从端子201输入的性能信息以及从计数器206输入的计数信息，来计算在显示器110上进行显示(输出)时所使用的解码运动图像的帧频。然后，帧频确定单元207将与所确定出的帧频有关的信息输出至级别选择单元208。级别选择单元208根据从帧频确定单元207输入的帧频，来选择(确定)针对解码了的并且要输出至显示器110的图像(解码图像)的时间层级别。将与片区确定单元205所确定出的解码所需的片区有关的信息以及与级别选择单元208所选择的时间层级别有关的信息从端子209输出至解码片区确定单元108和片区解码单元103。这里，与解码所需的片区有关的信息表示与解码对象片区的数量和位置有关的信息。

接着，使用图6A和6B来说明本实施例中的图像解码设备10的解码处理操作。图6A和6B是示出根据本实施例的图像解码设备10的解码处理操作的流程图。当接收到编码数据时，图像解码设备10开始解码处理。

在步骤S600中，输入单元101连续获取输入至图像解码设备10的多个编码数据，并且将所获取到的多个编码数据分离成与头相对应的编码数据(以下称为头数据)和与图像的片区相对应的编码数据(片区数据)。然后，输入单元101将头数据输入至头解码单元104，并且将片区数据输入至缓冲器102.。

这里，图3示出了输入至输入单元101的编码数据的示例。注意，在本实施例中，如图3所示，将利用使用HEVC作为编码方式所编码的编码数据作为示例来进行说明；然而，编码方式不限于此。另外，图3所示的编码数据是在时间层级别的数量是3个的情况下的编码数据；然而，编码数据不限于该数量的时间层级别。

图3的(a)示出编码数据整体的图，并且左侧是编码数据的开头。图3的(b)是示出图3的(a)所示的头数据中所包括的video_parameter_set(VPS)的图。图3的(c)是示出图3的(a)所示的头数据中所包括的序列参数集(Sequence Parameter Set(SPS))的图。图3的(d)是示出图3的(a)所示的头数据中所包括的图片参数集(Picture Parameter Set(PPS))的图。图3的(e)是示出图3的(a)所示的头数据中所包括的temporal_motion_constrained_tile_sets_Supplemental Enhancement Information(TMCTS_SEI)的图。

接着，在步骤S601中，头解码单元104对从输入单元101输入的头数据的VPS进行解码。这里，VPS包括在其开头的作为网络提取层(Network Abstraction Layer(NAL))单元的头部的nal_unit_header、以及之后的如图3的(b)所示的VPS的编码数据。特别地，VPS的编码数据包括vps_max_sub_layers_minus1代码。该vps_max_sub_layers_minus1代码的值表示编码数据的时间层级别的数量。例如，在时间层级别的数量是1、2、3、...的情况下，vps_max_sub_layers_minus1代码的值是0、1、2、....。由于在本实施例中时间层级别的数量是3个，因此vps_max_sub_layers_minus1代码的值是2。此外，VPS包括hrd_parameters。hrd_parameters包括fixed_pic_rate_general_flag代码。在fixed_pic_rate_general_flag代码的值是1的情况下，这表示帧时间间隔针对各时间层是恒定的。在fixed_pic_rate_general_flag代码的值是0的情况下，这表示帧时间间隔针对各时间层是可变的。然后，在fixed_pic_rate_general_flag代码的值是1的情况下，elemental_duration_in_tc_minus1代码的值表示针对各时间层的帧时间间隔。

接着，在步骤S602中，头解码单元104对从输入单元101输入的头数据的SPS进行解码。这里，如图3的(c)所示，SPS包括在其开头处的作为NAL单元的头部的nal_unit_header。此外，在nal_unit_header之后，SPS还包括sps_video_parameter_set_id代码和sps_max_sub_layers_minus1代码。注意，sps_max_sub_layers_minus1代码的值表示序列内的时间层级别的数量。在本实施例中，在序列内时间层级别的数量是3个，vps_max_sub_layers_minus1代码的值是2。

在步骤S603中，头解码单元104对从输入单元101输入的头数据的PPS进行解码。如图3的(d)所示，PPS包括在其开头处的作为NAL单元的头部的nal_unit_header、以及之后的pps_pic_parameter_set_id和与片区有关的信息。tiles_enabled_flag代码的值表示输入至图像解码设备10的编码数据是否是以片区为单位编码的数据。在tiles_enabled_flag代码的值是1的情况下，输入至图像解码设备10的编码数据是以片区为单位编码的数据。在tiles_enabled_flag代码的值是0的情况下，输入至图像解码设备10的编码数据不是以片区为单位编码的数据。在本实施例中，tiles_enabled_flag code代码的值是1(即，输入至图像解码设备10的编码数据是以片区为单位编码的数据)。此外，PPS包括num_tile_columns_minus1代码、num_tile_rows_minus1代码、column_width_minus1代码以及row_height_minus1代码。这里，num_tile_columns_minus1代码的值表示图像在水平方向上的分割次数，以及num_tile_rows_minus1代码的值表示与在垂直方向上的片区有关的分割次数。column_width_minus1代码的值表示各片区在水平方向上的大小，以及row_height_minus1代码的值表示各片区在垂直方向上的大小。

接着，在步骤S604中，头解码单元104对从输入单元101输入的头数据的TMCTS_SEI进行编码。这里，如图3的(e)所示，TMCTS_SEI包括在其开头处的作为NAL单元的头部的nal_unit_header、以及之后的num_sets_in_message_minus1代码。num_sets_in_message_minus1代码的值表示包括输入至输入单元101中的编码数据的片区中的一个或多个独立解码片区的独立解码片区组的数量。num_sets_in_message_minus1代码之后是包括与各独立解码片区有关的信息的编码数据。Tmcts_id表示各个独立解码片区组。此外，num_tile_rects_in_set_minus1代码的值表示在各独立解码片区组中所包括的独立解码片区的数量。注意，在本实施例中，与输入至输入单元101的片区数据相对应的全部片区是独立解码片区组。即，在本实施例中，帧内的各独立解码片区组仅包括一个独立解码片区。注意，在各独立解码片区组中所包括的独立解码片区的数量不限于此，并且一个独立解码片区组可以包括多个独立解码片区。可选地，一整个帧不是必须由独立解码片区构成。另外，随后，top_left_tile_index代码的值和bottom_right_tile_index代码的值表示独立解码片区组中所包括的片区的位置。

在上述的步骤S601～604中，根据需要将头解码单元104所解码出的头数据输入至后续的处理单元。特别地，将在所解码出的头数据中的与时间层级别有关的信息和与独立解码片区有关的信息输入至帧频计算单元107和解码片区确定单元108。

接着，在步骤S605中，性能获取单元105获取与片区解码单元103的解码处理性能有关的性能信息。在本实施例中，例如，性能信息包括表示在单位时间段内能够被片区解码单元103解码的片区的数量的信息作为与CPU有关的性能信息。注意，在本实施例中，输入至图像解码设备10的编码数据的片区的大小相同，并且预先通过图像解码设备10和未示出的图像编码设备来共享与各片区的大小有关的信息。注意，性能信息不限于此，并且性能信息还可以包括表示在单位时间段内能够被解码的像素的数量、区域的大小以及数据的大小的信息。另外，输入至图像解码设备10的编码数据的片区不是必须具有相同的大小。

这里，图5A示出一帧(图片)的片区分割的场景。在本实施例中，如图5A所示，在一帧在水平方向上被分割成8个片区，并且在垂直方向上被分割成6个片区。全部片区的大小相等。在本实施例中，如图5A所示，将一帧(图片)的片区从左上向右下编号。另外，在本实施例中，为了便于说明，图像解码设备10的片区解码单元103具有每秒可以解码72个片区的处理性能。注意，针对图像解码设备10的处理性能及其处理性能的计算方法不限于此。

在步骤S606中，帧频计算单元107判断是否从区域设置单元106获取到区域设置请求。在判断为获取到区域设置请求的情况下，处理进入步骤S607中的处理。在判断为尚未获取到区域设置请求的情况下，处理进入步骤S611中的处理。

首先，将说明帧频计算单元107在步骤S606中判断为尚未从区域设置单元106获取到区域设置请求(步骤S606中为“否”)并且处理进入步骤S611中的处理的情况。注意，图像解码设备10对输入至输入单元101的编码数据中所包括的序列的开头帧的编码数据(片区数据)进行解码。在显示器110上没有显示解码出的图像，并且在对开头帧的编码数据进行解码之前用户尚未指定关注区域。即，区域设置单元106尚未获取到区域设置请求，并且关注区域的数量是0。

在步骤S611中，片区确定单元205判断是否已经设置了关注区域。在尚未设置关注区域的情况下，处理进入步骤S612中的处理。在已经设置了关注区域的情况下，处理进入步骤S613中的处理。如上所述，由于在本实施例中没有针对开头帧设置关注区域，因此处理进入步骤S612中的处理。这样，在区域设置单元106尚未获取到区域设置请求、并且片区确定单元205判断为尚未设置关注区域的情况下，处理进入步骤S612中的处理，以使得图像解码设备10对输入至图像解码设备10的编码数据进行解码，并且进行整体视图显示。

在步骤S612中，片区确定单元205确定整个帧的片区作为解码对象片区。然后，片区确定单元205将与解码对象片区有关的信息从端子209输出至后续的处理单元。在本实施例中，如图5A所示，1帧包括片区编号为00～57的48个片区。即，在步骤S612中，片区确定单元205将表示解码对象片区具有片区编号00～57的信息以及表示解码对象片区的数量是48个的信息作为与解码对象片区有关的信息输出至后续的处理单元。

此外，在步骤S612中，帧频确定单元207根据片区确定单元205所确定出的解码对象片区的数量以及从端子201输入的与片区解码单元103的处理性能有关的性能信息，来确定作为显示对象的运动图像的帧频。此外，在步骤S612中，级别选择单元208根据帧频确定单元207所确定出的帧频以及级别获取单元204所获取到的各时间层级别的帧频，来选择用于解码图像的时间层级别。

以下将详细说明步骤S612中的针对作为显示对象的运动图像的帧频的确定处理以及针对用于解码图像的时间层级别的选择处理。

首先，将说明针对作为显示对象的运动图像的帧频的确定处理。在将一帧的图片分割成本实施例的图5A所示的片区的示例中，片区确定单元205从图片的左上片区(片区编号00)到图片的右下片区(片区编号57)进行解码。然后，计数器206对片区确定单元205所确定出的解码对象片区的数量进行计数，并且将基于计数结果的计数信息输出至帧频确定单元207。如图5A所示，在本实施例中，解码对象片区的数量是48个。帧频确定单元207根据从端子201输入的性能信息以及从计数器206输入的计数信息来计算(确定)作为显示对象的运动图像的帧频。这里，图4A示出根据本实施例的片区解码单元103的解码处理性能的解码对象片区的数量和帧频之间的关系。注意，由于在本实施例中针对开头帧的解码对象片区的数量是48个，因此帧频是72/48＝1.5帧/秒。然后，帧频确定单元207将与根据性能信息和计数信息以这种方式确定出的作为显示对象的运动图像的帧频有关的信息输出至级别选择单元208。

接着，将说明针对用于解码图像的时间层级别的选择处理。级别获取单元204经由端子202获取与头解码单元104解码出的图像有关的信息、与时间层有关的信息以及与片区有关的信息，并且根据这些信息来计算(获取)各时间层级别的帧频。

级别获取单元204将所计算出的各时间层级别的帧频输出至级别选择单元208。级别选择单元208根据从级别获取单元204输入的各时间层级别的帧频以及从帧频确定单元207输入的作为显示对象的运动图像的帧频，来选择(确定)用于解码图像的时间层级别。在本实施例中，这里，级别选择单元208从级别获取单元204所获取到的各时间层级别的帧频中，选择具有低于或等于帧频确定单元207所确定出的帧频的且最高的帧频的时间层级别。然后，级别选择单元208经由端子209将与所选择的用于解码图像的时间层级别有关的信息输出至后续的处理单元。

具体地，在本实施例中，在对时间层级别0、1和2的帧进行解码的情况下，针对各时间层级别的帧时间间隔是2500Tick。注意，1Tick是通过将1秒除以30000所获得的单位。即每帧时间间隔是1/12秒。在完成直至时间层级别2为止(时间层级别0、1和2)的解码的情况下，帧频是12帧/秒。另外，在完成直至时间层级别1为止(时间层级别0和1)的解码的情况下帧频是6帧/秒(其为在时间层级别2的情况下所获得的帧频的一半)，并且以该帧频来进行显示。另外，在本实施例中，针对时间层级别0的帧频是1帧/秒。此外，在本实施例中，如在针对帧频的上述确定处理中所述，帧频确定单元207所确定出的帧频是1.5帧/秒。因而，级别选择单元208仅选择具有1帧/秒的帧频的时间层级别0作为用于解码图像的时间层级别。

如上所述，在本实施例的步骤S612中，片区确定单元205确定作为显示对象的运动图像的帧频，并且级别选择单元208选择用于解码图像的时间层级别。此外，在步骤S612中，片区确定单元205和级别选择单元208将与所确定出的帧频有关的信息和与所选择的时间层级别有关的信息经由端子209输出至后续的处理单元(解码片区确定单元108和片区解码单元103)。

接着，在步骤S613中，解码片区确定单元108根据与级别选择单元208所选择的时间层级别有关的信息以及与片区确定单元205所确定出的解码对象片区有关的信息，来按片区的顺序读出解码对象编码数据。即，解码片区确定单元108针对各片区指定在缓冲器102中的存储位置，以使得按片区的顺序读出解码对象编码数据(解码所需的片区的编码数据)。然后，缓冲器102从指定的存储位置读出片区的编码数据，并且将编码数据输出至片区解码单元103。

在步骤S614中，片区解码单元103对从缓冲器102输入的解码对象编码数据进行解码。此外，片区解码单元103根据与经由端子209从帧频计算单元107的片区确定单元205输出的解码对象片区有关的信息，来重构解码图像。

在步骤S615中，片区解码单元103判断是否解码了全部解码对象片区。在判断为解码了全部解码对象片区的情况下(步骤S615中为“是”)，处理进入步骤S616。在判断为尚未解码全部解码对象片区的情况下(步骤S615中为“否”)，处理返回至步骤S613，并且进行对随后的片区的编码数据的读出以及解码处理。

在步骤S616中，显示控制器109进行控制，以使得以步骤S610中所确定出的帧频将步骤S614中所解码出的解码图像输出至显示器110。显示器110显示片区解码单元103所重构的解码图像。注意，在片区解码单元103所解码出的解码图像的大小比显示器110所能够显示的显示画面的大小大的情况下，显示器110根据需要来缩小并显示解码图像。

在步骤S617中，片区解码单元103判断是否解码了与帧频计算单元107的级别选择单元208所选择的时间层级别相对应的全部帧。在片区解码单元103判断为解码了全部帧的情况下，图像解码设备10所进行的解码处理结束。与此相对，在尚未解码与级别选择单元208所选择的时间层级别相对应的全部帧的情况下，处理返回至步骤S606。

以上说明了帧频计算单元107在步骤S606中判断为尚未获取到区域设置请求(步骤S606中为“否”)以及片区确定单元205在步骤S611中判断为尚未设置关注区域(步骤S611中为“否”)的情况。在这种情况下，图像解码设备10如上所述那样对输入至图像解码设备10的编码数据进行解码，并且显示一整个帧的片区。

接着，在片区确定单元205在步骤S611中判断为已经设置了关注区域的情况下(步骤S611中为“是”)，处理进入步骤S613中的处理。例如，在根据与解码对象帧有关的关注区域不存在变化的情况下，片区确定单元205在步骤S611中判断为已经设置了关注区域，并且处理进入步骤S613中的处理。由于步骤S613及其之后的处理与上述处理相同，因此将省略其说明。注意，步骤S613中的处理是根据与已经设置的关注区域的数量、位置和大小有关的信息(关注区域信息)来进行的。

这里，将使用图5B和5C来说明区域502的位置从图5B中的特定位置移动至图5C中的特定位置的情况。例如，可能存在通过用户指定区域502的移动、或者通过检测器(未示出)进行物体检测等来改变区域502的位置和大小的情况。在这种情况下，根据区域502的移动来更新区域设置单元106所设置的关注区域，并且区域设置单元106将区域设置请求和关注区域信息输出至后续的处理单元。然后，区域设置单元106后续的处理单元根据区域设置单元106所输出的区域设置请求和关注区域信息，来进行用于确定要进行解码的解码对象片区、帧频和时间层级别等的处理，并且实现改变后的关注区域的部分视图显示。

这样，在不存在区域设置请求的情况下，图像解码设备10能够如上述处理那样根据是否已经设置了关注区域来以部分视图显示方式或者整体视图显示方式显示运动图像。

接着，将说明帧频计算单元107在步骤S606中判断为已经从区域设置单元106获取到区域设置请求(步骤S606中为“是”)并且处理进入步骤S607中的处理的情况。在本实施例中，区域设置单元106设置通过用户参考以整体视图显示方式在显示器110上所显示的运动图像所指定的区域作为关注区域。例如，显示器110包括触摸面板，用户通过使用其手指对触摸面板进行包围操作来指定关注区域的位置和大小，并且可以将与围绕该包围部分的外接矩形区域设置为关注区域。注意，通过区域设置单元106所进行的关注区域设置方法不限于此。例如，区域设置单元106可以获取检测器(未示出)所检测出的特征区域，并且将所获取到的特征区域设置为关注区域。另外，区域设置单元106还可以设置一个或多个关注区域。另外，用户所进行的关注区域指定方法也不限于上述方法。

这里，将使用图5B来说明关注区域的指定示例。在图5B中，区域501、502、503和504表示用户所指定的关注区域。另外，针对各关注区域，将关注区域的左上坐标视为关注区域的位置，并且将围绕关注区域的外接矩形区域视为关注区域的大小。首先，在本实施例中，将说明仅将区域501设置为关注区域的情况。在用户指定区域501的情况下，区域设置单元106设置由用户所指定的区域501作为关注区域，并且向其下游的帧频计算单元107输出区域设置请求和关注区域信息。在本实施例中，这里，区域设置单元106向帧频计算单元107输入表示关注区域的数量是1个的信息、与区域501的位置有关的信息、以及与区域501的大小有关的信息作为关注区域信息。

接着，在步骤S607中，帧频计算单元107的片区确定单元205根据经由端子203从区域设置单元106获取到的关注区域信息，来判断是否请求了整体视图显示。即，在本实施例中，片区确定单元205根据所获取到的关注区域信息中所包括的信息中的与关注区域的数量有关的信息来判断是否设置了关注区域。另外，在本实施例中，片区确定单元205根据与关注区域的数量有关的信息来判断是否请求了整体视图显示。例如，在关注区域的数量大于或等于1个的情况下，片区确定单元205判断为设置了关注区域。在关注区域的数量等于一帧中所包括的片区的数量的情况下，片区确定单元205判断为请求了整体视图显示。

然后，在步骤S607中判断为请求了整体视图显示的情况下(步骤S607中为“是”)，则处理进入上述的步骤S612中的处理，因而将省略其说明。与此相对，在步骤S607中判断为请求了部分视图显示的情况下(步骤S607中为“否”)，处理进入步骤S608中的处理。这里，由于将图5B所示的区域501设置为关注区域并且片区确定单元205判断为请求了部分视图显示。因此处理进入步骤S608中的处理。

在步骤S608中，片区确定单元205经由端子203从区域设置单元106获取关注区域信息，并且根据所获取到的关注区域信息来确定解码对象片区。然后，片区确定单元205经由计数器206和端子209向后续的处理单元输出与所确定出的解码对象片区有关的信息。这里，作为根据本实施例的关注区域的图5B所示的区域501包括在图5A所示的片区中的具有片区编号11、12、21和22的片区中。即，与关注区域相对应的片区编号是11、12、21和22。因而，在步骤S608中，片区确定单元205将表示这些片区编号11、12、21和22的信息输出至计数器206和端子209。

在步骤S609中，计数器206对片区确定单元205在步骤S608中所确定出的解码对象片区的数量进行计数。即，在本实施例中，计数器206根据与从片区确定单元205输出的解码对象片区有关的信息来对解码对象片区的数量进行计数，并且将基于计数结果的计数信息输出至帧频确定单元207。这里，由于计数器206从片区确定单元205获取表示解码对象片区的片区编号11、12、21和22的信息，因此解码对象片区的数量是4个。然后，计数器206将表示解码对象片区的数量是4个的信息输出至帧频确定单元207。

在步骤S610中，帧频确定单元207确定在部分视图显示的情况下针对关注区域的帧频，并且将所确定出的帧频输出至级别选择单元208。即，在本实施例中，帧频确定单元207根据从计数器206输出的表示解码对象片区的数量的计数信息以及从端子201输入的性能信息，来确定在部分视图显示的情况下作为显示对象的运动图像的帧频。这里，计数器206在步骤S609所计数的解码对象片区的数量是4个，并且性能获取单元105在步骤S605中所获取到的性能信息表示图像解码设备10能够以72片区/秒进行解码。帧频确定单元207根据这些信息将在部分视图显示的情况下针对关注区域的帧频确定为72/4＝18帧/秒。

此外，在步骤S610中，级别选择单元208根据帧频确定单元207所确定出的帧频以及级别获取单元204所获取到的各时间层级别的帧频来选择用于解码图像的时间层级别。然后，级别选择单元208经由端子209向后续的处理单元输出与针对解码图像所选择的时间层级别有关的信息。注意，针对用于解码图像的时间层级别的选择处理与上述的步骤S612的选择处理大致相同，因而将省略其说明。这里，帧频确定单元207所确定出的作为显示对象的运动图像的帧频是18帧/秒。各时间层级别的帧频针对直至时间层级别2为止是12帧/秒，针对直至时间层级别1为止是6帧/秒，以及针对直至时间层级别0为止是1帧/秒。即，低于或等于18帧/秒(作为显示对象的运动图像的帧频)的最高帧频是针对直至时间层级别2为止所获得的12帧/秒。结果，级别选择单元208选择12帧/秒作为用于解码图像的帧频，并且选择全部时间层级别0、1和2作为解码对象时间层级别。

以下，处理进入步骤S612的处理之后的步骤S613的处理。步骤S613及其之后的处理与在对运动图像进行整体视图显示的情况下所进行的处理大致相同，因而将省略其说明。将仅说明具体示例。

在步骤S613中，级别选择单元208所选择的时间层级别是全部的0、1和2，并且片区确定单元205所确定出的解码对象片区是具有片区编号11、12、21和22的片区。结果，缓冲器102读出具有片区编号11、12、21和22的片区的编码数据，并且将该编码数据读出至片区解码单元103。

在步骤S614中，片区解码单元103对从缓冲器102输入的具有片区编号11、12、21和22的片区的编码数据进行解码，并且根据与从片区确定单元205输出的解码对象片区有关的信息来重构解码图像。

在步骤S615中，片区解码单元103判断是否已经解码了作为解码对象片区的具有片区编号11、12、21和22的全部片区。在判断为解码了全部片区的情况下，处理进入步骤S616。否则，处理返回至步骤S613，并且进行对随后片区的编码数据的读出和解码处理。然后，在针对全部解码对象片区完成了解码处理(步骤S615中为“是”)并且针对所选择的时间层级别的全部帧完成了解码处理(步骤S617中为“是”)的情况下，图像解码设备10针对部分视图显示所进行的解码处理结束。

这样，在存在区域设置请求的情况下，图像解码设备10能够如上述处理那样根据是否请求了整体视图显示，来以部分视图显示方式或者以整体视图显示方式显示运动图像。接着，将说明在设置了关注区域、以部分视图显示方式显示运动图像、之后将运动图像的显示从部分视图显示改变成整体视图显示的情况下所进行的处理。例如，用于将部分视图显示改变成整体视图显示的处理能够通过用户取消关注区域并且在显示器110的触摸面板上指示整体视图显示而开始。注意，不对用于将部分视图显示改变成整体视图显示的指示方法进行限制。即，图像解码设备10还可以被控制成使得通过用户选择在显示器110的画面上所显示的用于进行向整体视图显示的切换的图标并发出指示来将显示从部分视图显示改变成整体视图显示。另外，图像解码设备10还可以被控制成通过用户在显示器110的画面上指示对运动图像的显示区域的扩大来将显示从部分视图显示改变成整体视图显示。

在指示了显示模式从部分视图显示向整体视图显示的改变的情况下，区域设置单元106将区域设置请求和关注区域信息输出至后续的处理单元。注意，关注区域信息包括与关注区域的数量有关的信息、与关注区域的位置有关的信息以及与关注区域的大小有关的信息其中至少之一。在本实施例中，在显示模式已经从部分视图显示改变成整体视图显示的情况下，区域设置单元106将表示关注区域的数量是0的信息作为关注区域信息输出至后续的处理单元。

然后，帧频计算单元107在步骤S606中判断为已经获取到区域设置请求(步骤S606中为“是”)，因而处理进入步骤S607中的处理。在步骤S607中，帧频计算单元107的片区确定单元205判断区域设置请求是否请求了整体视图显示。这里，由于关注区域的数量是0，因此片区确定单元205判断为已经请求了整体视图显示(步骤S607中为“是”)，并且处理进入步骤S612中的处理。在步骤S612中，片区确定单元205将一整个帧(图片)的片区(具有片区编号00～57的48个片区)确定为解码对象片区。由于在步骤S612及其之后的处理与在整体视图显示的情况下所进行的上述处理大致相同，因此将省略其说明。

这样，在已经将显示模式从部分视图显示改变成整体视图显示的情况下，图像解码设备10能够通过进行上述处理来实现整体视图显示。

在本实施例中，利用上述结构和操作，图像解码设备10变得能够以适当帧频来对进行了时域可伸缩编码的运动图像进行解码。

另外，在本实施例中，图像解码设备10能够根据图像解码设备10的处理性能，来适当确定显示整个帧的整体视图显示或者显示关注区域的部分视图显示。

注意，在本实施例的部分视图显示的示例中，仅说明了区域501作为关注区域的情况；然而，即使在选择多个区域作为关注区域的情况下，也将进行大致相同的处理。例如，在图5B中，在选择了区域501和区域502作为关注区域的情况下，关注区域信息中所包括的与关注区域的数量有关的信息表示关注区域的数量是2个。注意，关注区域信息可以包括与区域501和区域502的位置和大小有关的信息。然后，区域设置单元106经由端子203将关注区域信息发送至帧频计算单元107的片区确定单元205。片区确定单元205将与区域501相对应的片区(具有片区编号11、12、21和22的片区)以及与区域502相对应的片区(具有片区编号14、15、16、24、25和26的片区)确定为解码对象片区。计数器206对片区确定单元205所确定出的解码对象片区的数量进行计数，并且将与计数结果有关信息(片区的数量是10个)输出至作为计数器206的下游的帧频确定单元207。此外，帧频确定单元207确定帧频为72/10＝7.2帧/秒，并且级别选择单元208选择具有帧频为6帧/秒和帧频为1帧/秒的时间层级别0和1作为用于解码图像的时间层级别。

另外，在设置了图5B中的区域501、区域502、区域503和区域504作为关注区域的情况下，在关注区域信息中所包括的与关注区域的数量有关的信息表示关注区域的数量是4个。注意，关注区域信息可以包括与区域501、区域502、区域503和区域504的位置和大小有关的信息。然后，区域设置单元106经由端子203将关注区域信息输出至帧频计算单元107的片区确定单元205。片区确定单元205将具有片区编号11、12、21、22、14、15、16、24、25、26、32、42、34、35、36、37、44、45、46、47、54、55、56和57确定为解码对象片区。即，计数器206所获得的计数结果(解码对象片区的数量)是21个。此外，帧频确定单元207所获得的确定结果(帧频)是72/21＝3.41帧/秒。级别选择单元208将帧频确定单元207所确定的帧频(3.41帧/秒)和与各时间层级别相对应的帧频进行比较。然后，级别选择单元208将满足具有低于或等于所确定出的帧频的最高帧频的条件的时间层级别作为用于解码图像的时间层级别。这里，由于帧频针对直至时间层级别2为止是12帧/秒，针对直至时间层级别1为止是6帧/秒，以及针对直至时间层级别0为止是1帧/秒，因此低于或等于所确定出的帧频的最高帧频是针对时间层级别0所获得的1帧/秒。即，级别选择单元208所获得的选择结果(用于解码图像的时间层级别)仅是时间层级别0。

注意，在本实施例中，说明了全部片区被视为独立解码片区的情况；然而，片区不限于独立解码片区。独立解码片区可以以高帧频来进行解码，并且与其它片区进行合成。例如，将说明选择了区域504作为关注区域并且独立解码片区仅是具有片区编号36、46和56的片区作为示例的情况。这里，除了独立解码片区以外的片区(具有片区编号34、35、44、45、54和55)在其它时间的帧内参考了除与解码对象片区相对应的片区以外的区域，因而需要对整个帧进行解码。因而，需要对至少时间层级别0的片区进行解码。即，由于针对时间层级别0所获得的帧频是1帧/秒，因此需要针对除了独立解码片区以外的片区以48片区/秒来进行解码处理。由于图像解码设备10的片区解码单元103的处理性能是72片区/秒，因此72-48＝24片区/秒的处理性能是可用的。由于独立解码片区是具有片区编号36、46和56的3个片区，因此可以针对以24片区/秒的处理性能的这些独立解码片区，以24÷3＝8帧/秒来进行解码。图像解码设备10对以1帧/秒解码出的除独立解码片区以外的片区的解码图像以及以8帧/秒解码出的独立解码片区的解码图像进行合成，并且将所得到的图像显示在显示器110上。即，在与显示器110上所显示的关注区域有关的运动图像中，仅针对位于与独立解码片区(片区36、46和56)相对应的位置处的图像以8帧/秒来进行重放，并且针对作为关注区域的区域504中的其它图像以1帧/秒来进行重放。

注意，在本实施例中说明了帧内的片区的大小是相同的、并且与各片区的大小有关的信息预先被解码侧和未示出的编码侧共享的情况；然而，各片区的大小不限于此。即，帧内的全部片区的大小不是必须相同。例如，在通过将应当共享的片区的大小视为标准片区大小来获取处理性能之后，可以通过将头解码单元104所解码出的片区的实际大小与标准片区大小进行比较来改变能够处理的片区的数量。图4B示出片区的大小变得大于图4A的片区的大小的情况下的片区数量与帧频之间的关系。同样，还在帧内的片区的尺寸不相同的情况下，可以将平均大小计算为标准大小，并且关于具有除了标准大小以外的大小的片区、根据大小比率来计算被认为是解码所需的处理性能。

注意，说明了在开始对片区的编码数据的解码时没有显示解码图像并且尚未设置关注区域的情况；然而，在开始对片区的编码数据的解码时显示的内容以及何时设置关注区域不限于此。在使用固定照相机并且不改变固定照相机的视角的情况下，可以在通过显示解码对象序列之前所解码出的序列的图像、或表示固定照相机的摄像对象区域(画面)的简单图示，来在进行解码之前进行对关注区域的指定。

注意，片区确定单元205根据区域设置请求来在图6A的步骤S606中判断是否设置了关注区域；然而，如何判断是否设置了关注区域不限于此。例如，在根据关注区域信息，关注区域的位置是帧(图片)的原点(左上角的位置)、并且关注区域的大小等于图片的大小的情况下，片区确定单元205当然可以判断为尚未设置关注区域。另外，同样，关于对关注区域的更新，在不存在区域设置请求的情况下，片区确定单元205将与前一帧有关的关注区域信息和与解码对象帧有关的关注区域信息进行比较。在多个关注区域信息之间存在变化的情况下，片区确定单元205当然可以判断为存在区域设置请求。

注意，在本实施例中，说明了帧时间间隔是1/12秒并且时间层级别的数量是3个的情况。另外，关于各时间层级别的帧频，说明了帧频针对直至时间层级别2为止(时间层级别0、1和2)是12帧/秒、针对直至时间层级别1为止(时间层级别0和1)是6帧/秒、以及针对直至时间层级别0为止是1帧/秒的情况。然而，帧时间间隔、各时间层级别的帧频以及时间层级别的数量不限于以上所述。

注意，显示控制器109可以根据与通过对头数据中所包括的TMCTS_SEI进行解码所获得的独立解码片区有关的信息来进行控制，以使得在显示器110上显示与帧内的独立解码片区的位置有关的信息、与独立解码片区的大小有关的信息、或者这两者。结果，用户能够根据在显示器110上所显示的与独立解码片区的位置有关的信息、与独立解码片区的大小有关的信息、或者这两者，来容易地设置关注区域。

第二实施例

在本实施例中，将说明能够根据用户所指定的帧频来设置在进行解码-重放(显示)时所使用的帧频的图像解码设备10。以下将使用附图来说明根据本实施例的图像解码设备10。首先，将使用图7来说明根据本实施例的图像解码设备10的结构。图7是示出根据本实施例的图像解码设备10的结构的框图。在图7中，通过同样的附图标记来表示具有与第一实施例的图1所示的图像解码设备10的功能同样的功能的处理单元，并且将省略其说明。

帧频获取单元701获取与用户所指定的帧频有关的信息。例如，显示器110设置有触摸面板，并且用户能够使用触摸面板来指定在对运动图像进行解码和重放的情况下所要使用的期望帧频(预定帧频)。帧频获取单元701能够获取用户经由触摸面板所指定的帧频。

注意，作为使用触摸面板来指定帧频的方法，可以使用各种方法。例如，用户可以通过在预定时间段内使用其手指轻击触摸面板多次来指示增大已经显示的运动图像的帧频。另外，用户还可以通过在比上述预定时间段短的特定时间段内轻击触摸面板设备多次来指示减小帧频。另外，用户还可以发出指示，以使得用户在指定时间段内轻击触摸面板的次数越多，帧频变得越高。另外，在显示器110的显示画面上显示使得能够增大或减小帧频的图标，并且用户还可以通过例如触摸该图标来发出指示。另外，用户可以将与期望帧频的值有关的信息输入至设置有显示器110等的帧频输入单元(未示出)，并且帧频获取单元701可以获取与输入至帧频输入单元(未示出)的特定帧的值有关的信息。注意，上述触摸面板和帧频输入单元(未示出)不限于在显示器110中所设置的触摸面板和帧频输入单元，并且还可以作为其它处理单元设置在图像解码设备10的内部或者在图像解码设备10的外部。

帧频计算单元707与第一实施例的图1所示的帧频计算单元107的不同之处在于：使用帧频获取单元701所获取到的帧频来计算要显示的运动图像的帧频。另外，解码片区确定单元708与第一实施例的图1所示的解码片区确定单元108不同之处在于：从帧频计算单元707输入整体解码级别。注意，稍后将说明整体解码级别的详情。

另外，在本实施例中，图像解码设备10的片区解码单元103具有能够每秒对360个片区进行解码的处理性能。另外，输入至图像解码设备10的输入单元101的编码数据的片区分割与第一实施例的片区分割大致相同，并且在图5A中示出了一帧的片区分割的场景。

接着，将使用图8来详细说明帧频计算单元707的结构。在图8中，通过同样的附图标记来表示具有与第一实施例的图2所示的帧频计算单元107的处理单元同样功能的处理单元，并且将省略其说明。

整体解码级别设置单元801计算作为能够对一整个帧进行解码的时间层级别的整体解码级别。将用户输入的期望帧频从图7的帧频获取单元701输入至端子810。区域帧频确定单元807与第一实施例的图2所示的帧频确定单元207的不同之处在于：根据整体解码级别设置单元801所设置的整体解码级别来确定针对关注区域的帧频。级别选择单元808与第一实施例的图2所示的级别选择单元208的不同之处在于：将用户所输入的期望帧频经由端子810从帧频获取单元701输入至级别选择单元808。端子809与第一实施例的图2所示的端子209不同在于：从端子809输出整体解码级别设置单元801所设置的整体解码级别。

接着，使用图10A和10B来说明本实施例中的图像解码设备10的解码处理操作。图10A和10B是示出根据本实施例的图像解码设备10的解码处理操作的流程图。在图10A和10B中，通过同样的附图标记来表示具有与第一实施例的图6A和6B所示的流程图的功能同样的功能的步骤，并且将省略其说明。

另外，在本实施例中，与第一实施例同样地，输入至输入单元101的编码数据是图3所示的编码数据，并且编码数据的时间层级别的数量是3个。另外，本实施例与第一实施例相同之处在于：在进行直至时间层级别2为止的解码的情况下帧频是12帧/秒，以及在进行直至时间层级别1为止的解码的情况下帧频是6帧/秒。与此相对，本实施例与第一实施例的不同之处在于：在仅针对时间层级别0进行解码的情况下，帧频是3帧/秒。注意，尽管可以根据头数据的解码结果来计算与编码数据的时间层级别的数量有关的信息以及与各时间层级别的帧频有关的信息这些信息，但是当然还可以使用用户所输入的SEI处理数据来描述这些信息。另外，在本实施例中，片区解码单元103的处理性能是360片区/秒，并且这与第一实施例的处理性能不同。

在步骤S1001中，帧频计算单元707的整体解码级别设置单元801根据经由端子202从头解码单元104输入的信息，来计算能够对一整个帧进行解码的时间层级别(被称为整体解码级别)。这里，整体解码级别设置单元801根据与时间层有关的信息(与各时间层级别的帧频有关的信息)、与片区有关的信息(与帧内的片区的数量有关的信息)以及性能信息，来计算整体解码级别。在本实施例中，如图5A所示，一帧由48个片区构成。由于片区解码单元103的处理性能是360片区/秒，因此在对整个帧进行解码的情况下，帧频是360/48＝7.5帧/秒。各时间层级别的帧频是12帧/秒(时间层级别0、1和2)、6帧/秒(时间层级别0和1)以及3帧/秒(时间层级别0)，因而不能进行直至时间层级别2为止的解码。因而，整体解码级别设置单元801设置帧频是6帧/秒的时间层级别1作为整体解码级别。然后，在步骤S1001中，整体解码级别设置单元801将所设置的整体解码级别输出至诸如级别选择单元808和端子809等的后续处理单元。

这里，将在图9A和9B中详细示出整体解码级别设置单元801所进行的整体解码级别设置处理。图9A是示出根据片区解码单元103的处理性能的解码对象片区的数量和帧频之间的整体关系的图。图9B是示出从图9A切出的原点附近的部分的图，并且图9B的右侧的曲线C1是图9A的部分。由于一帧的片区的数量是48个，因此从图9B显而易见，能够对片区解码单元103进行解码的帧频是7.5帧/秒。另外，在本实施例中，片区解码单元103能够以位于图9B的右侧的曲线C1的下方的坐标(区域)所示的帧频来进行解码。与此相对，由于片区解码单元103的处理性能，因此不能以位于曲线的上方的坐标所示的帧频来进行解码。

例如，在进行直至时间层级别1的解码的情况下，帧频是6帧/秒，并且在图9B中具有由○表示的坐标。另外，在针对时间层级别0进行解码的情况下，帧频是3帧/秒，并且具有由Δ表示的坐标。表示针对直至时间层级别1为止的帧频和针对时间层级别0的帧频的这些○和Δ两者都位于曲线C1的下方，因而显而易见能够以这些帧频来进行解码。与此相对，在进行直至时间层级别2为止的解码的情况下，帧频是12帧/秒，并且具有由×表示的坐标。表示针对直至时间层级别2为止的帧频的该×位于曲线C1的上方，因而显而易见，不能以该帧频来进行解码。

接着，在步骤S1002中，帧频获取单元701获取与用户所指定的期望帧频有关的信息。另外，在用户指定了期望帧频的情况下，帧频获取单元701将帧频指定请求和与期望帧频有关的信息输出至后续的处理单元。注意，在本实施例中，在用户尚未指定期望帧频的情况下，图像解码设备10以针对时间层级别0所获得的帧频来进行解码和显示。为了便于描述，将假定在开始时(在解码处理开始之前)没有设置期望帧频的情况来进行说明。

在步骤S1003中，帧频计算单元707判断是否从帧频获取单元701获取到帧频指定请求。在尚未获取到帧频指定请求的情况下(步骤S1003中为“否”)，帧频计算单元707判断为帧频获取单元701尚未设置帧频，并且处理进入步骤S1012中的处理。与此相对，在获取到帧频指定请求的情况下(步骤S1003中为“是”)，帧频计算单元707判断为帧频获取单元701设置了帧频，并且处理进入步骤S1004中的处理。

首先，将说明帧频计算单元707在步骤S1003中判断为从帧频获取单元701尚未获取到帧频指定请求的情况(步骤S1003中为“否”)。在这种情况下，在步骤S1012中，解码片区确定单元708进行以下处理。即，在步骤S1012中，解码片区确定单元708将帧频计算单元707的整体解码级别设置单元801在步骤S1001中所设置的整体解码级别与解码片区确定单元708所计算出的解码对象时间层级别进行比较。然后，在整体解码级别高于解码对象时间层级别的情况下，解码片区确定单元708选择直至解码对象时间层级别为止的时间层级别的全部片区作为解码对象片区。此外，解码片区确定单元708从缓冲器102中读出所选择的解码对象片区的编码数据，并且将所读出的编码数据输出至片区解码单元103。这里，由于整体解码级别是时间层级别1，并且解码对象时间层级别是0，因此整体解码级别高于解码对象时间层级别。因而，解码片区确定单元708选择解码对象时间层级别0的全部片区作为解码对象片区。

然后，在本实施例中，在步骤S1012中的处理之后，处理进入步骤S614中的处理。这里，在步骤S614及其之后的处理中，图像解码设备10对解码对象时间层级别0的全部片区的编码数据进行解码和显示。注意，在步骤S614及其之后的处理与使用第一实施例的图6A所述的处理大致相同，因而将省略其说明。

接着，关于帧频计算单元707在步骤S1003中判断为已经从帧频获取单元701获取到帧频指定请求的情况(步骤S1003中为“是”)，将说明S1004及其之后的处理。

首先，将说明用户已经指示了帧频获取单元701增大帧频的情况。如上所述，在帧频的指定之前且解码处理开始时的帧频是针对时间层级别0所获得的帧频(3帧/秒)。这里，假定已经指示了图像解码设备10将帧频从3帧/秒增大为6帧/秒。

首先，在步骤S1004中，级别选择单元808判断基于期望帧频的时间层级别是否多于(大于、高于)整体解码级别。即，级别选择单元808根据经由端子810从帧频获取单元701输入的期望帧频，来判断是否需要对比整体解码级别设置单元801所设置的整体解码级别高的时间层级别的帧进行解码，这里，在本实施例中，在期望帧频低于或等于与整体解码级别相对应的帧频的情况下，级别选择单元808判断是不需要对比整体解码级别高的时间层级别进行解码。然后，在级别选择单元808判断为需要对比整体解码级别高的时间层级别进行解码的情况下(步骤S1004中为“是”)，处理进入步骤S1005中的处理。与此相对，在期望帧频高于与整体解码级别相对应的帧频的情况下，级别选择单元808判断为需要对比整体解码级别高的时间层级别进行解码。然后，在判断为不需要对比整体解码级别高的时间层级别进行解码的情况下(步骤S1004中为“否”)，处理进入步骤S1010中的处理。这里，期望帧频(6帧/秒)低于或等于通过对整体解码级别进行解码所实现的帧频(7.5帧/秒)，因而处理进入步骤S1010中的处理。

由于与期望帧频相对应的时间层级别低于或等于整体解码级别，因此级别选择单元808在步骤S1010中将解码对象时间层级别改变为与期望帧频相对应的时间层级别。即，将解码对象时间层级别从在没有设置期望帧频的情况下所使用的时间层级别0改变成与期望帧频相对应的时间层级别1。然后，在步骤S1012及其之后的处理中，图像解码设备10进行对直至改变后的解码对象时间层级别1(时间层级别0和1)的全部片区的编码数据的解码和显示。

接着，将说明用户指示了帧频获取单元701进一步增大帧频的情况。这里，假定用户指示了图像解码设备10将帧频从6帧/秒增大为9帧/秒。在这种情况下，作为期望帧频的9帧/秒具有由图9B的□表示的坐标。由于□位于右侧的曲线C1的上方，因此图像解码设备10不能利用片区解码单元103的处理性能来将针对一整个帧的帧频增大为期望帧频。

在这种情况下，级别选择单元808在步骤S1004中判断为帧频获取单元701所获取到的期望帧频低于或等于与整体解码级别设置单元801所设置的整体解码级别相对应的帧频。即，级别选择单元808在步骤S1004中判断为需要对比整体解码级别高的时间层级别进行解码(步骤S1004中为“是”)。然后，在本实施例中，图像解码设备10进行步骤S1005及其之后的处理，以根据区域帧频确定单元807针对关注区域所确定出的帧频来进行解码处理。

在步骤S1005中，显示控制器109将表示不能增大针对整个帧的帧频的信息输出至显示器110，并且发送用以请求用户设置关注区域的通知。即，用户能够获取在显示器110上所输出的上述信息，并且识别为需要指定关注区域。

在步骤S1006中，区域设置单元106将用户所指定的区域设置为关注区域。然后，区域设置单元106将与所设置的关注区域有关的关注区域信息经由端子203输出至帧频计算单元707的片区确定单元205。

在步骤S1007中，与第一实施例的步骤S608同样地，片区确定单元205根据所获取到的关注区域信息来判断关注区域的解码图像所需的解码对象片区。然后，片区确定单元205将与所确定出的解码对象片区有关的信息输出至计数器206和端子809。

在步骤S1008中，与第一实施例的步骤S609同样地，计数器206根据与片区确定单元205所确定出的解码对象片区有关的信息，来对解码对象片区的数量进行计数。然后，计数器206将作为计数结果的片区数量有关的信息输出至区域帧频确定单元807。

在步骤S1009中，区域帧频确定单元807确定针对关注区域的帧频。区域帧频确定单元807根据经由端子201从性能获取单元105获取到的片区解码单元103的处理性能以及解码与整体解码级别相对应的帧所需的处理性能，来确定针对与关注区域相对应的片区的帧频。另外，在步骤S1009中，级别选择单元808根据区域帧频确定单元807针对关注区域所确定出的帧频，来选择针对关注区域的时间层级别。然后，在步骤S1009中的处理之后，处理进入步骤S1012中的处理。

具体地，在本实施例中，区域帧频确定单元807利用从片区解码单元103的处理性能减去与解码与整体解码级别相对应的帧频所需的处理性能所获得的处理性能，来对与关注区域相对应的片区进行解码。这里，将使用图9B来详细说明区域帧频确定单元807针对关注区域所进行的帧频确定处理。在本实施例中，图9B的左侧的曲线C2表示通过从片区解码单元103的处理性能减去解码与整体解码级别相对应的帧所需的处理性能所获得的处理性能。在本实施例中，片区解码单元103的处理性能是360片区/秒，并且解码与整体解码级别相对应的帧所需的处理性能是288片区/秒。因而可以用于对关注区域的片区进行解码的处理性能是72片区/秒。这里，假定已经选择了图5B的区域502作为关注区域。解码区域502所需的片区是具有片区编号14、15、16、24、25和26的片区，并且关注区域的片区数量是6个。在片区数量是6个的情况下，与左侧的曲线C2交叉的位置是12帧/秒，并且没有超过右侧的曲线C1。因而，在步骤S1009中，区域帧频确定单元807选择12帧/秒作为针对关注区域的帧频。由于与针对关注区域的帧频相对应的时间层级别是2，因此级别选择单元808针对关注区域的片区对时间层级别0、1和2进行解码，并且针对其它区域的片区对时间层级别0和1进行解码。

在步骤S1012中，解码片区确定单元708将整体解码级别设置单元801在步骤S1001中所设置的整体解码级别与级别选择单元808在步骤S1009中所计算出的要解码的时间层级别进行比较。这里，针对关注区域要解码的时间层级别(时间层级别2)高于整体解码级别(时间层级别1)。即，解码片区确定单元708从缓冲器102读出所需片区的编码数据，以使得在所计算出的时间层级别(时间层级别2)处对关注区域的片区进行解码，并且在整体解码级别(时间层级别1)处对其它区域的片区进行解码。这里，解码片区确定单元708选择关注区域(具有片区编码14、15、16、24、25和26的片区)直至时间层级别2为止以及其它区域的片区直至时间层级别1为止。

在步骤S1012中的处理之后，处理进入步骤S614中的处理。在本实施例中，在步骤S614及其处理之后，图像解码设备10对步骤S1012中所读出的片区的编码数据进行解码和显示。这里，图像解码设备10以12帧/秒解码关注区域直至所计算出的时间层级别(时间层级别0、1和2)为止，并且进行控制，以使得显示器110以作为期望帧频的9帧/秒进行显示。注意，在本实施例中，在以12帧/秒进行解码之后，图像解码设备10进行降低采样，并且进行控制以使得显示器110以9帧/秒进行显示。另外，图像解码设备10针对除了关注区域以外的区域，进行直至整体解码级别(时间层级别0和1)为止的解码，并且进行控制，以使得显示器110以与整体解码级别相对应的帧频(6帧/秒)来进行显示。注意，在图像解码设备10能够以比期望帧频高的帧频来对关注区域进行解码的情况下，图像解码设备10可以以在解码时所使用的帧频来在显示器110上进行显示。即，在针对关注区域进行了直至时间层级别2为止的解码并且期望帧频是9帧/秒的情况下，可以进行控制以使得显示器110以与比期望帧频高的与时间层级别2相对应的帧频来进行显示。

另外，即使在用户指示了帧频获取单元701减小帧频的情况下，图像解码设备10也进行与在指示增大帧频的情况下所进行的处理大致相同的处理。即，帧频计算单元707在步骤S1003中判断为帧频获取单元701获取到帧频指定请求，并且处理进入步骤S1004中的处理。在步骤S1004中，级别选择单元808判断基于帧频获取单元701所获取到的期望帧频的时间层级别是否高于整体解码级别。这里，即使在指示了对帧频的减小的情况下，在与期望帧频相对应的时间层级别高于整体解码级别的情况下，处理也进入步骤S1005，并且如上所述那样进行步骤S1005及其之后的处理。与此相对，在与期望帧频相对应的时间层级别低于或等于整体解码级别的情况下，处理进入步骤S1010。图像解码设备10将解码对象时间层级别改变成实现了期望帧频的时间层级别，并且进行步骤S1010及其之后的处理。注意，在步骤S1010中，在与期望帧频相对应的时间层级别低于或等于整体解码级别的情况下，图像解码设备10可以将解码对象时间层级别设置为整体解码级别。

在本实施例中，利用上述结构和操作，图像解码设备10能够以适当帧频来对进行了时域可伸缩编码的运动图像进行解码。

另外，在本实施例中，图像解码设备10能够根据图像解码设备10的处理性能，来适当确定显示整个帧的整体视图显示或者显示关注区域的部分视图显示。

另外，在本实施例中，图像解码设备10能够通过设置整体解码级别来在没有超过图像解码设备10的处理性能的范围内以尽可能高的帧频重放整个帧，并且以更高的帧频仅重放关注区域。即，图像解码设备10能够以适当(期望)帧频重放整个运动图像，并且在没有超过图像解码设备10的处理性能的范围内以最高帧频重放关注区域。

注意，在图像解码设备10发送用以请求对关注区域的设置的通知时，图像解码设备10还可以发送与关注区域的候选有关的信息的通知(或显示)。图11示出用于实现与关注区域的候选有关的信息的通知的图像解码设备10的框图。在图11中，通过同样的附图标记来表示具有与图7所示的图像解码设备10的功能同样的功能的处理单元，并且将省略其说明。候选设置单元1101通过对头数据中所包括的TMCTS_SEI进行解码来获取与独立解码片区有关的信息，并且将与帧内的独立解码片区的位置和大小有关的信息作为与关注区域的候选有关的信息输入至区域设置单元1106。区域设置单元1106向显示控制器109输出从候选设置单元1101输出的与关注区域的候选有关的信息，并且显示控制器109在显示器110上显示与关注区域的候选有关的信息。

结果，用户能够通过参考在显示器110上所显示的与关注区域的候选有关的信息，来容易地选择关注区域。另外，在帧的仅一部分由独立解码片区构成的情况下，图像解码设备10可以将与独立解码片区相对应的区域视为关注区域的候选。另外，图像解码设备10还可以进行控制，以使得显示器110根据表示能够以帧频获取单元701所获取到的期望帧频来进行解码和显示的区域的大小、位置、或者这两者的信息，来显示与关注区域的候选有关的信息。结果，用户能够根据可以以期望帧频进行解码和显示的区域来容易地选择关注区域。

另外，图像解码设备10可以根据通过图像编码设备(未示出)针对各区域所设置的优先级来发送与关注区域的候选有关的信息的通知(或显示)。例如，在图像编码设备(未示出)以片区为单位设置优先级的情况下，图像解码设备10根据所设置的优先级，来确定能够以帧频获取单元701所获取到的期望帧频来进行解码和显示的区域的大小、位置、或者这两者。然后，图像解码设备10可以根据表示所确定出的能够进行解码和显示的区域的大小、位置、或者这两者的信息来进行控制，以使得在显示器110上显示与关注区域的候选有关的信息。这里，图像编码设备例如在图3的(e)的TMCTS_SEI中根据优先级来赋予tmcts_id代码的值的大小，结果图像编码设备能够使得与优先级有关的信息包括在代码中。另外，图像编码设备可以使用例如除了TMCTS_SEI以外的用户设置的SEI处理信息(用户数据)(例如，user_data_unregistered)，来将与优先级有关的信息插入为代码。然后，与用于发送关注区域的候选的通知的上述方法同样地，图11所示的候选设置单元1101通过对TMCTS_SEI进行解码来获取与优先级有关的信息，并且图像解码设备10进行控制，以使得在显示器110上显示所获取到的与优先级有关的信息。结果，用户能够通过参考预先在编码侧设置的优先级来容易地选择关注区域。

注意，在本实施例中，说明了图像解码设备10被配置为在与期望帧频相对应的时间层级别超过了整体解码级别的情况下设置关注区域的情况；然而，用于设置关注区域的情况不限于此。即，即使在与期望帧频相对应的时间层级别低于或等于整体解码级别的情况下，图像解码设备10也可以设置关注区域。另外，图像解码设备10还可以被配置为在设置了关注区域之后将与期望帧频相对应的时间层级别与整体解码级别级别进行比较。即，图像解码设备10可以将针对所设置的关注区域的帧频确定为高于或等于期望帧频的帧频，并且根据针对关注区域的帧频和与片区解码单元103有关的性能信息来确定针对其它区域的帧频。例如，在期望帧频是6帧/秒(与时间层级别1相对应)、并且整体解码级别是时间层级别2的情况下，可以将针对关注区域的帧频确定为12帧/秒，并且将针对其它区域的帧频确定为3帧/秒。另外，还可以根据用以显示所设置的关注区域的解码所需的片区数量来确定针对关注区域的帧频和针对其它区域的帧频。例如，在解码关注区域所需的片区数量大于特定数量的情况下，图像解码设备10可以降低整体解码级别，以使得整体解码级别变得低于步骤S1001中所确定出的时间层级别，并且进行解码和显示。

第三实施例

在本实施例中，将说明能够根据以期望帧频解码关注区域所需的处理性能以及片区解码单元103的处理性能来再次设置关注区域的图像解码设备10。以下将参考附图来说明根据本实施例的图像解码设备10。首先，将使用图12来说明根据本实施例的图像解码设备10的结构。图12是示出根据本实施例的图像解码设备10的结构的框图。在图12中，通过同样的附图标记来表示具有与第一实施例的图1或第二实施例的图7所示的图像解码设备10的功能同样的功能的处理单元，并且将省略其说明。

区域设置单元1206设置关注区域。然后，区域设置单元1206与图1的区域设置单元106的不同之处在于：区域设置单元1206具有根据从帧频计算单元1207输出的区域改变请求来设置关注区域的候选的功能。另外，帧频计算单元1207计算在显示运动图像的一整个帧的情况下(在整体视图显示的情况下)所要使用的帧频、以及在显示帧内的关注区域的情况下(在部分视图显示的情况下)所要使用的帧频。然后，帧频计算单元1207与图1的帧频计算单元107的不同之处在于：帧频计算单元1207向区域设置单元1206输出用于改变关注区域的区域改变请求，以实现用户针对关注区域所设置的帧频。

另外，与第一实施例同样地，在本实施例中，图像解码设备10的片区解码单元103具有每秒能够解码72个片区的处理性能。另外，输入至图像解码设备10的输入单元101的编码数据与第一实施例的图3的(a)～(h)所示的编码数据大致相同，并且编码数据的片区分割也与第一实施例的图5A所示的片区分割大致相同。另外，与第一实施例和第二实施例同样地，在本实施例中，输入至输入单元101的编码数据的时间层级别的数量是3个。另外，与第一实施例和第二实施例同样地，在本实施例中，在进行直至时间层级别2为止的解码的情况下帧频是12帧/秒，以及在进行直至时间层级别1为止的解码的情况下帧频是6帧/秒。另外，与第一实施例同样地，在仅针对时间层级别0进行解码的情况下帧频是1帧/秒。

接着，将使用图13来详细说明帧频计算单元1207的结构。在图13中，通过同样的附图标记来表示具有与第一实施例的图2所示的帧频计算单元107的处理单元的功能同样的功能的处理单元，并且将省略其说明。帧频确定单元1307与第一实施例的帧频确定单元207的不同之处在于：在片区解码单元103的处理性能对于所设置的要解码的片区不足的情况下，帧频确定单元1307请求(指定)对要解码的片区的改变。另外，将与期望帧频有关的信息从帧频获取单元701输入至端子1310。

接着，将使用图14A和14B来说明本实施例中的图像解码设备10的解码处理操作。图14A和图14B是示出根据本实施例的图像解码设备10的解码处理操作的流程图。在图14A和图14B中，将通过同样的附图标记来表示具有第一实施例的图6A和6B或者第二实施例的图10A和10B的流程图的功能同样的功能的步骤，并且将省略其说明。注意，在本实施例中，在用户尚未指定期望帧频的情况下，图像解码设备10以针对时间层级别0所获得的帧频来进行解码和显示。为了便于描述，假定没有在开始时(在解码处理开始之前)设置期望帧频。

在步骤S1003中，与第二实施例的图10A所示的步骤S1003中同样地，帧频计算单元1207判断是否从帧频获取单元701获取到帧频指定请求。在尚未获取到帧频指定请求的情况下(步骤S1003中为“否”)，帧频计算单元1207判断为帧频获取单元701尚未设置帧频，并且处理进入步骤S612中的处理。注意，步骤S612及其之后的处理与第一实施例的图6A所示的步骤612及其之后所进行的处理大致相同，因而将省略其说明。与此相对，在获取到帧频指定请求的情况下(步骤S1003中为“是”)，帧频计算单元1207判断为帧频获取单元701设置了帧频，并且处理进入步骤S1404中的处理。

以下，关于帧频计算单元1207在步骤S1003中判断为已经从帧频获取单元701获取到帧频指定请求的情况(步骤S1003中为“是”)，将说明S1404及其之后的处理。

在步骤S1404中，帧频计算单元1207计算对解码对象片区进行解码时所需的处理性能，并且将所计算出的所需处理性能与片区解码单元103的处理性能进行比较。然后，判断片区解码单元103的处理性能是否充足(片区解码单元103处理性能是否低于所需处理性能)。在片区解码单元103的处理性能不足的情况下(步骤S1404中为“是”)，处理进入步骤S1005。与此相对，在片区解码单元103的处理性能充足的情况下(步骤S1404中为“否”)，处理进入步骤S613。

首先，将说明在步骤S1404中判断为片区解码单元103的处理性能不足的情况(步骤S1404中为“是”)。在这种情况下，进行步骤S1005及其之后的处理。步骤S1005～S1009与第二实施例的图10B所示的步骤S1005～S1009所进行的处理大致相同，因而将省略其说明。然后，在本实施例中，处理进入步骤S1009中的处理之后的步骤S1410的处理。

在步骤S1410中，帧频计算单元1207根据步骤S1007中所确定出的解码对象片区以及步骤S1009中所确定出的帧频，来计算解码关注区域所需的处理性能。然后，帧频计算单元1207将所需处理性能与片区解码单元103的处理性能进行比较，并且判断片区解码单元103的处理性能是否充足(片区解码单元103的处理性能是否大于或等于所需处理性能)。在判断为片区解码单元103的处理性能充足的情况下(步骤S1410中为“是”)，处理进入步骤S613。与此相对，在判断为片区解码单元103的处理性能不足的情况下(步骤S1410中为“否”)，处理进入步骤S1411中的处理。

在步骤S1411中，图像解码设备10进行用于确定关注区域的候选的处理。在步骤S1411中的处理之后，处理返回至步骤S1005中的处理，并且图像解码设备10进行再次设置关注区域的处理。这样，在步骤S1411中设置关注区域的候选，因而用户能够通过在再次设置关注区域的情况下参考关注区域的候选来容易地设置关注区域。

以下，将使用图14A和14B来说明具体示例。首先，将说明用户已经指示了帧频获取单元701增大帧频的情况。如上所述，在帧频的指定之前且在解码处理开始时的帧频是针对时间层级别0所获得的帧频(1帧/秒)。这里，假定用户已经指示了图像解码设备10将帧频从1帧/秒增大为针对时间层级别1所获得的帧频(6帧/秒)。

这里，通过片区确定单元20将帧的全部片区确定为解码对象片区，因而计数器206针对片区的数量所获得的计数结果是48。帧频确定单元1307获取表示在以帧频获取单元701所获取到的期望帧频(6帧/秒)对计数器206所计数的片区(48个片区)进行解码的情况下需要48×6＝288片区/秒的处理性能的信息。另外，在本实施例中，片区解码单元103的处理性能是72片区/秒。结果，帧频确定单元1307在步骤S1404中判断为片区解码单元103的处理性能是不足的(步骤S1404中为“是”)，并且处理进入步骤S1005。

步骤S1005～S1009中的处理与图10B的步骤S1005～S1009中所进行的处理大致相同。因而，在步骤S1006中，区域设置单元106设置图5B所示的区域501、区域502和区域503作为关注区域，并且将与所设置的关注区域有关的关注区域信息经由端子203输出至片区确定单元205。然后，在步骤S1007中，片区确定单元205将解码对象片区确定为具有片区编号11、12、21、22、14、15、16、24、25、26、32和42的片区。在步骤S1008中，计数器206对解码对象片区的数量进行计数，并且将与片区数量(12个)有关的信息输出至帧频确定单元1307。在步骤S1009中，帧频确定单元1307将针对关注区域的帧频确定为期望帧频(6帧/秒)，并且根据针对关注区域所确定出的帧频来确定针对关注区域的时间层级别(时间层级别1)。

然后，在步骤S1410中，帧频确定单元1307进行以下处理。即，帧频确定单元1307经由端子1310获取从计数器206输出的与片区数量有关的信息(12片区/帧)、以及帧频获取单元701所获取到的与期望帧频有关的信息(6帧/秒)。然后，帧频确定单元1307根据片区数量(12片区/帧)和期望帧频(6帧/秒)，来将以期望帧频解码关注区域所需的处理性能确定为12×6＝72片区/秒。即，由于片区解码单元103的处理性能是72片区/秒并且所需处理性能是72片区/秒，因此帧频确定单元1307在步骤S1410中判断为片区解码单元103的处理性能是充足的，并且处理进入步骤S613。此外，在步骤S613及其之后的处理中，图像解码设备10解码与关注区域相对应的片区直至时间层级别1为止，并且进行控制以使得显示器110以期望帧频(6帧/秒)来进行显示。

接着，将说明用户指示了帧频获取单元701进一步增大帧频的情况。这里，假定图像解码设备10指示了将帧频从6帧/秒增大为针对时间层级别2所获得的帧频(12帧/秒)。

这里，在上述步骤S1008中，计数器206针对片区数量所获得的计数结果是12。在以帧频获取单元701所获取到的期望帧频(12帧/秒)来对计数器206所计数的片区(12个片区)进行解码的情况下，帧频确定单元1307获取表示需要12×12＝144片区/秒的处理性能的信息。另外，在本实施例中，片区解码单元103的处理性能是72片区/秒。结果，帧频确定单元1307在步骤S1404中判断为片区解码单元103的处理性能是不足的(步骤S1404中为“是”)，并且处理进入步骤S1005。

步骤S1005～S1009中的处理与图10B的步骤S1005～S1009中所进行的处理大致相同。这里，在步骤S1006中，区域设置单元106仅将图5B所示的区域502设置为关注区域，并且将与所设置的关注区域有关的关注区域信息经由端子203输出至片区确定单元205。然后，在步骤S1007中，片区确定单元205将解码对象片区确定为具有片区编号14、15、16、24、25和26的片区。在步骤S1008中，计数器206对解码对象片区的数量进行计数，并且将与片区数量(6个)有关的信息输出至帧频确定单元1307。在步骤S1009中，帧频确定单元1307将针对关注区域的帧频确定为期望帧频(12帧/秒)，并且根据针对关注区域所确定出的帧频来确定针对关注区域的时间层级别(时间层级别2)。

然后，在步骤S1410中，帧频确定单元1307获取与从计数器206输出的片区数量有关的信息(6片区/帧)、以及与帧频获取单元701所获取到的期望帧频有关的信息(12帧/秒)。然后，帧频确定单元1307根据片区数量(6片区/帧)以及期望帧频(12帧/秒)来将以期望帧频解码关注区域所需的处理性能确定为6×12＝72片区/秒。即，由于片区解码单元103的处理性能是72片区/秒并且所需处理通性是72片区/秒，因此帧频确定单元1307在步骤S1410中判断为片区解码单元103的处理性能是充足的，并且处理进入步骤S613。此外，在步骤S613及其之后的处理中，图像解码设备10对与关注区域相对应的片区进行解码直至时间层级别2为止，并且进行控制以使得显示器110以期望帧频(12帧/秒)来进行显示。

注意，在步骤S1006中，在用户指定的关注区域延伸6个片区以上的情况下，所需处理通性超过片区解码单元103的处理性能(72片区/秒)。在这种情况下，由于在步骤S1410中判断为片区解码单元103的处理性能是不足的(步骤S1410中为“否”)，因此处理进入步骤S1411。在步骤S1411中，显示控制器109进行控制，以使得在显示器110上显示与6个片区的区域有关的信息。在步骤S1411中进行处理之前，即使在步骤S1005中发送了不能以期望帧频对运动图像进行解码和显示的通知的情况下，也不能获得能够进行解码和显示的区域的大小的估计，并且难以设置减小的关注区域。然而，由于图像解码设备10进行步骤S1411中的处理，因此用户能够观察可以以期望帧频对运动图像进行解码和显示的关注区域的大小。

另外，在步骤S1411中，区域设置单元1206可以进行如下处理：将在步骤S1006中所获取到的关注区域延伸的片区中的与关注区域重叠(包括在关注区域中)的部分小于特定大小的片区从关注区域的候选中移除。这里，与区域501、区域502和区域503相对应的片区中的具有片区编号11、12、14、16、24和26的片区具有与关注区域重叠并且大小比特定大小小的部分(例如，小于一个片区的一半大小)。因而，在步骤S1411中，区域设置单元1206可以如上那样移除与关注区域重叠的部分小的片区，并且可以仅将具有片区编号12、22、15、25、32和42的片区设置为关注区域的候选。

另外，在步骤S1411中，显示控制器109还可以进行控制，以使得在显示器110上显示帧内的片区之间的边界。这样，通过显示片区之间的边界，用户能够观察帧内的片区之间的边界，并且可以容易地设置以片区为单位的关注区域。

在本实施例中，利用上述结构和操作，图像解码设备10能够以适当帧频来对进行了时域可伸缩编码的运动图像进行解码。

另外，在本实施例中，图像解码设备10能够根据图像解码设备10的处理性能，来适当确定显示整个帧的整体视图显示或者显示关注区域的部分视图显示。

另外，在本实施例中，图像解码设备10可以在以期望帧频解码特定关注区域所需的处理性能超过图像解码设备10的处理性能的情况下再次设置关注区域。另外，在再次设置关注区域时，基于处理性能对区域的显示、片区之间的边界、或者这两者使得用户可以容易地再次设置关注区域。另外，在再次设置关注区域时，根据关注区域和片区的重叠来设置关注区域的候选，这使得可以在不超过处理性能的范围内容易地进行解码显示处理。

注意，在本实施例中说明了以相同的帧频来对所选择的全部关注区域进行解码的情况；然而，帧频不限于此。例如，当然，可以针对各关注区域设置彼此不同的帧频。

第四实施例

在上述实施例中说明了图1、图2、图7、图8、图11、图12和图13所示的处理单元是由硬件构成的。然而，在这些附图中所示的处理单元所进行的处理还可以被形成为计算机程序。以下将使用图15来说明本实施例。图15是示出能够应用于根据上述实施例的图像解码设备10的计算机的硬件结构的示例的框图。

中央处理单元CPU)1501使用随机存取存储器(RAM)1502和只读存储器(ROM)1503中所存储的计算机程序和数据来控制计算机整体，并且执行根据上述的各实施例的图像解码设备10所进行的上述处理。即，CPU 1501用作图1、图2、图7、图8、图11、图12和图13所示的处理单元。

RAM 1502具有用于暂时存储例如从外部存储装置1506加载的计算机程序或数据、以及经由接口(I/F)1507从外部获取到的数据的区域。此外，RAM 1502具有在CPU 1501执行各种类型的处理时所使用的工作区域。即，RAM 1502可以例如被指定为图像存储器(图片存储器)、或者能够根据需要提供其它各种类型的区域。

ROM 1503存储例如该计算机的设置数据和引导程序。操作单元1504包括键盘或鼠标等，并且能够通过进行操作的计算机的用户将各种类型的命令输入至CPU 1501。输出单元1505输出CPU 1501所获得的处理结果。另外，输出单元1505包括例如液晶显示器，并且显示CPU 1501所获得的处理结果。

外部存储装置1506是大型信息存储装置，尤其是硬盘驱动装置。外部存储装置1506存储操作系统(OS)以及用于使CPU 1501实现图15所示的各种单元的功能的计算机程序。此外，外部存储装置1506还可以存储用作处理对象的各种类型的图像数据。

基于CPU 1501所进行的控制、根据需要将外部存储装置1506中所存储的计算机程序或数据加载至RAM 1502中，并且对计算机程序或数据执行CPU 1501所进行的处理。诸如局域网(LAN)或因特网等的网络、以及诸如投影装置和显示装置等的其它装置能够连接至I/F 1507。该计算机能够经由I/F 1507获取或发送各种类型的信息。由1508来表示将上述各种单元彼此连接的总线。

对于上述结构操作，在上述流程图中所述的操作由扮演主要角色的CPU 1501来控制。

还可以通过读出并执行记录在存储介质(还可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以进行本发明的上述实施例中的一个或多个的功能的以及/或者包括用于进行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或设备的计算机和通过下面的方法来实现本发明的实施例，其中，该系统或设备的计算机通过例如从存储介质读出并执行计算机可执行指令以进行上述实施例中的一个或多个的功能以及/或者控制该一个或多个电路以进行上述实施例中的一个或多个的功能来进行上述方法。

计算机可以包含一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可以包括分离的计算机或者分离的处理器的网络，以读取并执行计算机可读指令。可以例如通过网络或者存储介质将计算机可执行指令提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧凑型光盘(CD)、数字多功能光盘(DVD)或蓝光光盘(BD)^TM等)、闪速存储器装置和存储卡等。

尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不局限于所公开的典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功能。

本申请要求2015年1月7日提交的日本专利申请2015-001682的优先权，这里通过引用将其全部内容包含于此。

Claims (8)

1.一种图像解码设备，所述图像解码设备对使用多个时间层对包括一个或多个图像的运动图像进行分级编码所获得的编码数据进行解码，所述图像解码设备包括：

第一获取单元，用于获取与运动图像的与所述分级编码中所使用的所述多个时间层相对应的帧频有关的信息；

第二获取单元，用于获取与所述一个或多个图像的关注区域的大小有关的信息；

确定单元，用于根据所述第一获取单元所获取到的与对应于各个时间层的帧频有关的信息、以及所述第二获取单元所获取到的与所述关注区域的大小有关的信息，来确定在显示所述关注区域的情况下要使用的帧频；以及

解码单元，用于以所述确定单元所确定出的帧频来对所述关注区域进行解码。

2.根据权利要求1所述的图像解码设备，其中，所述第二获取单元获取所述关注区域中所包括的片区的数量作为与所述关注区域的大小有关的信息。

3.根据权利要求2所述的图像解码设备，其中，还包括：

第三获取单元，用于获取所述图像解码设备在单位时间段内能够处理的片区的数量，

其中，所述确定单元在所述第一获取单元所获取到的与所述多个时间层相对应的帧频中，将低于或等于根据所述关注区域中所包括的片区的数量和所述图像解码设备在单位时间段内能够处理的片区的数量而计算出的帧频的帧频，确定为在显示所述关注区域的情况下要使用的帧频。

4.根据权利要求1所述的图像解码设备，其中，所述解码单元根据与所述确定单元所确定出的帧频相对应的时间层来对所述关注区域进行解码。

5.根据权利要求1所述的图像解码设备，其中，所述确定单元将所述第一获取单元所获取到的与所述多个时间层相对应的帧频中的任意帧频，确定为在对所述一个或多个图像进行整体显示的整体视图显示中所使用的帧频、或者在显示所述关注区域的部分视图显示中所使用的帧频。

6.根据权利要求5所述的图像解码设备，其中，所述确定单元在没有指定所述关注区域的情况下，确定在所述整体视图显示中使用的帧频，以及在指定了所述关注区域并且不是将所述一个或多个图像中的全部而是将一部分的区域指定为所述关注区域的情况下，确定在所述部分视图显示中所使用的帧频。

7.一种图像解码方法，用于对使用多个时间层对包括一个或多个图像的运动图像进行分级编码所获得的编码数据进行解码，所述图像解码方法包括：

获取与运动图像的与在所述分级编码中所使用的所述多个时间层相对应的帧频有关的信息；

获取与所述一个或多个图像的关注区域的大小有关的信息；

根据与对应于各个时间层的帧频有关的信息、以及与所述关注区域的大小有关的信息，来确定在显示所述关注区域的情况下要使用的帧频；以及

以所确定出的帧频来对所述关注区域进行解码。

8.一种存储介质，其存储用于使计算机执行图像解码处理的程序，所述图像解码处理用于对使用多个时间层对包括一个或多个图像的运动图像进行分级编码所获得的编码数据进行解码，所述图像解码处理包括：

获取与运动图像的与在所述分级编码中所使用的所述多个时间层相对应的帧频有关的信息；

获取与所述一个或多个图像的关注区域的大小有关的信息；

根据与对应于各个时间层的帧频有关的信息、以及与所述关注区域的大小有关的信息，来确定在显示所述关注区域的情况下要使用的帧频；以及

以所确定出的帧频来对所述关注区域进行解码。