CN110169069A - 图像处理装置和方法 - Google Patents

Abstract

本公开内容涉及可以最小化编码效率降低的图像处理装置和方法。针对要编码的图像数据的每个部分区域设置时间分辨率，对图像数据进行编码，以及生成包括指示设置的部分区域中的每一个的时间分辨率的信息的比特流。可替选地，分析指示图像数据的每个部分区域的时间分辨率的信息，该信息被包括在通过对图像数据进行编码而获得的比特流中。本公开内容可以应用于例如图像处理装置、比特流转换装置、图像编码装置、图像解码装置或通信装置等。

Description

图像处理装置和方法

技术领域

本公开内容涉及图像处理装置和图像处理方法，并且具体地，涉及能够抑制编码效率降低的图像处理装置和图像处理方法。

背景技术

常规地，与MPEG-4Part 10(高级视频编码，以下称为AVC)相比，为了进一步提高编码效率，JCTVC(联合协作组——视频编码)、ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(国际标准化组织/国际电工委员会)的联合标准化组已经提出了被称为HEVC(高效视频编码)的编码系统的标准化(参见，例如，非专利文献1)。

近年来，在这样的图像编码系统中，作为要编码的对象的图像数据的分辨率变得较高。例如，当对VR(虚拟现实)运动图像进行编码时，对8K×4K等的高分辨率图像进行编码，使得平面图像被设置为要编码的对象，在所述平面图像中，从视点位置看到的周边图像在平面上显现。

引用列表

非专利文献

非专利文献1：ITU-T，“SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMSInfrastructure of audiovisual services.Coding of moving video High efficiencyvideo coding”，ITU-T H.265(V3)，2015年04月29日。

发明内容

技术问题

由于作为要编码的对象的图像的高分辨率导致编码量的增加，因此已经要求进一步提高编码效率。然而，在常规图像编码系统的情况下，在图片中已经允许存在具有不同空间分辨率的图像，但是不允许存在具有不同时间分辨率(帧速率)的图像。由于这个原因，无法针对图片的每个部分区域来控制时间分辨率，这导致了编码效率降低的可能性。

本公开内容是鉴于上述情况提出的，并且本公开内容使得可以抑制编码效率的降低。

问题的解决方案

根据本技术的一个方面的图像处理装置包括：时间分辨率设置单元，其针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及编码单元，其对图像数据进行编码以生成的比特流，比特流包括指示由时间分辨率设置单元设置的部分区域中的每一个的时间分辨率的信息。

部分区域可以是可单独解码的图块集(tile set)。

比特流可以包括与部分区域有关的信息。

指示时间分辨率的信息可以包括针对图像数据的图片中的每一个设置的时间ID和针对部分区域中的每一个设置的级别信息。

图像数据可以是其中在单个平面上显现围绕视点以球形形状渲染的全方位图像的平面图像的数据。

时间分辨率设置单元可以使得在较靠近显现全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率较高。

图像数据可以是平面图像的数据，在平面图像中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

时间分辨率设置单元可以使得当在六个方向中从视点看时前侧的平面图像的时间分辨率高于在其他方向的平面图像的时间分辨率。

图像处理装置还可以包括：部分区域设置单元，其设置部分区域，其中，时间分辨率设置单元可以被配置成设置由部分区域设置单元设置的各个部分区域的时间分辨率。

指示时间分辨率的信息可以包括针对部分区域中的每一个设置的时间ID。

编码单元可以基于由时间分辨率设置单元设置的部分区域中的每一个的时间分辨率，相对于图像数据的各个图片对包括在当前图片中的部分区域进行编码。

比特流可以包括与用于在解码期间补充除图片的部分区域以外的区域的方法有关的信息。

编码单元可以针对部分区域中的每一个生成由时间分辨率设置单元设置的时间分辨率的比特流。

根据本技术的一个方面的图像处理方法包括：针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及对图像数据进行编码，以生成比特流，其包括指示所设置的部分区域中的每一个的时间分辨率的信息。

根据本技术的另一方面的图像处理装置包括：分析单元，其分析指示图像数据的部分区域中的每一个的时间分辨率的信息，该信息被包括在其中对图像数据进行编码的比特流中。

图像处理装置还可以包括：数据提取单元，其根据分析单元的分析结果从比特流中提取期望的部分区域的数据；以及比特流生成单元，其生成包括由数据提取单元提取的部分区域的数据的比特流。

图像处理装置还可以包括：解码单元，其根据分析单元的分析结果，对包括在比特流中的图像数据的编码数据中的期望部分区域的编码数据进行解码。

解码单元可以基于由分析单元分析的部分区域中的每一个的时间分辨率，相对于图像数据的各个图片对当前图片中包括的部分区域的编码数据进行解码。

解码单元可以使用与当前图片不同的另一图片的图像的再现、与当前图片不同的多个其他图片的图像的平均值以及新生成的图像来补充当前图片的部分区域以外的区域。

根据本技术的另一方面的图像处理方法包括：分析指示针对图像数据的部分区域中的每一个的时间分辨率的信息，该信息被包括在其中对图像数据进行编码的比特流中。

根据本技术的一个方面的图像处理装置和图像处理方法针对要编码的图像数据的部分区域中的每一个设置时间分辨率，并且对图像数据进行编码以生成比特流，其包括指示设置的部分区域中的每一个的时间分辨率的信息。

图像处理装置和图像处理方法分析指示图像数据的部分区域中的每一个的时间分辨率的信息，该信息被包括在其中对图像数据进行编码的比特流中。

发明的有益效果

根据本公开内容，可以对图像进行处理。特别地，可以抑制编码效率的降低。

附图说明

[图1]图1是描述时间分辨率的受控状态的示例的图。

[图2]图2是示出图像处理系统的主要配置示例的框图。

[图3]图3A至图3E均是描述VR运动图像的使用状态的示例的图。

[图4]图4是描述空间方向的重要性的分布示例的图。

[图5]图5A和图5B均是描述显现状态的示例的图。

[图6]图6是描述各个部分区域中的时间分辨率的分配状态的示例的图。

[图7]图7是描述各个部分区域中的时间分辨率的分配状态的示例的图。

[图8]图8是描述图块集的图。

[图9]图9是描述时间ID的图。

[图10]图10是描述部分区域的提取状态的示例的图。

[图11]图11是示出比特流的示例的图。

[图12]图12是示出编码装置的主要配置示例的框图。

[图13]图13是示出预处理单元的主要配置示例的框图。

[图14]图14是描述图像编码处理的流程的示例的流程图。

[图15]图15是描述预处理流程的示例的流程图。

[图16]图16是示出比特流转换装置的主要配置示例的框图。

[图17]图17是描述比特流转换处理的流程的示例的流程图。

[图18]图18是示出解码装置的主要配置示例的框图。

[图19]图19是描述图像解码处理的流程的示例的流程图。

[图20]图20A和图20B均是描述显现状态的示例的图。

[图21]图21A和图21B均是示出比特流的示例的图。

[图22]图22是示出图像处理系统的主要配置示例的框图。

[图23]图23是示出预处理单元的主要配置示例的框图。

[图24]图24A和图24B分别是示出语法和语义的示例的图。

[图25]图25是描述预处理流程的示例的流程图。

[图26]图26是示出解码装置的主要配置示例的框图。

[图27]图27是描述图像解码处理的流程的示例的流程图。

[图28]图28A和图28B均是描述参考状态的示例的图。

[图29]图29A至图29D均是描述补充状态的示例的图。

[图30]图30是示出比特流的示例的图。

[图31]图31是示出计算机的主要配置示例的框图。

[图32]图32是示出网络系统的示意性配置示例的框图。

具体实施方式

在下文中，将描述用于执行本公开内容的模式(在下文中，被称为实施方式)。注意，将按下面的顺序来进行描述。

1.使用时间效率的高编码效率

2.第一实施方式(使用HEVC的MCTS SEI)

3.第二实施方式(每个部分区域的时间ID)

4.第三实施方式(针对每个部分区域生成比特流)

5.其他

<1.使用时间效率的高编码效率>

常规地，与MPEG-4Part 10(高级视频编码，以下称为AVC)相比，为了进一步提高编码效率，JCTVC(联合协作组——视频编码)、ITU-T(国际电信联盟电信标准化部门)和ISO/IEC(国际标准化组织/国际电工委员会)的联合标准化组已经提出了被称为HEVC(高效视频编码)的编码系统的标准化。

近年来，在这样的图像编码系统中，作为要编码的对象的图像数据的分辨率变得较高。例如，当对VR(虚拟现实)运动图像进行编码时，对8K×4K等的高分辨率图像进行编码，使得平面图像被设置为要编码的对象，在所述平面图像中，从视点位置看到的周边图像在平面上显现。

由于作为要编码的对象的图像的高分辨率造成了编码量的增加，因此已经要求进一步提高编码效率。例如，尽管存在一种用于提高编码效率的方法，该方法降低了具有低重要性的区域的空间分辨率以削减信息量，但是必须考虑对对象图像质量的影响，而且信息量不能无限制地削减。因此，该方法不一定合适。

还可以使用时间分辨率来控制运动图像的信息量。时间分辨率指示时间方向的速率(也称为帧速率)。例如，时间分辨率的降低(每单位时间的帧数的减少)可以导致信息量的减少和编码效率的提高。然而，在常规图像编码系统的情况下，在图片中已经允许存在具有不同空间分辨率的图像，但是不允许存在具有不同时间分辨率(帧速率)的图像。

因此，可以删除每个图片以降低整个图片的帧速率，如图1所示的示例，但是不能控制图片的一些区域的时间分辨率。因此，难以在抑制对象图像质量降低的同时提高编码效率，这导致了编码效率降低的可能性。

鉴于此，执行以下操作：为要编码的图像数据的每个部分区域设置时间分辨率，并且生成包括指示每个部分区域的时间分辨率的信息的比特流。因此，由于可以使用时间分辨率部分地控制图片的信息量，因此可以更有效地执行编码。

<2.第一实施方式>

<图像处理系统>

图2是示出作为应用本技术的图像处理系统的模式的图像处理系统的配置的示例的框图。图2所示的图像处理系统100是如下系统，在该系统中，对所谓的VR运动图像的图像数据进行编码，并将其作为比特流发送，并且在发送的目的地处对比特流进行解码和显示。

如图2所示，图像处理系统100具有成像装置111、图像转换装置112、编码装置113、发送装置114、接收装置131、比特流转换装置132、解码装置133、图像转换装置134和显示装置135。

成像装置111执行与对象的图像的捕获有关的处理。例如，成像装置111捕获对象的图像，并将捕获的图像提供给图像转换装置112。图像转换装置112执行与捕获的图像的转换有关的处理。例如，图像转换装置112执行从成像装置111提供的捕获的图像的渲染等，以生成VR运动图像。此外，图像转换装置112在平面上显现VR运动图像，以生成用于编码的平面图像，并将平面图像提供给编码装置113。

编码装置113执行与图像的编码有关的处理。例如，编码装置113对从图像转换装置112提供的平面图像进行编码以生成比特流，并且将比特流提供给发送装置114。发送装置114执行与比特流的发送有关的处理。例如，发送装置114经由网络120将从编码装置113提供的比特流提供给接收装置131。

网络120是传输介质。网络120由例如任意通信网络构成。例如，网络120可以是有线通信网络或无线通信网络，或者可以由有线通信网络和无线通信网络两者构成。此外，网络120可以由一个通信网络或多个通信网络构成。例如，网络120可以包括具有任意通信标准的通信网络或通信路径，例如用于无线移动机构诸如因特网、公共电话线网络和所谓的3G线路或4G线路的广域通信网络，用于执行符合WAN(广域网)、LAN(局域网)和蓝牙(TM)标准的通信的无线通信网络，用于短程无线通信诸如NFC(近场通信)的通信路径，用于红外通信的通信路径，以及符合诸如HDMI(TM)(高清多媒体接口)和USB(通用串行总线)的标准的有线通信网络。发送装置114和接收装置131连接至网络120，并且可以经由网络120给出和接收比特流。

接收装置131执行与比特流的接收有关的处理。例如，接收装置131经由网络120接收从发送装置114提供的比特流，并将接收的比特流提供给比特流转换装置132。比特流转换装置132执行与比特流的转换有关的处理。例如，比特流转换装置132响应于来自显示装置135的请求，从接收装置131提供的比特流中提取用户的视图内的部分区域的数据，生成部分区域的比特流，并且将生成的比特流提供给解码装置133。

解码装置133执行与比特流的解码有关的处理。例如，解码装置133对从比特流转换装置132提供的比特流进行解码(在与编码装置113的编码系统对应的解码系统中)。解码装置133将通过对比特流进行解码而获得的平面图像的数据提供给图像转换装置134。图像转换装置134执行与图像的转换有关的处理。例如，图像转换装置134在三维空间上执行从解码装置133提供的平面图像的渲染，以在虚拟现实空间中生成用户的视图内图像，并将生成的图像提供给显示装置135。

显示装置135执行与显示有关的处理。例如，显示装置135显示从图像转换装置134提供的用户的视图内的图像，以向用户提供虚拟现实空间。此外，例如，显示装置135根据用户的输入、感测结果等在虚拟现实空间中指定用户的视图的位置、方向等，并请求比特流转换装置132提供视图内的图像。

<装置和VR运动图像>

接下来，将更详细地描述构成上述图像处理系统100的装置、它们的操作等。

成像装置111可以是任何装置，但是具有例如多个成像单元(摄像装置)，其捕获彼此不同的方向的图像，如例如图3A所示，以捕获其周边的图像。图像转换装置112执行由成像装置111捕获的图像的组的渲染，以生成成像装置111周围的图像。例如，图像转换装置112围绕视点(即，成像装置111的位置)以球形形状执行捕获的图像的组的渲染，以基于例如图3B中所示的视点生成在所有方向上的图像(下文中也称为全方位图像)。在图3B的示例中，具有球形形状的全方位图像的中心对应于XYZ坐标的原点，并且原点指示视点的位置。注意，全方位图像也将被称为VR图像(VR运动图像)，因为全方位图像在图像处理系统100中被显示为虚拟现实空间的图像。

此外，由于编码装置113和解码装置133将平面图像视为要处理的对象，因此图像转换装置112在平面上显现VR运动图像(全方位图像)以生成平面图像，如图3C所示。平面图像由编码装置113编码，作为比特流从发送装置114发送至接收装置131，并由解码装置133解码。然而，显示装置135仅显示用户的视图内的图像。因此，比特流转换装置132从比特流中提取用户的视图内的数据，以生成用户的视图内的图像的比特流。

显示装置135的配置是任意的。然而，显示装置135由例如在图3D中所示的眼镜型装置构成，并且具有显示单元，该显示单元显示佩戴该装置的用户的右眼和左眼附近的相应眼睛的图像。如上所描述的从比特流转换装置132提供的比特流由解码装置133解码，所获得的解码图像由图像转换装置134在三维空间上渲染，并且通过显示装置135将图像显示在显示单元上。因此，佩戴显示装置135的用户可以在虚拟现实空间观看用户的视图内的图像。也就是说，显示在显示装置135上的图像是显现全方位图像的平面图像(图3C)的一部分，如例如图3E所示。

注意，显示装置135通过传感器检测用户视线方向的变化(面部方向的变化等)。显示装置135基于检测结果估计用户的视图，并且向比特流转换装置132通知估计的用户的视图。比特流转换装置132基于通知提取用户的视图内的图像。

<图片内不平衡的重要性>

在以上描述的图像处理系统100中，作为显现VR运动图像的要由编码装置113编码的对象的平面图像通常具有较重要的部分和不太重要的部分(重要性是不平衡的)。例如，在图4的平面图像140中，明显的对象可能存在于中心附近的区域141至143中，而不是垂直方向上的上端区域144或下端区域145中，因此区域141至143可能变得重要。此外，在许多情况下，下部方向对应于用户的脚。明显的对象通常可能存在于上端区域144中，而不是下端区域145中，因此上端区域144可能变得重要。此外，在左右方向上，明显的对象通常可能存在于中心附近的区域141中，而不是左端区域142或右端区域143中，因此区域141可能变得重要。

另外，要编码的平面图像是如上所描述的显现全方位图像的平面图像。通常，通过如图5A或图5B所示的方法显现要编码的平面图像。因此，在显现之后平面图像的上端和下端附近的区域由全方位图像的极点附近的小区域的图像形成(图5A中的N1和S1，或图5B中的N和S)。因此，每单位面积的信息量变得忽略，并且重要性可能降低。

<2-1.编码>

<每个区域的时间分辨率的设置>

因此，为了根据这样的重要性趋势来抑制编码效率的降低，编码装置113针对要编码的图像数据的每个部分区域设置时间分辨率，并且对图像数据进行编码以生成比特流，比特流包括指示为每个部分区域设置的时间分辨率的信息。

要由编码装置113编码的图像数据可以是平面图像的数据，其中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。在这种情况下，在较靠近显现全方位图像的平面图像的中心的位置处的部分区域可以被设置为具有较高的时间分辨率。此外，在显现全方位图像的平面图像的垂直方向上，较靠近中心的位置处的部分区域可以被设置为具有较高的时间分辨率。另外，显现全方位图像的平面图像的上端附近的部分区域可以被设置为具有比平面图像的下端附近的部分区域的时间分辨率较高的时间分辨率。因此，可以取决于如上所描述的不平衡的重要性来执行信息量控制，例如减少不太重要的部分的时间分辨率。因此，可以在抑制对象图像质量降低的同时抑制编码效率的降低。

例如，图6中所示的平面图像150可以被配置成使得中心附近的区域151具有120p(在渐进系统下每秒120帧)的时间分辨率(帧速率)，左区域152和右区域153具有90p(在渐进系统下每秒90帧)的时间分辨率(帧速率)，上区域154和下区域155具有60p(在渐进系统下每秒60帧)的时间分辨率(帧速率)，周围区域156和周围区域157具有30p(在渐进系统下每秒30帧)的时间分辨率(帧速率)。

图7示出了在全方位图像中这些区域的分布。如图7所示，通常不太重要且定位于较靠近全方位图像的上端和下端的区域被设置为具有较低的时间分辨率，并且重要且定位于较靠近中心的区域被设置为具有较高的时间分辨率。因此，可以在抑制对象图像质量降低的同时抑制编码效率的降低。

<部分区域的设置>

可以使用HEVC(高效视频编码)的图块结构将如图6或图7中所示的区域(部分区域)设置为图块集。图块集是由MCTS SEI(运动约束图块集补充增强信息)管理的可单独解码区域。例如，如图8所示，针对具有8K×4K的帧大小(分辨率)的运动图像，对帧的图块集TS1的编码数据进行解码，对下一帧的图块集TS2的编码数据进行解码，对下一帧的图块集TS3的编码数据进行解码，对下一帧的图块集TS4的编码数据进行解码，对下一帧的图块集TS5的编码数据进行解码，对下一帧的图块集TS6的编码数据进行解码，并且对下一帧的图块集TS7的编码数据进行解码，由此可以获得具有图块集TS1至TS7作为帧并且具有2K×1K的帧大小的运动图像。

也就是说，其他区域的信息对于解码图块集的编码数据是不必要的。因此，将这样的图块集设置为用于控制时间分辨率的部分区域还有助于与其他区域分开地设置区域的时间分辨率。

<时间分辨率的设置>

在HEVC中，准备时间可伸缩性函数，其中，在比特流中描述时间ID(也称为Tid或时间标识符)以允许具有相应时间分辨率的输出。如图9所示，可以对要编码的运动图像的各个图片进行分层和编码。在图9中，各个方块指示帧，帧中的数字指示POC(图片顺序计数)。此外，帧之间的箭头指示参考关系。时间ID指示各个层级的标识信息。在图9的情况下，POC0至8的帧被划分成要编码的时间ID 0到3的四个层级。注意，时间可伸缩性的层级结构是任意的，并且不限于图9的示例。

因此，只能通过解码对层级(包括指定时间ID的层级)的图片来执行解码，而不破坏参考关系。因此，可以更容易地获得具有与时间ID对应的时间分辨率的解码图像。也就是说，可以更容易地控制解码图像的时间分辨率(帧速率)。

然而，由于针对各个图片设置时间ID，因此不能通过时间ID来设置部分区域的时间分辨率。因此，针对各个部分区域设置级别信息。级别信息指示执行解码所需的配置文件的级别，并且规定解码器的能力或比特流的复杂性。更具体地，级别信息规定图像的分辨率、比特率(或帧速率)等。

通过相对于用于控制时间分辨率的部分区域即图块集(可单独解码的区域)设置这样的级别信息，可以相对于部分区域设置时间分辨率。例如，如图10所示，当具有4.2级别(级别＝4.2)的图块集(HD 120p)在相对于整个帧具有6.2级别(级别＝6.2)的运动图像(8K120p)中被解码时，对各个帧的图块集的数据进行解码。此外，例如，当解码具有4.1级别(级别＝4.1)的图块集(HD 60p)时，每两帧(每隔一帧)来解码图块集的数据。

然后，使用如上所描述的时间可伸缩性函数进一步促进了时间分辨率的控制。例如，当对图块集进行解码时，指定与由图块集的级别信息指示的时间分辨率对应的时间ID，从而可以从包括该时间ID的层级的层级的帧中获得该图块集的解码图像。也就是说，可以通过由级别信息指示的时间分辨率来获得图块集的解码图像。

例如，在图11所示的比特流180中，假设在帧181到185的各个部分区域中设置时间分辨率(帧速率)作为级别信息。此外，如图11所示，假设相对于各个帧181至185设置时间ID(Tids)。注意，在这种情况下，比特流具有与图9的示例的层级结构不同的层级结构。

在这种情况下，例如，从帧181到185中的每一个获得区域(其中，120p被设置为级别信息)的数据。也就是说，在这种情况下，对包括与120p相对应的时间ID(Tid＝3)的时间ID的层级的帧进行解码。此外，例如，从帧181至183和帧185中的每一个获得其中设置90p的区域的数据。也就是说，在这种情况下，对包括与90p相对应的时间ID(Tid＝2)的时间ID的层级的帧进行解码。另外，例如，从帧181、183和185中的每一个获得其中设置60p的区域的数据。也就是说，在这种情况下，对包括与60p相对应的时间ID(Tid＝1)的时间ID的层级的帧进行解码。另外，例如，从帧181和185获得其中设置30p的区域的数据。也就是说，在这种情况下，对与30p相对应的时间ID(Tid＝0)的层级的帧进行解码。也就是说，从比特流180的各个帧获得图11的以灰色显示的图块集。

使用如上所描述的HEVC的图块集、时间可伸缩性(时间ID)和级别信息，可以在抑制对象图像质量的降低的同时更容易地抑制编码效率的降低。

<编码装置的配置>

图12是示出作为应用本技术的图像处理装置的模式的编码装置113的主要配置示例的框图。编码装置113对利用HEVC编码系统或符合HEVC编码系统的编码系统输入的图像进行编码。如图12所示，编码装置113具有预处理单元210、屏幕排序缓冲器211、计算单元212、正交变换单元213、量化单元214、编码单元215、累积缓冲器216、逆量化单元217、逆正交变换单元218、计算单元219、滤波器220、帧存储器221、帧内预测单元222、帧间预测单元223、预测图像选择单元224和速率控制单元225。

预处理单元210执行与预处理有关的处理，其中，执行以下处理：针对图像数据的每个部分区域的时间分辨率的设置，编码的控制，参数集(例如，序列参数集(SPS))、图片参数集(PPS)、SEI(例如，MCTS、SEI等)的生成等。

从图像转换装置112提供的图像数据被输入至屏幕排序缓冲器211。例如，输入平面图像的数据，在该平面图像中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。屏幕排序缓冲器211按照要显示图像的顺序来存储输入图像数据的各个帧的图像，根据GOP(图片的组)对帧进行编码的顺序对按照要显示图像的顺序存储的帧的图像进行排序，并将帧已被排序的图像提供给计算单元212。此外，屏幕排序缓冲器211还将帧已被排序的图像提供给帧内预测单元222和帧间预测单元223。

计算单元212从屏幕排序缓冲器211读取的图像中减去从帧内预测单元222或帧间预测单元223经由预测图像选择单元224提供的预测图像，以获得作为读取图像与预测图像之间的差异的残差信息(也称为残差数据)。例如，在图像进行帧内编码的情况下，计算单元212从屏幕排序缓冲器211读取的图像中减去从帧内预测单元222提供的预测图像。例如，在图像进行帧间编码的情况下，计算单元212从屏幕排序缓冲器211读取的图像中减去从帧间预测单元223提供的预测图像。计算单元212将获得的残差数据提供至正交变换单元213。

正交变换单元213通过规定的方法对从计算单元212提供的残差数据进行正交变换。正交变换单元213将已进行正交变换的残差数据(也称为正交变换系数)提供给量化单元214。

量化单元214通过规定的方法对该正交变换系数进行量化。量化单元214根据从速率控制单元225提供的编码量的目标值(目标比特率)来设置量化参数以执行量化。量化单元214将已进行量化的残差数据(也称为量化数据)提供给编码单元215和逆量化单元217。

编码单元215对从量化单元214提供的量化数据进行编码。此外，编码单元215从预测图像选择单元224获取与最佳预测模式有关的信息。另外，编码单元215可以从任意处理单元获取任意信息。编码单元215对各种信息进行编码。因此，编码单元215对与图像有关的信息进行编码以生成编码数据。量化单元215将获得的编码数据提供给累积缓冲器216以进行累积。

累积缓冲器216临时保持从编码单元215提供的编码数据。累积缓冲器216在规定的定时处将保持的编码数据作为例如比特流等输出至编码装置113的外部。例如，编码数据经由任何记录介质、任意传输介质、任意信息处理装置等被发送至解码侧。也就是说，累积缓冲器216也是发送编码数据的发送单元。

逆量化单元217通过与量化单元214的量化对应的方法对量化数据进行逆量化。逆量化单元217将已经进行逆量化的量化数据(也称为正交变换系数)提供给逆正交变换单元218。

逆正交变换单元218通过与正交变换单元213的正交变换处理对应的方法对正交变换系数进行逆正交变换。逆正交变换单元218将已经进行逆正交变换的正交变换系数(也称为恢复的残差数据)提供给计算单元219。

计算单元219将从帧内预测单元222或帧间预测单元223经由预测图像选择单元224提供的预测图像相加到恢复的残差数据，以获得本地重新配置的图像(也称为重新配置图像)。例如，在图像进行帧内编码的情况下，计算单元219将从帧内预测单元222提供的预测图像相加到恢复的残差数据。例如，在图像进行帧间编码的情况下，计算单元219将从帧间预测单元223提供的预测图像相加到恢复的残差数据。计算单元219将所获得的重新配置图像提供给滤波器220和帧内预测单元222。

滤波器220相对于重新配置图像适当地执行滤波处理，例如，去块滤波。滤波器220将滤波处理结果(称为解码图像)提供给帧存储器221。

帧存储器221将解码图像存储在其存储区域中。此外，帧存储器221在规定的定时处将存储的解码图像作为参考图像提供给帧间预测单元223。

帧内预测单元222执行帧内预测(帧内画面预测)，其中，使用要处理的图片内的像素值来生成预测图像，该图片是从计算单元219作为参考图像提供的重新配置图像。例如，帧内预测单元222以预先准备的多个帧内预测模式执行帧内预测。帧内预测单元222以所有候选帧内预测模式生成预测图像，使用从屏幕排序缓冲器211提供的输入图像来评估各个预测图像的成本函数值，并选择最佳模式。在选择最佳帧内预测模式之后，帧内预测单元222将以最佳帧内预测模式生成的预测图像、作为与帧内预测有关的信息的帧内预测模式信息(诸如指示最佳帧内预测模式的索引、最佳帧内预测模式的成本函数值等)提供给预测图像选择单元224，作为与预测结果有关的信息。

帧间预测单元223使用从屏幕排序缓冲器211提供的输入图像和从帧存储器221提供的参考图像来执行帧间预测处理(运动预测处理和补偿处理)。更具体地，帧间预测单元223根据通过运动预测检测到的运动矢量来执行运动补偿处理，以生成预测图像(帧间预测图像信息)作为帧间预测处理。例如，帧间预测单元223以预先准备的多个帧间预测模式执行这样的帧间预测。帧间预测单元223以所有候选帧间预测模式生成预测图像。帧间预测单元223使用从屏幕排序缓冲器211提供的输入图像、生成的差异运动矢量的信息等来评估各个预测图像的成本函数值，并选择最佳模式。在选择最佳帧间预测模式之后，帧间预测单元223将以最佳帧间预测模式生成的预测图像、作为与帧间预测有关的信息的帧间预测模式信息诸如指示最佳帧间预测模式的索引和运动信息、最佳帧间预测模式的成本函数值等提供给预测图像选择单元224，作为与预测结果有关的信息。

预测图像选择单元224从帧内预测单元222和帧间预测单元223获取与预测结果有关的上述信息。预测图像选择单元224选择信息中的任何一个以选择该区域中的预测模式。也就是说，预测图像选择单元224选择(最佳)帧内预测模式和(最佳)帧间预测模式中的任何一个作为最佳预测模式。预测图像选择单元224将所选模式的预测图像提供给计算单元212和219。此外，预测图像选择单元224将与所选择的预测结果有关的信息的一部分或全部提供给编码单元215，作为与最佳预测模式有关的信息。

速率控制单元225控制量化单元214的量化操作的速率，以便基于累积缓冲器216中累积的编码数据的编码量而不引起上溢或下溢。

<预处理单元的配置>

图13是示出预处理单元210(图12)的主要配置示例的框图。如图13所示，预处理单元210具有逐区域基础帧速率设置单元231、图块集设置单元232、时间ID设置单元233、编码控制单元234、级别信息设置单元235、MCTS SEI生成单元236和参数集生成单元237。

逐区域基础帧速率设置单元231执行与图片内的每个部分区域的时间分辨率(帧速率)的设置有关的处理。例如，逐区域基础帧速率设置单元231基于用户的指令或输入图像的设置(例如，用于显现全方位图像的方法等)来设置图片内的部分区域，并且设置部分区域中的时间分辨率(帧速率)。部分区域的位置、大小和形状是任意的。此外，在一个图片中设置的部分区域的数量也是任意的。也就是说，可以设置单个部分区域或多个部分区域。另外，设置的部分区域的时间分辨率也是任意的。对每个部分区域分别执行时间分辨率的设置。在图片内，可以存在具有相同帧速率的多个部分区域，或者可以存在具有彼此不同的帧速率的多个部分区域。逐区域基础帧速率设置单元231将所设置的各个部分区域和时间分辨率的设置提供给图块集设置单元232和时间ID设置单元233。

图块集设置单元232执行与由HEVC的MCTS SEI管理的图块集的设置有关的处理。例如，图块集设置单元232将由逐区域基础帧速率设置单元231设置的部分区域实现为图块集。因此，可以分别对部分区域进行解码。此外，例如，图块集设置单元232将指示所设置的图块集的信息提供给编码控制单元234和级别信息设置单元235。

时间ID设置单元233执行与准备作为HEVC的时间可伸缩性函数的时间ID的设置有关的处理。例如，时间ID设置单元233对各个图片进行分层，并在各个层级中设置时间ID，以实现由逐区域基础帧速率设置单元231设置的帧速率。换句话说，时间ID设置单元233将各个图片中的时间ID设置为指示时间分辨率的信息。此外，时间ID设置单元233将指示设置的时间可伸缩性(包括各个图片的时间ID)的信息提供给编码控制单元234和参数集生成单元237。

编码控制单元234执行与编码的控制有关的处理。例如，编码控制单元234基于图块集或时间可伸缩性的设置来控制编码装置113的图像编码。例如，编码控制单元234根据编码时的图块集或时间可伸缩性的设置等来反映参考关系的限制。注意，编码控制单元234可以在必要时控制任意处理单元。

级别信息设置单元235执行与关于部分区域的级别信息的设置有关的处理。例如，级别信息设置单元235设置由图块集设置单元232设置的各个图块集的级别信息。也就是说，级别信息设置单元235将图块集的级别信息设置为指示要编码的图像数据的每个部分区域的时间分辨率的信息。由于图块集的分辨率低于图片的分辨率，因此图块集的级别信息变得小于整个图片的级别信息。此外，如果图块集的时间分辨率降低，则图块集的级别信息变得更小。因此，级别信息设置单元235设置图块集的级别信息，从而可以减少解码图块集的比特流所需的解码器的能力。例如，级别信息设置单元235将所提供的指示图块集的信息或由级别信息设置单元235自身设置的级别信息提供给MCTS SEI生成单元236。

MCTS SEI生成单元236生成MCTS SEI，MCTS SEI包括从级别信息设置单元235提供的指示图块集的信息、级别信息等。也就是说，MCTS SEI生成单元236生成MCTS SEI作为与部分区域有关的信息。MCTS SEI生成单元236将生成的MCTS SEI提供给编码单元215(图12)。编码单元215对所提供的MCTS SEI进行编码，并使编码的MCTS SEI被包括在比特流中。也就是说，从编码装置113输出的比特流包括与部分区域有关的信息。此外，MCTS SEI包括图块集的级别信息，该级别信息是指示部分区域的时间分辨率的信息。也就是说，从编码装置113输出的比特流包括指示每个部分区域的时间分辨率的信息。

参数集生成单元237执行与参数集的生成有关的处理。例如，参数集生成单元237生成序列参数集(SPS)、图片参数集(PPS)等。参数集生成单元237使各个帧的时间ID被包括在例如图片参数集中。注意，时间ID可以被包括在序列参数集中。参数集生成单元237将生成的参数集提供给编码单元215(图12)。编码单元215对所提供的参数集进行编码，并使得编码参数集被包括在比特流中。也就是说，从编码装置113输出的比特流包括指示时间分辨率的信息。

利用以上描述的配置，编码装置113可以抑制编码效率的降低。

<图像编码处理的流程>

接下来，将描述由编码装置113执行的各个处理的流程的示例。首先，将参照图14的流程图描述图像编码处理的流程的示例。

当开始图像编码处理时，预处理单元210在步骤S101中执行预处理。稍后将描述预处理的细节。

在步骤S102中，屏幕排序缓冲器211按照要显示图像的顺序来存储输入运动图像的各个帧(图片)的图像，然后，从要显示图片的顺序到要对图片进行编码的顺序对图片进行排序。

在步骤S103中，帧内预测单元222、帧间预测单元223和预测图像选择单元224执行预测处理，以最佳预测模式生成预测图像等。也就是说，在预测处理中，帧内预测单元222执行帧内预测来以最佳帧内预测模式生成预测图像等，帧间预测单元223执行帧间预测来以最佳帧间预测模式生成预测图像等，并且预测图像选择单元224基于成本函数值等来选择帧内预测模式和帧间预测模式中的最佳的一个模式。

在步骤S104中，计算单元212计算通过步骤S102的处理对帧的顺序进行排序的输入图像与通过步骤S103的预测处理选择的最佳模式的预测图像之间的差。也就是说，计算单元212生成输入图像与预测图像之间的残差数据(残差图像)。如此计算的残差数据的数据量小于原始图像数据的数据量。因此，与直接对图像进行编码的情况相比，可以压缩数据量。

在步骤S105中，正交变换单元213对通过步骤S104的处理生成的残差数据进行正交变换。

在步骤S106中，量化单元214通过使用由速率控制单元225等计算的量化参数来对通过步骤S105的处理获得的正交变换系数进行量化。

在步骤S107中，逆量化单元217利用与步骤S106的量化特性对应的特性对通过步骤S106的处理生成的量化数据进行逆量化。

在步骤S108中，逆正交变换单元218通过与步骤S105的正交变换对应的方法对通过步骤S107的处理获得的正交变换系数进行逆正交变换。

在步骤S109中，计算单元219将通过步骤S103的预测处理获得的预测图像添加到通过步骤S108的处理恢复的残差数据，以生成重新配置图像的图像数据。

在步骤S110中，滤波器220针对通过步骤S109的处理生成的重新配置图像的图像数据来执行滤波处理，如去块滤波。

在步骤S111中，帧存储器221存储通过步骤S110的处理获得的本地解码的解码图像。

在步骤S112中，编码单元215执行编码处理。也就是说，编码单元215对通过步骤S106的处理获得的量化数据进行编码。也就是说，编码单元215通过例如规定编码方法(如可变长度编码和算术编码)对作为与图像有关的信息的量化数据进行编码，以生成编码数据。此外，此时，编码单元215使得与图像有关的信息(而非与残差数据相对应的量化数据，例如通过步骤S103的预测处理选择的预测模式有关的信息)被包括在编码数据中。

在步骤S113中，累积缓冲器216累积通过步骤S112的处理获得的编码数据等。在累积缓冲器216中累积的编码数据等被适当地读取为例如比特流，并经由传输路径或记录介质发送至解码侧。

在步骤S114中，速率控制单元225控制步骤S106的量化处理的速率，以便基于在通过步骤S113的处理在累积缓冲器216中累积的编码数据等的编码量(生成的编码量)而不引起上溢或下溢。

当步骤S114的处理结束时，图像编码处理结束。

注意，各个处理以任意单元执行，并且可以不在同一单元中执行。因此，各个步骤的处理可以与其他步骤的处理等适当地并行执行，或者可以按照对处理进行排序的顺序执行。

<预处理的流程>

接下来，将参照图15的流程图描述在图14的步骤S101中执行的预处理的流程的示例。

当开始预处理时，预处理单元210的逐区域基础帧速率设置单元231在步骤S131中设置关于输入图像的部分区域及其时间分辨率(帧速率)。

在步骤S132中，图块集设置单元232设置各个图片中与在步骤S131中设置的部分区域相对应的图块集。

在步骤S133中，时间ID设置单元233设置各个图片中的层级结构，以实现在步骤S131中设置的帧速率，并且针对各个图片设置与层级相对应的时间ID。

在步骤S134中，编码控制单元234基于在步骤S132中设置的图块集和在步骤S133中设置的时间ID来控制参照图14描述的图像编码处理，使得参考关系例如不会与设置不一致。

在步骤S135中，级别信息设置单元235设置在步骤S132中设置的图块集的级别信息。

在步骤S136中，MCTS SEI生成单元236生成MCTS SEI，MCTS SEI包括：在步骤S132中设置的图块集的管理信息、在步骤S135中设置的图块集的级别信息等。MCTS SEI被包括在比特流中，并在图14的步骤S113中输出。

在步骤S137中，参数集生成单元237生成包括在步骤S133中设置的各个图片的时间ID的参数集。参数集被包括在比特流中，并在图14的步骤S113中输出。

当步骤S137的处理结束时，预处理结束，并且处理返回到图14。

通过执行如上描述的各个处理，编码装置113可以抑制编码效率的降低。

<2-2.比特流转换>

<每个区域的时间分辨率的分析>

如上所述，比特流转换装置132(图2)从由编码装置113生成的比特流中提取由显示装置135等指定的部分区域的数据，并将数据转换为部分区域的比特流。此时，比特流转换装置132分析指示图像数据的每个部分区域的时间分辨率的信息，该信息被包括在对图像数据进行编码的比特流中。因此，当将数据转换为部分区域的比特流时，比特流转换装置132可以使时间分辨率适应于设置。因此，可以抑制部分区域的比特流的编码效率的降低。此外，可以抑制用于解码的负荷的增加。

<比特流转换装置的配置>

图16是示出作为应用本技术的图像处理装置的模式的比特流转换装置132(图2)的主要配置示例的框图。如图16所示，比特流转换装置132具有控制单元251、数据提取单元252、元数据更新单元253和比特流生成单元254。

控制单元251执行与比特流转换的控制有关的处理。例如，控制单元251获取用于指定要提取的部分区域的信息(区域指定信息)，该信息是从显示装置135等提供的。此外，例如，控制单元251控制数据提取单元252以，使得由区域指定信息指定的部分区域的数据从比特流中提取。

数据提取单元252执行与数据提取有关的处理。例如，数据提取单元252根据控制单元251的控制，从接收装置131提供的比特流(比特流A)中提取由显示装置135等指定的部分区域的数据。数据提取单元252提取例如每个图块集的数据作为部分区域的数据。由于图块集是可单独解码的，因此数据提取单元252可以从比特流中提取数据，而不需要执行解码等。因此，数据提取单元252可以容易地提取期望的数据。注意，在数据提取中，数据提取单元252分析例如与作为要提取的对象的部分区域的时间分辨率有关的信息，指定部分区域的时间分辨率(帧速率)，并且基于时间分辨率和时间ID来指定从其提取数据的图片。然后，例如，数据提取单元252从指定的图片中提取指定的部分区域的数据。因此，可以提取部分区域的数据作为在编码侧设置的帧速率的数据。此外，例如，数据提取单元252将提取的数据提供给元数据更新单元253。

元数据更新单元253执行与元数据的更新有关的处理。更新的元数据的内容是任意的。例如，元数据更新单元253执行诸如以下处理：设置关于提取的部分区域的数据的级别信息。如上所述，由于数据提取单元252提取部分区域的数据以便在编码侧设置时间分辨率，所以数据的级别信息变为在编码侧设置的级别信息。也就是说，元数据更新单元253将由MCTS SEI等发送并由编码装置113设置的级别信息设置为关于提取的部分区域的数据的级别信息。此外，例如，元数据更新单元253将已经更新元数据的部分区域的数据提供给比特流生成单元254。

比特流生成单元254执行与比特流的生成有关的处理。例如，比特流生成单元254生成比特流(比特流B)，其包括从元数据更新单元253提供的部分区域的数据。此外，例如，比特流生成单元254将生成的比特流提供给解码装置133(图2)。

利用以上描述的配置，比特流转换装置132可以抑制编码效率的降低。此外，比特流转换装置132可以抑制用于解码的负荷的增加。

<比特流转换处理的流程>

接下来，将参照图17的流程图来描述由比特流转换装置132执行的比特流转换处理的流程的示例。

当开始比特流转换处理时，比特流转换装置132的控制单元251在步骤S151中接受要提取的区域的指定。在步骤S152中，数据提取单元252从比特流中提取例如与指定区域相对应的元数据诸如SEI和参数集。在步骤S153中，数据提取单元252指定与指定区域相对应的图块集。在步骤S154中，数据提取单元252参考在步骤S152中提取的元数据(例如，MCTSSEI等)来指定与在步骤S153中指定的图块集相对应的级别信息。在步骤S155中，数据提取单元252基于在步骤S154中指定的级别信息和在步骤S152中提取的元数据(例如，图片参数集等)来指定要从其提取图块集的图片。在步骤S156中，数据提取单元252从比特流中提取与在步骤S155中指定的图片的指定区域(在步骤S153中指定的图块集)相对应的图块集的数据。

在步骤S157中，元数据更新单元253更新在步骤S152中提取的元数据，以对应于在步骤S156中提取的图块集。

在步骤S158中，比特流生成单元254生成比特流(部分区域的比特流)，其包括在步骤S156中提取的数据和在步骤S157中更新的元数据。

当步骤S158的处理结束时，比特流转换处理结束。

通过执行如上所描述的比特流转换处理，比特流转换装置132可以抑制编码效率的降低。此外，比特流转换装置132可以抑制用于解码的负荷的增加。

<2-3.解码>

<解码装置的配置>

解码装置133(图2)在HEVC编码系统中对如上所述由比特流转换装置132转换的比特流进行解码。图18是示出解码装置133(图2)的主要配置示例的框图。

如图18所示，解码装置133具有累积缓冲器271、解码单元272、逆量化单元273、逆正交变换单元274、计算单元275、滤波器276、屏幕排序缓冲器277、帧存储器278、帧内预测单元279、帧间预测单元280和预测图像选择单元281。

由比特流转换装置132转换的比特流，即，从由编码装置113生成的比特流提取的期望图块集的比特流被提供给编码装置133。累积缓冲器271累积比特流，并在规定的定时处将比特流提供给解码单元272。

解码单元272在与图12的编码单元215的编码系统对应的系统中对从累积缓冲器271提供的比特流(提取的部分区域(图块集)的比特流)进行解码。当在对比特流进行解码之后获得量化数据时，解码单元272将量化数据提供给逆量化单元273。此外，解码单元272将与通过对比特流进行解码而获得的最佳预测模式有关的信息提供给帧内预测单元279或帧间预测单元280。例如，当执行帧内预测时，解码单元272将与最佳帧内预测模式的预测结果有关的信息提供给帧内预测单元279。例如，当执行帧间预测时，解码单元272将与最佳帧间预测模式的预测结果有关的信息提供给帧间预测单元280。类似地，解码单元272可以适当地将通过对编码数据进行解码而获得的各种信息提供给需要该信息的各种处理单元。

逆量化单元273对从解码单元272提供的量化数据进行逆量化。也就是说，逆量化单元273在与图12的量化单元214的量化系统相对应的系统中(即，在与逆量化单元217的系统相同的系统中)执行逆量化。逆量化单元273将通过逆量化获得的正交变换系数提供给逆正交变换单元274。

逆正交变换单元274对从逆量化单元273提供的正交变换系数进行逆正交变换。也就是说，逆正交变换单元274在与图12的正交变换单元213的正交变换系统对应的系统中(即，在与逆正交变换单元218的系统相同的系统中)执行逆正交变换。逆正交变换单元274将通过逆正交变换处理获得的残差数据(恢复的残差数据)提供给计算单元275。

计算单元275将从预测图像选择单元281提供的预测图像添加到从逆正交变换单元274提供的恢复的残差数据，以获得重新配置图像。计算单元275将重新配置图像提供给滤波器276和帧内预测单元279。

滤波器276执行与图12的滤波器220执行的滤波处理相同的滤波处理(例如，去块滤波等)。滤波器276将指示滤波处理结果的解码图像提供给屏幕排序缓冲器277和帧存储器278。

屏幕排序缓冲器277对提供的解码图像进行排序。也就是说，通过图12的屏幕排序缓冲器211按照对帧进行编码的顺序已排序的帧按照要显示帧的原始顺序进行排序。屏幕排序缓冲器277将其中已经对帧进行排序的解码图像的数据提供给图像转换装置134。

帧存储器278存储所提供的解码图像。此外，帧存储器278在规定的定时或者基于来自外部(诸如帧间预测单元280)的请求将所存储的解码图像等提供给帧间预测单元280。

帧内预测单元279使用与从解码单元272提供的最佳帧内预测模式的预测结果有关的信息和从计算单元275提供的重新配置图像来执行帧内预测，以生成预测图像。帧内预测单元279将所生成的预测图像提供给预测图像选择单元281。

帧间预测单元280使用与从解码单元272提供的最佳帧间预测模式的预测结果有关的信息和从帧存储器278提供的解码图像来执行帧间预测，以生成预测图像。帧间预测单元280将生成的预测图像提供给预测图像选择单元281。

预测图像选择单元281将从帧内预测单元279或帧间预测单元280提供的预测图像提供给计算单元275。例如，当作为要处理的对象的宏块是已经经过帧内预测以进行编码的宏块时，帧内预测单元279执行帧内预测，以生成预测图像(帧内预测图像)。因此，预测图像选择单元281将帧内预测图像提供给计算单元275。例如，当作为要处理的对象的宏块是已经经过帧间预测以进行编码的宏块时，帧间预测单元280执行帧间预测，以生成预测图像(帧间预测图像)。因此，预测图像选择单元281将帧间预测图像提供给计算单元275。

如上所述，解码装置133可以对由比特流转换装置132提取的部分区域的比特流进行解码。因此，解码装置133可以抑制编码效率的降低，并且抑制用于解码的负荷的增加。

<图像解码处理的流程>

接下来，将参照图19的流程图描述由解码装置133执行的图像解码处理的流程的示例。

当开始图像解码处理时，累积缓冲器271在步骤S171中累积提供给解码装置133的比特流。在步骤S172中，解码单元272对在步骤S171中累积的比特流进行解码，以获得量化数据。

在步骤S173中，逆量化单元273对通过步骤S172的处理获得的量化数据进行逆量化，以获得正交变换系数。在步骤S174中，逆正交变换单元274对通过步骤S173的处理获得的正交变换系数进行逆正交变换，以获得恢复的残差数据。

在步骤S175中，帧内预测单元279、帧间预测单元280和预测图像选择单元281执行预测图像生成处理，来以用于编码的预测模式生成预测图像。

在步骤S176中，计算单元275将通过步骤S175的处理获得的预测图像添加到通过步骤S174的处理获得的恢复的残差数据，以获得重新配置图像。

在步骤S177中，滤波器276将滤波处理(诸如去块滤波)应用于通过步骤S176的处理获得的重新配置图像，以获得解码图像。

在步骤S178中，屏幕排序缓冲器277对通过步骤S177的处理获得的解码图像执行排序，以按照要显示帧的原始顺序(按照帧被编码装置113的屏幕排序缓冲器211排序之前的顺序)对帧进行排序。

在步骤S179中，帧存储器278存储通过步骤S177的处理获得的解码图像。解码图像用作帧间预测的参考图像。

当步骤S179的处理结束时，图像解码处理结束。

通过执行如上所述的图像解码处理，解码装置133可以对由比特流转换装置132提取的部分区域的比特流进行解码。因此，解码装置133可以抑制编码效率的降低，并且抑制用于解码的负荷的增加。

<2-4.其他显现示例>

<VR运动图像>

以上描述示出了使用具有球形形状的全方位图像作为VR运动图像的示例。然而，VR运动图像的格式是任意的，并且不限于该示例。例如，如图20A的左侧或图20B的右侧所示，可以使用围绕视点以立方体形状或三维形状渲染的图像(下文中也称为六向图像)。也就是说，六向图像由彼此正交的六向平面图像构成。由于六向图像的各个表面的图像是平面图像，因此当在平面上显现六向图像时，各个表面的图像易于并排布置在平面上。然而，用于布置图像的方法是任意的。例如，可以考虑如图20A的右侧所示的六向图像的各个表面之间的位置关系来显现六向图像，或者可以如图20B所示对六个表面进行排序并显现，以使得在显现后该平面图像变得最小。

在图20B的示例的情况下，在显现的平面图像290中，左侧表面(左)的图像被布置在其中布置了前表面(前)的图像的部分区域291的图中左侧的部分区域292中。此外，右侧表面(右)的图像布置在部分区域291的图中右侧的部分区域293中。另外，后表面(背表面)(后面)的图像布置在部分区域293的图中的下侧的部分区域294中。此外，顶表面(顶)的图像布置在部分区域292的图中的下侧的部分区域295中。另外，底表面(底)的图像布置在部分区域291的图中的下侧的部分区域296中。

编码装置113可以将如上所述围绕视点彼此正交的六向平面图像在单个平面上显现的平面图像的数据视为要编码的对象。

在这样的情况下，可能仅可以使六向图像的各个表面成为部分区域(图块集)，并且控制表面中的每一个的时间分辨率。六向图像的各个表面的图像彼此正交，并且图像之间的独立性高。通常，可以经常使用由彼此不同的摄像装置等捕获的图像。因此，可以容易地单独执行编码，并且时间分辨率(帧速率)的单独控制对其他时间分辨率的影响较小。因此，表面易于制成图块集。

当针对六向图像的表面中的每一个设置时间分辨率时，可以仅根据各个表面的重要性来设置时间分辨率。例如，明显的对象通常最可能存在于前表面的图像中(从视点位置看时为前面)，并且图像的重要性可能变高。因此，在显现六向图像的平面图像内的前表面的图像(在图20B的情况下，布置在部分区域291中的图像(前))的时间分辨率可以被设置为高于布置在其他部分区域(部分区域292至296)中的图像的时间分辨率。

此外，例如，与顶表面(从视点位置看时的顶侧)和底表面(从视点位置看时的底侧)的图像相比，明显的对象通常很可能存在于左表面(从视点位置看时的左侧)、右表面(从视点位置看时的右侧)和后表面(从视点位置看时的后侧)的图像中，并且图像的重要性可能变高。因此，在显现六向图像的平面图像内，左表面的图像(在图20B的情况下，布置在部分区域292中的图像(左))、右表面的图像(在图20B的情况下，布置在部分区域293中的图像(右))和后表面的图像(在图20B的情况下，布置在部分区域294中的图像(后))的时间分辨率可以被设置为高于布置在顶表面的图像(在图20B的情况下，布置在部分区域295中的图像(顶))和布置在底表面的图像(在图20B的情况下，布置在部分区域296中的图像(底))的时间分辨率。

另外，例如，明显的对象通常很可能存在于左表面(从视点位置看时的左侧)和右表面(从视点位置看时的右侧)的图像中，而不是后表面(从视点位置看时的后侧)的图像中，并且图像的重要性可能变高。因此，在显现六向图像的平面图像内，左表面的图像(在图20B的情况下，布置在部分区域292中的图像(左))和右表面的图像(在图20B的情况下，布置在部分区域293中的图像(右))的时间分辨率可以被设置为高于布置在后表面的图像(在图20B的情况下，布置在部分区域294中的图像(后))的时间分辨率。因此，在显现六向图像的平面图像内，顶表面的图像(在图20B的情况下，布置在部分区域295中的图像(顶))的时间分辨率可以被设置为高于布置在底表面的图像(在图20B的情况下，布置在部分区域296中的图像(底))的时间分辨率。

此外，例如，明显的对象通常很可能存在于顶表面(从视点位置看时的顶侧)的图像中，而不是底表面(从视点位置看时的底侧)的图像中，并且图像的重要性可能会变高。

此外，在这种情况下，指示解码部分区域所需的图片的信息可以被包括在比特流中(可以被发送至解码侧)作为指示时间分辨率的信息。例如，假设要解码的时间ID小于或等于DTID，可以针对每个表面发送DTID的语法值作为指示解码部分区域所需的图片的信息。例如，语法值可以如下设置。

1)前、后最大时间ID→以最大帧速率解码

2)左、右最大时间ID-1→以1/2帧速率解码

3)顶、底最大时间ID-2→以1/3帧速率解码

注意，在这种情况下，也可以通过与上述情况的方法相同的方法来执行诸如编码、比特流转换和解码的处理，在上述情况中，显现全方位图像的平面图像被设置为要编码的对象。因此，省略了对处理的描述，但是在六向图像的情况下可以获得与全方位图像的情况的效果相同的效果。

<3.第二实施方式>

<每个部分区域的时间ID>

第一实施方式描述了利用HEVC编码和解码。然而，本技术可应用于任意编码系统或解码系统，而不限于HEVC的上述示例。例如，可以针对每个部分区域设置时间ID。

例如，在图21A的情况下，“Tid＝3”被设置为关于图片300的区域301的时间ID，其中，时间分辨率被设置为120p。此外，“Tid＝2”被设置为关于区域302和303的时间ID，其中，时间分辨率被设置为90p。另外，“Tid＝1”被设置为关于区域304和305的时间ID，其中，时间分辨率被设置为60p。此外，“Tid＝0”被设置为关于区域306和307的时间ID，其中，时间分辨率被设置为30p。

因此，如图21B中所示的比特流310，可以利用与分配给部分区域的时间ID相对应的时间分辨率对各个部分区域进行编码。例如，在比特流310中，分配了Tid＝3的区域301在帧311至315中的每一个中被编码，使得时间分辨率变为120p。此外，分配了Tid＝2的区域302和303在帧311、312、314和315中的每一个(帧313以外的帧)中被编码，使得时间分辨率变为90p。另外，分配了Tid＝1的区域304和305在帧311、313和315中的每一个中(每隔一帧)被编码，使得时间分辨率变为60p。此外，分配了Tid＝0的区域306和307在帧311和315(除了帧312至314以外的帧)中的每一个中被编码，使得时间分辨率变为30p。

也就是说，通过使用针对各个部分区域设置的时间ID，仅可以在各个帧中编码以灰色显示的区域，如图21B所示的比特流310。因此，可以抑制编码效率的降低。此外，同样在这种情况下，考虑到如第一实施方式的情况的区域等的重要性等，可以针对各个区域来设置时间ID。因此，可以在抑制对象图像质量降低的同时抑制编码效率的降低。

<图像处理系统>

图22是示出作为应用本技术的图像处理系统的模式的图像处理系统的配置示例的框图。图22中所示的图像处理系统400基本上与参照图2描述的图像处理系统100是相同的系统。也就是说，图像处理系统400基本上被配置成具有与图像处理系统100的配置相同的配置，并且执行相同的处理。然而，在图像处理系统400中省略了图像处理系统100的比特流转换装置132。此外，提供解码装置411来代替解码装置133。

解码装置411基本上是与解码装置133相同的装置，但是解码由接收装置131接收的比特流，即，由编码装置113生成的整个图片的比特流。然而，在图像处理系统400的情况下，编码装置113如参照图21A所描述的针对每个部分区域来设置时间ID，并且如参照图21B所描述的基于各个部分区域的时间分辨率仅对图片内的必要的部分区域进行编码。

解码装置411对由显示装置135等请求的部分区域的数据进行解码，该数据被包括在这样的比特流中。也就是说，各个部分区域的数据被存储在比特流中，其中，时间分辨率针对部分区域进行设置。因此，解码装置411可以通过对部分区域进行解码来获得设置时间分辨率的部分区域的运动图像。

注意，作为要编码的对象的图像数据在这种情况下也是任意的，并且可以是例如显现第一实施方式中描述的全方位图像的平面图像或显现六向图像的平面图像。

此外，可以任意设置各个部分区域的时间分辨率。例如，可以根据区域的重要性来设置时间分辨率，如第一实施方式。例如，当将显现全方位图像的平面图像设置为要编码的对象时，较靠近平面图像的中心的位置处的部分区域可以被设置为具有较高的时间分辨率。此外，在平面图像的垂直方向上，可以在较靠近中心的位置处的部分区域中设置较高的时间分辨率。另外，平面图像的上端附近的部分区域可以被设置为具有比平面图像的下端附近的部分区域的时间分辨率高的时间分辨率。

此外，例如，当显现六向图像的平面图像被设置为要编码的对象时，当从六个方向中的视点看时正面上的平面图像可以被设置为具有比以其他方向的平面图像的时间分辨率更高的时间分辨率。另外，例如，当从六个方向中的视点看时左侧、右侧和后侧的平面图像可以被设置为具有比从视点看时顶侧和底侧的平面图像的时间分辨率更高的时间分辨率。此外，例如，当从六个方向中的视点看时左侧和右侧的平面图像可以被设置为具有比当从视点看时后侧的平面图像的时间分辨率更高的时间分辨率。另外，例如，当从六个方向中的视点看时顶侧的平面图像可以被设置为具有比当从视点看时底侧的平面图像的时间分辨率更高的时间分辨率。

因此，与第一实施方式的情况一样，可以如上所述取决于重要性的偏差来执行信息量控制，例如减少不太重要部分的时间分辨率。因此，可以在抑制对象图像质量降低的同时抑制编码效率的降低。

<3-1.编码>

<预处理单元的配置>

在图像处理系统400中，编码装置113具有与第一实施方式的编码装置113的配置基本相同的配置(图12)。然而，在这种情况下，预处理单元210具有如图23所示的配置。如图23所示，预处理单元210具有逐区域基础帧速率设置单元421、区域设置单元422、逐区域基础时间ID设置单元423、编码控制单元424以及参数集生成单元425。

逐区域基础帧速率设置单元421是与逐区域基础帧速率设置单元231相同的处理单元，并且执行与图片内的每个部分区域的时间分辨率(帧速率)的设置有关的处理。逐区域基础帧速率设置单元421将设置的各个部分区域和时间分辨率的设置提供给区域设置单元422。

区域设置单元422设置其中设置了时间分辨率的部分区域的位置、大小、形状等。区域设置单元422可以使用任意数据单元作为单元来设置部分区域。例如，可以如第一实施方式的情况使用可单独解码的图块集来设置部分区域，或者可以在没有图块集的情况下设置部分区域。区域设置单元422将指示所设置的部分区域的信息提供给逐区域基础时间ID设置单元423。

逐区域基础时间ID设置单元423针对由区域设置单元422设置的各个部分区域来设置与由逐区域基础帧速率设置单元421设置的时间分辨率相对应的值的时间ID。逐区域基础时间ID设置单元423将指示部分区域的信息和指示时间ID的信息提供给编码控制单元424和参数集生成单元425。

编码控制单元424基于所提供的指示部分区域和时间ID的信息来控制编码装置113的各个处理单元，并且相对于图像数据的各个图片对当前图片中包括的部分区域进行编码，以生成包括各个时间分辨率的部分区域的数据的比特流，如图21B所示的比特流310。

参数集生成单元425生成参数集。例如，参数集生成单元425生成包括指示部分区域的信息和指示时间分辨率(时间ID)的信息的参数集。

例如，区域设置单元422可以以图块为单位来设置部分区域，并且逐区域基础时间ID设置单元423可以设置各个部分区域的时间ID。在这种情况下，参数集生成单元425可以生成参数集，其包括指示使用图块的部分区域的信息和指示使用时间ID的各个部分区域的时间分辨率的信息。在图24A中示出在这种情况下语法的示例。此外，在图24B中示出语义。

在该示例的情况下，使用图块的标识信息(region_tileIdx[i])来设置控制时间分辨率的部分区域，并且使用图片参数集中的时间ID(region_temporal_id[i])来设置时间分辨率。注意，可以在序列参数集中设置这些信息项。

如上所述，预处理单元210针对部分区域设置时间ID，并且基于该设置执行编码。因此，编码装置113可以生成包括各个时间分辨率的部分区域的比特流，如图21B所示的比特流310。因此，可以抑制编码效率的降低。

<预处理的流程>

同样在这种情况下，以与第一实施方式(图14)的图像编码处理相同的流程执行图像编码处理。将参照图25的流程图来描述在这种情况下的预处理流程的示例。

当开始预处理时，预处理单元210的逐区域基础帧速率设置单元231在步骤S201中设置关于输入图像的部分区域及其时间分辨率(帧速率)。

在步骤S202中，区域设置单元422在各个图片中设置在步骤S201中设置的部分区域。

在步骤S203中，逐区域基础时间ID设置单元423设置各个图片的层级结构，以实现在步骤S201中设置的帧速率，并且相对于各个部分区域来设置与时间分辨率相对应的时间ID。

在步骤S204中，编码控制单元424基于在步骤S202中设置的部分区域和与在步骤S203中设置的各个部分区域相对应的时间ID来控制参照图14描述的图像编码处理。

在步骤S205中，参数集生成单元425生成参数集。参数集被包括在比特流中，并在图14的步骤S113中输出。

当步骤S205的处理结束时，预处理结束，处理返回到图14。

通过执行如上描述的各个处理，编码装置113可以抑制编码效率的降低。

<3-2.编码>

<每个区域的时间分辨率的分析>

如上所述，解码装置411对由编码装置113生成的比特流进行解码。此时，解码装置411分析指示针对图像数据的每个部分区域的时间分辨率的信息，该信息被包括在对图像数据进行编码的比特流中。因此，解码装置411可以指定当前图片中存在的部分区域并对其进行解码。因此，解码装置411可以正确地对由本实施方式中描述的解码装置113生成的比特流进行解码。也就是说，解码装置411可以抑制编码效率的降低。注意，解码装置411可以补充不存在当前图片的区域。因此，解码装置411可以对整个图片进行编码。

<解码装置的配置>

图26是示出解码装置411的主要配置示例的框图。如图26所示，解码装置411具有与解码装置133(图18)的配置基本相同的配置。然而，解码装置411具有解码区域确定单元441并且具有解码单元442而不是解码单元272。

解码区域确定单元441分析指示针对图像数据的每个部分区域的时间分辨率的信息(例如，每个部分区域的时间ID)，该信息包括在比特流中，并且确定各个图片的解码区域。解码区域确定单元441将确定结果提供给解码单元442。

根据从解码区域确定单元441提供的确定结果(指示针对每个部分区域的时间分辨率的信息的分析结果)，解码单元442对包括在比特流中的图像数据的编码数据中的期望部分区域的编码数据进行解码。例如，解码单元442基于针对每个部分区域的分析的时间分辨率，相对于图像数据的各个图片对当前图片中包括的部分区域的编码数据进行解码。因此，解码装置411可以正确地对由本实施方式中描述的编码装置113生成的比特流进行解码。也就是说，解码装置411可以抑制编码效率的降低。

此外，解码单元442根据解码区域确定单元441的确定结果对存在各个图片的数据的部分区域进行解码，并补充其他区域。因此，解码装置411可以对整个图片进行编码。

<图像解码处理的流程>

将参照图27的流程图来描述由解码装置411执行的图像解码处理的流程的示例。

当开始图像解码处理时，累积缓冲器271在步骤S221中累积提供给解码装置411的比特流。在步骤S222中，解码区域确定单元441掌握每个部分区域的时间ID。在步骤S223中，解码区域确定单元441基于当前图片的时间信息和每个部分区域的时间ID来指定当前图片的作为要解码对象的区域(解码区域)。在步骤S224中，解码单元442对在步骤S223中指定的当前图片的解码区域进行解码。在步骤S225中，解码单元442补充除当前图片的解码区域以外的区域(其他区域)。

类似于图19的步骤S173至S179的各个处理，执行步骤S226至S232的各个处理。当步骤S232的处理结束时，图像解码处理结束。

通过执行如上所描述的图像解码处理，解码装置411可以对由编码装置113生成的比特流进行解码。因此，解码装置411可以抑制编码效率的降低，并且抑制用于解码的负荷的增加。

<3-3.其他>

<参考范围>

在第二实施方式的情况下，部分区域可以不是如上所述的图块集。因此，可以参考图片内的其他部分区域，如图28A所示。例如，当对部分区域302内的块452进行编码和解码时，可以参考部分区域301内的块451，以生成预测图像。此外，当参考其他帧时，可以参考与其自身的部分区域不同的部分区域，如图28B所示。例如，当参考帧311和帧313以对帧312的块进行编码和解码时，可以参考任意部分区域的块，只要该部分区域存在于帧中。因此，与如第一实施方式中所描述的使用HEVC的情况相比，可以进一步减少预测约束，可以进一步提高预测精度，并且可以进一步提高编码效率。

<补充方法>

由解码装置411针对除当前图片中包括的部分区域以外的区域执行的补充方法是任意的。例如，当如图29A所示补充连续帧461至463中的作为当前图片的帧462的区域(区域30p)时，可以如图29B所示使用另一帧的图像的再现。用作再现的源的帧是任意的。例如，与帧462相邻的帧(例如，帧461或帧462)或帧462附近的帧可以用作再现的源。

此外，例如，可以使用与当前图片不同的多个其他帧的图像的平均值来补充该区域，如图29C所示。用于计算平均值的帧是任意的。例如，可以使用帧462的前侧和后侧的帧(帧461和帧463)，或者可以使用除这些帧以外的帧。

另外，如例如图29D所示，可以使用例如运动流等生成新图像，并且将该新图像用于补充该区域。

此外，补充方法可以是可变的。例如，可以使用从预先准备的多个方法中选择的方法。例如，可以采用使用与当前图片不同的另一图片的图像的再现的任何方法、使用与当前图片不同的多个其他图片的图像的平均值的方法以及如上所述的使用新生成的图像的方法来补充该区域。

另外，例如，可以从编码侧指定补充方法。也就是说，可以从编码侧向解码侧提供与补充方法有关的信息(例如，用于指定补充方法的信息)。例如，编码装置113可以使与补充方法有关的信息被包括在比特流中。然后，解码装置411可以从比特流中提取与补充方法有关的信息，并使用该信息来补充该区域。

因此，可以选择更合适的补充方法，并且可以进一步抑制对象图像质量的降低。

<指示时间分辨率的信息>

注意，在第二实施方式中描述了指示部分区域的时间分辨率的信息被用作指示时间分辨率的信息。然而，可以使用针对每个部分区域设置的级别信息来代替指示部分区域的时间分辨率的信息，如第一实施方式的情况。此外，可以使用指示用于解码部分区域所需的图片的信息。

<比特流转换>

此外，在第二实施方式中描述了解码装置411对由编码装置113生成的比特流进行解码。然而，与第一实施方式的情况类似，比特流转换装置可以从由编码装置113生成的比特流中提取期望的部分区域的数据，并且生成部分区域的比特流。通过在如上所述的转换比特流之后执行解码，与第一实施方式的情况类似，比特流转换装置可以抑制用于解码的负荷的增加。

<解码>

相反，在第一实施方式中，解码装置133可以如第二实施方式的情况对由编码装置113生成的比特流解码。在第一实施方式的情况下，由编码装置113生成的比特流包括所有帧的所有部分区域的数据。因此，解码装置133可以以任意帧速率对任意部分区域进行解码。例如，解码装置133还可以对与时间分辨率相对应的图片的部分区域的数据进行解码。

<4.第三实施方式>

<每个部分区域的比特流>

在第一实施方式和第二实施方式中描述了编码装置113生成一个比特流。此外，可以针对控制时间分辨率的每个部分区域生成比特流。例如，编码装置113可以针对要编码的图像数据的每个部分区域设置时间分辨率，并且针对每个部分区域生成设置的时间分辨率的比特流。也就是说，各个部分区域的数据可以存储在彼此不同的比特流中并被发送。

图30示出在这种情况下的比特流的配置示例。如图30所示，在这种情况下，生成比特流510、比特流520、比特流530和比特流540的四个比特流。比特流510是具有30p的帧速率的部分区域的比特流，并且比特流510的帧被缩小到原始帧的四分之一，如帧511和帧512中所示。比特流520是具有60p的帧速率的部分区域的比特流，并且比特流520的帧被缩小到原始帧的一半，如帧521至帧523中所示。比特流530是具有90p的帧速率的部分区域的比特流，并且比特流530的帧被缩小到原始帧的四分之三，如帧531至帧534中所示。比特流540是具有120p的帧速率的部分区域的比特流，并且具有原始帧，如帧541至帧545中所示。

因此，编码装置113可以利用部分区域的时间分辨率生成各个部分区域的比特流。可以使用诸如例如MPEG-DASH(运动图像专家组阶段——HTTP上的动态自适应流传输)的标准来发送(提供)这样的比特流。例如，在MPEG-DASH的情况下，各个比特流之间(部分区域之间)的位置关系由MPD(媒体渲染描述)管理。因此，可以仅提供再现所需的比特流，并且可以抑制用于传输数据的负荷的增加。

注意，如第一实施方式和第二实施方式的情况，编码装置113可以设置这样的部分区域并且设置所设置的各个部分区域的时间分辨率，以针对所设置的部分区域中的每一个生成比特流。此外，部分区域可以是可单独解码的图块集。此外，如第一实施方式和第二实施方式的情况，作为要编码和解码的对象的数据是任意的。例如，显现全方位图像的平面图像或显现六向图像的平面图像可以被设置为要编码的对象。另外，关于部分区域的时间分辨率的设置与第一实施方式和第二实施方式的设置相同。因此，可以获得与第一实施方式和第二实施方式的效果相同的效果。

<5.其他>

<要编码的对象>

以上描述涉及对VR运动图像进行编码的情况，但是作为要编码的对象的图像可以是任何对象。本技术适用于任意图像的编码、解码、比特流转换等。例如，在以上描述的VR运动图像的情况下，将由多个摄像装置捕获的多个运动图像并排布置在平面上的平面图像被设置为要编码的对象。然而，可以将由单个摄像装置捕获的单个运动图像设置为要编码的对象。例如，本技术可以应用于监测摄像装置系统等。在这种情况下，存在要监测的对象(诸如可疑人物)的明显区域(具有高重要性的区域)的时间分辨率被保持高的情况下，可以减少除了明显区域以外具有低重要性的区域的时间分辨率。

注意，控制时间分辨率的部分区域(的位置、形状、大小等)及其时间分辨率可以在时间方向上是可变的。也就是说，部分区域的位置、形状、大小等及其时间分辨率可以随时间改变。例如，当本技术应用于监测摄像装置系统等时，明显区域可以随着要监测的对象的移动而移动和变形。此外，在以上描述的VR运动图像的情况下，各个区域的时间分辨率可以随着用户的视线方向或视点位置的改变而改变。

当如上所述改变区域、时间分辨率等时，可以在新的序列参数集、SEI等中将序列划分为新设置的区域、时间分辨率等。然而，可以在图片参数集中更新区域、时间分辨率等。

此外，以上描述涉及将捕获的图像(从捕获的图像生成的平面图像)设置为要编码的对象的情况。然而，设置为要编码的对象的图像是任意的。例如，捕获的图像以外的图像诸如CG(计算机图形)和动画图像可以是要编码的对象。

<控制>

注意，可以控制以上述的本技术的应用。例如，可以基于用户的指令等来控制关于部分区域的时间分辨率的设置。此外，仅当满足规定条件时，例如当目标比特率低时，可以针对部分区域设置时间分辨率。

此外，可以从编码侧向解码侧发送与本技术的应用有关的控制信息。控制信息可以是任何信息，只要控制信息与本技术的应用有关。例如，可以从编码侧向解码侧发送用于控制关于部分区域的时间分辨率的设置的许可(或禁止)的信息(许可控制信息)、用于控制关于部分区域的时间分辨率的设置的执行的信息(执行控制信息)、用于限制参数值诸如时间分辨率的信息(参数限制信息)、用于设置执行或确定的条件的信息等。

<编码和解码系统>

例如，本技术可应用于对包括多个视点(视图)的图像的多视点图像进行编码和解码的多视点图像编码和解码系统以及对构成多个层(分层)的层级图像进行编码和解码以具有用于规定参数的可缩放功能的层级图像编码(可缩放编码)和解码系统。

<本技术的应用领域>

本技术适用于例如在交通、医疗、安全、农业、畜牧业、采矿业、化妆品、工厂、家用电器、天气、自然监测的任意领域中使用的系统、装置、处理单元等，只要该系统、装置、处理单元等处理图像。

例如，本技术也适用于用于观看的系统或装置。此外，例如，本技术还适用于用于交通管理的系统或装置。另外，例如，本技术也适用于安全性的系统或装置。此外，例如，本技术也适用于体育的系统或装置。另外，例如，本技术也适用于农业的系统或装置。此外，例如，本技术也适用于畜牧业的系统或装置。此外，本技术还适用于例如用于监测自然状态诸如火山、森林和海洋的系统或装置。此外，本技术还适用于例如观测天气、温度、湿度、风速、日照小时数等的气象观测系统或气象观测装置。此外，本技术还适用于例如观察野生动物例如鸟类、鱼类、爬行动物、两栖动物、哺乳动物、昆虫以及植物的生态学的系统、装置等。

<计算机>

上述一系列处理不仅可以通过硬件执行，还可以通过软件执行。当一系列处理通过软件来执行时，构成软件的程序被安装在计算机中。这里，计算机的示例包括并入专用硬件中的计算机、能够利用安装各种程序来执行各种功能的通用个人计算机等。

图31是示出利用程序执行上述的一系列处理的计算机的硬件配置示例的框图。

在图31中示出的计算机800中，经由总线804将CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803彼此连接。

输入/输出接口810也连接至总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。

输入单元811由例如键盘、鼠标、麦克风、触摸板、输入端子等组成。输出单元812例如由显示器、扬声器、输出端子等组成。存储单元813由例如硬盘、RAM盘、非易失性存储器等组成。通信单元814由例如网络接口组成。驱动器815驱动可移除介质821，例如磁盘、光盘、磁光盘以及半导体存储器。

在如上所述配置的计算机中，例如，当CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中并执行加载的程序时，执行上述系列处理。在RAM 803中，适当地存储当CPU801执行各种处理时所需的数据等。

由计算机(CPU 801)执行的程序可以记录在例如用作要应用的封装介质的可移除介质821上。在这种情况下，可以通过将可移除介质821附接至驱动器815经由输入/输出接口810将程序安装在存储单元813中。此外，还可以经由有线传输介质或无线传输介质诸如局域网、因特网和数字卫星广播来提供程序。在这种情况下，可以由通信单元814接收程序，并且将程序安装在存储单元813中。此外，可以预先将程序安装在ROM802或存储单元813中。

注意，以上描述的一系列处理中的一些可以由硬件执行，而其他处理可以由软件执行。

<本技术的应用>

本技术适用于例如各种电子设备，例如用于卫星广播分发的发送器和接收器、有线广播例如有线电视和因特网，经由蜂窝通信对终端的分发等、在介质诸如光盘、磁盘和闪存上记录图像的记录装置以及从存储介质再现图像的再现装置。

例如，本技术也适用于由多个装置构成的网络系统。图32示出了应用本技术的网络系统的示例的示意性配置示例。

图32中所示的网络系统1600是设备经由网络给出和接收与图像(运动图像)有关的信息的系统。网络系统1600的云服务器1601是向可通信地连接至云服务器1601本身的终端诸如计算机1611、AV(视听)装置1612、便携式信息处理终端1613和IoT(物联网)装置1614提供与图像(运动图像)有关的服务的系统。例如，云服务器1601向终端提供图像(运动图像)的内容提供服务，诸如所谓的运动图像分发(按需或实时分发)。此外，例如，云服务器1601提供备份服务，其中，从终端接收图像(运动图像)内容并进行管理。此外，例如，云服务器1601提供调解终端之间的图像(运动图像)内容的给出和接收的服务。

云服务器1601的物理配置是任意的。例如，云服务器1601可以包括各种服务器(例如存储和管理运动图像的服务器、向终端分发移动图像的服务器、从终端获取运动图像的服务器以及管理用户(终端)或收费的服务器)以及任意网络(例如因特网和LAN)。

计算机1611由例如信息处理装置例如个人计算机、服务器或工作站构成。AV设备1612由图像处理装置例如电视接收器、硬盘记录器、视频游戏机和摄像装置构成。便携式信息处理终端1613由例如便携式信息处理装置(例如笔记本个人电脑、平板终端、便携式电话和智能电话)构成。IoT装置1614由例如任意对象(诸如机器、家用电器、家具、任何其他物品、IC标签和执行与图像有关的处理的卡型装置)构成。这些终端中的每一个具有通信功能，被连接至云服务器1601(建立会话)，并且能够向云服务器1601给出信息并且从云服务器1601接收信息(即，能够与其执行通信)。此外，各个终端能够彼此执行通信。终端之间的通信可以经由云服务器1601执行，或者可以在没有云服务器1601的情况下执行。

在如上所述的网络系统1600中，本技术可以应用于在终端之间或终端与云服务器1601之间给出和接收运动图像的编码数据的情况。

例如，当云服务器1601提供VR运动图像然后终端获取并再现VR运动图像时，云服务器1601可以向终端提供通过如在以上各个实施方式中描述的对针对每个部分区域设置时间分辨率的图像数据进行编码而获得的比特流作为VR运动图像。因此，由于可以使用每个部分区域的时间分辨率来控制信息量，因此可以抑制编码效率的降低。因此，可以减少保留数据量，或者可以在提供VR运动图像的云服务器1601中抑制编码和传输的负荷(处理量、缓冲量、处理时间等)的增加。此外，可以抑制传输介质(诸如网络)上的负荷(占用率、占用时间等)的增加。另外，在接收VR运动图像的终端中可以抑制接收或解码时的负荷(处理量、缓冲量、处理时间等)的增加。

<补充>

注意，可以以任何形式发送或记录与编码数据(比特流)相关的各种信息(诸如元数据)，只要建立各种信息与编码数据的关联。这里，术语“关联”表示例如当处理一个数据时可以使用(链接)其他数据的情况。也就是说，彼此相关联的数据项可以合并为一个数据或作为单独的数据项处理。例如，可以在与编码数据(图像)的传输路径不同的传输路径上传输与编码数据(图像)相关联信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与编码数据(图像)的记录介质不同的记录介质上(或者可以记录在同一记录介质的另一记录区域上)。注意，可以关于数据的一部分执行“关联”，而不是针对整个数据执行“关联”。例如，图像和与该图像对应的信息可以以任意单位(例如以多个帧、一个帧或帧的一部分)彼此关联。

此外，在本说明书中，诸如“合成”、“乘法”、“添加”、“集成”、“包含”、“存储”、“结合”、“放置”和“插入”的术语表示例如将多种材料合而为一，例如将编码数据和元数据合并为一个数据，并且表示上述的“关联”的一种方法。

此外，本技术的实施方式不限于上述的实施方式，而是可以在不脱离本技术的精神的情况下以各种方式进行修改。

此外，例如，本技术还可以作为构成装置或系统的任何配置来执行，例如，用作系统LSI(大规模集成)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、将其他功能添加到单元的集合(即，装置的一些配置)等。

注意，在本说明书中的系统表示多个组分(例如，装置和模块(部件))的集合体，并且所有的组分可以不必被包括在同一壳体中。因此，容纳在单独的壳体中并经由网络彼此连接的多个装置和多个模块容纳在一个壳体中的一个装置都是系统。

此外，例如，被描述为一个装置(或处理单元)的配置可以被划分且被配置为多个装置(或处理单元)。相反，上述作为多个装置(或处理单元)的配置可以共同配置为一个装置(处理单元)。此外，当然，除了上述配置以外的配置可以添加到各个装置(或各个处理单元)的配置中。另外，一个装置(一个处理单元)的一些配置可以被包括在其他装置(或其他处理单元)的配置中，只要配置或操作与整个系统基本相同。

此外，例如，本技术可以采用云计算的配置，其中，经由网络在多个装置之间共享和协作处理一个功能。

此外，例如，可以在任意装置中执行以上描述的程序。在这种情况下，该装置可以仅具有必要的功能(功能块等)，并获得必要的信息。

此外，例如，上述流程图中的各个步骤不仅可以由一个装置执行，而且可以由多个装置以共享方式执行。另外，当一个步骤包括多个处理时，一个步骤中包括的多个处理不仅可以由一个装置执行，而且可以由多个装置以共享方式执行。换句话说，包括在一个步骤中的多个处理可以作为多个步骤的处理而执行。相反，被描述为多个步骤的处理可以作为一个步骤来共同执行。

注意，由计算机执行的程序可以是如下程序，其中，描述程序的步骤的处理按照本说明书中描述的顺序以时间顺序执行，或者可以是并行地或在必要时(例如被调用时)单独执行的程序。也就是说，除非出现任何矛盾，否则可以按与上述顺序不同的顺序来执行各个步骤的处理。另外，描述程序的步骤的处理可以与其他程序的处理并行执行，或者可以与其他程序的处理组合执行。

注意，除非出现任何矛盾，否则在本说明书中描述的本技术可以分别执行多次。当然，可以彼此组合地执行多种任意的当前技术。例如，任何实施方式中描述的本技术的部分或全部可以与在任何其他实施方式中描述的本技术的部分或全部组合执行。此外，上述任意目前技术中的一些或全部可以与上面未描述的其他技术组合执行。

注意，本技术还可以采用以下配置。

(1)一种图像处理装置，包括：

时间分辨率设置单元，其针对要编码的图像数据的部分区域中的每一个来设置时间分辨率；以及

编码单元，其对所述图像数据进行编码以生成的比特流，其包括指示由所述时间分辨率设置单元设置的所述部分区域中的每一个的所述时间分辨率的信息。

(2)根据(1)所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

(3)根据(1)或(2)所述的图像处理装置，其中，

所述比特流包括与所述部分区域有关的信息。

(4)根据(3)所述的图像处理装置，其中，

与所述部分区域有关的信息是MCTS SEI(运动约束图块集补充增强信息)。

(5)根据(1)至(4)中任一项所述的图像处理装置，还包括：

部分区域设置单元，其设置所述部分区域，其中，

所述时间分辨率设置单元被配置成设置由所述部分区域设置单元设置的各个部分区域的时间分辨率。

(6)根据(1)至(5)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述图像数据的图片中的每一个设置的时间ID。

(7)根据(1)至(6)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的级别信息。

(8)根据(1)至(6)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括指示当对所述部分区域进行解码时所需的图片的信息。

(9)根据(1)至(8)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，其中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。

(10)根据(9)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率较高。

(11)根据(10)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的垂直方向上的中心的位置处的部分区域处的时间分辨率较高。

(12)根据(11)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在显现所述全方位图像的平面图像的上端附近的部分区域处的时间分辨率高于在所述平面图像的下端附近的部分区域处的时间分辨率。

(13)根据(1)至(8)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，其中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

(14)根据(13)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时前侧的平面图像的时间分辨率高于在其他方向的平面图像的时间分辨率。

(15)根据(14)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时左侧、右侧和后侧的平面图像的时间分辨率高于当从所述视点看时顶侧和底侧的平面图像的时间分辨率。

(16)根据(15)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述左侧和所述右侧的平面图像的时间分辨率高于当从所述视点看时所述后侧的平面图像的时间分辨率。

(17)根据(16)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述顶侧的平面图像的时间分辨率高于当从所述视点看时所述底侧的平面图像的时间分辨率。

(18)一种图像处理方法，包括：

针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

对所述图像数据进行编码以生成比特流，其包括指示所设置的部分区域中的每一个的所述时间分辨率的信息。

(21)一种图像处理装置，包括：

分析单元，其分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。

(22)根据(21)所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

(23)根据(21)或(22)所述的图像处理装置，其中，

所述比特流包括与所述部分区域有关的信息。

(24)根据(23)所述的图像处理装置，其中，

与所述部分区域有关的信息是MCTS SEI(运动约束图块集补充增强信息)。

(25)根据(21)至(24)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述图像数据的图片中的每一个设置的时间ID。

(26)根据(21)至(25)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的级别信息。

(27)根据(21)至(25)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括指示当对所述部分区域进行解码时所需的图片的信息。

(28)根据(21)至(27)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，其中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。

(29)根据(28)所述的图像处理装置，其中，

在所述图像数据中，在较接近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率被设置为较高。

(30)根据(29)所述的图像处理装置，其中，

在所述图像数据中，在较接近显现所述全方位图像的平面图像的垂直方向上的中心的位置处的部分区域处的时间分辨率被设置为较高。

(31)根据(30)所述的图像处理装置，其中，

在所述图像数据中，在显现所述全方位图像的平面图像的上端附近的部分区域处的时间分辨率被设置为高于在所述平面图像的下端附近的部分区域处的时间分辨率。

(32)根据(21)至(27)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，其中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

(33)根据(32)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时前侧的平面图像的时间分辨率被设置为高于在其他方向的平面图像的时间分辨率。

(34)根据(33)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时左侧、右侧和后侧的平面图像的时间分辨率被设置为高于当从所述视点看时顶侧和底侧的平面图像的时间分辨率。

(35)根据(34)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时所述左侧和所述右侧的平面图像的时间分辨率被设置为高于当从所述视点看时所述后侧的平面图像的时间分辨率。

(36)根据(35)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时所述顶侧的平面图像的时间分辨率被设置为高于当从所述视点看时所述底侧的平面图像的时间分辨率。

(37)根据(21)至(36)中任一项所述的图像处理装置，还包括：

数据提取单元，其根据所述分析单元的分析结果从所述比特流中提取期望的部分区域的数据；以及

比特流生成单元，其生成包括由所述数据提取单元提取的所述部分区域的数据的比特流。

(38)根据(37)所述的图像处理装置，其中，

所述数据提取单元从与所述时间分辨率相对应的图片中提取所述部分区域的数据。

(39)根据(21)至(36)中任一项所述的图像处理装置，还包括：

解码单元，其根据所述分析单元的分析结果从所述比特流中解码期望的部分区域的数据。

(40)根据(39)所述的图像处理装置，其中，

所述解码单元对与所述时间分辨率对应的图片的部分区域的数据进行解码。

(41)一种图像处理方法，包括：

分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。

(51)一种图像处理装置，包括：

时间分辨率设置单元，其针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

编码单元，其对所述图像数据进行编码以生成比特流，比特流包括指示由所述时间分辨率设置单元设置的部分区域中的每一个的时间分辨率的信息。

(52)根据(51)所述的图像处理装置，还包括：

部分区域设置单元，其设置所述部分区域，其中，

所述时间分辨率设置单元被配置成设置由所述部分区域设置单元设置的各个部分区域的时间分辨率。

(53)根据(51)或(52)所述的图像处理装置，其中，

所述比特流包括与所述部分区域有关的信息。

(54)根据(51)至(53)中任一项所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

(55)根据(51)至(54)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的时间ID。

(56)根据(51)至(54)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的级别信息。

(57)根据(51)至(54)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括指示当对所述部分区域进行解码时所需的图片的信息。

(58)根据(51)至(57)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在所述平面图像中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。

(59)根据(58)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率较高。

(60)根据(59)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的垂直方向上的中心的位置处的部分区域处的时间分辨率较高。

(61)根据(60)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在显现所述全方位图像的平面图像的上端附近的部分区域处的时间分辨率高于在所述平面图像的下端附近的部分区域处的时间分辨率。

(62)根据(51)至(57)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在所述平面图像中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

(63)根据(62)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时前侧的平面图像的时间分辨率高于在其他方向的平面图像的时间分辨率。

(64)根据(63)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时左侧、右侧和后侧的平面图像的时间分辨率高于当从所述视点看时顶侧和底侧的平面图像的时间分辨率。

(65)根据(64)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述左侧和所述右侧的平面图像的时间分辨率高于当从所述视点看时所述后侧的平面图像的时间分辨率。

(66)根据(65)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述顶侧的平面图像的时间分辨率高于当从所述视点看时所述底侧的平面图像的时间分辨率。

(67)根据(51)至(66)中任一项所述的图像处理装置，其中，

所述编码单元基于由所述时间分辨率设置单元设置的部分区域中的每一个的时间分辨率，相对于所述图像数据的各个图片对包括在当前图片中的部分区域进行编码。

(68)根据(67)所述的图像处理装置，其中，

所述比特流包括与用于在所述解码期间补充除所述图片的部分区域以外的区域的方法有关的信息。

(69)一种图像处理方法，包括：

针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

对所述图像数据进行编码以生成比特流，其包括指示所设置的部分区域中的每一个的时间分辨率的信息。

(71)一种图像处理装置，包括：

分析单元，其分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。

(72)根据(71)所述的图像处理装置，其中，

所述比特流包括与所述部分区域有关的信息。

(73)根据(71)或(72)所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

(74)根据(71)至(73)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的时间ID。

(75)根据(71)至(73)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的级别信息。

(76)根据(71)至(73)中任一项所述的图像处理装置，其中，

指示所述时间分辨率的信息包括指示当对所述部分区域进行解码时所需的图片的信息。

(77)根据(71)至(76)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在平面图像中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。

(78)根据(77)所述的图像处理装置，其中，

在所述图像数据中，在较接近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率被设置为较高。

(79)根据(78)所述的图像处理装置，其中，

在所述图像数据中，在较接近显现所述全方位图像的平面图像的垂直方向上的中心的位置处的部分区域处的时间分辨率被设置为较高。

(80)根据(79)所述的图像处理装置，其中，

在所述图像数据中，在显现所述全方位图像的平面图像的上端附近的部分区域处的时间分辨率被设置为高于在所述平面图像的下端附近的部分区域处的时间分辨率。

(81)根据(71)至(76)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在平面图像中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

(82)根据(81)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时前侧的平面图像的时间分辨率被设置为高于在其他方向的平面图像的时间分辨率。

(83)根据(82)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时左侧、右侧和后侧的平面图像的时间分辨率被设置为高于当从所述视点看时顶侧和底侧的平面图像的时间分辨率。

(84)根据(83)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时所述左侧和所述右侧的平面图像的时间分辨率被设置为高于当从所述视点看时所述后侧的平面图像的时间分辨率。

(85)根据(84)所述的图像处理装置，其中，

在所述图像数据中，当在所述六个方向中从所述视点看时所述顶侧的平面图像的时间分辨率被设置为高于当从所述视点看时所述底侧的平面图像的时间分辨率。

(86)根据(71)至(85)中任一项所述的图像处理装置，还包括：

解码单元，其根据所述分析单元的分析结果对包括在所述比特流中的图像数据的编码数据中的期望部分区域的编码数据进行解码。

(87)根据(86)所述的图像处理装置，其中，

所述解码单元基于由所述分析单元分析的部分区域中的每一个的时间分辨率相对于图像数据的各个图片对当前图片中包括的部分区域的编码数据进行解码。

(88)根据(87)所述的图像处理装置，其中，

所述解码单元补充除当前图片的所述部分区域以外的区域。

(89)根据(88)所述的图像处理装置，其中，

所述解码单元使用与所述当前图片不同的另一图片的图像的再现、与所述当前图片不同的多个其他图片的图像的平均值以及新生成的图像来补充所述当前图片的部分区域以外的区域。

(90)根据(88)所述的图像处理装置，其中，

所述解码单元使用与用于补充所述当前图片的除部分区域以外的区域的方法有关的信息相对应的方法来补充所述当前图片的除所述部分区域以外的区域，所述信息被包括在所述比特流中。

(91)根据(71)至(85)中任一项所述的图像处理装置，还包括：

数据提取单元，其根据所述分析单元的分析结果从所述比特流中提取期望的部分区域的数据；以及

比特流生成单元，其生成包括由所述数据提取单元提取的部分区域的数据的比特流。

(92)一种图像处理方法，包括：

分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。

(101)一种图像处理装置，包括：

时间分辨率设置单元，其针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

编码单元，其针对所述部分区域中的每一个生成由所述时间分辨率设置单元设置的时间分辨率的比特流。

(102)根据(101)所述的图像处理装置，还包括：

部分区域设置单元，其设置所述部分区域，其中，

所述时间分辨率设置单元被配置成设置由所述部分区域设置单元设置的各个部分区域的时间分辨率，以及

所述编码单元被配置成针对由所述部分区域设置单元设置的部分区域中的每一个生成所述比特流。

(103)根据(101)或(102)所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

(104)根据(101)至(103)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在平面图像中，在单个平面上显现围绕视点以球形形状渲染的全方位图像。

(105)根据(104)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率较高。

(106)根据(105)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的垂直方向上的中心的位置处的部分区域处的时间分辨率较高。

(107)根据(106)所述的图像处理装置，其中，

所述时间分辨率设置单元使得在显现所述全方位图像的平面图像的上端附近的部分区域处的时间分辨率高于在所述平面图像的下端附近的部分区域处的时间分辨率。

(108)根据(101)至(103)中任一项所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在平面图像中，在单个平面上显现围绕视点在彼此正交的六个方向上的平面图像。

(109)根据(108)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时前侧的平面图像的时间分辨率高于在其他方向的平面图像的时间分辨率。

(110)根据(109)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时左侧、右侧和后侧的平面图像的时间分辨率高于当从所述视点看时顶侧和底侧的平面图像的时间分辨率。

(111)根据(110)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述左侧和所述右侧的平面图像的时间分辨率高于当从所述视点看时所述后侧的平面图像的时间分辨率。

(112)根据(111)所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点看时所述顶侧的平面图像的时间分辨率高于当从所述视点看时所述底侧的平面图像的时间分辨率。

(113)一种图像处理方法，包括：

针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

针对所述部分区域中的每一个生成所设置的时间分辨率的比特流。

[参考附图标记列表]

100 图像处理系统

111 成像装置

112 图像转换装置

113 编码装置

114 发送装置

120 网络

131 接收装置

132 比特流转换装置

133 解码装置

134 图像转换装置

135 显示装置

210 预处理单元

231 逐区域基础帧速率设置单元

232 图块集设置单元

233 时间ID设置单元

234 编码控制单元

235 级别信息设置单元

236 MCTS SEI设置单元

237 参数集生成单元

251 控制单元

252 数据提取单元

253 元数据更新单元

254 比特流生成单元

272 解码单元

400 图像处理系统

411 解码装置

421 逐区域基础帧速率设置单元

422 区域设置单元

423 逐区域基础时间ID设置单元

424 编码控制单元

425 参数集生成单元

441 解码区域确定单元

442 解码单元

510 比特流

520 比特流

530 比特流

540 比特流

800 计算机

1600 网络系统

1601 云服务器

1611 计算机

1612 AV设备

1613 便携式信息处理终端

1614 IoT装置

Claims (20)

1.一种图像处理装置，包括：

时间分辨率设置单元，其针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

编码单元，其对所述图像数据进行编码以生成比特流，所述比特流包括指示由所述时间分辨率设置单元设置的所述部分区域中的每一个的时间分辨率的信息。

2.根据权利要求1所述的图像处理装置，其中，

所述部分区域是能够单独解码的图块集。

3.根据权利要求1所述的图像处理装置，其中，

所述比特流包括与所述部分区域有关的信息。

4.根据权利要求1所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述图像数据的图片中的每一个设置的时间ID和针对所述部分区域中的每一个设置的级别信息。

5.根据权利要求1所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在所述平面图像中，围绕视点以球形形状渲染的全方位图像被显现在单个平面上。

6.根据权利要求5所述的图像处理装置，其中，

所述时间分辨率设置单元使得在较靠近显现所述全方位图像的平面图像的中心的位置处的部分区域处的时间分辨率较高。

7.根据权利要求1所述的图像处理装置，其中，

所述图像数据是平面图像的数据，在所述平面图像中，围绕视点在彼此正交的六个方向上的平面图像被显现在单个平面上。

8.根据权利要求7所述的图像处理装置，其中，

所述时间分辨率设置单元使得当在所述六个方向中从所述视点观看时前侧的平面图像的时间分辨率高于其他方向的平面图像的时间分辨率。

9.根据权利要求1所述的图像处理装置，还包括：

部分区域设置单元，其设置所述部分区域，其中，

所述时间分辨率设置单元被配置成设置由所述部分区域设置单元设置的各个部分区域的时间分辨率。

10.根据权利要求1所述的图像处理装置，其中，

指示所述时间分辨率的信息包括针对所述部分区域中的每一个设置的时间ID。

11.根据权利要求1所述的图像处理装置，其中，

所述编码单元基于由所述时间分辨率设置单元设置的所述部分区域中的每一个的时间分辨率相对于所述图像数据的各个图片对包括在当前图片中的部分区域进行编码。

12.根据权利要求11所述的图像处理装置，其中，

所述比特流包括与用于在所述解码期间补充除所述图片的部分区域以外的区域的方法有关的信息。

13.根据权利要求1所述的图像处理装置，其中，

所述编码单元针对所述部分区域中的每一个生成由所述时间分辨率设置单元设置的时间分辨率的比特流。

14.一种图像处理方法，包括：

针对要编码的图像数据的部分区域中的每一个设置时间分辨率；以及

对所述图像数据进行编码以生成比特流，所述比特流包括指示所设置的部分区域中的每一个的时间分辨率的信息。

15.一种图像处理装置，包括：

分析单元，其分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。

16.根据权利要求15所述的图像处理装置，还包括：

数据提取单元，其根据所述分析单元的分析结果从所述比特流中提取期望的部分区域的数据；以及

比特流生成单元，其生成包括由所述数据提取单元提取的部分区域的数据的比特流。

17.根据权利要求15所述的图像处理装置，还包括：

解码单元，其根据所述分析单元的分析结果对包括在所述比特流中的所述图像数据的编码数据中的期望的部分区域的编码数据进行解码。

18.根据权利要求17所述的图像处理装置，其中，

所述解码单元基于由所述分析单元分析的所述部分区域中的每一个的时间分辨率相对于图像数据的各个图片对当前图片中包括的部分区域的编码数据进行解码。

19.根据权利要求18所述的图像处理装置，其中，

所述解码单元使用与所述当前图片不同的另一图片的图像的再现、与所述当前图片不同的多个其他图片的图像的平均值以及新生成的图像来补充所述当前图片的部分区域以外的区域。

20.一种图像处理方法，包括：

分析指示图像数据的部分区域中的每一个的时间分辨率的信息，所述信息被包括在其中对所述图像数据进行编码的比特流中。