CN110636292B - 图像编码方法以及图像解码方法 - Google Patents

Abstract

本发明提供图像编码方法以及图像解码方法。图像编码方法中，按属于多个层级的每个层级的每个图片，不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码，其中决定运动图像中包含的多个图片各自的解码时刻，以使不属于最高层级的多个下层图片各自的解码时刻成为等间隔，并且多个下层图片各自在将被编码的运动图像中包含的多个图片解码的情况下被解码的定时与在仅将多个下层图片解码的情况下被解码的定时相同；按照与所决定的解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；生成编码流，该编码流包含被编码的多个图片和对多个图片分别决定的解码时刻；多个图片的显示顺序与多个图片的解码顺序不同。

Description

图像编码方法以及图像解码方法

本申请是申请日为2014年10月16日、申请号为201480035583.X、发明名称为“图像编码方法、图像解码方法、图像编码装置及图像解码装置”的发明专利申请的分案。

技术领域

本发明涉及将图像进行层级编码的图像编码方法及将被层级编码的图像解码的图像解码方法等。

背景技术

以往，提出了将图像进行层级编码的图像编码方法、以及将该通过层级编码进行编码而得到的图像解码的图像解码方法(例如参照非专利文献1)。

现有技术文献

非专利文献

非专利文献1：Joint Collaborative Team onVideo Coding(JCT－VC)of ITU－TSG16 WP3 and ISO/IEC JTC1/SC29/WG11 12th Meeting：Geneva，CH，14－23Jan.2013JCTVC－L1003_v34.doc，High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS&Last Call)http：//phenix.it－sudparis.eu/jct/doc_end_user/documents/12_Geneva/wg11/JCTVC－L1003－v34.zip

发明内容

有关本发明的一技术方案的图像编码方法，按属于多个层级中的每一个层级的每个图片，不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码，其特征在于，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的不属于上述多个层级中的最高层级的多个下层图片各自的解码时刻成为等间隔，并且上述多个下层图片各自在将被编码的上述运动图像中包含的多个图片解码的情况下被解码的定时与在仅将上述多个图片中的上述多个下层图片解码的情况下被解码的定时相同；按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻；上述多个图片的显示顺序与上述多个图片的解码顺序不同。

另外，这些包括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。

本发明的图像编码方法及图像解码方法能够抑制处理负荷。

附图说明

图1A是表示用于实现基于HEVC的时间可伸缩性的一例的图。

图1B是表示用于实现基于HEVC的时间可伸缩性的另一例的图。

图2是用于说明不能将120fps的编码流解码的课题的图。

图3是用于说明实施方式1的图像编码装置的图。

图4是表示实施方式1的使用3个层级将运动图像编码的一例的图。

图5是表示实施方式1的使用4个层级将运动图像编码的一例的图。

图6是表示实施方式1的使用3个层级将运动图像编码的另一例的图。

图7是用于说明实施方式1的图像解码装置的图。

图8是表示有关实施方式1的变形例1的、将编码流以120fps再现时的各图片的解码顺序及显示顺序和DTS及PTS的图。

图9是表示有关实施方式1的变形例1的图像解码装置的结构的框图。

图10是表示有关实施方式1的变形例1的图像解码装置将全部层级的图片解码时的动作的一例的流程图。

图11是表示有关实施方式1的变形例2的将DTS变更的一例的图。

图12是用于说明有关实施方式1的变形例3的在开放末端随机访问单位中被解码的图片的图。

图13是表示有关实施方式1的变形例3的图像解码装置基于再现控制用的辅助信息将运动图像解码的动作的一例的流程图。

图14是表示有关实施方式1的变形例4的DTS或PTS的变换的一例的图。

图15A是有关本发明的一形态的图像编码装置的框图。

图15B是表示有关本发明的一形态的图像编码方法的流程图。

图15C是有关本发明的一形态的图像解码装置的框图。

图15D是表示有关本发明的一形态的图像解码方法的流程图。

图16是实现内容分发服务的内容供给系统的整体结构图。

图17是数字广播用系统的整体结构图。

图18是表示电视机的结构例的框图。

图19是表示对作为光盘的记录介质进行信息的读写的信息再现/记录部的结构例的框图。

图20是表示作为光盘的记录介质的构造例的图。

图21A是表示便携电话的一例的图。

图21B是表示便携电话的结构例的框图。

图22是表示复用数据的结构的图。

图23是示意地表示各流在复用数据中怎样被复用的图。

图24是更详细地表示在PES包序列中视频流怎样被存放的图。

图25是表示复用数据中的TS包和源包的构造的图。

图26是表示PMT的数据结构的图。

图27是表示复用数据信息的内部结构的图。

图28是表示流属性信息的内部结构的图。

图29是表示识别影像数据的步骤的图。

图30是表示各实施方式的运动图像编码方法以及运动图像解码方法的集成电路的结构例的框图。

图31是表示切换驱动频率的结构的图。

图32是表示识别影像数据、切换驱动频率的步骤的图。

图33是表示将影像数据的标准与驱动频率建立了对应的查找表的一例的图。

图34A是表示将信号处理部的模块共用的结构的一例的图。

图34B是表示将信号处理部的模块共用的结构的其他一例的图。

具体实施方式

(作为本发明的基础的认识)

本发明者关于在“背景技术”部分中记载的上述非专利文献1发现会发生以下的问题。

在MPEG－4AVC(Moving Picture Experts Group－4Advanced Video Coding)或HEVC(High Efficiency Video Coding)等编码方式中，通过将图片层级性地编码，能够实现时间方向的可伸缩性(以下称作时间可伸缩性)。例如，通过将全部的图片解码，能够进行120fps下的再现，通过仅将属于特定的层级的图片解码，能够进行60fps下的再现。

通过利用这样的时间可伸缩性，能够实现通过仅将属于特定的层级的图片以120fps的间隔解码而进行的2倍速再现。进而，在不对应于以120fps的间隔解码的再现装置(以下称作120fps非对应再现装置)中，有可能能够将120fps的编码流以60fps再现。

图1A和图1B是表示用于实现基于HEVC的时间可伸缩性的一例的图。在这些图中，表示层级间的参照关系及各图片的解码顺序(即编码顺序)。

图1A表示将各图片通过3层构造编码的例子。图1A中的TId是Temporal ID，是用于识别层级的识别码。此外，I表示I图片(帧内预测图片)，P表示P图片(例如前方参照预测图片)，B表示B图片(例如双向参照预测图片)。此外，I、P及B各自的右旁附带的数字表示这些图片的显示顺序。此外，箭头表示图片间的参照关系，例如图片B2参照图片I0和图片P4。即，在该层级间的参照关系中，图片不参照属于比该图片所属的层级高的层级的图片，而参照属于与该图片所属的层级相同的层级或比该层级低的层级的图片而编码。这里，如果将属于Temporal ID为0到2的全部层级中的某一个层级的各图片解码，则帧速率为120fps。在此情况下，如果将属于Temporal ID为0到1的某一个层级的各图片解码，则帧速率为60fps。

图1B表示将各图片通过4层构造编码的例子。在此情况下，如果将属于TemporalID为0到3的全部层级中的某一个层级的各图片解码，则帧速率为120fps。在此情况下，也如果将属于Temporal ID为0到2的某一个层级的各图片解码，则帧速率为60fps。

如上述那样，120fps非对应再现装置通过使用时间可伸缩性，即，通过仅将120fps的编码流中的属于一部分层级的图片解码，有可能能够实现60fps的再现。

但是，在此情况下，120fps非对应再现装置有时必须以比1/60秒短的间隔将各图片解码。因而，120fps非对应再现装置即使使用时间可伸缩性，由于将各图片解码的间隔较短，所以也有不能将120fps的编码流解码的问题。

图2是用于说明120fps非对应再现装置不能将120fps的编码流解码的问题的图。图2所示的编码流是图1A所示的120fps的编码流。120fps非对应再现装置在将该编码流以60fps再现的情况下，仅将属于Temporal ID为0的层级的各图片和属于Temporal ID为1的层级的各图片解码。

图2中的T相当于与120fps对应的时间、即1/120秒。广播内容或储存内容中，当以固定帧速率显示内容时，通常将解码也以固定的帧速率进行。因而，在120fps的再现时，各图片被解码的间隔(以下称作解码间隔)及各图片被显示的间隔(以下称作显示间隔)都是T。

因而，在60fps的再现时，解码间隔和显示间隔也都需要为与60fps对应的时间即2T的间隔。但是，如图2所示，在以60fps进行再现的情况下，图片I0与图片P4的解码间隔或图片P4与图片B2的解码间隔是T。在作为解码间隔而需要2T的时间的120fps非对应再现装置中，有图片的解码赶不上的问题。即，在120fps非对应再现装置中有处理负荷较高的问题。

为了解决这样的问题，有关本发明的一形态的图像编码方法，是按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码的图像编码方法，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在被编码的上述运动图像中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间、上述多个下层图片分别被解码的定时相同；按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻。

由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，通过使该等间隔为适当的时间，能够减轻图像解码装置的处理负荷。即，图像解码装置将各个图片的解码不用以较高的帧速率进行、而能够以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅其多个下层图片被解码的情况之间，该多个下层图片各自被解码的定时相同。因而，图像解码装置在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况之间，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置的处理负荷。

此外，也可以是，在上述解码时刻的决定中，将上述运动图像中包含的多个图片中的一部分的多个图片、且属于上述最高层级的多个最上层图片的各自的解码时刻决定为上述多个下层图片各自的解码时刻之间。

由此，在编码流被解码时，最上层图片和下层图片分别被交替地解码。因而，在编码流中，多个下层图片分别被解码的时刻的间隔都比解码流的全部图片分别被解码的时刻的间隔长。结果，图像解码装置在仅将多个下层图片解码时，与将解码流的全部图片分别解码时相比，能够以确实低的帧速率将各图片解码。因而，能够可靠地减轻图像解码装置的处理负荷。

此外，也可以是，在上述解码时刻的决定中，决定上述运动图像中包含的多个图片各自的解码时刻，以使上述多个最上层图片及上述多个下层图片中的在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔的2倍的时间与上述等间隔的时间相等。

由此，多个下层图片各自的解码时刻的间隔都为在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔、即解码流的全部图片分别被解码的时刻的间隔的2倍。因而，在将编码流的全部图片解码并显示时的帧速率是120fps的情况下，图像解码装置能够以60fps的帧速率的倒数的时间间隔将编码流中包含的多个下层图片分别没有负担地解码。

此外，也可以是，在上述运动图像具有多个由在解码顺序上连续的多个图片构成的随机访问单位的情况下，在上述解码时刻的决定中，按每个上述随机访问单位决定该随机访问单位内的各图片的解码时刻，以使得在该随机访问单位中，不参照其他随机访问单位中包含的图片而能够将除了在显示顺序上比在解码顺序上为开头的图片靠前被显示的图片以外的全部图片解码。例如，上述开头的图片是被禁止在解码顺序上比该开头的图片靠后的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。或者，上述开头的图片是被许可在解码顺序上比该开头的图片靠后且在显示顺序上比该开头的图片靠前的图片参照在解码顺序上比该开头的图片靠前的图片的I图片。

由此，图像解码装置能够按每个随机访问单位将该随机访问单位中包含的多个图片分别适当地解码。

此外，也可以是，在上述解码时刻的决定中，决定被编码的上述运动图像中包含的全部图片各自的解码时刻，以使得在上述全部图片被解码并显示的帧速率是f的情况下，上述全部图片中包含的上述多个下层图片各自的解码时刻相偏离由上述f的倒数的n倍(n是2以上的整数)表示的时间。

由此，图像解码装置能够以该帧速率的倒数的n倍的时间间隔将多个下层图片的各自依次没有负担地解码。

此外，也可以是，上述图像编码方法还将表示显示延迟的显示延迟信息包含在上述编码流中，上述显示延迟是上述运动图像中包含的在解码顺序上为开头的图片的解码时刻与上述运动图像中包含的在显示顺序上为开头的图片的显示时刻之间的时间。

由此，图像解码装置能够从编码流取得显示延迟信息。因而，图像解码装置如果从比显示开始时刻靠前由该显示延迟信息表示的显示延迟的时刻起开始编码流的解码，则能够从该显示开始时刻起没有延迟地显示运动图像。

此外，也可以是，上述图像编码方法还将非等间隔信息包含在上述编码流中，该非等间隔信息表示对上述运动图像中包含的多个图片分别决定的解码时刻不是等间隔。

由此，图像解码装置能够从编码流取得非等间隔信息。因而，图像解码装置能够判断为不能将编码流中包含的多个图片分别以显示的帧速率依次解码。结果，图像解码装置能够一边参照对编码流中包含的多个图片分别决定的解码时刻一边将这些多个图片在适当的定时解码。

此外，有关本发明的一形态的图像解码装置，将编码流解码，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像，上述图像解码方法中，从上述编码流取得上述编码流中包含的多个图片各自的解码时刻，上述多个图片各自的解码时刻被决定为，上述编码流中包含的多个图片中的一部分的多个图片、且不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且在上述编码流中包含的多个图片被解码的情况与仅上述多个图片中的上述多个下层图片被解码的情况之间，上述多个下层图片各自被解码的定时相同；按照所取得的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。

由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，如果该等间隔为适当的时间，则能够减轻图像解码装置的处理负荷。即，图像解码装置将各个图片的解码不用以较高的帧速率进行、而能够以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅其多个下层图片被解码的情况之间，该多个下层图片分别被解码的定时相同。因而，图像解码装置在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况下，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置的处理负荷。

此外，也可以是，上述图像解码方法还在上述编码流中包含的多个图片各自的解码时刻不是等间隔的情况下，将上述多个图片各自的解码时刻变更为等间隔；在上述编码流的解码中，按照变更后的上述解码时刻，将上述编码流中包含的多个图片或上述多个下层图片分别解码。

由此，多个图片各自的解码时刻被变更为等间隔，所以图像解码装置能够每经过等间隔的时间则将编码流中包含的多个图片分别解码。因而，能够进一步减轻图像解码装置的处理负荷。

此外，也可以是，在上述编码流的解码中，按上述编码流中包含的每个图片，判定针对该图片取得的解码时刻是否与按每预先设定的周期产生的处理信号的产生定时一致，在判定为一致时将该图片解码。例如，上述图像解码方法还将上述编码流中包含的全部图片被解码而显示时的帧速率的倒数决定为上述预先设定的周期。

由此，即使多个图片各自的解码时刻不是等间隔，也能够将多个图片分别在该图片的解码时刻适当地解码。

另外，这些包括性或具体的形态也可以通过系统、方法、集成电路、计算机程序或计算机可读取的CD－ROM等记录介质实现，也可以通过系统、方法、集成电路、计算机程序及记录介质的任意的组合实现。

以下，参照附图对实施方式具体地说明。

另外，以下说明的实施方式都表示本发明的一具体例。在以下的实施方式中表示的数值、形状、材料、构成要素、构成要素的配置位置及连接形态、步骤、步骤的顺序等是一例，并不是限定本发明的意思。此外，关于以下的实施方式的构成要素中的、表示最上位概念的独立权利要求中没有记载的构成要素，设为任意的构成要素而进行说明。

(实施方式1)

图3是用于说明本实施方式的图像编码装置的图。

本实施方式的图像编码装置10取得120fps的帧速率的运动图像，通过将该运动图像编码而生成编码流并输出。在该编码流中包含的全部的图片被解码的情况下，以120fps的帧速率显示运动图像。此外，在该编码流中包含的一部分的多个图片被解码的情况下以60fps的帧速率显示运动图像。例如，编码流中包含的一部分的多个图片是分别属于最高层级以外的某一个层级的多个图片。

图4是表示本实施方式的使用3个层级将运动图像编码的一例的图。本实施方式的图像编码装置10通过基于与图1A所示的图片的预测构造同样的预测构造将运动图像编码，生成120fps的编码流。此时，图像编码装置10调整仅在120fps下的再现时被解码的图片的解码时刻(DTS：Decoding Time Stamp)，以使得在将该编码流以60fps再现时解码间隔成为2T(1/60秒)。即，图像编码装置10调整属于多个层级中的最高层级的多个图片的DTS。

图5是表示本实施方式的使用4个层级将运动图像编码的一例的图。本实施方式的图像编码装置10通过基于与图1B所示的图片的预测构造同样的预测构造将运动图像编码，生成120fps的编码流。此时，图像编码装置10调整仅在120fps下的再现时被解码的图片的解码时刻，以使得在将该编码流以60fps再现时解码间隔成为2T(1/60秒)。

这里，在将运动图像编码时，构成称作GOP(Group Of Pictures)等的随机访问单位，以便能够从编码流的中途的图片起开始解码。在随机访问单位中在解码顺序上为开头的图片是随机访问点。例如，图4所示的图片I0到图片B9是第1随机访问单位，图片I16是第2随机访问单位的开头图片。这里，在第2随机访问单位中，图片B11等图片不参照图片I16或在解码顺序上为图片I16以后的图片，但包含在第2随机访问单位中。

此外，在被广播的编码流(即广播流)等的记录中，有记录到第1随机访问单位那样的随机访问单位的末端为止的情况。此时，尽管图片P12能够解码，图片B11由于包含在第2随机访问单位中而不能解码。因而，解码时的动作变得复杂。

这里，将满足规定的条件的图片称作超前图片(advance picture)。对于图片的规定的条件是：(1)该图片参照在解码顺序上为紧前的随机访问单位中包含的图片；(2)该图片的显示顺序比在解码顺序上为紧前的随机访问单位中包含的某一个图片靠前。另外，随机访问单位是由编码顺序及解码顺序定义的单位，编码顺序与解码顺序相同。进而，将如第1随机访问单位那样处于包含超前图片的随机访问单位的紧前的随机访问单位称作开放末端随机访问单位。此外，将开放末端随机访问单位中包含的、显示顺序比超前图片靠后的图片称作孤立图片。例如，图4中的图片B11是超前图片，图片P12是孤立图片。

图6是表示本实施方式的使用3个层级将运动图像编码的另一例的图。

本实施方式的图像编码装置10在使用3个层级实现时间可伸缩性时，也可以如图6所示，以不产生开放末端随机访问单位的方式将图像编码。

第2随机访问单位中包含的任一图片都在显示顺序上比第1随机访问单位的最后的图片P12靠后。因而，第2随机访问单位中包含的全部的图片不成为超前图片。结果，第1随机访问单位不成为开放末端随机访问单位。但是，由于与图片B1相比图片B2的解码顺序靠后，所以图片B1不能参照该图片B2。同样，由于与图片B5相比图片B6的解码顺序靠后，所以图片B5不能参照该图片B6。这样，Temporal ID为2的图片的预测构造被限制。

在图4～图6的例子中，以60p和120p的时间可伸缩性为例，对层级数为3和4的情况进行了说明。但是，能够实现的帧速率的组合及层级数并不限于此。当仅将低层级的图片解码并显示时，如果设显示的帧速率下的各图片的显示间隔为T_pts，则只要保证在解码顺序上连续的任意的图片的解码间隔与T_pts相同或是T_pts以上的条件就可以。图像编码装置10以满足该条件的方式将图像编码。

图7是用于说明本实施方式的图像解码装置20的图。

本实施方式的图像解码装置20取得通过上述图像编码装置10生成的编码流。图像解码装置20通过将该编码流中包含的全部图片解码，以120fps的帧速率显示运动图像。此外，图像解码装置20通过将该编码流中包含的一部分的多个图片解码，以60fps的帧速率显示运动图像。例如，编码流中包含的一部分的多个图片是分别属于最高层级以外的某一个层级的多个图片。

这样，在本实施方式中，编码流中包含的不属于最高层级的多个图片(以下称作下层图片)各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，通过将该等间隔设为适当的时间(例如上述的2T＝1/60秒)，能够减轻图像解码装置的处理负荷。即，图像解码装置将每个图片的解码不用以较高的帧速率进行，而能够以与自己的处理能力相应的帧速率进行。例如，在将60fps的编码流解码时，只要保证1张图片的解码所需的时间是1/60秒以下就可以。

(变形例1)

这里，对作为随机访问单位的开头的图片的DTS进行说明。

图8是表示将图4所示的编码流以120fps再现时的各图片的解码顺序及显示顺序和DTS及PTS(Presentation Time Stamp：显示时刻)的图。

这里，对于DTS及PTS各自的尾标(数字)表示显示顺序。DTS或PTS例如在广播的MPEG－2TS(Transport Stream)中通过PES包的头表示。在MMT(MPEG Media Transport)或RTP(Real－time Transport Protocol)中，通过传输层的包的头或包含在有效载荷中的编码流的头信息等表示DTS或PTS。在MPEG－DASH(Dynamic Adaptive Streaming over HTTP)等将文件不打包而发送的类型的格式中，在文件的头部分包含DTS或PTS。或者，在MPEG－4AVC或HEVC中，通过使用Picture Timing SEI或Buffering Period SEI等SEI(Supplemental Enhancement Information)，也能够在编码流内表示DTS或PTS。

在以往的编码流中，如果被以固定的帧速率显示且在显示顺序上连续的两张图片的PTS的间隔是T，则在解码顺序上连续的两张图片的DTS的间隔也总是T。因而，再现装置(或图像解码装置)只要以在解码顺序上为开头的图片的DTS的定时开始该图片的解码，则不用参照后续的各图片的DTS，而只要每隔T的间隔依次将后续的各图片解码就可以。

另一方面，在本实施方式的编码流中，如图8所示，图片I0与图片P4之间的DTS的间隔及图片P4与图片B2之间的DTS的间隔是2T(T例如是1/120秒)。此外，图片B2与图片B1之间的DTS的间隔及在解码顺序上为图片B1以后的连续的两张图片之间的DTS的间隔是T。因而，在本实施方式的编码流中，图片间的DTS的间隔是可变的。因而，图像解码装置(或再现装置)需要参照各图片的DTS而以该DTS的定时将图片解码。

有关本变形例的图像解码装置20基于以一定间隔产生的视频处理信号的定时进行图片的解码或显示。例如，如果显示的帧速率是120fps，则图像解码装置20每隔T(例如1/120秒)产生视频处理信号，以视频处理信号的产生的定时进行图片的解码或显示。在图8所示的编码流中，图片I0与图片P4之间的DTS的间隔和图片P4与图片B2之间的DTS的间隔是视频处理信号的周期T的2倍。进而，在解码顺序上为图片B2以后的连续的两张图片之间的DTS的间隔与视频处理信号的周期T相等。

图9是表示本变形例的图像解码装置20的结构的框图。

有关本变形例的图像解码装置20具有与上述实施方式的图像解码装置20同样的功能，将被编码的图片在由该图片的DTS所表示的定时解码。这样的图像解码装置20具备信号间隔设定部21、DTS取得部22、判定部23及解码部24。

图10是表示有关本变形例的图像解码装置20将全部层级的图片解码时的动作的一例的流程图。

首先，图像解码装置20的信号间隔设定部21设定产生视频处理信号的间隔或周期(以下称作V_period)，以使该V_period成为将全部层级解码而显示时的帧速率的倒数(步骤S21)。

接着，DTS取得部22从保存有图片的编码数据的PES包的头等中，取得作为解码对象的图片的DTS(以下称作dts_i)(步骤S22)。接着，判定部23监视视频处理信号的产生的定时，判定该定时是否与dts_i一致(步骤S23)。在图片的DTS的间隔为V_period的N倍的情况下，从紧前被解码的图片的解码时刻起计数，在第N次产生的视频处理信号的定时与dts_i一致。在判定为定时一致的情况下(步骤S23的“是”)，解码部24将解码对象的图片解码(步骤S24)。另一方面，在判定为定时不一致的情况下(步骤S23的“否”)，判定部23将步骤S23的处理重复执行。

另外，步骤S21只要在开头图片的解码开始前实施1次就可以，不需要每当将图片解码时进行。此外，在步骤S23的判定中，也可以在视频处理信号的产生的定时与dts_i的差分值比规定的阈值小的情况下看作两者一致。此外，图10所示的动作不仅适用于全部层级的解码与低层级的解码之间的时间可伸缩性，而且还可以适用于不同的两个低层级间的时间可伸缩性。

这样，在本变形例的图像解码装置20中，即使DTS的间隔是可变的，在DTS的间隔能够用视频处理信号的周期的整数倍表现的情况下，也能够按照可变的DTS将图片解码。结果，能够减少决定解码的定时时的处理量。

这里，考虑如50fps和120fps的时间可伸缩性那样、将全部层级解码的情况下的帧速率(以下称作Frame Rate All)不是仅将低层级解码的情况下的帧速率(以下称作FrameRate Part)的整数倍的情形。此时，为了保证具有50fps的解码能力的图像解码装置中的解码，需要仅将低层级解码时的DTS的间隔为1/50秒。但是，由于Frame Rate All不是FrameRate Part的整数倍，所以不仅120fps下的再现时的图片的解码间隔不是一定间隔(即固定间隔)，而且DTS的间隔(1/50秒)也不是视频处理信号的周期(1/120秒)的整数倍。结果，不能在DTS所表示的时刻进行解码，在编码图片的缓冲器等中有可能发生上溢或下溢。因而，有关本变形例的图像编码装置10在提供时间可伸缩性时，也可以决定实现时间可伸缩性的层级的组合，以使将全部层级解码时的显示的帧速率成为仅将低层级解码时的显示的帧速率的整数倍。此外，图像编码装置10也可以将表示将全部层级解码的情况下的帧速率为仅将一部分的层级解码的情况下的帧速率的整数倍的信息保存到编码流中。或者，图像编码装置10也可以在通过将编码流复用而构成的TS(Transport Stream)的描述符等中保存该信息。

此外，在随机访问单位中，将在解码顺序上为开头的图片的DTS与在显示顺序上为开头的图片的PTS的差分称作显示延迟。在图8所示的例子中，DTS0与PTS0的差分是显示延迟。在显示的帧速率为固定的以往的编码流中，DTS的间隔也是固定的，该间隔与PTS的间隔相同。因而，用对在显示顺序上为开头的图片的PTS之前被解码的图片的张数乘以PTS的间隔而得到的值表现显示延迟。在图8所示的例子中，由于在图片I0的PTS之前被解码的是图片I0和图片P4这两张，所以在以往的计算方法中，将显示延迟计算为2×T。但是，在图8所示的例子中，由于图片I0与图片P4之间的PTS的间隔以及图片P4与图片B2之间的PTS的间隔是T的2倍，所以实际的显示延迟是4×T。这样，在以往的方法中，不能将显示延迟适当地表现。

因而，有关本变形例的图像编码装置10为了在DTS的间隔不为一定那样的编码流中也正确地表现显示延迟，也可以将表示显示延迟为PTS的间隔的几倍的信息包含在编码流中。在图8所示的例子中，PTS的间隔是T，显示延迟是T的4倍，所以图像编码装置10将显示延迟表示为4。或者，图像编码装置10也可以如“4×T”那样用实际的时间长表示显示延迟。在需要在显示顺序上为开头的图片的PTS之前被解码的图片的张数的情况下，图像编码装置10也可以与上述表示显示延迟的信息另外地表示其张数。此外，图像编码装置10有时将多个流或流的多个特定区间等进行无间断连接。此时，图像编码装置10在连接前后的流或特定区间中考虑到DTS的间隔可变而以使显示延迟相等的方式将这些流或特定区间编码。此时，图像编码装置10也可以将表示在无间断连接的前后显示延迟相等的信息保存到编码流中。此外，也可以是，图像编码装置10在将相互被无间断连接的流编码时，不是以在无间断连接的前后使在显示顺序上为开头的图片的PTS之前被解码的图片的张数相等的方式编码，而是以在无间断连接点的前后使由本变形例规定的显示延迟相等的方式编码。

此外，有关本变形例的图像编码装置10在显示的帧速率为一定即PTS的间隔为一定的情况下，也可以通知(signalling)表示DTS的间隔不为一定的辅助信息。例如，辅助信息是表示DTS的间隔是否一定的标志。在此情况下，图像解码装置20在设置有表示不一定的标志的情况下进行图10所示的动作，如果没有设置，则由于DTS的间隔是一定的，所以也可以不参照各个图片的DTS而动作。

有关本变形例的图像编码装置10既可以将上述辅助信息按每个随机访问单位设定，也可以按每个编码流单位、或者按每个在储存内容中由播放列表参照的单位来设定。在TS包中用于保存私人数据的区域(private_data_bytes等)、储存内容的内容的管理信息、或者MPEG－4AVC或HEVC等的编码流中的SEI等内容的收发系统的多个层的哪个中都能够保存辅助信息。但是，优选的是能够在编码流的解码前参照该辅助信息，所以图像编码装置10也可以在TS等的复用层、或复用数据的管理信息等内容的收发系统的上位的层中保存辅助信息。这样，在本变形例中，将表示对于运动图像中包含的多个图片分别决定的解码时刻不是等间隔的非等间隔信息作为上述辅助信息包含在编码流中。

此外，有关本变形例的图像编码装置10当仅将具有时间可伸缩性的编码流的低层级解码时，也可以将表示在解码顺序上连续的任意的两张图片的DTS的间隔是可变的信息保存到编码流中。该信息表示：如果在仅将上述低层级解码时，显示的帧速率(以下称作frame_rate)一定，则在解码顺序上连续的任意的两张图片的DTS的间隔与1/frame_rate(秒)相同或为1/frame_rate(秒)以上。例如，在MPEG2－TS中，在PMT(ProgramMapTables)中表示构成程序的编码流的识别信息。有关本变形例的图像编码装置10也可以通过规定PMT内的描述符来表示上述信息。例如具有60fps以内的解码能力的图像解码装置20在PMT内的描述符中表示有DTS的间隔小于1/60秒的情况下，不进行编码流的解码或再现。或者，图像解码装置20能够以各图片的解码间隔成为1/60秒以上的方式重新设定DTS而进行将各图片解码等的动作。在重新设定DTS的情况下需要PTS的变更的情况下，图像解码装置20将PTS也变更。

(变形例2)

接着，对图片的解码时刻的变更进行说明。

上述实施方式的图像解码装置20在将全部层级解码时，也可以在解码开始前变更图片的DTS以使DTS的间隔成为1/frame_rate(秒)。

图11是表示将DTS变更的一例的图。

有关本变形例的图像解码装置20如图11所示，通过将图片I0和图片P4的DTS变更，使DTS的间隔全部为1/frame_rate(秒)。DTS的间隔可变的图片是比在显示顺序上为开头的图片的PTS靠前被解码的图片。通过将这些图片的DTS变更，能够保证DTS的间隔为固定。此外，如果DTS的间隔为固定，则能够通过与以往同样的方法决定图片的解码定时并解码。另外，只是变更为使比在显示顺序上为开头的图片的PTS靠前被解码的图片的DTS变晚，并且变更后的DTS的间隔成为1/frame_rate(秒)。因而，在MPEG－4AVC或HEVC的HRD(Hypothetical Reference Decoder)等的解码器模型中不发生特别的问题。

有关本变形例的图像编码装置10在将编码流通过TS复用时，也可以在PES头的TREF(Timestamp Reference)字段等中表示变更后的DTS的值。此外，在使用其他复用方式的情况下，图像编码装置10也可以表示变更前和变更后的DTS。进而，也可以将表示在将全部层级解码的情况下使用变更后的DTS等、表示解码的层级与使用的DTS或PTS的对应关系的信息表示于例如TS的描述符、传输层中的程序信息或储存内容中的管理信息中。此外，图像编码装置10也可以将表示变更后的DTS的间隔是固定的或其间隔与PTS的间隔相等的信息表示于传输层中的程序信息或储存内容中的管理信息中。

通过这样，图像解码装置20即使处理能力较低，也能够仅将低层级解码。此外，将全部层级解码的处理能力较高的图像解码装置20通过将MPEG－2TS的描述符等解析、或判定是否存在PES包头的TREF字段等，知道发送了变更后的DTS或PTS。因而，该图像解码装置20能够使用变更后的DTS或PTS将编码流解码。

此外，图像解码装置20在以能够将全部层级解码为前提记录编码流的情况下，也可以如上述那样将变更DTS后的编码流记录。此时，也可以不是使用TREF等用于保存变更后的DTS或PTS的字段，而将PES头的DTS或PTS的字段变更。

(变形例3)

接着，对再现控制用的辅助信息进行说明。

图12是用于说明在开放末端随机访问单位中被解码的图片的图。

例如，在图12所示的例子中，所储存的编码流或经由通信网络取得的编码流的末端与作为开放末端随机访问单位的第1随机访问单位的末端一致。此时，不能将包含在第2随机访问单位中的图片B11、B13、B14、B15解码。但是，能够将属于第1随机访问单位的图片P12解码。这里，图片B11是超前图片，图片P12是孤立图片。

另外，在编码流中的随机访问单位中，可以将构成随机访问单位的图片中的规定的图片除外、将全部的图片不参照其他随机访问单位而解码。在随机访问单位构成为开放GOP(Group Of Pictures)的情况下，规定的图片是在该随机访问单位内与在解码顺序上为开头的图片相比显示顺序靠前的图片。这样的规定的图片有时参照在解码顺序上位于该随机访问单位的紧前的随机访问单位中包含的图片。因而，在从作为开放GOP的该随机访问单位的开头起开始解码的情况下，不能将该规定的图片解码。因而，图像解码装置在随机访问单位中将与在解码顺序上为开头的图片相比显示顺序靠后的全部图片分别作为可解码的图片而解码并显示。

这里，取得了编码流中的开放末端随机访问单位为止的编码数据的图像解码装置20由于没有取得超前图片，所以不能将该超前图片解码。因而，有关本变形例的图像编码装置10将用于再现控制的辅助信息包含在编码流中。

用于再现控制的辅助信息例如是以下的(1)～(5)所示的信息。

(1)表示随机访问单位是否是开放末端随机访问单位的信息

(2)表示随机访问单位是否是编码流的最后或由播放列表等表示的最后的随机访问单位等被连续再现的区间中的最后的随机访问单位的信息

(3)表示图片是否是孤立图片的信息或表示是否是在随机访问单位中在显示顺序上为最终的孤立图片的信息

(4)表示图片是否是超前图片的信息

(5)表示在随机访问单位中是否存在与被指定的图片相比显示顺序靠后的孤立图片的信息

另外，在上述(2)中，在将编码流内的不连续的区间或相互不同的编码流等连结的情况下，连结部分之前的随机访问单位不能参照后续的随机访问单位的图片。因而，将连结部分之前的随机访问单位也与再现区间中的最后的随机访问单位同样地处置。

有关本变形例的图像编码装置10也可以将上述那样的再现控制用的辅助信息按每个随机访问单位设定，也可以按每个编码流单位或按在储存内容中由播放列表参照的每个单位来设定。此外，在TS包中用于保存私人数据的区域(private_data_bytes等)、储存内容中的内容的管理信息、或MPEG－4AVC或HEVC等的编码流中的SEI等、内容的收发系统中的多个层的哪个中都能够保存辅助信息。但是，由于优选的是在编码流的解码前能够参照该辅助信息，所以图像编码装置10也可以在TS等的复用层或复用数据的管理信息等内容的收发系统中的上位的层中保存辅助信息。

上述(1)和(2)的信息是表示随机访问单位的属性的属性信息。图像编码装置10在与随机访问单位的开头图片相比解码顺序靠前的SEI、或者保存随机访问单位的开头图片的TS包或MMT包等的传输层的包头或有效载荷、或者在内容的管理信息中对随机访问单位的属性进行管理的表等中保存该属性信息。在传输层中，例如通知如TS包的random_access_indicator那样用于表示随机访问点的信息的情况下，也可以在表示是随机访问点的包中保存该属性信息。

此外，上述(3)～(4)的信息是关于构成随机访问单位的各图片的属性信息。图像编码装置10既可以将这些属性信息一起向随机访问单位保存，也可以按每个图片保存。在按每个图片保存的情况下，图像编码装置10按编码流中的每个随机访问单位附加SEI，或在保存图片的开头数据的TS包的头或有效载荷中保存该属性信息。此外，图像编码装置10也可以将关于图片的属性信息仅在随机访问单位是开放末端随机访问单位的情况下保存。

接着，对开放末端随机访问单位的图像解码方法进行说明。

图13是表示有关本变形例的图像解码装置20基于再现控制用的辅助信息将运动图像解码的动作的一例的流程图。

首先，图像解码装置20判定在内容的管理信息、TS等的传输层或编码流中是否存在再现控制用的辅助信息(步骤S211)。在被连续再现的再现区间中，在构成再现区间的全部的随机访问单位中被提供或不被提供再现控制用的辅助信息。因而，步骤S211的处理只要仅对再现区间中的开头的随机访问单位进行就可以。

这里，在判定为存在再现控制用的辅助信息的情况下(步骤S211的“是”)，图像解码装置20进行步骤S212的处理，在判定为不存在的情况下(步骤S211的“否”)，图像解码装置20进行步骤S215的处理。

在步骤S215中，图像解码装置20基于预先规定的方法，决定要解码的图片(步骤S215)。在步骤S212中，图像解码装置20判定是否满足以下条件：解码对象的随机访问单位是被连续再现的区间中的最后的随机访问单位、并且是开放末端随机访问单位(步骤S212)。

这里，如果判定为满足条件(步骤S212的“是”)，则图像解码装置20参照再现控制用的辅助信息决定要解码的图片(步骤S213)。另一方面，如果判定为不满足条件(步骤S212的“否”)，则图像解码装置20决定为将包含在随机访问单位中的全部图片解码(步骤S214)。但此时，图像解码装置20在解码对象的随机访问单位是再现区间中的开头的随机访问单位的情况下，不将参照与该解码对象的随机访问单位相比解码顺序为紧前的随机访问单位中包含的图片的图片解码。

并且，图像解码装置20将在步骤S213、S214、S215的某一个处理中决定的图片解码(步骤S216)。

另外，步骤S212的处理只要按每个随机访问单位进行就可以。此外，在多个图片各自的辅助信息一起被保存在随机访问单位中的情况下，步骤S213中的图片的决定在随机访问单位的解码开始时进行。此外，在多个图片各自的辅助信息按每个图片被保存的情况下，该图片的决定按每个图片进行。

另外，在再现控制用的辅助信息没有按每个图片表示该图片的信息的情况下，图像解码装置20也可以在步骤S213中判定是否存在参照目的地的图片。由此，图像解码装置20决定图片可否解码，能够决定要解码的图片。

另外，图像解码装置20也可以如以下这样进行步骤S213中的图片的决定。

例如，图像解码装置20仅将显示顺序比超前图片靠前的图片决定为要解码的图片，将孤立图片决定为不解码的图片。

或者，图像解码装置20将显示顺序比超前图片靠前的图片和孤立图片决定为要解码的图片。不能将显示顺序比孤立图片靠前的超前图片解码。因而，图像解码装置20在由超前图片的PTS表示的定时，将可解码的图片中的、在显示顺序上为超前图片的紧前的图片的解码结果冻结(freeze)而显示。即，图像解码装置20将紧前的图片的解码结果在由超前图片的PTS表示的定时也继续显示。或者，图像解码装置20也可以显示通过对可解码的图片中的在显示顺序上为超前图片的紧前的图片的解码结果和超前图片的解码结果进行插补而得到的图像。

这里，有120fps的解码能力的图像解码装置通过仅将属于Temporal ID为0的层级的图片以120fps的解码间隔解码，能够进行以4倍速再现等特殊再现。所以，也可以在将全部层级的图片解码而显示的通常再现时和特殊再现时，切换要解码的图片的决定方法。例如，在图1A或图1B所示的例子中，Temporal ID为0的各图片仅为I图片和P图片，超前图片不包含在该各图片中。因而，图像解码装置20在通常再现时不将孤立图片解码、而在特殊再现时仅将属于Temporal ID为0的层级的图片解码并再现等情况下，也可以将孤立图片解码。更一般地，图像解码装置20在特殊再现的情况下，也可以在作为解码对象的层级的图片中仅将显示顺序比超前图片靠前的图片解码。

另外，图像编码装置10在随机访问单位是开放末端随机访问单位的情况下，也可以将用于确定超前图片或在显示顺序上为最后的孤立图片的信息作为该随机访问单位的属性信息保存到编码流中。例如，如果超前图片的解码顺序在随机访问单位内是第N个，则图像解码装置20可以决定为仅将具有比第N个图片的PTS靠前的PTS的图片解码。或者，如果在显示顺序上为最后的孤立图片在解码顺序上是第N个，则图像解码装置20可以决定为不将显示顺序比该孤立图片靠后的图片解码。

(变形例4)

例如60fps是解码能力的上限的有关本变形例的图像解码装置20在取得了超过60fps的帧速率的编码流的情况下，也可以对各图片的DTS或PTS进行变换，以便能够将编码流中包含的各图片解码。例如，图像解码装置20在经由广播或通信网络取得编码流并记录的情况下，也可以对DTS或PTS进行变换。或者，图像解码装置20在将记录在存储器或硬盘等中的编码流经由通信网络等向外部的设备发送时，也可以对DTS或PTS进行变换。

图14是表示DTS或PTS的变换的一例的图。图14中的从上起第1行表示原始的编码流中包含的、构成全部层级的全部图片的原始的DTS。如果将全部的图片解码并显示，则以120fps的帧速率显示运动图像。图14中的从上起第2行表示在将上述原始的编码流作为60fps的编码流记录时所记录的各图片及这些图片的原始的DTS。在这样记录的60fps的编码流中，不能保证图片间的DTS的间隔为1/60(秒)。

图14中的从上起第3行表示在将上述原始的编码流作为60fps的编码流记录时所记录的各图片及这些图片的变更后的DTS。本变形例的图像解码装置20进行该第3行所示的DTS的变更。将DTS变更后的结果，可保证图片间的DTS的间隔为1/60(秒)。图14中的从上起第4行表示在将上述原始的编码流作为60fps的编码流记录时所记录的各图片及这些图片的原始的PTS。不需要PTS的变更，可以使用与原始的PTS相同的值。这里，DTS被变更为从原始的DTS延迟，PTS不被变更。因而，图像解码装置20所具备的前段的缓冲器(相当于MPEG－4AVC或HEVC中的Coded Picture Buffer)或用于保持参照图片的缓冲器(相当于MPEG－4AVC或HEVC中的Decoded Picture Buffer)中，既不发生上溢也不发生下溢。

另外，在需要PTS的变更的情况下，也可以对PTS进行变更以满足缓冲器模型(相当于MPEG－4AVC或HEVC中的Hypothetical Reference Decode)。当将编码流用MPEG－2TS复用时，PTS或DTS被表示在PES包的头中。因而，图像解码装置20也可以对PES包的头中的PTS或DTS进行变更。或者，图像解码装置20也可以不变更PTS或DTS的值，而将变更后的值保存到PES包头中的TREF(Timestamp Reference)字段中。或者，图像解码装置20也可以在将PTS或DTS变更后，将原始的PTS或DTS的值保存到TREF字段中。

在上述实施方式及其变形例中，以基于60fps和120fps的组合的时间可伸缩为例进行了说明，但本发明也可以应用于其他帧速率的组合的时间可伸缩。此外，在上述实施方式及其变形例中，作为在实现时间可伸缩时解码的层级，以全部层级与除了最上位的层级以外的各层级的组合为例进行了说明，但也可以应用于其他组合的层级。

以上，基于实施方式及其变形例对有关一个或多个形态的图像编码装置及图像解码装置进行了说明，但本发明并不限定于该实施方式及其变形例。

图15A是有关本发明的一形态的图像编码装置的框图。

有关本发明的一形态的图像编码装置100是按属于多个层级中的某一个的每个图片、不参照属于比该图片所属的层级高的层的其他图片而将运动图像编码的装置，具备决定部101、编码部102和生成部103。

决定部101决定运动图像中包含的多个图片各自的解码时刻，以使该运动图像中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。此时，决定部101还决定该运动图像中包含的多个图片各自的解码时刻，以使得在被编码的运动图像中包含的多个图片被解码的情况与仅该多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。

编码部102按照与所决定的解码时刻相应的编码顺序，将该运动图像中包含的多个图片分别编码。生成部103生成包含被编码的多个图片和对该多个图片分别决定的解码时刻的编码流。

图15B是表示有关本发明的一形态的图像编码方法的流程图。

有关本发明的一形态的图像编码方法是图像编码装置100按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层的其他图片而将运动图像编码的方法。该图像编码方法包括步骤S101、步骤S102和步骤S103。在步骤S101中，决定运动图像中包含的多个图片的各自的解码时刻，以使得该运动图像中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。此时，还决定该运动图像中包含的多个图片各自的解码时刻，以使得在被编码的运动图像中包含的多个图片被解码的情况与仅该多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。

在步骤S102中，按照与所决定的解码时刻相应的编码顺序，将该运动图像中包含的多个图片分别编码。在步骤S103中，生成包含被编码的多个图片和对该多个图片分别决定的解码时刻的编码流。

由此，编码流中包含的多个图片各自不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，通过使该等间隔为例如1/60秒等适当的时间，能够减轻图像解码装置的处理负荷。即，图像解码装置将各个图片的解码不用以120fps等较高的帧速率进行、而能够以与自己的处理能力相应的60fps等帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅该多个下层图片被解码的情况之间，该多个下层图片各自被解码的定时是相同的。例如，如图4或图6所示，作为多个下层图片的图片I0、P4、B2、I8、B6等在以120fps进行解码的情况与以60fps进行解码的情况之间在相同的定时被解码。因而，图像解码装置在将编码流的全部图片解码的情况与仅将多个下层图片解码的情况下，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置的处理负荷。

此外，在步骤S101的解码时刻的决定中，将运动图像中包含的多个图片中的一部分的多个图片、且属于最高的层级的多个最上层图片各自的解码时刻决定在多个下层图片各自的解码时刻之间。例如在图6所示的例子中，作为最上层图片的图片B1的解码时刻被决定在作为下层图片的图片P4与图片B2之间，作为最上层图片的图片B3的解码时刻被决定在作为下层图片的图片B2与图片I8之间。

由此，当编码流被解码时，最上层图片和下层图片分别被交替地解码。因而，在编码流中多个下层图片各自被解码的时刻的间隔都比解码流的全部图片各自被解码的时刻的间隔长。结果，图像解码装置在仅将多个下层图片解码时，与将解码流的全部图片分别解码时相比，能够以确实低的帧速率将各图片解码。因而，能够可靠地减轻图像解码装置的处理负荷。

此外，在步骤S101的解码时刻的决定中，决定运动图像中包含的多个图片各自的解码时刻，以使多个最上层图片及多个下层图片中的在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔的2倍的时间与上述等间隔的时间相等。例如在图6所示的例子中，在解码顺序上连续的作为最上层图片的图片B1及作为下层图片的图片B2的各自的解码时刻的间隔是T＝1/120秒。所以，在步骤S101中，决定运动图像中包含的多个图片各自的解码时刻，以使2×T＝1/60秒与上述等间隔的时间相等。

由此，多个下层图片各自的解码时刻的间隔都为在解码顺序上连续的最上层图片及下层图片的各自的解码时刻的间隔、即解码流的全部的图片各自被解码的时刻的间隔的2倍。因而，在将编码流的全部图片解码并显示时的帧速率是120fps的情况下，图像解码装置能够以60fps的帧速率的倒数的时间间隔，将编码流中包含的多个下层图片各自没有负担地解码。

此外，在运动图像具有多个由在解码顺序上连续的多个图片构成的随机访问单位的情况下，在步骤S101中，也可以如以下这样决定解码时刻。即，在该步骤S101中，按每个随机访问单位决定该随机访问单位内的各图片的解码时刻，以使得在该随机访问单位中，能够以不参照其他随机访问单位中包含的图片的方式将与在解码顺序上为开头的图片相比在显示顺序上靠前被显示的图片以外的全部图片解码。这里，开头的图片是被禁止在解码顺序上比该开头的图片靠后的图片参照在解码顺序上比该开头的图片靠前的图片的I图片(所谓的IDR图片：Instantaneous Decoding Refresh Picture，即时解码刷新图片)。或者，开头的图片是被许可在解码顺序上比该开头的图片靠后、且在显示顺序上比该开头的图片靠前的图片参照在解码顺序上比该开头的图片靠前的图片的I图片(所谓的CRA图片：CleanRandom Access Picture，新的纯随机访问图片)。例如，在该步骤S101中，图像编码装置100如图6所示那样决定运动图像中包含的多个图片各自的解码时刻。在该图6所示的例子中，在显示顺序上比图片I16靠前的图片B13参照第1随机访问单位内的图片P12，所以图片I16是CRA图片。

由此，图像解码装置能够按每个随机访问单位将包含在该随机访问单位中的多个图片分别适当地解码。

这里，对图像编码装置100在步骤S101中如图6所示的例子那样决定运动图像中包含的多个图片的解码时刻的处理动作进行详细的说明。

在被编码的运动图像中包含的全部图片被解码并显示的帧速率例如是120fps的情况下，图像编码装置100在步骤S101中以该帧速率(120fps)的倒数的时间单位(1/120秒)决定该全部图片各自的解码时刻。即，将对各图片决定的解码时刻用对该时间单位的整数倍加上偏移值后的时刻表现。此外，图像编码装置100在步骤S101中，也可以在首先决定运动图像中包含的多个图片各自的TId后，决定多个图片各自的解码顺序。并且，图像编码装置100基于该决定的解码顺序，以上述时间单位决定多个图片各自的DTS。

例如，图像编码装置100对于以显示顺序配置的各图片，在0以上K(K是1以上的整数)以下的范围内决定作为用于识别该图片的层级的值的TId。TId是K的层级为最高层级，Tid是0的层级为最低层级。具体而言，决定部101在运动图像中，将以显示顺序排列的多个图片中的开头的I图片的Tid决定为0。进而，决定部101按以显示顺序排列的该开头的I图片以后的多个图片中的每个连续的M(M是2以上的整数)张图片(以下称作图片集)，将作为该图片集中的最后的图片的I图片或P图片的TId决定为0。在图片集中在显示顺序上为最后的图片是I图片或P图片，将该I图片或P图片的TId决定为0。此外，将TId被决定为0的图片以下称作0层级图片。例如，在图1A所示的例子中，包括图片B1、图片B2、图片B3及图片P4的4张图片相当于上述图片集。并且，将图片P4决定为0层级图片。

接着，决定部101将图片集中包含的0层级图片以外的至少1个图片(例如B图片)、且作为决定TId的候选的至少1个图片确定为候选图片。该候选图片是在已经被决定TId的两个既定图片的中间被显示的图片。例如，在图1A所示的例子中，在图片I0和图片P4的各自的TId已经被决定的情况下，图片I0和图片P4是既定图片。在此情况下，在包括图片B1～B3及图片P4的图片集中，将作为在图片I0与图片P4的中间被显示的图片的图片B2确定为候选图片。

进而，如果这样确定的候选图片有多个，则决定部101将这些候选图片中的在显示顺序上为开头的候选图片的TId决定为对与该开头的候选图片对应的上述两个既定图片的TId中不低的TId加上1后的值N。例如，在图1B所示的例子中，在图片I0、图片P8及图片B4的各自的TId已经被决定的情况下，该图片I0、图片P8及图片B4是既定图片。在此情况下，在包括图片B1～B7及图片P8的图片集中，将作为在图片I0与图片B4的中间被显示的图片的图片B2、以及作为在图片B4与图片P8的中间被显示的图片的图片B6确定为候选图片。因而，决定部101将这些候选图片B2及B6中的在显示顺序上为开头的候选图片B2的TId决定为对与该开头的候选图片B2对应的两个既定图片I0及B4的TId中不低的TId＝1加上1后的值(N＝2)。

决定部101反复进行这样的候选图片的确定和Tid的决定，直到N是K以下的范围、并且包含在图片集中的0层级图片以外的全部图片的ITd被决定。结果，如图1A或图1B所示，对各图片决定TId。

接着，决定部101将上述开头的I图片的解码顺序决定为1号。例如，决定部101如图6所示，将作为开头的I图片的图片I0的解码顺序决定为1号。

并且，决定部101按每个上述图片集决定该图片集内的多个图片各自的解码顺序。具体而言，决定部101在该图片集中将0层级图片的解码顺序决定为开头。并且，决定部101在包含在该图片集中的0层级图片以外的多个图片中，从在显示顺序上靠前的图片起，将该图片的解码顺序决定为已经决定的解码顺序的紧后。例如，决定部101在包括图片B1～B7及图片P8的图片集中，将作为0层级图片的图片P8的解码顺序决定为开头。并且，决定部101以在图片P8之后，图片B1、图片B2、图片B3依次接着的方式决定图片B1～B3的解码顺序，

此外，决定部101决定为将以显示顺序配置的多个图片集以其排列的顺序解码。即，决定部101将图片集的开头的解码顺序决定为在显示顺序上为紧前的图片集的最后的解码顺序、或对上述开头的I图片(图片I0)的解码顺序加上1后的顺序数。

进而，决定部101如果决定开头的I图片(图片I0)的解码时刻，则将在该I图片的解码顺序上为紧后的图片(图片P4)的解码时刻决定为对该I图片的解码时刻加上上述时间单位(1/120秒)×2后的时刻。此外，决定部101将解码顺序比上述紧后的图片(图片P4)靠后的各图片的解码时刻决定为对在解码顺序上为紧前的图片的解码时刻加上上述时间单位后的时刻。

通过如上述那样由决定部101决定各图片的解码时刻，多个下层图片各自的解码时刻成为等间隔、即上述时间单位(1/120秒)×2的间隔。

此外，在步骤S101中的解码时刻的决定中，在被编码的运动图像中包含的全部的图片被解码并显示的帧速率是f的情况下，也可以将全部图片的各自的解码时刻决定为，使全部图片中包含的多个下层图片各自的解码时刻偏离由该f的倒数的n倍(n是2以上的整数)表示的时间。

由此，图像解码装置能够以该帧速率的倒数的n倍的时间间隔将多个下层图片各自依次没有负担地解码。

此外，也可以是，有关本发明的一形态的图像编码方法还将表示显示延迟的显示延迟信息包含在编码流中，该显示延迟是运动图像中包含的在解码顺序上为开头的图片的解码时刻与运动图像中包含的在显示顺序上为开头的图片的显示时刻之间的时间。

由此，图像解码装置能够从编码流取得显示延迟信息。因而，图像解码装置如图8所示，如果从比显示开始时刻靠前由该显示延迟信息表示的显示延迟的时刻起开始编码流的解码，则能够从该显示开始时刻起没有延迟地显示运动图像。

此外，也可以是，有关本发明的一形态的图像编码方法还将非等间隔信息包含在编码流中，该非等间隔信息表示对于运动图像中包含的多个图片分别决定的解码时刻不是等间隔。

由此，图像解码装置能够从编码流取得非等间隔信息。因而，图像解码装置能够将编码流中包含的多个图片分别判断为不能以显示的帧速率依次解码。结果，图像解码装置按照图10所示的流程图，能够一边参照对编码流中包含的多个图片分别决定的解码时刻，将这些多个图片以适当的定时解码。

图15C是有关本发明的一形态的图像解码装置的框图。

有关本发明的一形态的图像解码装置200是将编码流解码的装置，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像。该图像解码装置200具备取得部201和解码部202。

取得部201从编码流取得该编码流中包含的多个图片各自的解码时刻。这里，多个图片各自的解码时刻是如以下这样决定的。即，这些解码时刻被决定为，使编码流中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。进而，这些解码时刻被决定为，在编码流中包含的多个图片被解码的情况与仅多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。

解码部202按照所取得的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。

图15D是表示有关本发明的一形态的图像解码方法的流程图。

有关本发明的一形态的图像解码方法是图像解码装置200将编码流解码的方法，该编码流包含按属于多个层级中的某一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而编码的运动图像。该图像解码方法包括步骤S201和步骤S202。

在步骤S201中，从该编码流取得编码流中包含的多个图片各自的解码时刻。这里，多个图片各自的解码时刻是如以下这样决定的。即，这些解码时刻被决定为，使编码流中包含的多个图片中的一部分的多个图片、且不属于多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔。进而，这些解码时刻被决定为，在编码流中包含的多个图片被解码的情况与仅多个图片中的多个下层图片被解码的情况之间，多个下层图片各自被解码的定时相同。

在步骤S202中，按照所取得的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。

由此，编码流中包含的多个图片分别不参照属于比该图片所属的层级高的层级的其他图片而被编码。因而，图像解码装置200能够仅将编码流中的多个下层图片解码。此外，编码流中包含的多个下层图片各自的解码时刻是等间隔。因而，图像解码装置200在仅将编码流中的多个下层图片解码时，能够每经过等间隔的时间则将这些下层图片依次解码。因而，如果该等间隔是适当的时间，则能够减轻图像解码装置200的处理负荷。即，图像解码装置200将各个图片的解码不用以较高的帧速率进行，而以与自己的处理能力相应的帧速率进行。进而，在编码流中包含的多个图片(例如全部图片)被解码的情况与仅该多个下层图片被解码的情况之间，该多个下层图片各自被解码的定时相同。因而，图像解码装置200在将编码流的全部图片解码的情况和仅将多个下层图片解码的情况下，不需要改变该多个下层图片各自的解码定时。因而，能够进一步减轻图像解码装置200的处理负荷。

此外，也可以是，有关本发明的一形态的图像解码方法还在编码流中包含的多个图片各自的解码时刻不是等间隔的情况下，将该多个图片各自的解码时刻变更为等间隔，在编码流的解码中，按照变更后的解码时刻，将该编码流中包含的多个图片或多个下层图片分别解码。

由此，例如图11所示，多个图片各自的解码时刻被变更为等间隔，所以图像解码装置200能够将编码流中包含的多个图片各自每经过等间隔的时间则解码。因而，能够进一步减轻图像解码装置200的处理负荷。

此外，也可以是，有关本发明的一形态的图像解码方法在编码流的解码中，按编码流中包含的每个图片，判定对于该图片取得的解码时刻是否与按每预先决定的周期产生的处理信号(相当于上述视频处理信号)的产生定时一致，在判定为一致时，将该图片解码。例如，也可以是，图像解码方法还将编码流中包含的全部图片被解码并显示时的帧速率的倒数决定为上述预先设定的周期。

由此，如图10的流程图所示，即使多个图片各自的解码时刻不是等间隔，也能够将多个图片各自在该图片的解码时刻适当地解码。

另外，在上述各实施方式中，各构成要素也可以由专用的硬件构成、或通过执行适合于各构成要素的软件程序来实现。各构成要素也可以通过由CPU或处理器等程序执行部将记录在硬盘或半导体存储器等记录介质中的软件程序读出并执行来实现。这里，实现上述实施方式或变形例的图像编码装置10、100的软件使计算机执行包含在图15B所示的流程图中的各步骤。此外，实现上述实施方式或变形例的图像解码装置20、200的软件使计算机执行包含在图15D所示的流程图中的各步骤。

(实施方式2)

通过将用于实现上述各实施方式所示的运动图像编码方法(图像编码方法)或运动图像解码方法(图像解码方法)的结构的程序记录到存储介质中，能够将上述各实施方式所示的处理在独立的计算机系统中简单地实施。存储介质是磁盘、光盘、光磁盘、IC卡、半导体存储器等，只要是能够记录程序的介质就可以。

进而，这里说明在上述各实施方式中示出的运动图像编码方法(图像编码方法)及运动图像解码方法(图像解码方法)的应用例和使用它的系统。该系统的特征在于，具有由使用图像编码方法的图像编码装置及使用图像解码方法的图像解码装置构成的图像编码解码装置。关于系统的其他结构，可以根据情况而适当变更。

图16是表示实现内容分发服务的内容供给系统ex100的整体结构的图。将通信服务的提供区划分为希望的大小，在各小区内分别设置有作为固定无线站的基站ex106、ex107、ex108、ex109、ex110。

该内容供给系统ex100在因特网ex101上经由因特网服务提供商ex102及电话网ex104、及基站ex106～ex110连接着计算机ex111、PDA(Personal Digital Assistant)ex112、照相机ex113、便携电话ex114、游戏机ex115等各设备。

但是，内容供给系统ex100并不限定于图16那样的结构，也可以将某些要素组合连接。此外，也可以不经由作为固定无线站的基站ex106～ex110将各设备直接连接在电话网ex104上。此外，也可以将各设备经由近距离无线等直接相互连接。

照相机ex113是数字摄像机等能够进行运动图像摄影的设备，照相机ex116是数字照相机等能够进行静止图像摄影、运动图像摄影的设备。此外，便携电话ex114是GSM(Global System for Mobile Communications)方式、CDMA(Code Division MultipleAccess)方式、W－CDMA(Wideband－Code Division Multiple Access)方式、或LTE(LongTerm Evolution)方式、HSPA(High Speed Packet Access)的便携电话机、或PHS(PersonalHandyphone System)等，是哪种都可以。

在内容供给系统ex100中，通过将照相机ex113等经由基站ex109、电话网ex104连接在流媒体服务器ex103上，能够进行现场转播等。在现场转播中，对用户使用照相机ex113摄影的内容(例如音乐会现场的影像等)如在上述各实施方式中说明那样进行编码处理(即，作为本发明的一个方式的图像编码装置发挥作用)，向流媒体服务器ex103发送。另一方面，流媒体服务器ex103将发送来的内容数据对有请求的客户端进行流分发。作为客户端，有能够将上述编码处理后的数据解码的计算机ex111、PDAex112、照相机ex113、便携电话ex114、游戏机ex115等。在接收到分发的数据的各设备中，将接收到的数据解码处理而再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

另外，摄影的数据的编码处理既可以由照相机ex113进行，也可以由进行数据的发送处理的流媒体服务器ex103进行，也可以相互分担进行。同样，分发的数据的解码处理既可以由客户端进行，也可以由流媒体服务器ex103进行，也可以相互分担进行。此外，并不限于照相机ex113，也可以将由照相机ex116摄影的静止图像及/或运动图像数据经由计算机ex111向流媒体服务器ex103发送。此情况下的编码处理由照相机ex116、计算机ex111、流媒体服务器ex103的哪个进行都可以，也可以相互分担进行。

此外，这些编码解码处理一般在计算机ex111或各设备具有的LSIex500中处理。LSIex500既可以是单芯片，也可以是由多个芯片构成的结构。另外，也可以将运动图像编码解码用的软件装入到计算机ex111等可读取的某些记录介质(CD－ROM、软盘、硬盘等)中、使用该软件进行编码解码处理。进而，在便携电话ex114是带有照相机的情况下，也可以将由该照相机取得的运动图像数据发送。此时的运动图像数据是由便携电话ex114具有的LSIex500编码处理的数据。

此外，也可以是，流媒体服务器ex103是多个服务器或多个计算机，是将数据方差处理、记录、及分发的。

如以上这样，在内容供给系统ex100中，客户端能够接收编码的数据而再现。这样，在内容供给系统ex100中，客户端能够将用户发送的信息实时地接收、解码、再现，即使是没有特别的权利或设备的用户也能够实现个人广播。

另外，并不限定于内容供给系统ex100的例子，如图17所示，在数字广播用系统ex200中也能够装入上述实施方式的至少运动图像编码装置(图像编码装置)或运动图像解码装置(图像解码装置)的某个。具体而言，在广播站ex201中，将对影像数据复用了音乐数据等而得到的复用数据经由电波向通信或广播卫星ex202传送。该影像数据是通过上述各实施方式中说明的运动图像编码方法编码后的数据(即，通过本发明的一个方式的图像编码装置编码后的数据)。接受到该数据的广播卫星ex202发出广播用的电波，能够对该电波进行卫星广播接收的家庭的天线ex204接收该电波，通过电视机(接收机)ex300或机顶盒(STB)ex217等的装置将接收到的复用数据解码并将其再现(即，作为本发明的一个方式的图像解码装置发挥作用)。

此外，也可以是，在将记录在DVD、BD等的记录介质ex215中的复用数据读取并解码、或将影像数据编码再根据情况与音乐信号复用而写入记录介质ex215中的读取器/记录器ex218中也能够安装上述各实施方式所示的运动图像解码装置或运动图像编码装置。在此情况下，可以将再现的影像信号显示在监视器ex219上，通过记录有复用数据的记录介质ex215在其他装置或系统中能够再现影像信号。此外，也可以是，在连接在有线电视用的线缆ex203或卫星/地面波广播的天线ex204上的机顶盒ex217内安装运动图像解码装置，将其用电视机的监视器ex219显示。此时，也可以不是在机顶盒、而在电视机内装入运动图像解码装置。

图18是表示使用在上述各实施方式中说明的运动图像解码方法及运动图像编码方法的电视机(接收机)ex300的图。电视机ex300具备经由接收上述广播的天线ex204或线缆ex203等取得或者输出对影像数据复用了声音数据的复用数据的调谐器ex301、将接收到的复用数据解调或调制为向外部发送的编码数据的调制/解调部ex302、和将解调后的复用数据分离为影像数据、声音数据或将在信号处理部ex306中编码的影像数据、声音数据复用的复用/分离部ex303。

此外，电视机ex300具备：具有将声音数据、影像数据分别解码、或将各自的信息编码的声音信号处理部ex304和影像信号处理部ex305(即，作为本发明的一个方式的图像编码装置或图像解码装置发挥作用)的信号处理部ex306；具有将解码后的声音信号输出的扬声器ex307及显示解码后的影像信号的显示器等的显示部ex308的输出部ex309。进而，电视机ex300具备具有受理用户操作的输入的操作输入部ex312等的接口部ex317。进而，电视机ex300具有合并控制各部的控制部ex310、对各部供给电力的电源电路部ex311。接口部ex317也可以除了操作输入部ex312以外，还具有与读取器/记录器ex218等的外部设备连接的桥接部ex313、用于能够安装SD卡等的记录介质ex216的插槽部ex314、用于与硬盘等的外部记录介质连接的驱动器ex315、与电话网连接的调制解调器ex316等。另外，记录介质ex216是能够通过收存的非易失性/易失性的半导体存储元件电气地进行信息的记录的结构。电视机ex300的各部经由同步总线相互连接。

首先，对电视机ex300将通过天线ex204等从外部取得的复用数据解码、再现的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于具有CPU等的控制部ex310的控制，将由调制/解调部ex302解调的复用数据用复用/分离部ex303分离。进而，电视机ex300将分离的声音数据用声音信号处理部ex304解码，将分离的影像数据用影像信号处理部ex305使用在上述各实施方式中说明的解码方法解码。将解码后的声音信号、影像信号分别从输出部ex309朝向外部输出。在输出时，可以暂时将这些信号储存到缓冲器ex318、ex319等中，以使声音信号和影像信号同步再现。此外，电视机ex300也可以不是从广播等、而从磁/光盘、SD卡等的记录介质ex215、ex216读出编码的复用数据。接着，对电视机ex300将声音信号或影像信号编码、向外部发送或写入到记录介质等中的结构进行说明。电视机ex300接受来自遥控器ex220等的用户操作，基于控制部ex310的控制，由声音信号处理部ex304将声音信号编码，由影像信号处理部ex305将影像信号使用在上述各实施方式中说明的编码方法编码。将编码后的声音信号、影像信号用复用/分离部ex303复用，向外部输出。在复用时，可以暂时将这些信号储存到缓冲器ex320、ex321等中，以使声音信号和影像信号同步再现。另外，缓冲器ex318、ex319、ex320、ex321既可以如图示那样具备多个，也可以是共用一个以上的缓冲器的结构。进而，在图示以外，也可以是，在例如调制/解调部ex302或复用/分离部ex303之间等也作为避免系统的上溢、下溢的缓冲部而在缓冲器中储存数据。

此外，电视机ex300除了从广播等或记录介质等取得声音数据、影像数据以外，也可以具备受理麦克风或照相机的AV输入的结构，对从它们中取得的数据进行编码处理。另外，这里，将电视机ex300作为能够进行上述编码处理、复用、及外部输出的结构进行了说明，但也可以是，不能进行这些处理，而是仅能够进行上述接收、解码处理、外部输出的结构。

此外，在由读取器/记录器ex218从记录介质将复用数据读出、或写入的情况下，上述解码处理或编码处理由电视机ex300、读取器/记录器ex218的哪个进行都可以，也可以是电视机ex300和读取器/记录器ex218相互分担进行。

作为一例，将从光盘进行数据的读入或写入的情况下的信息再现/记录部ex400的结构表示在图19中。信息再现/记录部ex400具备以下说明的单元ex401、ex402、ex403、ex404、ex405、ex406、ex407。光头ex401对作为光盘的记录介质ex215的记录面照射激光斑而写入信息，检测来自记录介质ex215的记录面的反射光而读入信息。调制记录部ex402电气地驱动内置在光头ex401中的半导体激光器，根据记录数据进行激光的调制。再现解调部ex403将由内置在光头ex401中的光检测器电气地检测到来自记录面的反射光而得到的再现信号放大，将记录在记录介质ex215中的信号成分分离并解调，再现所需要的信息。缓冲器ex404将用于记录到记录介质ex215中的信息及从记录介质ex215再现的信息暂时保持。盘马达ex405使记录介质ex215旋转。伺服控制部ex406一边控制盘马达ex405的旋转驱动一边使光头ex401移动到规定的信息轨道，进行激光斑的追踪处理。系统控制部ex407进行信息再现/记录部ex400整体的控制。上述的读出及写入的处理由系统控制部ex407利用保持在缓冲器ex404中的各种信息、此外根据需要而进行新的信息的生成、追加、并且一边使调制记录部ex402、再现解调部ex403、伺服控制部ex406协调动作、一边通过光头ex401进行信息的记录再现来实现。系统控制部ex407例如由微处理器构成，通过执行读出写入的程序来执行它们的处理。

以上，假设光头ex401照射激光斑而进行了说明，但也可以是使用近场光进行高密度的记录的结构。

在图20中表示作为光盘的记录介质ex215的示意图。在记录介质ex215的记录面上，以螺旋状形成有导引槽(沟)，在信息轨道ex230中，预先通过沟的形状的变化而记录有表示盘上的绝对位置的地址信息。该地址信息包括用于确定作为记录数据的单位的记录块ex231的位置的信息，通过在进行记录及再现的装置中将信息轨道ex230再现而读取地址信息，能够确定记录块。此外，记录介质ex215包括数据记录区域ex233、内周区域ex232、外周区域ex234。为了记录用户数据而使用的区域是数据记录区域ex233，配置在比数据记录区域ex233靠内周或外周的内周区域ex232和外周区域ex234用于用户数据的记录以外的特定用途。信息再现/记录部ex400对这样的记录介质ex215的数据记录区域ex233进行编码的声音数据、影像数据或复用了这些数据的编码数据的读写。

以上，举1层的DVD、BD等的光盘为例进行了说明，但并不限定于这些，也可以是多层构造、在表面以外也能够记录的光盘。此外，也可以是在盘的相同的地方使用不同波长的颜色的光记录信息、或从各种角度记录不同的信息的层等、进行多维的记录/再现的构造的光盘。

此外，在数字广播用系统ex200中，也可以由具有天线ex205的车ex210从卫星ex202等接收数据、在车ex210具有的车载导航仪ex211等的显示装置上再现运动图像。另外，车载导航仪ex211的结构可以考虑例如在图18所示的结构中添加GPS接收部的结构，在计算机ex111及便携电话ex114等中也可以考虑同样的结构。

图21A是表示使用在上述实施方式中说明的运动图像解码方法和运动图像编码方法的便携电话ex114的图。便携电话ex114具有由用于在与基站ex110之间收发电波的天线ex350、能够拍摄影像、静止图像的照相机部ex365、显示将由照相机部ex365摄影的影像、由天线ex350接收到的影像等解码后的数据的液晶显示器等的显示部ex358。便携电话ex114还具有包含操作键部ex366的主体部、用于进行声音输出的扬声器等的声音输出部ex357、用于进行声音输入的麦克风等的声音输入部ex356、保存拍摄到的影像、静止图像、录音的声音、或者接收到的影像、静止图像、邮件等的编码后的数据或者解码后的数据的存储器部ex367、或者作为与同样保存数据的记录介质之间的接口部的插槽部ex364。

进而，使用图21B对便携电话ex114的结构例进行说明。便携电话ex114对于合并控制具备显示部ex358及操作键部ex366的主体部的各部的主控制部ex360，将电源电路部ex361、操作输入控制部ex362、影像信号处理部ex355、照相机接口部ex363、LCD(LiquidCrystal Display：液晶显示器)控制部ex359、调制/解调部ex352、复用/分离部ex353、声音信号处理部ex354、插槽部ex364、存储器部ex367经由总线ex370相互连接。

电源电路部ex361如果通过用户的操作使通话结束及电源键成为开启状态，则通过从电池组对各部供给电力，便携电话ex114起动为能够动作的状态。

便携电话ex114基于具有CPU、ROM及RAM等的主控制部ex360的控制，在语音通话模式时，将由声音输入部ex356集音的声音信号通过声音信号处理部ex354变换为数字声音信号，将其用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后经由天线ex350发送。此外，便携电话ex114在语音通话模式时，将由天线ex350接收到的接收数据放大并实施频率变换处理及模拟数字变换处理，用调制/解调部ex352进行波谱逆扩散处理，通过声音信号处理部ex354变换为模拟声音数据后，将其经由声音输出部ex357输出。

进而，在数据通信模式时发送电子邮件的情况下，将通过主体部的操作键部ex366等的操作输入的电子邮件的文本数据经由操作输入控制部ex362向主控制部ex360送出。主控制部ex360将文本数据用调制/解调部ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350向基站ex110发送。在接收电子邮件的情况下，对接收到的数据执行上述处理的大致逆处理，并输出到显示部ex358。

在数据通信模式时，在发送影像、静止图像、或者影像和声音的情况下，影像信号处理部ex355将从照相机部ex365供给的影像信号通过上述各实施方式所示的运动图像编码方法进行压缩编码(即，作为本发明的一个方式的图像编码装置发挥作用)，将编码后的影像数据送出至复用/分离部ex353。另外，声音信号处理部ex354对通过照相机部ex365拍摄影像、静止图像等的过程中用声音输入部ex356集音的声音信号进行编码，将编码后的声音数据送出至复用/分离部ex353。

复用/分离部ex353通过规定的方式，对从影像信号处理部ex355供给的编码后的影像数据和从声音信号处理部ex354供给的编码后的声音数据进行复用，将其结果得到的复用数据用调制/解调部(调制/解调电路部)ex352进行波谱扩散处理，由发送/接收部ex351实施数字模拟变换处理及频率变换处理后，经由天线ex350发送。

在数据通信模式时接收到链接到主页等的运动图像文件的数据的情况下，或者接收到附加了影像或者声音的电子邮件的情况下，为了对经由天线ex350接收到的复用数据进行解码，复用/分离部ex353通过将复用数据分离，分为影像数据的比特流和声音数据的比特流，经由同步总线ex370将编码后的影像数据向影像信号处理部ex355供给，并将编码后的声音数据向声音信号处理部ex354供给。影像信号处理部ex355通过与上述各实施方式所示的运动图像编码方法相对应的运动图像解码方法进行解码，由此对影像信号进行解码(即，作为本发明的一个方式的图像解码装置发挥作用)，经由LCD控制部ex359从显示部ex358显示例如链接到主页的运动图像文件中包含的影像、静止图像。另外，声音信号处理部ex354对声音信号进行解码，从声音输出部ex357输出声音。

此外，上述便携电话ex114等的终端与电视机ex300同样，除了具有编码器、解码器两者的收发型终端以外，还可以考虑只有编码器的发送终端、只有解码器的接收终端这3种安装形式。另外，在数字广播用系统ex200中，设为发送、接收在影像数据中复用了音乐数据等得到的复用数据而进行了说明，但除声音数据之外复用了与影像关联的字符数据等的数据也可以，不是复用数据而是影像数据本身也可以。

这样，将在上述各实施方式中表示的运动图像编码方法或运动图像解码方法用在上述哪种设备、系统中都可以，通过这样，能够得到在上述各实施方式中说明的效果。

此外，本发明并不限定于这样的上述实施方式，能够不脱离本发明的范围而进行各种变形或修正。

(实施方式3)

也可以通过将在上述各实施方式中示出的运动图像编码方法或装置、与依据MPEG－2、MPEG4－AVC、VC－1等不同的标准的运动图像编码方法或装置根据需要而适当切换，来生成影像数据。

这里，在生成分别依据不同的标准的多个影像数据的情况下，在解码时，需要选择对应于各个标准的解码方法。但是，由于不能识别要解码的影像数据依据哪个标准，所以产生不能选择适当的解码方法的问题。

为了解决该问题，在影像数据中复用了声音数据等的复用数据采用包含表示影像数据依据哪个标准的识别信息的结构。以下，说明包括通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据在内的复用数据的具体的结构。复用数据是MPEG－2传输流形式的数字流。

图22是表示复用数据的结构的图。如图22所示，复用数据通过将视频流、音频流、演示图形流(PG)、交互图形流中的1个以上进行复用而得到。视频流表示电影的主影像及副影像，音频流(IG)表示电影的主声音部分和与该主声音混合的副声音，演示图形流表示电影的字幕。这里，所谓主影像，表示显示在画面上的通常的影像，所谓副影像，是在主影像中用较小的画面显示的影像。此外，交互图形流表示通过在画面上配置GUI部件而制作的对话画面。视频流通过在上述各实施方式中示出的运动图像编码方法或装置、依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的运动图像编码方法或装置编码。音频流由杜比AC－3、Dolby Digital Plus、MLP、DTS、DTS－HD、或线性PCM等的方式编码。

包含在复用数据中的各流通过PID被识别。例如，对在电影的影像中使用的视频流分配0x1011，对音频流分配0x1100到0x111F，对演示图形分配0x1200到0x121F，对交互图形流分配0x1400到0x141F，对在电影的副影像中使用的视频流分配0x1B00到0x1B1F，对与主声音混合的副声音中使用的音频流分配0x1A00到0x1A1F。

图23是示意地表示复用数据怎样被复用的图。首先，将由多个视频帧构成的视频流ex235、由多个音频帧构成的音频流ex238分别变换为PES包序列ex236及ex239，并变换为TS包ex237及ex240。同样，将演示图形流ex241及交互图形ex244的数据分别变换为PES包序列ex242及ex245，再变换为TS包ex243及ex246。复用数据ex247通过将这些TS包复用到1条流中而构成。

图24更详细地表示在PES包序列中怎样保存视频流。图24的第1段表示视频流的视频帧序列。第2段表示PES包序列。如图24的箭头yy1、yy2、yy3、yy4所示，视频流中的多个作为Video Presentation Unit的I图片、B图片、P图片按每个图片被分割并保存到PES包的有效载荷中。各PES包具有PES头，在PES头中，保存有作为图片的显示时刻的PTS(Presentation Time-Stamp)及作为图片的解码时刻的DTS(Decoding Time-Stamp)。

图25表示最终写入在复用数据中的TS包的形式。TS包是由具有识别流的PID等信息的4字节的TS头和保存数据的184字节的TS有效载荷构成的188字节固定长度的包，上述PES包被分割并保存到TS有效载荷中。在BD－ROM的情况下，对于TS包赋予4字节的TP_Extra_Header，构成192字节的源包，写入到复用数据中。在TP_Extra_Header中记载有ATS(Arrival_Time_Stamp)等信息。ATS表示该TS包向解码器的PID滤波器的转送开始时刻。在复用数据中，源包如图25下段所示排列，从复用数据的开头起递增的号码被称作SPN(源包号)。

此外，在复用数据所包含的TS包中，除了影像、声音、字幕等的各流以外，还有PAT(Program Association Table)、PMT(Program Map Table)、PCR(Program ClockReference)等。PAT表示在复用数据中使用的PMT的PID是什么，PAT自身的PID被登记为0。PMT具有复用数据所包含的影像、声音、字幕等的各流的PID、以及与各PID对应的流的属性信息，还具有关于复用数据的各种描述符。在描述符中，有指示许可/不许可复用数据的拷贝的拷贝控制信息等。PCR为了取得作为ATS的时间轴的ATC(Arrival Time Clock)与作为PTS及DTS的时间轴的STC(System Time Clock)的同步，拥有与该PCR包被转送至解码器的ATS对应的STC时间的信息。

图26是详细地说明PMT的数据构造的图。在PMT的开头，配置有记述了包含在该PMT中的数据的长度等的PMT头。在其后面，配置有多个关于复用数据的描述符。上述拷贝控制信息等被记载为描述符。在描述符之后，配置有多个关于包含在复用数据中的各流的流信息。流信息由记载有用于识别流的压缩编解码器的流类型、流的PID、流的属性信息(帧速率、纵横比等)的流描述符构成。流描述符存在复用数据中存在的流的数量。

在记录到记录介质等中的情况下，将上述复用数据与复用数据信息文件一起记录。

复用数据信息文件如图27所示，是复用数据的管理信息，与复用数据一对一地对应，由复用数据信息、流属性信息以及入口映射构成。

复用数据信息如图27所示，由系统速率、再现开始时刻、再现结束时刻构成。系统速率表示复用数据的向后述的系统目标解码器的PID滤波器的最大转送速率。包含在复用数据中的ATS的间隔设定为成为系统速率以下。再现开始时刻是复用数据的开头的视频帧的PTS，再现结束时刻设定为对复用数据的末端的视频帧的PTS加上1帧量的再现间隔的值。

流属性信息如图28所示，按每个PID登记有关于包含在复用数据中的各流的属性信息。属性信息具有按视频流、音频流、演示图形流、交互图形流而不同的信息。视频流属性信息具有该视频流由怎样的压缩编解码器压缩、构成视频流的各个图片数据的分辨率是多少、纵横比是多少、帧速率是多少等的信息。音频流属性信息具有该音频流由怎样的压缩编解码器压缩、包含在该音频流中的声道数是多少、对应于哪种语言、采样频率是多少等的信息。这些信息用于在播放器再现之前的解码器的初始化等中。

在本实施方式中，使用上述复用数据中的、包含在PMT中的流类型。此外，在记录介质中记录有复用数据的情况下，使用包含在复用数据信息中的视频流属性信息。具体而言，在上述各实施方式示出的运动图像编码方法或装置中，设置如下步骤或单元，该步骤或单元对包含在PMT中的流类型、或视频流属性信息，设定表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的固有信息。通过该结构，能够识别通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据、和依据其他标准的影像数据。

此外，在图29中表示本实施方式的运动图像解码方法的步骤。在步骤exS100中，从复用数据中取得包含在PMT中的流类型、或包含在复用数据信息中的视频流属性信息。接着，在步骤exS101中，判断流类型、或视频流属性信息是否表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据。并且，在判断为流类型、或视频流属性信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的复用数据情况下，在步骤exS102中，通过在上述各实施方式中示出的运动图像解码方法进行解码。此外，在流类型、或视频流属性信息表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的复用数据的情况下，在步骤exS103中，通过依据以往的标准的运动图像解码方法进行解码。

这样，通过在流类型、或视频流属性信息中设定新的固有值，在解码时能够判断是否能够通过在上述各实施方式中示出的运动图像解码方法或装置解码。因而，在被输入了依据不同的标准的复用数据的情况下，也能够选择适当的解码方法或装置，所以能够不发生错误地进行解码。此外，将在本实施方式中示出的运动图像编码方法或装置、或者运动图像解码方法或装置用在上述任何设备、系统中。

(实施方式4)

在上述各实施方式中示出的运动图像编码方法及装置、运动图像解码方法及装置典型地可以由作为集成电路的LSI实现。作为一例，在图30中表示1芯片化的LSIex500的结构。LSIex500具备以下说明的单元ex501、ex502、ex503、ex504、ex505、ex506、ex507、ex508、ex509，各单元经由总线ex510连接。电源电路部ex505通过在电源是开启状态的情况下对各部供给电力，起动为能够动作的状态。

例如在进行编码处理的情况下，LSIex500基于具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等的控制部ex501的控制，通过AV I/Oex509从麦克风ex117及照相机ex113等输入AV信号。被输入的AV信号暂时储存在SDRAM等的外部的存储器ex511中。基于控制部ex501的控制，将储存的数据根据处理量及处理速度适当地分为多次等，向信号处理部ex507发送，在信号处理部ex507中进行声音信号的编码及/或影像信号的编码。这里，影像信号的编码处理是在上述各实施方式中说明的编码处理。在信号处理部ex507中，还根据情况而进行将编码的声音数据和编码的影像数据复用等的处理，从流I/Oex506向外部输出。将该输出的比特流向基站ex107发送、或写入到记录介质ex215中。另外，在复用时，可以暂时将数据储存到缓冲器ex508中以使其同步。

另外，在上述中，设存储器ex511为LSIex500的外部的结构进行了说明，但也可以是包含在LSIex500的内部中的结构。缓冲器ex508也并不限定于一个，也可以具备多个缓冲器。此外，LSIex500既可以形成1个芯片，也可以形成多个芯片。

此外，在上述中，假设控制部ex501具有CPUex502、存储器控制器ex503、流控制器ex504、驱动频率控制部ex512等，但控制部ex510的结构并不限定于该结构。例如，也可以是信号处理部ex507还具备CPU的结构。通过在信号处理部ex507的内部中也设置CPU，能够进一步提高处理速度。此外，作为其他例，也可以是CPUex502具备信号处理部ex507、或作为信号处理部ex507的一部分的例如声音信号处理部的结构。在这样的情况下，控制部ex501为具备具有信号处理部ex507或其一部分的CPUex502的结构。

另外，这里设为LSI，但根据集成度的差分异，也有称作IC、系统LSI、超级(super)LSI、特级(ultra)LSI的情况。

此外，集成电路化的方法并不限定于LSI，也可以由专用电路或通用处理器实现。也可以利用在LSI制造后能够编程的FPGA(Field Programmable Gate Array)、或能够重构LSI内部的电路单元的连接及设定的可重构处理器。

进而，如果因半导体技术的进步或派生的其他技术而出现代替LSI的集成电路化的技术，则当然也可以使用该技术进行功能模块的集成化。有可能是生物技术的应用等。

(实施方式5)

在将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的情况下，考虑到与将依据以往的MPEG－2、MPEG4－AVC、VC－1等标准的影像数据的情况相比处理量会增加。因此，在LSIex500中，需要设定为比将依据以往的标准的影像数据解码时的CPUex502的驱动频率更高的驱动频率。但是，如果将驱动频率设得高，则发生消耗电力变高的问题。

为了解决该问题，电视机ex300、LSIex500等的运动图像解码装置采用识别影像数据依据哪个标准、并根据标准切换驱动频率的结构。图31表示本实施方式的结构ex800。驱动频率切换部ex803在影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的情况下，将驱动频率设定得高。并且，对执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801指示将影像数据解码。另一方面，在影像数据是依据以往的标准的影像数据的情况下，与影像数据是通过在上述各实施方式中示出的运动图像编码方法或装置生成的数据的情况相比，将驱动频率设定得低。并且，对依据以往的标准的解码处理部ex802指示将影像数据解码。

更具体地讲，驱动频率切换部ex803由图30的CPUex502和驱动频率控制部ex512构成。此外，执行在上述各实施方式中示出的运动图像解码方法的解码处理部ex801、以及依据以往的标准的解码处理部ex802对应于图30的信号处理部ex507。CPUex502识别影像数据依据哪个标准。并且，基于来自CPUex502的信号，驱动频率控制部ex512设定驱动频率。此外，基于来自CPUex502的信号，信号处理部ex507进行影像数据的解码。这里，可以考虑在影像数据的识别中使用例如在实施方式3中记载的识别信息。关于识别信息，并不限定于在实施方式3中记载的信息，只要是能够识别影像数据依据哪个标准的信息就可以。例如，在基于识别影像数据利用于电视机还是利用于盘等的外部信号，来能够识别影像数据依据哪个标准的情况下，也可以基于这样的外部信号进行识别。此外，CPUex502的驱动频率的选择例如可以考虑如图33所示的将影像数据的标准与驱动频率建立对应的查找表进行。将查找表预先保存到缓冲器ex508、或LSI的内部存储器中，CPUex502通过参照该查找表，能够选择驱动频率。

图32表示实施本实施方式的方法的步骤。首先，在步骤exS200中，在信号处理部ex507中，从复用数据中取得识别信息。接着，在步骤exS201中，在CPUex502中，基于识别信息识别影像数据是否是通过在上述各实施方式中示出的编码方法或装置生成的数据。在影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况下，在步骤exS202中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得高的信号。并且，在驱动频率控制部ex512中设定为高的驱动频率。另一方面，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，在步骤exS203中，CPUex502向驱动频率控制部ex512发送将驱动频率设定得低的信号。并且，在驱动频率控制部ex512中，设定为与影像数据是通过在上述各实施方式中示出的编码方法或装置生成的数据的情况相比更低的驱动频率。

进而，通过与驱动频率的切换连动而变更对LSIex500或包括LSIex500的装置施加的电压，由此能够进一步提高节电效果。例如，在将驱动频率设定得低的情况下，随之，可以考虑与将驱动频率设定得高的情况相比，将对LSIex500或包括LSIex500的装置施加的电压设定得低。

此外，驱动频率的设定方法只要是在解码时的处理量大的情况下将驱动频率设定得高、在解码时的处理量小的情况下将驱动频率设定得低就可以，并不限定于上述的设定方法。例如，可以考虑在将依据MPEG4－AVC标准的影像数据解码的处理量大于将通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据解码的处理量的情况下，与上述的情况相反地进行驱动频率的设定。

进而，驱动频率的设定方法并不限定于使驱动频率低的结构。例如，也可以考虑在识别信息是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得高，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，将对LSIex500或包括LSIex500的装置施加的电压设定得低。此外，作为另一例，也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，不使CPUex502的驱动停止，在表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况下，由于在处理中有富余，所以使CPUex502的驱动暂停。也可以考虑在识别信息表示是通过在上述各实施方式中示出的运动图像编码方法或装置生成的影像数据的情况下，也只要在处理中有富余则使CPUex502的驱动暂停。在此情况下，可以考虑与表示是依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的影像数据的情况相比，将停止时间设定得短。

这样，根据影像数据所依据的标准来切换驱动频率，由此能够实现节电化。此外，在使用电池来驱动LSIex500或包括LSIex500的装置的情况下，能够随着节电而延长电池的寿命。

(实施方式6)

在电视机、便携电话等上述的设备、系统中，有时被输入依据不同的标准的多个影像数据。这样，为了使得在被输入了依据不同的标准的多个影像数据的情况下也能够解码，LSIex500的信号处理部ex507需要对应于多个标准。但是，如果单独使用对应于各个标准的信号处理部ex507，则发生LSIex500的电路规模变大、此外成本增加的问题。

为了解决该问题，采用将用于执行在上述各实施方式中示出的运动图像解码方法的解码处理部、和依据以往的MPEG－2、MPEG4－AVC、VC－1等的标准的解码处理部一部分共用的结构。图34A的ex900表示该结构例。例如，在上述各实施方式中示出的运动图像解码方法和依据MPEG4－AVC标准的运动图像解码方法在熵编码、逆量化、解块滤波器、运动补偿等的处理中有一部分处理内容共通。可以考虑如下结构：关于共通的处理内容，共用对应于MPEG4－AVC标准的解码处理部ex902，关于不对应于MPEG4－AVC标准的本发明的一个方式所特有的其他的处理内容，使用专用的解码处理部ex901。关于解码处理部的共用，也可以是如下结构：关于共通的处理内容，共用用于执行在上述各实施方式中示出的运动图像解码方法的解码处理部，关于MPEG4－AVC标准所特有的处理内容，使用专用的解码处理部。

此外，用图34B的ex1000表示将处理一部分共用的另一例。在该例中，采用使用与本发明的一个方式所特有的处理内容对应的专用的解码处理部ex1001、和与其他的以往标准所特有的处理内容对应的专用的解码处理部ex1002、和与在本发明的一个方式的运动图像解码方法和其他的以往标准的运动图像解码方法中共通的处理内容对应的共用的解码处理部ex1003的结构。这里，专用的解码处理部ex1001、ex1002并不一定是为本发明的一个方式、或者其他的以往标准所特有的处理内容而特殊化的，可以是能够执行其他的通用处理的结构。此外，也能够由LSIex500安装本实施方式的结构。

这样，对于在本发明的一个方式的运动图像解码方法和以往的标准的运动图像解码方法中共通的处理内容，共用解码处理部，由此能够减小LSI的电路规模并且降低成本。

以上，基于实施方式对有关一个或多个形态的图像编码方法及图像解码方法进行了说明，但本发明并不限定于该实施方式。只要不脱离本发明的主旨，对本实施方式实施了本领域技术人员想到的各种变形后的形态、或将不同的实施方式的构成要素组合而构建的形态也可以包含在一个或多个形态的范围内。

工业实用性

本发明例如能够应用于图像编码装置及图像解码装置等，具体而言，能够在电视机、数字摄像机、汽车导航系统、便携电话、数字静像照相机及数字视频照相机等信息显示设备及摄像设备等。

标号说明

10、100 图像编码装置

20、200 图像解码装置

21 信号间隔设定部

22 DTS取得部

23 判定部

24 解码部

101 决定部

102 编码部

103 生成部

201 取得部

202 解码部

Claims (11)

1.一种图像编码方法，按属于多个层级中的每一个层级的每个图片，不参照属于比该图片所属的层级高的层级的其他图片而将运动图像编码，其特征在于，

决定上述运动图像中包含的多个图片各自的解码时刻，以使上述运动图像中包含的多个图片中的不属于上述多个层级中的最高层级的多个下层图片各自的解码时刻成为等间隔，并且上述多个下层图片各自在将被编码的上述运动图像中包含的多个图片解码的情况下被解码的定时与在仅将上述多个图片中的上述多个下层图片解码的情况下被解码的定时相同；

按照与所决定的上述解码时刻相应的编码顺序，将上述运动图像中包含的多个图片分别编码；

生成编码流，该编码流包含被编码的上述多个图片和对上述多个图片分别决定的解码时刻；

上述多个图片的显示顺序与上述多个图片的解码顺序不同。

2.如权利要求1所述的图像编码方法，其特征在于，

上述多个下层图片包括I图片、P图片以及B图片。

3.一种图像编码方法，由编码装置执行，其特征在于，该图像编码方法包括以下步骤：

取得按显示顺序排列的图片，该图片包括多个第1层图片和多个第2层图片；

将上述图片与在视频编码标准中定义的时间ID即Temporal ID建立关联，以使各个上述第1层图片与最小的Temporal ID建立关联，并且各个上述第2层图片与最大的TemporalID建立关联；

决定按上述显示顺序排列的上述图片各自的解码时刻，以使各个上述第1层图片的第1解码时刻以等间隔隔开，并且上述第1解码时刻不取决于在解码装置中将所有被编码的图片解码还是在上述解码装置中仅将与上述最小的Temporal ID建立关联的被编码的图片解码；

按照上述解码时刻将按编码顺序排列的上述图片编码而生成上述被编码的图片，上述编码顺序与上述解码时刻对应、并且与上述显示顺序不同；以及

生成编码流，该编码流包含上述被编码的图片和上述解码时刻。

4.如权利要求3所述的图像编码方法，其特征在于，

针对各个上述第2层图片，决定第2解码时刻；

上述第1解码时刻和上述第2解码时刻在时间轴上交替排列，以使各个上述第2解码时刻与一个第1相邻解码时刻及另一个上述第1相邻解码时刻相邻并处于该一个第1相邻解码时刻与另一个上述第1相邻解码时刻之间，上述第1相邻解码时刻包含于上述第1解码时刻并以上述等间隔隔开。

5.一种图像解码方法，将编码流解码，该编码流包含按属于多个层级中的每一个层级的每个图片、不参照属于比该图片所属的层级高的层级的其他图片而被编码的运动图像，上述图像解码方法的特征在于，

从上述编码流取得上述编码流中包含的多个图片各自的解码时刻，上述多个图片各自的解码时刻被决定为，上述编码流中包含的多个图片中的不属于上述多个层级中的最高层级的多个下层图片的各自的解码时刻成为等间隔，并且上述多个下层图片各自在将上述编码流中包含的多个图片解码的情况下被解码的定时与在仅将上述多个图片中的上述多个下层图片解码的情况下被解码的定时相同；

按照所取得的上述解码时刻，将上述编码流中包含的多个图片分别解码或仅将上述多个下层图片分别解码；

上述多个图片的显示顺序与上述多个图片的解码顺序不同。

6.如权利要求5所述的图像解码方法，其特征在于，

上述多个下层图片包括I图片、P图片以及B图片。

7.一种图像解码方法，由解码装置执行，其特征在于，该图像解码方法包括：

从编码流取得包括多个第1层图片和多个第2层图片的被编码的图片，该被编码的图片与在视频编码标准中定义的时间ID即Temporal ID建立了关联，以使各个上述第1层图片与最小的Temporal ID建立关联，并且各个上述第2层图片与最大的Temporal ID建立关联；

从上述编码流取得上述被编码的图片的解码时刻，该解码时刻被决定为，各个上述第1层图片的第1解码时刻以等间隔隔开，并且上述第1解码时刻不取决于在上述解码装置中将所有被编码的图片解码还是在上述解码装置中仅将与上述最小的Temporal ID建立关联的被编码的图片解码；以及

按照上述解码时刻，将上述编码流中包含的上述被编码的图片解码或仅将按解码顺序排列的上述第1层图片解码，上述解码顺序与上述被编码的图片的显示顺序不同。

8.如权利要求7所述的图像解码方法，其特征在于，

上述被编码的图片的上述解码时刻包含各个上述第2层图片的第2解码时刻；

上述第1解码时刻和上述第2解码时刻在时间轴上交替排列，以使各个上述第2解码时刻与一个第1相邻解码时刻及另一个上述第1相邻解码时刻相邻并处于该一个第1相邻解码时刻与另一个上述第1相邻解码时刻之间，上述第1相邻解码时刻包含于上述第1解码时刻并以上述等间隔隔开。

9.一种图像编码方法，由编码装置执行，其特征在于，该图像编码方法包括以下步骤：

取得按显示顺序排列的图片，该图片包括分别与高效视频编码标准即HEVC标准的帧内编码帧、预测帧以及双向预测帧对应的I图片、P图片以及B图片；

将在上述HEVC标准中定义的时间ID即Temporal ID与按显示顺序排列的上述图片建立关联，以使最大的Temporal ID与上述B图片中的最高层级的B图片建立关联，并且较小的Temporal ID中的任一个与上述I图片、上述P图片、以及上述B图片中的下层B图片建立关联；

确定上述图片各自的解码时刻，以使具有上述较小的Temporal ID中的任一个的图片的第1解码时刻以等间隔隔开，并且上述第1解码时刻不取决于在解码装置中将所有被编码的图片解码还是在上述解码装置中仅将具有上述较小的Temporal ID中的任一个的被编码的图片解码；

将按编码顺序排列的上述图片编码而生成被编码的图片，上述编码顺序与上述解码时刻对应、并且与上述显示顺序不同；以及

生成编码流，该编码流包含按上述编码顺序排列的上述被编码的图片和上述解码时刻。

10.如权利要求9所述的图像编码方法，其特征在于，

针对最高层级的各个B图片，决定第2解码时刻；

上述第1解码时刻和上述第2解码时刻在时间轴上交替排列，以使各个上述第2解码时刻与一个第1相邻解码时刻及另一个上述第1相邻解码时刻相邻并处于该一个第1相邻解码时刻与另一个上述第1相邻解码时刻之间，上述第1相邻解码时刻包含于上述第1解码时刻并以上述等间隔隔开。

11.一种图像解码方法，其特征在于，

接收复用数据；

从上述复用数据取得识别信息；

基于上述识别信息，判断上述复用数据中包含的影像数据是否符合规定的标准；

在判断为上述影像数据符合上述规定的标准的情况下，向对上述影像数据进行处理的电路输出第1指示信号，以使上述电路以第1驱动频率进行动作；

在判断为上述影像数据不符合上述规定的标准的情况下，向上述电路输出第2指示信号，以使上述电路以比上述第1驱动频率低的第2驱动频率进行动作；

上述影像数据包含多个图像、与各图像建立关联的时间ID即Temporal ID、以及与各图像建立关联的解码时刻；

上述规定的标准包括高效视频编码即HEVC。

Images