CN106060540B - 图像处理装置和方法 - Google Patents

图像处理装置和方法 Download PDF

Info

Publication number
CN106060540B
CN106060540B CN201610552082.XA CN201610552082A CN106060540B CN 106060540 B CN106060540 B CN 106060540B CN 201610552082 A CN201610552082 A CN 201610552082A CN 106060540 B CN106060540 B CN 106060540B
Authority
CN
China
Prior art keywords
prediction
layer
unit
image
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201610552082.XA
Other languages
English (en)
Other versions
CN106060540A (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN106060540A publication Critical patent/CN106060540A/zh
Application granted granted Critical
Publication of CN106060540B publication Critical patent/CN106060540B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/34—Scalability techniques involving progressive bit-plane based encoding of the enhancement layer, e.g. fine granular scalability [FGS]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Medicines Containing Antibodies Or Antigens For Use As Internal Diagnostic Agents (AREA)

Abstract

本公开涉及一种图像处理装置和方法，能够抑制编码效率的恶化。一种图像处理装置包括：接收单元，其接收编码了具有多个主层的图像的编码数据和利用子层来控制是否执行层间预测的层间预测控制信息，其中层间预测是多个主层之间的预测；以及解码单元，其通过仅对由接收单元接收到的层间预测控制信息所指定的子层执行层间预测来对由接收单元接收到的编码数据的每个主层进行解码。本公开可应用到例如图像处理装置。

Description

图像处理装置和方法
本申请是申请号为201380034595.6、申请日为2013年9月19日、名称为“图像处理装置和方法”的发明专利申请的分案申请。
技术领域
本发明涉及图像处理装置和方法，具体而言涉及可抑制编码效率的恶化的图像处理装置和方法。
背景技术
近年来，如下的一种装置已变得流行：其以数字方式处理图像信息，并且为了高效地传送和累积信息，其通过采用一种编码方法来对图像进行压缩和编码，该编码方法利用图像信息所特有的冗余性通过运动补偿和诸如离散余弦变换之类的正交变换来对图像进行压缩。此编码方法包括例如MPEG(Moving Picture Experts Group，运动图片专家组)。
特别地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方法，并且是涵盖了隔行扫描图像和顺序扫描图像两者而且也涵盖了标准分辨率图像和高清晰度图像两者的标准。例如，当前MPEG2被广泛用在用于专业人员和消费者的应用中。通过使用MPEG2压缩方法，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，分配4到8Mbps的码量(比特率)。通过使用MPEG2压缩方法，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18到22Mbps的码量(比特率)。这使得高压缩率和优良的图像质量成为可能。
MPEG2主要打算用于适合于广播的高清晰度图像编码，但并不涉及比MPEG1更低的码量(比特率)，即不涉及具有更高压缩率的编码方法。随着便携式终端的普及，有可能更需要上述编码方法，并且因此，MPEG4编码方法已被标准化。关于图像编码方法，于1998年12月作为国际标准批准了名为ISO/IEC 14496-2的规范。
另外，近年来，为了对用于电话会议的图像进行编码，设定了称为H.26L(ITU-T(国际电信联盟电信标准化部门)Q6/16VCEG(Video Coding Expert Group，视频编码专家组))的标准。已经知道，H.26L实现了更高的编码效率，虽然H.26在编码和解码中要求比诸如MPEG2和MPEG4之类的传统编码方法更多的计算。另外，作为MPEG4的活动之一，基于此H.26L，实现更高编码效率的标准化正作为增强压缩视频编码联合模型被执行，其中引入了H.26L中不支持的功能。
至于标准化的日程，于2003年3月以H.264和MPEG-4第10部分(高级视频编码，以下称为AVC)的名称设定了国际标准。
此外，作为H.264/AVC的扩展，在2005年2月完成了包括MPEG-2中定义的量化矩阵或8×8DCT和诸如RGB、4:2:2和4:4:4之类的工作所必需的编码工具在内FRExt(FidelityRange Extension，保真范围扩展)的标准化。这样，能够基于H.264/AVC来表达甚至胶片中包括的胶片噪声的编码方法被实现并使用在包括蓝光盘(Blu-Ray Disc，商标)在内的广泛应用中。
然而，近年来，对于具有更高压缩率的编码的需求增大了：用与高画质图像的四倍相对应的约4000×2000像素来压缩图像；或者在具有有限传送容量的环境中——例如在因特网上——分发高画质图像。这引发了对ITU-T下的VCEG中的编码效率的提高的进一步考查。
鉴于此，为了与AVC相比提高编码效率，作为ITU-T和ISO/IEC联合标准化团体的JCTVC(Joint Collaboration Team–Video Coding，联合协作组–视频编码)已推进了被称为HEVC(High Efficiency Video Coding，高效率视频编码)的编码方法的标准化。至于HEVC规范，于2012年2月发布了对应于初稿的委员会草案(例如，参见非专利文献1)。
顺便说一下，诸如MPEG-2或AVC之类的传统图像编码方法具有通过将图像划分成多层来对图像编码的可伸缩性(scalability)功能。
换言之，仅基本层(base layer)的图像压缩信息被传送到诸如蜂窝电话之类的具有低处理能力的终端，使得具有低空间时间分辨率或低图像质量的运动图像被再现；另一方面，除了基本层的信息以外，增强层(enhancement layer)的图像压缩信息也被传送到诸如TV或个人计算机之类的具有高处理能力的终端，使得具有高空间时间分辨率或者高图像质量的运动图像被再现。从而，可以从服务器发送取决于终端或网络的能力的图像压缩信息，而没有转码处理。
顺便说一下，在可伸缩编码中，对于所有图片执行层之间的预测处理导致了计算量的增大。
鉴于此，已建议在NAL单元(NAL_Unit)中对于每一图片(picture)指定层之间的预测处理的开/关(on/off)(例如，参见非专利文献2)。
引文列表
专利文献
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,"High efficiency video coding(HEVC)textspecification draft 6",JCTVC-H1003ver21,ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG的视频编码联合协作组(JCT-VC)的第117次会议:日内瓦，瑞士，2011年11月21日-30日
非专利文献2：Jizheng Xu,"AHG10:Selective inter-layer predictionsignalling for HEVC scalable extension",JCTVC-J0239,ITU-T SG 16WP 3和ISO/IECJTC 1/SC 29/WG的视频编码联合协作组(JCT-VC)的第1110次会议：斯德哥尔摩，瑞典，2012年7月11日-20日
发明内容
本发明要解决的问题
然而，在传统方法中，用于控制层之间的预测处理的开/关(on/off)的信息是对每个图片生成和传送的。因此，有这样的风险：即，由于该信息的传送，码量将会增大，从而使编码效率恶化。
本发明是鉴于上述情况而作出的，并且要抑制编码效率的恶化。
解决问题的方案
本技术的一方面是一种图像处理装置，包括：接收单元，该接收单元接收编码了具有多个主层的图像的编码数据和利用子层来控制是否执行层间预测的层间预测控制信息，其中层间预测是多个主层之间的预测；以及解码单元，该解码单元通过仅对由接收单元接收到的层间预测控制信息所指定的子层执行层间预测来对由接收单元接收到的编码数据的每个主层进行解码。
如果当前主层的当前图片属于如下子层，则解码单元可利用层间预测对当前图片的编码数据进行解码：该子层被层间预测控制信息指定为对其执行层间预测的子层。
层间预测控制信息可指定允许层间预测的最高子层；并且解码单元可利用层间预测对属于从最低子层到层间预测控制信息指定的最高子层的子层的图片的编码数据进行解码。
层间预测控制信息可对每个主层设定。
层间预测控制信息可被设定为所有主层共通的参数。
接收单元可接收控制是否执行层间像素预测的层间像素预测控制信息和控制是否执行层间语法预测的层间语法预测控制信息，其中层间像素预测是多个主层之间的像素预测，层间语法预测是多个主层之间的语法预测，层间像素预测控制信息和层间语法预测控制信息是作为层间预测控制信息来独立设定的；并且解码单元基于由接收单元接收到的层间像素预测控制信息来执行层间像素预测，并且基于由接收单元接收到的层间语法预测控制信息来执行层间语法预测。
层间像素预测控制信息可利用子层来控制是否执行层间像素预测；解码单元可仅对层间像素预测控制信息指定的子层执行层间像素预测；层间语法预测控制信息可对于每个图片或切片控制是否执行层间语法预测；并且解码单元可仅对层间语法预测控制信息指定的图片或切片执行层间语法预测。
层间像素预测控制信息可作为nal单元(nal_unit)、视频参数集合(VPS(VideoParameter Set))或者扩展视频参数集合(vps_extension)来传送。
层间语法预测控制信息可作为nal单元(nal_unit)、图片参数集合(PPS(PictureParameter Set))或者切片头部(SliceHeader)来传送。
另外，本技术的一方面是一种图像处理方法，包括：接收编码了具有多个主层的图像的编码数据，以及利用子层来控制是否执行层间预测的层间预测控制信息，其中层间预测是多个主层之间的预测；以及通过仅对由接收到的层间预测控制信息指定的子层执行层间预测来对接收到的编码数据的每个主层进行解码。
本技术的另一方面是一种图像处理装置，包括：编码单元，该编码单元通过仅对由利用子层来控制是否执行层间预测的层间预测控制信息指定的子层执行层间预测，来对图像数据的每个主层进行编码，其中层间预测是多个主层之间的预测；以及传送单元，该传送单元传送通过编码单元进行的编码获得的编码数据，以及层间预测控制信息。
如果当前主层的当前图片属于如下子层，则编码单元利用层间预测对当前图片的图像数据进行编码：该子层被层间预测控制信息指定为对其执行层间预测的子层。
层间预测控制信息可指定允许层间预测的最高子层；并且编码单元可利用层间预测对属于从最低子层到层间预测控制信息指定的最高子层的子层的图片的图像数据进行编码。
层间预测控制信息可对每个主层设定。
层间预测控制信息可被设定为所有主层共通的参数。
编码单元可基于层间像素预测控制信息来执行作为多个主层之间的像素预测的层间像素预测，其中层间像素预测控制信息控制是否执行层间像素预测并且被设定为层间预测控制信息；编码单元基于层间语法预测控制信息来执行作为多个主层之间的语法预测的层间语法预测，其中层间语法预测控制信息控制是否执行层间语法预测并且与层间像素预测控制信息独立地被设定为层间预测控制信息；并且传送单元可以把彼此独立地设定的层间像素预测控制信息和层间语法预测控制信息作为层间预测控制信息来传送。
层间像素预测控制信息可利用子层来控制是否执行层间像素预测；编码单元可仅对层间像素预测控制信息指定的子层执行层间像素预测；层间语法预测控制信息可对于每个图片或切片控制是否执行层间语法预测；并且编码单元可仅对层间语法预测控制信息指定的图片或切片执行层间语法预测。
传送单元可将层间像素预测控制信息作为nal单元(nal_unit)、视频参数集合(VPS(Video Parameter Set))或者扩展视频参数集合(vps_extension)来传送。
传送单元可将层间语法预测控制信息作为nal单元(nal_unit)、图片参数集合(PPS(Picture Parameter Set))或者切片头部(SliceHeader)来传送。
另外，本技术的另一方面是一种图像处理方法，包括：通过仅对由利用子层来控制是否执行层间预测的层间预测控制信息指定的子层执行层间预测，来对图像数据的每个主层进行编码，其中层间预测是多个主层之间的预测；以及传送由编码获得的编码数据，以及层间预测控制信息。
在本技术的一方面中，接收编码了具有多个主层的图像的编码数据和利用子层来控制是否执行作为主层之间的预测的层间预测的层间预测控制信息，并且仅对由接收到的层间预测控制信息指定的子层执行层间预测；从而，对接收到的编码数据的每个主层解码。
在本技术的另一方面中，仅对由利用子层来控制是否执行作为主层之间的预测的层间预测的层间预测控制信息指定的子层执行层间预测，从而，对图像数据的每个主层进行编码，并且传送通过编码获得的编码数据和层间预测控制信息。
发明的效果
根据本公开，可对图像编码和解码，尤其，可以抑制编码效率的恶化。
附图说明
图1是用于描述编码单位的结构示例的图。
图2是用于描述空间可伸缩编码的示例的图。
图3是用于描述时间可伸缩编码的示例的图。
图4是用于描述信号噪声比的可伸缩编码的示例的图。
图5是用于描述视频参数集合的语法的示例的图。
图6是用于描述层间预测的示例的图。
图7是用于描述利用子层来控制层间预测的示例的图。
图8是用于描述视频参数集合的语法的示例的图。
图9是示出可伸缩编码装置的主要结构的示例的框图。
图10是示出基本层图像编码单元的主要结构的示例的框图。
图11是示出增强层图像编码单元的主要结构的示例的框图。
图12是示出共通信息生成单元和层间预测控制单元的主要结构的示例的框图。
图13是用于描述编码处理的流程的示例的流程图。
图14是用于描述共通信息生成处理的流程的示例的流程图。
图15是用于描述基本层编码处理的流程的示例的流程图。
图16是用于描述层间预测控制处理的流程的示例的流程图。
图17是用于描述增强层编码处理的流程的示例的流程图。
图18是用于描述运动预测/补偿处理的流程的示例的流程图。
图19是示出可伸缩解码装置的主要结构的示例的框图。
图20是示出基本层图像解码单元的主要结构的示例的框图。
图21是示出增强层图像解码单元的主要结构的示例的框图。
图22是示出共通信息获取单元和层间预测控制单元的主要结构的示例的框图。
图23是用于描述解码处理的示例的流程图。
图24是用于描述共通信息获取处理的流程的示例的流程图。
图25是用于描述基本层解码处理的流程的示例的流程图。
图26是用于描述层间预测控制处理的流程的示例的流程图。
图27是用于描述增强层解码处理的流程的示例的流程图。
图28是用于描述预测处理的流程的示例的流程图。
图29是用于描述视频参数集合的语法的示例的流程图。
图30是用于描述子层的结构示例的图。
图31是用于描述子层的另一结构示例的图。
图32是示出共通信息生成单元和层间预测控制单元的主要结构的示例的框图。
图33是用于描述共通信息生成处理的流程的示例的流程图。
图34是示出共通信息获取单元和层间预测控制单元的主要结构的示例的框图。
图35是用于描述共通信息获取处理的流程的示例的流程图。
图36是用于描述视频参数集合的语法的示例的图。
图37是示出共通信息生成单元和层间预测控制单元的主要结构的示例的框图。
图38是用于描述共通信息生成处理的流程的示例的流程图。
图39是用于描述层间预测控制处理的流程的示例的流程图。
图40是示出共通信息获取单元和层间预测控制单元的主要结构的示例的框图。
图41是用于描述共通信息获取处理的流程的示例的流程图。
图42是用于描述层间预测控制处理的流程的示例的流程图。
图43是用于描述层间像素预测和层间语法预测的控制的示例的图。
图44是示出共通信息生成单元和层间预测控制单元的主要结构的示例的框图。
图45是用于描述共通信息生成处理的流程的示例的流程图。
图46是用于描述基本层编码处理的流程的示例的流程图。
图47是用于描述层间预测控制处理的流程的示例的流程图。
图48是用于描述增强层编码处理的流程的示例的流程图。
图49是用于描述运动预测/补偿处理的流程的示例的流程图。
图50是用于描述内预测处理的流程的示例的流程图。
图51是示出共通信息获取单元和层间预测控制单元的主要结构的示例的框图。
图52是用于描述共通信息获取处理的流程的示例的流程图。
图53是用于描述基本层解码处理的流程的示例的流程图。
图54是用于描述层间预测控制处理的流程的示例的流程图。
图55是用于描述预测处理的流程的示例的流程图。
图56是用于描述预测处理的流程的示例的流程图，其是接续图55的。
图57是示出序列参数集合的示例的图。
图58是示出序列参数集合的示例的图，其是接续图57的。
图59是示出切片头部的示例的图。
图60是示出切片头部的示例的图，其是接续图59的。
图61是示出切片头部的示例的图，其是接续图60的。
图62是示出图像编码装置的主要结构的示例的框图。
图63是示出基本层图像编码单元的主要结构的示例的框图。
图64是示出增强层图像编码单元的主要结构的示例的框图。
图65是用于描述图像编码处理的流程的示例的流程图。
图66是用于描述基本层编码处理的流程的示例的流程图。
图67是用于描述序列参数集合生成处理的流程的示例的流程图。
图68是用于描述增强层编码处理的流程的示例的流程图。
图69是用于描述内预测处理的流程的示例的流程图。
图70是用于描述间预测处理的流程的示例的流程图。
图71是示出图像解码装置的主要结构的示例的框图。
图72是示出基本层图像解码单元的主要结构的示例的框图。
图73是示出增强层图像编码单元的主要结构的示例的框图。
图74是用于描述图像解码处理的流程的示例的流程图。
图75是用于描述基本层解码处理的流程的示例的流程图。
图76是用于描述序列参数集合解译处理的流程的示例的流程图。
图77是用于描述增强层解码处理的流程的示例的流程图。
图78是用于描述预测处理的流程的示例的流程图。
图79是用于描述层间预测控制处理的流程的示例的流程图。
图80是用于描述层间预测控制处理的流程的示例的流程图。
图81是示出层图像编码方法的示例的图。
图82是示出多视点图像编码方法的示例的图。
图83是示出计算机的主要结构的示例的框图。
图84是示出电视装置的示意性结构的示例的框图。
图85是示出蜂窝电话的示意性结构的示例的框图。
图86是示出记录/再现装置的示意性结构的示例的框图。
图87是示出摄影装置的示意性结构的示例的框图。
图88是示出可伸缩编码用途的示例的框图。
图89是示出可伸缩编码用途的另一示例的框图。
图90是示出可伸缩编码用途的另一示例的框图。
图91是示出的视频集合的示意性结构的示例的框图。
图92是示出的视频处理器的示意性结构的示例的框图。
图93是示出的视频处理器的示意性结构的另一示例的框图。
图94是示出内容再现系统的结构的说明图。
图95是示出内容再现系统中的数据流的说明图。
图96是示出MPD的具体示例的说明图。
图97是示出内容再现系统的内容服务器的结构的功能框图。
图98是示出内容再现系统的内容再现装置的结构的功能框图。
图99是示出内容再现系统的内容服务器的结构的功能框图。
图100是示出无线通信系统中的每个装置的通信处理示例的序列图。
图101是示出无线通信系统中的每个装置的通信处理示例的序列图。
图102是示意性示出无线通信系统中的每个装置在通信处理中交换的帧格式(frame format)的结构示例的图。
图103是示出无线通信系统中的每个装置的通信处理示例的序列图。
具体实施方式
以下描述实现本公开的模式(以下称为实施例)。按以下顺序进行描述：
0.概要
1.第一实施例(图像编码装置)
2.第二实施例(图像解码装置)
3.第三实施例(图像编码装置)
4.第四实施例(图像解码装置)
5.第五实施例(图像编码装置)
6.第六实施例(图像解码装置)
7.概要2
8.第七实施例(图像编码装置)
9.第八实施例(图像解码装置)
10.概要3
11.第九实施例(图像编码装置)
12.第十实施例(图像解码装置)
13.第十一实施例(层间语法预测控制)
14.其他
15.第十二实施例(计算机)
16.应用例
17.可伸缩编码的应用例
18.第十三实施例(设备/单元/模块/处理器)
19.第十四实施例(MPEG-DASH内容再现系统的应用例)
20.第十五实施例(Wi-Fi无线通信系统的应用例)
<0.概要>
<编码方法>
将基于应用本技术来按HEVC(高效率视频编码)方法对图像编码或解码的示例来描述本技术。
<编码单位>
在AVC(高级视频编码)方法中，定义了宏块和子宏块的层结构。然而，16像素×16像素的宏块对于用下一代编码方法对像UHD(超高清晰度：4000像素×2000像素)那么高的图片帧编码不是最优的。
与之不同，在HEVC方法中，如图1所示定义了编码单位(CU(Coding Unit))。
CU也被称为编码树块(Coding Tree Block，CTB)并且是与AVC方法中的宏块扮演类似角色的以图片为单位的图像的部分区域。虽然后者固定为16×16像素的大小，但前者的大小不是固定的并且将在每个序列中的图像压缩信息中指定。
例如，在要输出的编码数据中包括的序列参数集合(SPS(Sequence ParameterSet))中，定义了CU的最大大小(LCU(最大编码单位))和CU的最小大小(SCU(最小编码单位))。
在每个LCU中，通过在split–flag＝1时在大小不会变得小于SCU的大小的范围中分割单位，该单位可被划分成更小的CU。在图1的示例中，LCU的大小是128，并且最大层深度是5。当split_flag具有值“1”时，大小为2N×2N的CU被划分成低一层中的大小为N×N的CU。
另外，CU被划分成预测单位(Prediction Unit(PU))，每个区域充当间预测或内预测中的处理单位(以图片为单位的图像的部分区域)，并且被划分成变换单位(TransformUnit(TU))，每个区域充当正交变换中的处理单位(以图片为单位的图像的部分区域)。当前，在HEVC方法中，除了4×4和8×8正交变换以外，还可使用16×16和32×32正交变换。
在像HEVC方法中那样定义CU并且以CU为单位执行各种处理的这种编码方法的情况下，AVC方法中的宏块对应于LCU并且块(子块)对应于CU。另外，AVC方法中的运动补偿块对应于PU。然而，由于CU具有层结构，所以最高层LCU具有一般被设定为大于AVC方法中的宏块的大小，并且例如具有128×128像素。
因此，在以下描述中，LCU包括AVC方法中的宏块，并且CU包括AVC方法中的块(子块)。换言之，以下描述中使用的术语“块”指的是图片中的任何部分区域，并且大小、形状和特性等等是不受限制的。因此，“块”包括诸如TU、PU、SCU、CU、LCU、子块、宏块或者切片(slice)之类的任何区域(处理单位)。不用说，也包括除了上述以外的其他区域(处理单位)。如果有必要限制大小或处理单位，则将酌情进行描述。
在本说明书中，CTU(编码树单位)是包括当按LCU(最大编码单位)的CTB(编码树块)及其LCU基本(级别)执行处理时的参数的单位。另外，CTU中的CU(编码单位)是包括当按CB(编码块)及其CU基本(级别)执行处理时的参数的单位。
<模式选择>
为了在AVC和HEVC编码方法中实现更高的编码效率，选择适当的预测模式是重要的。
例如，可以从被称为JM(联合模型)的H.264/MPEG-4AVC的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm公开)中安装的方法之中进行选择。
在JM中，可以在两种模式判定方法之间进行选择：如下所述的高复杂度模式和低复杂度模式。在任一模式中，计算与预测模式Mode有关的成本函数值并且选择使该值最小化的预测模式作为块到宏块的最优模式。
高复杂度模式中的成本函数如以下公式(1)中所表达。
[数学公式1]
Cost(Mode∈Ω)＝D+λ*R...(1)
在这个公式中，Ω是用于对块到宏块编码的候选模式的全集，D是当按该预测模式执行编码时解码图像与输入图像之间的差分能量，λ是作为量化参数的函数给出的拉格朗日乘子，并且R是当按该模式执行编码时包括正交变换系数在内的总码量。
换言之，在高复杂度模式中编码要求计算参数D和R；从而，需要按全体候选模式执行临时编码处理一次，这要求更大量的计算。
低复杂度模式中的成本函数由以下公式(2)表示。
[数学公式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)
在这个公式中，D是预测图像与输入图像之间的差分能量，这与高复杂度模式的情况是不同的。QP2Quant(QP)是作为量化参数QP的函数给出的，并且HeaderBit是关于诸如运动向量和模式之类的属于头部的信息的码量，这些信息不包括正交变换系数。
也就是说，低复杂度模式要求每个候选模式上的预测处理，但不需要解码的图像；从而，编码处理不是必需的。从而，计算量可以比高复杂度模式的小。
<层编码>
诸如MPEG2或AVC之类的传统图像编码方法具有如图2至图4所示的可伸缩性(scalability)功能。可伸缩编码(阶层编码)是将图像划分成多层(阶层化)并且按每一层对图像编码的方法。
在图像的阶层化中，基于预定的参数将一个图像划分成多个图像(层)基本上，每一层由差分数据构成，以减少冗余。例如，在一个图像被划分成基本层和增强层这两层的情况下，从仅基本层的数据获得具有低于原始图像的图像质量的图像，并且通过合成基本层的数据和增强层的数据，获得原始图像(即，高质量图像)。
通过以这种方式将图像阶层化，可以根据情况容易地获得具有各种图像质量的图像。例如，仅基本层(base layer)的图像压缩信息被传送到诸如蜂窝电话之类的具有低处理能力的终端，其中具有低空间时间分辨率或低图像质量的运动图像被再现；另一方面，除了基本层(base layer)的信息以外，增强层(enhancement layer)的图像压缩信息也被传送到诸如TV或个人计算机之类的具有高处理能力的终端，其中具有高空间时间分辨率或者高图像质量的运动图像被再现。从而，可以从服务器发送取决于终端或网络的能力的图像压缩信息，而没有转码处理。
提供可伸缩性的参数的示例是如图2中所示的空间可伸缩性(spatialscalability)。在这个空间可伸缩性(spatial scalability)的情况下，分辨率对于每一层是不同的。换言之，如图2中所示，每个图片被划分成具有比原始图像低的空间分辨率的基本层和通过与基本层的图像相组合来提供原始图像(具有原始空间分辨率)的增强层这两层。不用说，层的这个数目只是示例，并且可以任意来确定。
提供可伸缩性的另一参数是如图3中所示的时间分辨率(时间可伸缩性)。在时间可伸缩性(temporal scalability)的情况下，帧率对于每一层是不同的。换言之，如图3中所示，层被划分为具有不同的帧率。通过将具有高帧率的层与具有低帧率的层相加可以获得具有更高帧率的运动图像；通过将所有层加起来，可以获得原始运动图像(具有原始帧率)。层的这个数目只是示例，并且可以任意来确定。
提供可伸缩性的另一参数是信号噪声比(SNR(Signal to Noise ratio))(SNR可伸缩性)。在SNR可伸缩性(SNR scalability)的情况下，SN比对于每一层是不同的。换言之，如图4中所示，每个图片被划分成具有比原始图像低的SNR的基本层和通过与基本层的图像相组合来提供原始图像(具有原始SNR)的增强层这两层。也就是说，在基本层(base layer)的图像压缩信息中，传送关于具有低PSNR的图像的信息；通过向其添加增强层(enhancement layer)的图像压缩信息，可以重建具有高PSNR的图像。不用说，层的这个数目只是示例，并且可以任意来确定。
可以采用除了上述那些以外的其他参数来作为提供可伸缩性的参数。例如，可以给出比特深度可伸缩性(bit-depth scalability)，其中基本层(base layer)包括8比特(bit)图像，并且通过向其添加增强层(enhancement layer)，可以获得10比特(bit)图像。
另外，给出了色度可伸缩性(chroma scalability)，其中基本层(base layer)包括4:2:0格式的成分图像，并且通过向其添加增强层(enhancement layer)，可以获得4:2:2格式的成分图像。
<视频参数集合>
在HEVC中，除了序列参数集合(SPS(Sequence Parameter Set))和图片参数集合(PPS(Picture Parameter Set))以外，还定义了如图5所示的视频参数集合(VPS(VideoParameter Set))。
<层间预测的控制>
在可伸缩编码中，对于所有图片执行层之间的预测处理导致了计算量的增大。
鉴于此，非专利文献2提出了如图6所示对于每个图片(Picture)在NAL单元(NAL_Unit)中指定层之间的预测处理的开/关(on/off)。
然而，在此方法中，对于每个图片生成并传送控制层之间的预测处理的开/关(on/off)的信息；从而，有如下的风险：由于该信息的传送而增大了码量，从而使编码效率恶化。
<层结构>
鉴于上述情况，考虑一种更高效地控制层之间的预测处理的方法。首先，在可伸缩编码(阶层编码)中如图2至图4中所示将图像数据划分成多层。在以下描述中，为了方便，将该层称为主层。
每个主层的图片组构成主层的序列。在该序列中，图片以与单个主层的运动图像数据类似的方式形成如图7所示的层结构(GOP：图片组)。在以下描述中，为了方便，将一个主层中的层称为子层。
在图7的示例中，主层包括基本层(Baselayer)和增强层(Enhlayer)这两层。基本层是只用其主层形成图像而不依赖于另一主层的层。基本层的数据是在不参考其他主层的情况下编码和解码的。增强层是通过与基本层的数据相结合来提供图像的主层。增强层的数据可使用增强层与相应的基本层之间的预测处理(主层之间的预测处理(也称为层间预测))。
可以任意确定由可伸缩编码划分成层的编码数据的主层的数目。在以下描述中，每个主层被设定为基本层或增强层，并且基本层中的任何一个被设定为每个增强层的参考目标。
在图7的示例中，基本层和增强层中的每一者具有包括如下三个子层的GOP结构：子层0(Sublayer0)、子层1(Sublayer1)和子层2(Sublayer2)。图7中所示的矩形表示图片，并且其中的字母表示图片的类型。例如，其中具有字母I的矩形表示I图片，并且其中具有字母B的矩形表示B图片。矩形之间的虚线表示依赖关系(参考关系)。如每条虚线所指示的，更高子层的图片依赖于更低子层的图片。换言之，子层2(Sublayer2)的图片参考子层1的图片或子层0的图片。另外，子层1的图片参考子层0的图片。子层0的图片在适当时参考子层0的图片。
子层的层数(子层数目)可以任意来确定。GOP结构也可任意确定并且不限于图7的示例。
<利用子层对层间预测的控制>
对于具有如上结构的图像数据，利用子层来进行层间预测的控制。换言之，生成并传送利用子层来控制是否执行每个图片中的多个主层之间的预测的层间预测控制信息。在编码方，只有层间预测控制信息中指定的子层在编码中经历层间预测；在解码方，只有层间预测控制信息中指定的子层在解码中经历层间预测。
换言之，只有属于层间预测控制信息指定的子层的图片可以使用层间预测。也就是说，简单地指定子层就能够对于主层中的所有图片控制层间预测。因此，不必单独控制每个图片并且可以对于每个主层控制图片，从而大幅减少了控制所必需的信息量。结果，可以抑制由层间预测控制引起的编码效率的恶化。
作为层间预测控制信息，可以使用指定允许层间预测的子层的信息；或者，可以使用指定允许层间预测的最高子层的信息。
例如，如图7的示例中所示，在更高子层2的图片中，图片和参考图片在时间轴上彼此接近。因此，间预测处理的效率较高，而层间预测对编码效率的改善是不高的。
另一方面，在子层1和子层0的图片中，图片和参考图片在时间轴上彼此远离，并且在由单层进行的编码处理中，选择更多的对其执行内预测的CU。换言之，层之间的预测对编码效率的改善较高。
换言之，层间预测的应用在更低的子层中可以更多地改善编码效率。因此，在在一些子层中进行层间预测的情况下，希望进行控制以在从最低子层到预定的低子层的子层上执行层间预测。
在该情况下，可以指定到哪个子层为止允许层间预测。从而，可以就只指定一个子层，这可进一步减少层间预测控制信息的量。
<视频参数集合>
在HEVC中，除了序列参数集合(SPS(Sequence Parameter Set))和图片参数集合(PPS)以外，还定义了视频参数集合(VPS(Video Parameter Set))。
对于经历了可伸缩编码的全体编码数据生成视频参数集合(VPS)。视频参数集合(VPS)存储与所有主层有关的信息。
对每个主层生成序列参数集合(SPS)。序列参数集合(SPS)存储与该主层有关的信息。
对每个主层的每个图片生成图片参数集合(PPS)。这个图片参数集合存储与该主层的图片有关的信息。
可以在例如序列参数集合(SPS)中对每一个主层传送层间预测控制信息，或者可以在视频参数集合(VPS)中将层间预测控制信息作为所有主层共通的信息来传送。
图8示出了视频参数集合的语法的示例。参数max_layer_minus1表示对其执行可伸缩编码的层(主层)的最大数目。参数vps_max_sub_layer_minus1表示对其执行可伸缩编码的每个主层中包括的子层的最大数目(子层的最大数目)。
参数max_sub_layer_for_inter_layer_prediction[i]表示对其执行层间预测的子层。参数max_sub_layer_for_inter_layer_prediction[i]表示对其执行层间预测的子层之中的最高子层。对于从最低子层到由参数max_sub_layer_for_inter_layer_prediction[i]指定的子层的范围的子层执行层间预测。
这个参数max_sub_layer_for_inter_layer_prediction[i]是对每一个主层(i)设定的。换言之，对低于或等于参数max_layer_minus1的每个主层设定参数max_sub_layer_for_inter_layer_prediction[i]。参数max_sub_layer_for_inter_layer_prediction[i]的值被设定为小于或等于参数vps_max_sub_layer_minus1的值。
可对任何参数执行层间预测。例如，在AVC可伸缩编码中，给出运动向量信息、模式信息、解码像素值、预测残差信号等等作为对其执行层间预测的参数。此外，在HEVC中，给出与正交变换跳过(Transform Skip)有关的标志(flag)、参考图片、量化参数、伸缩列表(Scaling List)、自适应偏移量等等。对其执行层间预测的参数的数目可以任意来确定并且可以是一或者大于一。
为了便于描述，以下描述执行层之间的运动预测(运动向量信息的生成)来作为层间预测的示例的情况。
接下来，将描述如上所述的本技术被应用到特定装置的示例。
<1.第一实施例>
<可伸缩编码装置>
图9是示出可伸缩编码装置的主要结构的示例的框图。
图9所示的可伸缩编码装置100对被划分成基本层和增强层的图像数据的每一层进行编码。在阶层化中用作基准的参数可任意来确定。可伸缩编码装置100包括共通信息生成单元101、编码控制单元102、基本层图像编码单元103、层间预测控制单元104和增强层图像编码单元105。
共通信息生成单元101获取例如要存储在NAL单元中的与图像数据的编码有关的信息。共通信息生成单元101在必要时从基本层图像编码单元103、层间预测控制单元104、增强层图像编码单元105等等获取必要信息。基于这些信息，共通信息生成单元101生成作为与所有主层有关的信息的共通信息。共通信息例如包括视频参数集合等等。共通信息生成单元101将所生成的共通信息作为NAL单元输出到可伸缩编码装置100之外。共通信息生成单元101还将所生成的共通信息提供给编码控制单元102。另外，共通信息生成单元101在必要时将所生成的共通信息中的一些或全部提供给基本层图像编码单元103至增强层图像编码单元105。例如，共通信息生成单元101把要处理的当前主层的层间预测执行最大子层(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元104。
编码控制单元102通过基于从共通信息生成单元101提供来的共通信息对基本层图像编码单元103至增强层图像编码单元105进行控制来控制每个主层的编码。
基本层图像编码单元103获取基本层的图像信息(基本层图像信息)。基本层图像编码单元103在不参考其他层的情况下对基本层图像信息进行编码并且生成并输出基本层的编码数据(基本层编码数据)。基本层图像编码单元103把在编码中获取的与基本层的编码有关的信息提供给层间预测控制单元104。
层间预测控制单元104存储从基本层图像编码单元103提供来的与基本层的编码有关的信息。层间预测控制单元104获取从共通信息生成单元101提供来的当前主层的层间预测执行最大子层(max_sub_layer_for_inter_layer_prediction[i])。基于该条信息，层间预测控制单元104控制向增强层图像编码单元105提供所存储的与基本层的编码有关的信息。
增强层图像编码单元105获取增强层的图像信息(增强层图像信息)。增强层图像编码单元105对增强层图像信息进行编码。在此情况下，增强层图像编码单元105根据层间预测控制单元104的控制参考与基本层的编码有关的信息来执行层间预测。更具体而言，例如，如果要处理的当前子层是允许层间预测的子层，则增强层图像编码单元105获取从层间预测控制单元104提供来的与基本层的编码有关的信息并参考该信息来执行层间预测，并且利用预测结果来对增强层图像信息进行编码。例如，如果当前子层是禁止层间预测的子层，则增强层图像编码单元105在不执行层间预测的情况下对增强层图像信息进行编码。通过如上所述的编码，增强层图像编码单元105生成并输出增强层的编码数据(增强层编码数据)。
<基本层图像编码单元>
图10是示出图9的基本层图像编码单元103的主要结构的示例的框图。如图10所示，基本层图像编码单元103包括A/D转换器111、画面重排列缓冲器112、计算单元113、正交变换单元114、量化单元115、无损编码单元116、累积缓冲器117、逆量化单元118和逆正交变换单元119。基本层图像编码单元103还包括计算单元120、环路滤波器121、帧存储器122、选择单元123、内预测单元124、运动预测/补偿单元125、预测图像选择单元126和率控制单元127。
A/D转换器111对输入图像数据(基本层图像信息)执行A/D转换，并且将转换后的图像数据(数字数据)提供给画面重排列缓冲器112并存储在其中。画面重排列缓冲器112根据GOP(图片组)按编码的顺序对帧被按存储顺序来显示的图像进行重排列，并且将帧被重排列的图像提供给计算单元113。画面重排列缓冲器112将帧被重排列的图像提供给内预测单元124和运动预测/补偿单元125。
计算单元113从读出自画面重排列缓冲器112的图像中减去通过预测图像选择单元125从内预测单元124或运动预测/补偿单元126提供来的预测图像，并将差分信息输出给正交变换单元114。例如，在对其执行内编码的图像的情况下，计算单元113从读出自画面重排列缓冲器112的图像中减去从内预测单元124提供来的预测图像。另一方面，在对其执行间编码的图像的情况下，计算单元113从读出自画面重排列缓冲器112的图像中减去从运动预测/补偿单元125提供来的预测图像。
正交变换单元114对从计算单元113提供来的差分信息执行正交变换，例如离散余弦变换或卡洛(Karhunen-Loeve)变换。正交变换单元114将变换系数提供给量化单元115。
量化单元115对从正交变换单元114提供来的变换系数进行量化。量化单元115对基于从率控制单元127提供的与码量的目标值有关的信息设定的量化参数进行量化。量化单元115把量化的变换系数提供给无损编码单元116。
无损编码单元116按任意编码方法对在量化单元115中量化了的变换系数进行编码。由于系数数据是在率控制单元127的控制下被量化的，所以码量是由率控制单元127设定的目标值(或近似该目标值)。
无损编码单元116从内预测单元124获取表示内预测的模式的信息，并且从运动预测/补偿单元125获取表示间预测的模式的信息或者差分运动向量信息。另外，无损编码单元116在适当时生成基本层的NAL单元，其包括序列参数集合(SPS)、图片参数集合(PPS)，等等。
无损编码单元116按任意编码方法对这些信息进行编码并且产生(复用)一些编码数据(也称为编码流)。无损编码单元116将编码数据提供给累积缓冲器117并将数据累积在其中。
无损编码单元116的编码方法的示例包括可变长度编码和算术编码。作为可变长度编码，例如给出了H.264/AVC中定义的CAVLC(Context-Adaptive Variable LengthCoding，情境自适应可变长度编码)。作为算术编码，例如，给出了CABAC(Context-AdaptiveBinary Arithmetic Coding，情境自适应二进制算术编码)。
累积缓冲器117临时保存从无损编码单元116提供来的编码数据(基本层编码数据)。累积缓冲器117在预定的时机把保存的基本层编码数据输出到例如传送路径或者后级中的记录装置(记录介质)。换言之，累积缓冲器117也充当传送编码数据的传送单元。
在量化单元115中量化的变换系数也被提供给逆量化单元118。逆量化单元118通过与量化单元115进行的量化相对应的方法对量化的变换系数进行逆量化。逆量化单元118把获得的变换系数提供给逆正交变换单元119。
逆正交变换单元119按照与正交变换单元114进行的正交变换处理相对应的方法对从逆量化单元118提供来的变换系数执行逆正交变换。经历了逆正交变换的输出(恢复的差分信息)被提供给计算单元120。
计算单元120把通过预测图像选择单元126来自内预测单元124或运动预测/补偿单元125的预测图像与从逆正交变换单元119提供来的与逆正交变换结果相对应的恢复的差分信息相加，从而提供本地解码的图像(解码图像)。解码图像被提供给环路滤波器121或帧存储器122。
环路滤波器121包括解块滤波器或者自适应环路滤波器等等，并且在适当时对从计算单元120提供来的重建图像进行滤波。例如，环路滤波器121通过对重建图像进行解块滤波来去除重建图像的块失真。另外，例如，环路滤波器121通过利用维纳滤波器(WienerFilter)对解块滤波处理的结果(已被去除了块失真的重建图像)进行环路滤波来改善图像质量。环路滤波器121将滤波处理结果(以下称为解码图像)提供给帧存储器122。
环路滤波器121还可对重建图像进行任何其他滤波处理。环路滤波器121在必要时可将滤波中使用的诸如滤波器系数之类的信息提供给无损编码单元116以对该信息编码。
帧存储器122存储所提供的解码图像并在预定的时机将存储的解码图像作为参考图像提供给选择单元123。
更具体而言，帧存储器122存储从计算单元120提供来的重建图像和从环路滤波器121提供来的解码图像。在预定的时机或者根据来自外部——例如来自内预测单元124——的请求，帧存储器122把存储的重建图像通过选择单元123提供给内预测单元124。在预定的时机或者根据来自外部——例如来自运动预测/补偿单元125——的请求，帧存储器122把存储的解码图像通过选择单元123提供给运动预测/补偿单元125。
选择单元123选择从帧存储器122提供来的参考图像要被提供到的目的地。例如，在内预测的情况下，选择单元123把从帧存储器122提供来的参考图像(当前图片中的像素值)提供给内预测单元124。另一方面，在间预测的情况下，选择单元123把从帧存储器122提供来的参考图像提供给运动预测/补偿单元125。
内预测单元124利用通过选择单元123从帧存储器122提供来的作为参考图像的当前图片中的像素值来执行用于生成预测图像的内预测(画面内预测)。内预测单元124在准备的多种内预测模式中执行内预测。
内预测单元124在所有内预测模式候选中生成预测图像，利用从画面重排列缓冲器112提供来的输入图像评估每个预测图像的成本函数值，然后选择最优模式。在选择最优内预测模式后，内预测单元124把在该最优模式中生成的预测图像提供给预测图像选择单元126。
如上所述，内预测单元124在适当时把表示采用的内预测模式的内预测模式信息提供给无损编码单元116，在这里该信息被编码。
运动预测/补偿单元125利用从画面重排列缓冲器112提供来的输入图像和通过选择单元123从帧存储器122提供来的参考图像来执行运动预测(间预测)。运动预测/补偿单元125根据检测到的运动向量通过运动补偿处理来生成预测图像(间预测图像信息)。运动预测/补偿单元125在准备的多种间预测模式中执行这种间预测。
运动预测/补偿单元125在所有间预测模式候选中生成预测图像。运动预测/补偿单元125利用包括从画面重排列缓冲器112提供来的输入图像和所生成的差分运动向量在内的信息来评估每个预测图像的成本函数值，然后选择最优模式。在选择最优间预测模式后，运动预测/补偿单元125把在该最优模式中生成的预测图像提供给预测图像选择单元126。
运动预测/补偿单元125把表示采用的间预测模式的信息和在对编码数据解码时对于间预测模式中的处理必要的信息提供给无损编码单元116，在这里该信息被编码。必要信息例如包括所生成的差分运动向量的信息和作为预测运动向量信息的表示预测运动向量的索引的标志。
预测图像选择单元126选择向计算单元113或计算单元120提供预测图像的源。例如，在内编码的情况下，预测图像选择单元126选择内预测单元124作为提供预测图像的源，并且把从内预测单元124提供来的预测图像提供给计算单元113或计算单元120。在间编码的情况下，预测图像选择单元126选择运动预测/补偿单元125作为提供预测图像的源，并且把从运动预测/补偿单元125提供来的预测图像提供给计算单元113或计算单元120。
率控制单元127基于累积在累积缓冲器117中的编码数据的码量来控制量化单元115的量化操作的率，以使得上溢或下溢不发生。
帧存储器122把存储的解码图像作为与基本层的编码有关的信息提供给层间预测控制单元104。
<增强层图像编码单元>
图11是示出图9的增强层图像编码单元105的主要结构的示例的框图。如图11所示，增强层图像编码单元105具有与图10的基本层图像编码单元103基本上类似的结构。
然而，增强层图像编码单元105的每个单元执行对增强层图像信息而不是基本层进行编码的处理。换言之，增强层图像编码单元105的A/D转换器111对增强层图像信息执行A/D转换，并且增强层图像编码单元105的累积缓冲器117把增强层编码数据输出到例如传送路径或者后级的记录装置(记录介质)(未示出)。
取代运动预测/补偿单元125，增强层图像编码单元105具有运动预测/补偿单元135。
除了运动预测/补偿单元125进行的图片之间的运动预测以外，运动预测/补偿单元135还可执行主层之间的运动预测。运动预测/补偿单元135获取从层间预测控制单元104提供来的与基本层的编码有关的信息(例如，基本层的解码图像)。运动预测/补偿单元135作为间预测的候选模式之一利用与基本层的编码有关的信息来执行主层的运动预测。
<共通信息生成单元和层间预测控制单元>
图12是示出图9的共通信息生成单元101和层间预测控制单元104的主要结构的示例的框图。
如图12所示，共通信息生成单元101包括主层最大数目设定单元141、子层最大数目设定单元142和层间预测执行最大子层设定单元143。另外，层间预测控制单元104包括层间预测执行控制单元151和编码相关信息缓冲器152。
主层最大数目设定单元141设定表示主层的最大数目的信息(max_layer_minus1)。子层最大数目设定单元142设定表示子层的最大数目的信息(vps_max_sub_layer_minus1)。层间预测执行最大子层设定单元143设定指定允许当前主层的层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])。
共通信息生成单元101把这些信息作为共通信息(视频参数集合(VPS))输出到可伸缩编码装置100的外部。另外，共通信息生成单元101将共通信息(视频参数集合(VPS))提供给编码控制单元102。另外，共通信息生成单元101向层间预测控制单元104提供指定允许当前主层的层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])。
层间预测执行控制单元151基于从共通信息生成单元101提供来的共通信息来控制层间预测的执行。更具体而言，层间预测执行控制单元151基于从共通信息生成单元101提供来的指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])来控制编码相关信息缓冲器152。
编码相关信息缓冲器152获取并存储从基本层图像编码单元103提供来的与基本层的编码有关的信息(例如，基本层解码图像)编码相关信息缓冲器152根据层间预测执行控制单元151的控制把存储的与基本层的编码有关的信息提供给增强层图像编码单元105。
层间预测执行控制单元151控制从编码相关信息缓冲器152提供与基本层的编码有关的信息。例如，如果在指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])中允许当前子层的层间预测，则层间预测执行控制单元151把编码相关信息缓冲器152中存储的当前子层的与基本层的编码有关的信息(例如，基本层解码图像)提供给增强层图像编码单元105。
例如，如果在指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])中不允许当前子层的层间预测，则层间预测执行控制单元151不把编码相关信息缓冲器152中存储的当前子层的与基本层的编码有关的信息(例如，基本层解码图像)提供给增强层图像编码单元105。
可伸缩编码装置100传送利用子层来控制层间预测的层间预测控制信息；因此，可以抑制由层间预测控制引起的编码效率的恶化。因此，可伸缩编码装置100可抑制由于编码和解码引起的图像质量的恶化。
<编码处理的流程>
接下来描述如上所述的可伸缩编码装置100执行的每个处理的流程。首先，将参考图13的流程图来描述编码处理的流程的示例。
在编码处理开始后，在步骤S101中，可伸缩编码装置100的共通信息生成单元101生成共通信息。在步骤S102中，编码控制单元102处理第一主层。
在步骤S103中，编码控制单元102基于在步骤S101中生成的共通信息来判定要处理的当前主层是否是基本层。如果判定当前主层是基本层，则处理前进到步骤S104。
在步骤S104中，基本层图像编码单元103执行基本层编码处理。在步骤S104中的处理结束之后，处理前进到步骤S108。
在步骤S103中，如果判定当前主层是增强层，则处理前进到步骤S105。在步骤S105中，编码控制单元102决定与当前主层相对应的基本层(即，被当前主层用作参考目标的基本层)。
在步骤S106中，层间预测控制单元104执行层间预测控制处理。
在步骤S107中，增强层图像编码单元105执行增强层编码处理。在步骤S107中的处理结束之后，处理前进到步骤S108。
在步骤S108中，编码控制单元102判定是否所有主层已被处理。如果判定仍有未处理的主层，则处理前进到步骤S109。
在步骤S109中，编码控制单元102处理下一个未处理的主层(当前主层)。在步骤S109中的处理结束之后，处理返回到步骤S103。重复从步骤S103到步骤S109的处理以对主层编码。
如果在步骤S108中判定所有主层已经被处理，则编码处理结束。
<共通信息生成处理的流程>
接下来，将参考图14的流程图来描述在图13中的步骤S101中执行的共通信息生成处理的流程的示例。
在共通信息生成处理开始后，主层最大数目设定单元141在步骤S121中设定参数(max_layer_minus1)。在步骤S122中，子层最大数目设定单元142设定参数(vps_max_sub_layers_minus1)。在步骤S123中，层间预测执行最大子层设定单元143设定每个主层的参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S124中，共通信息生成单元101生成包括在步骤S121至步骤S123中设定的参数的视频参数集合作为共通信息。
在步骤S125中，共通信息生成单元101把步骤S124中的处理生成的视频参数集合提供给编码控制单元102并且提供给可伸缩编码装置100的外部。另外，共通信息生成单元101把在步骤S123中设定的参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元104。
在步骤S125中的处理结束之后，共通信息生成处理结束并且处理返回到图13。
<基本层编码处理的流程>
接下来，将参考图15的流程图来描述在图13中的步骤S104中执行的基本层编码处理的流程的示例。
在步骤S141中，基本层图像编码单元103的A/D转换器111对基本层的输入图像信息(图像数据)执行A/D转换。在步骤S142中，画面重排列缓冲器112存储经历了A/D转换的基本层的图像信息(数字数据)并且把图片从显示顺序重排列成编码顺序。
在步骤S143中，内预测单元124在内预测模式中执行内预测处理。在步骤S144中，运动预测和补偿单元125在间预测模式中执行用于执行运动预测或运动补偿的运动预测/补偿处理。在步骤S145中，预测图像选择单元126基于从内预测单元124和运动预测/补偿单元125输出的每个成本函数值来决定最优模式。换言之，预测图像选择单元126选择由内预测单元124生成的预测图像和由运动预测/补偿单元125生成的预测图像中的任何一个。在步骤S146中，计算单元113计算由步骤S142中的处理重排列的图像与由步骤S145中的处理选择的预测图像之间的差别。差别图像包含比原始图像数据更少的数据。因此，与直接对原始数据编码相比，可以压缩数据量。
在步骤S147中，正交变换单元114对由步骤S146中的处理生成的差分信息执行正交变换处理。在步骤S148中，量化单元115利用由率控制单元127计算出的量化参数对由步骤S147中的处理获得的正交变换系数进行量化。
由步骤S148中的处理量化的差分信息如下所述在本地被解码。换言之，在步骤S149中，由步骤S148中的处理生成的经量化的系数(也称为量化系数)被具有与量化单元115的特性相对应的特性的逆量化单元118进行逆量化。在步骤S150中，逆正交变换单元119对由步骤S147中的处理获得的正交变换系数执行逆正交变换。在步骤S151中，计算单元120把预测图像与本地解码的差分信息相加，从而生成本地解码图像(与到计算单元113的输入相对应的图像)。
在步骤S152中，环路滤波器121对由步骤S151中的处理生成的图像进行滤波，从而去除块失真等等。在步骤S153中，帧存储器122存储已被步骤S152中的处理去除了块失真等等的图像。注意，未被环路滤波器121滤波的图像也被从计算单元120提供到帧存储器122并存储在其中。存储在帧存储器122中的图像被用在步骤S143或步骤S144的处理中。
在步骤S154中，帧存储器122把存储在其中的图像作为与基本层的编码有关的信息提供给层间预测控制单元104并将该信息存储其中。
在步骤S155中，无损编码单元116对由步骤S148中的处理量化的系数进行编码。换言之，与差分图像相对应的数据经历诸如可变长度编码或算术编码之类的无损编码。
在此情况下，无损编码单元116对与由步骤S145中的处理选择的预测图像的预测模式有关的信息进行编码并且将该信息添加到通过对差分图像编码而获得的编码数据。换言之，无损编码单元116对从内预测单元124提供来的最优内预测模式信息或者从运动预测/补偿单元125提供来的根据最优间预测模式的信息进行编码，并将该信息添加到编码数据。
在步骤S156中，累积缓冲器117累积由步骤S155中的处理获得的基本层编码数据。累积在累积缓冲器117中的基本层编码数据在适当时被读出并通过传送路径或记录介质被传送到解码方。
在步骤S157中，率控制单元127基于由步骤S156中的处理累积在累积缓冲器117中的编码数据的码量(生成码量)来控制量化单元115的量化操作的率以防止上溢或下溢。另外，率控制单元127把与量化参数有关的信息提供给量化单元115。
在步骤S157中的处理结束后，基本层编码处理结束并且处理返回到图13。基本层编码处理例如是以图片为单位来执行的。换言之，当前层的每个图片经历基本层编码。然而，基本层编码处理中的每个处理是以每个处理为单位执行的。
<层间预测控制处理的流程>
接下来，将参考图16的流程图来描述在图13中的步骤S106中执行的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，层间预测执行控制单元151在步骤S171中参考通过图14的共通信息生成处理从共通信息生成单元101提供来的参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S172中，层间预测执行控制单元151基于该参数的值判定当前图片的子层是否是对其执行层间预测的层。如果判定参数(max_sub_layer_for_inter_layer_prediction[i])指定的层是比当前子层更高的子层并且对于该子层允许当前子层中的层间预测，则处理前进到步骤S173。
在步骤S173中，层间预测执行控制单元151控制编码相关信息缓冲器152把存储在编码相关信息缓冲器152中的与基本层的编码有关的信息提供给增强层图像编码单元105。在步骤S173中的处理结束后，层间预测控制处理结束并且处理返回到图13。
如果在步骤S172中判定不允许当前子层中的层间预测，则不提供与基本层的编码有关的信息并且层间预测控制处理结束；从而处理返回到图13。换言之，在该当前子层的编码中不执行层间预测。
<增强层编码处理的流程>
接下来，将参考图17的流程图来描述在图13中的步骤S107中执行的增强层编码处理的流程的示例。
增强层编码处理中的步骤S191至S193和步骤S195至步骤S206中的每个处理是与基本层编码处理中的步骤S141至步骤S143、步骤S145至步骤S153和步骤S155至步骤S157中的每个处理类似地执行的。然而，增强层编码处理中的每个处理是由增强层图像编码单元105中的每个处理单元对增强层图像信息执行的。
在步骤S194中，运动预测/补偿单元135对增强层图像信息执行运动预测/补偿处理。
在步骤S206中的处理结束后，增强层编码处理结束并且处理返回到图13。增强层编码处理例如是以图片为单位来执行的。换言之，当前层的每个图片经历增强层编码处理。然而，增强层编码处理中的每个处理是以每个处理为单位执行的。
<运动预测/补偿处理的流程>
接下来，将参考图18的流程图来描述在图17中的步骤S194中执行的运动预测/补偿处理的流程的示例。
在运动预测/补偿处理开始后，运动预测/补偿单元135在步骤S221中在当前主层中执行运动预测。
在步骤S222中，运动预测/补偿单元135判定是否要对当前图片执行层间预测。与基本层的编码有关的信息被从层间预测控制单元104提供来，并且如果判定执行层间预测，则处理前进到步骤S223。
在步骤S223中，运动预测/补偿单元135获取从层间预测控制单元104提供来的与基本层的编码有关的信息。在步骤S224中，运动预测/补偿单元135利用在步骤S223中获取的信息来执行层间预测。在步骤S224中的处理结束之后，处理前进到步骤S225。
如果判定未从层间预测控制单元104提供与基本层的编码有关的信息并且在步骤S222中未执行层间预测，则省略对当前图片的层间预测并且处理前进到步骤S225。
在步骤S225中，运动预测/补偿单元135计算关于每个预测模式的成本函数值。在步骤S226中，运动预测/补偿单元135基于成本函数值来选择最优间预测模式。
在步骤S227中，运动预测/补偿单元135通过在步骤S226中选择的最优间预测模式中执行运动补偿来生成预测图像。在步骤S228中，运动预测/补偿单元135对于最优间预测模式生成与间预测有关的信息。
在步骤S228中的处理结束后，运动预测/补偿处理结束并且处理返回到图17。这样，执行了在适当时使用层间预测的运动预测/补偿处理。这个处理例如是以块为单位执行的。然而，运动预测/补偿处理中每个处理是以每个处理为单位执行。
通过执行如上所述的每个处理，可伸缩编码装置100可抑制编码效率的恶化并且抑制由编码和解码引起的图像质量的恶化。
<2.第二实施例>
<可伸缩解码装置>
接下来描述经历了如上所述的可伸缩编码(阶层编码)的编码数据(比特流)的解码。图19是示出与图9的可伸缩编码装置100相对应的可伸缩解码装置的主要结构的示例的框图。图19所示的可伸缩解码装置200按照与编码方法相对应的方法对例如通过可伸缩编码装置100对图像数据进行可伸缩编码而获得的编码数据进行可伸缩解码。
如图19所示，可伸缩解码装置200包括共通信息获取单元201、解码控制单元202、基本层图像解码单元203、层间预测控制单元204和增强层图像解码单元205。
共通信息获取单元201获取从编码方传送来的共通信息(例如视频参数集合(VPS))。共通信息获取单元201从所获取的共通信息中提取与解码有关的信息，并将该信息提供给解码控制单元202。共通信息获取单元201在适当时将这些共通信息中的一些或全部提供给基本层图像解码单元203至增强层图像解码单元205。
解码控制单元202获取从共通信息获取单元201提供来的与解码有关的信息，并且基于该信息控制基本层图像解码单元203至增强层图像解码单元205，从而控制每个主层的解码。
基本层图像解码单元203是与基本层图像编码单元103相对应的图像解码单元，并且例如，获取通过用基本层图像编码单元103对基本层图像信息进行编码而获得的基本层编码数据。基本层图像解码单元203在不参考其他层的情况下对基本层编码数据进行解码并且重建并输出基本层图像信息。基本层图像解码单元203把通过解码获得的与基本层的解码有关的信息提供给层间预测控制单元204。
层间预测控制单元204控制增强层图像解码单元205对层间预测的执行。层间预测控制单元204获取并存储从基本层图像解码单元203提供来的与基本层的解码有关的信息。另外，层间预测控制单元204在对允许层间预测的子层的解码中向增强层图像解码单元205提供存储的与基本层的解码有关的信息。
增强层图像解码单元205是与增强层图像编码单元105相对应的图像解码单元，并且例如，获取通过由增强层图像编码单元105对增强层图像信息进行编码而获得的增强层编码数据。增强层图像解码单元205对增强层编码数据进行解码。在此情况下，增强层图像解码单元205根据层间预测控制单元204的控制参考与基本层的解码有关的信息来执行层间预测。更具体而言，例如，如果要处理的当前子层是允许层间预测的子层，则增强层图像解码单元205获取从层间预测控制单元204提供来的与基本层的解码有关的信息，参考该信息执行层间预测，并且利用预测结果来对增强层编码数据进行解码。另一方面，如果当前子层是禁止层间预测的子层，则增强层图像解码单元205在不执行层间预测的情况下对增强层编码数据进行解码。通过如上所述的编码，增强层图像解码单元205重建增强层图像信息并且输出该信息。
<基本层图像解码单元>
图20是示出图19的基本层图像解码单元203的主要结构的示例的框图。如图20所示，基本层图像解码单元203包括累积缓冲器211、无损解码单元212、逆量化单元213、逆正交变换单元214、计算单元215、环路滤波器216、画面重排列缓冲器217和D/A转换器218。基本层图像解码单元203包括帧存储器219、选择单元220、内预测单元221、运动补偿单元222和选择单元223。
累积缓冲器211也充当接收传送的基本层编码数据的接收单元。累积缓冲器211接收并累积传送的基本层编码数据并在预定的时机将编码数据提供给无损解码单元212。基本层编码数据包括对于解码必要的信息，例如预测模式信息。
无损解码单元212按照与无损编码单元116的编码方法相对应的方法对从累积缓冲器211提供的由无损编码单元116编码的信息进行解码。无损解码单元212把通过对经解码的差分图像进行量化而获得的系数数据提供给逆量化单元213。
另外，无损解码单元212提取并获取基本层编码数据中包括的例如包括视频参数集合(VPS)、序列参数集合(SPS)和图片参数集合(PPS)的NAL单元。无损解码单元212从这些信息中提取与最优预测模式有关的信息，并且基于该信息来判定内预测模式和间预测模式中的哪一个被选择为了最优预测模式。然后，无损解码单元212把与最优预测模式有关的信息提供给内预测单元221和运动补偿单元222中具有所选模式的那一个。换言之，例如，如果在基本层图像编码单元103中将内预测模式选择为了最优预测模式，则与该最优预测模式有关的信息被提供给内预测单元221。另一方面，如果在基本层图像编码单元103中将间预测模式选择为了最优预测模式，则与该最优预测模式有关的信息被提供给运动补偿单元222。
另外，无损解码单元212从NAL单元等中提取逆量化所必要的信息，例如量化矩阵或量化参数，并将该信息提供给逆量化单元213。
逆量化单元213按照与量化单元115的量化方法相对应的方法对通过无损解码单元212进行的解码获得的量化系数数据进行逆量化。注意，这个逆量化单元213是与逆量化单元118类似的处理单元。因此，对逆量化单元213的描述可应用于逆量化单元118。然而，需要根据装置来适当地设定数据输入和输出目的地。逆量化单元213将所获得的系数数据提供给逆正交变换单元214。
逆正交变换单元214按照与正交变换单元114的正交变换方法相对应的方法对从逆量化单元213提供来的系数数据执行逆正交变换。注意，逆正交变换单元214是与逆正交变换单元119类似的处理单元。换言之，对逆正交变换单元214的描述可应用于逆正交变换单元119。然而，需要根据装置来适当地设定数据输入和输出目的地。
通过逆正交变换处理，逆正交变换单元214获得与正交变换单元114中的正交变换之前的残差数据相对应的解码残差数据。从逆正交变换获得的解码残差数据被提供给计算单元215。通过选择单元223从内预测单元221或运动补偿单元222将预测图像提供到计算单元215。
计算单元215对解码残差数据和预测图像求和，从而提供与计算单元113减去预测图像之前的图像数据相对应的解码图像数据。计算单元215把解码图像数据提供给环路滤波器216。
环路滤波器216适当地对提供来的解码图像利用解块滤波器、自适应环路滤波器等等执行滤波处理，并且将所获得的主层提供给画面重排列缓冲器217和帧存储器219。例如，环路滤波器216通过对解码图像执行解块滤波处理来去除解码图像的块失真。另外，环路滤波器216通过利用维纳滤波器(Wiener Filter)对解块滤波处理结果(已被去除了块失真的解码图像)执行环路滤波处理来改善图像。注意，此环路滤波器216是与环路滤波器121类似的处理单元。
注意，从计算单元215输出的解码图像可被提供到画面重排列缓冲器217和帧存储器219，其间没有环路滤波器216。换言之，环路滤波器216进行的滤波处理可被部分或完全省略。
画面重排列缓冲器217对解码图像进行重排列。换言之，画面重排列缓冲器112根据编码顺序重排列的帧的顺序被按原始显示顺序来重排列。D/A转换器218对从画面重排列缓冲器217提供来的图像执行D/A转换，并将图像输出到未示出的显示器，在这里图像被显示。
帧存储器219存储所提供的解码图像并且在预定的时机或者根据来自外界的请求——例如来自内预测单元221或运动补偿单元222的请求——把存储的解码图像作为参考图像提供给选择单元220。
帧存储器219把存储的解码图像作为与基本层的解码有关的信息提供给层间预测控制单元204。
选择单元220选择从帧存储器219提供来的参考图像要被提供到的目的地。选择单元220在对内编码的图像解码的情况下把从帧存储器219提供来的参考图像提供给内预测单元221。另一方面，在对间编码的图像解码的情况下，选择单元220把从帧存储器219提供来的参考图像提供给运动补偿单元222。
通过对头部信息等等解码而获得的表示内预测模式的信息在适当时被从无损解码单元212提供到内预测单元221。内预测单元221在内预测单元124中使用的内预测模式中利用从帧存储器219获取的参考图像执行内预测，并且生成预测图像。内预测单元221把所生成的预测图像提供给选择单元223。
运动补偿单元222从无损解码单元212获取通过对头部信息解码而获得的信息(例如最优预测模式信息和参考图像信息)。
运动补偿单元222在由从无损解码单元212获取的最优预测模式信息所表示的间预测模式中利用从帧存储器219获取的参考图像来执行运动补偿，并且生成预测图像。
选择单元223把来自内预测单元221的预测图像或者来自运动补偿单元222的预测图像提供给计算单元215。在计算单元215中，利用运动向量生成的预测图像和来自逆正交变换单元214的解码残差数据(差分图像信息)被结合，从而获得原始图像。
<增强层图像编码单元>
图21是示出图19的增强层图像解码单元205的主要结构的示例的框图。如图21所示，增强层图像解码单元205具有与图20的基本层图像解码单元203基本上类似的结构。
然而，增强层图像解码单元205的每个单元执行对增强层而不是基本层的编码数据进行解码的处理。换言之，增强层图像解码单元205的累积缓冲器211存储增强层编码数据，并且增强层图像解码单元205的D/A转换器218将增强层图像信息输出到例如后级的记录装置(记录介质)或者传送路径(未示出)。
取代运动补偿单元222，增强层图像解码单元205具有运动补偿单元232。
运动补偿单元232不仅执行运动补偿单元222进行的图片之间的运动补偿，而且还执行主层之间的运动补偿。在此情况下，运动补偿单元232获取从层间预测控制单元204提供来的与基本层的解码有关的信息(例如，基本层解码图像)。运动补偿单元232利用与基本层的解码有关的信息来执行主层的运动补偿。
<共通信息获取单元和层间预测控制单元>
图22是示出图19的共通信息获取单元201和层间预测控制单元204的主要结构的示例的框图。
如图22所示，共通信息获取单元201包括主层最大数目获取单元241、子层最大数目获取单元242和层间预测执行最大子层获取单元243。层间预测控制单元204包括层间预测执行控制单元251和解码相关信息缓冲器252。
主层最大数目获取单元241获取从编码方传送来的共通信息中包括的表示主层的最大数目的信息(max_layer_minus1)。子层最大数目获取单元242获取从编码方传送来的共通信息中包括的表示子层的最大数目的信息(vps_max_sub_layer_minus1)。层间预测执行最大子层获取单元243获取从编码方传送来的共通信息中包括的指定允许当前主层的层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])。
共通信息获取单元201把所获取的共通信息中包括的与解码有关的信息(例如视频参数集合(VPS))提供给解码控制单元202。另外，共通信息获取单元201向层间预测控制单元204提供指定允许当前主层的层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])。
层间预测执行控制单元251基于从共通信息获取单元201提供来的共通信息来控制层间预测的执行。更具体而言，层间预测执行控制单元251基于从共通信息获取单元201提供来的指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])来控制解码相关信息缓冲器252。
解码相关信息缓冲器252获取并存储从基本层图像解码单元203提供来的与基本层的解码有关的信息(例如基本层解码图像)。解码相关信息缓冲器252根据层间预测执行控制单元251的控制把存储的与基本层的解码有关的信息提供给增强层图像解码单元205。
层间预测执行控制单元251控制从这个解码相关信息缓冲器252提供与基本层的解码有关的信息。例如，如果在指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])中允许当前子层的层间预测，则层间预测执行控制单元251把解码相关信息缓冲器252中存储的关于当前子层的与基本层的解码有关的信息(例如，基本层解码图像)提供给增强层图像解码单元205。
另一方面，如果在指定允许层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])中不允许当前子层的层间预测，则层间预测执行控制单元251不把解码相关信息缓冲器252中存储的关于当前子层的与基本层的解码有关的信息(例如，基本层解码图像)提供给增强层图像解码单元205。
从而，可伸缩解码装置200传送利用子层来控制层间预测的层间预测控制信息；因此，可以抑制由层间预测控制引起的编码效率的恶化。这可抑制由于可伸缩解码装置200中的编码和解码引起的图像质量的恶化。
<解码处理的流程>
接下来描述如上所述的可伸缩解码装置200要执行的处理的流程。首先，将参考图23的流程图来描述解码处理的流程的示例。
在解码处理开始后，在步骤S301中，可伸缩解码装置200的共通信息获取单元201获取共通信息。在步骤S302中，解码控制单元202处理第一主层。
在步骤S303中，解码控制单元202基于在步骤S301中获取的从编码方传送来的共通信息来判定要处理的当前主层是否是基本层。如果判定当前主层是基本层，则处理前进到步骤S304。
在步骤S304中，基本层图像解码单元203执行基本层解码处理。在步骤S304的处理结束之后，处理前进到步骤S308。
如果在步骤S303中判定当前主层是增强层，则处理前进到步骤S305。在步骤S305中，解码控制单元202决定与当前主层相对应的基本层(即，用作参考目标的基本层)。
在步骤S306中，层间预测控制单元204执行层间预测控制处理。
在步骤S307中，增强层图像解码单元205执行增强层解码处理。在步骤S307的处理结束后，处理前进到步骤S308。
在步骤S308中，解码控制单元202判定是否所有主层已被处理。如果判定仍存在未处理的主层，则处理前进到步骤S309。
在步骤S309中，解码控制单元202处理下一个未处理的主层(当前主层)。在步骤S309的处理结束后，处理返回到步骤S303。反复执行从步骤S303到步骤S309的处理以对主层解码。
如果在步骤S308中判定所有主层已经被处理，则解码处理结束。
<共通信息获取处理的流程>
接下来，将参考图24的流程图来描述在图23的步骤S301中要执行的共通信息获取处理的流程的示例。
在共通信息获取处理开始后，共通信息获取单元201在步骤S321中获取从编码方传送来的视频参数集合(VPS)。
在步骤S322中，主层最大数目获取单元241从视频参数集合获取参数(max_layer_minus1)。在步骤S323中，子层最大数目获取单元242从视频参数集合获取参数(vps_max_sub_layers_minus1)。在步骤S324中，层间预测执行最大子层获取单元243对于每个主层获取参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S325中，共通信息获取单元201从视频参数中提取对解码的控制所必要的信息并将该信息作为与解码有关的信息提供给解码控制单元202。
在步骤S325的处理结束后，共通信息获取处理结束并且处理返回到图23。
<基本层解码处理的流程>
接下来，将参考图25的流程图来描述在图23中的步骤S304中执行的基本层解码处理的流程的示例。
在基本层解码处理开始后，基本层图像解码单元203的累积缓冲器211在步骤S341中累积从编码方传送来的基本层的比特流。在步骤S342中，无损解码单元212对从累积缓冲器211提供来的基本层的比特流(编码差分图像信息)进行解码。换言之，经无损编码单元116编码的I图片、P图片和B图片被解码。在此情况下，比特流中包括的除了差分图像信息以外的诸如头部信息之类的各种其他信息也被解码。
在步骤S343中，逆量化单元213对由步骤S342中的处理获得的量化系数进行逆量化。
在步骤S344中，逆正交变换单元214对当前块(当前TU)执行逆正交变换。
在步骤S345中，内预测单元221或运动补偿单元222执行预测处理并生成预测图像。换言之，按在无损解码单元212中确定的在编码中采用的预测模式执行预测处理。更具体而言，例如，在编码时应用了内预测的情况下，内预测单元221按在编码时确定为最优的内预测模式生成预测图像。另一方面，在编码时应用了间预测的情况下，运动补偿单元222按在编码时确定为最优的间预测模式生成预测图像。
在步骤S346中，计算单元215把在步骤S345中生成的预测图像与由步骤S344中的逆正交变换处理生成的差分图像信息相加。从而，由解码形成了原始图像。
在步骤S347中，环路滤波器216适当地对在步骤S346中获得的解码图像执行环路滤波器处理。
在步骤S348中，画面重排列缓冲器217对在步骤S347中滤波的图像进行重排列。换言之，被画面重排列缓冲器112为了编码而重排列的帧顺序被重排列成原始显示顺序。
在步骤S349中，D/A转换器218对帧顺序在步骤S348中已被重排列的图像执行D/A转换。这个图像被输出到未示出的显示器并显示在显示器上。
在步骤S350中，帧存储器219存储在步骤S347中经历了环路滤波处理的图像。
在步骤S351中，帧存储器219把在步骤S350中存储的解码图像作为与基本层的解码有关的信息提供给层间预测控制单元204的解码相关信息缓冲器252并将该信息存储在解码相关信息缓冲器252中。
在步骤S351的处理结束后，基本层解码处理结束并且处理返回到图23。基本层解码处理例如是以图片为单位来执行的。换言之，基本层解码处理是对当前层的每个图片执行的。然而，基本层解码处理中的每个处理是以每个处理为单位执行的。
<层间预测控制处理的流程>
接下来，将参考图26的流程图来描述在图23中的步骤S306中执行的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，层间预测执行控制单元251在步骤S371中参考由图24中的共通信息生成处理从共通信息获取单元201提供来的参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S372中，层间预测执行控制单元251基于该参数的值判定当前图片的当前子层是否是对其执行层间预测的层。如果参数(max_sub_layer_for_inter_layer_prediction[i])指定的层是比当前子层更高的子层并且判定允许当前子层的层间预测，则处理前进到步骤S373。
在步骤S373中，层间预测执行控制单元251控制解码相关信息缓冲器252把存储在解码相关信息缓冲器252中的与基本层的解码有关的信息提供给增强层图像解码单元205。在步骤S373的处理结束后，层间预测控制处理结束并且处理返回到图23。
如果在步骤S372中判定不允许当前子层的层间预测，则层间预测控制处理结束，而不提供与基本层的编码有关的信息，并且处理返回到图23。换言之，在这个当前子层的编码中不执行层间预测。
<增强层解码处理的流程>
接下来，将参考图27的流程图来描述在图23中的步骤S307中执行的增强层解码处理的流程的示例。
增强层解码处理中的从步骤S391到步骤S394和步骤S396到步骤S400的处理是按与基本层解码处理中的从步骤S341到步骤S344和步骤S346到步骤S350的处理类似的方式执行的。然而，增强层解码处理的每个处理是由增强层图像解码单元205的每个处理单元对增强层编码数据执行的。
在步骤S395中，内预测单元221或运动补偿单元232对增强层编码数据执行预测处理。
在步骤S400的处理结束后，增强层解码处理结束并且处理返回到图23。增强层解码处理例如是以图片为单位来执行的。换言之，增强层解码处理是对当前层的每个图片执行的。然而，增强层解码处理中的每个处理是以每个处理为单位执行的。
<预测处理的流程>
接下来，将参考图28的流程图来描述在图27中的步骤S395中执行的预测处理的流程的示例。
在预测处理开始后，运动补偿单元232在步骤S421中判定预测模式是否是间预测。如果判定预测模式是间预测，则处理前进到步骤S422。
在步骤S422中，运动补偿单元232判定作为在编码中采用的预测模式的最优间预测模式是否是执行层间预测的模式。如果判定最优间预测模式是执行层间预测的模式，则处理前进到步骤S423。
在步骤S423中，运动补偿单元232获取与基本层的解码有关的信息。在步骤S424中，运动补偿单元232利用与基本层有关的信息来执行运动补偿，并且生成用于层间预测的预测图像。在步骤S424的处理结束后，处理前进到步骤S427。
如果在步骤S422中如果判定最优间预测模式不是执行层间预测的模式，则处理前进到步骤S425。在步骤S425中，运动补偿单元232在当前主层中执行运动补偿，并且生成预测图像。在步骤S425的处理结束后，处理前进到步骤S427。
如果在步骤S421中判定最优间预测模式是内预测，则处理前进到步骤S426。在步骤S426中，内预测单元221在作为编码中采用的内预测模式的最优内预测模式中生成预测图像。在步骤S426的处理结束后，处理前进到步骤S427。
在步骤S427中，选择单元223选择预测图像并将该图像提供给计算单元215。在步骤S427的处理结束后，预测结束并且处理返回到图27。
通过执行如上所述的处理，可伸缩解码装置200可抑制编码效率的恶化以及由编码和解码引起的图像质量的恶化。
<3.第三实施例>
<对于每个主层指定子层>
虽然已描述了作为共通信息例如在视频参数集合(VPS)中由参数(vps_max_sub_layers_minus1)指定每个主层中的子层的数目的最大值，但本公开不限于此，并且每个主层中的子层的数目可以单独来指定。
图29示出了此情况下的视频参数集合的语法的示例。如图29所示，在此情况下，取代视频参数集合(VPS)中的参数(vps_max_sub_layers_minus1)，设定参数(vps_num_sub_layers_minus1[i])。
此参数(vps_num_sub_layers_minus1[i])是对于每个主层设定的参数，并且指定相应主层中的子层的层数(子层数目)。换言之，这个参数单独指定每个主层的子层的数目。
有各种阶层化方法；例如，对于每个主层可以使子层数目不同(例如，GOP结构)。在图30所示的示例的情况下，在主层中，与更低层(基本层)相比，更高层(增强层)包含更少的子层。在图31所示的示例的情况下，在主层中，与更低层(基本层)相比，更高层(增强层)包含更多的子层。
通过利用参数(vps_num_sub_layers_minus1[i])在每个主层中单独指定子层的数目，可伸缩编码装置100和可伸缩解码装置200可利用此值来对层间预测执行更具体(更准确)的控制。
例如，在以上描述中参数(max_sub_layer_for_inter_layer_prediction)的值小于或等于参数(vps_max_sub_layers_minus1)；然而，即使对参数(max_sub_layer_for_inter_layer_prediction)设定大于基本层和增强层两者的子层数目的值，子层的实际数目也是最高层。换言之，为了正确地控制层间预测，有必要额外地知道基本层和增强层的子层的数目。
从而，通过利用参数(vps_num_sub_layers_minus1[i])的值，将参数(max_sub_layer_for_inter_layer_prediction)的值设定为小于或等于子层的数目，该子层的数目是基本层的子层数目和增强层的子层数目之中较小的那个数目。因此，可以更容易且准确地控制层间预测。
<共通信息生成单元和层间预测控制单元>
图32是示出此情况下的可伸缩编码装置100的共通信息生成单元和层间预测控制单元的主要结构的示例的框图。在此情况下，取代共通信息生成单元101，可伸缩编码装置100包括共通信息生成单元301。
如图32所示，共通信息生成单元301是与共通信息生成单元101基本类似的处理单元并且具有类似的结构，只不过共通信息生成单元301具有子层数目设定单元342和层间预测执行最大子层设定单元343，而不是子层最大数目设定单元142和层间预测执行最大子层设定单元143。
子层数目设定单元342设定参数(vps_num_sub_layers_minus1[i])，其是指定相应主层的子层的数目的信息。子层数目设定单元342对于每个主层(i)设定参数(vps_num_sub_layers_minus1[i])。
子层数目设定单元342基于由子层数目设定单元342设定的参数(vps_num_sub_layers_minus1[i])的值来设定参数(max_sub_layer_for_inter_layer_prediction[i])，其是指定相应主层中允许层间预测的子层之中的最高子层的信息。
从而，可伸缩编码装置100可以更容易且准确地控制层间预测。
<共通信息生成处理的流程>
参考图33的流程图来描述在此情况下的共通信息生成处理的流程的示例。在共通信息生成处理开始后，主层最大数目设定单元141在步骤S501中设定参数(max_layer_minus1)。
在步骤S502中，子层数目设定单元342对于每个主层设定参数(vps_num_sub_layers_minus1[i])。
在步骤S503中，层间预测执行最大子层设定单元343基于当前层和参考目标层的参数(vps_num_sub_layers_minus1[i])来对每个主层设定参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S504中，共通信息生成单元101生成包括在步骤S501至步骤S503中设定的参数的视频参数集合作为共通信息。
在步骤S505中，共通信息生成单元101把由步骤S504中的处理生成的视频参数集合提供给可伸缩编码装置100的外部并且提供给编码控制单元102。共通信息生成单元101还把在步骤S503中设定的参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元104。
在步骤S505的处理结束后，共通信息生成处理结束并且处理返回到图13。
通过如上所述的处理，可伸缩编码装置100可以更容易且准确地执行层间预测。
<4.第四实施例>
<共通信息获取单元和层间预测控制单元>
接下来，描述可伸缩解码装置200。图34是示出可伸缩解码装置200的共通信息获取单元和层间预测控制单元的主要结构的示例的框图。在此情况下，取代共通信息获取单元201，可伸缩解码装置200具有共通信息获取单元401。
如图34所示，共通信息获取单元401是与共通信息获取单元201基本类似的处理单元并且具有类似的结构，只不过共通信息获取单元401具有子层数目获取单元442和层间预测执行最大子层获取单元443，而不是子层最大数目获取单元242和层间预测执行最大子层获取单元243。
子层数目获取单元442获取从编码方传送来的共通信息中包括的参数(vps_num_sub_layers_minus1[i])。层间预测执行最大子层获取单元443获取从编码方传送来的共通信息中包括的参数(max_sub_layer_for_inter_layer_prediction[i])。如上所述，这个参数(max_sub_layer_for_inter_layer_prediction[i])是在编码方利用参数(vps_num_sub_layers_minus1[i])的值来设定的。
共通信息获取单元401把所获取的共通信息中包括的与解码有关的信息(例如视频参数集合(VPS))提供给解码控制单元202。另外，共通信息获取单元401把指定允许当前主层的层间预测的子层之中的最高子层的信息(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元204。
从而，可伸缩解码装置200可以更容易且准确地控制层间预测。
<共通信息获取处理的流程>
接下来，将参考图35的流程图来描述在图23中的步骤S301中执行的共通信息获取处理的流程的示例。
在共通信息获取处理开始后，共通信息获取单元401在步骤S521中获取从编码方传送来的视频参数集合(VPS)。
在步骤S522中，主层最大数目获取单元241从视频参数集合获取参数(max_layer_minus1)。
在步骤S523中，子层数目获取单元442从视频参数集合(VPS)中对于每个主层获取参数(vps_num_sub_layers_minus1[i])。
在步骤S524中，层间预测执行最大子层获取单元443从视频参数集合(VPS)中对于每个主层获取参数(max_sub_layer_for_inter_layer_prediction[i])。
在步骤S525中，共通信息获取单元401从视频参数集合中提取对解码的控制所必要的信息并将该信息作为与解码有关的信息提供给解码控制单元202。共通信息获取单元401把在步骤S523中设定的参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元204。
在步骤S525中的处理结束后，共通信息获取处理结束并且处理返回到图23。
通过执行如上所述的处理，可伸缩解码装置200可以更容易且准确地控制层间预测。
<5.第五实施例>
<各主层共通的层间预测控制信息>
在以上描述中，对于每个主层设定参数(max_sub_layer_for_inter_layer_prediction[i])；然而，本公开不限于此，而是可以在所有主层之间共通地使用此值。
另外，可以设定控制层间预测控制信息是对每个主层设定还是设定为所有主层共通的值的控制信息(标志)。
图36示出了此情况下的视频参数集合的语法的示例。如图36所示，在此情况下，设定标志(unified_max_sub_layer_for_inter_layer_prediction_flag)，其控制在视频参数集合(VPS)中哪个参数被设定为层间预测控制信息。
如果此标志(unified_max_sub_layer_inter_layer_prediction_flag)为真，则设定所有主层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。相反，如果标志(unified_max_sub_layer_inter_layer_prediction_flag)为假，则对每个主层设定参数(max_sub_layer_for_inter_layer_prediction[i])。
通过设定参数(unified_max_sub_layer_for_inter_layer_prediction)而不是参数(max_sub_layer_for_inter_layer_prediction[i])，可以进一步减少层间预测控制信息的信息量，从而抑制由层间预测控制引起的编码效率的恶化和由于编码和解码引起的图像质量的恶化。
然而，如果该参数是对所有层共通的值，那么减少了信息量，但是准确度恶化了。这可导致对层间预测的不那么准确的控制。鉴于此，通过使用该标志来控制指定允许层间预测的子层中的最高子层的信息是对每个层设定还是被设定为所有层共通的值，可以应对各种情况并且实现更具适应性的层间预测控制。
<共通信息生成单元和层间预测控制单元>
图37是示出可伸缩编码装置100的层间预测控制单元和共通信息生成单元的主要结构的示例的框图。在此情况下，取代共通信息生成单元101，可伸缩编码装置100包括共通信息生成单元501。取代层间预测控制单元104，可伸缩编码装置100包括层间预测控制单元504。
如图37所示，共通信息生成单元501是与共通信息生成单元101基本类似的处理单元，只不过共通信息生成单元501具有共通标志设定单元543和层间预测执行最大子层设定单元544，而不是层间预测执行最大子层设定单元143。
共通标志设定单元543设定控制哪个参数要设定为层间预测控制信息的标志(unified_max_sub_layer_inter_layer_prediction_flag)。
层间预测执行最大子层设定单元544基于由共通标志设定单元543设定的标志(unified_max_sub_layer_inter_layer_prediction_flag)的值和由子层最大数目设定单元142设定的参数(vps_max_sub_layers_minus1)的值来设定指定允许层间预测的子层之中的最高子层的信息。例如，如果标志(unified_max_sub_layer_inter_layer_prediction_flag)为真，则层间预测执行最大子层设定单元544设定对所有主层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。如果标志(unified_max_sub_layer_inter_layer_prediction_flag)为假，则层间预测执行最大子层设定单元544对于每个主层设定参数(max_sub_layer_for_inter_layer_prediction[i])。
从而，可伸缩编码装置100可以更具适应性地控制层间预测。
<共通信息生成处理的流程>
参考图38的流程图来描述在此情况下的共通信息生成处理的流程的示例。在共通信息生成处理开始后，主层最大数目设定单元141在步骤S601中设定参数(max_layer_minus1)。在步骤S602中，子层最大数目设定单元142设定参数(vps_max_sub_layers_minus1)。
在步骤S603中，共通标志设定单元543设定控制要设定哪个参数的标志(unified_max_sub_layer_inter_layer_prediction_flag)。
在步骤S604中，层间预测执行最大子层设定单元544判定标志(unified_max_sub_layer_inter_layer_prediction_flag)的值是否为真。如果判定该标志为真，则处理前进到步骤S605。
在步骤S605中，层间预测执行最大子层设定单元544设定所有主层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。在步骤S605的处理结束后，处理前进到步骤S607。
如果在步骤S604中判定该标志为假，则处理前进到步骤S606。在步骤S606中，层间预测执行最大子层设定单元544对于每个主层设定参数(max_sub_layer_for_inter_layer_prediction[i])。在步骤S606的处理结束后，处理前进到步骤S607。
在步骤S607中，共通信息生成单元501生成包括在步骤S601至步骤S606中设定的每个参数的视频参数集合作为共通信息。
在步骤S608中，共通信息生成单元501把由步骤S607中的处理生成的视频参数集合提供给可伸缩编码装置100的外部并且提供给编码控制单元102。共通信息生成单元501把在步骤S503中设定的参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元504。
在步骤S608的处理结束后，共通信息生成处理结束并且处理返回到图13。
<层间预测控制处理的流程>
接下来，参考图39的流程图来描述在此情况下的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，层间预测执行控制单元551在步骤S621中判定标志(unified_max_sub_layer_inter_layer_prediction_flag)的值是否为真。如果判定该值为真，则处理前进到步骤S622。
在步骤S622中，层间预测执行控制单元551参考所有主层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。在步骤S622的处理结束后，处理前进到步骤S624。
如果在步骤S621中判定该值为假，则处理前进到步骤S623。
在步骤S623中，层间预测执行控制单元551对于每个主层参考参数(max_sub_layer_for_inter_layer_prediction[i])。在步骤S623的处理结束后，处理前进到步骤S624。
在步骤S624中，基于这些信息，层间预测执行控制单元551判定当前子层是否是对其执行层间预测的层。如果判定当前子层是对其执行层间预测的层，则处理前进到步骤S625。
在步骤S625中，层间预测执行控制单元551控制编码相关信息缓冲器152把存储在编码相关信息缓冲器152中的与基本层的编码有关的信息提供给增强层图像编码单元105。在步骤S624的处理结束后，层间预测控制处理结束并且处理返回到图13。
如果在步骤S624中判定不允许当前子层的层间预测，则层间预测控制处理结束，而不提供与基本层的编码有关的信息，并且处理返回到图13。换言之，在这个当前子层的编码中不执行层间预测。
通过执行如上所述的处理，可伸缩编码装置100可以更容易且正确地控制层间预测。
<6.第六实施例>
<共通信息获取单元和层间预测控制单元>
接下来，描述可伸缩解码装置200。图40是示出此情况下的共通信息生成单元和层间预测控制单元的主要结构的示例的框图。
如图40所示，在此情况下，取代共通信息获取单元201，可伸缩解码装置200包括共通信息获取单元601。另外，取代层间预测控制单元204，可伸缩编码装置200包括层间预测控制单元604。
共通信息获取单元601是与共通信息获取单元201基本类似的处理单元，只不过共通信息获取单元601具有共通标志获取单元643和层间预测执行最大子层获取单元644，而不是层间预测执行最大子层获取单元243。
共通标志获取单元643获取控制哪个参数要设定为层间预测控制信息的标志(unified_max_sub_layer_inter_layer_prediction_flag)。
如果标志(unified_max_sub_layer_inter_layer_prediction_flag)为真，则层间预测执行最大子层获取单元644获取所有主层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。如果标志(unified_max_sub_layer_inter_layer_prediction_flag)为假，则层间预测执行最大子层设定单元343对于每个主层获取参数(max_sub_layer_for_inter_layer_prediction[i])。
共通信息获取单元601把所获取的共通信息中包括的与解码有关的信息(例如视频参数集合(VPS))提供给解码控制单元202。另外，共通信息获取单元601把参数(unified_max_sub_layer_for_inter_layer_prediction)或者参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元604。
基于从共通信息获取单元601提供来的参数(unified_max_sub_layer_for_inter_layer_prediction)或者参数(max_sub_layer_for_inter_layer_prediction[i])，层间预测执行控制单元651控制解码相关信息缓冲器252的读出并且控制层间预测的执行。
从而，可伸缩解码装置200可以更具适应性地控制层间预测。
<共通信息获取处理的流程>
接下来，将参考图41的流程图来描述在图23中的步骤S301中执行的共通信息获取处理的流程的示例。
在共通信息获取处理开始后，共通信息获取单元601在步骤S641中获取从编码方传送来的视频参数集合(VPS)。
在步骤S642中，主层最大数目获取单元241从视频参数集合获取参数(max_layer_minus1)。
在步骤S643中，子层最大数目获取单元242从视频参数集合(VPS)获取参数(vps_max_sub_layers_minus1)。
在步骤S644中，共通标志获取单元643从视频参数集合(VPS)获取标志(unified_max_sub_layer_inter_layer_prediction_flag)。
在步骤S645中，层间预测执行最大子层获取单元644判定标志(unified_max_sub_layer_inter_layer_prediction_flag)是否为真。如果判定该标志为真，则处理前进到步骤S646。
在步骤S646中，层间预测执行最大子层获取单元644从视频参数集合(VPS)获取所有层共通的参数(unified_max_sub_layer_for_inter_layer_prediction)。在步骤S646的处理结束后，处理前进到步骤S648。
如果在步骤S645中判定该标志为假，则处理前进到步骤S647。在步骤S647中，层间预测执行最大子层获取单元644从视频参数集合(VPS)中对于每个主层获取参数(max_sub_layer_for_inter_layer_prediction[i])。在步骤S647的处理结束后，处理前进到步骤S648。
在步骤S648中，共通信息获取单元601从视频参数集合中提取控制解码所必要的信息并将该信息作为与解码有关的信息提供给解码控制单元202。共通信息获取单元601把在步骤S646中设定的参数(unified_max_sub_layer_for_inter_layer_prediction)或者在步骤S647中设定的参数(max_sub_layer_for_inter_layer_prediction[i])提供给层间预测控制单元604。
在步骤S648的处理结束后，共通信息获取处理结束并且处理返回到图23。
<层间预测控制处理的流程>
接下来，参考图42的流程图来描述在此情况下的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，层间预测执行控制单元651在步骤S661中判定标志(unified_max_sub_layer_inter_layer_prediction_flag)的值是否为真。如果判定该值为真，则处理前进到步骤S662。
在步骤S662中，层间预测执行控制单元651参考参数(unified_max_sub_layer_for_inter_layer_prediction)。在步骤S662的处理结束后，处理前进到步骤S664。
如果在步骤S661中判定该值为假，则处理前进到步骤S663。
在步骤S663中，层间预测执行控制单元651参考参数(max_sub_layer_for_inter_layer_prediction[i])。在步骤S663的处理结束后，处理前进到步骤S664。
在步骤S664中，基于在步骤S662或步骤S663中参考的参数的值，层间预测执行控制单元651判定当前图片的当前子层是否是对其执行层间预测的层。如果判定允许当前子层的层间预测，则处理前进到步骤S665。
在步骤S665中，层间预测执行控制单元651控制解码相关信息缓冲器252把存储在解码相关信息缓冲器252中的与基本层的解码有关的信息提供给增强层图像解码单元205。在步骤S665中的处理结束后，层间预测控制处理结束并且处理返回到图23。
如果在步骤S664中判定不允许当前子层的层间预测，则层间预测控制处理结束，而不提供与基本层的编码有关的信息，并且处理返回到图23。换言之，在这个当前子层的编码中不执行层间预测。
通过执行如上所述的每个处理，可伸缩解码装置200可以更具适应性地控制层间预测。
<7.概要2>
关于层间预测，例如在HEVC中，在Liwei Guo(Chair),Yong He,Do-Kyoung Kwon,Jinwen Zan,Haricharan Lakshman,Jung Won Kang,"Description of Tool ExperimentA2:Inter-layer Texture Prediction Signaling in SHVC",JCTVC-K1102，ITU-T SG16WP 3和ISO/IEC JTC 1/SC 29/WG的视频编码联合协作组(JCT-VC)第1111次会议：中国，上海，2012年10月10日-19日中已经对于使用层之间的像素(Pixel)信息的预测进行了考查。
另外，在Vadim Seregin,Patrice Onno,Shan Liu,Tammy Lee,Chulkeun Kim,Haitao Yang,Haricharan Laksman,"Description of Tool Experiment C5:Inter-layersyntax prediction using HEVC base layer",JCTVC-K1105,ITU-T SG 16WP 3和ISO/IECJTC 1/SC 29/WG的视频编码联合协作组(JCT-VC)第1111次会议：中国，上海，2012年10月10日-19日中已经对于使用层之间的语法(Syntax)信息(例如，内预测模式信息或运动信息)的预测进行了考查。
参考图43来比较作为使用像素信息的预测的像素预测和作为使用语法信息的预测的语法预测的特性。
首先，关于像素预测，比较使用与该图像(当前图片)在相同层中的图片作为参考图像(参考图片)的层内预测(Intra-layer Prediction)和使用与当前图片不同的图片中的图片作为参考图片的层间预测(Inter-layer Prediction)。
在像素预测的情况下，随着层内预测中参考图片与当前图片之间在时间轴上的距离(该距离也被称为预测距离)更远，预测效率变得更低，在此情况下层间预测变得相对更加准确。与此不同，随着层内预测中的预测距离更近，预测效率变得更高，在此情况下层间预测变得相对不那么准确。
换言之，如图43所示，在参考图像与图像之间在时间轴上的距离较长的图片中，即，在其子层(时间层深度)较低的图片中，层内间预测的预测准确性有可能降低。因此，在层内预测(intra-layer)中，很有可能即使在间图片中也是由内预测来执行编码的。然而，由于层间像素预测(Inter-layer Pixel Prediction)的预测准确性较高，所以编码效率可被提高到比层内内预测的情况中的更高。
另一方面，在参考图像与图像之间在时间轴上的距离较短的图片中，即，在其子层(时间层深度)更高的图片中，层内预测(intra-layer)的间预测是高效的。从而，即使应用层间像素预测(Inter-layer Pixel Prediction)，也不能预期到与层内间预测相比的编码效率的大幅提高。
另外，在像素预测中，图像信息需要被存储在存储器中以用于在层之间共享该信息，这增加了存储器访问。
另一方面，层之间的语法的相关性较高，并且无论当前图片的子层如何，层间预测的预测效率都相对较高。换言之，如图43所示，诸如运动信息和内预测模式信息之类的语法(Syntax)信息在任何子层中的层(基本层和增强层)之间都具有高相关性。因此，可以预期到由于层间语法预测(Inter-layer Syntax Prediction)而带来的编码效率的提高，而不依赖于当前图片的子层。
另外，在语法预测的情况下，可在层之间共享语法信息；从而，与像素预测相比，存储器访问不增加。换言之，对于层间语法预测(Inter-layer Syntax Prediction)要存储的信息对于每个PU(预测单位)是一条预测模式信息或运动信息，并且与应当保存所有像素的层间像素预测(Inter-layer Pixel Prediction)相比，存储器访问的增加是较低的。
这样，当类似地控制具有不同特性的像素预测和语法预测时，可能不能实现编码效率的充分提高。
鉴于此，在如第一至第六实施例中描述的层间预测的控制中可以独立地控制像素预测和语法预测。换言之，可以独立地执行层间像素预测和层间语法预测的开/关控制。
例如，控制层间像素预测(Inter-layer Pixel Prediction)的开/关(on/off)的信息和控制层间语法预测(Inter-layer Syntax Prediction)的开/关(on/off)的信息可被独立地编码。
在层间像素预测(Inter-layer Pixel Prediction)中，控制直到哪个子层(也称为时间层)为止执行预测处理的信息可在例如要输出的图像压缩信息中的视频参数集合(VPS(Video Parameter Set))或者扩展视频参数集合(vps_extension)中传送。关于层间像素预测的控制信息可在nal单元(nal_unit)中传送。
在层间像素语法预测(Inter-layer Syntax Prediction)中，对于每个图片(Picture)或切片(Slice)控制层间语法预测的执行(开/关(on/off))的控制信息可在例如要输出的图像压缩信息中的图片参数集合(PPS(Picture Parameter Set))或切片头部(SliceHeader)中传送。关于层间语法预测的控制信息可在nal单元(nal_unit)中传送。
注意，即使当在AVC中对基本层(Baselayer)编码时，也可应用如上所述的层间预测的控制。
通过上述处理，可以适当地执行计算量与编码效率之间的折衷(trade-off)。
<8.第七实施例>
<共通信息生成单元和层间预测控制单元>
图44是示出在<7.概要2>中描述的情况下可伸缩编码装置100的共通信息生成单元和层间预测控制单元的主要结构的示例的框图。如图44所示，在此情况下，可伸缩编码装置100包括共通信息生成单元701而不是共通信息生成单元101，并且包括层间预测控制单元704而不是层间预测控制单元104。
如图44所示，共通信息生成单元701包括层间像素预测控制信息设定单元711。
层间像素预测控制信息设定单元711设定层间像素预测控制信息作为控制增强层中的层间像素预测的执行(开/关)的控制信息。层间像素预测控制信息例如是指定允许层间像素预测的最高子层的信息。在此情况下，在增强层中，对从最低子层到由层间像素预测控制信息指定的层的子层执行层间像素预测，并且对于高于由层间像素预测控制信息指定的层的子层禁止层间像素预测。
注意，层间像素预测控制信息设定单元711可以对每个增强层设定层间像素预测控制信息，或者可以设定作为所有增强层共通的控制信息的层间像素预测控制信息。
另外，层间像素预测控制信息设定单元711可基于任何信息来设定层间像素预测控制信息。例如，此设定可基于用户指令或者基于硬件或软件的条件来进行。
层间像素预测控制信息设定单元711把设定的层间像素预测控制信息提供给层间预测控制单元704(层间像素预测控制单元722)。层间像素预测控制信息设定单元711把层间像素预测控制信息作为共通信息在例如视频参数集合(VPS(Video Parameter Set))或扩展视频参数集合(vps_extension)中传送。另外，层间像素预测控制信息设定单元711可在nal单元(nal_unit)中传送层间像素预测控制信息。
如图44所示，层间预测控制单元704包括上采样单元721、层间像素预测控制单元722、基本层像素缓冲器723、基本层语法缓冲器724、层间语法预测控制信息设定单元725和层间语法预测控制单元726。
在从基本层图像编码单元103的帧存储器122获取基本层的解码图像(也称为基本层解码图像)后，上采样单元721根据例如基本层与增强层之间的分辨率的比率来对基本层解码图像执行上采样处理(分辨率转换)。上采样单元721把经历了上采样处理的基本层解码图像(也称为上采样解码图像)提供给基本层像素缓冲器723。
在从层间像素预测控制信息设定单元711获取层间像素预测控制信息后，层间像素预测控制单元722基于获取的信息来控制增强层的编码中的层间像素预测的执行。换言之，层间像素预测控制单元722根据层间像素预测控制信息来控制将基本层像素缓冲器723中存储的基本层的上采样解码图像提供给增强层图像编码单元105。
更具体而言，如果增强层图像编码单元105要编码的当前图片所属的子层是层间像素预测控制信息允许层间像素预测的层，则层间像素预测控制单元722允许提供基本层像素缓冲器723中存储的上采样解码图像。如果当前图片所属的子层是层间像素预测控制信息禁止层间像素预测的层，则层间像素预测控制单元722禁止提供基本层像素缓冲器723中存储的上采样解码图像。
通过将层间像素预测控制信息提供给增强层图像编码单元105的运动预测/补偿单元135，层间像素预测控制单元722控制增强层图像编码单元105的运动预测/补偿单元135对层间像素预测的执行。
基本层像素缓冲器723存储从上采样单元721提供来的上采样解码图像，并且根据层间像素预测控制单元722的控制把上采样解码图像作为层间像素预测的参考图像(参考)提供给增强层图像编码单元105的帧存储器122。在层间像素预测中，增强层图像编码单元105的运动预测/补偿单元135使用帧存储器122中存储的基本层的上采样解码图像来作为参考图像。
基本层语法缓冲器724从基本层图像编码单元103的内预测单元124获取诸如预测模式信息之类的语法信息(也称为基本层语法)，并将该信息存储在其中。基本层语法缓冲器724从基本层图像编码单元103的运动预测/补偿单元125获取诸如运动信息之类的语法信息(也称为基本层语法)并将该信息存储在其中。
基于层间语法预测控制单元726的控制，基本层语法缓冲器724适当地将基本层语法提供给增强层图像编码单元105的运动预测/补偿单元135或内预测单元124。
更具体而言，例如，如果层间语法预测控制单元726允许对于增强层图像编码单元105的内预测单元124的内预测要处理的当前图片的层间语法预测，则基本层语法缓冲器724将诸如存储的预测模式信息之类的基本层语法提供给增强层图像编码单元105的内预测单元124。利用以这种方式提供的基本层语法(例如预测模式信息)，增强层图像编码单元105的内预测单元124执行层间语法预测。
另外，如果层间语法预测控制单元726允许对于增强层图像编码单元105的运动预测/补偿单元135的间预测要处理的当前图片的层间语法预测，则基本层语法缓冲器724把诸如存储的运动信息之类的基本层语法提供给增强层图像编码单元105的运动预测/补偿单元135。利用以这种方式提供的基本层语法(例如运动信息)，增强层图像编码单元105的运动预测/补偿单元135执行层间语法预测。
层间语法预测控制信息设定单元725把层间语法预测控制信息设定为控制增强层中的层间语法预测的执行(开/关)的控制信息。层间语法预测控制信息指的是指的是指定对于每个图片或切片是否允许层间语法预测的执行的信息。
基于任何信息，层间语法预测控制信息设定单元725可设定层间语法预测控制信息。例如，此设定可基于用户指令或者基于硬件或软件的条件来进行。
层间语法预测控制信息设定单元725把设定的层间语法预测控制信息提供给层间语法预测控制单元726。
层间语法预测控制单元726从层间语法预测控制信息设定单元725获取层间语法预测控制信息。层间语法预测控制单元726根据层间语法预测控制信息来控制增强层的编码中的层间语法预测的执行。换言之，层间语法预测控制单元726根据层间语法预测控制信息来控制将基本层语法缓冲器724中存储的基本层语法提供给增强层图像编码单元105。
更具体而言，如果增强层图像编码单元105要编码的当前图片(或者要编码的当前切片)是层间语法预测控制信息允许层间语法预测的图片(或切片)，则层间语法预测控制单元726允许提供基本层语法缓冲器724中存储的基本层语法。另一方面，如果当前图片(或当前切片)是层间语法预测控制信息禁止层间语法预测的图片(或切片)，则层间语法预测控制单元726禁止提供基本层语法缓冲器724中存储的基本层语法。
通过将层间语法预测控制信息提供给增强层图像编码单元105的运动预测/补偿单元135或内预测单元124，层间语法预测控制单元726控制增强层图像编码单元105的运动预测/补偿单元135或内预测单元124对层间语法预测的执行。
这样，可伸缩编码装置100可以更容易且更适当地控制层间像素预测和层间语法预测，从而使能了计算量与编码效率之间的适当折衷(trade-off)。换言之，可伸缩编码装置100通过更具适应性地控制层间预测，可以抑制编码效率的恶化。
<共通信息生成处理的流程>
参考图45的流程图来描述在此情况下的共通信息生成处理的流程的示例。在共通信息生成处理开始后，共通信息生成单元701在步骤S701中设定参数(max_layer_minus1)。
在步骤S702中，共通信息生成单元701对于每个主层设定参数(vps_num_sub_layers_minus1[i])。
在步骤S703中，层间像素预测控制信息设定单元711对于每个主层设定层间像素预测控制信息。
在步骤S704中，共通信息生成单元701生成包括在步骤S701至步骤S703中设定的各种信息的视频参数集合来作为共通信息。
在步骤S705中，共通信息生成单元701把在步骤S704的处理中生成的视频参数集合提供到可伸缩编码装置100的外部并传送该视频参数集合。
在步骤S705的处理结束后，共通信息生成处理结束并且处理返回到图13。
<基本层编码处理的流程>
接下来，参考图46的流程图来描述在此情况下的基本层编码处理的流程的示例。
在此情况下，在基本层编码处理开始后，按与图15的步骤S141至步骤S153中的每个处理类似的方式执行步骤S711至步骤S723中的每个处理。
在步骤S724中，上采样单元721对由步骤S722中的处理获得的基本层解码图像进行上采样。
在步骤S725中，基本层像素缓冲器723存储由步骤S724中的处理获得的上采样解码图像。
在步骤S726中，例如，基本层语法缓冲器724存储在步骤S713中的内预测处理或者步骤S714中的间运动预测处理中获得的基本层语法。
然后，按与图15的步骤S155至步骤S157中的每个处理类似的方式执行步骤S727至步骤S729的每个处理。
在步骤S729中的处理结束后，基本层编码处理结束并且处理返回到图13。基本层编码处理例如是以图片为单位来执行的。换言之，当前层的每个图片经历基本层编码处理。然而，基本层编码处理中的每个处理是以每个处理为单位执行的。
<层间预测控制处理的流程>
接下来，参考图47的流程图来描述在此情况下的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，在步骤S731中，层间像素预测控制单元722参考由图45的步骤S703中的处理设定的层间像素预测控制信息。
在步骤S732中，层间像素预测控制单元722判定增强层的当前图片的子层是否是对其执行层间像素预测的层。如果判定执行层间像素预测，则处理前进到步骤S733。
在步骤S733中，基本层像素缓冲器723把存储的上采样解码图像提供给增强层图像编码单元105的帧存储器122。
在步骤S733的处理结束后，处理前进到步骤S734。如果在步骤S732中判定不执行层间像素预测，则处理前进到步骤S734。
在步骤S734中，层间语法预测控制信息设定单元725设定层间语法预测控制信息。
在步骤S735中，层间语法预测控制单元726参考在步骤S734中设定的层间语法预测控制信息来判定增强层的当前图片(或切片)是否是对其执行层间语法预测的图片(或切片)。如果判定执行层间语法预测，则处理前进到步骤S736。
在步骤S736中，基本层语法缓冲器724把存储的基本层语法提供给增强层图像编码单元105的运动预测/补偿单元135或内预测单元124。
在步骤S736的处理结束后，层间预测控制处理结束并且处理返回到图13。如果在图47的步骤S735中判定不执行层间语法预测，则层间预测控制处理结束并且处理返回到图13。
<增强层编码处理的流程>
接下来，参考图48的流程图来描述在此情况下的增强层编码处理的流程的示例。
增强层编码处理中的步骤S741和步骤S742的每个处理和步骤S745至步骤S756的每个处理是按与基本层编码处理(图46)中的步骤S711和步骤S712和步骤S715至步骤S723中的每个处理和步骤S727至步骤S729中的每个处理类似的方式执行的。然而，增强层编码处理中的每个处理是由增强层图像编码单元105的每个处理单元对增强层图像信息执行的。
注意，在图48的步骤S743中，增强层图像编码单元105的内预测单元124对增强层执行与层间语法预测相对应的内预测处理。
在步骤S744中，运动预测/补偿单元135对增强层执行也对应于层间像素预测和层间语法预测的运动预测/补偿处理。
在步骤S756中的处理结束后，增强层编码处理结束并且处理返回到图13。增强层编码处理例如是以图片为单位来执行的。换言之，当前层的每个图片经历增强层编码处理。然而，增强层编码处理中的每个处理是以每个处理为单位执行的。
<运动预测/补偿处理的流程>
接下来，将参考图49的流程图来描述在图48中的步骤S744中执行的运动预测/补偿处理的流程的示例。
在运动预测/补偿处理开始后，运动预测/补偿单元135在步骤S761中在当前主层中执行运动预测。
在步骤S762中，运动预测/补偿单元135判定是否要对当前图片执行层间像素预测。如果基于从层间像素预测控制单元722提供来的层间像素预测控制信息判定执行层间像素预测，则处理前进到步骤S763。
在步骤S763中，运动预测/补偿单元135从帧存储器122获取基本层的上采样解码图像。在步骤S764中，运动预测/补偿单元135参考在步骤S763中获取的上采样解码图像来执行层间像素预测。在步骤S764的处理结束后，处理前进到步骤S765。
如果在步骤S762中判定不执行层间像素预测，则处理前进到步骤S765。
在步骤S765中，运动预测/补偿单元135判定是否要对当前图片执行层间语法预测。如果基于从层间语法预测控制单元726提供来的层间语法预测控制信息判定执行层间语法预测，则处理前进到步骤S766。
在步骤S766中，运动预测/补偿单元135从基本层语法缓冲器724获取诸如运动信息之类的基本层语法。在步骤S767中，运动预测/补偿单元135利用在步骤S766中获取的基本层语法来执行层间语法预测。在步骤S767的处理结束后，处理前进到步骤S768。
如果在步骤S765中判定不执行层间语法预测，则处理前进到步骤S768。
在步骤S768中，运动预测/补偿单元135计算关于每个预测模式的成本函数。在步骤S769中，运动预测/补偿单元135基于成本函数值来选择最优间预测模式。
在步骤S770中，运动预测/补偿单元135按照在步骤S769中选择的最优间预测模式执行运动补偿并生成预测图像。在步骤S771中，运动预测/补偿单元135基于最优间预测模式来生成与间预测有关的信息。
在步骤S771的处理结束后，运动预测/补偿处理结束并且处理返回到图48。这样，执行与层间像素预测和层间语法预测相对应的运动预测/补偿处理。这个处理例如是以块为单位执行的。然而，运动预测/补偿处理中每个处理是以每个处理为单位执行。
<内预测处理的流程>
接下来，将参考图50的流程图来描述在图48中的步骤S743中执行的内预测处理的流程的示例。
在内预测处理开始后，增强层图像编码单元105的内预测单元124在步骤S781中在层中的每个内预测模式中执行内预测。
在步骤S782中，内预测单元124判定是否要对当前图片执行层间语法预测。如果基于从层间语法预测控制单元726提供来的层间语法预测控制信息判定执行层间语法预测，则处理前进到步骤S783。
在步骤S783中，内预测单元124从基本层语法缓冲器724获取诸如预测模式信息之类的基本层语法。在步骤S784中，内预测单元124利用在步骤S783中获取的基本层语法来执行层间语法预测。在步骤S784的处理结束后，处理前进到步骤S785。
如果在步骤S782中判定不执行层间语法预测，则处理前进到步骤S785。
在步骤S785中，内预测单元124计算在执行内预测(包括层间语法预测)的每种内预测模式中的成本函数值。
在步骤S786中，内预测单元124基于在步骤S785中计算的成本函数值来决定最优内预测模式。
在步骤S787中，内预测单元124按照在步骤S786中决定的最优内预测模式来生成预测图像。
在步骤S787的处理结束后，内预测处理结束并且处理返回到图48。
通过执行如上所述的处理，可伸缩编码装置100可以更容易且更适当地控制层间像素预测和层间语法预测，从而使能了计算量与编码效率之间的更适当的折衷(trade-off)。换言之，可伸缩编码装置100通过更具适应性地控制层间预测，可以抑制编码效率的恶化。换言之，可伸缩编码装置100可抑制由于编码和解码引起的图像质量的恶化。
<9.第八实施例>
<共通信息获取单元和层间预测控制单元>
接下来，描述可伸缩解码装置200。图51是示出在<7.概要2>中描述的情况下可伸缩解码装置200的共通信息获取单元和层间预测控制单元的主要结构的示例的框图。在此情况下，可伸缩解码装置200包括共通信息获取单元801而不是共通信息获取单元201，并且包括层间预测控制单元804而不是层间预测控制单元204。
如图51所示，共通信息获取单元801包括层间像素预测控制信息获取单元811。
层间像素预测控制信息获取单元811获取例如从可伸缩编码装置100作为视频参数集合之类的传送来的作为共通信息的层间像素预测控制信息。
层间像素预测控制信息获取单元811把获取的层间像素预测控制信息提供给层间预测控制单元804(层间像素预测控制单元822)。
如图51所示，层间预测控制单元804包括上采样单元821、层间像素预测控制单元822、基本层像素缓冲器823、基本层语法缓冲器824、层间语法预测控制信息获取单元825和层间语法预测控制单元826。
在从基本层图像解码单元203的帧存储器219获取基本层解码图像后，上采样单元821根据例如基本层与增强层之间的分辨率的比率来对基本层解码图像执行上采样处理(分辨率转换处理)。上采样单元821把获得的上采样解码图像提供给基本层像素缓冲器823。
层间像素预测控制单元822从层间像素预测控制信息获取单元811获取层间像素预测控制信息。层间像素预测控制单元822根据层间像素预测控制信息来控制向增强层图像解码单元205提供基本层像素缓冲器823中存储的基本层的上采样解码图像。
更具体而言，如果增强层图像解码单元205要解码的当前图片所属的子层是层间像素预测控制信息允许层间像素预测的层，则层间像素预测控制单元822允许提供基本层像素缓冲器823中存储的上采样解码图像。如果当前图片所属的子层是层间像素预测控制信息禁止层间像素预测的层，则层间像素预测控制单元822禁止提供基本层像素缓冲器823中存储的上采样解码图像。
基本层像素缓冲器823存储从上采样单元821提供来的上采样解码图像，并且根据层间像素预测控制单元822的控制把上采样解码图像作为层间像素预测的参考图像(参考)提供给增强层图像解码单元205的帧存储器219。
基本层语法缓冲器824从基本层图像解码单元203的内预测单元221获取诸如预测模式信息之类的基本层语法，并将该信息存储在其中。基本层语法缓冲器824从基本层图像解码单元203的运动补偿单元222获取诸如运动信息之类的基本层语法，并将该信息存储在其中。
基于层间语法预测控制单元826的控制，基本层语法缓冲器824适当地把基本层语法提供给增强层图像解码单元205的运动补偿单元232或内预测单元221。例如，基本层语法缓冲器824把诸如存储的预测模式信息之类的基本层语法提供给增强层图像解码单元205的内预测单元221。例如，基本层语法缓冲器824把诸如存储的预测模式信息之类的基本层语法提供给增强层图像解码单元205的内预测单元232。
层间语法预测控制信息获取单元825通过增强层图像解码单元205获取从例如可伸缩编码装置100作为图片参数集合之类的传送来的层间语法预测控制信息。
层间语法预测控制信息获取单元825把获取的层间语法预测控制信息提供给层间语法预测控制单元826。
层间语法预测控制单元826从层间语法预测控制信息获取单元825获取层间语法预测控制信息。基于层间语法预测控制信息，层间语法预测控制单元826控制向增强层图像解码单元205提供基本层语法缓冲器824中存储的基本层语法。
更具体而言，如果增强层图像解码单元205要解码的当前图片(或者要解码的当前切片)是层间语法预测控制信息允许层间语法预测的图片(或切片)，则层间语法预测控制单元826允许提供基本层语法缓冲器824中存储的基本层语法。另一方面，如果当前图片(或当前切片)是层间语法预测控制信息禁止层间语法预测的图片(或切片)，则层间语法预测控制单元826禁止提供基本层语法缓冲器824中存储的基本层语法。
增强层图像解码单元205的内预测单元221基于从例如可伸缩编码装置100提供来的与预测模式有关的信息在最优内预测模式中执行内预测，并且生成预测图像。如果层间语法预测在该情况下被指定为最优内预测模式，即，如果在编码中执行了层间语法预测的内预测，则内预测单元221利用从基本层语法缓冲器824提供来的基本层语法来执行内预测并且生成预测图像。
增强层图像解码单元205的运动补偿单元232基于从例如可伸缩编码装置100提供来的与预测模式有关的信息在最优间预测模式中执行运动补偿，并且生成预测图像。如果层间像素预测在该情况下被指定为最优内预测模式，即，如果在编码中执行了层间像素预测的间预测，则运动补偿单元232参考帧存储器219中存储的基本层的上采样解码图像来执行运动补偿并且生成预测图像。
如果层间语法预测被指定为最优内预测模式，即，如果在编码中执行了层间语法预测的间预测，则运动补偿单元232利用从基本层语法缓冲器824提供来的基本层语法参考帧存储器219中存储的增强层的解码图像来执行运动补偿并且生成预测图像。
从而，可伸缩解码装置200可以更容易且适当地控制层间像素预测和层间语法预测，从而使能了计算量与编码效率之间的更适当的折衷(trade-off)。换言之，可伸缩解码装置200通过更具适应性地控制层间预测，可以抑制编码效率的恶化。
<共通信息获取处理的流程>
参考图52的流程图来描述在此情况下的共通信息获取处理的流程的示例。在共通信息获取处理开始后，共通信息获取单元801在步骤S8021中获取从编码方传送来的视频参数集合(VPS)。
在步骤S802中，共通信息获取单元801从视频参数集合获取参数(max_layer_minus1)。
在步骤S803中，共通信息获取单元801从视频参数集合(VPS)中对于每个主层获取参数(vps_num_sub_layers_minus1[i])。
在步骤S804中，层间像素预测控制信息获取单元811从视频参数集合(VPS)中对于每个主层获取层间像素预测控制信息。
在步骤S805中，层间像素预测控制信息获取单元811把在步骤S804中获取的层间像素预测控制信息提供给层间像素预测控制单元822。
在步骤S805中的处理结束后，共通信息获取处理结束并且处理返回到图23。
<基本层解码处理的流程>
接下来，将参考图53的流程图来描述基本层解码处理的流程的示例。
在此情况下，在基本层解码处理开始后，按与图25中的步骤S341至步骤S350中的每个处理类似的方式执行步骤S811至步骤S820中的每个处理。
在步骤S821中，上采样单元821对基本层解码图像执行上采样处理。
在步骤S822中，基本层像素缓冲器823存储由步骤S821的处理获得的上采样解码图像。
在步骤S823中，基本层语法缓冲器824存储在步骤S815中的预测处理中获得的基本层语法(例如内预测模式信息或运动信息)，等等。
在步骤S823中的处理结束后，基本层解码处理结束并且处理返回到图23。基本层解码处理例如是以图片为单位来执行的。换言之，基本层解码处理是对当前图片的每个图片执行的。然而，基本层解码处理中的每个处理是以每个处理为单位执行的。
<层间预测控制处理的流程>
接下来，参考图54的流程图来描述在此情况下的层间预测控制处理的流程的示例。
在层间预测控制处理开始后，在步骤S831中，层间像素预测控制单元822参考由图52中的步骤S805的处理提供的层间像素预测控制信息。
在步骤S832中，基本层像素缓冲器823把存储的上采样解码图像提供给增强层图像解码单元205的帧存储器219。
在步骤S833的处理结束后，处理前进到步骤S834。如果在步骤S832中判定不执行层间像素预测，则处理前进到步骤S834。
在步骤S834中，层间语法预测控制信息获取单元825获取层间语法预测控制信息。
在步骤S835中，层间语法预测控制单元826参考在步骤S834中获取的层间语法预测控制信息来判定增强层的当前图片(或切片)是否是对其执行层间语法预测的图片(或切片)。如果判定执行层间语法预测，则处理前进到步骤S836。
在步骤S836中，基本层语法缓冲器824把存储的基本层语法提供给增强层图像解码单元205的运动补偿单元232或内预测单元221。
在步骤S836的处理结束后，层间预测控制处理结束并且处理返回到图23。如果在图54中的步骤S835中判定不执行层间语法预测，则层间预测控制处理结束并且处理返回到图23。
<预测处理的流程>
由于增强层解码处理是按与参考图27的流程图描述的情况中类似的方式执行的，所以省略描述。
接下来，参考图55和图56的流程图来描述在此情况下的预测处理的流程的示例。
在预测处理开始后，运动补偿单元232在步骤S841中判定预测模式是否是间预测。如果判定预测模式是间预测，则处理前进到步骤S842。
在步骤S842中，运动补偿单元232判定最优间预测模式是否是执行层间像素预测的模式。如果判定最优间预测模式是执行层间像素预测的模式，则处理前进到步骤S843。
在步骤S843中，运动补偿单元232获取基本层的上采样解码图像。
在步骤S844中，运动补偿单元232利用基本层的上采样解码图像执行运动补偿并且生成预测图像。在步骤S844的处理结束后，处理前进到步骤S849。
如果在步骤S842中判定最优间预测模式不是执行层间像素预测的模式，则处理前进到步骤S845。
在步骤S845中，运动补偿单元232判定最优间预测模式是否是执行层间语法预测的模式。如果判定最优间预测模式是执行层间语法预测的模式，则处理前进到步骤S846。
在步骤S846中，运动补偿单元232获取诸如运动信息之类的基本层语法。
在步骤S847中，运动补偿单元232利用基本层语法执行运动补偿并且生成预测图像。在步骤S847的处理结束后，处理前进到步骤S849。
如果在步骤S845中判定最优间预测模式不是执行层间语法预测的模式，则处理前进到步骤S848。
在步骤S848中，运动补偿单元232在当前主层中执行运动补偿并且生成预测图像。在步骤S848的处理结束后，处理前进到步骤S849。
在步骤S849中，运动补偿单元232把这样生成的预测图像通过选择单元223提供给计算单元215。在步骤S849的处理结束后，预测处理结束并且处理返回到图27。
如果在图55的步骤S841中判定预测模式是内预测，则处理前进到图56。
在图56中的步骤S851中，增强层图像解码单元205的内预测单元221判定最优内预测模式是否是执行层间语法预测的模式。如果判定最优内预测模式是执行层间语法预测的模式，则处理前进到步骤S852。
在步骤S852中，内预测单元221获取诸如内预测模式信息之类的基本层语法。
在步骤S853中，内预测单元221利用基本层语法执行内预测并且生成预测图像。在步骤S853的处理结束后，处理返回到图55中的步骤S849。
如果在图56中的步骤S851中判定最优内预测模式不是执行层间语法预测的模式，则处理前进到步骤S854。
在步骤S854中，内预测单元221按照作为编码中采用的内预测模式的最优内预测模式生成预测图像。在步骤S854的处理结束后，处理返回到图55中的步骤S849。
通过执行如上所述的每个处理，可伸缩解码装置200可以更容易且适当地控制层间像素预测和层间语法预测，从而使能了计算量与编码效率之间的更适当的折衷(trade-off)。换言之，可伸缩解码装置200通过更具适应性地控制层间预测，可以抑制编码效率的恶化。换言之，可伸缩解码装置200可抑制由于编码和解码引起的图像质量的恶化。
<10.概要3>
关于层间预测，例如，在SHVC(Scalable High Efficiency Video Coding，可伸缩高效率视频编码)的情况下，在Jianle Chen,Jill Boyce,Yan Ye,Miska M.Hannuksela,“SHVC Test Model 1(SHM 1)”,JCTVC-L1007,ITU-T SG16WP3和ISO/IEC JTC1/SC29/WG的视频编码联合协作组(JCT-VC)第1112次会议：日内瓦，瑞士，2013年1月14日-23日中建议了纹理BL(TextureBL)和参考索引(Ref_idx)这两个框架。
在纹理BL(TextureBL)框架的情况下，基本层(Baselayer)的解码图像(或者其上采样(upsample)图像)作为内预测模式(Intra Prediction Mode)之一(BL内(IntraBL)模式)被编码。来自版本1(Version 1)的CU级别(CU-level)以下的语法(Syntax)变化是可能的。
另一方面，在参考索引(Ref_idx)框架的情况下，基本层(Baselayer)的解码图像(或者上采样(upsample)图像)被存储在长期(Long-Term)参考帧(也称为长期参考帧)中，并且执行利用它的预测处理。来自版本1(Version 1)的CU级别(CU-level)以下的语法(Syntax)变化是不可能的。
然而，在所有图片(Picture)中，层间纹理预测(Inter-layer TexturePrediction)在编码时要求基本层(Baselayer)和增强层(Enhancementlayer)两者中的运动补偿。这可增加计算量和解码处理中的负担。这不仅适用于纹理BL(TextureBL)框架的情况，而且也适用于参考索引(Ref_idx)框架的情况。
鉴于此，通过控制关于存储基本层(Baselayer)的解码图像(或者其上采样(upsample)图像)的长期(Long-Term)参考帧的语法(syntax)的值，对于每个图片(Picture)控制层间纹理预测(inter-layer texture prediction)的执行。
图57和图58示出了序列参数集合(sep_parameter_set_rbsp)的语法的示例。如图58所示，序列参数集合(sep_parameter_set_rbsp)包括关于长期参考帧的语法used_by_curr_pic_lt_sps_flag[i]。
语法used_by_curr_pic_lt_sps_flag[i]是控制在序列参数集合中指定的长期参考图片的第i个候选是否被用作参考图像的标志。如果此值为“0”，则长期参考图片的第i候选不被使用。
图59至图61是示出切片头部(slice_segment_header)的语法的示例的图。如图59所示，切片头部(slice_segment_header)包括关于长期参考帧的语法used_by_curr_pic_lt_flag[i]。
语法used_by_curr_pic_lt_flag[i]是控制当前图片中的长期RPS(参考图片集合)的第i个条目是否被当前图片用作参考图像的标志。如果此值为“0”，则长期RPS的第i条目不被使用。
例如，通过控制其语法值来对每个图片控制层间纹理预测的执行。换言之，例如，语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值被设定为“0”以防止层间纹理预测(inter-layer texture prediction)。相反，语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值被设定为“1”以使能层间纹理预测。
这样，通过控制关于长期参考帧的语法的值，可以对每个图片控制层间纹理预测的执行。因此，可以适当地控制解码处理中的每个层的运动补偿的执行，从而抑制解码处理的负担的增大。
<11.第九实施例>
<图像编码装置>
接下来，描述用于实现如上所述的本技术的装置及其方法。图62是示出根据应用了本技术的图像处理装置的一方面的图像编码装置的图。图62所示的图像编码装置900是用于执行阶层图像编码的装置。这个图像编码装置900是与图9的可伸缩编码装置100基本上类似的图像处理装置；然而，为了便于描述，省略了关于与<10.概要3>中描述的本技术不直接相关的组件(例如共通信息生成单元101、编码控制单元102和层间预测控制单元104)的描述。
如图62所示，图像编码装置900包括基本层图像编码单元901、增强层图像编码单元902和复用器903。
基本层图像编码单元901是与基本层图像编码单元103(图9)基本上类似的处理单元并且对基本层图像编码以生成基本层图像编码流。增强层图像编码单元902是与增强层图像编码单元105(图9)基本上类似的处理单元并且对增强层图像编码以生成增强层图像编码流。复用器903对由基本层图像编码单元901生成的基本层图像编码流和由增强层图像编码单元902生成的增强层图像编码流进行复用，从而生成阶层图像编码流。复用器903把生成的阶层图像编码流传送到解码方。
基本层图像编码单元901把在基本层的编码中获得的解码图像(也称为基本层解码图像)提供给增强层图像编码单元902。
增强层图像编码单元902获取从基本层图像编码单元901提供来的基本层解码图像，并且将该图像存储在其中。增强层图像编码单元902在增强层的编码中使用存储的基本层解码图像作为预测处理中的参考图像。
<基本层图像编码单元>
图63是示出图62的基本层图像编码单元901的主要结构的示例的框图。如图63所示，基本层图像编码单元901包括A/D转换器911、画面重排列缓冲器912、计算单元913、正交变换单元914、量化单元915、无损编码单元916、累积缓冲器917、逆量化单元918和逆正交变换单元919。另外，基本层图像编码单元901包括计算单元920、环路滤波器921、帧存储器922、选择单元923、内预测单元924、间预测单元925、预测图像选择单元926和率控制单元927。
A/D转换器911是与基本层图像编码单元103的A/D转换器111(图10)类似的处理单元。画面重排列缓冲器912是与基本层图像编码单元103的画面重排列缓冲器112(图10)类似的处理单元。计算单元913是与基本层图像编码单元103的计算单元113(图10)类似的处理单元。正交变换单元914是与基本层图像编码单元103的正交变换单元114(图10)类似的处理单元。量化单元915是与基本层图像编码单元103的量化单元115(图10)类似的处理单元。无损编码单元916是与基本层图像编码单元103的无损编码单元116(图10)类似的处理单元。累积缓冲器917是与基本层图像编码单元103的累积缓冲器117(图10)类似的处理单元。
逆量化单元918是与基本层图像编码单元103的逆量化单元118(图10)类似的处理单元。逆正交变换单元919是与基本层图像编码单元103的逆正交变换单元119(图10)类似的处理单元。计算单元920是与基本层图像编码单元103的计算单元120(图10)类似的处理单元。环路滤波器921是与基本层图像编码单元103的环路滤波器121(图10)类似的处理单元。
帧存储器922是与基本层图像编码单元103的帧存储器122(图10)类似的处理单元。然而，帧存储器922把存储的解码图像(也称为基本层解码图像)提供给增强层图像编码单元902。
选择单元923是与基本层图像编码单元103的选择单元123(图10)类似的处理单元。
内预测单元924是与基本层图像编码单元103的内预测单元124(图10)类似的处理单元。内预测单元924对于作为要处理的帧的图像的当前图片对于每个预定块(以块为单位)执行画面内预测(也称为内预测)，并且生成预测图像。在内预测的情况下，在空间上位于要处理的当前块周围(即，在当前图片中位于当前块周围)的已处理像素(也称为周边像素)的像素值被用作预测中使用的参考图像。内预测单元924(通过选择单元923)从帧存储器922中存储的重建图像获取参考图像。
在这个内预测(即，生成预测图像的方式)中，有预先准备来作为候选的多种方法(也称为内预测模式)。内预测单元924在所有准备的内预测模式中执行内预测。然后，内预测单元924利用从画面重排列缓冲器912提供来的输入图像计算所有生成的内预测模式的预测图像的成本函数值，并且基于成本函数值来选择最优模式。
在选择最优内预测模式后，内预测单元924把在该最优模式中生成的预测图像提供给预测图像选择单元926。如上所述，内预测单元924在适当时把表示采用的内预测模式的内预测模式信息等等提供给无损编码单元916，在这里该信息被编码。
间预测单元925是与基本层图像编码单元103的运动预测/补偿单元125(图10)类似的处理单元。间预测单元925对于当前图片对于每个预定块(以块为单位)执行画面间预测(也称为间预测)，并且生成预测图像。在间预测的情况下，在时间上位于要处理的当前块周围(即，在与当前图片不同的图片中位置与当前块相对应的块)的已处理像素的像素值被用作预测中使用的参考图像。间预测单元925(通过选择单元923)从帧存储器922中存储的重建图像获取参考图像。
间预测由运动预测和运动补偿构成。间预测单元925利用从画面重排列缓冲器912提供来的当前块的图像数据(输入图像)和从帧存储器922作为参考图像提供来的参考图像的图像数据对当前块执行运动预测，并且检测运动向量。然后，间预测单元925利用参考图像根据检测到的运动向量来执行运动补偿处理，并且生成当前块的预测图像。
在间预测(即，生成预测图像的方式)中，预先准备了多种方法(也称为间预测模式)来作为候选。间预测单元925在所有准备的间预测模式中执行间预测。间预测单元925在所有准备的间预测模式中执行间预测。间预测单元925利用从画面重排列缓冲器912提供来的输入图像或者所生成的差分运动向量的信息来计算所有生成的间预测模式的预测图像的成本函数值，并且基于成本函数值来选择最优模式。
在选择最优间预测模式后，间预测单元925把在该最优模式中生成的预测图像提供给预测图像选择单元926。当表示采用的间预测模式的信息或者编码数据被解码时，间预测单元925把在间预测模式中的处理中必要的信息提供给无损编码单元916，在这里该信息被编码。必要信息例如对应于所生成的差分运动向量的信息或者作为预测运动向量信息的表示预测运动向量的索引的标志。
预测图像选择单元926是与基本层图像编码单元103的预测图像选择单元126(图10)类似的处理单元。率控制单元927是与基本层图像编码单元103的率控制单元127(图10)类似的处理单元。
注意，基本层图像编码单元901在不参考其他层的情况下进行编码。换言之，内预测单元924和间预测单元925不使用其他层的解码图像作为参考图像。
<增强层图像编码单元>
图64是示出图62的增强层图像编码单元902的主要结构的示例的框图。如图64所示，增强层图像编码单元902具有与图63的基本层图像编码单元901基本上类似的结构。
换言之，增强层图像编码单元902如图64所示包括A/D转换器931、画面重排列缓冲器932、计算单元933、正交变换单元934、量化单元935、无损编码单元936、累积缓冲器937、逆量化单元938和逆正交变换单元939。增强层图像编码单元902还包括计算单元940、环路滤波器941、帧存储器942、选择单元943、内预测单元944、间预测单元945、预测图像选择单元946和率控制单元947。
A/D转换器931至率控制单元947分别对应于图63的A/D转换器911至率控制单元927，并且执行相应处理单元的处理。然而，增强层图像编码单元902的每个单元执行对增强层而不是基本层的图像信息进行编码的处理。因此，虽然关于图63的A/D转换器911至率控制单元927的描述可适用于A/D转换器931至率控制单元947，但在该情况下要处理的数据需要是增强层的数据，而不是基本层的数据。另外，在该情况下，从其输入数据或向其输出数据的处理单元需要被A/D转换器931至率控制单元947中的相应处理单元所替代。
注意，增强层图像编码单元902参考其他层(例如，基本层)的信息来执行编码。增强层图像编码单元902执行<10.概要3>中的上述处理。
例如，帧存储器942可存储多个参考帧，并且不仅存储增强层的解码图像(也称为增强层解码图像)，而且还从基本层图像编码单元901获取基本层解码图像并将该图像作为长期参考帧来存储。在此情况下，帧存储器942中存储的基本层解码图像可以是已被上采样的图像(例如，帧存储器942可对从基本层图像编码单元901提供来的基本层解码图像进行上采样并且存储上采样的图像)。
按与基本层图像编码单元901的情况类似的方式，帧存储器942中存储的图像，即增强层解码图像或基本层解码图像被内预测单元944或间预测单元945在预测处理中用作参考图像。
换言之，内预测单元944具有纹理BL(texture BL)作为内预测的一个候选。在纹理BL模式的情况下，不是增强层的当前图片而是基本层的当前图片解码图像被用作参考图像。换言之，内预测单元944(通过选择单元943)从帧存储器942的长期参考帧获取基本层的当前图片的与增强层的当前块相对应的块(也称为共位块)的像素值，并且利用该像素值作为参考图像来执行内预测。
然后，内预测单元944以与其他内预测模式类似的方式计算并评估成本函数值。换言之，内预测单元944从包括纹理BL模式在内的内预测模式的所有候选之中选择最优内预测模式。
类似地，间预测单元945以参考索引(Ref_idx)模式作为间预测的一个候选。在参考索引模式的情况下，不是增强层的图片的解码图像而是基本层的图片的解码图像被用作参考图像。换言之，间预测单元945获取帧存储器942的长期参考帧中存储的基本层解码图像作为参考图像，并且利用该图像来执行间预测(运动预测或运动补偿)。
然后，间预测单元945以与间预测模式类似的方式计算并评估成本函数值。换言之，间预测单元945从包括参考索引模式在内的间预测模式的所有候选之中选择最优间预测模式。
顺便说一下，如图64所示，增强层图像编码单元902还包括头部生成单元948。
头部生成单元948例如生成诸如序列参数集合(SPS)、图片参数集合(PPS)和切片头部之类的头部信息。在此情况下，头部生成单元948控制序列参数集合(sep_parameter_set_rbsp)的关于长期参考帧的语法used_by_curr_pic_lt_sps_flag[i]的值或者切片头部(slice_segment_header)的关于长期参考帧的语法used_by_curr_pic_lt_flag[i]的值。
例如，头部生成单元948对于禁止层间纹理预测的图片将语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值设定为“0”。例如，头部生成单元948对于允许层间纹理预测的图片将语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值设定为“1”。
头部生成单元948把这样生成的头部信息提供给无损编码单元936。无损编码单元936对从头部生成单元948提供来的头部信息进行编码，在将头部信息包含在编码数据(编码流)中的情况下将头部信息提供给累积缓冲器117，并将该数据传送到解码方。
此外，头部生成单元948适当地把这样生成的头部信息提供给增强层图像编码单元902的每个处理单元。增强层图像编码单元902的每个处理单元适当地根据头部信息来执行处理。
内预测单元944根据由头部生成单元948设定的语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值来执行内预测。例如，如果语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值为“0”，则内预测单元944在不使用纹理BL模式的情况下执行内预测。也就是说，对于此图片，在内预测中不使用基本层解码图像。换言之，在对此图片的内预测中省略用于层间纹理预测的运动补偿。相反，在语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]为“1”的情况下，内预测单元944利用纹理BL模式作为一个候选来执行内预测。
间预测单元945根据由头部生成单元948设定的语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值来执行间预测。例如，在语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值为“0”的情况下，间预测单元945在不使用参考索引模式的情况下执行间预测。换言之，对于此图片，在间预测中不使用基本层解码图像。在对此图片的间预测中，省略用于层间纹理预测的运动补偿。相反，如果语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值为“1”的情况下，则间预测单元945利用参考索引模式作为一个候选来执行间预测。
这样，图像编码装置900通过控制用于长期参考帧的语法的值、基于该语法的值执行内预测或者间预测并且进一步将该语法的值传送到解码方，可以对于每一个图片控制增强层的解码处理中的层间纹理预测的执行。换言之，图像编码装置900可适当地控制解码处理中的每一层的运动补偿的执行，从而抑制解码处理中的负担的增大。
<图像编码处理的流程>
接下来，描述如上所述的图像编码装置900要执行的每个处理的流程。首先，参考图65的流程图来描述图像编码处理的流程的示例。
在图像编码处理开始后，在步骤S901中，图像编码装置900的基本层图像编码单元901对基本层的图像数据进行编码。
在步骤S902中，增强层图像编码单元902的头部生成单元948生成增强层的序列参数集合。
在步骤S903中，增强层图像编码单元902利用在步骤S902中生成的序列参数集合来对增强层的图像数据进行编码。
在步骤S904中，复用器903对由步骤S901的处理生成的基本层图像编码流和由步骤S903的处理生成的增强层图像编码流(即，各层的编码流)进行复用，从而生成一个系统的阶层化图像编码流。
在步骤S904的处理结束后，图像编码处理结束。
注意，头部生成单元948生成除了序列参数集合以外的头部信息；然而，除了下面要描述的切片头部以外，省略对其的描述。另外，基本层图像编码单元901(例如无损编码单元916)生成诸如序列参数集合、图片参数集合和切片头部之类的头部信息，但省略对其的描述。
步骤S901、步骤S903和步骤S904的每个处理是对每个图片执行的。步骤S902的处理是对每个序列执行的。
<基本层编码处理的流程>
接下来，参考图66的流程图来描述在图65的步骤S901中执行的基本层编码处理的流程的示例。
在基本层编码处理开始后，按与图15的步骤S141至步骤S143中的每个处理类似的方式执行步骤S921至步骤S923中的每个处理。
在步骤S924中，间预测单元925执行间预测处理，在该间预测处理中，执行间预测模式中的运动补偿或运动预测。
步骤S925至步骤S933中的每个处理是按与图15中的步骤S145至步骤S153中的每个处理类似的方式执行的。步骤S934至步骤S936中的每个处理是按与图15中的步骤S155至步骤S157中的每个处理类似的方式执行的。
在步骤S937中，帧存储器922把在如上所述的基本层编码处理中获得的基本层的解码图像提供给对于增强层的编码处理。
在步骤S937的处理结束后，基本层编码处理结束并且处理返回到图65。
<序列参数集合生成处理的流程>
接下来，参考图67的流程图来描述在图65的步骤S902中执行的序列参数集合生成处理的流程的示例。
在序列参数集合生成处理开始后，增强层图像编码单元902的头部生成单元948在步骤S941中设定关于长期参考帧的语法used_by_curr_pic_lt_sps_flag[i]。
在步骤S942中，头部生成单元948设定其他语法的值，并且生成包括这些语法和在步骤S941中设定的语法used_by_curr_pic_lt_sps_flag[i]的序列参数集合。
在步骤S942中的处理结束后，序列参数集合生成处理结束并且处理返回到图65。
<增强层编码处理的流程>
接下来，参考图68的流程图来描述在图65的步骤S903中执行的增强层编码处理的流程的示例。
在增强层编码处理开始后，按与图17的步骤S191和步骤S192中的每个处理类似的方式执行步骤S951和步骤S952中的每个处理。
在步骤S953中，头部生成单元948设定关于长期参考帧的语法used_by_curr_pic_lt_flag[i]。
在步骤S954中，头部生成单元948设定其他语法的值，并且生成包括这些语法和在步骤S953中设定的语法used_by_curr_pic_lt_flag[i]的切片头部。
在步骤S955中，内预测单元944执行内预测处理。
在步骤S956中，间预测单元945执行间预测处理。
步骤S957至步骤S968中的每个处理是按与图17中的步骤S195至步骤S206中的每个处理类似的方式执行的。
在步骤S968中的处理结束后，增强层编码处理结束并且处理返回到图65。
<内预测处理的流程>
接下来，参考图69的流程图来描述在图68的步骤S955中执行的内预测处理的流程的示例。
在内预测处理开始后，内预测单元944在步骤S971中通过在除了纹理BL模式以外的每个候选模式中执行内预测来生成每种模式中的预测图像。
在步骤S972中，内预测单元944基于在图67的步骤S941中设定的序列参数集合(sep_parameter_set_rbsp)的语法used_by_curr_pic_lt_sps_flag[i]和在图68的步骤S953中设定的切片头部(slice_segment_header)的语法used_by_curr_pic_lt_flag[i]来判定是否参考基本层的图像。
例如，如果这些语法的值被设定为“1”并且判定参考基本层的图像，则处理前进到步骤S973。在步骤S973中，内预测单元944在纹理BL模式中执行内预测并且生成纹理BL模式的预测图像。在生成纹理BL模式中的预测图像后，处理前进到步骤S974。如果这些语法的值被设定为“0”并且在步骤S972中判定不参考基本层的图像，则处理前进到步骤S974。
在步骤S974中，内预测单元944计算每种内预测模式中的预测图像的成本函数值。在步骤S975中，内预测单元944利用在步骤S974中计算的成本函数值来决定最优预测模式。在步骤S976中，内预测单元944对内预测模式信息——其是与在步骤S975中决定为最优预测模式的内预测模式有关的信息——进行编码，并将该信息提供给无损编码单元936。
在步骤S976中的处理结束后，内预测处理结束并且处理返回到图68。
<间预测处理的流程>
接下来，参考图70的流程图来描述在图68的步骤S956中执行的间预测处理的流程的示例。
在间预测处理开始后，间预测单元945在步骤S981中在除了参考索引模式以外的每种候选模式中执行间预测，并且生成每种模式中的预测图像。
在步骤S982中，间预测单元945基于在图67的步骤S941中设定的序列参数集合(sep_parameter_set_rbsp)的语法used_by_curr_pic_lt_sps_flag[i]和在图68的步骤S953中设定的切片头部(slice_segment_header)的语法used_by_curr_pic_lt_flag[i]来判定是否参考基本层的图像。
例如，如果这些语法的值被设定为“1”并且判定参考基本层的图像，则处理前进到步骤S983。在步骤S983中，间预测单元945在参考索引模式中执行间预测并且生成参考索引模式的预测图像。在生成参考索引模式中的预测图像后，处理前进到步骤S984。如果这些语法的值被设定为“0”并且在步骤S982中判定不参考基本层的图像，则处理前进到步骤S984。
在步骤S984中，间预测单元945计算每种间预测模式中的预测图像的成本函数值。在步骤S985中，间预测单元945利用在步骤S984中计算的成本函数值来决定最优预测模式。在步骤S986中，间预测单元945对间预测模式信息——其是与在步骤S985中决定为最优预测模式的间预测模式有关的信息——进行编码，并将该信息提供给无损编码单元936。
在步骤S986中的处理结束后，间预测处理结束并且处理返回到图68。
通过执行如上所述的每个处理，图像编码装置900(增强层图像编码单元902)可以适当地控制解码处理中的每个层的运动补偿的执行，从而抑制解码处理的负担的增大。
<12.第十实施例>
<图像解码装置>
接下来，描述上述编码数据的解码。图17是示出与图62的图像编码装置900相对应的图像解码装置的主要结构的示例的框图，其是应用了本技术的图像处理装置的一个方面。图71所示的图像解码装置1000通过与编码方法相对应的解码方法对由图像编码装置900生成的编码数据进行解码(即，经历了阶层编码的编码数据经历阶层解码)。这个图像解码装置1000是与图19的可伸缩解码装置200基本上类似的图像处理装置；然而，为了便于描述，省略了关于与<10.概要3>中描述的本技术不直接相关的组件(例如共通信息获取单元201、解码控制单元202和层间预测控制单元204)的描述。
如图71所示，图像解码装置1000包括解复用器1001、基本层图像解码单元1002和增强层图像解码单元1003。
解复用器1001接收从编码方传送来的其中复用了基本层图像编码流和增强层图像编码流的阶层化图像编码流，对该流进行解复用，并且提取基本层图像编码流和增强层图像编码流。基本层图像解码单元1002是与基本层图像解码单元203(图19)基本上类似的处理单元并且对由解复用器1001提取的基本层图像编码流进行解码并提供基本层图像。增强层图像解码单元1003是与增强层图像解码单元205(图19)基本上类似的处理单元并且对由解复用器1001提取的增强层图像编码流进行解码，并且提供增强层图像。
基本层图像解码单元1002把通过对基本层的解码获得的基本层解码图像提供给增强层图像解码单元1003。
增强层图像解码单元1003获取从基本层图像解码单元1002提供来的基本层解码图像并存储该图像。增强层图像解码单元1003在增强层的解码中使用存储的基本层解码图像作为预测处理中的参考图像。
<基本层图像解码单元>
图72是示出图71的基本层图像解码单元1002的主要结构的示例的框图。如图72所示，基本层图像解码单元1002包括累积缓冲器1011、无损解码单元1012、逆量化单元1013、逆正交变换单元1014、计算单元1015、环路滤波器1016、画面重排列缓冲器1017和D/A转换器1018。基本层图像解码单元1002还包括帧存储器1019、选择单元1020、内预测单元1021、间预测单元1022和预测图像选择单元1023。
累积缓冲器1011是与基本层图像解码单元203的累积缓冲器211(图20)类似的处理单元。无损解码单元1012是与基本层图像解码单元203的无损解码单元212(图20)类似的处理单元。逆量化单元1013是与基本层图像解码单元203的逆量化单元213(图20)类似的处理单元。逆正交变换单元1014是与基本层图像解码单元203的逆正交变换单元214(图20)类似的处理单元。计算单元1015是与基本层图像解码单元203的计算单元215(图20)类似的处理单元。环路滤波器1016是与基本层图像解码单元203的环路滤波器216(图20)类似的处理单元。画面重排列缓冲器1017是与基本层图像解码单元203的画面重排列缓冲器217(图20)类似的处理单元。D/A转换器1018是与基本层图像解码单元203的D/A转换器218(图20)类似的处理单元。
帧存储器1019是与基本层图像解码单元203的帧存储器219(图20)类似的处理单元。然而，帧存储器1019把存储的解码图像(也称为基本层解码图像)提供给增强层图像解码单元1003。
选择单元1020是与基本层图像解码单元203的选择单元220(图20)类似的处理单元。
内预测模式信息等等被适当地从无损解码单元1012提供到内预测单元1021。内预测单元1021按照在编码中的内预测中使用的内预测模式(最优内预测模式)执行内预测，并且对于每个预定块(以块为单位)生成预测图像。在此情况下，内预测单元1021利用通过选择单元1020从帧存储器1019提供来的重建图像(通过对由预测图像选择单元1023选择的预测图像和来自逆正交变换单元214的解码残差数据(差分图像信息)求和而形成的并且适当地经历了解块滤波处理的图像)的图像数据来执行内预测。换言之，内预测单元1021使用此重建图像作为参考图像(周边像素)。内预测单元1021把所生成的预测图像提供给预测图像选择单元1023。
最优预测模式信息或者运动信息被适当地从无损解码单元1022提供到间预测单元1022。间预测单元1022按照在编码中的间预测中使用的间预测模式(最优间预测模式)执行间预测，并且对于每个预定块(以块为单位)生成预测图像。在此情况下，间预测单元1022使用通过选择单元1020从帧存储器1019提供来的解码图像(经历了环路滤波处理等等的重建图像)作为参考图像并且执行间预测。间预测单元1022把所生成的预测图像提供给预测图像选择单元1023。
预测图像选择单元1023是与基本层图像解码单元203的选择单元223(图20)类似的处理单元。
注意，基本层图像解码单元1002在不参考其他层的情况下进行解码。换言之，内预测单元1021和间预测单元1022都不使用其他层的解码图像作为参考图像。
<增强层图像解码单元>
图73是示出图71的增强层图像解码单元1003的主要结构的示例的框图。如图73所示，增强层图像解码单元1003具有与图72的基本层图像解码单元1002基本上类似的结构。
换言之，增强层图像解码单元1003如图73所示包括累积缓冲器1031、无损解码单元1032、逆量化单元1033、逆正交变换单元1034、计算单元1035、环路滤波器1036、画面重排列缓冲器1037和D/A转换器1038。增强层图像解码单元1003还包括帧存储器1039、选择单元1040、内预测单元1041、间预测单元1042和预测图像选择单元1043。
累积缓冲器1031至预测图像选择单元1043分别对应于图72中的累积缓冲器1011至预测图像选择单元1023，并且执行与相应编码类似的处理。然而，增强层图像解码单元1003的每个单元执行对增强层而不是基本层的图像信息进行编码的处理。因此，对于图72的累积缓冲器1011至预测图像选择单元1023的描述可适用于累积缓冲器1031至预测图像选择单元1043的处理；然而，在此情况下，在该情况下要处理的数据需要是增强层而不是基本层的数据。另外，从其输入数据或者向其输出数据的处理单元需要被增强层图像解码单元1003的相应处理单元所替代。
注意，增强层图像解码单元1003参考其他层(例如，基本层)的信息来执行编码。增强层图像解码单元1003执行<10.概要3>中描述的处理。
例如，帧存储器1039可存储多个参考帧，并且不仅存储增强层的解码图像(也称为增强层解码图像)，而且还从基本层图像解码单元1002获取基本层解码图像并将该图像作为长期参考帧来存储。在此情况下，存储在帧存储器1039中的基本层解码图像可以是经历了上采样处理的图像(例如，帧存储器1039可对从基本层图像解码单元1002提供来的基本层解码图像进行上采样并存储)。
按与基本层图像解码单元1002的情况类似的方式，帧存储器1039中存储的图像，即，增强层解码图像或基本层解码图像，被内预测单元1041或间预测单元1042在预测处理中用作参考图像。
例如，如果在编码中的内预测中采用了纹理BL(texture BL)，则内预测单元1041按照纹理BL模式来执行内预测。换言之，内预测单元1041(通过选择单元1040)从帧存储器1039的长期参考帧获取基本层的当前图片中的增强层的共位块的像素值，利用该像素值作为参考图像来执行内预测，并且生成预测图像。生成的预测图像通过预测图像选择单元1043被提供给计算单元1035。
例如，如果在编码中的间预测中采用了参考索引(Ref_idx)模式，则间预测单元1042按照参考索引(Ref_idx)模式来执行间预测。换言之，间预测单元1042获取帧存储器1039的长期参考帧中存储的基本层解码图像，利用该图像作为参考图像来执行间预测，并且生成预测图像。生成的预测图像通过预测图像选择单元1043被提供给计算单元1035。
如图73所示，增强层图像解码单元1003还包括头部解译单元1044。
头部解译单元1044对由无损解码单元提取的头部信息，例如序列参数集合(SPS)、图片参数集合(PPS)或者切片头部，进行解译。在此情况下，头部解译单元1044对序列参数集合(sep_parameter_set_rbsp)的关于长期参考帧的语法used_by_curr_pic_lt_sps_flag[i]的值或者切片头部(slice_segment_header)的关于长期参考帧的语法used_by_curr_pic_lt_flag[i]的值进行解译。
头部解译单元1044基于对头部信息进行解译的结果来控制增强层图像解码单元1003的每个处理单元的操作。也就是说，增强层图像解码单元1003的每个处理单元适当地根据头部信息来执行处理。
内预测单元1041基于语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值来执行内预测。例如，如果语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值为“0”，则内预测单元1041对于该图片在除了纹理BL模式以外的其他模式中执行内预测。换言之，对于此图片，在内预测中不使用基本层解码图像。换言之，在对此图片的内预测中省略用于层间纹理预测的运动补偿。相反，如果语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值为“1”并且最优内预测模式是纹理BL模式，则内预测单元1041在纹理BL模式中执行内预测。
间预测单元1042基于语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值来执行间预测。例如，如果语法used_by_curr_pic_lt_sps_flag[i]或语法used_by_curr_pic_lt_flag[i]的值为“0”，则间预测单元1042对于该图片在除了参考索引模式以外的其他模式中执行间预测。换言之，对于此图片，在间预测中不使用基本层解码图像。换言之，在对此图片的间预测中省略用于层间纹理预测的运动补偿。相反，如果语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值为“1”并且最优间预测模式是参考索引模式，则间预测单元1042在参考索引模式中执行间预测。
这样，图像解码装置1000通过基于关于长期参考帧的语法的值来执行内预测或间预测，可以在对增强层解码的处理中对于每个图片控制层间纹理预测的执行。换言之，图像解码装置1000可以控制解码处理中的每一层的运动补偿的执行，从而抑制解码处理中的负担的增大。
<图像解码处理的流程>
接下来，描述如上所述的图像解码装置1000要执行的每个处理的流程。接下来，参考图74的流程图来描述图像解码处理的流程的示例。
在图像解码处理开始后，图像解码装置1000的解复用器1001在步骤S1001中对从编码方传送来的阶层化图像编码流进行解复用并且对于每一层生成比特流。
在步骤S1002中，基本层图像解码单元1002对由步骤S1001中的处理获得的基本层图像编码流进行解码。基本层图像解码单元1002输出由这个解码生成的基本层图像的数据。
在步骤S1003中，增强层图像解码单元1003的头部解译单元1044对从由步骤S1001中的处理获得的增强层图像编码流中提取的头部信息的序列参数集合进行解译。
在步骤S1004中，增强层图像解码单元1003对由步骤S1001中的处理获得的增强层图像编码流进行解码。
在步骤S1004的处理结束后，图像解码处理结束。
注意，头部解译单元1044也对除了序列参数集合以外的头部信息进行解译；然而，除了如下所述的切片头部以外，省略对其的描述。另外，基本层图像解码单元1002(例如无损解码单元1012)还对关于基本层的诸如序列参数集合、图片参数集合或者切片头部之类的头部信息进行解译；然而，省略对其的描述。
步骤S1001、步骤S1002和步骤S1004中的每个处理是对每个图片执行的。步骤S1003中的处理是对每个序列执行的。
<基本层解码处理的流程>
接下来，参考图75的流程图来描述在图74的步骤S1002中执行的基本层解码处理的流程的示例。
在基本层解码处理开始后，按与图25中的步骤S341至步骤S350中的每个处理类似的方式执行步骤S1021至步骤S1030中的每个处理。
在步骤S1031中，帧存储器1019把在如上所述的基本层解码处理中获得的基本层解码图像提供给增强层的解码处理。
在步骤S1031的处理结束后，基本层解码处理结束并且处理返回到图74。
<序列参数集合解译处理的流程>
接下来，参考图76的流程图来描述在图74的步骤S1003中执行的序列参数集合解译处理的流程的示例。
在序列参数集合解译处理开始后，增强层图像解码单元1003的头部解译单元1044在步骤S1041中对序列参数集合中的每个参数进行解译并且基于解译结果来控制每个处理单元。
在步骤S1042中，头部解译单元1044对序列参数集合的关于长期参考帧的语法used_by_curr_pic_lt_sps_flag[i]进行解译，并且例如基于解译结果来控制内预测单元1041或间预测单元1042。
在步骤S1042的处理结束后，序列参数集合解译处理结束并且处理返回到图74。
<增强层解码处理的流程>
接下来，参考图77的流程图来描述在图74的步骤S1004中执行的增强层解码处理的流程的示例。
在增强层解码处理开始后，按与图27的步骤S391和步骤S392中的每个处理类似的方式执行步骤S1051和步骤S1052中的每个处理。
在步骤S1053中，头部解译单元1044对切片头部的每个参数进行解译，并且基于解译结果来控制每个处理单元。在步骤S1054中，头部解译单元1044对切片头部的关于长期参考帧的语法used_by_curr_pic_lt_flag[i]进行解译，并且例如基于解译结果来控制内预测单元1041或间预测单元1042。
步骤S1055和步骤S1056中的每个处理是按与图27的步骤S393和步骤S394中的每个处理类似的方式执行的。
在步骤S1057中，内预测单元1041和间预测单元1042执行预测处理并且按照内预测或者间预测来生成预测图像。在此情况下，内预测单元1041和间预测单元1042基于由图76的步骤S1042中的处理对语法used_by_curr_pic_lt_sps_flag[i]的解译结果和由步骤S1054中的处理对语法used_by_curr_pic_lt_flag[i]的解译结果，根据头部解译单元1044的控制来执行预测处理。
步骤S1058至步骤S1062中的每个处理是按与图27的步骤S396至步骤S400中的每个处理类似的方式执行的。
在步骤S1062的处理结束后，增强层解码处理结束并且处理返回到图74。
<预测处理的流程>
接下来，参考图78的流程图来描述在图77的步骤S1057中执行的预测处理的流程的示例。
在预测处理开始后，内预测单元1041和间预测单元1042在步骤S1071中对于要处理的当前块判定最优模式(在编码中采用的预测处理的模式)是否是内预测模式。如果判定预测图像是由内预测生成的，则处理前进到步骤S1072。
在步骤S1072中，内预测单元1041判定是否参考基本层的图像。如果对于当前块所属的当前图片的层间纹理预测被头部解译单元1044控制来执行并且当前块的最优内预测模式是纹理BL模式，则内预测单元1041判定在当前块的预测处理中参考基本层的图像。在此情况下，处理前进到步骤S1073。
在步骤S1073中，内预测单元1041从帧存储器1039的长期参考帧获取基本层解码图像作为参考图像。在步骤S1074中，内预测单元1041在纹理BL模式中执行内预测并且生成预测图像。在步骤S1074的处理结束后，处理前进到步骤S1080。
如果对于当前图片的层间纹理预测被头部解译单元1044控制为要执行并且当前块的最优内预测模式不是纹理BL模式，或者如果在步骤S1072中对于当前图片的层间纹理预测被头部解译单元1044控制为不执行，则内预测单元1041判定在当前块的预测处理中不参考基本层的图像。在此情况下，处理前进到步骤S1075。
在步骤S1075中，内预测单元1041从帧存储器1039获取增强层解码图像来作为参考图像。内预测单元1041在最优内预测模式——其不是纹理BL模式——中执行内预测，并且生成预测图像。在步骤S1075中的处理结束后，处理前进到步骤S1080。
如果在步骤S1071中判定当前块的最优模式是间预测模式，则处理前进到步骤S1076。
在步骤S1076中，间预测单元1042判定是否参考基本层的图像。如果对于当前图片的层间纹理预测被头部解译单元1044控制为要执行并且当前块的最优内预测模式是参考索引模式，则间预测单元1042判定在当前块的预测处理中参考基本层的图像。在此情况下，处理前进到步骤S1077。
在步骤S1077中，间预测单元1042从帧存储器1039的长期参考帧获取基本层解码图像来作为参考图像。在步骤S1078中，间预测单元1042在参考索引模式中执行间预测并且生成预测图像。在步骤S1078的处理结束后，处理前进到步骤S1080。
在步骤S1076中，如果对于当前图片的层间纹理预测被头部解译单元1044控制为要执行并且当前块的最优间预测模式不是纹理索引模式，或者如果对于当前图片的层间纹理预测被头部解译单元1044控制为不执行，则间预测单元1042判定在当前块的预测处理中不参考基本层的图像。在此情况下，处理前进到步骤S1079。
在步骤S1079中，间预测单元1042从帧存储器1039获取增强层解码图像来作为参考图像。然后，间预测单元1042在最优间预测模式——其不是参考索引模式——中执行间预测，并且生成预测图像。在步骤S1079的处理结束后，处理前进到步骤S1080。
在步骤S1080中，内预测单元1041或间预测单元1042把生成的预测图像通过预测图像选择单元1043提供给计算单元1035。
在步骤S1080中的处理结束后，预测处理结束并且处理返回到图77。
在上述预测处理中，例如，如果像步骤S1075的处理或者步骤S1079的处理中那样对于当前图片的层间纹理预测被头部解译单元1044控制为不执行(例如，当语法used_by_curr_pic_lt_sps_flag[i]或者语法used_by_curr_pic_lt_flag[i]的值为“0”时)，则省略用于层间纹理预测的运动补偿。
因此，通过执行如上所述的每个处理，图像解码装置1000(增强层图像解码单元1003)可抑制解码处理的负担的增大。
<13.第十一实施例>
<层间语法预测控制>
<7.概要2>、<8.第七实施例>和<9.第八实施例>描述了独立地控制层间像素预测(Inter-layer Pixel Prediction)的执行和层间语法预测(Inter-layer SyntaxPrediction)的执行的示例。
在此情况下，如果对基本层的编码方法是AVC并且对增强层的编码方法是HEVC，则层间语法预测利用AVC中的语法(syntax)来使用HEVC中的语法的预测处理。然而，实际上，难以利用与HEVC不同的AVC中的语法(syntax)执行HEVC中的语法的预测处理。鉴于此，使用AVC编码方法中的基本层的语法的层间语法预测可被禁止。
<编码方的控制>
例如，如果在编码方对基本层的编码方法是AVC并且层0(layer＝0)被参考，则控制层间语法预测的执行的层间语法预测控制信息可被设定为不执行层间语法预测的值，然后可被传送。
此情况下的可伸缩编码装置100的结构与参考图9描述的示例中的类似。可伸缩编码装置100的每个单元的结构与参考图44描述的示例中的类似。
在此情况下，可伸缩编码装置100执行的编码处理是按与图13所示的流程图的示例中的处理类似的方式执行的。然后，按与图45所示的流程图中的处理类似的方式执行在编码处理中执行的共通信息生成处理。按与图46所示的流程图中的处理类似的方式执行在编码处理中执行的基本层编码处理。此外，按与图48所示的流程图中的处理类似的方式执行在编码处理中执行的增强层编码处理。按与图49所示的流程图中的处理类似的方式执行在增强层编码处理中执行的运动预测/补偿处理。按与图50所示的流程图中的处理类似的方式执行在编码处理中执行的内预测处理。
参考图79的流程图描述在编码处理中的步骤S106中要执行的层间预测控制处理的流程的示例。
按与图47中的步骤S731至步骤S733中的每个处理类似的方式执行步骤S1101至步骤S1103中的每个处理，并且基于层间像素预测控制信息来执行对层间像素预测的控制。
在步骤S1104中，层间语法预测控制信息设定单元725判定基本层编码方法是否是AVC并且参考层是否是层0。更具体而言，层间语法预测控制信息设定单元725判定作为表示基本层编码方法是否为AVC的标志信息的avc_base_layer_flag的值是否为“1”(avc_base_layer_flag＝1)并且作为表示参考层的参数的layer的值是否为“0”(layer＝0)。
如果在步骤S1104中判定avc_base_layer_flag为0或者layer不为0，则处理前进到步骤S1105。
在此情况下，按与图47中的步骤S734至步骤S736中的每个处理类似的方式执行步骤S1105至步骤S1107中的每个处理，并且基于任何信息设定层间语法预测控制信息并且进行对层间语法预测的控制。在步骤S1107的处理结束后或者在步骤S1106中判定当前图片是不对其执行层间语法预测的图片时，层间预测控制处理结束并且处理返回到图13。
如果在步骤S1104中判定avc_base_layer_flag为1或者layer为0，则处理前进到步骤S1108。
在步骤S1108中，层间语法预测控制信息设定单元725设定层间语法预测控制信息以使得层间语法预测的执行被关闭。在此情况下，不执行(省略)层间语法预测。在步骤S1108中的处理结束后，层间预测控制处理结束并且处理返回到图13。
层间像素预测控制信息设定单元711把层间像素预测控制信息作为控制层间像素预测的执行(开/关)的控制信息在例如视频参数集合(VPS(Video Parameter Set))、扩展视频参数集合(Vps_extension())或者nal单元(nal_unit)中传送。
然后，作为控制层间语法预测的执行(开/关)的层间语法预测控制信息在例如图片参数集合(PPS(Picture Parameter Set))、切片头部(SliceHeader)或者nal单元(nal_unit)中被传送到解码方。注意，层间语法预测控制信息可例如在视频参数集合(VPS(VideoParameter Set))功者扩展视频参数集合(Vps_extension())中被传送到解码方。
从而，在可伸缩编码装置100中可省略当基本层编码方法是AVC时与层间语法预测控制有关的处理的执行，由此可以抑制编码处理中的负担的不必要增大。另外，通过把这样设定的层间语法预测控制信息传送到解码方，可以在解码方在基本层编码方法是AVC时省略与层间语法预测控制有关的处理的执行。换言之，可伸缩编码装置100可以抑制解码方的负担的不必要增大。
<解码方的控制>
例如，如果基本层编码方法是AVC并且在解码方参考层0(layer＝0)，则无论实际值如何，层间语法预测控制信息的值都可被强制性地视为“0”。
此情况下的可伸缩解码装置200的结构与参考图19描述的示例中的类似。可伸缩解码装置200的每个单元的结构与参考图51描述的示例中的类似。
在此情况下，可伸缩解码装置200执行的解码处理是按与图23所示的流程图的示例中的处理类似的方式执行的。然后，按与图52所示的流程图中的处理类似的方式执行在解码处理中执行的共通信息获取处理。按与图53所示的流程图中的处理类似的方式执行在解码处理中执行的基本层解码处理。此外，按与图27所示的流程图中的处理类似的方式执行在解码处理中执行的增强层解码处理。按与图55所示的流程图中的处理类似的方式执行在增强层解码处理中执行的预测处理。
参考图80的流程图来描述在解码处理中的步骤S306中要执行的层间预测控制处理的流程的示例。
按与图54的步骤S831至步骤S833中的每个处理类似的方式执行步骤S1121至步骤S1123中的每个处理，并且基于层间像素预测控制信息来进行对于层间像素预测的控制。
在步骤S1124中，层间语法预测控制单元826判定基本层编码方法是否为AVC并且参考层是否为层0。更具体而言，层间语法预测控制单元826判定在从编码方传送来的扩展视频参数集合(Vps_extension())中作为表示基本层编码方法是否为AVC的标志信息的avc_base_layer_flag的值是否为“1”(avc_base_layer_flag＝1)并且作为表示参考层的参数的layer的值是否为“0”(layer＝0)。
在步骤S1124中，如果判定avc_base_layer_flag为0或者layer不为0，则处理前进到步骤S1125。
在此情况下，按与图54的步骤S834至步骤S836中的每个处理类似的方式执行步骤S1125至步骤S1127中的每个处理，并且基于层间语法预测控制信息来进行对于层间语法预测的控制。在步骤S1127的处理结束后或者在步骤S1126中判定当前图片是不对其执行层间语法预测的图片时，层间预测控制处理结束并且处理返回到图23。
如果在步骤S1124中判定avc_base_layer_flag为1或者layer为0，则处理前进到步骤S1128。
在步骤S1128中，层间语法预测控制单元826关闭层间语法预测。换言之，在此情况下，不执行(省略)层间语法预测。在步骤S1128的处理结束后，层间预测控制处理结束并且处理返回到图23。
从而，在可伸缩解码装置200中可省略当基本层编码方法是AVC时与层间语法预测控制有关的处理的执行，由此可以抑制解码处理中的负担的不必要增大。
<14.其他>
以上描述是对图像数据通过可伸缩编码被划分成多个层的示例作出的。注意，层的数目可以任意来确定。如图81的示例中所示，图片的一部分可被划分成层。另外，在以上示例中，在编码和解码中参考基本层来处理增强层；然而，本公开不限于此，而是可以参考其他已处理的增强层来处理增强层。
以上描述的层包括多视点图像编码和解码中的视域(view)。换言之，本技术可应用到多视点图像编码和解码。图82示出了多视点图像编码的示例。
如图82所示，多视点图像包括具有多个视点(视域)的图像，并且具有这些视点之中的预定的一个视点的图像被指定为基本视域的图像。除了基本视域图像以外的图像被视为非基本视域图像。
在对如图82所示的多视点图像编码或解码时，每个视域的图像被编码或解码；在此情况下，在每个视域的编码或解码中可应用上述方法。换言之，在多视点编码和解码中可在多个视域之间共享与编码和解码有关的信息。
例如，基本视域在不参考与其他视域的编码和解码有关的信息的情况下经历编码和解码，而非基本视域通过参考与基本视域的编码和解码有关的信息来经历编码和解码。然后，只有与对基本视域的编码和解码有关的信息被传送。
从而，按与上述阶层编码和解码类似的方式，即使在多视点编码和解码中也可抑制编码效率的恶化。
这样，本技术可应用到基于可伸缩编码和解码方法的任何图像编码装置和图像解码装置。
本技术可应用到当通过卫星广播、有线电视、因特网或者诸如蜂窝电话之类的网络介质接收像MPEG或H.26x那样通过运动补偿和诸如离线余弦变换之类的正交变换来压缩的图像信息(比特流)时使用的图像编码装置和图像解码装置。另外，本技术可应用到在诸如光盘或磁盘或闪存之类的存储介质中执行的处理中使用的图像编码装置和图像解码装置。此外，本技术可应用到图像编码装置和图像解码装置中包括的正交变换装置或逆正交变换装置，等等。
<15.第十二实施例>
<计算机>
上述一系列处理可利用硬件或软件来执行。在使用软件来执行处理的情况下，构成软件的程序被安装在计算机中。这里，计算机包括包含在专用硬件中的计算机或者通过让各种程序安装在其中通过执行各种功能的通用计算机。
图83是示出通过程序来执行上述处理的计算机的硬件的结构的示例的框图。
在图83所示的计算机1850中，CPU(中央处理单元)1851、ROM(只读存储器)1852和RAM(随机访问存储器)1853通过总线1854相互连接。
输入/输出接口1860也连接到总线1854。输入单元1861、输出单元1862、存储单元1863、通信单元1864和驱动器1865也连接到输入/输出接口1860。
输入单元1861对应于例如键盘、鼠标、麦克风、触摸面板、输入终端等等。输出单元1862对应于例如显示器、扬声器、输出终端等等。存储单元1863对应于例如硬盘、RAM盘、非易失性存储器等等。通信单元1864对应于例如网络接口。驱动器1865驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移除介质1871。
在具有上述结构的计算机中，CPU 1851通过输入/输出接口1860和总线1854把存储在存储单元1863中的程序加载到RAM 1853并且执行这些程序，从而执行上述处理。RAM1853还适当地存储CPU1851执行各种处理所必要的数据。
计算机(CPU 1851)执行的程序可被记录在作为封装介质的可移除介质1871并且被应用。
在此情况下，可通过将可移除介质1871附接到驱动器1865来通过输入/输出接口1860将程序安装在存储单元1863中。
程序可通过诸如局域网、因特网或者数字卫星广播之类的有线或无线传送介质来提供。在此情况下，程序可被通信单元1864接收并被安装在存储单元1863中。另外，程序可被预先安装在ROM 1852或存储单元1863中。
计算机要执行的程序可以是按如本说明书描述的时序顺序实现处理的程序或者并行地或者在必要的时机(例如作出调用时)实现处理的程序。
在本说明书中，描述记录介质中记录的程序的步骤不仅包括按如本文所述的时序顺序执行的处理，而且还包括不一定按时序执行而是并行地或者单独地执行的处理。
在本说明书中，系统指的多个组件(装置、模块(部件)等等)的群组，并且是否所有组件都存在于一个壳体中是无关紧要的。因此，容纳在分开的壳体中并通过网络连接的多个装置和在一个壳体中包含多个模块的一个装置都是系统。
另外，在上述示例中，描述为一个装置(或一个处理单元)的结构可被划分为多个装置(或处理单元)。相板，描述为分开的装置(或处理单元)的结构可形成为一个装置(或处理单元)。另外，每个装置(或处理单元)的结构可额外地设有除上述以外的结构。只要作为整个系统的结构或操作是基本相同的，某个装置(或处理单元)的结构的一部分就可被包括在另一装置(或处理单元)的结构中。
已参考附图描述了本公开的优选实施例；然而，本公开的技术范围不限于此。很明显，本公开所属领域的技术人员将会构想出在如权利要求的范围中记载的技术思想的范围内的修改或改进，并且这些也包括在本公开的技术范围内。
例如，本技术可具有云计算的结构：经由网络与多个装置共享一个功能，并且一起处理工作。
参考上述流程图描述的每个步骤可在一个装置中执行或者在多个装置之间共享。
如果一个步骤中包括多个处理，则一个步骤中包括的处理可在一个装置中执行或者在多个装置之间共享。
根据上述实施例的图像编码装置和图像解码装置可应用到各种电子设备，包括在卫星广播、诸如有线TV之类的有线广播或因特网上的分发或者通过蜂窝通信向终端的分发中使用的发送器或接收器、在诸如光盘、磁盘或闪存之类的介质中记录图像的记录装置以及从这些存储介质再现图像的再现装置。以上对四个应用例进行描述。
<16.应用例>
<第一应用例：电视接收器>
图84示出应用了上述实施例的电视装置的示意性结构的示例。电视装置1900包括天线1901、调谐器1902、解复用器1903、解码器1904、视频信号处理单元1905、显示单元1906、音频信号处理单元1907、扬声器1908、外部接口(I/F)单元1909、控制单元1910、用户界面单元1911和总线1912。
调谐器1902从通过天线1901接收的广播信号中提取期望频道的信号，并对提取的信号进行解调。调谐器1902把通过解调获得的编码比特流输出给解复用器1903。换言之，调谐器1902具有用于接收其中编码了图像的编码流的电视装置1900中的传送单元的作用。
解复用器1903从编码比特流中分离出要观看的节目的视频流和音频流，并将分离出的流输出到解码器1904。解复用器1903从编码比特流中提取诸如EPG(电子节目指南)之类的辅助数据，并将提取的数据提供给控制单元1910。注意，如果编码比特流已被加扰，则解复用器1903可对编码比特流进行解扰。
解码器1904对从解复用器1903输入的视频流和音频流进行解码。解码器1904把由解码处理生成的视频数据输出到视频信号处理单元1905。解码器1904还把由解码处理生成的音频数据输出到音频信号处理单元1907。
视频信号处理单元1905再现从解码器1904输入的视频数据，并在显示单元1906上显示视频。视频信号处理单元1905可在显示单元1906上显示通过网络提供的应用画面。视频信号处理单元1905可根据设定对视频数据执行诸如噪声去除之类的附加处理。另外，视频信号处理单元1905可生成诸如菜单、按钮或光标之类的GUI(图形用户界面)的图像，并将所生成的图像重叠在输出图像上。
显示单元1906被从视频信号处理单元1905提供来的驱动信号所驱动，并在显示装置(例如液晶显示器、等离子显示器或者OELD(有机电致发光显示器)(有机EL显示器))的视频画面上显示视频或图像。
音频信号处理单元1907对从解码器1904输入的音频数据执行诸如D/A转换或放大之类的再现处理，并从扬声器1908输出音频。另外，音频信号处理单元1907可对音频数据执行诸如噪声去除之类的附加处理。
外部接口单元1909是用于连接在电视装置1900与外部设备或网络之间的接口。例如，通过外部接口单元1909接收的视频流或音频流可被解码器1904解码。换言之，外部接口单元1909也具有用于接收其中编码了图像的编码流的电视装置1900中的传送单元的作用。
控制单元1910包括诸如CPU之类的处理器，以及诸如RAM和ROM之类的存储器。存储器存储CPU要执行的程序、程序数据、EPG数据和通过网络获取的数据，等等。例如，当电视装置1900被激活时，存储在存储器中的程序被CPU读入并执行。通过执行这些程序，CPU例如响应于从用户界面单元1911输入的操作信号来控制电视装置1900的操作。
用户界面单元1911连接到控制单元1910。用户界面单元1911例如包括供用户操作电视装置1900的按钮和开关以及用于接收遥控信号的接收单元。用户界面单元1911通过经由这些组件检测用户的操作来生成操作信号，并且将所生成的操作信号输出到控制单元1910。
总线1912连接在调谐器1902、解复用器1903、解码器1904、视频信号处理单元1905、音频信号处理单元1907、外部接口1909和控制单元1910之间。
在具有上述结构的电视装置1900中，解码器1904具有根据上述实施例的可伸缩解码装置200或图像解码装置1000(图71)的功能。从而，在电视装置1900中的图像的解码中，可以抑制编码效率的恶化并且可以抑制由编码和解码引起的图像质量的恶化。
<第二应用例：蜂窝电话>
图85示出应用了上述实施例的蜂窝电话的示意性结构的示例。蜂窝电话1920包括天线1921、通信单元1922、音频编解码器1923、扬声器1924、麦克风1925、相机单元1926、图像处理单元1927、复用/分离单元1928、记录/再现单元1929、显示单元1930、控制单元1931、操作单元1932和总线1933。
天线1921连接到通信单元1922。扬声器1924和麦克风1925连接到音频编解码器1923。操作单元1932连接到控制单元1931。总线1933连接在通信单元1922、音频编解码器1923、相机单元1926、图像处理单元1927、复用/分离单元1928、记录/再现单元1929、显示单元1930和控制单元1931之间。
蜂窝电话1920在包括语音呼叫模式、数据通信模式、摄影模式和视频呼叫模式在内的各种模式中执行包括音频信号、电子邮件和图像数据的交换、图像的拍摄和数据的记录在内的操作。
在语音呼叫模式中，由麦克风1925生成的模拟音频信号被提供给音频编解码器1923。音频编解码器1923把模拟音频信号转换成音频数据，并通过A/D转换对转换后的音频数据进行压缩。然后，音频编解码器1923把压缩的音频数据输出到通信单元1922。通信单元1922对音频数据进行编码和调制并生成发送信号。通信单元1922把生成的发送信号通过天线1921发送到基站(未示出)。通信单元1922对通过天线1921接收的无线信号进行放大并转换其频率，并且获取接收信号。通信单元1922随后通过对接收信号进行解调和解码来生成音频数据，并将生成的音频数据输出到音频编解码器1923。音频编解码器1923展开音频数据并对其执行D/A转换，并且生成模拟音频信号。音频编解码器1923把生成的音频信号提供给扬声器1924以输出音频。
在数据通信模式中，例如，控制单元1931响应于通过操作单元1932的用户操作来生成构成电子邮件的文本数据。控制单元1931在显示单元1930上显示文本。控制单元1931响应于通过操作单元1932来自用户的发送指令生成电子邮件数据，并且将生成的电子邮件数据输出到通信单元1922。通信单元1922对电子邮件数据进行编码和调制，并且生成发送信号。通信单元1922把生成的发送信号通过天线1921发送到基站(未示出)。通信单元1922对通过天线1921接收的无线信号进行放大并转换其频率，并且获取接收信号。通信单元1922随后通过对接收信号进行解调和解码来对电子邮件数据进行解压缩，并将生成的电子邮件数据输出到控制单元1931。控制单元1931使得显示单元1930显示电子邮件的内容，并且同时，将电子邮件数据提供给记录/再现单元1929并且让该数据被写入在存储介质中。
记录/再现单元1929具有任意的可读和可写存储介质。例如，存储介质可以是诸如RAM或闪存之类的内置型存储介质，或者可以是诸如硬盘、磁盘、磁光盘和光盘、USB(通用串行总线)存储器或存储卡之类的可拆离型存储介质。
在摄影模式中，例如，相机单元1926对被摄物摄影，生成图像数据，并将生成的图像数据输出到图像处理单元1927。图像处理单元1927对从相机单元1926输入的图像数据进行编码，将编码流提供给记录/再现单元1929，并且让该数据被写入在存储介质中。另外，在图像显示模式中，记录/再现单元1929读出存储介质中记录的编码流并将该流输出到图像处理单元1927。图像处理单元1927对从记录/再现单元1929输入的编码流进行解码并将图像数据提供给显示单元1930，在显示单元1930上显示图像。
在视频呼叫模式中，例如，复用/分离单元1928复用经图像处理单元1927编码的视频流和从音频编解码器1923输入的音频流，并将复用的流输出到通信单元1922。通信单元1922对该流进行编码和调制并生成发送信号。然后，通信单元1922把生成的发送信号通过天线1921发送到基站(未示出)。另外，通信单元1922对通过天线1921接收的无线信号进行放大并转换其频率，并且获取接收信号。这些发送信号和接收信号可包括编码比特流。然后，通信单元1922通过对接收信号进行解调和解码来对流进行解压缩，并且将解压缩的流输出到复用/分离单元1928。复用/分离单元1928从输入流中分离出视频流和音频流，并且将视频流输出到图像处理单元1927，并将音频流输出到音频编解码器1923。图像处理单元1927对视频流进行解码并生成视频数据。视频数据被提供到显示单元1930，在这里显示一系列图像。音频编解码器1923展开音频流并对其执行D/A转换，并且生成模拟音频信号。音频编解码器1923把生成的音频信号提供给扬声器1924以输出音频。
在具有上述结构的蜂窝电话1920中，图像处理单元1927具有可伸缩编码装置100和可伸缩解码装置200的功能，或者根据上述实施例的图像编码装置900(图62)和图像解码装置1000(图71)的功能。从而，在蜂窝电话1920中的图像的编码和解码中，可以抑制编码效率的恶化并且可以抑制由编码和解码引起的图像质量的恶化。
<第三应用例：记录/再现装置>
图86示出应用了上述实施例的记录/再现装置的示意性结构的示例。记录/再现装置1940接收到的广播节目的音频数据和视频数据进行编码，并且将数据记录在记录介质中。记录/再现装置1940可对从另一装置获取的音频数据和视频数据进行编码，并将数据记录在记录介质中。记录/再现装置1940响应于用户指令在监视器和扬声器上再现记录介质中记录的数据。在此情况下，记录/再现装置1940对音频数据和视频数据进行解码。
记录/再现装置1940包括调谐器1941、外部接口(I/F)单元1942、编码器1943、HDD(硬盘驱动器)1944、盘驱动器1945、选择器1946、解码器1947、OSD(屏上显示)1948、控制单元1949和用户界面(I/F)1950。
调谐器1941从通过天线(未示出)接收的广播信号中提取期望频道的信号，并对提取的信号进行解调。调谐器1941把通过解调获得的编码比特流输出给选择器1946。换言之，调谐器1941具有记录/再现装置1940中的传送单元的作用。
外部接口单元1942是连接在记录/再现装置1940与外部设备或网络之间的接口。外部接口单元1942可以例如是IEEE(电气与电子工程师学会)1394接口、网络接口、USB接口或者闪存接口。例如，通过外部接口单元1942接收的视频数据或音频数据被输入到编码器1943。换言之，外部接口单元1942也具有记录/再现装置1940中的传送单元的作用。
如果从外部接口单元1942输入的视频数据或音频数据未被编码，则编码器1943对视频数据和音频数据进行编码。然后，编码器1943把编码比特流输出到选择器1946。
HDD 1944在内部硬盘中记录包含诸如视频和音频之类的压缩内容数据的编码比特流、各种程序和其他数据。当再现视频或音频时，HDD 1944从硬盘读出这些数据。
盘驱动器1945在附接的记录介质中记录数据并从该记录介质中读出数据。附接到盘驱动器1945的记录介质可以例如是DVD(数字多功能盘(例如DVD-视频、DVD-RAM(DVD-随机访问存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可改写)、DVD+R(DVD+可记录)或者DVD+RW(DVD+可改写))或者蓝光(Blu-ray，注册商标)盘。
当记录视频和音频时，选择器1946选择从调谐器1941或编码器1943输入的编码比特流，并将所选择的编码比特流输出到HDD 1944或盘驱动器1945。当再现视频和音频时，选择器1946把从HDD 1944或盘驱动器1945输入的编码比特流输出到解码器1947。
解码器1947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器1947把生成的视频数据输出到OSD 1948。解码器1947把生成的音频数据输出到外部扬声器。
OSD 1948再现从解码器1947输入的视频数据，并显示视频。OSD 1948可将诸如菜单、按钮或光标之类的GUI图像重叠在显示的视频上。
控制单元1949包括诸如CPU之类的处理器，以及诸如RAM和ROM之类的存储器。存储器存储CPU要执行的程序，以及程序数据，等等。例如，当记录/再现装置1940被激活时，存储在存储器中的程序被CPU读入并执行。通过执行这些程序，CPU例如响应于从用户界面单元1950输入的操作信号来控制记录/再现装置1940的操作。
用户界面单元1950连接到控制单元1949。用户界面单元1950例如包括供用户操作记录/再现装置1940的按钮和开关，以及用于接收遥控信号的接收单元。用户界面单元1950通过经由这些组件检测用户的操作来生成操作信号，并且将所生成的操作信号输出到控制单元1949。
在具有上述结构的记录/再现装置1940中，编码器1943具有根据上述实施例的可伸缩编码装置100或图像编码装置900(图62)的功能。解码器1947具有根据上述实施例的可伸缩解码装置200或图像解码装置1000(图71)的功能。从而，在记录/再现装置1940中的图像的编码和解码中，可以抑制编码效率的恶化并且可以抑制由编码和解码引起的图像质量的恶化。
<第四应用例：摄影装置>
图87示出应用了上述实施例的摄影装置的示意性结构的示例。摄影装置1960通过对被摄物摄影来生成图像，对图像数据编码，并将数据记录在记录介质中。
摄影装置1960包括光学块1961、摄影单元1962、信号处理单元1963、图像处理单元1964、显示单元1965、外部接口(I/F)单元1966、存储器单元1967、介质驱动器1968、OSD1969、控制单元1970、用户界面(I/F)单元1971和总线1972。
光学块1961连接到摄影单元1962。摄影单元1962连接到信号处理单元1963。显示单元1965连接到图像处理单元1964。用户界面单元1971连接到控制单元1970。总线1972连接在图像处理单元1964、外部接口单元1966、存储器单元1967、介质驱动器1968、OSD 1969和控制单元1970之间。
光学块1961具有聚焦透镜、光圈机构，等等。光学块1961将被摄物的光学图像聚焦在摄影单元1962的摄影表面上。摄影单元1962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)之类的图像传感器，并且通过光电转换把聚焦在摄影表面上的光学图像转换成作为电信号的图像信号。然后，摄影单元1962把图像信号输出到信号处理单元1963。
信号处理单元1963对从摄影单元1962输入的图像信号执行各种相机信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元1963把相机信号处理后的图像数据输出到图像处理单元1964。
图像处理单元1964对从信号处理单元1963输入的图像数据进行编码，并生成编码数据。然后，图像处理器1964把生成的编码数据输出到外部接口单元1966或介质驱动器1968。图像处理单元1964还对从外部接口单元1966或介质驱动器1968输入的编码数据进行解码，并生成图像数据。然后，图像处理单元1964把生成的图像数据输出到显示单元1965。另外，图像处理单元1964可以把从信号处理单元1963输入的图像数据输出到显示单元1965，在这里图像被显示。图像处理单元1964还可以把从OSD 1969获取的显示数据重叠在输出到显示单元1965的图像上。
OSD 1969生成诸如菜单、按钮或光标之类的GUI图像并将生成的图像输出到图像处理单元1964。
外部接口单元1966被配置为例如USB输入/输出端子。当打印图像时，外部接口单元1966例如连接在摄影装置1960和打印机之间。另外，外部接口单元1966在必要时可连接有驱动器。例如，诸如磁盘或光盘之类的可移除介质附接到该驱动器，并且从可移除介质读出的程序可被安装在摄影装置1960中。或者，外部接口单元1966可被配置为连接到诸如LAN或因特网之类的网络的网络接口。换言之，外部接口单元1966具有摄影装置1960中的传送单元的作用。
附接到介质驱动器1968的记录介质例如可以是诸如磁盘、磁光盘、光盘或半导体存储器之类的任何可读和可写的可移除介质。介质驱动器1968可以有记录介质固定地附接到它，并且可构成诸如内置的硬盘驱动器或SSD(固态驱动器)之类的非移动式存储单元。
控制单元1970包括诸如CPU之类的处理器，以及诸如RAM和ROM之类的存储器。存储器存储CPU要执行的程序，以及程序数据，等等。例如，当摄影装置1960被激活时，存储在存储器中的程序被CPU读入并执行。通过执行这些程序，CPU例如响应于从用户界面单元1971输入的操作信号来控制摄影装置1900的操作。
用户界面单元1971连接到控制单元1970。用户界面单元1971例如包括供用户操作摄影装置1960的按钮和开关。用户界面单元1971通过经由这些组件检测用户的操作来生成操作信号，并且将所生成的操作信号输出到控制单元1970。
在具有上述结构的摄影装置1960中，图像处理单元1964具有可伸缩编码装置100和可伸缩解码装置200的功能，或者根据上述实施例的图像编码装置900(图62)和图像解码装置1000(图71)的功能。从而，在摄影装置1960中的图像的编码和解码中，可以抑制编码效率的恶化并且可以抑制由编码和解码引起的图像质量的恶化。
<17.可伸缩编码的应用例>
<第一系统>
接下来，将描述使用经历了可伸缩编码(阶层(图像)编码)的可伸缩编码数据的具体示例。可伸缩编码例如用于如图88所示选择要传送的数据。
在图88所示的数据传送系统2000中，分发服务器2002读出可伸缩编码数据存储单元2001中存储的可伸缩编码数据，并将该数据通过网络2003分发到诸如个人计算机2004、AV设备2005、平板装置2006或蜂窝电话2007之类的终端装置。
在此情况下，分发服务器2002根据终端装置的能力或通信环境来选择并传送具有适当质量的编码数据。即使分发服务器2002传送具有过高质量的数据，终端装置也不一定接收高质量图像，在此情况下可发生延迟或溢出。另外，在该情况下，可占用通信频带，或者可不必要地增大终端装置的负担。相反，当分发服务器2002传送具有过低质量的图像时，终端装置可能不能够获得具有充分质量的图像。因此，分发服务器2002适当地读出并传送可伸缩编码数据存储单元2001中存储的可伸缩编码数据，来作为具有适合于终端装置的能力或通信环境的质量的编码数据。
例如，可伸缩编码数据存储单元2001存储经历了可伸缩编码的可伸缩编码数据(BL+EL)2011。可伸缩编码数据(BL+EL)2011是包括基本层和增强层两者的编码数据，并且通过对该数据解码，可以获得基本层的图像和增强层的图像。
分发服务器2002根据数据被传送到的终端装置的能力或通信环境来选择适当的层，并且读出该层的数据。例如，分发服务器2002从可伸缩编码数据存储单元2001读出高质量的可伸缩编码数据(BL+EL)2011并将该数据传送到具有高处理能力的个人计算机2004和平板装置2006。与此不同，分发服务器2002从可伸缩编码数据(BL+EL)2011中提取基本层的数据并将该数据作为可伸缩编码数据(BL+EL)2012传送到具有低处理能力的AV设备2005和蜂窝电话2007，其中可伸缩编码数据(BL+EL)2012具有与可伸缩编码数据(BL+EL)2011相同的内容，但具有比可伸缩编码数据(BL+EL)2011更低的质量。
通过如上所述使用可伸缩编码数据，可以容易地调整数据质量；因此，可以抑制延迟或溢出，并且可以抑制终端装置或通信介质的负担的不必要增大。另外，由于可伸缩编码数据(BL+EL)2011减少了层之间的冗余，所以与每个层的编码数据被视为个体数据的情况中相比可以使数据量更小。从而，可以更高效地使用可伸缩编码数据存储单元2001的存储区域。
注意，终端装置可以是包括个人计算机2004至蜂窝电话2007的各种装置，并且终端装置的硬件的能力取决于装置而有所不同。另外，由于终端装置执行多种应用，所以软件具有各种能力水平。另外，作为通信介质的网络2003可以是诸如因特网或LAN(局域网)之类的有线和/或无线网络或者任何其他通信线路；从而，数据传送能力有所不同。另外，数据传送能力可受到另外通信的影响。
鉴于此，在数据传送开始之前，分发服务器2002可以与数据要被传送到的终端装置通信以获得与终端装置的能力有关的信息，例如终端装置的硬件性能或者终端装置要执行的应用(软件)的性能，并且获得与通信环境有关的信息，例如网络2003的可使用带宽。然后，基于所获得的信息，分发服务器2002可选择适当的层。
注意，在终端装置中可提取该层。例如，个人计算机2004可对传送的可伸缩编码数据(BL+EL)2011进行解码以显示基本层的图像或增强层的图像。或者，例如，个人计算机2004可从传送的可伸缩编码数据(BL+EL)2011中提取基本层的可伸缩编码数据(BL)2012，存储该数据，将该数据传输到另一装置，或者对该数据解码并显示基本层的图像。
不用说，可伸缩编码数据存储单元2001、分发服务器2002、网络2003和终端装置的数目可任意来确定。虽然以上描述是对分发服务器2002向终端装置传送数据的示例作出的，但使用例不限于此。分发服务器2002可应用到任何如下装置：当向终端装置传送可伸缩编码数据时，在根据终端装置的能力或通信环境选择适当的层的同时传送数据。
如图88所示的数据传送系统2000通过如参考图1至图80所述向阶层编码和解码应用本技术，可提供与参考图1至图80描述的上述效果类似的效果。
<第二系统>
如图89的示例中所示，可伸缩编码用于经由多个通信介质的传送。
在图89所示的数据传送系统2100中，广播台2101通过地面广播2111来传送基本层可伸缩编码数据(BL)2121。广播台2101通过包括有线通信网络、无线通信网络或者有线/无线通信网络(例如，按封包的传送)在内的任何网络2112传送增强层可伸缩编码数据(EL)2122。
终端装置2102具有接收来自广播台2101的地面广播2111的功能，并且接收通过地面广播2111传送的基本层可伸缩编码数据(BL)2121。终端装置2102还具有通过网络2112通信的功能，并且接收通过网络2112传送的增强层可伸缩编码数据(EL)2122。
例如，响应于用户指令等等，终端装置2102对通过地面广播2111获取的基本层可伸缩编码数据(BL)2121进行解码以获得基本层的图像，存储该图像，或者将该图像传输到另一装置。
另外，响应于用户指令，终端装置2102通过合成通过地面广播2111获取的基本层可伸缩编码数据(BL)2121和通过网络2112获取的增强层可伸缩编码数据(EL)2122来获得可伸缩编码数据(BL+EL)，对该数据解码以获得增强层图像，存储该图像，并将该图像传输到另一装置。
从而，例如，对于每个层可通过不同的通信介质来传送可伸缩编码数据。因此，可以分散负担并且可以抑制延迟或溢出。
可根据情况对于每一层选择传送中使用的通信介质。例如，可通过具有宽带宽的通信介质来传送数据量相对较大的基本层可伸缩编码数据(BL)2121，而可通过具有窄带宽的通信介质来传送数据量相对较小的增强层可伸缩编码数据(EL)2122。或者，可根据网络2112的可使用带宽来改变传送增强层可伸缩编码数据(EL)2122的通信介质是网络2112还是地面广播2111。不用说，这类似地适用于任何层的数据。
通过如上所述的控制，可以抑制数据传送中的负担的增大。
层的数目可以任意来确定并且传送中使用的通信介质的数目也可任意来确定。另外，数据被分发到的终端装置2102的数目可以任意来确定。以上描述是对从广播台2101的广播的示例作出的；然而，使用例不限于此。数据传送系统2100可应用到任何如下系统：其按数据被以层为单位划分成多个片段并且被通过多个线路来传送的方式来传送可伸缩编码数据。
如图89所示的数据传送系统2100通过按与如参考图1至图80所述应用到阶层编码和解码类似的方式来应用本技术，可提供与参考图1至图80描述的上述效果类似的效果。
<第三系统>
如图90的示例中所示，可伸缩编码用于存储编码数据。
在图90所示的摄影系统2200中，摄影装置2201对通过对被摄物2211摄影而获得的图像数据执行可伸缩编码，并且将该数据作为可伸缩编码数据(BL+EL)2221提供给可伸缩编码数据存储装置2202。
可伸缩编码数据存储装置2202以基于情况的质量来存储从摄影装置2201提供来的可伸缩编码数据(BL+EL)2221。例如，在通常情况下，可伸缩编码数据存储装置2202从可伸缩编码数据(BL+EL)2221中提取基本层的数据，并将该数据作为具有低质量和小数据量的可伸缩编码数据(BL)2222来存储。与之不同，在给予关注的情况下，可伸缩编码数据存储装置2202存储具有高质量和大数据量的可伸缩编码数据(BL+EL)2221。
这使得可伸缩编码数据存储装置2202能够仅在必要时存储具有高质量的图像；因此，可以抑制数据量的增大，同时抑制由于图像劣化而引起的图像价值的恶化。结果，可以提高存储区域的使用效率。
例如，摄影装置2201是监视相机。如果在被摄图像中不存在要监视的对象(例如，入侵者)(在通常情况下)，则很有可能被摄图像的内容是不重要的；因此，优先在于减少数据量，并且图像数据(可伸缩编码数据)被以低质量来存储。与此不同，如果在被摄图像中要监视的对象作为被摄物2211存在(当给予关注时)，则很有可能被摄图像的内容是重要的；因此，优先在于图像质量，并且图像数据(可伸缩编码数据)被以高质量来存储。
是否给予关注例如可通过让可伸缩编码数据存储装置2202分析图像来判定。或者，摄影装置2201可进行判定，并且判定结果可被传送到可伸缩编码数据存储装置2202。
关于是否给予关注的判定标准是任意设定的，并且作为标准的图像的内容是任意设定的。不用说，除了图像的内容以外的其他条件可用作判定标准。例如，是否给予关注可对于每个预定时间段或者响应于来自外部的指令(例如用户指令)基于记录的音频的幅值或波形来改变。
以上描述是对改变给予关注时和未给予关注时这两个状态的示例而作出的；然而，状态的数目可任意来确定。例如，可以设定三个或更多个状态：未给予关注、给予少量关注、给予关注以及极为关注。要改变的状态的上限数目取决于可伸缩编码数据的层数。
可伸缩编码的层数可由摄影装置2201根据状态来决定。在通常情况中，摄影装置2201可生成具有低质量和小数据量的可伸缩编码数据(BL)2222，并且可将该数据提供给可伸缩编码数据存储装置2202。另一方面，当给予关注时，摄影装置2201可生成具有高质量和大数据量的基本层可伸缩编码数据(BL+EL)2221，并且可将该数据提供给可伸缩编码数据存储装置2202。
以上描述是对监视相机的示例作出的；然而，摄影系统2220的应用是任意设定的，而不限于监视相机。
如图90所示的摄影系统2200通过按与如参考图1至图80所述应用到阶层编码和解码类似的方式来应用本技术，可提供与参考图1至图80描述的上述效果类似的效果。
本技术也可应用到HTTP流传输，例如MPEG或DASH，其中从准备的分辨率等不同的编码数据之中以片段为单位选择适当的数据。换言之，在这些编码数据之间可以共享与编码或解码有关的信息。
<18.第十三实施例>
<实施例的另一示例>
以上描述是对应用了本技术的装置或系统的示例作出的；然而，本技术不限于此。本技术可应用到安装在如上所述的装置上的任何种类的结构和包括在系统中的任何种类的结构，例如应用到诸如系统LSI(大规模集成)之类的处理器、包括多个处理器的模块、包括多个模块的单元以及将另一功能添加到该单元的套组(set)(也就是说，装置的一部分的结构)。
<视频套组>
参考图91来描述以套组形式实现本技术的示例。图91示出应用了本技术的视频套组的示意性结构的示例。
近年来，电子设备已开始具有各种功能，并且当在开发和制造中只销售或提供结构的一部分时，经常看到不只提供一个结构，而是组合具有相关功能的多个结构并将其作为一个多功能套组来销售。
图91所示的视频套组2300具有带各种功能的结构，其是通过让具有与图像编码或解码(其中任一者或两者)有关的功能的装置添加到具有与上述功能有关的另一功能的装置来形成的，
如图91所示，视频套组2300包括含有视频模块2311、外部存储器2312、电力管理模块2313、前端模块2314等等的模块群组，以及包括连通性2321、相机2322和传感器2323等等的具有相关功能的装置。
模块指的是具有彼此相关的若干个局部但统一的功能的组件。具体物理结构是任意给出的；例如，各自具有其自己的功能的多个电子电路元件，例如处理器、电阻器、电容器和其他装置，被布置在布线板上并集成。另外，另一模块或处理器可与上述模块相结合以形成新模块。
在图91的示例的情况下，视频模块2311是具有与图像处理有关的功能的结构的组合，并且包括应用处理器2331、视频处理器2332、宽带调制解调器2333和RF模块2334。
处理器是通过经由SoC(片上系统)将具有预定功能的结构集成在半导体芯片上来形成的，并且也称为例如系统LSI(大规模集成)。具有预定功能的结构可以是逻辑电路(硬件结构)、CPU、ROM、RAM等等、利用其执行的程序(软件结构)、或者两者的组合。例如，处理器可具有逻辑电路，以及CPU、ROM、RAM等等，并且让一部分功能由逻辑电路(硬件结构)实现，并且其他功能可由在CPU中执行的程序(软件结构)来实现。
图91中的应用处理器2331是执行用于图像处理的应用的处理器。在应用处理器2331中执行的应用不仅执行计算处理，而且还控制视频模块2311之中和之外的结构，例如视频处理器2332，以便实现预定功能。
视频处理器2332是具有用于图像编码或解码(其中之一或两者)的功能的处理器。
宽带调制解调器2333通过数字调制把通过经由诸如因特网或公共电话网络之类的宽带线路执行的有线或无线(或两者)宽带通信传送的数据(数字信号)转换成模拟信号，或者通过对模拟信号解调来把通过宽带通信接收的模拟信号转换成数据(数字信号)。宽带调制解调器2333例如对包括视频处理器2332要处理的图像数据、其中编码了图像数据的流、应用程序和设定数据在内的任何信息进行处理。
RF模块2334是对经由天线交换的RF(射频)信号执行频率转换、调制/解调、放大、滤波等等的模块。例如，RF模块2334通过对由宽带调制解调器2333生成的基带信号的频率进行转换来生成RF信号。在另一示例中，RF模块2334通过对经由前端模块2314接收的RF信号的频率进行转换来生成基带信号。
如图91中的虚线2341所指示，应用处理器2331和视频处理器2332可被集成到一个处理器中。
外部存储器2312是设在视频模块2311外部并且具有被视频模块2311使用的存储装置的模块。外部存储器2312的存储装置可由任何物理结构来实现；然而，由于存储装置经常用于诸如以帧为单位的图像数据之类的高容量数据的存储，所以希望存储装置由像DRAM(动态随机访问存储器)这样的具有高容量但成本较低的半导体存储器来实现。
电力管理模块2313管理并控制对视频模块2311(视频模块2311中的每个结构)的电力供应。
前端模块2314是向RF模块2334提供前端功能(天线侧的发送/接收端的电路)的模块。如图91所示，前端模块2314例如具有天线单元2351、滤波器2352和放大单元2353。
天线单元2351具有发送和接收无线信号的天线及其周边结构。天线单元2351发送从放大单元2353提供来的信号并且将接收到的无线信号作为电信号(RF信号)提供给滤波器2352。滤波器2352对通过天线单元2351接收的RF信号进行滤波并将经处理的RF信号提供给RF模块2334。放大单元2353对从RF模块2334提供来的RF信号进行放大并将该信号提供给天线单元2351。
连通性2321是具有与外部连接有关的功能的模块。连通性2321的物理结构可以任意来确定。例如，连通性2321具有带有除了关于宽带调制解调器2333的通信规范以外的通信功能的结构，以及外部输入/输出端子，等等。
例如，连通性2321可具有带有基于诸如蓝牙(Bluetooth，注册商标)、IEEE 802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)或IrDA(红外数据联盟)之类的无线通信规范的通信功能的模块、基于该规范来发送或接收信号的天线，等等。或者，连通性2321可具有带有基于诸如USB(通用串行总线)或HDMI(注册商标，高清晰度多媒体接口)之类的有线通信规范的通信功能的模块，基于该规范的端子，等等。又或者，连通性2321可具有另外的数据(信号)传送功能，例如模拟输入/输出端子，等等。
注意，连通性2321可包含数据(信号)被传送到的装置。例如，连通性2321可具有驱动器(不只是可移除介质的驱动器，而且还有硬盘、SSD(固态驱动器)以及NAS(网络附接存储))，该驱动器从诸如磁盘、光盘、磁光盘或半导体存储器之类的记录介质读出数据或在该记录介质中写入数据。连通性2321可具有输出图像或音频的装置(监视器、扬声器等等)。
相机2322是对被摄物摄影并获得被摄物的图像数据的模块。通过利用相机2322进行摄影获得的图像数据被提供给例如视频处理器2332并在其中被编码。
传感器2323是具有任何传感器功能的模块，例如音频传感器、超声波传感器、光传感器、照度传感器、红外线传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性识别传感器、震动传感器或者温度传感器。传感器2323检测到的数据被提供给应用处理器2331并且被应用等使用。
描述为模块的结构可实现为处理器，或者相反，描述为处理器的结构可实现为模块。
在具有上述结构的视频套组2300中，本技术可应用到如下所述的视频处理器2332。因此，视频套组2300可用作应用了本技术的套组。
<视频处理器的结构示例>
图92示出应用了本技术的视频处理器2332(图91)的示意性结构的示例。
在图92的示例的情况下，视频处理器2332具有在接收到信号时按预定方法对视频信号和音频信号编码的功能，以及对编码的视频数据和音频数据进行解码并且再现并输出视频信号和音频信号的功能。
如图92所示，视频处理器2332包括视频输入处理单元2401、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403、视频输出处理单元2404、帧存储器2405和存储器控制单元2406。视频处理器2332包括编码/解码引擎2407、视频ES(基本流)缓冲器2408A和2408B以及音频ES缓冲器2409A和2409B。视频处理器2332还包括音频编码器2410、音频解码器2411、复用器(MUX(Multiplexer))2412、解复用器(DMUX(Demultiplexer))2413和流缓冲器2414。
视频输入处理单元2401获取从例如连通性2321(图91)输入的视频信号并将该信号转换成数字图像数据。第一图像放大/缩小单元2402对图像数据执行格式转换或者放大/缩小图像。第二图像放大/缩小单元2403根据数据通过视频输出处理单元2404被输出到的目的地处的格式对图像数据执行图像放大/缩小处理，或者按与第一图像放大/缩小单元2402类似的方式对图像数据执行格式转换或者放大/缩小图像。视频输出处理单元2404例如对图像数据执行格式转换或者将图像数据转换成模拟信号，并且例如将数据作为再现视频信号输出到连通性2321(图91)。
帧存储器2405是用于被视频输入处理单元2401、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403、视频输出处理单元2404和编码/解码引擎2407共享的图像数据的存储器。帧存储器2405例如实现为半导体存储器，比如DRAM。
存储器控制单元2406在接收到来自编码/解码引擎2407的同步信号时根据写入在访问管理表2406A中的关于帧存储器2405的访问日程来控制在帧存储器2405中写入和从帧存储器2405读取的访问。访问管理表2406A被存储器控制单元2406响应于由编码/解码引擎2407、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403等等执行的处理而更新。
编码/解码引擎2407对图像数据编码并且对作为通过对图像数据编码而获得的数据的视频流解码。例如，编码/解码引擎2407对从帧存储器2405读出的图像数据编码，并且将该数据作为视频流顺序地写入在视频ES缓冲器2408A中。另外，编码/解码引擎2407从视频ES缓冲器2408B顺序地读出视频流并将这些流作为图像数据顺序地写入在帧存储器2405中。编码/解码引擎2407在编码和解码中使用帧存储器2405作为工作区域。编码/解码引擎2407例如在对每个宏块的处理开始的时机向存储器控制单元2406输出同步信号。
视频ES缓冲器2408A缓冲由编码/解码引擎2407生成的视频流，并将这些流提供给复用器(MUX)2412。视频ES缓冲器2408B缓存从解复用器(DMUX)2413提供来的视频流，并将该流提供给编码/解码引擎2407。
音频ES缓冲器2408A缓冲由音频编码器2410生成的音频流，并将该流提供给复用器(MUX)2412。音频ES缓冲器2409B缓冲从解复用器(DMUX)2413提供来的音频流并将该流提供给音频解码器2411。
音频编码器2410把例如从连通性2321(图91)输入的音频信号转换成数字信号，从而按诸如MPEG音频方法或AC3(音频码第3号)之类的预定方法对该信号编码。音频编码器2410把作为通过对音频信号编码而获得的数据的音频流顺序地写入到音频ES缓冲器2409A中。音频解码器2411对从音频ES缓冲器2409B提供来的基本层图像解码，并将该流转换成模拟信号，然后将这些信号作为再现音频信号提供给例如连通性2321(图91)。
复用器(MUX)2412对视频流和音频流进行复用。用于此复用的方法(即，由复用生成的比特流的格式)可以任意来确定。在复用中，复用器(MUX)2412可向比特流添加预定的头部信息等等。换言之，复用器(MUX)2412可通过复用来转换流的格式。例如，复用器(MUX)2412对视频流和音频流进行复用以将流转换成传输流，传输流是按用于传输的格式的比特流。在另一示例中，复用器(MUX)2412对视频流和音频流进行复用以将流转换成按用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)2413按照与复用器(MUX)2412进行的复用相对应的方法对其中复用了视频流和音频流的比特流进行解复用。换言之，解复用器(DMUX)2413从读出自流缓冲器2414的比特流中提取视频流和音频流(将视频流和音频流与彼此分离)。也就是说，解复用器(DMUX)2413可通过解复用来转换流的格式(复用器(MUX)2412进行的转换的逆转换)。例如，解复用器(DMUX)2413通过流缓冲器2414获取从连通性2321或宽带调制解调器2333(都在图91中示出)提供来的传输流，对流进行解复用，由此传输流可被转换成视频流和音频流。在另一示例中，解复用器(DMUX)2413通过流缓冲器2414获取由连通性2321(图91)从每个记录介质读出的文件数据，并且对流进行解复用，由此数据可被转换成视频流和音频流。
流缓冲器2414对比特流进行缓冲。例如，流缓冲器2414对从复用器(MUX)2412提供来的传输流进行缓冲，并在预定的时机或者根据来自外界的请求将流提供给连通性2321或宽带调制解调器2333(都在图91中示出)。
在另一示例中，流缓冲器2414缓冲从复用器(MUX)2412提供来的文件数据并且在预定的时机或者根据来自外界的请求将数据提供给连通性2321(图91)等，并将数据记录在各种记录介质中。
另外，流缓冲器2414缓冲通过连通性2321或宽带调制解调器2333(都在图91中示出)获取的传输流，并在预定的时机或者根据来自外界的请求将流提供给解复用器(DMUX)2413。
流缓冲器2414缓冲在连通性2321(图91)处从记录介质读出的文件数据，并且在预定的时机或者根据来自外界的请求将数据提供给解复用器(DMUX)2413。
接下来，描述具有上述结构的视频处理器2332的操作的示例。例如，从连通性2321(图91)等输入到视频处理器2332的视频信号在视频输入处理单元2401中被按照诸如4:2:2Y/Cb/Cr方法之类的预定方法转换成数字图像数据，并且该图像数据被顺序地写入在帧存储器2405中。数字图像数据被第一图像放大/缩小单元2402或第二图像放大/缩小单元2403读出，并且经历到4:2:0Y/Cb/Cr方法的格式转换并被放大或缩小，然后再次被写入在帧存储器2405中。图像数据被编码/解码引擎2407编码并作为视频流被写入在视频ES缓冲器2408A中。
另外，从连通性2321(图91)输入到视频处理器2332的音频信号被音频编码器2410编码，并且作为音频流被写入在音频ES缓冲器2409A中。
视频ES缓冲器2408A的视频流和音频ES缓冲器2409A的音频流被复用器(MUX)2412读出并在其中被复用以被转换成例如传输流或文件数据。由复用器(MUX)2412生成的传输流被流缓冲器2414缓冲，并通过连通性2321或宽带调制解调器2333(都在图91中示出)被输出到外部网络。由复用器(MUX)2412生成的文件数据被流缓冲器2414缓冲，然后被输出到连通性2321(图91)等等，然后被记录在各种记录介质中。
通过连通性2321或宽带调制解调器2333(都在图91中示出)从外部网络输入到视频处理器2332的传输流被流缓冲器2414缓冲，然后被解复用器(DMUX)2413解复用。在连通性2321(图91)处从记录介质读出并输入到视频处理器2332的文件数据被流缓冲器2414缓冲，然后被解复用器(DMUX)2413解复用。换言之，输入到视频处理器2332的文件数据或传输流被解复用器(DMUX)2413分离成视频流和音频流。
音频流通过音频ES缓冲器2409B被提供给音频解码器2411并被解码，从而再现音频信号。视频流被写入在视频ES缓冲器2408B中并被编码/解码引擎2407顺序读出并解码，并且被写入在帧存储器2405中。解码图像数据被第二图像放大/缩小单元2403放大或缩小并被写入在帧存储器2405中。解码图像数据被视频输出处理单元2404读出并经历到诸如4:2:2Y/Cb/Cr方法之类的预定格式的格式转换，并且被进一步转换成模拟信号，从而再现并输出视频信号。
当本技术被应用到具有此结构的视频处理器2332时，根据上述实施例中的任何一个的本技术可被应用到编码/解码引擎2407。例如，编码/解码引擎2407可具有根据上述实施例的可伸缩编码装置100和可伸缩解码装置200或者图像编码装置900(图62)和图像解码装置1000(图71)的功能。从而，视频处理器2332可提供与参考图1至图80描述的上述效果类似的效果。
在编码/解码引擎2407中，本技术(即，根据上述实施例之中的任何一个的图像编码装置和图像解码装置的功能)可由诸如逻辑电路之类的硬件或者由诸如内置程序之类的软件来实现，或者由硬件和软件两者实现。
<视频处理器的另一结构示例>
图93示出应用了本技术的视频处理器2332(图91)的示意性结构的另一示例。在图93的示例的情况下，视频处理器2332具有按预定方法对视频数据进行编码和解码的功能。
更具体而言，如图93所示，视频处理器2332包括控制单元2511、显示接口2512、显示引擎2513、图像处理引擎2514和内部存储器2515。视频处理器2332包括编解码器引擎2516、存储器接口2517、复用器/解复用器(MUX/DMUX)2518、网络接口2519和视频接口2520。
控制单元2511控制视频处理器2332中的处理单元——例如显示接口2512、显示引擎2513，图像处理引擎2514和编解码器引擎2516——的操作。
如图93所示，控制单元2511例如包括主CPU 2531、副CPU 2532和系统控制器2533。主CPU 2531执行用于控制视频处理器2332中的处理单元的操作的程序等等。主CPU 2531根据程序等等生成控制信号并将这些信号提供给处理单元(即，控制处理单元的操作)。副CPU2532起到辅助主CPU 2531的作用。例如，副CPU 2532执行主CPU2531执行的程序的子处理或子例程。系统控制器2533控制主CPU2531和副CPU 2532的操作；例如，系统控制器2533指定主CPU 2531和副CPU 2532要执行的程序。
显示接口2512在控制单元2511的控制下将图像数据输出到例如连通性2321(图91)。例如，显示接口2512将数字图像数据转换成模拟信号并将该数据作为再现视频信号或者以数字数据的形式输出到连通性2321(图91)的监视装置等等。
在控制单元2511的控制下，显示引擎2513对图像数据执行诸如格式转换、大小转换和颜色范围转换之类的各种转换处理，以适应诸如显示图像的监视装置之类的硬件的规格。
图像处理引擎2514在控制单元2511的控制下对图像数据执行用于图像改善的诸如滤波之类的预定图像处理。
内部存储器2515是设在视频处理器2332中的存储器并且是在显示引擎2513、图像处理引擎2514和编解码器引擎2516之间共享的。内部存储器2515用于在显示引擎2513、图像处理引擎2514和编解码器引擎2516之间交换数据。例如，内部存储器2515存储从显示引擎2513、图像处理引擎2514和编解码器引擎2516提供来的数据，并在必要时(或者根据请求)将该数据提供给显示引擎2513、图像处理引擎2514或编解码器引擎2516。内部存储器2515可由任何种类的存储装置形成；一般地，由于存储器被用于存储诸如以块为单位的图像数据或参数之类的少量数据，所以希望内部存储器2515由具有相对较小的容量(比外部存储器2312小的容量)但具有高响应速度的半导体存储器形成，例如SRAM(静态随机访问存储器)。
编解码器引擎2516执行用于对图像数据进行编码或解码的处理。编解码器引擎2516进行的编码或解码的方法是任意来确定并且方法的数目可以是一个或多于一个。例如，编解码器引擎2516可具有多个编码/解码方法的编解码器功能，并且可按照所选择的方法对图像数据编码或对编码数据解码。
在图93所示的示例中，编解码器引擎2516例如具有MPEG-2视频2541、AVC/H.2642542、HEVC/H.2652543、HEVC/H.265(可伸缩)2544、HEVC/H.265(多视域)2545和MPEG-DASH2551作为与编解码器有关的处理的功能块。
MPEG-2视频2541对应于按MPEG-2方法对图像数据进行编码或解码的功能块。AVC/H.2642542对应于按AVC方法对图像数据进行编码或解码的功能块。HEVC/H.2652543对应于按HEVC方法对图像数据进行编码或解码的功能块。HEVC/H.265(可伸缩)2544对应于按HEVC方法对图像数据进行可伸缩编码或可伸缩解码的功能块。HEVC/H.265(多视域)2545对应于按HEVC方法对具有多个视点的图像数据进行编码或解码的功能块。
MPEG-DASH2551对应于按MPEG-DASH(MPEG-Dynamic Adaptive Streaming overHTTP，MPEG-基于HTTP的动态自适应流传输)方法来发送或接收图像数据的功能块。MPEG-DASH是利用HTTP(超文本传输协议)来流传输视频的技术，并且其一个特征是以片段为单位选择并传送所准备的具有不同分辨率的编码数据中的适当数据。MPEG-DASH2551基于该规范生成流或者控制流的传送，并且在图像数据的编码和解码中使用上述的MPEG-2视频2541至HEVC/H.265(多视域)2545。
存储器接口2517是用于外部存储器2312的接口。从图像处理引擎2514或编解码器引擎2516提供来的数据通过存储器接口2517被提供给外部存储器2312。从外部存储器2312读出的数据通过存储器接口2517被提供给视频处理器2332(图像处理引擎2514或编解码器引擎2516)。
复用器/解复用器(MUX/DMUX)2518对与图像有关的各种数据，例如编码数据的比特流、图像数据和视频信号，进行复用或解复用。复用/解复用的方法是任意来确定的。例如，在复用中，除了收集多条数据以外，复用器/解复用器(MUX/DMUX)2518还可向收集的数据添加预定的头部信息等等。相反，在解复用中，除了将数据划分成多条以外，复用器/解复用器(MUX/DMUX)2518还可向划分出的数据添加预定的头部信息。换言之，复用器/解复用器(MUX/DMUX)2518可通过复用/解复用来转换数据的格式。例如，复用器/解复用器(MUX/DMUX)2518可通过对比特流进行复用来将比特流转换成传输流——其是传输格式的比特流，或者转换成按照用于记录的文件格式的数据(文件数据)。不用说，通过解复用也可进行逆转换。
网络接口2519是用于宽带调制解调器2333和连通性2321(都在图91中示出)等等的接口。视频接口2520是用于连通性2321和相机2322(都在图91中示出)等等的接口。
接下来，描述如上所述的视频处理器2332的操作的示例。例如，在通过连通性2321或宽带调制解调器2333(都在图91中示出)从外部网络接收到传输流后，传输流通过网络接口2519被提供给复用器/解复用器(MUX/DMUX)2518，在其中被解复用，并且被编解码器引擎2516解码。由编解码器引擎2516的解码获得的图像数据经历由图像处理引擎2514进行的预定图像处理，并且经历由显示引擎2513进行的预定转换，并且该数据通过显示接口2512被提供给连通性2321(图91)等等；从而，图像被显示在监视器上。在另一示例中，由编解码器引擎2516的解码获得的图像数据被编解码器引擎2516再次编码并且被复用器/解复用器(MUX/DMUX)2518复用并被转换成文件数据；然后，该数据通过视频接口2520被输出到连通性2321(图91)等等并且被记录在各种记录介质中。
在另一示例中，由连通性2321(图91)等等从记录介质(未示出)读出的其中编码了图像数据的编码数据的文件数据通过视频接口2520被提供给复用器/解复用器(MUX/DMUX)2518并在其中被解复用，并且被编解码器引擎2516解码。由编解码器引擎2516的解码获得的图像数据经历由图像处理引擎2514进行的预定图像处理，并且经历由显示引擎2513进行的预定转换；然后，该数据通过显示接口2512被提供给连通性2321(图91)等等并且图像被显示在监视器上。在另一示例中，由编解码器引擎2516的解码获得的图像数据被编解码器引擎2516再次编码并且被复用器/解复用器(MUX/DMUX)2518复用并被转换成传输流；然后，该数据通过网络接口2519被传送到连通性2321或宽带调制解调器2333(都在图91中示出)等等并且被传送到未示出的另一装置。
图像数据或另外的数据通过例如内部存储器2515或外部存储器2312在视频处理器2332中的处理单元之间被交换。电力管理模块2313控制对控制单元2511的电力供应。
在将本技术应用到具有如上所述的结构的视频处理器2332的情况下，根据上述实施例之中的任何一个的本技术可被应用到编解码器引擎2516。换言之，例如，编解码器引擎2516可具有实现根据上述实施例之中的任何一个的可伸缩编码装置100和可伸缩解码装置200或者图像编码装置900(图62)和图像解码装置1000(图71)的功能块。从而，视频处理器2332可提供与参考图1至图80描述的上述效果类似的效果。
在编解码器引擎2516中，本技术(即，根据上述实施例之中的任何一个的图像编码装置和图像解码装置的功能)可由诸如逻辑电路之类的硬件或者由诸如内置程序之类的软件来实现，或者由硬件和软件两者实现。
已描述了两个示例作为视频处理器2332的结构；然而，视频处理器2332的结构可任意来确定并且可以是除了上述两个示例以外的其他的。视频处理器2332可被配置为一个半导体芯片或者配置为多个半导体芯片。例如，可以使用其中堆叠了多个半导体层的三维多层LSI。或者，可以使用多个LSI。
<应用到装置的示例>
视频套组2300可被包含到处理图像数据的各种装置中。例如，视频套组2300可被包含在电视装置1900(图84)、蜂窝电话1920(图85)、记录/再现装置1940(图86)、摄影装置1960(图87)等等中。通过包含视频套组2300，装置可具有与参考图1至图80描述的效果类似的效果。
视频套组2300也可被包含在诸如图88所示的数据传送系统2000中的个人计算机2004、AV设备2005、平板装置2006或者蜂窝电话2007之类的终端装置、图89所示的数据传送系统2100中的广播台2101和终端装置2102以及图90所示的摄影系统2200中的摄影装置2201和可伸缩编码数据存储装置2202。通过包含视频套组2300，装置可具有与参考图1至图80描述的效果类似的效果。
即使结构是视频套组2300的结构的一部分，只要该结构包括视频处理器2332，则该结构也可被视为应用了本技术的结构。例如，可以仅实现视频处理器2332来作为应用了本技术的视频处理器。另外，由虚线2341图示的处理器或视频模块2311可实现为应用了本技术的处理器或模块。另外，视频模块2311、外部存储器2312、电力管理模块2313和前端模块2314可被组合来实现为应用了本技术的视频单元2361。在任何结构中，可以获得与参考图1至图80描述的效果类似的效果。
只要结构包括视频处理器2332，该结构就可被包含在按与视频套组2300类似的方式处理图像数据的各种装置中。例如，视频处理器2332、由虚线2314指示的处理器、视频模块2311或者视频单元2361可被包含在电视装置1900(图84)、蜂窝电话1920(图85)、记录/再现装置1940(图86)、摄影装置1960(图87)、诸如图88所示的数据传送系统2000中的个人计算机2004、AV设备2005、平板装置2006或者蜂窝电话2007之类的终端装置、图89所示的数据传送系统2100中的广播台2101和终端装置2102以及图90所示的摄影系统2200中的摄影装置2201和可伸缩编码数据存储装置2202中。通过包含应用了本技术的上述结构之中的任何一个，按与视频套组2300的情况类似的方式，装置可具有与参考图1至图80描述的效果类似的效果。
<19.第十四实施例>
<MPEG-DASH的应用例>
本技术可应用到从具有不同分辨率等等的多条数据之中以片段为单位选择适当的编码数据的系统，例如像如下所述的MPEG DASH那样的HTTP流传输的内容再现系统或者Wi-Fi规范的无线通信系统。
<内容再现系统的概要>
首先，参考图94至图96来示意性地描述应用了本技术的内容再现系统。
下面参考图94和图95描述所有实施例共通的基本结构。
图94是示出内容再现系统的结构的说明视图。如图94所示，内容再现系统包括内容服务器2610和2611、网络2612和内容再现装置2620(客户端设备)。
内容服务器2610和2611和内容再现装置2620通过网络2612连接到彼此。网络2612是用于从连接到网络2612的装置传送的信息的有线或无线传送路径。
例如，网络2612可包括因特网、诸如电话线网络或者卫星通信网络之类的公共线路网络、包括以太网(Ethernet，注册商标)在内的各种LAN(局域网)以及WAN(广域网)。网络2612可包括诸如IP-VPN(互联网协议-虚拟专用网)之类的专用线路网络。
内容服务器2610对内容数据编码并且生成并存储包括编码数据和编码数据的元信息的数据文件。注意，在内容服务器2610生成MP4格式的数据文件的情况下，编码数据对应于“mdat”并且元信息对应于“moov”。
内容数据可以是诸如诸如音乐、演讲和无线电节目之类的音乐数据、诸如电影、电视节目、视频节目、照片、文本、图片和图表之类的视频数据、游戏、软件，等等。
这里，内容服务器2610生成关于同一内容但具有不同比特率的多个数据文件。内容服务器2611响应于来自内容再现装置2620的再现内容的请求，把要添加到内容再现装置2620中的内容服务器2610的URL的参数的信息包括在该URL的信息中，并且将该信息发送到内容再现装置2620。以下参考图95进行具体描述。
图95是示出图94中的内容再现系统中的数据流的说明视图。内容服务器2610按不同比特率对相同内容数据进行编码以生成如图95所示的具有2Mbps的文件A、具有1.5Mbps的文件B和具有1Mbps的文件C。相对地，文件A具有高比特率，文件B具有标准比特率，并且文件C具有低比特率。
如图95所示，每个文件的编码数据被分段成多个片段。例如，文件A的编码数据被分段成“A1”、“A2”、“A3”、……“An”片段；文件B的编码数据被分段成“B1”、“B2”、“B3”、……“Bn”片段；并且文件C的编码数据被分段成“C1”、“C2”、“C3”、……“Cn”片段。
每个片段可由以MP4的同步样本(例如，在AVC/H.264视频编码的情况中的IDR图片)开始并且可被单独再现的一条或两条或更多条视频编码数据和音频编码数据的结构样本构成。例如，当一秒钟具有30个帧的视频数据被编码在具有15帧的固定长度的GOP(图片组)中时，每个片段可以是对应于4GOP的2秒的视频和音频编码数据或者对应于20GOP的10秒的视频和音频编码数据。
每个文件中的具有相同排列顺序的片段的再现范围(从内容开头起的时间位置的范围)是相同的。例如，片段“A2”、片段“B2”和片段“C2”的再现范围是相同的，并且如果每个片段是2秒的编码数据，则片段“A2”、片段“B2”和片段“C2”的再现范围是内容的2至4秒。
在生成由多个片段构成的文件A至C后，内容服务器2610存储文件A至C。如图95所示，内容服务器2610把构成不同文件的片段顺序地发送到内容再现装置2620，并且内容再现装置2620对接收的片段进行流传输。
这里，根据实施例的内容服务器2610把包括编码数据的比特率信息和访问信息的播放列表文件(以下称为MPD：媒体呈现描述)发送到内容再现装置2620，并且内容再现装置2620基于MPD选择多个比特率之中的比特率，并且请求内容服务器2610发送与所选比特率相对应的片段。
虽然图94只示出了一个内容服务器2610，但本公开不限于此示例。
图96是示出MPD的具体示例的说明视图。如图96所示，MPD包括与具有不同比特率(BANDWIDTH)的多条编码数据有关的访问信息。例如，图96所示的MPD指示出存在256Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的编码数据，并且包括与每条编码数据有关的访问信息。内容再现装置2620可基于MPD来动态地改变要流传输的编码数据的比特率。
图94示出了蜂窝电话作为内容再现装置2620的一个示例，但内容再现装置2620不限于此示例。例如，内容再现装置2620可以是诸如PC(个人计算机)、家用视频处理装置(DVD记录器或盒式录像带记录器)、PDA(个人数字助理)、家用游戏机或家用电器之类的信息处理装置。内容再现装置2620可以是诸如蜂窝电话、PHS(个人手持式电话系统)、便携式音乐播放器、便携式视频处理装置或者便携式游戏机之类的信息处理装置。
<内容服务器2610的结构>
已参考图94至图96描述的内容再现系统的概要。随后，参考图97描述内容服务器2610的结构。
图97是示出内容服务器2610的结构的功能框图。如图97所示，内容服务器2610包括文件生成单元2631、存储单元2632和通信单元2633。
文件生成单元2631包括用于对内容数据编码的编码器2641，并且生成具有相同内容但具有不同比特率的多条编码数据，以及上述MPD。例如，在生成具有256Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的多条编码数据的情况下，文件生成单元2631生成如图96所示的MPD。
存储单元2632存储由文件生成单元2631生成的具有不同比特率的多条编码数据和MPD。此存储单元2632可以是诸如非易失性存储器、磁盘、光盘或者MO(磁光)盘之类的存储介质。非易失性存储器的示例包括EEPROM(电可擦除可编程只读存储器)和EPROM(可擦除可编程ROM)。磁盘的示例包括硬盘和圆盘状磁盘。光盘的示例包括CD(致密盘、DVD-R(可记录数字多功能盘))，以及BD(Blu-Ray Dsic(注册商标))。
通信单元2633是用于内容再现装置2620的接口并且通过网络2612与内容再现装置2620通信。更具体而言，通信单元2633具有作为根据HTTP与内容再现装置2620通信的HTTP服务器的功能。例如，通信单元2633将MPD发送到内容再现装置2620，从存储单元2632中提取根据HTTP基于MPD从内容再现装置2620请求的编码数据，并将编码数据作为HTTP响应发送到内容再现装置2620。
<内容再现装置2620的结构>
已描述了根据本实施例的内容服务器2610的结构。随后，参考图98描述内容再现装置2620的结构。
图98是示出内容再现装置2620的结构的功能框图。如图98所示，内容再现装置2620包括通信单元2651、存储单元2652、再现单元2653、选择单元2654和当前位置获取单元2656。
通信单元2651是用于内容服务器2610的接口，并且向内容服务器2610请求数据并从内容服务器2610获取数据。更具体而言，通信单元2651具有作为根据HTTP与内容再现装置2620通信的HTTP客户端的功能。例如，通信单元2651可利用HTTP Range来从内容服务器2610选择性地获取编码数据的片段或MPD。
存储单元2652存储与内容再现有关的各种信息。例如，由通信单元2651从内容服务器2610获取的片段被顺序地缓冲。被存储单元2652缓冲的编码数据的片段被按照FIFO(先入先出)顺序地提供给再现单元2653。
基于向如下所述从内容服务器2611请求的MPD中描述的内容的URL添加参数的指令，存储单元2652在通信单元2651中向URL添加参数并且存储用于访问该URL的定义。
再现单元2653顺序地再现从存储单元2652提供来的片段。具体而言，再现单元2653执行片段的解码、DA转换以及渲染，等等。
选择单元2654顺序地在相同内容中选择与MPD中包括的比特率相对应的编码数据的片段。例如，当选择单元2654依据网络2612的频带顺序地选择片段“A1”、“B2”和“A3”时，通信单元2651如图95所示从内容服务器2610顺序地获取片段“A1”、“B2”和“A3”。
当前位置获取单元2656要获取内容再现装置2620的当前位置，并且可由例如像GPS(全球定位系统)接收器之类的获取当前位置的模块配置而成。当前位置获取单元2656可利用无线网络来获取内容再现装置2620的当前位置。
<内容服务器2611的结构>
图99是示出内容服务器2611的结构示例的说明视图。如图99所示，内容服务器2611包括存储单元2671和通信单元2672。
存储单元2671存储MPD的URL的信息。根据来自请求内容再现的内容再现装置2620的请求，MPD的URL的信息被从内容服务器2611发送到内容再现装置2620。当MPD的URL的信息被提供给内容再现装置2620时，存储单元2671存储当在内容再现装置2620中将参数添加到MPD中描述的URL时的定义信息。
通信单元2672是用于内容再现装置2620的接口，并且通过网络2612与内容再现装置2620通信。换言之，通信单元2672从请求内容再现的内容再现装置2620接收MPD的URL的信息的请求，并且将MPD的URL的信息发送给内容再现装置2620。从通信单元2672发送的MPD的URL包括用于在内容再现装置2620中添加参数的信息。
在内容再现装置2620中要添加到MPD的URL的参数可按照将被内容服务器2611和内容再现装置2620共享的定义信息来不同地设定。例如，诸如内容再现装置2620的当前位置、使用内容再现装置2620的用户的用户ID、内容再现装置2620的存储器大小和内容再现装置2620的存储容量之类的信息在内容再现装置2620中可被添加到MPD的URL。
在具有上述结构的内容再现系统中，通过应用如参考图1至图80所述的本技术，可以获得与参考图1至图80描述的效果类似的效果。
换言之，内容服务器2610的编码器2641具有根据上述实施例的图像编码装置的功能。内容再现装置2620的再现单元2653具有根据上述实施例的图像解码装置的功能。从而，可以抑制编码和解码中必需的存储容量的增大。
另外，在内容再现系统中，通过交换根据本技术编码的数据，可以抑制编码和解码中必需的存储容量的增大。
<16.Wi-Fi无线通信系统的应用例
<Wi-Fi无线通信系统的应用例>
对应用了本技术的无线通信系统中的无线通信装置的基本操作的示例进行描述。
<无线通信装置的基本操作的示例>
首先，进行无线封包发送和接收，直到建立起P2P(Peer to Peer，对等)连接来操作特定的应用为止。
接下来，在第二层中的连接之前，进行在指定特定应用之后并且在建立P2P连接来操作该特定应用之前的无线封包发送和接收。然后，在第二层中的连接之后，进行激活该特定应用的情况下的无线封包发送和接收。
<特定应用启动时的通信示例>
图100和图101示出了在建立P2P(对等)连接之后并且在操作特定应用之前的无线封包的发送和接收的示例，其是表示作为无线通信的基础的每个装置处理通信的示例的序列图。具体而言，示出了建立直接连接的过程的示例，该直接连接带来了基于在Wi-Fi联盟中标准化的直接Wi-Fi(Direct)规范(也称为Wi-Fi P2P)的连接。
这里，在直接Wi-Fi中，多个无线通信装置检测彼此的存在(装置发现、服务发现)。然后，在选择要连接的装置后，通过WPS(Wi-Fi Protected Setup，Wi-Fi受保护设置)在装置之间执行装置认证，从而建立直接连接。在直接Wi-Fi中，决定多个无线通信装置中的哪一个作为群组拥有者(Group Owner)并且决定其他的作为客户端(Client)，由此形成通信群组。
然而，在通信处理的这个示例中，省略了一些封包交换。例如，初始连接要求用于WPS的封包交换，而且认证请求/响应也要求封包交换。然而，在图100和图101中，省略了对这些封包交换的图示，而只示出了从第二次起以后的连接。
图100和图101中的第一无线通信装置2701和第二无线通信装置2702之间的通信处理的示例也适用于其他无线通信装置之间的通信处理。
首先，在第一无线通信装置2701与第二无线通信装置2702之间执行装置发现(2711)。例如，第一无线通信装置2701发送探测请求(响应请求信号)并且从第二无线通信装置2702接收对于此探测请求的探测响应(响应信号)。从而，第一无线通信装置2701和第二无线通信装置2702可发现彼此的存在。另外，利用装置发现，可以获取对方的装置名称或种类(TV、PC、智能电话等等)
接下来，在第一无线通信装置2701与第二无线通信装置2702之间执行服务发现(2712)。首先，第一无线通信装置2701发送服务发现查询，用于询问由装置发现所发现的第二无线通信装置2702能够应对的服务。然后，通过接收来自第二无线通信装置2702的服务发现响应，第一无线通信装置2701获取第二无线通信装置2702能够应对的服务。换言之，由于服务发现，可以接收对方能够应对的服务。对方能够应对的服务例如是服务、协议(DLNA(Digital Living Network Alliance，数字生活网络联盟)和DMR(Digital MediaRenderer，数字媒体渲染器)，等等)。
随后，用户进行用于选择连接对方的操作(连接对方选择操作)(2713)。这个连接对方选择操作可在第一无线通信装置2701和第二无线通信装置2702的任何一个中发生。例如，在第一无线通信装置2701的显示单元上显示连接对方选择画面，并且在这个连接对方选择画面上通过用户操作将第二无线通信装置2702选择为连接对方。
在用户进行连接对方选择操作后(2713)，在第一无线通信装置2701与第二无线通信装置2702之间执行群组拥有者协商(2714)。图100和图101示出了根据群组拥有者协商的结果，第一无线通信装置2701充当群组拥有者(Group Owner)2715并且第二无线通信装置2702充当客户端(Client)2716的示例。
随后，在第一无线通信装置2701与第二无线通信装置2702之间进行处理(2717至2720)，从而建立直接连接。换言之，顺序地执行关联(L2(第二层)链路建立)(2717)和安全链路建立(2718)。另外，顺序地执行IP地址指派(2719)和通过SSDP(Simple ServiceDiscovery Protocol，简单服务发现协议)等进行的L3上的L4设置(2720)。注意，L2(层2)指的是第二层(数据链路层)，L3(层3)指的是第三层(网络层)，并且L4(层4)指的是第四层(传输层)。
随后，用户指定或激活特定的应用(应用指定/激活操作)(2721)。这个应用指定/激活操作可在第一无线通信装置2701和第二无线通信装置2702的任何一个中发生。例如，在第一无线通信装置2701的显示单元上显示应用指定/激活操作画面，并且在这个应用指定/激活操作画面上由用户选择特定应用。
在用户进行应用指定/激活操作后(2721)，在第一无线通信装置2701与第二无线通信装置2702之间执行与应用指定/激活操作相对应的特定应用(2722)。
这里，假定在直接Wi-Fi规范之前的规范(IEEE802.11中标准化的规范)的范围中在AP(接入点)与STA(台站)之间进行连接的情况。在此情况下，在第二层中的连接之前(在IEEE802.11中的关联之前)不可能预先知道要连接的装置。
与之不同，如图100和图101所示，直接Wi-Fi使得可以当在装置发现或服务发现(选项)中搜索连接对方的候选时获取连接对方的信息。连接对方的信息例如是装置的基本类型或者能够应对的特定应用。然后，基于所获取的连接对方的信息，用户可选择连接对方。
此机制可被扩展来实现如下的一种无线通信系统：其中，在第二层中的连接之前指定特定应用，选择连接对方，然后自动地激活该特定应用。带来此情况中的连接的序列的示例在图103中示出。另外，此通信处理中交换的帧格式(frame format)的结构的示例在图102中示出。
<帧格式的结构示例>
图102是示出作为本技术的基础的每个装置的通信处理中交换的帧格式(frameformat)的结构示例的示意图。换言之，图102示出了用于建立第二层中的连接的MAC帧的结构示例。具体而言，这是用于实现图103中所示的序列的关联请求/响应(2787)的帧格式的一个示例。
如图102所示，MAC帧包括帧控制(2751)至FCS(2758)，并且其中，帧控制(2751)至序列控制(2756)是MAC头部。当发送关联请求时，在帧控制中设定B3B2＝“0b00”并且B7B6B5B4＝“0b0000”(2751)。另外，当封装关联响应时，在帧控制中设定B3B2＝“0b00”并且B7B6B5B4＝“0b0001”(2751)。注意，“0b00”表示二进制的“00”，“0b0000”表示二进制的“0000”，并且“0b0001”表示二进制的“0001”。
这里，基本上，图100所示的MAC帧(帧主体(2757))是根据IEEE802.11-2007的规范中的第7.2.3.4和7.2.3.5节的关联请求/响应帧格式。然而，格式的不同之处在于，除了IEEE802.11的规范中定义的信息元素(以下缩写为IE)(2759)以外，还包括扩展IE。
另外，为了表述厂商特定IE(2760)，在IE类型(信息元素ID(2761))中按十进制设定127。在此情况下，基于规范IEEE802.11-2007中的7.3.2.26，长度字段(2762)和OUI字段(2763)存在，它们之后是厂商特定内容(2764)。
作为厂商特定内容(2764)的内容，首先提供表示厂商特定IE的类型的字段(IE类型(2765))。然后，考虑能够存储多个子元素(2766)的结构。
作为子元素(2766)的内容，可以包括要使用的特定应用的名称(2767)或者在特定应用的操作期间装置的角色(2768)。另外，可以包括特定应用的信息或者用于应用的控制的端口号(用于L4设置的信息)(2769)或者与特定应用中的能力有关的信息(能力信息)(2770)。这里，能力信息指的是例如用于在要指定的特定应用是DLNA时指定是可能应对音频传送/再现还是视频传送/再现的信息。
从而，具有上述结构的无线通信系统通过应用如参考图1至图80所述的本技术，可以获得与参考图1至图80描述的上述效果类似的效果。换言之，可以抑制编码和解码所必需的存储容量的增大。另外，在如上所述的无线通信系统中，通过交换根据本技术编码的数据，可以抑制编码和解码所必需的存储容量的增大。
在本说明书中，对于各种信息被复用在编码流上并且被从编码方传送到解码方的示例进行了描述。然而，传送信息的方法不限于此示例。例如，这些信息可作为与编码比特流相关的单独数据被传送或记录，而不是被复用在编码比特流上。这里，“相关”指的是在解码时对比特流中包括的图像(可以是图像的一部分，例如切片或块)和与该图像相对应的信息的链接。换言之，信息可在与图像(或比特流)分开的传送路径上传送。或者，信息可被记录在与图像(或比特流)分开的记录介质中(或者记录在同一记录介质的另一记录区域中)。信息和图像(或比特流)可以按任何单位与彼此相关，例如按多个帧、一个帧或者帧的一部分与彼此相关。
已参考附图描述了本公开的优选实施例；然而，本公开不限于上述示例。很明显，本公开所属领域的技术人员在权利要求的范围记载的技术思想的范围中可构想出各种修改或改进，并且这些包括在根据本公开的技术的范围中。
本技术可具有如下所述的任何结构。
(1)一种图像处理装置，包括：
接收单元，该接收单元接收编码了具有多个主层的图像的编码数据和利用子层来控制是否执行层间预测的层间预测控制信息，其中层间预测是所述多个主层之间的预测；以及
解码单元，该解码单元通过仅对由所述接收单元接收到的层间预测控制信息所指定的子层执行层间预测来对由所述接收单元接收到的所述编码数据的每个主层进行解码。
(2)根据(1)和(3)至(9)中的任何一项所述的图像处理装置，其中，如果当前主层的当前图片属于如下子层，则所述解码单元利用层间预测对所述当前图片的编码数据进行解码：该子层被所述层间预测控制信息指定为对其执行层间预测的子层。
(3)根据(1)、(2)和(4)至(9)中的任何一项所述的图像处理装置，其中
所述层间预测控制信息指定允许层间预测的最高子层，并且
所述解码单元利用层间预测对属于从最低子层到所述层间预测控制信息指定的最高子层的子层的图片的编码数据进行解码。
(4)根据(1)至(3)和(5)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是对每个主层设定的。
(5)根据(1)至(4)和(6)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是作为所有主层共通的参数来设定的。
(6)根据(1)至(5)和(7)至(9)中的任何一项所述的图像处理装置，其中
所述接收单元接收控制是否执行层间像素预测的层间像素预测控制信息和控制是否执行层间语法预测的层间语法预测控制信息，其中层间像素预测是多个主层之间的像素预测，层间语法预测是多个主层之间的语法预测，所述层间像素预测控制信息和所述层间语法预测控制信息是作为所述层间预测控制信息来独立设定的，并且
所述解码单元基于由所述接收单元接收到的层间像素预测控制信息来执行层间像素预测，并且基于由所述接收单元接收到的层间语法预测控制信息来执行层间语法预测。
(7)根据(1)至(6)、(8)和(9)中的任何一项所述的图像处理装置，其中
所述层间像素预测控制信息利用子层来控制是否执行层间像素预测，
所述解码单元仅对所述层间像素预测控制信息指定的子层执行层间像素预测，
所述层间语法预测控制信息对于每个图片或切片控制是否执行层间语法预测，并且
所述解码单元仅对所述层间语法预测控制信息指定的图片或切片执行层间语法预测。
(8)根据(1)至(7)和(9)中的任何一项所述的图像处理装置，其中，所述层间像素预测控制信息是作为nal单元(nal_unit)、视频参数集合(VPS(Video Parameter Set))或者扩展视频参数集合(vps_extension)来传送的。
(9)根据(1)至(8)中的任何一项所述的图像处理装置，其中，所述层间语法预测控制信息是作为nal单元(nal_unit)、图片参数集合(PPS(Picture Parameter Set))或者切片头部(SliceHeader)来传送的。
(10)一种图像处理方法，包括：
接收编码了具有多个主层的图像的编码数据和利用子层来控制是否执行层间预测的层间预测控制信息，其中层间预测是所述多个主层之间的预测；以及
通过仅对由接收到的层间预测控制信息指定的子层执行层间预测来对接收到的编码数据的每个主层进行解码。
(11)一种图像处理装置，包括：
编码单元，该编码单元通过仅对由利用子层来控制是否执行层间预测的层间预测控制信息指定的子层执行层间预测，来对图像数据的每个主层进行编码，其中层间预测是多个主层之间的预测；以及
传送单元，该传送单元传送通过所述编码单元进行的编码获得的编码数据，以及所述层间预测控制信息。
(12)根据(11)和(13)至(19)中的任何一项所述的图像处理装置，其中，如果当前主层的当前图片属于如下子层，则所述编码单元利用层间预测对所述当前图片的编码数据进行解码：该子层被所述层间预测控制信息指定为对其执行层间预测的子层。
(13)根据(11)、(12)和(14)至(19)中的任何一项所述的图像处理装置，其中
所述层间预测控制信息指定允许层间预测的最高子层，并且
所述编码单元利用层间预测对属于从最低子层到所述层间预测控制信息指定的最高子层的子层的图片的图像数据进行编码。
(14)根据(11)至(13)和(15)至(19)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是对每个主层设定的。
(15)根据(11)至(14)和(16)至(19)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是作为所有主层共通的参数来设定的。
(16)根据(11)至(15)和(17)至(19)中的任何一项所述的图像处理装置，其中
所述编码单元基于层间像素预测控制信息来执行作为所述多个主层之间的像素预测的层间像素预测，其中所述层间像素预测控制信息控制是否执行层间像素预测并且被设定为所述层间预测控制信息，
所述编码单元基于层间语法预测控制信息来执行作为所述多个主层之间的语法预测的层间语法预测，其中所述层间语法预测控制信息控制是否执行层间语法预测并且与所述层间像素预测控制信息独立地被设定为所述层间预测控制信息，并且
所述传送单元把彼此独立地设定的所述层间像素预测控制信息和所述层间语法预测控制信息作为所述层间预测控制信息来传送。
(17)根据(11)至(16)、(18)和(19)中的任何一项所述的图像处理装置，其中
所述层间像素预测控制信息利用子层来控制是否执行层间像素预测，
所述编码单元仅对所述层间像素预测控制信息指定的子层执行层间像素预测，
所述层间语法预测控制信息对于每个图片或切片控制是否执行层间语法预测，并且
所述编码单元仅对所述层间语法预测控制信息指定的图片或切片执行层间语法预测。
(18)根据(11)至(17)和(19)中的任何一项所述的图像处理装置，其中，所述传送单元将所述层间像素预测控制信息作为nal单元(nal_unit)、视频参数集合(VPS(VideoParameter Set))或者扩展视频参数集合(vps_extension)来传送。
(19)根据(11)至(18)中的任何一项所述的图像处理装置，其中，所述传送单元将所述层间语法预测控制信息作为nal单元(nal_unit)、图片参数集合(PPS(PictureParameter Set))或者切片头部(SliceHeader)来传送。
(20)一种图像处理方法，包括：
通过仅对由利用子层来控制是否执行层间预测的层间预测控制信息指定的子层执行层间预测，来对图像数据的每个主层进行编码，其中层间预测是多个主层之间的预测；以及
传送由所述编码获得的编码数据，以及所述层间预测控制信息。
(21)根据(1)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是对小于或等于主层的最大数目的每个主层设定的。
(22)根据(1)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息被设定到小于或等于子层的最大数目的值。
(23)根据(1)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息被设定到小于或等于参考源主层的子层数目和参考目标主层的子层数目中较小的那个子层数目的值。
(24)根据(1)至(9)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是作为包括与所有主层有关的信息的共通信息来传送的。
(25)根据(11)至(19)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息是对小于或等于主层的最大数目的每个主层设定的。
(26)根据(11)至(19)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息被设定到小于或等于子层的最大数目的值。
(27)根据(11)至(19)中的任何一项所述的图像处理装置，其中，所述层间预测控制信息被设定到小于或等于参考源主层的子层数目和参考目标主层的子层数目中较小的那个子层数目的值。
(28)根据(11)至(19)中的任何一项所述的图像处理装置，其中，所述传送单元将所述层间预测控制信息作为包括与所有主层有关的信息的共通信息来传送。
(31)一种图像处理装置，包括：
接收单元，该接收单元接收编码了具有多个层的图像数据的编码数据，以及对于每个图片控制用于利用另一层的图像作为参考图像来生成预测图像的层间纹理预测的执行的信息；以及
解码单元，该解码单元通过执行根据由所述接收单元接收到的信息来应用层间纹理预测的预测处理来生成预测图像，并利用所述预测图像来对由所述接收单元接收到的编码数据进行解码。
(32)根据(31)和(33)至(39)中的任何一项所述的图像处理装置，其中，所述信息是关于存储所述另一层的图像的帧存储器的长期参考帧的语法。
(33)根据(31)、(32)和(34)至(39)中的任何一项所述的图像处理装置，其中，所述接收单元以序列参数集合(sep_parameter_set_rbsp)的形式来接收所述信息。
(34)根据(31)至(33)和(35)至(39)中的任何一项所述的图像处理装置，其中，所述接收单元接收序列参数集合的语法used_by_curr_pic_lt_sps_flag[i]来作为所述信息。
(35)根据(31)至(34)和(36)至(39)中的任何一项所述的图像处理装置，其中，执行如下预测处理：其中，所述解码单元被控制为对于语法used_by_curr_pic_lt_sps_flag[i]的值被设定为“0”的图片不执行层间纹理预测并且被控制为对于语法used_by_curr_pic_lt_sps_flag[i]的值被设定为“1”的图片执行层间纹理预测。
(36)根据(31)至(35)和(37)至(39)中的任何一项所述的图像处理装置，其中，所述接收单元以切片头部(slice_segment_header)的形式接收所述信息。
(37)根据(31)至(36)、(38)和(39)中的任何一项所述的图像处理装置，其中，所述接收单元接收切片头部的语法used_by_curr_pic_lt_flag[i]来作为所述信息。
(38)根据(31)至(37)和(39)中的任何一项所述的图像处理装置，其中，执行如下预测处理：其中，所述解码单元被控制为对于语法used_by_curr_pic_lt_flag[i]的值被设定为“0”的图片不执行层间纹理预测并且被控制为对于语法used_by_curr_pic_lt_flag[i]的值被设定为“1”的图片执行层间纹理预测。
(39)根据(31)至(38)中的任何一项所述的图像处理装置，其中
如果执行内预测，则所述解码单元在纹理BL模式中执行内预测来作为所述层间纹理预测，并且
如果执行间预测，则所述解码单元在参考索引模式中执行间预测来作为所述层间纹理预测。
(40)一种图像处理方法，包括：
接收编码了具有多个层的图像的编码数据，以及对于每个图片控制用于利用另一层的图像作为参考图像来生成预测图像的层间纹理预测的执行的信息；以及
通过执行根据接收到的信息应用层间纹理预测的预测处理来生成预测图像，并且利用所述预测图像来对接收到的编码数据进行解码。
(41)一种图像处理装置，包括：
生成单元，该生成单元生成对于每个图片控制层间纹理预测的执行的信息，其中所述层间纹理预测用于通过使用包括多个层的图像数据中的另一层的图像作为参考图像来生成预测图像；
编码单元，该编码单元通过执行根据由所述生成单元生成的信息来应用层间纹理预测的预测处理来生成预测图像，并且利用所述预测图像来对所述图像数据进行编码；以及
传送单元，该传送单元传送通过所述编码单元进行的编码获得的编码数据，以及由所述生成单元生成的信息。
(42)根据(41)和(43)至(49)中的任何一项所述的图像处理装置，其中，所述生成单元生成关于存储所述另一层的图像的帧存储器的长期参考帧的语法来作为所述信息。
(43)根据(41)、(42)和(44)至(49)中的任何一项所述的图像处理装置，其中，所述传送单元在序列参数集合(sep_parameter_set_rbsp)中传送所述语法。
(44)根据(41)至(43)和(45)至(49)中的任何一项所述的图像处理装置，其中，所述生成单元设定序列参数集合的语法used_by_curr_pic_lt_sps_flag[i]的值来作为所述语法。
(45)根据(41)至(44)和(46)至(49)中的任何一项所述的图像处理装置，其中
所述生成单元对于不执行层间纹理预测的图片将所述语法used_by_curr_pic_lt_sps_flag[i]的值设定为“0”，并且
所述生成单元对于执行层间纹理预测的图片将所述语法used_by_curr_pic_lt_sps_flag[i]的值设定为“1”。
(46)根据(41)至(45)和(47)至(49)中的任何一项所述的图像处理装置，其中，所述传送单元在切片头部(slice_segment_header)中传送所述语法。
(47)根据(41)至(46)、(48)和(49)中的任何一项所述的图像处理装置，其中，所述生成单元将所述切片头部的语法used_by_curr_pic_lt_flag[i]的值设定为所述语法。
(48)根据(41)至(47)和(49)中的任何一项所述的图像处理装置，其中
所述生成单元对于不执行层间纹理预测的图片将所述语法used_by_curr_pic_lt_flag[i]的值设定为“0”，并且
所述生成单元对于执行层间纹理预测的图片将所述语法used_by_curr_pic_lt_flag[i]的值设定为“1”。
(49)根据(41)至(48)中的任何一项所述的图像处理装置，其中
如果执行内预测，则所述编码单元在纹理BL模式中执行内预测来作为所述层间纹理预测，并且
如果执行间预测，则所述编码单元在参考索引模式中执行间预测来作为所述层间纹理预测。
(50)一种图像处理方法，包括：
生成对于每个图片控制层间纹理预测的执行的信息，其中所述层间纹理预测用于通过使用包括多个层的图像数据中的另一层的图像作为参考图像来生成预测图像；
通过执行根据生成的信息应用层间纹理预测的预测处理来生成预测图像，并且利用所述预测图像来对所述图像数据进行编码；以及
传送所获得的编码图像数据，以及所生成的信息。
附图标记列表
100 可伸缩编码装置
101 共通信息生成单元
102 编码控制单元
103 基本层图像编码单元
104 层间预测控制单元
105 增强层图像编码单元
135 运动预测/补偿单元
141 主层最大数目设定单元
142 子层最大数目设定单元
143 层间预测执行最大子层设定单元
151 层间预测执行控制单元
152 编码相关信息缓冲器
200 可伸缩解码装置
201 共通信息获取单元
202 解码控制单元
203 基本层图像解码单元
204 层间预测控制单元
205 增强层图像解码单元
232 运动补偿单元
241 主层最大数目获取单元
242 子层最大数目获取单元
243 层间预测执行最大子层获取单元
251 层间预测执行控制单元
252 解码相关信息缓冲器
301 共通信息生成单元
342 子层数目设定单元
343 层间预测执行最大子层设定单元
401 共通信息获取单元
442 子层数目获取单元
443 层间预测执行最大子层获取单元
501 共通信息生成单元
504 层间预测控制单元
543 共通标志设定单元
544 层间预测执行最大子层设定单元
551 层间预测执行控制单元
601 共通信息获取单元
604 层间预测控制单元
643 共通标志获取单元
644 层间预测执行最大子层获取单元
651 层间预测执行控制单元
701 共通信息生成单元
704 层间预测控制单元
711 层间像素预测控制信息设定单元
721 上采样单元
722 层间像素预测控制单元
723 基本层像素缓冲器
724 基本层语法缓冲器
725 层间语法预测控制信息设定单元
726 层间语法预测控制单元
801 共通信息获取单元
811 层间像素预测控制信息获取单元
821 上采样单元
822 层间像素预测控制单元
823 基本层像素缓冲器
824 基本层语法缓冲器
825 层间语法预测控制信息获取单元
826 层间语法预测控制单元
948 头部生成单元
1044 头部解译单元

Claims (9)

1.一种图像处理装置，包括：
编码单元，该编码单元被配置为基于指定用于层间预测的最高子层的层间预测控制信息，从最低子层到由所述层间预测控制信息指定的所述最高子层进行层间预测，从而对具有多个层的图像数据进行编码，其中该层间预测是所述多个层之间的预测。
2.根据权利要求1所述的图像处理装置，其中，如果当前层的当前图片属于如下子层，则所述编码单元利用层间预测对所述当前图片的图像数据进行编码：该子层被所述层间预测控制信息指定为对其执行层间预测的子层。
3.根据权利要求1所述的图像处理装置，其中，所述层间预测控制信息是对每个层设定的。
4.根据权利要求1所述的图像处理装置，其中，所述层间预测控制信息被设定为所有层共通的参数。
5.根据权利要求1所述的图像处理装置，其中
所述编码单元基于层间像素预测控制信息来执行作为所述多个层之间的像素预测的层间像素预测，其中所述层间像素预测控制信息控制是否执行层间像素预测并且被设定为所述层间预测控制信息，
所述编码单元基于层间语法预测控制信息来执行作为所述多个层之间的语法预测的层间语法预测，其中所述层间语法预测控制信息控制是否执行层间语法预测并且与所述层间像素预测控制信息独立地被设定为所述层间预测控制信息。
6.根据权利要求5所述的图像处理装置，其中
所述层间像素预测控制信息利用与子层有关的信息来控制是否执行层间像素预测，
所述编码单元仅对所述层间像素预测控制信息指定的子层执行层间像素预测，
所述层间语法预测控制信息对于每个图片或切片控制是否执行层间语法预测，并且
所述编码单元仅对所述层间语法预测控制信息指定的图片或切片执行层间语法预测。
7.根据权利要求6所述的图像处理装置，进一步包括传送单元，所述传送单元将所述层间像素预测控制信息作为nal单元(nal_unit)、视频参数集合(VPS(Video ParameterSet))或者扩展视频参数集合(vps_extension)来传送。
8.根据权利要求6所述的图像处理装置，进一步包括传送单元，所述传送单元将所述层间语法预测控制信息作为nal单元(nal_unit)、图片参数集合(PPS(Picture ParameterSet))或者切片头部(SliceHeader)来传送。
9.一种图像处理方法，包括：
基于指定用于层间预测的最高子层的层间预测控制信息，从最低子层到由所述层间预测控制信息指定的所述最高子层进行层间预测，从而对具有多个层的图像数据进行编码，其中该层间预测是所述多个层之间的预测。
CN201610552082.XA 2012-09-28 2013-09-19 图像处理装置和方法 Active CN106060540B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2012218307 2012-09-28
JP2012-218307 2012-09-28
JP2012-283598 2012-12-26
JP2012283598 2012-12-26
JP2013-129992 2013-06-20
JP2013129992 2013-06-20
CN201380034595.6A CN104396241B (zh) 2012-09-28 2013-09-19 图像处理装置和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380034595.6A Division CN104396241B (zh) 2012-09-28 2013-09-19 图像处理装置和方法

Publications (2)

Publication Number Publication Date
CN106060540A CN106060540A (zh) 2016-10-26
CN106060540B true CN106060540B (zh) 2019-07-02

Family

ID=50388082

Family Applications (5)

Application Number Title Priority Date Filing Date
CN201811387395.XA Active CN109510988B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201610552082.XA Active CN106060540B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201610102189.4A Active CN105611293B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201610554619.6A Active CN106210720B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201380034595.6A Active CN104396241B (zh) 2012-09-28 2013-09-19 图像处理装置和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201811387395.XA Active CN109510988B (zh) 2012-09-28 2013-09-19 图像处理装置和方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CN201610102189.4A Active CN105611293B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201610554619.6A Active CN106210720B (zh) 2012-09-28 2013-09-19 图像处理装置和方法
CN201380034595.6A Active CN104396241B (zh) 2012-09-28 2013-09-19 图像处理装置和方法

Country Status (14)

Country Link
US (4) US10009619B2 (zh)
EP (2) EP3200464A1 (zh)
JP (3) JP5867791B2 (zh)
KR (4) KR101991987B1 (zh)
CN (5) CN109510988B (zh)
AU (1) AU2013321315C1 (zh)
BR (2) BR122016021326B1 (zh)
CA (1) CA2871828C (zh)
MX (1) MX347217B (zh)
MY (2) MY168805A (zh)
PH (1) PH12014502585B1 (zh)
RU (2) RU2706237C2 (zh)
SG (2) SG10201507195QA (zh)
WO (1) WO2014050677A1 (zh)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9591321B2 (en) 2013-04-07 2017-03-07 Dolby International Ab Signaling change in output layer sets
CN109729364A (zh) 2013-04-07 2019-05-07 杜比国际公司 用信号通知输出层集的改变
US20160191933A1 (en) * 2013-07-10 2016-06-30 Sharp Kabushiki Kaisha Image decoding device and image coding device
CN105556962B (zh) * 2013-10-14 2019-05-24 联发科技股份有限公司 发送用于视频系统的无损模式的信号的方法
US9794558B2 (en) * 2014-01-08 2017-10-17 Qualcomm Incorporated Support of non-HEVC base layer in HEVC multi-layer extensions
JP2015164031A (ja) * 2014-01-30 2015-09-10 株式会社リコー 画像表示システム
US9819948B2 (en) 2014-06-18 2017-11-14 Qualcomm Incorporated Signaling HRD parameters for bitstream partitions
JP6239472B2 (ja) 2014-09-19 2017-11-29 株式会社東芝 エンコード装置、デコード装置、ストリーミングシステム、および、ストリーミング方法
KR20170026809A (ko) 2015-08-28 2017-03-09 전자부품연구원 스케일러블 인코딩을 지원하는 컨텐츠 전송 방법 및 이를 위한 스트리밍 서버
WO2017038103A1 (en) * 2015-09-04 2017-03-09 Sharp Kabushiki Kaisha Systems and methods for signaling of video parameters and information associated with caption services
CN106027538A (zh) * 2016-05-30 2016-10-12 东软集团股份有限公司 加载图片的方法及装置、发送图片资源的方法及装置
CN112438047B (zh) 2018-06-26 2022-08-09 华为技术有限公司 用于点云译码的高级语法设计
KR20210025293A (ko) 2019-08-27 2021-03-09 주식회사 엘지화학 셀 프레임을 포함한 배터리 모듈
US11310511B2 (en) * 2019-10-09 2022-04-19 Tencent America LLC Method and apparatus for video coding
KR20220071268A (ko) * 2019-11-05 2022-05-31 엘지전자 주식회사 팔레트 코딩 또는 변환 유닛을 위한 양자화 파라미터 정보 기반 영상 또는 비디오 코딩
EP4080885A4 (en) 2019-12-20 2023-07-05 Wilus Institute of Standards and Technology Inc. VIDEO SIGNAL PROCESSING METHOD AND RELATED DEVICE
US11330296B2 (en) * 2020-09-14 2022-05-10 Apple Inc. Systems and methods for encoding image data
CN113663328B (zh) * 2021-08-25 2023-09-19 腾讯科技（深圳）有限公司 画面录制方法、装置、计算机设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897377A1 (en) * 2005-05-26 2008-03-12 Lg Electronics Inc. Method for providing and using information about inter-layer prediction for video signal
CN101185343A (zh) * 2005-05-26 2008-05-21 Lg电子株式会社 提供和使用关于视频信号的层间预测的信息的方法
JP2009278495A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7227894B2 (en) * 2004-02-24 2007-06-05 Industrial Technology Research Institute Method and apparatus for MPEG-4 FGS performance enhancement
JP5065051B2 (ja) * 2005-02-18 2012-10-31 トムソン ライセンシング 低解像度画像から高解像度画像の符号化情報を導出する方法、並びに、係る方法を実現する符号化及び復号化装置
CN101171845A (zh) * 2005-03-17 2008-04-30 Lg电子株式会社 对使用层间预测编码的视频信号进行解码的方法
KR100714696B1 (ko) * 2005-06-24 2007-05-04 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
US8693549B2 (en) * 2006-01-16 2014-04-08 Electronics And Telecommunications Research Institute Method and apparatus for selective inter-layer prediction on macroblock basis
US8767836B2 (en) * 2006-03-27 2014-07-01 Nokia Corporation Picture delimiter in scalable video coding
WO2008007006A2 (fr) * 2006-07-10 2008-01-17 France Telecom Dispositif et procede de codage et de decodage echelonnables de flux de donnees d'images, signal et programme d'ordinateur correspondants
US20080089411A1 (en) * 2006-10-16 2008-04-17 Nokia Corporation Multiple-hypothesis cross-layer prediction
US8054885B2 (en) * 2006-11-09 2011-11-08 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
KR100896289B1 (ko) * 2006-11-17 2009-05-07 엘지전자 주식회사 비디오 신호의 디코딩/인코딩 방법 및 장치
CN101888555B (zh) * 2006-11-17 2013-04-03 Lg电子株式会社 用于解码/编码视频信号的方法及装置
US8081680B2 (en) * 2006-11-28 2011-12-20 Microsoft Corporation Selective inter-layer prediction in layered video coding
US8432968B2 (en) * 2007-10-15 2013-04-30 Qualcomm Incorporated Scalable video coding techniques for scalable bitdepths
CN101674475B (zh) * 2009-05-12 2011-06-22 北京合讯数通科技有限公司 一种h.264/svc的自适应层间纹理预测方法
US8705616B2 (en) * 2010-06-11 2014-04-22 Microsoft Corporation Parallel multiple bitrate video encoding to reduce latency and dependences between groups of pictures
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
CN107071448B (zh) * 2011-01-14 2020-04-28 太阳专利托管公司 图像编码解码装置
JP5738434B2 (ja) * 2011-01-14 2015-06-24 ヴィディオ・インコーポレーテッド 改善されたｎａｌユニットヘッダ
US9756353B2 (en) * 2012-01-09 2017-09-05 Dolby Laboratories Licensing Corporation Hybrid reference picture reconstruction method for single and multiple layered video coding systems
EP3588958B1 (en) * 2012-08-29 2024-07-03 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
US10257523B2 (en) * 2012-12-14 2019-04-09 Avago Technologies International Sales Pte. Limited Adaptive decoding system
US20140185671A1 (en) * 2012-12-27 2014-07-03 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1897377A1 (en) * 2005-05-26 2008-03-12 Lg Electronics Inc. Method for providing and using information about inter-layer prediction for video signal
CN101185343A (zh) * 2005-05-26 2008-05-21 Lg电子株式会社 提供和使用关于视频信号的层间预测的信息的方法
CN101185332A (zh) * 2005-05-26 2008-05-21 Lg电子株式会社 用于将通过层间预测编码的视频信号解码的方法
JP2009278495A (ja) * 2008-05-16 2009-11-26 Victor Co Of Japan Ltd 動画像階層符号化装置、動画像階層符号化方法、動画像階層符号化プログラム、動画像階層復号化装置、動画像階層復号化方法、および動画像階層復号化プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Selective Inter-layer Prediction;Kai Zhang Et al.;《Joint Video Team(JVT)of ISO/IEC MPEG & TU-T VCEG（ISO/IEC JTC1/SC29/WG11 and ITU-T SG16 Q.6）》;20060120;第2-3章

Also Published As

Publication number Publication date
KR20190049947A (ko) 2019-05-09
CN106210720A (zh) 2016-12-07
CA2871828C (en) 2015-09-15
CN104396241A (zh) 2015-03-04
RU2706237C2 (ru) 2019-11-15
KR101554447B1 (ko) 2015-09-30
US20150163505A1 (en) 2015-06-11
US10212446B2 (en) 2019-02-19
CN104396241B (zh) 2016-08-24
AU2013321315B2 (en) 2014-12-18
KR20190105126A (ko) 2019-09-11
PH12014502585A1 (en) 2015-01-21
US10009619B2 (en) 2018-06-26
US20190098328A1 (en) 2019-03-28
JP2015159581A (ja) 2015-09-03
CN109510988B (zh) 2023-04-14
JP6281521B2 (ja) 2018-02-21
BR122016021326B1 (pt) 2023-01-10
JP5867791B2 (ja) 2016-02-24
AU2013321315C1 (en) 2015-06-18
US10848778B2 (en) 2020-11-24
KR102037644B1 (ko) 2019-10-28
MX347217B (es) 2017-04-20
CN105611293A (zh) 2016-05-25
BR122016021326A2 (pt) 2019-08-27
BR112015000422B1 (pt) 2023-04-25
JP6525073B2 (ja) 2019-06-05
MY191172A (en) 2022-06-03
EP2840795A1 (en) 2015-02-25
EP2840795A4 (en) 2015-04-15
EP3200464A1 (en) 2017-08-02
KR20150051222A (ko) 2015-05-11
CN109510988A (zh) 2019-03-22
WO2014050677A1 (ja) 2014-04-03
JPWO2014050677A1 (ja) 2016-08-22
JP2018093512A (ja) 2018-06-14
SG11201408580PA (en) 2015-01-29
KR101991987B1 (ko) 2019-06-21
CN106060540A (zh) 2016-10-26
US20180249170A1 (en) 2018-08-30
KR102046757B1 (ko) 2019-11-19
US20210014516A1 (en) 2021-01-14
US11503321B2 (en) 2022-11-15
MY168805A (en) 2018-12-04
CN105611293B (zh) 2018-07-06
KR20140143465A (ko) 2014-12-16
BR112015000422A2 (pt) 2017-06-27
CA2871828A1 (en) 2014-04-03
SG10201507195QA (en) 2015-10-29
RU2016109053A3 (zh) 2019-05-24
MX2014014669A (es) 2015-02-10
RU2016109053A (ru) 2018-11-26
RU2581014C1 (ru) 2016-04-10
CN106210720B (zh) 2019-04-16
PH12014502585B1 (en) 2015-01-21

Similar Documents

Publication Publication Date Title
CN106060540B (zh) 图像处理装置和方法
CN104813664B (zh) 图像处理设备和图像处理方法
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN104838659B (zh) 图像处理装置及方法
CN107079149A (zh) 图像处理装置和方法
WO2015005136A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法
CN104854869B (zh) 图像处理装置及方法
AU2016213857B2 (en) Image Processing Device

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant