CN104604234B - 图像编码设备和方法 - Google Patents

图像编码设备和方法 Download PDF

Info

Publication number
CN104604234B
CN104604234B CN201480002300.1A CN201480002300A CN104604234B CN 104604234 B CN104604234 B CN 104604234B CN 201480002300 A CN201480002300 A CN 201480002300A CN 104604234 B CN104604234 B CN 104604234B
Authority
CN
China
Prior art keywords
layer
unit
image
information
inter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480002300.1A
Other languages
English (en)
Other versions
CN104604234A (zh
Inventor
中神央二
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN104604234A publication Critical patent/CN104604234A/zh
Application granted granted Critical
Publication of CN104604234B publication Critical patent/CN104604234B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/15—Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/187—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a scalable video layer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)

Abstract

本公开涉及能够抑制编码效率的降低的图像编码设备和方法。在本发明中，提供：对由多层组成的图像数据编码的编码单元；如果当前切片层是增强层，和如果当前切片的切片种类是P切片或B切片，那么生成与当前切片的层间预测相关的信息的层间预测相关信息生成单元；传送图像数据的编码数据和与层间预测相关的信息的传输单元，所述编码数据由编码单元生成，所述与层间预测相关的信息由层间预测相关信息生成单元生成。本公开可适用于例如可扩展地编码图像数据的图像编码设备，或者诸如解码编码数据的图像解码设备之类的图像处理设备，所述编码数据是被可扩展地编码的图像数据。

Description

图像编码设备和方法
技术领域
本公开涉及图像编码设备和方法，更具体地，涉及能够抑制编码效率的降低的图像编码设备和方法。
背景技术
最近，为了比MPEG-4Part 10(高级视频编码；下面称为AVC)更高地提高编码效率，作为国际电信联盟电信标准化部门(ITU-T)和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准组织的联合协作团队-视频编码(JCTVC)，发展了称为高效视频编码(HEVC)的编码方式的标准化 (例如，参见非专利文献1)。
另外，例如，提出了为扩展标准所共有的例如视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)、切片头部等的高级语法(HL语法)结构(例如，参见非专利文献2和非专利文献3)。
引文列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm, GaryJ.Sullivan,Ye-Kui Wang,Thomas Wiegand,“High Efficiency Video Coding(HEVC)textspecification draft 10(for FDIS & Last Call)”，JCTVC-L1003_v34,JointCollaborative Teamon Video Coding (JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC1/SC 29/WG 1112th Meeting:Geneva,CH,14-23Jan.2013。
非专利文献2：Gerhard Tech,Krzysztof Wegner,Ying Chen,Miska Hannuksela,Jill Boyce，“MV-HEVC Draft Text 4”，JCT3V-D1004-v4, Joint Collaborative Team on3D Video Coding Extension Development of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 114th Meeting:Incheon, KR,20-26Apr.2013。
非专利文献3：Jianle Chen,Jill Boyce,Yan Ye,Miska M. Hannuksela，“SHVCWorking Draft 2”，JCTVC-M1008_v3,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG1113th Meeting:Incheon,KR,18-26Apr.2013。
发明内容
然而，就在非专利文献2和非专利文献3中提出的技术来说，尽管在切片头部中传送与层间预测相关的信息，不过同时，也传送不必要的语法。因而，切片头部的编码量不必要地增大，从而，存在编码效率降低的顾虑。
考虑到这种情形，提出了本公开，本公开用于抑制编码效率的降低。
按照本技术的一个方面，提供一种图像编码设备，包括：参照层指定信息生成单元，在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，所述参照层指定信息生成单元生成指定在层间预测中参照的层的参照层指定信息；和编码图像数据的编码单元。
另外，还可包括预测控制单元，所述预测控制单元根据参照层指定信息生成单元生成的参照层指定信息，控制层间预测。
另外，还可包括传输单元，所述传输单元利用切片头部，传送参照层指定信息。
在当前层不是层0，并且当前层的参照层的数目不为“0”的情况下，参照层指定信息生成单元生成参照层指定信息。
另外，还可包括层间可预测性信息生成单元，所述层间可预测性信息生成单元生成表示是否允许层间预测的层间可预测性信息。
另外，在层间可预测性信息表示允许层间预测，并且当前层的参照层的数目为多个的情况下，参照层指定信息生成单元可生成参照层指定信息。
还可包括参照层数目信息生成单元，所述参照层数目信息生成单元生成表示在执行层间预测时参照的其他层的数目的参照层数目信息。
在层间预测中的可参照层的数目并不限于1的情况下，参照层数目信息生成单元可生成参照层数目信息。
按照本技术的另一个方面，提供一种图像编码方法，包括：在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，生成指定在层间预测中参照的层的参照层指定信息；和编码图像数据。
按照本技术的一个方面，在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，生成指定在层间预测中参照的层的参照层指定信息，然后编码图像数据。
按照本公开，能够编码和解码图像。特别地，能够抑制编码或解码负荷的增大。
附图说明
图1是图解说明编码单元的结构例子的示图。
图2是图解说明分层图像编码系统的例子的示图。
图3是图解说明空间可扩展编码的例子的示图。
图4是图解说明时间可扩展编码的例子的示图。
图5图解说明信噪比的可扩展编码的例子的示图。
图6是图解说明切片头部的语法的例子的示图。
图7是图解说明切片头部的语义的例子的示图。
图8是图解说明层间预测的例子的示图。
图9是图解说明切片头部的语法的例子的示图。
图10是图解说明设定参照层的方法的例子的示图。
图11是图解说明切片头部的语法的例子的示图。
图12是图解说明切片头部的语义的例子的示图。
图13是图解说明层间预测的参照关系的例子的示图。
图14是图解说明设定参照层的方法的例子的示图。
图15是图解说明序列参数集的语法的例子的示图。
图16是图解说明层间参照图像集的语法的例子的示图。
图17是图解说明切片头部的语法的例子的示图。
图18是图解说明序列参数集的语义的例子的示图。
图19是图解说明层间参照图像集的语义的例子的示图。
图20是图解说明切片头部的语义的例子的示图。
图21是图解说明切片头部的语法的例子的示图。
图22是接续图21的图解说明切片头部的语法的例子的示图。
图23是接续图22的图解说明切片头部的语法的例子的示图。
图24是图解说明切片头部的语义的例子的示图。
图25是图解说明序列参数集的语法的例子的示图。
图26是接续图25的图解说明序列参数集的语法的例子的示图。
图27是图解说明层间参照图像集的语法的例子的示图。
图28是图解说明切片头部的语法的例子的示图。
图29是接续图28的图解说明切片头部的语法的例子的示图。
图30是接续图29的图解说明切片头部的语法的例子的示图。
图31是接续图30的图解说明切片头部的语法的例子的示图。
图32是图解说明序列参数集的语义的例子的示图。
图33是图解说明层间参照图像集的语义的例子的示图。
图34是图解说明切片头部的语义的例子的示图。
图35是图解说明图像编码设备的主要结构的例子的方框图。
图36是图解说明基本层图像编码单元的主要结构的例子的方框图。
图37是图解说明增强层图像编码单元的主要结构的例子的方框图。
图38是图解说明头部信息生成单元的主要结构的例子的方框图。
图39是图解说明图像编码处理的流程的例子的流程图。
图40是图解说明基本层编码处理的流程的例子的流程图。
图41是图解说明增强层编码处理的流程的例子的流程图。
图42是图解说明与层间预测相关的头部信息生成处理的流程的例子的流程图。
图43是图解说明与层间预测相关的头部信息生成处理的流程的另一个例子的流程图。
图44是图解说明图像解码设备的主要结构的例子的方框图。
图45是图解说明基本层图像解码单元的主要结构的例子的方框图。
图46是图解说明增强层图像解码单元的主要结构的例子的方框图。
图47是图解说明头部信息分析单元的主要结构的例子的方框图。
图48是图解说明图像解码处理的流程的例子的流程图。
图49是图解说明基本层解码处理的流程的例子的流程图。
图50是图解说明增强层解码处理的流程的例子的流程图。
图51是图解说明与层间预测相关的头部信息分析处理的流程的例子的流程图。
图52是图解说明与层间预测相关的头部信息分析处理的流程的另一个例子的流程图。
图53是图解说明多视点图像编码系统的例子的示图。
图54是图解说明本技术适用于的多视点图像编码设备的主要结构的例子的示图。
图55是图解说明本技术适用于的多视点图像解码设备的主要结构的例子的示图。
图56是图解说明计算机的主要结构的例子的方框图。
图57是图解说明电视机的示意结构的例子的方框图。
图58是图解说明移动电话机的示意结构的例子的方框图。
图59是图解说明记录/再现设备的示意结构的例子的方框图。
图60是图解说明成像设备的示意结构的例子的方框图。
图61是图解说明可扩展编码的使用例子的方框图。
图62是图解说明可扩展编码的又一个使用例子的方框图。
图63是图解说明可扩展编码的另一个使用例子的方框图。
图64是图解说明视频机组的示意结构的例子的方框图。
图65是图解说明视频处理器的示意结构的例子的方框图。
图66是图解说明视频处理器的示意结构的另一个例子的方框图。
图67是图解说明内容再现系统的结构的说明图。
图68是图解说明内容再现系统中的数据的流动的说明图。
图69是图解说明MPD的具体例子的说明图。
图70是图解说明内容再现系统的内容服务器的结构的功能方框图。
图71是图解说明内容再现系统的内容再现设备的结构的功能方框图。
图72是图解说明内容再现系统的内容服务器的结构的功能方框图。
图73是图解说明由无线通信系统中的各个设备进行的通信处理的例子的序列图。
图74是图解说明由无线通信系统中的各个设备进行的通信处理的例子的序列图。
图75是示意图解说明在由无线通信系统的各个设备进行的通信处理中传送和接收的帧的帧格式的结构例子的示图。
图76是图解说明由无线通信系统的各个设备进行的通信处理的例子的序列图。
具体实施方式
下面说明实现本公开的实施例(下面称为实施例)。将按照以下顺序进行说明。
1.第一实施例(切片头部的冗余的减小)
2.第二实施例(图像编码设备)
3.第三实施例(图像解码设备)
4.第四实施例(多视点图像编码和多视点图像解码设备)
5.第五实施例(计算机)
6.第六实施例(应用例)
7.第七实施例(可扩展编码的应用例子)
8.第八实施例(机组/单元/模块/处理器)
9.第九实施例(MPEG-DASH的内容再现系统的应用例子)
10.第十实施例(Wi-Fi标准的无线通信系统的应用例子)
<1.第一实施例>
<图像编码的标准化的流程>
最近，以数字数据的形式处理图像信息，此时，为了高效传送和累积信息，广泛使用通过采用编码方式，压缩和编码图像的设备，所述编码方式通过利用图像信息特有的冗余，通过诸如离散余弦变换之类的正交变换和运动补偿，压缩数据。这种编码方式的例子包括运动图像专家组(MPEG)等。
特别地，作为通用图像编码方式，定义了MPEG2(ISO/IEC 13818-2)， MPEG2(ISO/IEC 13818-2)是覆盖隔行扫描图像和逐行扫描图像两者，以及标准分辨率图像和高清晰度图像的标准。例如，目前，MPEG2广泛用于专业用途和消费用途的各种应用。通过利用MPEG2压缩方式，例如，在 720×480像素的标准分辨率的隔行扫描图像的情况下，分配4～8Mbps的代码量(比特率)。另外，通过利用MPEG2压缩方式，例如，在1920× 1088像素的高分辨率的隔行扫描图像的情况下，分配18～22Mbps的代码量(比特率)。因而，能够实现高压缩率和令人满意的画面质量。
MPEG2主要以高图像质量编码为目标，高图像质量编码主要适合于广播，但是不遵守代码量(比特率)比MPEG1的代码量(比特率)低的编码方式，换句话说，压缩率比MPEG1高的编码方式。然而，认为随着便携式终端的普及，未来对这种编码方式的需求会增大，据此进行了MPEG4编码方式的标准化。在1998年12月，MPEG4的与图像编码方式相关的标准被批准为ISO/IEC 14496-2。
此外，近年来，对初始用于电视会议的图像编码来说，H.26L国际电信联盟电信标准化部门(ITU-T)Q6/16视频编码专家组(VCEG)已被标准化。已知H.26L需要比诸如MEPG2或MPEG4之类常规编码方式大的编码处理和解码处理的计算量，然而可实现更高的编码效率。另外，目前，作为MPEG4的活动的一部分，作为增强压缩视频编码联合模式，产生了基于H.26L的，并通过引入H.26L中不支持的功能，实现更高编码效率的标准。
作为其标准化的时间表，在2003年3月，基于H.264和MPEG-4Part 10(高级视频编码；下面称为AVC)的名称，产生了一种国际标准。
另外，作为H.264/AVC的扩展，在2005年2月，完成了包括称为RGB、 4:2:2和4:4:4的为商业用途所需的编码工具，和在MPEG-2中定义的8 ×8DCT和量化矩阵的保真度范围扩展(FRExt)的标准化。这样，通过利用H.264/AVC，形成一种能够表现包含在电影中的影片噪声的编码方式， H.264/AVC处于用在蓝光光盘(注册商标)等各种应用中的阶段。
然而，最近，对具有更高压缩率的编码的需求，比如压缩约4000× 2000像素(为高清晰度图像的像素数的4倍)的图像的需求，和在诸如因特网之类传输容量有限的环境中，传送高清晰度图像的需求已增大。因此，隶属于上面说明的ITU-T的VCEG不断进行了改善编码效率的检讨。
从而，目前，为了进一步提高编码效率，以便高于AVC的编码效率，作为ITU-T和国际标准化组织/国际电工委员会(ISO/IEC)的联合标准组织的联合协作团队-视频编码(JCTVC)，发展了称为高效视频编码(HEVC) 的编码方式的标准化。关于HEVC标准，在2013年1月发布了作为草案版规范的委员会草案(例如，参见非专利文献1)。
<编码方式>
下面将以应用于高效视频编码(HEVC)的图像编码/解码的情况为例，说明本技术。
<编码单元>
在高级视频编码(AVC)系统中，定义由宏块和子宏块构成的分层结构。然而，对成为下一代编码方式的对象的超高清晰度(UHD；4000像素×2000像素)的大图像帧来说，16×16像素的宏块并非最佳。
与此相反，在HEVC系统中，如图1中图解所示，定义编码单元(CU)。
CU也称为编码树块(CTB)，是实现与AVC系统中的宏块类似的作用的图像单元的部分区域。尽管宏块被固定为16×16像素的大小，不过，CU 的大小不固定，而是在每个序列的图像压缩信息中指定的。
例如，在包含在作为输出的编码数据中的序列参数集(SPS)中，定义 CU的最大大小(最大编码单元(LCU))和最小大小(最小编码单元(SCU))。
在每个LCU内，通过在不在SCU的大小之下的范围中，设定 split-flag＝1，LCU可被分成具有较小大小的CU。在图1中图解所示的例子中，LCU的大小为128，最大分层深度为5。当split_flag的值为“1”时，大小为2N×2N的CU被分成下一层级的大小均为N×N的CU。
此外，CU被分成预测单元(PU)，PU是作为帧内预测或帧间预测的处理单元的区域(以画面为单位的图像的部分区域)，和被分成变换单元 (TU)，TU是作为正交变换的处理单元的区域(以画面为单位的图像的部分区域)。目前，在HEVC系统中，除了4×4和8×8正交变换之外，还可以使用16×16和32×32正交变换。
和上述HEVC系统中一样，在其中定义CU，并且以CU为单位进行各种处理的编码方式的情况下，可以认为AVC系统的宏块对应于LCU，块(子块)对应于CU。另外，AVC系统的运动补偿块可被认为对应于PU。然而，由于CU具有分层结构，因此通常，最高层级的LCU的大小被设定成大于 AVC系统的宏块的大小，比如128×128像素。
从而，下面，假定LCU也包括AVC系统的宏块，假定CU也包括AVC 系统的块(子块)。换句话说，在以下的说明中使用的“块”表示在画面内的任意部分区域，其大小、形状、特性等没有特别的限制。换句话说，例如，“块”包括诸如TU、PU、SCU、CU、LCU、子块、宏块和切片之类的任意区域。显然其中还包括除这些之外的部分区域(处理单元)。另外，将适当说明需要限制大小、处理单元等的情况。
在本说明书中，编码树单元(CTU)被假定是包括最大数的CU(LCU)的编码树块(CTB)，和在其LCU基础(级)进行处理之际的参数的单元。另外，构成CUT的编码单元(CU)被假定是包含编码块(CB)，和在其CU基础(级) 进行处理之际的参数的单元。
<模式选择>
在AVC和HEVC编码方式中，为了获得更高的编码效率，适当的预测模式的选择意义重大。
作为这种选择方式的例子，存在一种其中把选择方式嵌入称为JM(联合模型)的H.264/MPEG-4AVC的参照软件(公布于http:// iphome.hhi.de/suehring/tml/index.htm)中的方法。
在JM中，可以选择用于确定包括下面说明的高复杂性模式和低复杂性模式的两种模式的模式判定方法。在任意一种模式下，计算与每种预测模式Mode相关的成本函数值，成本函数值最小的预测模式被选为块或宏块的最佳模式。
高复杂性模式下的成本函数如下在式(1)中所示。
[数学式1]
Cost(Mode∈Ω)＝D+λ*R...(1)
其中，Ω是用于编码块或宏块的候选模式的全集，D是在按预测模式进行编码的情况下，解码图像和输入图像之间的差分能量。另外，λ是作为量化参数的函数给出的拉格朗日未定乘数。R是包括正交变换系数的在按所述模式进行编码的情况下的总代码量。
换句话说，当按高复杂性模式进行编码时，为了计算上述参数D和R，需要对所有的候选模式，进行一次临时编码处理，因而，需要更大的计算量。
低复杂性模式下的成本函数如下在式(2)中所示。
[数学式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)
其中，与高复杂性模式情况下的D不同，D是预测图像和输入图像之间的差分能量。另外，以量化参数QP的函数的形式，给出QP2Quant(QP)， HeaderBit是不包括正交变换系数的与属于头部的信息，比如运动向量和模式相关的代码量。
换句话说，在低复杂性模式下，尽管需要对各个候选模式，进行预测处理，不过解码图像不是必需的，从而不需要进行编码处理。因而，低复杂性模式能够实现比高复杂性模式低的计算量。
<分层编码>
诸如至此说明的MPEG2和AVC之类图像编码方式具有可扩展性功能。可扩展编码(分层编码)是其中图像由多层构成(分层化)，并对每层进行编码的方式。图2是图解说明分层图像编码方式的例子的示图。
如图2中图解所示，在图像的分层化中，通过参照具有可扩展性功能的预定参数，一个图像被分成多个层级(层)。换句话说，分层的图像(分层图像)包括所述预定参数的值彼此不同的多个层级(层)。分层图像的多个层由利用基本层的图像，而不利用另一层的图像进行编码和解码的基本层，和利用另一层的图像进行编码和解码的非基本层(也称为增强层) 构成。非基本层可被配置成利用基本层的图像，或者利用另一个非基本层的图像。
通常，为了减小冗余，非基本层由非基本层的图像和基本层的图像之间的差分图像的数据(差分数据)构成。例如，在一个图像被分层为包括基本层和非基本层(也称为增强层)的2层的情况下，通过只利用基本层的数据，获得质量低于原始图像的图像，通过合成基本层的数据和非基本层的数据，获得原始图像(换句话说，高质量图像)。
通过按照这种方式使图像分层，能够按照状况，容易地获得各种质量的图像。例如，像在其中向诸如移动电话机之类处理能力低的终端，只传送基本层的图像压缩信息，从而再现空间/时间分辨率低，或者图像质量低的运动图像，和向诸如电视机或个人计算机之类处理能力高的终端，除了传送基本层的图像压缩信息之外，还传送增强层的图像压缩信息，从而再现空间/时间分辨率高，或者图像质量高的运动图像的情况下一样，能够不进行转码处理地从服务器传送与终端或网络的能力相应的图像压缩信息。
<可扩展参数>
在这样的分层图像编码/分层图像解码(可扩展编码/可扩展解码) 中，具有可扩展性功能的参数是任意的。例如，如图3中图解所示的空间分辨率可被设定为参数(空间可扩展性)。在这种空间可扩展性的情况下，图像的分辨率对各层来说不同。换句话说，如图3中图解所示，每个图像被分层成空间分辨率比原始图像低的基本层，和通过与基本层的图像合成，能够获得原始图像(原始空间分辨率)的增强层2个层次。显然，层次的数目是例子，可以利用任意数目的层次，对图像分层。
作为具有这种可扩展性的参数，例如，可以应用如图4中图解所示的时间分辨率(时间可扩展性)。在这种时间可扩展性的情况下，帧速率对各层来说不同。换句话说，在这种情况下，如图4中图解所示，由于图像被分层成具有相互不同的帧速率的层，因此，通过相加高帧速率的层和低帧速率的层，能够获得具有较高帧速率的运动图像，从而通过相加所有层，能够获得原始运动图像(原始帧速率)。这里，层次的数目是例子，可以利用任意数目的层次，对图像分层。
另外，作为具有这种可扩展性的参数，例如，可以应用信噪比(SNR) (SNR可扩展性)。在这种SNR可扩展性的情况下，SN比对各层来说不同。换句话说，如图5中图解所示，每个图像被分层成包括具有比原始图像低的SNR的基本层，和通过与基本层的图像合成，能够获得原始图像(原始SNR)的增强层的2个层次。换句话说，在基本层图像压缩信息中，传送与具有低SNR的图像相关的信息，并通过把增强层图像压缩信息加入其中，能够重建具有高PSNR的图像。显然，层次的数目是例子，可以利用任意数目的层次，对图像分层。
显然，具有可扩展性的参数可不同于上述例子的参数。例如，存在其中基本层由8比特图像构成，并且能够向其加入增强层，可获得10比特图像的比特深度可扩展性。
另外，存在其中基本层由4:2:0格式的分量图像构成，通过向其加入增强层，中获得4:2:2格式的分量图像的色度可扩展性。
<扩展标准的高级语法>
例如，如在非专利文献2或非专利文献3中所述，提出了为上述HEVC 的扩展标准所共有的例如视频参数集(VPS)、序列参数集(SPS)、图像参数集(PPS)、切片头部等的高级语法(HL语法)结构。
在非专利文献2或非专利文献3中，提出与切片头部中的与层间预测相关的信息的传输。图6是图解说明切片头部的与层间预测相关的信息的语法的例子的示图。图7是图解说明切片头部的语义的例子的示图。
如图6中图解所示，在切片头部中，作为与层间预测相关的信息，传送inter_layer_pred_enabled_flag、num_inter_layer_ref_pics_ minus1、inter_layer_pred_layer_idc[i]、inter_layer_sample_pred_ only_flag等的信息。
inter_layer_pred_enabled_flag是表示对于作为处理对象的当前切片，是否允许层间预测的层间可预测性信息。在其值为“0”的情况下，层间预测不能用于预测图像的生成。
num_inter_layer_ref_pics_minus1是表示作为当前切片的层间预测中的参照对象的参照层的数目的参照层数目信息。通过把该值加1而获得的层数是当前切片的层间预测中的参照层的数目。在视频参数集 (VPS)中，也定义了参照层的数目(NumDirectRefLayers[N])。 num_inter_layer_ref_pics_minus1把参照层的数目定义为通过把其值减1而获得的值或者更小的值。换句话说，参照层数目信息 (num_inter_layer_ref_pics_minus1+1)定义在视频参数集(VPS)中定义的参照层之中，为当前切片选择的基准层的数目。
另外，NumDirectRefLayers[N]是表示在关于层N的层间预测中，可参照的层编号的最大值的信息。换句话说，可以参照从层0到 NumDirectRefLayers[N]的值为止的层。
inter_layer_pred_layer_idc[i]是指定作为当前切片的层间预测中的参照层的各层的参照层指定信息。另外，inter_layer_pred_layer_ idc[i]可把层0到在NumActiveRefLayerPics中指定的层指定为参照层。
NumActiveRefLayerPics是表示可被指定为当前切片的层间预测中的参照层的(处于有效状态的)层的数目的有效层数信息。在当前切片的层(当前层(nuh_layer_id))为层0(nuh_layer_id＝＝0)，当前层的参照层的数目为0(NumDirectRefLayers[nuh_layer_id]＝＝0)，或者层间预测不被允许(inter_layer_pred_enabled_flag)的情况下，NumActiveRefLayerPics的值为0。另一方面，在只有一个图像用于编码视频序列(CVS)的各个图像的层间预测(max_one_active_ref_layer_ flag)，或者在视频参数集(VPS)中定义的在当前层的层间预测中可参照的层编号的最大值为1(NumDirectRefLayers[nuh_layer_id]＝＝1)的情况下，NumActiveRefLayerPics的值为1。在其它情况下，NumActiveRefLayerPics的值是通过把参照层数目信息加1而获得的值 (num_inter_layer_ref_pics_minus1+1)。
inter_layer_sample_pred_only_flag是表示对于当前切片，是否允许帧间预测的帧间可预测性信息。当其值为0时，在预测图像的生成中，不能使用帧间预测。
换句话说，在从编码方传送给解码方的与层间预测相关的信息中，可以包括层间可预测性信息，参照层数目信息，参照层指定信息和帧间可预测性信息。显然在与层间预测相关的信息中，可以包含除这些以外的信息，或者其中的一些信息可不被包含在其中。
如图6中例示，在当前层不是层0(nuh_layer_id>0)，和在当前层的层间预测中，存在可被参照的层(NumDirectRefLayers[nuh_layer_id] >0)的情况下，传送这种与层间预测相关的信息。
然而，即使在这种情况下，也可考虑其中上面说明的与层间预测相关的信息是不必要的情况。然而，在非专利文献2或非专利文献3中说明的方法中，未考虑这种情况地传送与层间预测相关的信息。因而，不必要的语法也被传送，从而，不必要地增大切片头部的代码量，从而存在编码效率降低的可能性。
从而，通过更严格地配置传送与层间预测相关的信息的条件，可减小切片头部的冗余，从而改善编码效率。下面说明具体方法的例子。
<按照切片种类的控制>
按照在非专利文献2或非专利文献3中所述的方法，例如，在作为图像组(GOP)的前例的帧内随机存取点(IRAP)的情况下，利用nal单元种类(nal_unit_type)的值，控制层间预测的信息，以便不传送与层间预测相关的信息。
然而，例如，如在图8的A中图解所示，即使在IRAP的情况下，也可能存在P切片或B切片，而在P切片或B切片中，可进行层间预测。与此相反，例如，如在图8的B中图解所示，在IRAP全由I切片构成的情况下，不进行层间预测。
换句话说，仅仅根据nal单元种类(nal_unit_type)的值，不能判定是否进行层间预测。在不进行层间预测的情况下，与层间预测相关的信息变成冗余数据。换句话说，在这种情况下，当传送与层间预测相关的信息时，不必要地增大切片头部的代码量，从而，存在编码效率降低的顾虑。
从而，在与层间预测相关的信息的传输的控制中，也要考虑切片种类(slice_type)的值。换句话说，在切片种类是P切片或B切片的情况下，与层间预测相关的信息被配置成是可传送的。
图9图解说明这种情况的切片头部的语法的一部分的例子。如图9 中图解所示，在定义与层间预测相关的信息的语法之前，增加条件表达式“if(slice_type＝＝P||slice_type＝＝B){”。换句话说，只有在该条件表达式为真的情况下，才传送与层间预测相关的信息。
通过这样构成，抑制与层间预测相关的信息的不必要传输，从而能够抑制编码效率的降低。
<按照参照层数的控制>
如上所述，在视频参数集(VPS)和切片头部中，存在定义参照层数的语法。换句话说，例如，如在图10的A中图解所示，在视频参数集(VPS) 中，定义应用于整个序列的参照层的数目。例如，如在图10的B中图解所示，在切片头部中，在视频参数集(VPS)中，定义从参照层组中选择的参照层。因而，对于每个图像，可以改变参照层。
当在视频参数集(VPS)中定义的参照层的数目和在切片头部中定义的参照层的数目彼此相同时，在视频参数集(VPS)中定义的所有参照层被定义为当前切片的参照层。换句话说，在这种情况下，不必通过利用参照层指定信息(inter_layer_pred_layer_idc[i])，指定将用作参照层的各层。
然而，按照在非专利文献2和非专利文献3中说明的方法，即使在这种情况下，参照层指定信息(inter_layer_pred_layer_idc[i])也被传送。换句话说，切片头部的代码量被不必要地增大，从而存在编码效率降低的顾虑。
从而，当在视频参数集(VPS)中定义的参照层的数目 (NumDirectRefLayers[nuh_layer_id])和在切片头部中定义的参照层的数目(有效层数信息(NumActiveRefLayerPics))相互不同时，参照层指定信息(inter_layer_pred_layer_idc[i])被配置成是可传送的。
图11图解说明这种情况的切片头部的语法的一部分的结构例子。图 12图解说明这种情况的切片头部的语义的例子。如图11中图解所示，在定义参照层指定信息(inter_layer_pred_layer_idc[i])的语法之前，增加条件表达式“if(NumDirectRefLayers[nuh_layer_id]！＝ NumActiveRefLayerPics)”。换句话说，只有在该条件为真的情况下，才传送与层间预测相关的信息。
通过这样构成，抑制参照层指定信息的不必要传输，从而能够抑制编码效率的降低。
<参照模式的预先定义>
按照在非专利文献2和非专利文献3中说明的方法，在各个切片中，传送与层间预测相关的信息。换句话说，在各个切片中，指定将用作参照层的所有层。
然而实际上，例如，如图13中图解所示的例子中一样，层之间的参照关系容易倾向于取决于在GOP内的位置(换句话说，时间方向的参照关系)。换句话说，存在根据当前切片在GOP内的位置，确定层间方向的参照关系的许多情况。
因而，通过预先定义(固定)出现频度高的各层之间的参照关系(换句话说，设定用作参照层的各层的模式(也称为层间参照图像集))，并在各个切片中，利用索引指定对应的固定参照关系(层间参照图像集)，代码量可被减小，从而小于如在非专利文献2或非专利文献3中说明的方法中一样，对各个切片指定所有参照层的情况的代码量。换句话说，能够抑制编码效率的降低。
层间参照图像集是包含在序列参数集(SPS)内传送的，以便在整个序列(序列内的所有切片)中可用。另外，当在用于当前切片的预先定义的层间参照图像集中，不存在对应的参照关系时，可在其切片头部中，定义用于当前切片的层间参照图像集。
换句话说，按照在非专利文献2和非专利文献3中说明的方法，如在图14的A中图解所示，当在各个切片头部中，进行在视频参数集(VPS) 中定义的参照层信息的重写或补充时，如在图14的B中图解所示，在序列参数集(SPS)中，保持参照关系的模式(层间参照图像集)，在图像级别 (各个切片)，利用索引(例如，识别号)指定所述模式。类似于RPS(参照图像集)，在除保持在序列参数集(SPS)中的参照关系的模式(层间参照图像集)外的模式的情况下，在切片头部(或者图像参数集(PPS))中，定义专用于该切片的参照关系的模式(层间参照图像集)。
另外，可以定义多个层间参照图像集(通过向其分配索引，层间参照图像集的数是任意的)。
图15图解说明这种情况的序列参数集(SPS)的语法的一部分的构成例子。图16图解说明定义层间参照图像集的语法的例子。图17图解说明这种情况的切片头部的语法的一部分的构成例子。
图18图解说明这种情况的序列参数集(SPS)的语义的例子。图19图解说明定义层间参照图像集的语义的例子。图20图解说明这种情况的切片头部的语义的一部分的构成例子。
如图15中图解所示，在序列参数集(SPS)中，设定表示待定义的层间参照图像集的数目的集数信息(num_inter_layer_ref_pic_sets)，和与集数对应的层间参照图像集(inter_layer_ref_pic_set(i))。
在各个层间参照图像集中，如图16中图解所示，设定参照层数目信息(num_inter_layer_ref_pics_minus1)，和对应于参照层数的参照层指定信息(inter_layer_pred_layer_idc[i])。
另外，如图17中图解所示，在切片头部中，设定层间可预测性信息 (inter_layer_pred_enabled_flag)，和表示层间参照图像集是否可用的层间参照图像集使用信息。另外，在层间参照图像集可用的情况下，设定指定层间参照图像集的索引(inter_layer_ref_pic_set_idx)。另一方面，在层间参照图像集不可用的情况下，设定用于当前切片的层间参照图像集(inter_layer_ref_pic_set(num_inter_layer_ref_pic_sets))。另外，设定层间可预测性信息(inter_layer_sample_pred_only_flag)。
通过这样构成，能够减小与层间预测相关的信息的代码量，从而能够抑制编码效率的降低。
<控制的组合>
如上所述，尽管说明了控制与层间预测相关的信息的3种方法，不过，可以组合地使用这样的方法。例如，可以组合地使用在<按照切片种类的控制>中说明的方法和在<按照参照层数的控制>中说明的方法。另外，例如，可以组合地使用在<按照切片种类的控制>中说明的方法和在< 参照模式的预先定义>中说明的方法。此外，可以组合地使用在<按照参照层数的控制>中说明的方法和在<参照模式的预先定义>中说明的方法。
另外，可以组合地使用在<按照切片种类的控制>中说明的方法，在< 按照参照层数的控制>中说明的方法，和在<参照模式的预先定义>中说明的方法。
此外，上述方法和除这些方法外的方法可被结合在一起。
图21-23是图解说明其中结合在<按照切片种类的控制>中说明的方法和在<按照参照层数的控制>中说明的方法的情况的切片头部的语法的例子的示图。图24是图解说明该情况的切片头部的语义的例子的示图。
在图22中用斜线图案表示的部分中，控制与层间预测相关的信息的传输(包括生成)。
通过这样构成，抑制了与层间预测相关的信息的不必要传输，能够进一步抑制参照层指定信息的不必要传输，从而与在<按照切片种类的控制>中说明的方法的情况，或者在<按照参照层数的控制>中说明的方法的情况相比，能够更多地抑制编码效率的降低。
图25和26是图解说明其中结合在<按照切片种类的控制>中说明的方法，在<按照参照层数的控制>中说明的方法，和在<参照模式的预先定义>中说明的方法的情况的序列参数集(SPS)的语法的例子的示图。图27 是图解说明该情况的设定层间参照图像集的语法的例子的示图。图28-31 是图解说明该情况的切片头部的语法的例子的示图。
图32是图解说明这种情况的序列参数集(SPS)的语义的例子的示图。图33是图解说明这种情况的层间参照图像集的语义的例子的示图。图34 是图解说明这种情况的切片头部的语义的例子的示图。
在图26中用斜线图案表示的部分中，定义了层间参照图像集，在图 27中，定义了各个层间参照图像集的参数。另外，在图29中，用斜线图案表示的部分中，控制与层间预测相关的信息的传输(包括生成)。
通过这样构成，抑制了与层间预测相关的信息的不必要传输，进一步抑制了参照层指定信息的不必要传输，并且能够减小待传送的与层间预测相关的信息的代码量，从而与在<按照切片种类的控制>中说明的方法的情况，在<按照参照层数的控制>中说明的方法的情况，或者在<参照模式的预先定义>中说明的方法的情况相比，能够更多地抑制编码效率的降低。
另外，在解码方，通过利用和上面说明的在编码方的与层间预测相关的信息的控制处理的方法类似的方法，分析包括与层间预测相关的信息的头部信息，能够正确地分析与层间预测相关的信息，从而根据所述信息的值，能够正确地控制层间预测。因而，抑制了与层间预测相关的信息的不必要传输，从而能够抑制编码效率的降低。
显然，多种控制方法的上述组合可类似地应用于编码方的情况。
<2.第二实施例>
<图像编码设备>
下面，说明实现如上所述的本技术的设备及其方法。图35是图解说明作为本技术适用于的图像处理设备的实施例的图像编码设备的示图。图35中图解说明的图像编码设备100是进行分层图像编码(可扩展编码) 的设备。如图35中图解所示，图像编码设备100包括：基本层图像编码单元101；增强层图像编码单元102，复用单元103；和控制单元104。
基本层图像编码单元101编码基本层图像，从而生成基本层图像编码流。另外，增强层图像编码单元102编码增强层图像，从而生成增强层图像编码流。复用单元103利用由基本层编码单元101生成的基本层图像编码流和由增强层图像编码单元102生成的增强层图像编码流，从而生成分层图像编码流。复用单元103把生成的分层图像编码流传送给解码方。
基本层图像编码单元101把在基本层的编码处理中获得的解码图像 (也称为基本层解码图像)提供给增强层图像编码单元102。
增强层图像编码单元102获得从基本层图像编码单元101供给的基本层解码图像，并保存获得的基本层解码图像。增强层图像编码单元102 把保存的基本层解码图像作为参照图像，用于增强层的解码中的预测处理。
控制单元104进行与整个图像数据相关的设定，根据所述设定，控制基本层图像编码单元101和增强层图像编码单元102，从而控制各层的编码处理。另外，控制单元104利用所述设定，生成视频参数集(VPS)，并把视频参数集提供给复用单元103，从而把视频参数集传送给解码方。彼此，视频参数集可被配置成是包含在分层图像编码流中传送的，或者可被配置成是以不同于分层图像编码流的数据的形式传送的。
增强层图像编码单元102按照控制单元104的控制(从控制单元104 供给的视频参数集(VPS)的信息)，生成诸如序列参数集(SPS)和切片头部之类的头部信息。
<基本层图像编码单元>
图36是图解说明图35中图解所示的基本图像编码单元101的主要结构的例子的方框图。如图36中图解所示，基本层图像编码单元101包括：A/D转换单元111；屏幕重排缓冲器112；计算单元113；正交变换单元114；量化单元115；可逆编码单元116；累积缓冲器117；逆量化单元118，和逆正交变换单元119。另外，基本层图像编码单元101包括：计算单元120；环路滤波器121；帧存储器122；选择单元123；帧内预测单元124；帧间预测单元125；预测图像选择单元126；和速率控制单元127。
A/D转换单元111进行输入的图像数据(基本层图像信息)的A/D转换，然后把转换后的图像数据(数字数据)提供给屏幕重排缓冲器112，从而把图像数据保存在其中。屏幕重排缓冲器112按依据图像组(GOP)进行编码的各帧的程序，重排按显示顺序排列的各帧的图像，然后把通过重排各帧的顺序而获得的图像提供给计算单元113。另外，屏幕重排缓冲器112还把通过重排各帧的顺序而获得的图像提供给帧内预测单元124和帧间预测单元125。
计算单元113从读取自屏幕重排缓冲器112的图像中，减去通过预测图像选择单元126，从帧内预测单元124或帧间预测单元125供给的预测图像，然后把差分信息输出给正交变换单元114。例如，在对图像进行帧内编码的情况下，计算单元113从读取自屏幕重排缓冲器112的图像中，减去从帧内预测单元124供给的预测图像。另一方面，例如，在对图像进行帧间编码的情况下，计算单元113从读取自屏幕重排缓冲器112 的图像中，减去从帧间预测单元125供给的预测图像。
正交变换单元114对从计算单元113供给的差分信息，进行诸如离散余弦变换或Karhuren-Loeve变换之类的正交变换。正交变换单元114 把其变换系数提供给量化单元115。
量化单元115量化从正交变换单元114供给的变换系数。量化单元 115根据从速率控制单元127供给的与编码量的目标值相关的信息，设定量化参数，并进行变换系数的量化。量化单元115把量化的变换系数提供给可逆编码单元116。
可逆编码单元116利用任意编码方式，编码由量化单元115量化的变换系数。由于系数数据是在速率控制单元127的控制下量化的，因此编码量变成速率控制单元127设定的目标值(或者接近于目标值的值)。
另外，可逆编码单元116从帧内预测单元124获得表示帧内预测的模式的信息等，从帧间预测单元125，获得表示帧间预测的模式的信息，差分运动向量信息等。此外，可逆编码单元116适当地生成包括序列参数集(SPS)、图像参数集(PPS)等的基本层的网络抽象层(NAL)单元。
可逆编码单元116利用任意编码方式，编码这样的各种信息，把编码信息构成为编码数据(也称为编码流)的一部分。可逆编码单元116把通过编码处理获得的编码数据提供给累积缓冲器117，从而把编码数据累积在其中。
可逆编码单元116的编码方式的例子包括变长编码、算术编码等。变长编码的例子有在H.264/AVC方式中定义的上下文自适应变长编码 (CAVLC)等。算术编码的例子有上下文自适应二进制算术编码(CABAC)等。
累积缓冲器117临时保持从可逆编码单元116供给的编码流(基本层编码流)。另外，累积缓冲器117在预定定时，把保存的基本层编码流输出给复用单元103(图15)。换句话说，累积缓冲器117还充当传送基本层编码流的传输单元。
另外，利用量化单元115量化的变换系数也被提供给逆量化单元 118。逆量化单元118通过利用与量化单元115进行的量化处理对应的方法，进行量化的变换系数的逆量化。逆量化单元118把获得的变换系数提供给逆正交变换单元119。
逆正交变换单元119通过利用与正交变换单元114进行的正交变换处理对应的方法，进行从逆量化单元118供给的变换系数的逆正交变换。进行了逆正交变换的输出(恢复的差分信息)被提供给计算单元120。
计算单元120相加通过预测图像选择单元126，从帧内预测单元124 或帧间预测单元125供给的预测图像，和从逆正交变换单元119供给的作为逆正交变换的结果的恢复的差分信息，从而获得局部解码的图像(解码图像)。所述解码图像被提供给环路滤波器121或帧存储器122。
环路滤波器121包括解块滤波器、自适应环路滤波器等，并对从计算单元120供给的重构图像进行滤波处理。例如，环路滤波器121通过对重构图像，进行解块滤波处理，消除重构图像的块失真。另外，例如，环路滤波器121利用Wiener滤波器，对解块滤波处理的结果(从中除去块失真的重构图像)，进行环路滤波处理。环路滤波器121把滤波处理的结果(下面称为解码图像)提供给帧存储器122。
此外，环路滤波器121可被配置成对重构图像，进行任何其它附加的任意滤波处理。另外，需要时，环路滤波器121可被配置成把诸如用于滤波处理的滤波器系数之类的信息提供给可逆编码单元116，以便编码所述信息。
帧存储器122保存供给的解码图像，并在预定定时，把保存的解码图像作为参照图像，提供给选择单元123。
更具体地，帧存储器122保存从计算单元120供给的重构图像，和从环路滤波器121供给的解码图像。帧存储器122在预定定时，或者根据来自诸如帧内预测单元124之类外部单元的请求，通过选择单元123，把保存的重构图像提供给帧内预测单元124。另外，帧存储器122在预定定时，或者根据来自诸如帧间预测单元125之类外部单元的请求，通过选择单元123，把保存的解码图像提供给帧间预测单元125。
选择单元123选择从帧存储器122供给的参照图像的供给目的地。例如，在帧内预测的情况下，选择单元123把从帧存储器122供给的参照图像(当前图像内的像素值，或者基本层解码图像)提供给帧内预测单元124。另一方面，例如，在帧间预测的情况下，选择单元123把从帧存储器123供给的参照图像(在当前图像之外的增强层的解码图像，或者基本层解码图像)提供给帧间预测单元125。
帧内预测单元124对作为待处理帧的图像的当前图像，进行预测处理，从而生成预测图像。帧内预测单元124对每批预定数目的块(对作为处理单元的块)，进行这种预测处理。换句话说，帧内预测单元124生成作为处理对象的当前图像的当前块的预测图像。彼时，帧内预测单元124 通过利用经选择单元123，从帧存储器122供给的重构图像作为参照图像，进行预测处理(画面内预测(也称为帧间预测))。换句话说，帧内预测单元124通过利用包含在重构图像中的当前块的周边像素值，生成预测图像。用于该帧内预测的周边像素值是当前图像的过去处理过的像素的像素值。作为所述帧内预测(换句话说，作为生成预测图像的方法)，预先准备作为候选方法的多种方法(也称为帧内预测模式)。帧内预测单元124按预先准备的多个帧内预测模式，进行帧内预测。
帧内预测单元124按照作为候选方式的所有帧内预测模式，生成预测图像，通过利用从屏幕重排缓冲器112供给的输入图像，评估每个预测图像的成本函数值，从而选择最佳模式。当选择了最佳帧内预测模式时，帧内预测单元124把按最佳模式生成的预测图像提供给预测图像选择单元126。
另外，如上所述，帧内预测单元124适当地把表示采用的帧内预测模式的帧内预测模式信息等提供给可逆编码单元116，以便对它们编码。
帧间预测单元125通过对当前图像进行预测处理，生成预测图像。帧间预测单元125对每批预定数目的块(作为处理单元的块)，进行所述预测处理。换句话说，帧间预测单元125生成作为处理对象的当前图像的当前块的预测图像。彼时，帧间预测单元125通过利用从屏幕重排缓冲器112供给的输入图像的图像数据，和作为参照图像，从帧存储器122 供给的解码图像的图像数据，进行预测处理。所述解码图像是在当前图像之前处理的帧的图像(除当前画面外的另一个画面)。换句话说，帧间预测单元125通过利用另一个画面的图像，进行生成预测图像的预测处理(画面间预测(也称为帧间预测))。
帧间预测由运动预测和运动补偿构成。更具体地，帧间预测单元125 通过利用输入图像和参照图像，进行当前块的运动预测，从而检测运动向量。随后，帧间预测单元125通过利用参照图像，按照检测的运动向量进行运动补偿处理，从而生成当前块的预测图像(帧间预测图像信息)。作为所述帧间预测(换句话说，作为生成预测图像的方法)，预先准备作为候选方法的多种方法(也称为帧间预测模式)。帧间预测单元125按照预先准备的多种帧间预测模式，进行这样的帧间预测。
帧间预测单元125按照作为候选模式的所有帧间预测模式，生成预测图像。帧间预测单元125通过利用从屏幕重排缓冲器112供给的输入图像，和生成的差分运动向量的信息等，评估各个预测图像的成本函数值，从而选择最佳模式。当选择了最佳帧间预测模式时，帧间预测单元 125把所述最佳模式生成的预测图像提供给预测图像选择单元126。
帧间预测单元125把表示采用的帧间预测模式的信息，为在解码编码数据之际，按帧间预测模式进行处理所需的信息等提供给可逆编码单元116，以便编码所述信息。作为所述所需的信息，例如，存在生成的差分运动向量的信息，作为预测运动向量信息的表示预测运动向量的索引的标记，等等。
预测图像选择单元126选择待提供给计算单元113和计算单元120 的预测图像的供给源。例如，在帧内编码的情况下，预测图像选择单元126选择帧内预测单元124，作为预测图像的供给源，并把从帧内预测单元124供给的预测图像提供给计算单元113和加法单元120。另一方面，例如，在帧间编码的情况下，预测图像选择单元126选择帧间预测单元 125，作为预测图像的供给源，并把从帧间预测单元125供给的预测图像提供给计算单元113和加法单元120。
速率控制单元127根据累积在累积缓冲器117中的编码数据的编码量，控制量化单元115进行的量化操作的速率，以致不会发生上溢或下溢。
另外，帧存储器122把保存的基本层解码图像提供给增强层图像编码单元102。
<增强层图像编码单元>、
图37是图解说明图35中图解所示的增强层图像编码单元的主要结构的例子的方框图。如图37中图解所示，增强层图像编码单元102具有和图36中图解所示的基本层图像编码单元101大体相同的结构。
换句话说，如图37中图解所示，增强层图像编码单元102包括：A/D 转换单元131；屏幕重排缓冲器132；计算单元133；正交变换单元134；量化单元135；可逆编码单元136；累积缓冲器137；逆量化单元138，和逆正交变换单元139。另外，增强层图像编码单元102包括：计算单元 140；环路滤波器141；帧存储器142；选择单元143；帧内预测单元144；帧间预测单元145；预测图像选择单元146；和速率控制单元147。
A/D转换单元131～速率控制单元147对应于图36中图解所示的A/D 转换单元111～速率控制单元127，进行与对应处理单元的处理类似的处理。不过，增强层图像编码单元102的各个单元进行编码增强层图像信息，而不是基本层图像信息的处理。从而，图36中的A/D转换单元111～速率控制单元127的处理的上述说明可适用于A/D转换单元131～速率控制单元147。在这种情况下，待处理的数据需要不是基本层的数据，而是增强层的数据。另外，在说明中，数据的输入源和作为输出目的地的处理单元需要用布置在A/D转换单元131～速率控制单元147内的对应处理单元替换。
另外，帧存储器142获得从基本层图像编码单元101供给的基本层解码图像，把获得的基本层解码图像保存为长期参照图像等。在帧内预测单元144和帧间预测单元145进行的预测处理中，所述基本层解码图像用作层间预测的参照图像。
另外，增强层图像编码单元102还包括头部信息生成单元151和预测控制单元152。
头部信息生成单元151按照控制单元104的控制(换句话说，通过利用从控制单元104供给的视频参数集(VPS)等的信息)，生成诸如序列参数集和切片头部之类的各种头部信息。
例如，头部信息生成单元151通过进行如在第一实施例中说明的控制处理，适当地生成与层间预测相关的信息，并把生成的信息包含在诸如序列参数集(SPS)和切片头部之类的头部信息中。
头部信息生成单元151把生成的头部信息提供给可逆编码单元136，从而把头部信息传送给解码方。例如，可逆编码单元136把头部信息包含在增强层图像编码流中地提供给累积缓冲器137，从而把头部信息传送给解码方。
头部信息生成单元151把生成的层间预测控制信息等提供给预测控制单元152。预测控制单元152按照与层间预测相关的信息的生成结果 (生成的与层间预测相关的信息，或者与层间预测相关的信息的未生成)，控制由帧内预测单元144和帧间预测单元145进行的层间预测。
头部信息生成单元151包括CPU、RAM、ROM等，并通过使用CPU，利用RAM，执行从ROM等读取的程序，执行上面说明的处理。
<头部信息生成单元>
图38是图解说明包含在图37中图解所示的头部信息生成单元151 中的功能块的结构例子的方框图。在头部信息生成单元151中，例如，通过利用CPU，使用RAM执行从ROM等读取的程序，执行上面说明的处理，从而实现图38中图解所示的各个功能块。
如图38中图解所示，头部信息生成单元151包括：切片头部生成单元161；序列参数集生成单元162；和层间参照图像集生成单元163。
切片头部生成单元161生成当前切片的切片头部。序列参数集生成单元162生成当前切片属于的序列(也称为当前序列)的序列参数集 (SPS)。层间参照图像集生成单元163生成构成由序列参数集生成单元 162定义的各个层间参照图像集的参数。
切片头部生成单元161包括：从属判定单元171；切片种类判定单元 172；层判定单元173；参照层数判定单元174；层间可预测性判定单元 175；层间参照图像集判定单元176；集数判定单元177；层间预测相关语法生成单元178；参数集生成单元179；和索引设定单元180。
从属判定单元171判定当前切片的切片头部是否取决于另一个切片。切片种类判定单元172判定当前切片的切片种类。层判定单元173进行涉及当前切片的层的判定。参照层数判定单元174进行与参照层数相关的判定。层间可预测性判定单元175判定是否可以进行层间预测。层间参照图像集判定单元176判定是否使用预先定义的层间参照图像集。集数判定单元177判定层间参照图像集的数目。层间预测相关语法生成单元178进行涉及与层间预测相关的信息的生成的处理。参数集生成单元 179进行与层间参照图像集的生成相关的处理。索引设定单元180进行与指定层间参照图像集的索引的生成相关的处理。
层间预测相关语法分析单元178包括：层间可预测性信息生成单元 181；参照层数目信息生成单元182；参照层指定信息生成单元183；和帧间可预测性信息生成单元184。
层间可预测性信息生成单元181进行与层间可预测性信息的生成相关的处理。参照层数目信息生成单元182进行与参照层数目信息的生成相关的处理。参照层指定信息生成单元183进行与参照层指定信息的生成相关的处理。帧间可预测性信息生成单元184进行与帧间可预测性信息的生成相关的处理。
序列参数集生成单元162包括集数信息生成单元185和参数集生成单元186。
集数信息生成单元185生成表示在序列参数集中定义的参数集(层间参照图像集)的数目的集数信息。参数集生成单元186生成(定义)参数集(层间参照图像集)。
层间参照图像集生成单元163包括参照层数目信息生成单元187和参照层指定信息生成单元188。
参照层数目信息生成单元187是进行与参照层数目信息生成单元 182的处理类似的处理的处理单元，生成层间参照图像集的参照层数目信息。参照层指定信息生成单元188是进行与参照层指定信息生成单元183 的处理类似的处理的处理单元，生成表示在层间参照图像集中指定的所有参照层的参照层指定信息。
如在第一实施例中所述，控制与层间预测相关的信息的方法有多种，并且这些方法可被结合。从而，在图38中图解所示的功能块之中，可酌情省略对采用的控制方法或方法的组合来说不必要的功能块。
<图像编码处理的流程>
下面，说明由如上所述的图像编码设备100执行的各个处理的流程。首先参考图39中表示的流程图，说明图像编码处理的流程的例子。
当开始图像编码处理时，图像编码设备100的控制单元104在步骤 S101进行整个可扩展编码处理的设定。
在步骤S102，控制单元104按照在步骤S101中进行的设定，控制基本层图像编码单元101～复用单元103中的每一个。
在步骤S103，控制单元104生成其中反映在步骤S101中进行的设定的视频参数集(VPS)。
在步骤S104，基本层图像编码单元101编码基本层的图像数据。
在步骤S105，增强层图像编码单元102编码增强层的图像数据。
在步骤S106，复用单元103复用在步骤S104生成的基本层图像编码流，和在步骤S105生成的增强层图像编码流(换句话说，各层的比特流)，从而生成一个系统的分层图像编码流。另外，复用单元103可在必要时，把在步骤S103中生成的视频参数集(VPS)包含在分层图像编码流中。复用单元103输出分层图像编码流，以便传送给解码方。
当步骤S106的处理结束时，图像编码设备100结束图像编码处理。通过进行这样的图像编码处理，处理一个图像。从而，图像编码设备100 反复对分层运动图像数据的每个图像，进行这样的图像编码处理。不过，例如，不需要对各个图像进行的处理，比如步骤S101～S103的处理被适当省略。
<基本层编码处理的流程>
下面参考图40中表示的流程图，说明在图39中表示的步骤S104中，由基本层图像编码单元101执行的基本层编码处理的流程的例子。
当开始基本层编码处理时，在步骤S121，基本层图像编码单元101 的A/D转换单元110进行输入运动图像的各帧(画面)的A/D转换。
在步骤S122，屏幕重排缓冲器112保存在步骤S121获得的A/D转换后的图像，并把图像从显示顺序重排成编码顺序。
在步骤S123，帧内预测单元124进行帧内预测模式的帧内预测处理。
在步骤S124，帧间预测单元125进行其中按帧间预测模式，进行运动预测、运动补偿等的帧间预测处理。
在步骤S125，预测图像选择单元126根据成本函数值等，选择预测图像。换句话说，预测图像选择单元126选择通过在步骤S123中进行的帧内预测生成的预测图像，和通过在步骤S124中进行的帧间预测生成的预测图像之一。
在步骤S126，计算单元113计算其帧顺序在步骤S122的处理中被重排的输入图像，和在步骤S125的处理中选择的预测图像之间的差分。换句话说，计算单元113生成输入图像和预测图像之间的差分图像的图像数据。如此获得的差分图像的图像数据的数据量被减小，从而小于图像数据的数据量。从而，与图像被直接编码的情况相比，能够压缩数据量。
在步骤S127，正交变换单元114进行利用步骤S126的处理生成的差分图像的图像数据的正交变换。
在步骤S128，量化单元115通过利用速率控制单元127计算的量化参数，量化利用步骤S127的处理获得的正交变换系数。
在步骤S129，逆量化单元118按照与量化单元115的特性对应的特性，进行利用步骤S128的处理生成的量化系数的逆量化。
在步骤S130，逆正交变换单元119进行利用步骤S129的处理获得的正交变换系数的逆正交变换。
在步骤S131，计算单元120相加利用步骤S125的处理选择的预测图像和利用步骤S130的处理恢复的差分图像，从而生成重构图像的图像数据。
在步骤S132，环路滤波器121对利用步骤S131的处理生成的重构图像的图像数据，进行环路滤波处理。因而，消除重构图像的块失真等。
在步骤S133，帧存储器122保存利用步骤S132的处理获得的解码图像(基本层解码图像)的数据，利用步骤S131的处理获得的重构图像，等等。
在步骤S134，可逆编码单元116编码利用步骤S128的处理获得的量化系数。换句话说，可逆编码单元116对与差分图像对应的数据，进行诸如变长编码或算术编码之类的可逆编码。
另外，此时，可逆编码单元116编码与利用步骤S125的处理选择的预测图像的预测模式相关的信息，并相加差分图像和通过编码处理获得的编码数据。换句话说，可逆编码单元116编码从帧内预测单元124供给的最佳帧内预测模式信息，与从帧间预测单元125供给的最佳帧间预测模式相应的信息，等等，并把编码信息和编码数据相加。
此外，可逆编码单元116设定并编码各个nal单元的语法要素，并相加编码的语法要素和编码数据。
在步骤S135，累积缓冲器117累积利用步骤S134的处理获得的编码数据(基本层图像编码流)。累积在累积缓冲器117中的基本层图像编码流被适当读取，提供给复用单元103，与增强层图像编码流复用，随后通过传输线路或记录介质，被传送给解码方。
在步骤S136，速率控制单元127根据利用步骤S135的处理，累积在累积缓冲器117中的编码数据的编码量(生成的编码量)，控制量化单元进行的量化操作的速率，以致不会发生上溢或下溢。另外，速率控制单元127把与量化参数相关的信息提供给量化单元115。
在步骤S137，帧存储器122把保存的基本层解码图像提供给增强层编码处理。
当步骤S137的处理结束时，基本层编码处理结束，处理返回图39 中图解所示的处理。
<增强层编码处理的流程>
下面参考图41中表示的流程图，说明在图39中表示的步骤S105中，由增强层图像编码单元102进行的增强层编码处理的流程的例子。
当开始增强层编码处理时，在步骤S141，增强层图像编码单元102 的头部信息生成单元151生成各种状况信息，比如序列参数集(SPS)、切片头部等。
在步骤S142，帧存储器142获得并保存基本层解码图像。例如，帧存储器142把基本层解码图像保存在长期参照帧中。
步骤S143～S158的处理分别对应于在图40中表示的步骤S121～ S136的处理，是按与步骤S121～S136的处理基本类似的方式进行的。然而，尽管在图40中表示的步骤S121～S136的各个处理是对基本层进行的，不过，步骤S143～S158的各个处理是对增强层进行的。
当步骤S158的处理结束时，增强层编码处理结束，处理返回图39 中表示的处理。
<与层间预测相关的头部信息生成处理>
头部信息生成单元151和预测控制单元152进行与图41中表示的步骤S141中的层间预测相关的头部信息生成处理，并且如在第一实施例中所述，进行作为头部信息(切片头部)的与层间预测相关的信息的生成，和层间预测的控制。
下面参考图42中表示的流程图，说明与层间预测相关的头部信息生成处理的流程的例子。在图42中，将说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，和在<按照参照层数的控制>中说明的方法的情况的处理的流程。
当开始与层间预测相关的头部信息生成处理时，在步骤S161，从属判定单元171判定当前切片的切片头部是否取决于任何其它切片。在判定切片是从属的时(！dependent_slice_segment_flag)，处理进入步骤 S162。
在步骤S162，切片种类判定单元172判定当前切片的切片种类是否是P切片或B切片。在判定当前切片的切片种类是P切片或B切片 (slice_type＝＝P||slice_type＝＝B)的情况下，处理进入步骤S163。
在步骤S163，层判定单元173判定当前切片的层是否是增强层，和一个或多个层在视频参数集(VPS)中是否被定义成可参照。在判定当前切片的层是增强层，并且一个或多个层在视频参数集(VPS)中被定义成可参照(nuh_layer_id>0&& NumDirectRefLayers[nuh_layer_id]>0)的情况下，处理进入步骤S164。
在步骤S164，层间可预测性信息生成单元181生成层间可预测性信息(inter_layer_pred_enabled_flag)，作为与层间预测相关的信息。
在步骤S165，参照层数目信息生成单元182生成参照层数目信息 (num_inter_layer_ref_pics_minus1)，作为与层间预测相关的信息。
在步骤S166，帧间可预测性信息生成单元184生成帧间可预测性信息(inter_layer_sample_pred_only_flag)，作为与层间预测相关的信息。
在步骤S167，参照层数判定单元174判定在视频参数集(VPS)中定义的参照层数和在切片头部中定义的参照层数(有效层数信息)是否彼此相同。在其中判定这两个参照层数彼此不相同 (NumDirectRefLayers[nuh_layer_id]！＝NumActiveRefLayerPics)的情况下，处理进入步骤S168。
在步骤S168，参照层指定信息生成单元183生成参照层指定信息 (inter_layer_pred_layer_idc[i])，作为与层间预测相关的信息。当步骤S168的处理结束时，处理进入步骤S169。
另外，在步骤S167，在判定在视频参数集(VPS)中定义的参照层数和在切片头部中定义的参照层数(有效层数信息)彼此相同的情况下，省略步骤S168的处理，处理进入步骤S169。
在步骤S169，预测控制单元152根据如上所述，由头部信息生成单元151设定成与层间预测相关的信息的各个参数，控制层间预测。当步骤S169的处理结束时，与层间预测相关的头部信息生成处理结束。
另外，在步骤S161，在判定当前切片的切片头部取决于任何其它切片的情况下，处理进入步骤S170。在步骤S162，在判定当前切片的切片种类是I切片的情况下，处理进入步骤S170。在步骤S163，在判定当前切片的层是基本层的情况下，或者在判定一层或多层未在视频参数集 (VPS)中被定义成可参照的情况下，处理进入步骤S170。
在步骤S170，预测控制单元152禁止层间预测，并且进行控制，以致在帧内预测和帧间预测中，不进行层间预测。
当步骤S170的处理结束时，与层间预测相关的头部信息生成处理结束。
通过执行如上所述的各个处理，图像编码设备100能够抑制与层间预测相关的信息的不必要传输，从而抑制编码效率的降低。
另外，在只使用在<按照切片种类的控制>中说明的方法的情况下，可以省略在图42中表示的步骤S167的处理。此外，在只使用在<按照参照层数的控制>中说明的方法的情况下，可以省略在图42中表示的步骤 S162的处理。
<与层间预测相关的头部信息生成处理的流程2>
下面，作为与层间预测相关的头部信息生成处理的另一个例子，将参考图43中表示的流程图，说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，在<按照参照层数的控制>中说明的方法，和在 <参照模式的预先定义>中说明的方法的情况的例子。
当开始与层间预测相关的头部信息生成处理时，在步骤S181，集数信息生成单元185生成集数信息(num_inter_layer_ref_pic_sets)，作为序列参数集。
在步骤S182，参数集生成单元186生成层间参照图像集 (inter_layer_ref_pic_set(i))，作为序列参数集。
在步骤S183，参照层数目信息生成单元187生成参照层数目信息 (num_inter_layer_ref_pics_minus1)，作为层间参照图像集。
在步骤S184，参照层指定信息生成单元188生成参照层指定信息 (inter_layer_pred_layer_idc[i])，作为层间参照图像集。
在步骤S185，切片种类判定单元172和层判定单元173判定当前切片的层是否是增强层，和当前切片的切片种类是否是P切片或B切片。在判定当前切片的层是增强层(Layer_id>0)，并且判定当前切片的切片种类是P切片或B切片(slice_type＝＝P||slice_type＝＝B)的情况下，处理进入步骤S186。
在步骤S186，层间可预测性判定单元175判定根据当前切片中的视频参数集(VPS)的语法，是否能够进行层间预测。在判定能够进行层间预测的情况下，处理进入步骤S187。
在步骤S187，层间参照图像集判定单元176判定根据序列参数集 (SPS)的参数，换句话说，层间参照图像集，是否进行预测。在判定进行预测的情况下，处理进入步骤S188。
在步骤S188，集数判定单元177判定是否存在多个层间参照图像集。在判定存在多个层间参照图像集(num_inter_layer_ref_pic_sets>1) 的情况下，处理进入步骤S189。
在步骤S189，索引设定单元180生成指定作为切片头部，应用于当前切片的层间参照图像集的索引(inter_layer_ref_pic_set_idx)。当步骤S189的处理结束时，处理进入步骤S192。
另外，在步骤S188，在判定层间参照图像集的数目为1的情况下，处理进入步骤S190。
在步骤S190，索引设定单元180省略索引(inter_layer_ref_pic_ set_idx)的生成。这种情况下，即使没有索引，由于只存在第0个参数集(层间参照图像集)，因此该层间参照图像集被指定。当步骤S190的处理结束时，处理进入步骤S192。
另外，在步骤S187，在判定不使用序列参数集(SPS)的参数，换句话说，层间参照图像集的情况下，处理进入步骤S191。
在步骤S191，参数集生成单元179生成专用于当前图像的参数集(专用于当前图像的层间参照图像集)(inter_layer_ref_pic_set (num_inter_layer_ref_pic_sets))，作为切片头部。当步骤S191的处理结束时，处理进入步骤S192。
在步骤S192，预测控制单元152根据如上设定的参数集(层间参照图像集)，控制层间预测。当步骤S192的处理结束时，与层间预测相关的头部信息生成处理结束。
另外，在步骤S185，在层判定单元173判定当前切片的层是基本层，或者判定当前切片的切片种类是I切片的情况下，处理进入步骤S193。此外，在步骤S186，在根据当前切片中的视频参数集(VPS)的语法，判定能够进行层间预测的情况下，处理进入步骤S193。
在步骤S193，预测控制单元152禁止层间预测，并进行控制，以致在帧内预测和帧间预测中，不进行层间预测。
当步骤S193的处理结束时，与层间预测相关的头部信息生成处理结束。
通过执行如上所述的各个处理，图像编码设备100能够抑制与层间预测相关的信息的不必要传输，从而抑制编码效率的降低。
另外，在图43中图解所示的例子中，和在图42中表示的步骤S167 的处理中一样，用语义进行参照层数的比较，从而省略其说明。显然，类似于图42中图解所示的情况，可以利用语法进行所述比较。
在省略在<按照切片种类的控制>中说明的方法的情况下，在图43中表示的步骤S185的处理可被省略。另外，在省略在<按照参照层数的控制>中说明的方法的情况下，在图43中表示的步骤S184或S191的处理中，可不进行如在图42中表示的步骤S167的处理中的参照层数的比较。
图像编码设备100的结构，和图像编码处理的处理内容并不局限于在上述例子中说明的结构和处理内容，只要如在第一实施例中所述，能够控制与层间预测相关的信息的传输即可。
<3.第三实施例>
<图像解码设备>
下面，说明如上编码的编码数据的解码。图44是图解说明与作为本技术适用于的图像处理设备的实施例的图像编码设备100对应的图像解码设备的主要结构的例子的方框图。图44中图解所示的图像解码设备 200利用与编码方法对应的解码方法，解码由图像编码设备100生成的编码数据(换句话说，对分层编码的编码数据进行分层解码)。如图44中图解所示，图像解码设备200包括：分用单元201；基本层图像解码单元 202；和增强层图像解码单元203。
分用单元201接收从编码方传送的其中复用基本层图像编码流和增强层图像编码流的分层图像编码流，然后分用分层图像编码流，从而提取基本层图像编码流和增强层图像编码流。基本层图像解码单元202解码由分用单元201提取的基本层图像编码流，从而获得基本层图像。增强层图像解码单元203解码由分用单元201提取的增强层图像编码流，从而获得增强层图像。
基本层图像解码单元202把通过解码基本层获得的基本层解码图像提供给增强层图像解码单元203。
增强层图像解码单元203获得从基本层图像解码单元202供给的基本层解码图像，并保存获得的基本层解码图像。增强层图像解码单元203 利用保存的基本层解码图像，作为在增强层的解码中进行的预测处理的参照图像。
<基本层图像解码单元>
图45是图解说明图44中图解所示的基本层图像解码单元202的主要结构的例子的方框图。如图45中图解所示，基本层图像解码单元202 包括：累积缓冲器211；可逆解码单元212；逆量化单元213；逆正交变换单元214；计算单元215；环路滤波器216；屏幕重排缓冲器217；和 D/A转换单元218。另外，基本层图像解码单元202包括：帧存储器219；选择单元220；帧内预测单元221；帧间预测单元222；和预测图像选择单元223。
累积缓冲器211还充当接收传送的编码数据(从分用单元201供给的基本层图像编码流)的接收单元。累积缓冲器211接收并累积传送的编码数据，并在预定定时，把编码数据提供给可逆解码单元212。此时，解码处理所需的信息，比如预测模式信息等被添加到编码数据中。
可逆解码单元212利用对应于编码方式的解码方式，解码从累积缓冲器211供给的由可逆编码单元116编码的信息。可逆解码单元212把通过解码处理获得的差分图像的量化系数数据提供给逆量化单元213。
另外，可逆解码单元212判定选择帧内预测模式还是帧间预测模式，作为最佳预先模式，并把与最佳预测模式相关的信息提供给确定要选择的帧内预测单元221和帧间预测单元222之一。换句话说，例如，在编码方，选择帧内预测模式作为最佳预测模式的情况下，关于最佳预测模式的信息(帧内预测模式信息)被提供给帧内预测单元221。另一方面，例如，在编码方，选择帧间预测模式作为最佳预测模式的情况下，关于最佳预测模式的信息(帧间预测模式信息)被提供给帧间预测单元222。
另外，例如，可逆解码单元212从编码数据中，提取逆量化所需的信息，比如量化矩阵和量化参数，并把提取的信息提供给逆量化单元213。
逆量化单元213利用与量化单元115的量化方式对应的方式，进行通过可逆解码单元212进行的解码处理获得的量化系数数据的逆量化。这里，逆量化单元213是类似于逆量化单元118的处理单元。逆量化单元213把获得的变换数据(正交变换系数)提供给逆正交变换单元214。
逆正交变换单元214酌情利用与正交变换单元114进行的正交变换处理对应的方法，进行从逆量化单元213供给的正交变换系数的逆正交变换。这里，逆正交变换单元214是类似于逆正交变换单元119的处理单元。
利用这种逆正交变换处理，恢复差分图像的图像数据。恢复的差分图像的图像数据对应于在编码方，进行正交变换之前的差分图像的图像数据。下面，利用逆正交变换单元214进行的逆正交变换处理获得的恢复的差分图像的图像数据将被称为解码残差数据。逆正交变换单元214 把解码残差数据提供给计算单元215。另外，预测图像的图像数据通过预测图像选择单元223，从帧内预测单元221或帧间预测单元222被提供给计算单元215。
计算单元215通过利用解码残差数据和预测图像的图像数据，获得相加差分图像和预测图像而获得的重构图像的图像数据。所述重构图像对应于在计算单元113进行的预测图像的减法之前的输入图像。计算单元215把重构图像提供给环路滤波器216。
环路滤波器216通过对供给的重构图像，适当地进行环路滤波处理，包括解块滤波处理，自适应环路滤波等，生成解码图像。例如，环路滤波器216对重构图像，进行解块滤波处理，从而消除块失真。另外，例如，环路滤波器216通过利用Wiener滤波器，对解块滤波处理的结果(从中消除块失真的重构图像)，进行环路滤波处理，从而改善图像质量。
这里，环路滤波器216进行的滤波处理的种类是任意的，可以进行除上述之外的滤波处理。另外，环路滤波器216可被配置成利用从图像编码设备供给的滤波系数，进行滤波处理。此外，环路滤波器216可被配置成省略滤波处理，从而不对输入数据进行滤波处理地输出输入数据。
环路滤波器216把作为滤波处理的结果的解码图像(或者重构图像) 提供给屏幕重排缓冲器217和帧存储器219。
屏幕重排缓冲器217对解码图像，进行帧的顺序的重排。换句话说，屏幕重排缓冲器217按照原始显示顺序，重排由屏幕重排缓冲器112按编码顺序重排的各帧的图像。换句话说，屏幕重排缓冲器17按照编码顺序，保存按该顺序供给的各帧的解码图像的图像数据，按显示顺序，读取按编码顺序保存的各帧的解码图像的图像数据，并把读取的图像数据提供给D/A转换单元218。D/A转换单元218进行从屏幕重排缓冲器217 供给的各帧的解码图像(数字数据)的D/A转换，并以模拟数据的形式，把解码图像输出给未图示的显示器，以便显示在该显示器上。
帧存储器219保存供给的解码图像，并在预定定时，或者根据来自帧内预测单元221、帧间预测单元222等的外部请求，通过选择单元220，把保存的解码图像作为参照图像，提供给帧内预测单元221或帧间预测单元222。
帧内预测模式信息等从可逆解码单元212，被适当地提供给帧内预测单元221。帧内预测单元221按帧内预测单元124使用的帧内预测模式(最佳帧内预测模式)，进行帧内预测，从而生成预测图像。此时，帧内预测单元221利用通过选择单元220，从帧存储器219供给的重构图像的图像数据，进行帧内预测。换句话说，帧内预测单元221利用重构图像作为参照图像(周边像素)。帧内预测单元221把生成的预测图像提供给预测图像选择单元223。
最佳预测模式信息，运动信息等从可逆解码单元212，被适当地提供给帧间预测单元222。帧间预测单元222按照在从可逆解码单元212获得的最佳预测模式信息中表示的帧间预测模式(最佳帧间预测模式)，利用从帧存储器219获得的解码图像(参照图像)，进行帧间预测，从而生成预测图像。
预测图像选择单元223把从帧内预测单元221供给的预测图像，或者从帧间预测单元222供给的预测图像提供给计算单元215。计算单元 215相加预测图像和从逆正交变换单元214供给的解码残差数据(差分图像信息)，从而获得重构图像。
另外，帧存储器219把保存的基本层解码图像提供给增强层图像解码单元203。
<增强层图像解码单元>
图46是图解说明在图44中图解所示的增强层图像解码单元的主要结构的例子的方框图。如图46中图解所示，增强层图像解码单元203具有和图45中图解所示的基本层图像解码单元202基本相同的结构。
换句话说，如图46中图解所示，增强层图像解码单元203包括：累积缓冲器231；可逆解码单元232；逆量化单元233；逆正交变换单元234；计算单元235；环路滤波器236；屏幕重排缓冲器237；和D/A转换单元 238。另外，增强层图像解码单元203包括：帧存储器239；选择单元240；帧内预测单元241；帧间预测单元242；和预测图像选择单元243。
累积缓冲器231～预测图像选择单元243对应于图45中图解所示的累积缓冲器211～预测图像选择单元223，进行与对应处理单元的处理类似的处理。不过，增强层图像解码单元203的各个单元进行不是用于编码基本层图像信息，而是用于编码增强层图像信息的处理。从而，尽管图45中图解所示的累积缓冲器211～预测图像选择单元223的上述说明可适用于累积缓冲器231～预测图像选择单元243的处理，不过在这种情况下，待处理的数据不是基本层的数据，而是增强层的数据。另外，必须用增强层图像解码单元203的对应处理单元，替换数据的输入源或输出目的地的处理单元。
帧存储器239获得从基本层图像解码单元202供给的基本层解码图像，并把获得的基本层解码图像保存为长期参照图像等。例如，所述基本层解码图像在帧内预测单元241或帧间预测单元242进行的预测处理中，被用作层间预测的参照图像。
另外，增强层图像解码单元203包括头部信息分析单元251和预测控制单元252。
例如，可逆解码单元232从增强层图像编码流中，获得诸如序列参数集(SPS)或切片头部之类的头部信息。在所述头部信息中，存在包含从编码方传送的与层间预测相关的信息的可能性。可逆解码单元232把头部信息提供给头部信息分析单元251。
当获得从可逆解码单元232供给的头部信息时，头部信息分析单元 251分析头部信息。例如，头部信息分析单元251通过利用与在第一实施例中说明的方法对应的方法，分析头部信息，从头部信息中获得与层间预测相关的信息。与层间预测相关的信息是从编码方(例如，图像编码设备100)传送的信息，是与在编码数据之际进行的层间预测相关的信息。从而，在解码方(图像解码设备200)，通过根据该信息，控制层间预测，类似于在编码数据之际进行的层间预测，也能够进行层间预测，从而能够正确地进行解码。
因而，预测控制单元252根据头部信息分析单元251进行的分析的结果，控制帧内预测单元241或帧间预测单元242进行的层间预测。
如上所述，图像解码设备200能够按照在第一实施例中说明的控制处理，实现编码效率的提高。
<头部信息生成单元>
图47是图解说明在图46中图解所示的头部信息分析单元251的结构例子的方框图。例如，在头部信息分析单元251中，通过利用CPU，使用RAM执行从ROM等读取的程序，进行上面说明的处理，从而实现在图 47中图解所示的各个功能块。
如图47中图解所示，头部信息分析单元251包括：切片头部分析单元261；序列参数集分析单元262；和层间参照图像集分析单元263。
切片头部分析单元261分析当前切片的切片头部。序列参数集分析单元262分析当前切片属于的序列(也称为当前序列)的序列参数集 (SPS)。层间参照图像集分析单元263分析构成由序列参数集分析单元 262定义的各个层间参照图像集的参数。
切片头部分析单元261包括：从属判定单元271；切片种类判定单元 272；层判定单元273；参照层数判定单元274；层间可预测性判定单元 275；层间参照图像集判定单元276；集数判定单元277；层间预测相关语法分析单元278；参数集分析单元279；和索引分析单元280。
从属判定单元271判定当前切片的切片头部是否取决于另一个切片。切片种类判定单元272判定当前切片的切片种类。层判定单元272进行关于当前切片的层的判定。参照层数判定单元274进行关于参照层的数目的判定。层间可预测性判定单元275判定是否能够进行层间预测。层间参照图像集判定单元276判定是否使用预定的层间参照图像集。集数判定单元277判定层间参照图像集的数目。层间预测相关语法分析单元 278进行涉及与层间预测相关的信息的分析的处理。参数集分析单元279 进行涉及层间参照图像集的分析的处理。索引分析单元280进行涉及指定层间参照图像集的索引的分析的处理。
层间预测相关语法分析单元278包括：层间可预测性信息分析单元 281；参照层数目信息分析单元282；参照层指定信息分析单元283；和帧间可预测性信息分析单元284。
层间可预测性信息分析单元281进行与层间可预测性信息的分析相关的处理。参照层数目信息分析单元282进行与参照层数目信息的分析相关的处理。参照层指定信息分析单元283进行与参照层指定信息的分析相关的处理。帧间可预测性信息分析单元284进行与帧间可预测性信息的分析相关的处理。
序列参数集分析单元262包括集数信息分析单元285和参数集分析单元286。
集数信息分析单元285分析表示在序列参数集中定义的参数集(层间参照图像集)的数目的集数信息。参数集分析单元286分析参数集(层间参照图像集)。
层间参照图像集分析单元263包括参照层数目信息分析单元287和参照层指定信息分析单元288。
参照层数目信息分析单元287是进行与参照层数目信息分析单元282的处理类似的处理的处理单元，分析层间参照图像集的参照层数目信息。参照层指定信息分析单元288是进行与参照层指定信息分析单元283 的处理类似的处理的处理单元，分析表示在层间参照图像集中指定的所有参照层的参照层指定信息。
如在第一实施例中所述，控制与层间预测相关的信息的方法有多种，并且这些方法可被结合。从而，在图47中图解所示的功能块之中，可酌情省略对采用的控制方法或方法的组合来说不必要的功能块。
<图像解码处理的流程>
下面，说明由如上所述的图像解码设备200执行的各个处理的流程。首先参考图48中表示的流程图，说明图像解码处理的流程的例子。
当开始图像解码处理时，在步骤S201，图像解码设备200的分用单元201对于每一层，分用从编码方传送的分层图像编码流。
在步骤S202，基本层图像解码单元202解码利用步骤S201的处理提取的基本层图像编码流。基本层图像解码单元202输出通过解码而生成的基本层的数据。
在步骤S203，增强层图像解码单元203解码利用步骤S201的处理提取的增强层图像编码流。增强层图像解码单元203输出通过解码而生成的增强层的数据。
当步骤S203的处理结束时，图像解码设备200结束图像解码处理。利用这样的图像解码处理，处理一个图像。从而，图像解码设备200对分层运动图像数据的各个图像，反复执行这样的图像解码处理。
<基本层解码处理的流程>
下面参考图49中表示的流程图，说明在图48中表示的步骤S202中执行的基本层解码处理的流程的例子。
当开始基本层解码处理时，在步骤S221，基本层图像解码单元202 的累积缓冲器211累积传送的基本层编码流。在步骤S222，可逆解码单元212解码从累积缓冲器211供给的基本层编码流。换句话说，由可逆编码单元116编码的I切片、P切片、B切片等的图像数据被解码。此时，包含在比特流中的除图像数据外的各种信息，比如头部信息也被解码。
在步骤S223，逆量化单元213进行利用步骤S222的处理获得的量化系数的逆量化。
在步骤S224，逆正交变换单元214进行通过步骤S223中的逆量化处理而获得的系数的逆正交变换。
在步骤S225，帧内预测单元221和帧间预测单元222进行预测处理，从而生成预测图像。换句话说，按可逆解码单元212判定的在编码数据之际应用的预测模式，进行预测处理。更具体地，例如，在编码数据之际，应用帧内预测的情况下，帧内预测单元221按在编码数据之际，被选为最佳的帧内预测，生成预测图像。另一方面，例如，在编码数据之际，应用帧间预测的情况下，帧间预测单元22按在编码数据之际，被选为最佳的帧间预测模式，生成预测图像。
在步骤S226，计算单元215相加在步骤S226生成的预测图像，和通过在步骤S225，进行逆正交变换而获得的差分图像。这样，获得重构图像的图像数据。
在步骤S227，环路滤波器216对利用步骤S227的处理获得的重构图像的图像数据，适当地进行环路滤波处理，包括解块滤波处理、自适应环路滤波等。
在步骤S228，屏幕重排缓冲器217重排在步骤S227，对其进行滤波处理的重构图像的各帧。换句话说，在编码数据之际重排的各帧的顺序被重排成原始显示顺序。
在步骤S229，D/A转换单元218进行各帧的顺序在步骤S228被重排的图像的D/A转换。该图像被输出给未图示的显示器，从而显示该图像。
在步骤S230，帧存储器219保存利用步骤S227的处理获得的解码图像的数据，利用步骤S226的处理获得的重构图像，等等。
在步骤S231，帧存储器219把利用如上所述的基本层的解码处理获得的基本层解码图像提供给增强层的解码处理。
当步骤S231的处理结束时，基本层解码处理结束，处理返回图48 中表示的处理。
<增强层解码处理的流程>
下面参考图50中图解所示的流程图，说明在图48中表示的步骤S203 中执行的增强层解码处理的流程的例子。
当开始增强层解码处理时，在步骤S241，增强层图像解码单元203 的头部信息分析单元251分析由可逆解码单元232从编码流提取的头部信息。预测控制单元252根据分析的结果，控制层间预测。
在步骤S242，帧存储器239获得并保存供给的基本层解码图像。例如，帧存储器239把基本层解码图像保存在长期参照帧中。
步骤S243～S252的各个处理分别对应于在图49中表示的步骤 S221～S230的各个处理，是按与步骤S221～S230的处理基本类似的方式进行的。然而，尽管在图49中表示的步骤S221～S230的处理是对基本层进行的，不过，步骤S243～S252的处理是对增强层进行的。另外，在步骤S247，存在作为生成预测图像的预测处理，进行层间预测的情况。
当步骤S252的处理结束时，增强层解码处理结束，处理返回图48 中图解所示的处理。
<与层间预测相关的头部信息分析处理的流程>
头部信息分析单元251和预测控制单元252进行与在图50中表示的步骤S241中的层间预测相关的头部信息分析处理，并且如在第一实施例中所述，进行与包含在头部信息(切片头部)中的层间预测相关的信息的分析，和层间预测的控制。
下面参考图51中表示的流程图，说明与层间预测相关的头部信息分析处理的流程的例子。在图51中，将说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，和在<按照参照层数的控制>中说明的方法的情况的处理的流程。
当开始与层间预测相关的头部信息分析处理时，在步骤S261，从属判定单元271分析包含在切片头部中的从属信息 (dependent_slice_segment_flag)的值，并判定当前切片的切片头部是否取决于任何其它切片。在判定切片是从属的时 (！dependent_slice_segment_flag)，处理进入步骤S262。
在步骤S262，切片种类判定单元272分析包含在切片头部中的切片种类(slice_type)，并判定当前切片的切片种类是否是P切片或B切片。在判定当前切片的切片种类是P切片或B切片(slice_type＝＝P|| slice_type＝＝B)的情况下，处理进入步骤S263。
在步骤S263，层判定单元273分析包含在切片头部中的层信息 (nuh_layer_id)，和包含在视频参数集(VPS)中的与当前切片的层相关的参照层信息(NumDirectRefLayers[nuh_layer_id])，并判定当前切片的层是否是增强层，和一个或多个层在视频参数集(VPS)中是否被定义成可参照。在判定当前切片的层是增强层，并且一个或多个层在视频参数集 (VPS)中被定义成可参照(nuh_layer_id>0&& NumDirectRefLayers[nuh_layer_id]>0)的情况下，处理进入步骤S264。
在步骤S264，层间可预测性信息分析单元281分析包含在切片头部中的层间可预测性信息(inter_layer_pred_enabled_flag)，从而获得层间可预测性信息(inter_layer_pred_enabled_flag)，作为与层间预测相关的信息。
在步骤S265，参照层数目信息分析单元282分析包含在切片头部中的参照层数目信息(num_inter_layer_ref_pics_minus1)，从而获得参照层数目信息(num_inter_layer_ref_pics_minus1)，作为与层间预测相关的信息。
在步骤S266，帧间可预测性信息分析单元284分析包含在切片头部中的帧间可预测性信息(inter_layer_sample_pred_only_flag)，获得帧间可预测性信息(inter_layer_sample_pred_only_flag)，作为与层间预测相关的信息。
在步骤S267，参照层数判定单元274分析包含在视频参数集(VPS) 中的与当前切片的层相关的参照层信息(NumDirectRefLayers[nuh_layer_id])，和包含在切片头部中的有效层数信息(！＝NumActiveRefLayerPics)，并判定在视频参数集(VPS)中定义的参照层数和在切片头部中定义的参照层数是否彼此相同。在其中判定这两个参照层数彼此不相同(NumDirectRefLayers[nuh_layer_id]！＝ NumActiveRefLayerPics)的情况下，处理进入步骤S268。
在步骤S268，参照层指定信息分析单元283分析包含在切片头部中的参照层指定信息(inter_layer_pred_layer_idc[i])，从而获得参照层指定信息(inter_layer_pred_layer_idc[i])，作为与层间预测相关的信息。当步骤S268的处理结束时，处理进入步骤S269。
另外，在步骤S267，在判定在视频参数集(VPS)中下定义的参照层数和在切片头部中定义的参照层数彼此相同的情况下，省略步骤S268的处理，处理进入步骤S269。
在步骤S269，预测控制单元252根据如上所述，由头部信息分析单元251获得的作为与层间预测相关的信息的各个参数，控制层间预测。当步骤S269的处理结束时，与层间预测相关的头部信息分析处理结束。
另外，在步骤S261，判定当前切片的切片头部取决于任何其它切片的情况下，在步骤S262，判定当前切片的切片种类是I切片的情况下，和在步骤S263，当前切片的层是基本层的情况下，或者在判定一层或多层未在视频参数集(VPS)中被定义成可参照的情况下，在编码处理中不进行层间预测，从而，与层间预测相关的头部信息分析处理结束。
通过执行如上所述的各个处理，图像解码设备200能够抑制与层间预测相关的信息的不必要传输，从而抑制编码效率的降低。
在只使用在<按照切片种类的控制>中说明的方法的情况下，可以省略在图51中表示的步骤S267的处理。此外，在只使用在<按照参照层数的控制>中说明的方法的情况下，可以省略在图51中表示的步骤S262的处理。
<与层间预测相关的头部信息分析处理的流程2>
下面，作为与层间预测相关的头部信息分析处理的另一个例子，参考图52中图解所示的流程图，说明其中结合第一实施例的在<按照切片种类的控制>中说明的方法，在<按照参照层数的控制>中说明的方法，和在<参照模式的预先定义>中说明的方法的情况的例子。
当开始与层间预测相关的头部信息分析处理时，在步骤S281中，集数信息分析单元285分析序列参数集的集数信息 (num_inter_layer_ref_pic_sets)，从而获得作为与层间预测相关的信息的集数信息(num_inter_layer_ref_pic_sets)。
在步骤S282，参数集分析单元286分析序列参数集的层间参照图像集(inter_layer_ref_pic_set(i))，获得作为与层间预测相关的信息的层间参照图像集(inter_layer_ref_pic_set(i))。
在步骤S283，参照层数目信息分析单元287分析各个层间参照图像集的参照层数目信息(num_inter_layer_ref_pics_minus1)，获得作为与层间预测相关的信息的参照层数目信息 (num_inter_layer_ref_pics_minus1)。
在步骤S284，参照层指定信息分析单元288分析各个层间参照图像集的参照层指定信息(inter_layer_pred_layer_idc[i])，获得参照层指定信息(inter_layer_pred_layer_idc[i])，作为与层间预测相关的信息。
在步骤S285，切片种类判定单元272和层判定单元273分析包含在切片头部中的当前切片的层信息(Layer_id)和切片种类(slice_type)，判定当前切片的层是否是增强层，和当前切片的切片种类是否是P切片或B切片。在判定当前切片的层是增强层(Layer_id>0)，并且判定当前切片的切片种类是P切片或B切片(slice_type＝＝P||slice_type＝＝B)的情况下，处理进入步骤S286。
在步骤S286，层间可预测性信息分析单元281分析包含在切片头部中的层间可预测性信息(inter_layer_pred_enabled_flag)，获得层间可预测片信息(inter_layer_pred_enabled_flag)，作为与层间预测相关的信息。随后，层间可预测性判定单元275根据层间可预测性信息 (inter_layer_pred_enabled_flag)，判定根据当前切片中的视频参数集 (VPS)的语法，是否能够进行层间预测。在判定能够进行层间预测的情况下，处理进入步骤S287。
在步骤S287，层间参照图像集判定单元276根据包含在切片头部中的层间参照图像集信息(inter_layer_ref_pic_set_sps_flag)，判定是否根据序列参数集(SPS)的参数，换句话说，层间参照图像集，进行预测。在判定进行预测的情况下，处理进入步骤S288。
在步骤S288，集数判定单元277根据在步骤S281中获得的集数 (num_inter_layer_ref_pic_sets)，判定是否存在多个层间参照图像集。在判定存在多个层间参照图像集(num_inter_layer_ref_pic_sets>1) 的情况下，处理进入步骤S289。
在步骤S289，索引分析单元280分析包含在切片头部中的索引 (inter_layer_ref_pic_set_idx)，获得索引(inter_layer_ref_pic_ set_idx)。索引分析单元280利用索引(inter_layer_ref_pic_set_idx)，指定层间参照图像集。当步骤S289的处理结束时，处理进入步骤S292。
另一方面，在步骤S288，在判定层间参照图像集的数目为1的情况下，处理进入步骤S290。
在步骤S290，索引分析单元280省略索引(inter_layer_ref_pic_ set_idx)的分析。这种情况下，即使没有索引，由于只存在第0个参数集(层间参照图像集)，因此索引分析单元280不利用索引地指定第0个层间参照图像集。当步骤S290的处理结束时，处理进入步骤S292。
另外，在步骤S287，在判定不使用序列参数集(SPS)的参数，换句话说，层间参照图像集的情况下，处理进入步骤S291。
在步骤S291，参数集分析单元279获得包含在切片头部中的专用于当前图像的参数集(专用于当前图像的层间参照图像集) (inter_layer_ref_pic_set(num_inter_layer_ref_pic_sets))。当步骤S291的处理结束时，处理进入步骤S292。
在步骤S292，预测控制单元252根据如上设定的参数集(层间参照图像集)，控制层间预测。当步骤S292的处理结束时，与层间预测相关的头部信息分析处理结束。
另外，在步骤S285，在层判定单元273判定当前切片的层是基本层，或者判定当前切片的切片种类是I切片的情况下，或者在步骤S286，判定根据当前切片中的视频参数集(VPS)的语法，不能进行层间预测的情况下，不进行层间预测，从而，与层间预测相关的头部信息生成处理结束。
通过执行如上所述的各个处理，图像解码设备200能够抑制与层间预测相关的信息的不必要传输，从而抑制编码效率的降低。
在图52中图解所示的例子中，和在图51中表示的步骤S267的处理中一样，利用语义，进行参照层数的比较，从而省略其说明。显然类似于图52中图解所示的例子，可以利用语法进行所述比较。
在省略在<按照切片种类的控制>中说明的方法的情况下，在图52中表示的步骤S285的处理可被省略。另外，在省略在<按照参照层数的控制>中说明的方法的情况下，在图52中表示的步骤S284或S291的处理中，可不进行如在图51中表示的步骤S267的处理中的参照层数的比较。
图像解码设备200的结构和图像解码处理的处理内容并不局限于在上述例子中说明的结构和处理内容，只要如第一实施例中所述，能够控制与层间预测相关的信息的传输即可。
作为本技术的适用范围，本技术可适用于基于可扩展编码和解码方式的所有图像编码设备和所有图像解码设备。
另外，本技术可适用于当通过网络介质，比如卫星广播、有线电视、因特网或移动电话机，接收利用诸如离散余弦变换之类的正交变换和运动补偿，例如MPEG、H.26x等压缩图像信息(比特流)时使用的图像编码设备和图像解码设备。另外，本技术可适用于当在诸如光盘、磁盘或闪存之类存储介质上，处理信息时使用的图像编码设备和图像解码设备。
<4.第四实施例>
<对多视点图像编码和多视点图像解码的应用>
上述一系列处理可以应用于多视点图像编码/多视点图像解码。图53 是图解说明多视点图像编码方式的例子的示图。
如图53中图解所示，多视点图像包括多个视点(视图)的图像。多视点图像的多个视图由通过只利用基本视图的图像，而不利用另一个视图的信息编码和解码的基本视图，和利用其它视图的信息编码和解码的非基本视图构成。基本视图的信息或任何其它非基本视图的信息可用于编码/解码非基本视图。
换句话说，多视点图像编码/解码中的视图之间的参照关系类似于分层图像编码/解码中的层之间的参照关系。从而，通过把本技术应用于如图53中图解所示的多视点图像的编码/解码，类似于上面参考图1-52说明的对分层编码/分层解码的应用，能够获得与上面参考图1-52说明的优点类似的优点。
<多视点图像编码设备>
图54是图解说明进行上述多视点图像编码的多视点图像编码设备的示图。如图54中图解所示，多视点图像编码设备600包括编码单元601、编码单元602；和复用单元603。
编码单元601编码基本视图图像，从而生成基本视图图像编码流。另外，编码单元602编码非基本视图图像，从而生成非基本视图图像编码流。复用单元603复用由编码单元601生成的基本视图图像编码流，和由编码单元602生成的非基本视图图像编码流，从而生成多视点图像编码流。
通过把本技术应用于多视点图像编码设备600，类似于上面参考图 1-52说明的对分层编码处理的应用，能够获得与上面参考图1-52说明的优点相似的优点。
<多视点解码设备>
图55是图解说明进行上述多视点解码的多视点图像解码设备的示图。如图55中图解所示，多视点图像解码设备610包括：分用单元611；解码单元612；和解码单元613。
分用单元611分用通过复用基本视图图像编码流和非基本视图图像编码流而获得的多视点图像编码流，从而提取基本视图图像编码流和非基本视图图像编码流。解码单元612解码分用单元611提取的基本视图图像编码流，从而获得基本视图图像。解码单元613解码分用单元611 提取的非基本视图图像编码流，从而获得非基本视图图像。
通过把本技术应用于多视点图像解码设备610，类似于上面参考图1-52说明的对分层解码处理的应用，能够获得与上面参考图1-52说明的优点相似的优点。
<5.第五实施例>
<计算机>
上述一系列处理可用硬件或者软件执行。在用软件执行所述一系列处理的情况下，构成所述软件的程序被安装到计算机。这里，计算机包括内置到专用硬件中的计算机，通过安装各种程序，能够执行各种功能的计算机，比如通用个人计算机，等等。
图56是图解说明按照程序，执行上述一系列处理的计算机的硬件结构的例子的方框图。
在图56中图解所示的计算机800中，中央处理器(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804互连。
另外，输入/输出接口810连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接到输入/输出接口810。
输入单元811例如由键盘、鼠标、麦克风、触摸面板、输入端子等构成。输出单元812例如由显示器、扬声器、输出端子等构成。存储单元813例如由硬盘、RAM盘、非易失性存储器等构成。通信单元814例如由网络接口构成。驱动器815驱动磁盘、光盘、磁光盘，或者诸如半导体存储器之类的可拆卸介质821。
在如上所述构成的计算机中，CPU 801通过经输入/输出接口815和总线804，把保存在存储单元813中的程序载入RAM 803中，并执行载入的程序，从而执行上面说明的一系列处理。另外，为CPU 801执行各种处理所需的数据等被适当地保存在RAM 803中。
计算机(CPU 801)执行的程序可在记录在作为套装介质等的可拆卸介质821上的情况下被使用。在这种情况下，通过把可拆卸介质821载入驱动器815中，可通过输入/输出接口810，把程序安装到存储单元813。
另外，可通过诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质，提供程序。在这种情况下，可利用通信单元814接收程序，并安装到存储单元813。
此外，程序可被预先安装到ROM 802或存储单元813。
另外，计算机执行的程序可以是按照在本说明书中说明的顺序，时序地进行处理的程序，或者可以是并行地，或者在必要时，比如在被调用时，进行处理的程序。
此外，在本说明书中，说明记录在记录介质上的程序的步骤不仅包括按照说明的顺序，时序地进行的处理，而且包括并且地或者单独地执行，而不一定时序地执行的处理。
另外，在本说明书中，系统表示一组多个组成元件(设备、模块(组件)等)，所有的组成元件不需要被置于相同机壳中。从而，安置在单独的机壳中，并通过网络连接的多个设备，和其中多个模块被置于一个机壳中的一个设备都是系统。
此外，上面描述成一个设备(或一个处理单元)的结构可被分割，以致被构造成多个设备(或处理单元)。相反，上面描述成多个设备(或处理单元)的结构可被构造成一个设备(或一个处理单元)。另外，可向各个设备(或各个处理单元)的结构中，增加上面未说明的结构。只要系统的总体结构和总体操作大体相同即可，特定设备(或特定处理单元)的结构的一部分可被配置成包含在另一个设备(或另一个处理单元)的结构中。
尽管参考附图，详细说明了本公开的优选实施例，不过，本公开的技术范围并不局限于这样的例子。显然，本公开的技术领域的普通技术人员能够在权利要求书中记载的技术思想的范围内，设想出各种变化或修改，自然地，显然这样的变化和修改属于本公开的技术范围。
例如，本技术可以采用其中一个功能由多个设备通过网络协同地分担执行的云计算结构。
另外，在上述各个流程图中说明的每个步骤可由一个设备执行，或者可由多个设备分担地执行。
此外，在多个处理包含在一个步骤中的情况下，包含在一个步骤中的所述多个处理可由一个设备执行，或者可由多个设备分担地执行。
按照上述实施例的图像编码设备和图像解码设备可适用于各种电子设备，比如用于诸如卫星广播或有线电视之类的有线广播，因特网上的传输，通过蜂窝通信到终端的传输等的发送器或接收器，把图像记录在诸如光盘、磁盘或闪存之类介质上的记录设备，或者从存储介质再现图像的再现设备。下面将说明4个应用例子。
<6.第六实施例>
<第一应用例子：电视接收机>
图57图解说明上述实施例适用于的电视机的示意结构的例子。电视机900包括天线901，调谐器902，分用器903，解码器904，视频信号处理单元905，显示单元906，音频信号处理单元907，扬声器908，外部接口(I/F)单元909，控制单元910，用户接口(I/F)单元911和总线912。
调谐器902从通过天线901接收的广播信号中，提取期望频道的信号，解调提取的信号。随后，调谐器902把通过解调获得的编码比特流输出给分用器903。换句话说，调谐器902充当接收其中图像被编码的编码流的电视机900的传输单元。
分用器903从编码比特流中，分离待观看的节目的视频流和音频流，并把各个分离的流输出给解码器904。另外，分用器903从编码比特流中，提取诸如电子节目指南(EPG)之类的辅助数据，然后把提取的数据提供给控制单元910。此外，在编码比特流被加扰的情况下，分用器903可进行解扰。
解码器904解码从分用器903输入的视频流和音频流。随后，解码器904把利用解码处理生成的视频数据输出给视频信号处理单元905。另外，解码器904把利用解码处理生成的音频数据输出给音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，使显示单元906显示视频。视频信号处理单元905还使显示单元906显示通过网络供给的应用屏幕。另外，视频信号处理单元905可按照设定，对视频数据进行诸如噪声消除之类的附加处理。此外，视频信号处理单元905 可生成诸如菜单、按钮和光标之类的图形用户界面(GUI)图形，并把生成的图像重叠在输出图像上。
显示单元906按照从视频信号处理单元905供给的驱动信号被驱动，以便把视频或图像显示在显示设备(例如，液晶显示器、等离子体显示器、 OLDE(有机电致发光显示器(有机EL显示器)等)的视频屏幕上。
音频信号处理单元907对从解码器904输入的音频数据进行诸如D/A 转换和放大之类的再现处理，从而使扬声器908输出音频。另外，音频信号处理单元907可对音频数据进行诸如噪声消除之类的附加处理。
外部接口单元909是用于把电视机900连接到外部设备或网络的接口。例如，通过外部接口单元909接收的视频流或音频流可被解码器904 解码。换句话说，外部接口单元909还充当接收其中图像被编码的编码流的电视机900的传输单元。
控制单元910包括诸如CPU之类的处理器，和诸如RAM或ROM之类的存储器。存储器保存保存CPU执行的程序，程序数据，EPG数据，通过网络获得的数据等等。在启动电视机900时，保存在存储器中的程序被 CPU读取，随后被执行。CPU通过执行所述程序，按照从用户接口单元911 输入的操作信号，控制电视机900的操作。
用户接口单元911连接到控制单元910。例如，用户接口单元911 包括供用户操作电视机900的按钮和开关，遥控信号的接收单元，等等。用户接口单元911通过这样的组件，检测用户的操作，生成操作信号，然后把生成的操作信号输出给控制单元910。
总线912互连调谐器902，分用器903，解码器904，视频信号处理单元905，音频信号处理单元907，外部接口单元909和控制单元910。
在按照这种方式构成的电视机900中，解码器904具有按照上述实施例的图像解码设备200的功能。从而，能够抑制编码效率的降低。
<第二应用例子：移动电话机>
图58图解说明上述实施例适用于的移动电话机的示意结构的例子。移动电话机920包括天线921，通信单元922，音频编解码器923，扬声器924，麦克风925，摄像头单元926，图像处理单元927，复用/分用单元928，记录/再现单元929，显示单元930，控制单元931，操作单元932 和总线933。
天线921连接到通信单元922。扬声器924和麦克风925连接到音频编解码器923。操作单元932连接到控制单元931。总线933互连通信单元922，音频编解码器923，摄像头单元926，图像处理单元927，复用/ 分用单元928，记录/再现单元929，显示单元930和控制单元931。
移动电话机920按各种操作模式，包括语音通话模式、数据通信模式、成像模式和电视电话模式，进行诸如音频信号的传输/接收、电子邮件或图像数据的传输/接收、图像拍摄和数据记录之类操作。
在语音通话模式下，麦克风925产生的模拟音频信号被提供给音频编解码器923。音频编解码器923把模拟音频信号转换成音频数据，进行转换后的音频数据的A/D转换，并压缩音频数据，随后，音频编解码器 923把压缩的音频数据输出给通信单元922。通信单元922编码和调制音频数据，从而生成传输信号。随后，通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。另外，通信单元922放大通过天线921 接收的无线信号，进行无线信号的频率变换，从而获得接收信号。随后，通信单元922通过解调和解码接收信号，生成音频数据，并把生成的音频数据输出给音频编解码器923。音频编解码器923进行音频数据的解压缩和D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器，从而使音频被输出。
在数据通信模式下，例如，控制单元931按照通过操作单元932进行的用户操作，生成构成电子邮件的字符数据。另外，控制单元931使显示单元930显示字符。控制单元931按照通过操作单元932，来自用户的传输指令，生成电子邮件数据，然后把生成的电子邮件数据输出给通信单元922。通信单元922编码和调制电子邮件数据，从而生成传输信号。随后，通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。另外，通信单元922进行通过天线921接收的无线信号的放大和频率变换，从而获得接收信号。随后，通信单元922解调和解码接收信号，以恢复电子邮件数据，然后把恢复的电子邮件数据输出给控制单元931。控制单元931使显示单元930显示电子邮件数据的内容，并把电子邮件数据提供给记录/再现单元929，使电子邮件数据被写到其记录介质上。
记录/再现单元929包括任意的可读可写存储介质。例如，存储介质可以是诸如RAM和闪存之类的内置存储介质，或者可以是诸如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器或存储卡之类的外部安装式存储介质。
在成像模式下，例如，摄像头单元926对被摄物体成像，从而生成图像数据，并把生成的图像数据输出给图像处理单元927。图像处理单元927编码从摄像头单元926输入的图像数据，把编码流提供给记录/再现单元929，从而使编码流被写到其记录介质上。
在图像显示模式下，记录/再现单元929读取记录在记录介质上的编码流，把读取的编码流输出给图像处理单元927。图像处理单元927解码从记录/再现单元929输入的编码流，把图像数据提供给显示单元930，以使其图像被显示。
另外，在电视电话模式下，例如，复用/分用单元928复用由图像处理单元927编码的视频流，和从音频编解码器923输入的音频流，把作为结果的复用流输出给通信单元922。通信单元922编码和调制流，从而生成传输信号。随后，通信单元922通过天线921，把生成的传输信号传送给基站(未图示)。另外，通信单元922进行通过天线921接收的无线信号的放大和频率变换，从而获得接收信号。传输信号和接收信号是在其中包含编码比特流的情况下获得的。随后，通信单元922通过解调和解码接收信号，恢复所述流，并把恢复的流输出给复用/分用单元928。复用/分用单元928从输入流中，分离视频流和音频流，把视频流和音频流分别输出给图像处理单元927和音频编解码器923。图像处理单元927 解码视频流，从而生成视频数据。视频数据被提供给显示单元930，显示单元930显示一系列的图像。音频编解码器923进行音频流的解压缩和 D/A转换，从而生成模拟音频信号。随后，音频编解码器923把生成的音频信号提供给扬声器924，从而使音频被输出。
在按照这种方式构成的移动电话机920中，图像处理单元927具有按照上述实施例的图像编码设备100和图像解码设备200的功能。从而，能够抑制编码效率的降低。
<第三应用例子：记录和再现设备>
图59是图解说明上述实施例适用于的记录/再现设备的示意结构的例子的方框图。例如，记录/再现设备940编码接收的广播节目的音频数据和视频数据，并把编码数据记录在记录介质上。另外，记录/再现设备 940可编码从另一个设备获得的音频数据和视频数据，并把编码数据记录在记录介质上。此外，记录/再现设备940按照用户的指令，利用监视器和扬声器，再现记录在记录介质上的数据。此时，记录/再现设备940解码音频数据和视频数据。
记录/再现设备940包括调谐器941，外部接口(I/F)单元942，编码器943，硬盘驱动器(HDD)944，光盘驱动器945，选择器946，解码器947，屏上显示器(OSD)948，控制单元949，和用户接口(I/F)单元950。
调谐器941从通过天线(未图示)接收的广播信号中，提取期望频道的信号，并解调提取的信号。随后，调谐器941把通过解调处理获得的编码比特流输出给选择器946。换句话说调谐器941充当记录/再现设备 940的传输单元。
外部接口单元942是用于连接记录/再现设备940和外部设备或网络的接口。例如，外部接口单元942可以是电气和电子工程师协会(IEEE) 1394接口、网络接口单元、USB接口、闪存接口等。例如，通过外部接口单元942接收的视频数据和音频数据被输入编码器943。换句话说，外部接口单元942充当记录/再现设备940的传输单元。
在从外部接口单元942输入的视频数据和音频数据未被编码的情况下，当从外部接口单元942输入视频数据和音频数据时，编码器943编码视频数据和音频数据。随后，编码器943把编码比特流输出给选择器 946。
HDD 944把其中诸如视频和音频之类的内容数据被压缩的编码比特流，各种程序和其它数据记录在内部硬盘中。当视频和音频被再现时， HDD 944从硬盘读取数据。
硬盘驱动器945把数据记录在装入的记录介质上，和从装入的记录介质读取数据。装入硬盘驱动器945中的记录介质可以是数字通用光盘(DVD)(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-可记录(DVD-R)、 DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)，蓝光(注册商标)光盘等。
当视频和音频被记录时，选择器946选择从调谐器941或编码器943 输入的编码比特流，然后把选择的编码比特流输出给HDD 944或磁盘驱动器945。另外，当再现视频和音频时，选择器946把从HDD 944或磁盘驱动器945输入的编码比特流输出给解码器947。
解码器947解码编码比特流，从而生成视频数据和音频数据。随后，解码器947把生成的视频数据输出给OSD 948。另外，解码器947把生成的音频数据输出给外部扬声器。
OSD 948再现从解码器947输入的视频数据，从而显示视频。OSD 948 可把诸如菜单、按钮、光标之类的GUI的图像叠加在显示的视频上。
控制单元949包括诸如CPU之类的处理器，和诸如RAM或ROM之类的存储器。存储器保存CPU执行的程序，程序数据等。在启动记录/再现设备940时，CPU读取并执行保存在存储器中的程序。CPU通过执行程序，按照从用户接口单元950输入的操作信号，控制记录/再现设备940的操作。
用户接口单元950连接到控制单元949。例如，用户接口单元950 包括供用户操作记录/再现设备940的按钮和开关，和遥控信号的接收单元。用户接口单元950通过组成元件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元949。
在按照这种方式构成的记录/再现设备940中，编码器943具有按照上述实施例的图像编码设备100的功能。另外，解码器947具有按照上述实施例的图像解码设备200的功能。因而，能够抑制编码效率的降低。
<第四应用例子：成像设备>
图60是上述实施例适用于的成像设备的示意结构的例子。成像设备 960对被摄物体成像，对图像数据编码，并把编码的图像数据记录在记录介质上。
成像设备960包括光学部件961，成像单元962，信号处理单元963，图像处理单元964，显示单元965，外部接口(I/F)单元966，存储单元 967，介质驱动器968，OSD单元969，控制单元970，用户接口(I/F)单元971和总线972。
光学部件961连接到成像单元962。成像单元962连接到信号处理单元963。显示单元965连接到图像处理单元964。用户接口单元971连接到控制单元970。总线972互连图像处理单元964、外部接口单元966、存储单元967、介质驱动器968、OSD单元969和控制单元970。
光学部件961包括聚焦透镜、光圈机构等。光学部件961在成像单元962的像面上形成被摄物体的光学图像。成像单元962包括诸如电荷耦合器件(CCD)和互补金属氧化物半导体(CMOS)之类的图像传感器，通过光电转换，以电信号的形式，把在像面上形成的光学图像转换成图像信号。随后，成像单元962把图像信号输出给信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号进行各种摄像机信号处理，比如拐点校正、γ校正、颜色校正等。信号处理单元963 把摄像机信号处理之后的图像数据输出给图像处理单元964。
图像处理单元964编码从信号处理单元963输入的图像数据，从而生成编码数据。随后，图像处理单元964把生成的编码数据输出给外部接口单元966或者介质驱动器968。另外，图像处理单元964解码从外部接口单元966或介质驱动器968输入的编码数据，从而生成图像数据。随后，图像处理单元964把生成的图像数据输出给显示单元965。另外，图像处理单元964把从信号处理单元963输入的图像数据输出给显示单元965，以显示该图像。此外，图像处理单元964可把从OSD 969获得的显示用数据叠加在输出给显示单元965的图像上。
例如，OSD 969生成诸如菜单、按钮、光标之类GUI的图像，并把生成的图像输出给图像处理单元964。
例如，外部接口单元966由USB输入/输出端子构成。例如，当打印图像时，外部接口单元966连接成像设备960和打印机。另外，当需要时，驱动器被连接到外部接口单元966。诸如磁盘或光盘之类的可拆卸介质被装入驱动器中，从可拆卸介质读取的程序可被安装到成像设备900。此外，可以连接到诸如LAN、因特网之类网络的网络接口的形式，构成外部接口单元966。换句话说，外部接口单元966充当成像设备960的传输单元。
装入介质驱动器968中的记录介质可以是任意任意可读/可写的可拆卸介质，比如磁盘、磁光盘、光盘或半导体存储器。记录介质可被固定地安装到介质驱动器968中，从而构成不可移植的存储单元，比如内置磁盘驱动器或固态驱动器(SSD)。
控制单元970包括诸如CPU之类的处理器，和诸如RAM或ROM之类的存储器。存储器保存CPU执行的程序，程序数据等。在启动成像设备 960时，CPU读取并执行保存在存储器中的程序。CPU通过执行程序，按照从用户接口单元971输入的操作信号，控制成像设备960的操作。
用户接口单元971连接到控制单元970。例如，用户接口单元971 包括供用户操作成像设备960的按钮、开关等。用户接口单元971通过组成元件，检测用户的操作，从而生成操作信号，并把生成的操作信号输出给控制单元970。
在按照这种方式构成的成像设备960中，图像处理单元964具有按照上述实施例的图像编码设备100和图像解码设备200的功能。因而，能够抑制编码效率的降低。
<7.第七实施例>
<可扩展编码的应用例子：第一系统>
下面说明可扩展地编码(分层(图像编码)的可扩展编码数据的具体使用例子。类似于图61中图解所示的例子，可扩展编码例如用于选择待传送的数据。
在图61中图解所示的数据传输系统1000中，分发服务器1002读取保存在可扩展编码数据存储单元1001中的可扩展编码数据，并经网络 1003，把读取的可扩展编码数据分发给终端设备，比如个人计算机1004、 AV设备1005、平板设备1006和移动电话机1007。
此时，分发服务器1002根据终端设备的能力，通信环境等，选择具有适当质量的编码数据。即使当分发服务器1002传送质量不必要地高的数据时，在终端设备中也不能获得高质量图像，并且存在可能发生延迟或上溢的顾虑。另外，存在会不必要地占据通信带宽，或者会不必要地增大终端设备的负荷的顾虑。相反，当分发服务器1002传送质量不必要地低的数据时，存在在终端设备中，不能获得具有足够画质的图像的顾虑。从而，分发服务器1002读取保存在可扩展编码数据存储单元1001 中的可扩展编码数据，作为具有适合于终端设备的能力，通信环境等的质量的编码数据，并传送读取的可扩展编码数据。
例如，假定可扩展编码数据存储单元1001保存可扩展编码的可扩展编码数据(BL+EL)1011。可扩展编码数据(BL+EL)1011是包括基本层和增强层的编码数据，通过解码可扩展编码数据，能够获得基本层的图像和增强层的图像。
分发服务器1002按照传送数据的终端设备的能力，通信环境等，选择适当层，并读取所选层的数据。例如，分发服务器1002从可扩展编码数据存储单元1001，读取高质量的可扩展编码数据(BL+EL)1011，并把读取的可扩展数据原样传送给具有高处理能力的个人计算机1004或平板设备1006。相反，分发服务器1002从可扩展编码数据(BL+EL)1011中，提取基本层的数据，并把提取的数据作为可扩展编码数据(BL)1012，传送给AV设备1005和移动电话机1007，可扩展编码数据(BL)1012是内容和可扩展编码数据(BL+EL)1011相同，质量比可扩展编码数据(BL+EL) 1011低的数据。
这样，通过利用可扩展编码数据，能够容易地调整数据量。从而，能够抑制延迟或上溢的发生，或者终端设备或通信介质的负荷的不必要增大。另外，由于可扩展编码数据(BL+EL)1011在各层之间，具有较低的冗余，因此与各层的编码数据被配置成单独数据的情况相比，数据量较小。因而，能够更有效地利用可扩展编码数据存储单元1001的存储区。
作为终端设备，可以应用诸如个人计算机1004和移动电话机1007 之类的各种设备，终端设备的硬件性能随应用的设备而不同。另外，存在由终端设备执行的各种应用程序，从而存在各种软件能力。另外，作为充当通信介质的网络1003，可以应用所有种类的通信网络，包括有线网络和/或无线网络，比如因特网和LAN(局域网)，从而数据传输能力不同。此外，存在数据传输能力会按照其它通信等而变化的顾虑。
从而，在开始数据传输之前，分发服务器1002可以与作为数据的传输目的地的终端设备通信，以便获得关于该终端设备的能力的信息，比如所述终端设备的硬件性能，和所述终端设备执行的应用(软件)的性能，以及关于通信环境的信息，比如网络1003的可用带宽。另外，分发服务器1002可被配置成根据如上获得的信息，选择适当的层。
另外，层的提取可由终端设备进行。例如，个人计算机1004可解码传送的可扩展编码数据(BL+EL)1011，并显示基本层的图像或增强层的图像。此外，个人计算机1004可从传送的可扩展编码数据(BL+EL)1011 中，提取基本层的可扩展编码数据(BL)1012，保存提取的可扩展编码数据，或者把提取的可扩展编码数据传送给另一个设备，解码提取的可扩展编码数据，并显示基本层的图像。
显然可扩展编码数据存储单元1001，分发服务器1002，网络1003 和终端设备的数目都是任意的。另外，尽管说明了其中分发服务器1002 向终端设备传送数据的例子，不过使用例子并不局限于此。作为数据传输系统1000，可以应用在向终端设备传送可扩展编码的编码数据时，按照终端设备的能力，通信环境等，选择并传送适当层的任意系统。
另外，在如图61中图解所示的数据传输系统1000中，通过应用本技术，类似于上面参考图1～52说明的对分层编码/分层解码的应用，能够获得与参考图1～52说明的说明的上述优点类似的优点。
<可扩展编码的应用例子：第二系统>
另外，类似于图62中图解所示的例子，可扩展编码用于通过多个通信介质进行的传输。
在图62中图解所示的数据传输系统1100中，广播站1101通过地面广播1111，传送基本层的可扩展编码数据(BL)1121。另外，广播站1101 通过由通信网络的有线网络和/或无线网络构成的任意网络1112，传送增强层的可扩展编码数据(EL)1122(例如，数据被分包和传送)。
终端设备1102具有广播站1101广播的地面广播1111的接收功能，从而接收通过地面广播1111传送的基本层的可扩展编码数据(BL)1121。另外，终端设备1102还具有通过网络1112进行通信的通信功能，从而接收通过网络1112传送的增强层的可扩展编码数据(EL)1122。
例如，终端设备1102按照用户指令等，解码通过地面广播1111获得的基本层的可扩展编码数据(BL)1121，从而获得基本层的图像，并保存所述图像，或者图像传送给另一个设备。
另外，例如，终端设备1102例如按照用户指令等，组合通过地面广播1111获得的基本层的可扩展编码数据(BL)1121，和通过网络1112获得的增强层的可扩展编码数据(EL)1122，从而获得可扩展编码数据 (BL+EL)，获得通过解码获得的可扩展编码数据而获得的增强层的图像，保存获得的可扩展编码数据，或者把获得的可扩展编码数据传送给另一个设备。
如上所述，可以经对每层来说不同的通信介质，传送可扩展编码数据。从而，可以分散负荷，因而能够抑制延迟或上溢的发生。
另外，取决于状况，可以为每一层选择用于传输的通信介质。例如，可以通过具有较大带宽的通信介质，传送数据量较大的基本层的可扩展编码数据(BL)1121，可通过带宽较窄的通信介质，传送数据量较小的增强层的可扩展编码数据(EL)1122。另外，例如，通过其传送增强层的可扩展编码数据(EL)1122的通信介质可被配置成按照网络1112的可用带宽，被切换成网络1112或地面广播1111。显然，这类似地适用于任意层的数据。
通过按照这种方式进行控制，在数据传输中，能够进一步抑制负荷的增大。
显然层数是任意的，用于传输的通信介质的数目也是任意的。另外，作为数据的分发目的地的终端设备1102的数目也是任意的。在上面的说明中，尽管举例说明了从广播站1101进行广播的例子，不过使用例子并不局限于此。作为数据传输系统1100，可以应用以层为单位，把可扩展编码的编码数据分成多个部分，并通过多条通信线路传送分割的数据的任何系统。
通过把本技术应用于这样的数据传输系统1100，类似于上面参考图 1～52说明的其对分层编码和分层解码的应用，能够获得与上面参考图 1～52说明的优点类似的优点。
<可扩展编码的应用例子：第三系统>
类似地图63中图解所示的例子，可扩展编码被用于保存编码数据。
在图63中图解所示的成像系统1200中，成像设备1201可扩展地编码通过对被摄物体1211成像而获得的图像数据，并把获得的图像数据作为可扩展编码数据(BL+EL)1221，提供给可扩展编码数据存储设备1202。
可扩展编码数据存储设备1202以与状况相应的质量，保存从成像设备1201供给的可扩展编码数据(BL+EL)1221。例如在正常时，可扩展编码数据存储设备1202从可扩展编码数据(BL+EL)1221中，提取基本层的数据，并保存提取的数据，作为质量低，数据量小的基本层的可扩展编码数据(BL)1222。相反，例如在关注时，可扩展编码数据存储设备1202 保存作为质量高，且数据量大的可扩展编码数据(BL+EL)1221保持的数据。
这样，可扩展编码数据存储设备1202可以只有在必需时，才保存高画质的图像。从而，能够抑制数据量的增大，同时抑制由质量的降低引起的图像价值的降低，从而能够提高存储区的使用效率。
例如，假定成像设备1201是监控摄像头。在监控对象(例如入侵者) 未出现在拍摄的图像中(正常时)的情况下，拍摄图像的内容不重要的可能性高，从而，优先考虑数据量的降低，从而低质量地保存图像数据(可扩展编码数据)。相反，在监控对象作为被摄物体1211，出现在拍摄的图像中(关注时)的情况下，拍摄图像的内容重要的可能性高，从而，优先考虑图像质量，从而高质量地保存图像数据(可扩展编码数据)。
这里，通过利用可扩展编码数据存储设备1202分析图像，可以判定是正常时还是关注时。另一方面，成像设备1201可被配置成进行判定，并把判定结果传送给可扩展编码数据存储设备1202。
这里，用于判定正常时或关注时的判定标准是任意的，用作判定标准的图像的内容是任意的。这里，除图像的内容之外的条件可以用作判定标准。例如，对于每个预定时间，或者按照从外部供给的指令，比如用户指令，可按照记录音频的音量、波形等，进行正常时和关注时之间的切换。
另外，尽管说明了其中在正常时和关注时两种状态之间进行切换的例子，不过，状态的数目是任意的，从而例如，可以配置成进行3种或者更多种状态，包括正常时，低度关注时，关注时和高度关注时之间的切换。然而，可被切换的状态的上限数取决于可扩展编码数据的层数。
另外，成像设备1201可被配置成按照状态，确定可扩展编码的层数。例如正常时，成像设备1201可被配置成生成质量低，并且数据量小的基本层的可扩展编码数据(BL)1222，并把生成的可扩展编码数据提供给可扩展编码数据存储设备1202。另一方面，例如关注时，成像设备1201 可被配置成生成质量高，并且数据量大的基本层的可扩展编码数据(BL+EL)1221，并把生成的可扩展编码数据提供给可扩展编码数据存储设备1202。
尽管如上说明了监控摄像头，不过，成像系统1200的应用是任意的，并不局限地监控摄像头。
另外，在如图63中图解所示的成像系统1200中，通过应用本技术，类似于上面参考图1～52说明的对分层编码/分层解码的应用，能够获得与参考图1～52说明的上述优点类似的优点。
另外，本技术也可适用于从预先准备的具有彼此不同的分辨率等的多个编码数据中，以段为单位选择和使用适当的编码数据的HTTP流式传输，比如MPEG或DASH。换句话说，在多个编码数据之间，可以共享与编码和解码相关的信息。
<8.第八实施例>
<其它例子>
尽管上面说明了本技术适用于的设备、系统等的例子，不过，本技术并不局限于此。从而，可以安装在所述设备或者构成所述系统的设备中的所有组件，例如，作为系统LSI(大规模集成)等的处理器，利用多个处理器等的模块，利用多个模块等的单元，和通过向所述单元增加另一种功能而获得的机组等(换句话说，设备的结构的一部分)的形式，实现本技术。
<视频机组>
下面参考图64，说明以机组的形式实现本技术的情况的例子。图64 图解说明本技术适用于的视频机组的示意结构的例子。
最近，电子设备中的多功能的实现已取得进展，并且在各种电子设备的研发或制造中，在销售、供应等之际实施所述结构的一部分的情况下，常常不仅存在以具有一种功能的结构的形式，实施所述一部分的情况，而且存在通过组合具有相关功能的多种结构，以具有多种功能的一个机组的形式，实施所述一部分的情况。
图64中图解所示的视频机组1300具有多功能结构，是通过组合具有与图像的编码/解码(编码和/或图像)的设备和具有与所述功能相关的其它功能的设备获得的。
如图64中图解所示，视频机组1300包括：诸如视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314之类的模块组，和具有诸如连接模块1321、摄像头1322和传感器1323之类相关功能的设备。
模块是通过聚集彼此相关的几种组件功能而获得的功能具有统一性的组件。具体的物理结构是任意的，例如，可以考虑其中把具有相应功能的多个处理器，诸如电阻器和电容器之类电子电路组件，和其它器件布置成集成在配线板等中的结构。另外，可以考虑通过组合模块和其它模块、处理器等，形成新模块。
在图64中图解所示的例子的情况下，视频模块1311是通过结合具有与图像处理相关的功能的结构构成的，包括：应用处理器，视频处理器，宽带调制解调器1333和RF模块1334。
通过SoC(片上系统)，在半导体芯片上集成具有预定功能的结构，形成处理器，例如，存在称为大规模集成(LSI)等的处理器。具有预定功能的结构可以是逻辑电路(硬件结构)，包括CPU、ROM、RAM等和利用这些组件执行的程序(软件结构)的结构，或者通过组合上述两种结构而获得的结构。例如，可以这样构成，以致处理器包括逻辑电路、CPU、ROM、 RAM等，其一些功能由逻辑电路(硬件结构)实现，而其它功能由CPU执行的程序(软件结构)实现。
图64中图解所示的应用处理器1331是执行与图像处理相关的应用的处理器。为了实现预定功能，由应用处理器1331执行的应用不仅执行计算处理，而且在必要时，可控制在视频模块1311之内和之外的结构，比如视频处理器1332等。
视频处理器1332是具有与图像的编码/图像解码(编码和/或解码)相关的功能的处理器。
宽带调制解调器1333通过数字调制处理等，把通过宽带通信线路，比如因特网或公共电话交换网进行的有线或无线(或者有线和无线)宽带通信传送的数据(数字信号)转换成模拟信号，或者通过解调处理，把通过宽带通信接收的模拟信号转换成数据(数字信号)。宽带调制解调器 1333处理任意信息，比如由视频处理器1332处理的图像数据，其中图像数据被编码的码流，应用程序，和设定数据。
RF模块1334是对通过天线传送或接收的射频(RF)信号，进行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334对宽带调制解调器1333生成的专线连接系统信号，进行频率转换等，从而生成 RF信号。另外，例如，RF模块1334对通过前端模块1314接收的RF信号，进行频率转换等，从而生成专线连接系统信号。
如用图64中的虚线1341所示，应用处理器1331和视频处理器1332 可被一体化，以致被构成为一个处理器。
外部存储器1312是布置在视频模块1311之外，具有由视频模块1311 使用的存储器件的模块。尽管外部存储器1312的存储器件可用某种物理结构实现，不过，一般来说，存储器件常常用于保存大容量的数据，比如以帧为单位构成的图像数据，因此存储器件最好用成本较低的大容量半导体存储器，比如动态随机存取存储器(DRAM)实现。
电源管理模块1313管理并控制对视频模块1311(布置在视频模块 1311内的各种构成)的供电。
前端模块1314是向RF模块1334提供前端功能(在天线侧的传输/接收端电路)的模块。如图64中图解所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括传送和接收无线信号的天线及周边结构。天线单元1351以无线信号的形式，传送从放大单元1353供给的信号，并以电信号(RF信号)的形式，把接收的无线信号提供给滤波器1352。滤波器 1352对通过天线单元1351接收的RF信号，进行滤波处理等，并把处理后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334 供给的RF信号，并把放大后的RF信号提供给天线单元1351。
连接模块1321是具有与和外部的连接相关的功能的模块。连接模块 1321的物理结构是任意的。例如，连接模块1321包括具有按照除宽带调制解调器1333符合的通信标准以外的通信标准的通信功能的结构，外部输入/输出端子等。
例如，连接模块1321可被配置成包括具有符合无线通信标准，比如蓝牙(注册商标)、IEEE 802.11(例如，无线保真；注册商标(Wi-Fi))、近场通信(NFC)或红外数据协会(IrDA)的通信功能的模块，传送和接收符合所述标准的信号的天线等等。另外，例如，连接模块1321可被配置成包括具有符合有线通信标准，比如通用串行总线(USB)或高清多媒体接口 (HDMI(注册商标))的通信功能的模块，和符合所述标准的端子。此外，例如，连接模块1321可被配置成具有模拟输入/输出端子等的另外的数据(信号)传输功能。
另外，连接模块1321可被配置成包括数据(信号)的传输目的地的设备。例如，连接模块1321可被配置成包括相对于记录介质，比如磁盘、光盘、磁光盘或半导体存储器读取/写入数据的驱动器(不仅包括可拆卸介质的驱动器，而且包括硬盘、固态驱动器(SSD)、网络附加存储器(NAS) 等)。此外，连接模块1321可被配置成包括图像或语音的输出设备(监视器、扬声器等)。
摄像头1322是具有通过对被摄物体成像，获得被摄物体的图像数据的功能的模块。利用摄像头1322进行的成像处理获得的图像数据被提供给视频处理器1332，并被编码。
传感器1323是具有任意传感器，比如音频传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁性标识传感器、冲击传感器或温度传感器的功能的模块。利用传感器1323 检测的数据被提供给应用处理器1331，并由应用等使用。
上面描述成模块的结构可被实现成处理器。相反，上面描述成处理器的结构可被实现成模块。
在具有上述结构的视频机组1300中，如后所述，本技术可适用于视频处理器1332。因而，可以本技术适用于的机组的形式，实施视频机组 1300。
<视频处理器的结构例子>
图65图解说明本技术适用于的视频处理器1332(图64)的示意结构的例子。
在图65中图解所示的例子的情况下，视频处理器1332具有接收视频信号和音频信号的输入，并按照预定方式编码所述视频信号和音频信号的功能，和解码编码的视频数据和编码的音频数据，并再现和输出视频信号和音频信号的功能。
如图65中图解所示，视频处理器1332包括：视频输入处理单元1401；第一图像放大/缩小单元1402；第二图像放大/缩小单元1403；视频输出处理单元1404；帧存储器1405；和存储控制单元1406。另外，视频处理器1332包括：编码/解码引擎1407；视频基本码流(ES)缓冲器1408A和 1408B；和音频ES缓冲器1409A和1409B。另外，视频处理器1332包括：音频编码器1410；音频解码器1411；复用单元(复用器(MUX))1412；分用单元(分用器(DMUX))1413；和流缓冲器1414。
例如，视频输入处理单元1401获得从连接模块1321(图64)等输入的视频信号，把视频信号转换成数字图像数据。第一图像放大/缩小单元 1402对图像数据进行格式变换，图像放大/缩小处理等。第二图像放大/ 缩小单元1403对图像数据，进行与经由视频输出处理单元1404的输出目的地的格式相应的图像放大/缩小处理，与第一图像放大/缩小单元1402类似的格式变换，图像放大/缩小处理等。视频输出处理单元1404 对图像数据进行格式变换，到模拟信号的转换等，并把结果信号作为再现视频信号，输出给连接模块1321(图64)等。
帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码 /解码引擎1407共用的图像数据存储器。例如，帧存储器1405用诸如DRAM 之类的半导体存储器实现。
存储控制单元1406接收来自编码/解码引擎1407的同步信号，并按照写入存取管理表1406A中的访问帧存储器1405的存取时间表，控制对帧存储器1405的存取，以便写入/读取。存储控制单元1406按照编码/ 解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元 1403等进行的处理，更新存取管理表1406A。
编码/解码引擎1407进行图像数据的编码处理，和作为通过编码图像数据而获得的数据的视频流的解码处理。例如，编码/解码引擎1407 编码从帧存储器1405读取的图像数据，并把该图像数据作为视频流，顺序写入视频ES缓冲器1408A。另外，例如，编码/解码引擎1407顺序读取和解码从视频ES缓冲器1408B供给的视频流，然后把解码的视频流作为图像数据，顺序写入帧存储器1405。编码/解码引擎1407利用帧存储器1405作为这种编码或解码处理中的工作区。另外，例如在开始各个宏块的处理之际，编码/解码引擎1407向存储控制单元1406输出同步信号。
视频ES缓冲器1408A缓存由编码/解码引擎1407生成的视频流，并把缓存的视频流提供给复用单元(MUX)1412。视频ES缓冲器1408B缓存从分用单元(DMUX)1413供给的视频流，并把缓存的视频流提供给编码/ 解码引擎1407。
音频ES缓冲器1409A缓存由音频编码器1410生成的音频流，并把缓存的音频流提供给复用单元(MUX)1412。音频ES缓冲器1409B缓存从分用单元(DMUX)1413供给的音频流，并把缓存的音频流提供给音频解码器1411。
例如，音频编码器1410把例如从连接模块1321等输入的音频信号转换成数字信号，并按照诸如MPEG音频方式或音频编码号3(AC3)方式之类的预定方式，编码转换后的数字信号。音频编码器1410把都是通过编码音频信号而获得的数据的音频流，顺序写入音频ES缓冲器1409A。音频解码器1411解码从音频ES缓冲器1409B供给的音频流，把解码音频流转换成模拟信号等，并把转换后的信号，作为再现音频信号提供给例如连接模块1321等。
复用单元(MUX)1412复用视频流和音频流。该复用处理的方法(换句话说，通过复用处理生成的比特流的格式)是任意的。另外，在复用处理中，复用单元(MUX)1412可向比特流中加入预定头部信息等。换句话说，复用单元(MUX)1412可通过复用处理，转换流的格式。例如，通过复用视频流和音频流，复用单元(MUX)1412把流转换成作为传输格式的比特流的传输流。另外，例如，通过复用视频流和音频流，复用单元(MUX)1412 把流转换成记录文件格式的数据(文件数据)。
分用单元(DMUX)1413利用与复用单元(MUX)1412进行的复用处理对应的方法，分用其中复用视频流和音频流的比特流。换句话说，分用单元(DMUX)1413从读取自流缓冲器1414的比特流中，提取视频流和音频流 (把视频流和音频流彼此分开)。换句话说，分用单元(DMUX)1413可通过分用处理，转换流的格式(复用单元(MUX)1412进行的变换的逆变换)。例如，分用单元(DMUX)1413通过流缓冲器1414，获得例如从连接模块1321、宽带调制解调器1333等供给的传输流，分用获得的传输流，从而把传输流转换成视频流和音频流。另外，例如，分用单元(DMUX)1413通过流缓冲器1414，获得利用连接模块1321从各种记录介质读取的文件数据，分用获得的文件数据，从而把文件数据转换成视频流和音频流。
流缓冲器1414缓存比特流。例如，流缓冲器1414缓存从复用单元 (MUX)1412供给的传输流，并在预定定时，或者根据来自外部的请求等，把缓存的传输流提供给例如连接模块1321、宽带调制解调器1333等。
另外，例如，流缓冲器1414缓存从复用单元(MUX)1412供给的文件数据，并在预定定时，根据来自外部的请求等，把缓存的文件数据提供给例如连接模块1321等，以便记录在各种记录介质上。
此外，流缓冲器1414缓存例如通过连接模块1321、宽带调制解调器 1333等获得的传输流，并在预定定时，或者根据来自外部的请求等，把缓存的传输流提供给分用单元(DMUX)1413。
另外，流缓冲器1414缓存例如利用连接模块1321等，从各种记录介质读取的文件数据，并在预定定时，或者根据来自外部的请求等，把缓存的文件数据提供给分用单元(DMUX)1413。
下面，说明具有这种结构的视频处理器1332的操作例子。例如，从连接模块1321等输入视频处理器1332的视频信号在视频输入处理单元 1401中，被转换成诸如4:2:2Y/Cb/Cr方式之类预定方式的数字图像数据，随后被顺序写入帧存储器1405。该数字图像数据被第一图像放大/ 缩小单元1402或第二图像放大/缩小单元1403读取，对读取的数字图像数据进行到诸如4:2:0Y/Cb/Cr方式之类预定方式的格式变换，和放大/ 缩小处理，作为结果的数字图像数据被重新写入帧存储器1405。该图像数据被编码/解码引擎1407编码，然后作为视频流，被写入视频ES缓冲器1408A。
另外，从连接模块1321等输入视频处理器1332的音频信号被音频编码器1410编码，随后作为音频流被写入音频ES缓冲器1409A。
视频ES缓冲器1408A中的视频流和音频ES缓冲器1409A中的音频流被复用单元(MUX)1412读取和复用，从而被转换成传输流、文件数据等。复用单元(MUX)1412生成的传输流被缓存在流缓冲器1414中，随后例如通过连接模块1321、宽度调制解调器1333等被输出到外部网络。另外，复用单元(MUX)1412生成的文件数据被缓存在流缓冲器1414中，随后被输出给例如连接模块1321等，然后被记录在各种记录介质上。
另外，通过连接模块1321、宽带调制解调器1333等，从外部网络输入视频处理器1332的传输流被缓存在流缓冲器1414中，随后被分用单元(DMUX)1413分用。另外，利用连接模块1321等，从各种记录介质读取并被输入视频处理器1332的文件数据被缓存在流缓冲器1414中，随后被分用单元(DMUX)1413分用。换句话说，输入视频处理器1332的传输流或文件数据被分用单元(DMUX)1413分离成视频流和音频流。
音频流通过音频ES缓冲器1409B，被提供给音频解码器1411，然后被解码，从而再现音频信号。另外，视频流被写入视频ES缓冲器1408B 中，随后被编码/解码引擎1407顺序读取和解码，然后被写入帧存储器 1405。解码的图像数据被第二图像放大/缩小单元1403处理，从而被放大或缩小，然后被写入帧存储器1405。随后，解码的图像数据被视频输出处理单元1404读取，按照诸如4:2:2Y/Cb/Cr方式之类的预定方式，被转换成另一种格式，然后被进一步转换成模拟信号，从而再现和输出视频信号。
在把本技术应用于如此构成的视频处理器1332的情况下，与上述各个实施例相关的本技术可适用于编码/解码引擎1407。换句话说，例如，编码/解码引擎1407可被配置成具有上述图像编码设备100和图像解码设备200的功能。通过如此构成，视频处理器1332可具有和上面参考图 1-52说明的优点相同的优点。
另外，在编码/解码引擎1407中，本技术(换句话说，按照上述各个实施例的图像编码设备和图像解码设备的功能)可用诸如逻辑电路之类的硬件，或者诸如嵌入式程序之类软件实现，或者可利用硬件和软件两者实现。
<视频处理器的另一个结构例子>
图66图解说明本技术适用于的视频处理器1332(图64)的示意结构的另一个例子。在图66中图解所示的例子的情况下，视频处理器1332 具有按照预定方式，编码和解码视频数据的功能。
更具体地，如图66中图解所示，视频处理器1332包括：控制单元 1511；显示接口1512；显示引擎1513；图像处理引擎1514；和内部存储器1515。另外，视频处理器1332包括：编解码器引擎1516；存储接口 1517；复用/分用单元(MUX DMUX)1518；网络接口1519；和视频接口1520。
控制单元1511控制布置在视频处理器1332内的各个处理单元，比如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎 1516的操作。
如图66中图解所示，例如，控制单元1511包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制布置在视频处理器 1332内的各个处理单元的操作的程序等。主CPU 1531按照所述程序等，生成控制信号，并把控制信号提供给各个处理单元(换句话说，控制各个处理单元的操作)。副CPU 1532完成主CPU 1531的辅助任务。例如，副 CPU1532执行主CPU 1531执行的程序的子处理、子例程等。系统控制器 1533通过进行将由主CPU 1531和副CPU 1532执行的程序的指定等，控制主CPU 1531和副CPU 1532的操作。
在控制单元1511的控制下，显示接口1512把图像数据输出给例如连接模块1321等。例如，显示接口1512把作为数字数据的图像数据转换成模拟信号，并把模拟信号作为再现的视频信号，或者为数字数据的图像数据，输出给连接模块1321的监视设备等。
在控制单元1511的控制下，显示引擎1513对图像数据进行诸如格式变换、尺寸变换和色域变换之类的各种变换处理，以便匹配显示图像的监视设备等的硬件规范。
在控制单元1511的控制下，图像处理引擎1514对图像数据进行诸如改善图像质量的滤波处理之类的预定图像处理。
内部存储器1515是布置在视频处理器1332内的由显示引擎1513、图像处理引擎1514和编解码器引擎1516共用的存储器。例如，内部存储器1515用于显示引擎1513、图像处理引擎1514和编解码器引擎1516 之间的数据交换。例如，内部存储器1515保存从显示引擎1513、图像处理引擎1514或编解码器引擎1516供给的数据，和在必要时(例如，按照请求)，把数据提供给显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可用任何种类的存储器件实现，不过通常，内部存储器常常用于保存容量较小的数据，比如以块为单位的图像数据，或者参数，因而最好用容量较小(与外部存储器1312相比)，并且响应速度高的半导体存储器，比如静态随机存取存储器(SRAM)实现内部存储器。
编解码器引擎1516进行与图像数据的编码和解码相关的处理。编解码器引擎1516符合的编码/解码方式是任意的，编码/解码方式的数目可以为1或者多个。例如，编解码器引擎1516可具有多个编码/解码方式的编解码功能，并通过利用选择的编码/解码方式之一，进行图像数据的编码或者编码数据的解码。
在图66中图解所示的例子中，作为与编解码器相关的处理的功能块，编解码器引擎1516例如包括MPEG-2Video 1541、AVC/H.2641542、 HEVC/H.2651543、HEVC/H.265(可扩展)1544、HEVC/H.265(多视点)1545 和MPEG-DASH 1551。
MPEG-2Video 1541是按照MPEG-2方式，编码或解码图像数据的功能块。AVC/H.2641542是按照AVC方式，编码或解码图像数据的功能块。 HEVC/H.2651543是按照HEVC方式，编码或解码图像数据的功能块。 HEVC/H.265(可扩展)1544是按照HEVC方式，进行图像数据的可扩展编码或可扩展解码的功能块。HEVC/H.265(多视点)1545是按照HEVC方式，进行图像数据的多视点编码或多视点解码的功能块。
MPEG-DASH 1551是按照MPEG-基于HTTP的动态自适应流式传输 (MPEG-DASH)方式，传送和接收图像数据的功能块。MPEG-DASH是一种通过利用超文本传输协议(HTTP)，进行视频流式传输的技术，其特征之一是以片段为单位，选择并传送预先准备的分辨率等彼此不同的多个编码数据之中的适当编码数据。MPEG-DASH 1551进行符合标准的流的生成，流的传输控制等，并利用上面说明的MPEG-2Video 1541～HEVC/H.265 (多视点)1545编码/解码图像数据。
存储接口1517是用于外部存储器1312的接口。从图像处理引擎1514 或编解码器引擎1516供给的数据通过存储接口1517，被提供给外部存储器1312。另外，从外部存储器1312读取的数据通过存储接口1517，被提供给视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用/分用单元(MUX DMUX)1518进行与图像相关的各种数据，比如编码数据的比特流、图像数据和视频信号的复用和分用。复用/分用方法是任意的。例如，在进行复用之际，复用/分用单元(MUX DMUX)1518不仅可把多个数据布置成一个数据，而且还可向该数据中添加预定的头部信息。另外，在进行分用之际，复用/分用单元(MUX DMUX)1518不仅可把一个数据分成多个部分，而且还可向每个分割的数据部分中添加预定的头部信息等。换句话说，复用/分用单元(MUX DMUX)1518可通过复用/分用处理，转换数据的格式。例如，复用/分用单元(MUX DMUX)1518可通过复用比特流，把比特流转换成为传输用格式的传输流，或者记录文件格式的数据 (文件数据)。显然，通过分用处理，可以进行其逆变换。
网络接口1519是专用于宽带调制解调器1333、连接模块1321等的接口。视频接口1520是专用于连接模块1321、摄像头1322等的接口。
下面，说明这种视频处理器1332的操作的例子。例如，当通过连接模块1321、宽带调制解调器1333等，从外部网络接收传输流时，所述传输流通过网络接口1519被提供给复用/分用单元(MUX DMUX)1518，被分用，并被编解码器引擎1516解码。对于利用编解码器引擎1516进行的解码处理获得的图像数据，图像处理引擎1514进行预定的图像处理，显示引擎1513进行预定变换。随后，作为结果的图像数据通过显示接口 1512，被提供给连接模块1321等，从而其图像被显示在监视器上。另外，例如，利用编解码器引擎1516进行的解码处理获得的图像数据被编解码器引擎1516重新编码，被复用/分用单元(MUX DMUX)1518复用，被转换成文件数据，通过视频接口1520，被输出给例如连接模块1321等，并被记录在各种记录介质上。
另外，例如，通过对利用连接模块1321等，从未图示的记录介质读取的图像数据编码而获得的编码数据的文件数据通过视频接口1520，被提供给复用/分用单元(MUX DMUX)1518，被分用，并被编解码器引擎1516 解码。对于利用编解码器引擎1516进行的解码处理获得的图像数据，图像处理引擎1514进行预定的图像处理，显示单元1513进行预定变换。随后，作为结果的图像数据通过显示接口1512，被提供给例如连接模块 1321等，随后其图像被显示在监视器上。此外，例如，利用编解码器引擎1516进行的解码处理获得的图像数据被编解码器引擎1516重新编码，被复用/分用单元(MUX DMUX)1518复用，被转换成传输流，通过网络接口 1519被提供给例如连接模块1321、宽带调制解调器1333等，随后被传送给未图示的另一个设备。
这里，利用内部存储器1515或外部存储器1312，进行布置在视频处理器1332内的各个处理单元之间的图像数据或其它数据的传输/接收。另外，电源管理模块1313例如控制向控制单元1511的供电。
在把本技术应用于如此构成的视频处理器1332的情况下，按照上述各个实施例的本技术可适用于编解码器引擎1516。换句话说，例如，编解码器引擎1516可被配置成包括实现按照上述实施例的图像编码设备 100和图像解码设备200的功能块。通过如此构成，视频处理器1332可获得和上面参考图1-52说明的优点相似的优点。
另外，在编解码器引擎1516中，本技术(换句话说，按照上述各个实施例的图像编码设备和图像解码设备的功能)可利用诸如逻辑电路之类的硬件，或诸如嵌入式程序之类的软件实现，或者可利用硬件和软件两者实现。
尽管如上说明了视频处理器1332的结构的两个例子，不过，视频处理器1332的结构是任意的，可以是除上述两个例子外的结构。这里，可以一个半导体芯片或多个半导体芯片的形式，构成视频处理器1332。例如，可以三维层叠LSI的形式，构成视频处理器。另外，可用多个LSI 实现视频处理器。
(对设备的应用例子)
视频机组1300可内置在处理图像数据的各个设备中。例如，视频机组1300可内置在电视机900(图57)、移动电话机920(图58)、记录/再现设备940(图59)、成像设备960(图60)等中。通过把视频机组1300内置于其中，所述设备可获得与上面参考图1-52说明的优点相似的优点。
另外，例如，视频机组1300也可内置在终端设备，比如图61中图解所示的数据传输系统1000的个人计算机1004、AV设备1005、平板设备1006和移动电话机1007，图62中图解所示的数据传输系统1100的广播站1101和终端设备1102，和图69中图解所示的成像系统1200的成像设备1201和可扩展编码数据存储设备1202等中。通过把视频机组1300 内置于其中，所述设备可获得与上面参考图1-52说明的优点相似的优点。
此外，尽管结构是上述视频机组1300的各种结构的一部分，不过，在所述结构包括视频处理器1332的情况下，可以本技术适用于的结构的形式，实施所述结构。例如，可以只有视频处理器1332被实施成本技术适用于的视频处理器。另外，例如，如上所述，用虚线1341表示的处理器、视频模块1311等可被实施成本技术适用于的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电源管理模块1313和前端模块1314可被结合，以致被实施成本技术适用于的视频单元1361。按照所述结构任意之一，可以获得和上面参考图1-52说明的优点相似的优点。
换句话说，类似于视频机组1300的情况，任何结构可被内置在处理图像数据的各种设备中，只要该结构包括视频处理器1332。例如，视频处理器1332，用虚线1341表示的处理器，视频模块1311或者视频单元 1361可被内置在电视机900(图57)，移动电话机920(图58)，记录/再现设备940(图59)，成像设备960(图60)，图61中图解所示的数据传输系统1000的诸如个人计算机1004、AV设备1005、平板设备1006和移动电话机1007之类的终端设备，图62中图解所示的数据传输系统1100的广播站1101和终端设备1102，和图63中图解所示的成像系统1200的成像设备1201和可扩展编码数据存储设备1202等中。通过把本技术适用于的任意一种结构内置于设备中，类似于视频机组1300的情况，所述设备能够获得和上面参考图1-52说明的优点相似的优点。
<9.第九实施例>
<MPEG-DASH的应用例子>
另外，本技术也可适用于以片段为单位，从预先准备的分辨率等彼此不同的多项编码数据中，选择和使用适当数据的HTTP流式传输的内容再现系统，比如下面说明的MPEGDASH。
<内容再现系统的概况>
首先，参考图67-69，示意说明本技术可适用于的内容再现系统。
下面，首先参考图67和68，说明为这样的各个实施例所共有的基本结构。
图67是图解说明内容再现系统的结构的说明图。如图67中图解所示，内容再现系统包括：内容服务器1610和1611；网络1612；和内容再现设备1620(客户端设备)。
内容服务器1610和1611与内容再现设备1620通过网络1612连接。网络1612是从连接到网络1612的设备传送的信息的有线或无线传输线路。
例如，网络1612包括因特网，电话网，诸如卫星通信网络之类的公共网络，包括以太网(注册商标)的各种局域网(LAN)，广域网(WAN)等。另外，网络1612可包括诸如网际协议-虚拟专用网(IP-VPN)之类的专用网络。
内容服务器1610编码内容数据，生成并保存包括编码数据和所述编码数据的元信息的数据文件。在内容服务器1610生成MP4格式的数据文件的情况下，编码数据对应于“mdat”，元信息对应于“moov”。
这里，内容数据可以是音乐、演讲、广播节目等的音乐数据，诸如电影、电视节目、视频程序、照片、文档、绘画或图表的视频数据，游戏，软件。
这里，内容服务器1610对于相同内容，生成具有不同比特率的多个数据文件。另外，响应来自内容再现设备1620的内容再现请求，内容服务器1611在内容服务器1610的URL的信息中，包含由内容再现设备1620 添加到该ULR中的参数的信息，然后把作为结果的信息传送给内容再现设备1620。下面参考图68，更具体地说明相关内容。
图68是图解说明图67中例示的内容再现系统中的数据的流动的说明图。内容服务器1610以不同的比特率，编码相同的内容，从而如图68 中图解所示，生成2Mbps的文件A，1.5Mbps的文件B，1Mbps的文件C。相对地，文件A具有高比特率，文件B具有标准比特率，而文件C具有低比特率。
如图68中图解所示，各个文件的编码数据被分成多个片段。例如，文件A的编码数据被分成片段“A1”、“A2”、“A3”、…、“An”，文件B的编码数据被分成片段“B1”、“B2”、“B3”、…、“Bn”，而文件C的编码数据被分成片段“C1”、“C2”、“C3”、…、“Cn”。
另外，以利用始于MP4的同步样本(例如，AVC/H.264的视频编码中的IDR-图像)的可被单独再现的一项或两项或更多项视频编码数据和音频编码数据的构成样本的形式，构成各个片段。例如，在用具有15帧的固定长度的图像组(GOP)，编码每秒30帧的视频数据的情况下，各个片段可以是对应于4个GOP的2秒的视频和音频编码数据，或者对应于20 个GOP的10秒的视频和音频编码数据。
另外，各个文件中的具有相同排列顺序的片段的再现范围(从内容的起点起的时间位置的范围)相同。例如，片段“A2”、片段“B2”和片段“C2”的再现范围相同。另外，在各个片段是2秒的编码数据的情况下，片段“A2”、片段“B2”和片段“C2”的再现范围都是对应内容的2秒到4秒。
当生成均由这样的多个片段构成的文件A～C时，内容服务器1610 保存文件A～C。随后，如图68中图解所示，内容服务器1610把构成不同文件的片段顺序传送给内容再现设备1620，然后内容再现设备1620 进行接收的片段的流式再现。
这里，按照本实施例的内容服务器1610把包含各个编码数据的比特率信息和存取信息的播放列表文件(下面称为媒体呈现描述(MPD))传送给内容再现设备1620，内容再现设备1620根据MPD，从多个比特率中选择一个比特率，然后请求内容服务器1610传送与所选比特率对应的片段。
尽管图67中只图解说明了一个内容服务器1610，不过显然本公开并不局限于这样的相关例子。
图69是图解说明MPD的具体例子的说明图。如图69中图解所示，在MPD中，包含与具有彼此不同的比特率(BANDWIDTH)的多个编码数据相关的存取信息。例如，图69中图解所示的MPD表示256Kbps、1.024Mbps、 1.384Mbps、1.536Mbps和2.048Mbps的各条编码数据的存在，包括与各个编码数据相关的存取信息。内容再现设备1620可根据MPD，动态地改变流式地再现的编码数据的比特率。
在图67中，作为内容再现设备1620的例子，例示了移动终端，内容再现设备1620并不局限于这样的例子。例如，内容再现设备1620可以是个人计算机(PC)、家用视频处理设备(DVD记录器、录像机等)、个人数字助手(PDA)、家用游戏机或家用电器之类信息处理设备。另外，内容再现设备1620可以是诸如移动电话机、个人手提移动电话系统(PHS)、移动音乐再现设备、移动视频处理设备或移动游戏机之类信息处理设备。
<内容服务器1610的结构>
如上，参考图67-69，说明了内容再现系统的概况。下面参考图70，说明内容服务器1610的结构。
图70是图解说明内容服务器1610的结构的功能方框图。如图70中图解所示，内容服务器1610包括：文件生成单元1631；存储单元1632；和通信单元1633。
文件生成单元1631包括编码内容数据的编码器1641，生成利用相同内容的比特率相互不同的多项编码数据，和上面说明的MPD。例如，在分别生成256Kbps、1.024Mbps、1.384Mbps、1.536Mbps和2.048Mbps的编码数据的情况下，文件生成单元1631生成如图69中图解所示的MPD。
存储单元1632保存文件生成单元1631生成的具有不同比特率的多项编码数据和MPD。存储单元1632可以是诸如非易失性存储器、磁盘、光盘或磁光(MO)盘之类的存储介质。非易失性存储器的例子包括电可擦可编程只读存储器(EEPROM)和可擦可编程ROM(EPROM)。另外，磁盘的例子包括硬盘和圆盘形磁性材料盘。光盘的例子包括压缩光盘(CD)、可记录数字通用光盘(DVD-R)和蓝光光盘(BD(注册商标))。
通信单元1633是与内容再现设备1620的接口，通过网络1612与内容再现设备1620通信。更具体地说，通信单元1633具有作为按照HTTP，与内容再现设备1620通信的HTTP服务器的功能。例如，通信单元1633 把MPD传送给内容再现设备1620，从存储单元1632提取根据MPD，从内容再现设备1620按照HTTP请求的编码数据，然后把所述编码数据作为 HTTP响应传送给内容再现设备1620。
<内容再现设备1620的结构>
如上，说明了按照本实施例的内容服务器1610的结构。下面参考图 71，说明内容再现设备1620的结构。
图71是图解说明内容再现设备1620的结构的功能方框图。如图71 中图解所示，内容再现设备1620包括：通信单元1651；存储单元1652；再现单元1653；选择单元1654；和当前位置获取单元1656。
通信单元1651是与内容服务器1610的接口，向内容服务器1610请求数据，并从内容服务器1610获得所述数据。更具体地说，通信单元1651 具有作为按照HTTP，与内容再现设备1620通信的HTTP客户端的功能。例如，通过利用HTTP Range，通信单元1651能够有选择地从内容服务器 1610获得MPD和编码数据的片段。
存储单元1652保存与内容的再现相关的各种信息。例如，存储单元 1652顺序缓存通信单元1651从内容服务器1610获得的片段。缓存在存储单元1652中的编码数据的片段按照先入先出(FIFO)，被顺序提供给再现单元1653。
另外，存储单元1652根据从后面说明的内容服务器1611请求的把参数加入记载在MPD中的内容的URL中的指令，利用通信单元把参数加入URL中，并保存访问所述URL的定义。
再现单元1653顺序再现从存储单元1652供给的片段。更具体地，再现单元1653进行片段的解码、DA转换、渲染等。
选择单元1654在相同内容内，顺序选择待获得的与包含在MPD中的一个比特率对应的编码数据的片段。例如，当选择单元1654按照网络 1612的带宽，顺序选择片段“A1”、“B2”和“A3”时，如图68中图解所示，通信单元1651顺序从内容服务器1610获得片段“A1”、“B2”和“A3”。
当前位置获取单元1656获得内容再现设备1620的当前位置，例如，可由获得全球定位系统(GPS)接收器等的当前位置的模块构成。另外，当前位置获取单元1656可被配置成利用无线网络，获得内容再现设备1620 的当前位置。
<内容服务器1611的结构>
图72是图解说明内容服务器1611的结构例子的功能方框图。如图 72中图解所示，内容服务器1611包括存储单元1671和通信单元1672。
存储单元1671保存MPD的URL的信息。响应来自请求内容的再现的内容再现设备1620的请求，MPD的URL的信息从内容服务器1611被传送给内容再现设备1620。另外，当为内容再现设备1620提供MPD的URL 的信息时，存储单元1671保存在把参数添加到给内容再现设备1620的在MPD中记述的ULR之际的定义信息。
通信单元1672是与内容再现设备1620的接口，通过网络1612，与内容再现设备1620通信。换句话说，通信单元1672从请求内容的再现的内容再现设备1620，接收对MPD的URL的信息的请求，并把MPD的URL 的信息传送给内容再现设备1620。在从通信单元1672传送的MPD的URL 中，包含用于通过利用内容再现设备1620添加参数的信息。
在内容服务器1611和内容再现设备1620共享的定义信息中，不同地设定由内容再现设备1620添加到MPD的URL的参数。例如，内容再现设备1620的当前位置的信息，利用内容再现设备1620的用户的用户ID，内容再现设备1620的存储器大小，内容再现设备1620的存储容量等可被内容再现设备1620添加到MPD的URL中。
在具有上述结构的内容再现系统中，通过应用如上参考图1-52说明的本技术，能够获得与上面参考图1-52说明的优点类似的优点。
换句话说，内容服务器1610的编码器1641具有按照上述实施例的图像编码设备100的功能。另外，内容再现设备1620的再现单元1653 具有按照上述实施例的图像解码设备200的功能。因而，能够改善在图像中的色差信号的格式为4:2:2的情况下的帧内预测的编码效率。
另外，在内容再现系统中，通过传送和接收按照本技术编码的数据，能够改善在图像中的色差信号的格式为4:2:2的情况下的帧内预测的编码效率。
<10.第十实施例>
<Wi-Fi标准的无线通信系统的应用例子>
另外，本技术也可适用于以片段为单位，从预先准备的分辨率等相互不同的多项编码数据中，选择和使用适当编码数据的Wi-Fi标准的无线通信系统。
<无线通信设备的基本操作的例子>
下面说明本技术可适用于的无线通信系统的无线通信设备的基本操作的例子。
首先，建立对等(P2P)连接，传送和接收起到特定应用的操作为止的无线分组。
之后，在第二层的连接之前，指定要使用的特定应用，建立P2P连接，然后传送和接收直到所述特定应用的操作为止的无线分组。之后，在第二层的连接之后，传送和接收其中特定应用被启动的情况的无线分组。
<在启动特定应用的操作之际的通信的例子>
图73和74图解说明在建立对等(P2P)连接，并且操作特定应用之前的无线分组的传输/接收的例子，是图解说明构成无线通信的基础的各个设备进行的通信处理的例子的序列图。更具体地，图解说明导致由Wi-Fi 联盟标准化的Wi-Fi Direct标准(也可被称为Wi-Fi P2P)的连接的直接连接建立序列的例子。
这里，在Wi-Fi Direct中，多个无线通信设备分别检测其它设备的存在(设备发现，服务发现)。随后，当进行连接设备选择时，在选择的设备之间，利用WPS(Wi-Fi保护设置)，进行设备认证，从而建立直接连接。另外，在Wi-Fi Direct中，确定多个无线通信设备中的每个设备承担的群组所有者的角色或者客户端的角色，从而形成通信群组。
然而，在通信处理的例子中，一些分组传输/接收处理未被例示。例如，在初次连接之际，如上所述，为了使用WPS，分组交换是必需的，在认证请求/响应等的交换中，分组交换也是必需的。然而在图73和74中，未例示这样的分组交换，只例示了第二次连接和后续连接中的分组交换。
在图73和74中，尽管图解说明了第一无线通信设备1701和第二无线通信设备1702之间的通信处理的例子，不过，其它无线通信设备之间的通信处理与此类似。
首先，在第一无线通信设备1701和第二无线通信设备1702之间，进行设备发现(1711)。例如，第一无线通信设备1701传送探查请求(响应请求信号)，从第二无线通信设备1702接收对该探查请求的探查响应(响应信号)。因而，第一无线通信设备1701和第二无线通信设备1702 之一能够发现另一个的存在。另外，通过设备发现，能够获得伙伴设备的设备名和种类(TV、PC、智能电话机等)。
随后，在第一无线通信设备1701和第二无线通信设备1702之间，进行服务发现(1712)。例如，第一无线通信设备1701传送查询通过设备发现所发现的第二无线通信设备1702支持的服务的服务发现查询。随后，第一无线通信设备1701从第二无线通信设备1702接收服务发现响应，从而获得第二无线通信设备1702支持的服务。换句话说，通过服务发现，能够获得伙伴能够执行的服务等。伙伴能够执行的服务的例子包括服务和协议(数字生活网络联盟(DLNA)、数字媒体渲染器(DMR)等)。
随后，用户进行选择连接伙伴的操作(连接伙伴选择操作)(1713)。可以只在第一无线通信设备1701和第二无线通信设备1702之一中，进行所述连接伙伴选择操作。例如，在第一无线通信设备1701的显示单元中，显示连接伙伴选择屏幕，在所述连接伙伴选择屏幕上，利用用户操作，选择第二无线通信设备1702作为连接伙伴。
当用户进行了连接伙伴选择操作(1713)时，在第一无线通信设备 1701和第二无线通信设备1702之间，进行群组所有者协商(1714)。在图 73和74中，图解说明了其中作为群组所有者协商的结果，第一无线通信设备1701成为群组所有者1715，而第二无线通信设备1702成为客户端 1716的例子。
随后，通过在第一无线通信设备1701和第二无线通信设备1702之间，进行处理(1717～1720)，建立直接连接。换句话说，顺序进行关联 (L2(第二层)链路建立)(1717)和安全链路建立(1718)另外，顺序进行与 IP地址分配(1719)、简单服务发现协议(SSDP)等相应的L3上的L4设置 (1720)。这里，L2(层2)表示第二层(数据链路层)，L3(层3)表示第三层(网络层)，L4(层4)表示第四层(传输层)。
随后，用户进行特定应用的指定/启动操作(应用指定/启动操作) (1721)。可以只在第一无线通信设备1701和第二无线通信设备1702之一中，进行所述应用指定/启动操作。例如，在第一无线通信设备1701 的显示单元上，显示应用指定/启动操作屏幕，在该应用指定/启动操作屏幕上，利用用户操作，选择特定应用。
当用户进行了应用指定/启动操作(1721)时，在第一无线通信设备 1701和第二无线通信设备1702之间，执行与该应用指定/启动操作对应的特定应用(1722)。
这里，考虑在Wi-Fi Direct标准之前的标准(由IEEE 802.11标准化的规范)的范围内，进行接入点(AP)和站(STA)之间的连接的情况。这种情况下，在第二层中进行连接之前(用IEEE 802.11的用语，在关联之前)，不能事先知道将与之进行连接的设备。
与此相反，如图73和74中图解所示，在Wi-Fi Direct中，当在设备发现或服务发现(可选)中，进行对候选连接伙伴的搜索时，能够获得连接伙伴的信息。例如，连接伙伴的该信息是基本设备种类、各个连接伙伴遵从的特定应用等。随后，根据获得的连接伙伴的信息，可以允许用户选择连接伙伴。
通过扩展这种结构，能够实现其中在第二层中进行连接之前，指定特定应用，选择连接伙伴，并在所述选择之后，自动启动特定应用的无线通信系统。图76中图解说明了这种情况的一直到连接的序列的例子。另外，图75中图解所示在该通信处理中传送和接收的帧的帧格式的结构例子。
<帧格式的结构例子>
图75是示意地图解说明在无线通信系统的各个设备进行的通信处理中传送和接收的帧的帧格式的结构例子的示图。换句话说，图75图解说明用于建立第二层中的连接的MAC帧的结构例子。更具体地，图75是用于实现图76中图解所示的序列的关联请求/响应(1787)的帧格式的例子。
这里，MAC头部由帧控制(1751)～序列控制(1756)构成。为了传送关联请求，在帧控制(1751)中设定B3B2＝“0b00”和B7B6B5B4＝“0b0000”。另外，为了封装关联响应，在帧控制(1751)中设定B3B2＝“0b00”和 B7B6B5B4＝“0b0001”。这里，“0b00”表示二进制“00”，“0b0000”表示二进制“0000”，而“0b0001”表示二进制“0001”。
这里，图75中图解所示的MAC帧基本上具有在IEEE 802.11-2007 规范的7.2.3.4和7.2.3.5节中记载的关联请求/响应帧格式。然而，MAC 帧不仅包括在IEEE 802.11的规范中定义的信息元素(下面简称为IE)，而且包括独特地扩展的与在该规范中定义的IE不同的扩展IE。
另外，为了表示厂家特有的IE(1760)，在IE种类(信息元素ID(1761)) 中，设定十进制数“127”。在这种情况下，按照IEEE 802.11-2007规范的7.3.2.26节，长度字段(1762)和OUI字段(1763)跟在IE种类之后，之后，布置厂家特有内容(1764)。
作为厂家特有内容(1764)的内容，首先，布置表示厂家特有IE的种类的字段(IE种类(1765))。之后，可以考虑其中保存多个子元素(1766) 的结构。
子元素(1766)的内容可被认为包括待使用的特定应用的名称 (1767)，和在操作所述特定应用之际的设备的角色(1768)。另外，可以考虑其中包括诸如用于所述特定应用或其控制的端口号之类的信息(用于L4设置的信息)(1769)，和与所述特定应用内的能力相关的信息(能力信息)。这里，例如，在指定的特定应用是DLNA的情况下，能力信息是用于指定关于音频传输/再现的遵从，关于视频传输/再现的遵从等的信息。
在具有如上所述的结构的无线通信系统中，通过应用如上参考图 1-52说明的本技术，能够获得与上面参考图1-52说明的优点类似的优点。换句话说，能够改善在图像中的色差信号的格式为4:2:2的情况下的帧内预测的编码效率。另外，在上述无线通信系统中，通过传送和接收对其应用本技术的编码数据，能够改善在图像中的色差信号的格式为 4:2:2的情况下的帧内预测的编码效率。
在本说明书中，说明了其中在编码流中，复用各种信息，并从编码方向传送给解码方的例子。不过，传送这种信息的技术并不局限于这种技术。例如，这种信息可作为与编码比特流关联的单独数据被传送或记录，而不在编码流中被复用。这里，用语“关联”表示在解码包含在比特流中的图像(它可以是图像的一部分，比如切片、块等)和对应于所述图像的信息之际，彼此联系地获得所述图像和所述信息。换句话说，可在除图像(或比特流)的传输线路外的传输线路中，传送所述信息。另外，所述信息可被记录在除用于图像(或比特流)的记录介质外的记录介质 (或者相同记录介质的不同记录区域)上。此外，可以任意部分为单位，比如多帧、一帧或者一帧的一部分，彼此关联所述信息和图像(或比特流)。
本技术可以采用如下所述的结构。
(1)一种图像编码设备，包括：参照层指定信息生成单元，在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，所述参照层指定信息生成单元生成指定在层间预测中参照的层的参照层指定信息；和编码图像数据的编码单元。
(2)按照(1)所述的图像编码设备，还包括预测控制单元，所述预测控制单元根据参照层指定信息生成单元生成的参照层指定信息，控制层间预测。
(3)按照(1)或(2)所述的图像编码设备，还包括传输单元，所述传输单元利用切片头部，传送参照层指定信息。
(4)按照(1)-(3)任意之一所述的图像编码设备，其中在当前层不是层0，并且当前层的参照层的数目不为“0”的情况下，参照层指定信息生成单元生成参照层指定信息。
(5)按照(4)所述的图像编码设备，还包括层间可预测性信息生成单元，所述层间可预测性信息生成单元生成表示是否允许层间预测的层间可预测性信息。
(6)按照(5)所述的图像编码设备，其中在层间可预测性信息表示允许层间预测，并且当前层的参照层的数目为多个的情况下，参照层指定信息生成单元还生成参照层指定信息。
(7)按照(6)所述的图像编码设备，还包括参照层数目信息生成单元，所述参照层数目信息生成单元生成表示在执行层间预测时参照的其他层的数目的参照层数目信息。
(8)按照(7)所述的图像编码设备，其中在层间预测中的可参照层的数目并不限于1的情况下，参照层数目信息生成单元可生成参照层数目信息。
(9)一种图像编码方法，包括：在对于由多层构成的整个图像数据设定的，在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，生成指定在层间预测中参照的层的参照层指定信息；和编码图像数据。
附图标记列表
100 图像编码设备
101 基本层图像编码单元
102 增强层图像编码单元
103 复用单元
104 控制单元
151 头部信息生成单元
152 预测控制单元
161 切片头部生成单元
162 序列参数集生成单元
163 层间参照图像集生成单元
171 从属判定单元
172 切片种类判定单元
173 层判定单元
174 参照层数判定单元
175 层间可预测性判定单元
176 层间参照图像集判定单元
177 集数判定单元
178 层间预测相关语法生成单元
179 参数集生成单元
180 索引生成单元
181 层间可预测性信息生成单元
182 参照层数目信息生成单元
183 参照层指定信息生成单元
184 帧间可预测性信息生成单元
185 集数信息生成单元
186 参数集生成单元
187 参照层数目信息生成单元
188 参照层指定信息生成单元
200 图像解码设备
201 分用单元
202 基本层图像解码单元
203 增强层图像解码单元
251 头部信息分析单元
252 预测控制单元
261 切片头部分析单元
262 序列参数集分析单元
263 层间参照图像集分析单元
271 从属判定单元
272 切片种类判定单元
273 层判定单元
274 参照层数判定单元
275 层间可预测性判定单元
276 层间参照图像集判定单元
277 集数判定单元
278 层间预测相关语法分析单元
279 参数集分析单元
280 索引分析单元
281 层间可预测性信息分析单元
282 参照层数目信息分析单元
283 参照层指定信息分析单元
284 帧间可预测性信息分析单元
285 集数信息分析单元
286 参数集分析单元
287 参照层数目信息分析单元
288 参照层指定信息分析单元

Claims (18)

1.一种图像编码设备，包括：
参照层指定信息生成单元，只有在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，所述参照层指定信息生成单元才生成指定在层间预测中参照的层的参照层指定信息，其中，当未生成参照层指定信息时，参照层指定信息被推断为等于在执行层间预测时参照的当前层的层号；和
编码图像数据的编码单元。
2.按照权利要求1所述的图像编码设备，还包括预测控制单元，所述预测控制单元基于参照层指定信息生成单元生成的参照层指定信息，控制层间预测。
3.按照权利要求1所述的图像编码设备，还包括传输单元，所述传输单元利用切片头部传送参照层指定信息。
4.按照权利要求1所述的图像编码设备，其中在当前层不是层0，并且当前层的参照层的数目不为“0”的情况下，参照层指定信息生成单元生成参照层指定信息。
5.按照权利要求4所述的图像编码设备，还包括层间可预测性信息生成单元，所述层间可预测性信息生成单元生成表示是否允许层间预测的层间可预测性信息。
6.按照权利要求5所述的图像编码设备，其中在层间可预测性信息表示允许层间预测，并且当前层的参照层的数目为多个的情况下，参照层指定信息生成单元还生成参照层指定信息。
7.按照权利要求6所述的图像编码设备，还包括参照层数目信息生成单元，所述参照层数目信息生成单元生成表示在执行层间预测时参照的其他层的数目的参照层数目信息。
8.按照权利要求7所述的图像编码设备，其中在层间预测中的可参照层的数目并不限于1的情况下，参照层数目信息生成单元生成参照层数目信息。
9.一种图像编码方法，包括：
只有在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，才生成指定在层间预测中参照的层的参照层指定信息，其中，当未生成参照层指定信息时，参照层指定信息被推断为等于在执行层间预测时参照的当前层的层号；和
编码图像数据。
10.一种图像解码设备，包括：
参照层指定信息分析单元，只有在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，所述参照层指定信息分析单元才从头部信息获得指定在层间预测中参照的层的参照层指定信息；和
解码单元，所述解码单元通过基于参照层指定信息分析单元获得的参照层指定信息执行层间预测，解码编码有图像数据的编码数据，其中，当未生成参照层指定信息时，参照层指定信息被推断为等于在执行层间预测时参照的当前层的层号。
11.按照权利要求10所述的图像解码设备，还包括预测控制单元，所述预测控制单元基于参照层指定信息分析单元获得的参照层指定信息，控制解码单元执行的编码数据的解码中的层间预测。
12.按照权利要求10所述的图像解码设备，其中参照层指定信息分析单元从切片头部获得参照层指定信息。
13.按照权利要求10所述的图像解码设备，其中在当前层不是层0，并且当前层的参照层的数目不为“0”的情况下，参照层指定信息分析单元获得参照层指定信息。
14.按照权利要求13所述的图像解码设备，还包括层间可预测性信息分析单元，所述层间可预测性信息分析单元从头部信息获得表示是否允许层间预测的层间可预测性信息。
15.按照权利要求14所述的图像解码设备，其中在层间可预测性信息表示允许层间预测，并且当前层的参照层的数目为多个的情况下，参照层指定信息分析单元获得参照层指定信息。
16.按照权利要求15所述的图像解码设备，还包括参照层数目信息分析单元，所述参照层数目信息分析单元从头部信息获得表示在执行层间预测时参照的其他层的数目的参照层数目信息。
17.按照权利要求16所述的图像解码设备，其中在层间预测中的可参照层的数目不限于1的情况下，参照层数目信息分析单元获得参照层数目信息。
18.一种图像解码方法，包括：
只有在对于由多层构成的整个图像数据设定的在执行层间预测时参照的其他层的最大数目和在执行层间预测时参照的其他层的数目彼此不一致的情况下，才从头部信息获得指定在层间预测中参照的层的参照层指定信息；和
通过基于获得的参照层指定信息执行层间预测，解码编码有图像数据的编码数据，其中，当未生成参照层指定信息时，参照层指定信息被推断为等于在执行层间预测时参照的当前层的层号。
CN201480002300.1A 2013-07-12 2014-06-27 图像编码设备和方法 Active CN104604234B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2013-146807 2013-07-12
JP2013146807 2013-07-12
PCT/JP2014/067121 WO2015005137A1 (ja) 2013-07-12 2014-06-27 画像符号化装置および方法

Publications (2)

Publication Number Publication Date
CN104604234A CN104604234A (zh) 2015-05-06
CN104604234B true CN104604234B (zh) 2019-07-16

Family

ID=52279823

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480002300.1A Active CN104604234B (zh) 2013-07-12 2014-06-27 图像编码设备和方法

Country Status (11)

Country Link
US (2) US10085034B2 (zh)
EP (1) EP3021590A4 (zh)
JP (1) JPWO2015005137A1 (zh)
KR (1) KR20160031990A (zh)
CN (1) CN104604234B (zh)
AU (1) AU2014288482A1 (zh)
BR (1) BR112015004956A2 (zh)
CA (1) CA2883580A1 (zh)
MX (1) MX348561B (zh)
RU (1) RU2662922C2 (zh)
WO (1) WO2015005137A1 (zh)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10063868B2 (en) 2013-04-08 2018-08-28 Arris Enterprises Llc Signaling for addition or removal of layers in video coding
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
US10205949B2 (en) 2014-05-21 2019-02-12 Arris Enterprises Llc Signaling for addition or removal of layers in scalable video
CA2949823C (en) 2014-05-21 2020-12-08 Arris Enterprises Llc Individual buffer management in transport of scalable video
US10187648B2 (en) 2014-06-30 2019-01-22 Sony Corporation Information processing device and method
US10412387B2 (en) 2014-08-22 2019-09-10 Qualcomm Incorporated Unified intra-block copy and inter-prediction
US9918105B2 (en) * 2014-10-07 2018-03-13 Qualcomm Incorporated Intra BC and inter unification
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
US10834419B2 (en) 2016-04-13 2020-11-10 Qualcomm Incorporated Conformance constraint for collocated reference index in video coding
WO2018020299A1 (en) * 2016-07-29 2018-02-01 Chan Kam Fu Lossless compression and decompression methods
CN109565612B (zh) * 2016-08-22 2021-09-03 索尼公司 发送装置、发送方法、接收装置和接收方法
JP7035401B2 (ja) * 2017-09-15 2022-03-15 ソニーグループ株式会社 画像処理装置およびファイル生成装置
JP2019054417A (ja) * 2017-09-15 2019-04-04 ソニー株式会社 画像処理装置およびファイル生成装置
CN110662071B (zh) * 2019-09-27 2023-10-24 腾讯科技（深圳）有限公司 视频解码方法和装置、存储介质及电子装置
FR3101608B1 (fr) 2019-10-02 2021-09-10 Seair Siège à foil pour bateau semi-rigide
CN114762350A (zh) * 2019-11-05 2022-07-15 Lg 电子株式会社 基于切片类型的图像/视频编译方法和设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ITMI20041971A1 (it) * 2004-10-15 2005-01-15 Uni Degli Studi Brescia Metodo di codifica video scalabile
US20080008241A1 (en) * 2004-11-29 2008-01-10 Park Seung W Method and apparatus for encoding/decoding a first frame sequence layer based on a second frame sequence layer
US8619860B2 (en) * 2005-05-03 2013-12-31 Qualcomm Incorporated System and method for scalable encoding and decoding of multimedia data using multiple layers
KR100878812B1 (ko) * 2005-05-26 2009-01-14 엘지전자 주식회사 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법
JP5484725B2 (ja) * 2005-07-21 2014-05-07 トムソン ライセンシング スケーラブルビデオコーディングのための重み付け予測方法及び装置
US8422548B2 (en) * 2006-07-10 2013-04-16 Sharp Laboratories Of America, Inc. Methods and systems for transform selection and management
US7840078B2 (en) * 2006-07-10 2010-11-23 Sharp Laboratories Of America, Inc. Methods and systems for image processing control based on adjacent block characteristics
US8532176B2 (en) * 2006-07-10 2013-09-10 Sharp Laboratories Of America, Inc. Methods and systems for combining layers in a multi-layer bitstream
US7885471B2 (en) * 2006-07-10 2011-02-08 Sharp Laboratories Of America, Inc. Methods and systems for maintenance and use of coded block pattern information
US8059714B2 (en) * 2006-07-10 2011-11-15 Sharp Laboratories Of America, Inc. Methods and systems for residual layer scaling
US8130822B2 (en) * 2006-07-10 2012-03-06 Sharp Laboratories Of America, Inc. Methods and systems for conditional transform-domain residual accumulation
US7991236B2 (en) * 2006-10-16 2011-08-02 Nokia Corporation Discardable lower layer adaptations in scalable video coding
KR20090086960A (ko) * 2006-10-25 2009-08-14 톰슨 라이센싱 컬러 비트 심도 확장성을 지원하기 위한 ｓｖｃ에 대한 새로운 구문 요소
WO2008060126A1 (en) * 2006-11-17 2008-05-22 Lg Electronics Inc. Method and apparatus for decoding/encoding a video signal
EP1933563A1 (en) * 2006-12-14 2008-06-18 Thomson Licensing Method and apparatus for encoding and/or decoding bit depth scalable video data using adaptive enhancement layer residual prediction
WO2008083521A1 (en) * 2007-01-10 2008-07-17 Thomson Licensing Video encoding method and video decoding method for enabling bit depth scalability
US8737474B2 (en) * 2007-06-27 2014-05-27 Thomson Licensing Method and apparatus for encoding and/or decoding video data using enhancement layer residual prediction for bit depth scalability
EP2051527A1 (en) * 2007-10-15 2009-04-22 Thomson Licensing Enhancement layer residual prediction for bit depth scalability using hierarchical LUTs
US20090187960A1 (en) * 2008-01-17 2009-07-23 Joon Hui Lee IPTV receiving system and data processing method
CA2718447C (en) * 2009-04-28 2014-10-21 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, and image coding apparatus
DE102009039095A1 (de) * 2009-08-27 2011-03-10 Siemens Aktiengesellschaft Verfahren und Vorrichtung zum Erzeugen, Decodieren und Transcodieren eines codierten Videodatenstroms
US20130091154A1 (en) * 2010-06-14 2013-04-11 Thomson Licensing Method And Apparatus For Encapsulating Coded Multi-Component Video
US20130097334A1 (en) * 2010-06-14 2013-04-18 Thomson Licensing Method and apparatus for encapsulating coded multi-component video
US20120075436A1 (en) * 2010-09-24 2012-03-29 Qualcomm Incorporated Coding stereo video data
CN108337521B (zh) * 2011-06-15 2022-07-19 韩国电子通信研究院 存储由可伸缩编码方法生成的比特流的计算机记录介质
US10764604B2 (en) * 2011-09-22 2020-09-01 Sun Patent Trust Moving picture encoding method, moving picture encoding apparatus, moving picture decoding method, and moving picture decoding apparatus
KR101652928B1 (ko) * 2012-01-31 2016-09-01 브이아이디 스케일, 인크. 스케일러블 고효율 비디오 코딩(hevc)을 위한 참조 픽처 세트(rps) 시그널링
CN104255031B (zh) * 2012-02-29 2017-12-22 Lg 电子株式会社 层间预测方法和使用层间预测方法的装置
JP5768180B2 (ja) * 2012-03-30 2015-08-26 株式会社日立製作所 画像復号方法及び画像復号装置
US20150139323A1 (en) * 2012-07-24 2015-05-21 Electronics And Telecommunications Research Institute Method of decoding images and device using same
CN104813667B (zh) * 2012-11-15 2018-03-16 联发科技股份有限公司 用于可伸缩视频编码的帧间层预测方法及装置
KR20140087971A (ko) * 2012-12-26 2014-07-09 한국전자통신연구원 계층적 비디오 부호화에서 다중참조계층을 적용한 화면간 부／복호화 방법 및 그 장치
JP6278900B2 (ja) * 2012-12-26 2018-02-14 シャープ株式会社 画像復号装置
US10021388B2 (en) * 2012-12-26 2018-07-10 Electronics And Telecommunications Research Institute Video encoding and decoding method and apparatus using the same
WO2014109607A1 (ko) * 2013-01-10 2014-07-17 삼성전자 주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
GB2509953B (en) * 2013-01-18 2015-05-20 Canon Kk Method of displaying a region of interest in a video stream
US8958477B2 (en) * 2013-04-05 2015-02-17 Vidyo, Inc. Multiple reference layer prediction signaling techniques
EP2978221A4 (en) * 2013-04-05 2016-11-16 Samsung Electronics Co Ltd METHOD AND DEVICE FOR MULTI-LAYER VIDEO DECODING AND MULTI-LAYER VIDEO ENCODING METHOD AND DEVICE
KR20140122673A (ko) * 2013-04-05 2014-10-20 삼성전자주식회사 휘도차를 보상하기 위한 인터 레이어 비디오 부호화 방법 및 그 장치, 비디오 복호화 방법 및 그 장치
US10104374B2 (en) * 2013-06-18 2018-10-16 Vid Scale, Inc. Inter-layer parameter set for HEVC extensions
US9648326B2 (en) * 2013-07-02 2017-05-09 Qualcomm Incorporated Optimizations on inter-layer prediction signalling for multi-layer video coding
WO2015004606A1 (en) * 2013-07-09 2015-01-15 Nokia Corporation Method and apparatus for video coding involving syntax for signalling motion information
US9510001B2 (en) * 2013-07-09 2016-11-29 Electronics And Telecommunications Research Institute Video decoding method and apparatus using the same
CN105210370B (zh) * 2013-07-10 2019-04-12 夏普株式会社 运动图像解码装置
US20150016502A1 (en) * 2013-07-15 2015-01-15 Qualcomm Incorporated Device and method for scalable coding of video information
US9894369B2 (en) * 2013-07-30 2018-02-13 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
US9762909B2 (en) * 2013-07-30 2017-09-12 Kt Corporation Image encoding and decoding method supporting plurality of layers and apparatus using same
KR20150026927A (ko) * 2013-09-03 2015-03-11 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR102246545B1 (ko) * 2013-10-12 2021-04-30 삼성전자주식회사 멀티 레이어 비디오 부호화 방법 및 장치, 멀티 레이어 비디오 복호화 방법 및 장치
US9648348B2 (en) * 2013-10-23 2017-05-09 Qualcomm Incorporated Multi-layer video file format designs
US9628820B2 (en) * 2013-11-19 2017-04-18 Qualcomm Incorporated POC value design for multi-layer video coding
US9674544B2 (en) * 2013-11-25 2017-06-06 Qualcomm Incorporated POC value design for multi-layer video coding
US9942546B2 (en) * 2013-12-12 2018-04-10 Qualcomm Incorporated POC value design for multi-layer video coding
US9854270B2 (en) * 2013-12-19 2017-12-26 Qualcomm Incorporated Device and method for scalable coding of video information
US9948950B2 (en) * 2014-01-03 2018-04-17 Qualcomm Incorporated Disparity vector and/or advanced residual prediction for video coding

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101529911A (zh) * 2006-10-16 2009-09-09 夏普株式会社 用于对多层比特流数据进行信号指示的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
High-level syntax modifications for SHVC;Jill Boyce et al;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR 18-26 Apr. 2013》;20130426;全文
MV-HEVC/SHVC HLS: On signalling and derivation of inter-layer RPS (combining aspects of JCTVC-M0046 and JCTVC-M0269);Ye-Kui Wang et al;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Incheon, KR, 18–26 Apr. 2013》;20130426;第1.2节

Also Published As

Publication number Publication date
CA2883580A1 (en) 2015-01-15
AU2014288482A1 (en) 2015-02-26
US20170070741A1 (en) 2017-03-09
WO2015005137A1 (ja) 2015-01-15
EP3021590A4 (en) 2017-03-29
RU2015107824A3 (zh) 2018-05-21
US10075719B2 (en) 2018-09-11
EP3021590A1 (en) 2016-05-18
US10085034B2 (en) 2018-09-25
CN104604234A (zh) 2015-05-06
KR20160031990A (ko) 2016-03-23
MX2015002870A (es) 2015-07-14
US20150195532A1 (en) 2015-07-09
RU2662922C2 (ru) 2018-07-31
JPWO2015005137A1 (ja) 2017-03-02
BR112015004956A2 (pt) 2018-04-17
MX348561B (es) 2017-06-20
RU2015107824A (ru) 2016-09-27

Similar Documents

Publication Publication Date Title
CN104604234B (zh) 图像编码设备和方法
CN105359522B (zh) 图像解码装置和方法
CN106060540B (zh) 图像处理装置和方法
CN104380732B (zh) 图像处理装置及方法
CN104380752B (zh) 编码设备和编码方法
CN104838659B (zh) 图像处理装置及方法
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN109196868A (zh) 用于产生用于视频图片的区域嵌套消息的方法和系统
CN104798374A (zh) 图像处理设备和图像处理方法
CN107079149A (zh) 图像处理装置和方法
CN104662907B (zh) 图像处理设备和方法
CN105900424A (zh) 解码装置、解码方法、编码装置以及编码方法
CN104584551A (zh) 解码装置、解码方法、编码装置以及编码方法
CN105874801A (zh) 解码设备和解码方法、以及编码设备和编码方法
CN104854868B (zh) 图像处理设备和方法
CN105392016A (zh) 图像处理装置和方法
CN104641646A (zh) 图像处理设备和图像处理方法
CN105659610A (zh) 图像处理设备和方法
CN105659609A (zh) 图像处理设备和方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant