CN105141964B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN105141964B
CN105141964B CN201510479166.0A CN201510479166A CN105141964B CN 105141964 B CN105141964 B CN 105141964B CN 201510479166 A CN201510479166 A CN 201510479166A CN 105141964 B CN105141964 B CN 105141964B
Authority
CN
China
Prior art keywords
unit
motion vector
motion
compression
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201510479166.0A
Other languages
English (en)
Other versions
CN105141964A (zh
Inventor
高桥良知
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN105141964A publication Critical patent/CN105141964A/zh
Application granted granted Critical
Publication of CN105141964B publication Critical patent/CN105141964B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock

Abstract

本发明涉及一种图像处理设备和方法，可以抑制编码/解码需要的存储量的增大。该图像处理设备装备有：运动补偿单元，在当前层的解码期间执行运动补偿；以及第一压缩单元，对当前层的运动向量进行压缩，该运动向量由运动补偿单元重建并且用于其它层的解码期间的运动补偿。可选地，该图像处理设备装备有：运动预测/补偿单元，在当前层的编码期间执行运动预测/补偿；以及第一压缩单元，对当前层的运动向量进行压缩，该运动向量由运动预测/补偿单元生成并且用于其它层的编码期间的运动预测/补偿。例如，本发明可以应用于图像处理设备。

Description

图像处理设备和方法
本申请是申请号为201380045957.1、发明名称为“图像处理设备和方法”、国际申请日为2013年8月21日的专利申请的分案申请，其全部内容通过引用合并于此。
技术领域
本公开内容涉及图像处理设备和方法，更具体地，涉及能够抑制为编码和解码所需的存储容量的增大的图像处理设备和方法。
背景技术
近年来，为了数字化图像信息并且同时以高效率传送和累积信息的目的，已经普及了通过使用特定于图像信息的冗余以及采用通过正交变换(诸如离散余弦变换和运动补偿)执行压缩的编码方案来压缩和编码图像的设备。作为这种编码方案，例如，存在运动图片专家组(MPEG)。
具体地，MPEG 2(ISO/IEC 13818-2)是被定义为通用图像编码方案并且覆盖隔行扫描图像、逐行扫描图像、标准分辨率图像以及高清晰度图像的标准。例如，MPEG 2已经广泛地用于大范围的应用(诸如专业用途和消费者用途)。使用MPEG 2压缩方案，例如，在具有720×480像素的标准分辨率的隔行扫描图像的情况下，分配4至8Mbps的编码量(比特率)。此外，使用MPEG 2压缩方案，例如，在具有1920×1088像素的高分辨率的隔行扫描图像的情况下，分配18至22Mbps的编码量(比特率)。因此，可以实现高压缩率和优秀的图像质量。
MPEG 2主要旨在用于适合于广播的高清晰度编码，但是不支持编码量(比特率)低于MPEG 1的编码量的编码方案(即，高压缩率的编码方案)。随着移动终端的推广，对这种编码方案的需求被认为在将来会增加，因此已经对MPEG 4编码方案进行了标准化。关于图像编码方案，其国际标准已经在1998年12月被批准为ISO/IEC 14496-2。
此外，近年来，为了用于视频会议的图像编码的目的，已经进行了诸如H.26L(国际电信联盟电信标准化部门Q6/16视频编码专家组(ITU-T Q6/16VCEG))的标准的标准化。H.26L比现有编码方案(诸如MPEG 2或者MPEG 4)需要更大的用于编码和解码的计算量，但是已知H.26L实现高编码效率。此外，目前，作为MPEG 4的活动之一，结合甚至在H.26L中不支持的功能以及实现基于H.26L的高编码效率的标准化已经被执行为增强压缩视频编码的联合模型。
作为标准化进度表，已经在2003年3月确立了被称为H.264以及MPEG-4第10部分的国际标准(高级视频编码，在下文中，被称为“AVC”)。
然而，对于大图像帧(诸如用作下一代编码方案的目标的超高清晰度(UHD；4000×2000像素))来说，16×16像素的微块大小可能不是最优的。
在这方面，目前，为了进一步提高与H.264/AVC相比的编码效率的目的，视频编码联合协作团队(JCTVC)已经进行了被称为高效视频编码(HEVC)的编码方案的标准化，该视频编码联合协作团队(JCTVC)是ITU-T和ISO/IEC的联合标准化组织。已经在2012年2月发布了HEVC标准的委员会草案(即，初稿版本规范)(例如，参见非专利文献1)。
同时，在过去，作为HEVC的3D扩展中的一个，已经检查了改变CU水平和提高非基本视图的编码性能的方案。作为用于该方案的手段中的一个，存在视图间运动预测(IVMP)，其中不同视图的编码向量被用作非基本视图的预测向量的候选(例如，参见非专利文献2)。
例如，在HEVC版本1的标准中，存在手段时间MVP(TMVP)，其中不同定时的图片的运动向量可以被用作预测向量的候选。当使用该手段时，针对TMVP保持编码图片的运动向量(MV)。运动向量(MV)以最小4×4单位被编码，但是运动向量(MV)的信息以16×16单位被压缩，直到其在TMVP中被参考为止。该压缩降低运动向量(MV)的预测精度，但是容纳运动向量的存储器的容量可以被减小为1/16。
引用列表
非专利文献
非专利文献1：Benjamin Bross,Woo-Jin Han,Jens-Rainer Ohm,GaryJ.Sullivan,Thomas Wiegand,“High efficiency video coding(HEVC)textspecification draft 6”,JCTVC-H1003ver 20,2012年2月17日
非专利文献2：Yoshiya Yamamoto,Tomohiro Ikai,Tadashi Uchiumi,“3D-CE5.hrelated：Simplification of AMVP”,JCT2-A0014,Joint Collaborative Team on 3DVideo Coding Extension Development of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG111st Meeting:Stockholm,SE,2012年7月16-20日
发明内容
本发明要解决的问题
然而，在IVMP中，没有准备这种运动向量压缩功能。换句话说，在IVMP的情况下，以在另一个层中进行编码时的精度来参考运动向量。例如，当以最小4×4单位对运动向量进行编码时，对于IVMP来说需要容纳4×4精度的运动向量的时间缓冲器。
换句话说，在该时间缓冲器中，需要对于一个视图能够存储至少“一个屏幕的4×4精度的运动向量”的容量。因此，在时间缓冲器中，需要与当存储要被压缩至16×16精度的用于TMVP的运动向量时的16倍一样大的容量。
换句话说，由于IVMP，编码和解码所需的存储容量可能增加。
鉴于上文作出了本公开内容，并且期望能够抑制编码和解码所需的存储容量的增加。
问题的解决方案
本技术的一个方面是一种图像处理设备，包括：运动补偿单元，在当前层的解码中执行运动补偿；以及第一压缩单元，对所述当前层的运动向量进行压缩，该运动向量由所述运动补偿单元重建并且用于其它层的解码中的运动补偿。
图像处理设备还可以包括：第二压缩单元，以高于所述第一压缩单元的压缩率的压缩率对由所述运动补偿单元重建的所述当前层的运动向量进行压缩，并且所述运动补偿单元可以使用由所述第二压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
所述第二压缩单元还可以对由所述第一压缩单元压缩的运动向量进行压缩。
所述运动补偿单元可以使用由所述第一压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
图像处理设备还可以包括：接收单元，接收标志，所述标志指示是否压缩用于其它层的解码中的运动补偿的所述当前层的运动向量；以及选择单元，当通过所述接收单元接收到的所述标志指示运动向量被压缩时，选择由所述第一压缩单元压缩的运动向量作为用于所述其它层的解码中的运动补偿的所述当前层的运动向量，以及当通过所述接收单元接收到的所述标志指示运动向量没有被压缩时，选择没有被所述第一压缩单元压缩的运动向量作为用于所述其它层的解码中的运动补偿的所述当前层的运动向量。
不管通过所述接收单元接收到的所述标志的值如何，所述运动补偿单元都可以使用由所述第一压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
所述第一压缩单元可以从由所述运动补偿单元重建的多个运动向量之中选择作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
所述第一压缩单元可以使用由所述运动补偿单元重建的多个运动向量计算作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
所述运动补偿单元可以使用在所述其它层的解码中的运动补偿中重建的运动向量执行运动补偿。
此外，本技术的一个方面是一种图像处理设备的图像处理方法，包括：由所述图像处理设备在当前层的解码中执行运动补偿；由所述图像处理设备对所述当前层的运动向量进行压缩，该运动向量通过所述运动补偿重建并且用于其它层的解码中的运动补偿。
本技术的另一个方面是一种图像处理设备，包括：运动预测/补偿单元，在当前层的编码中执行运动预测和补偿；以及第一压缩单元，对所述当前层的运动向量进行压缩，该运动向量由所述运动预测/补偿单元生成并且用于其它层的编码中的运动预测和补偿。
图像处理设备还可以包括：第二压缩单元，以高于所述第一压缩单元的压缩率的压缩率对由所述运动预测/补偿单元生成的所述当前层的运动向量进行压缩，并且所述运动预测/补偿单元可以使用由所述第二压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
所述第二压缩单元还可以对由所述第一压缩单元压缩的运动向量进行压缩。
所述运动预测/补偿单元可以使用由所述第一压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
图像处理设备还可以包括：控制单元，控制是否压缩用于所述其它层的解码中的运动预测和补偿的所述当前层的运动向量；选择单元，根据所述控制单元的控制，选择没有被所述第一压缩单元压缩的运动向量和由所述第一压缩单元压缩的运动向量中的任何一个作为用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；生成单元，根据所述控制单元的控制，生成标志，所述标志指示是否压缩用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；以及传送单元，传送由所述生成单元生成的所述标志。
不管所述控制单元的控制如何，所述运动预测/补偿单元都可以使用由所述第一压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
所述第一压缩单元可以从由所述运动预测/补偿单元生成的多个运动向量之中选择作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
所述第一压缩单元可以使用由所述运动预测/补偿单元生成的多个运动向量计算作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
所述运动预测/补偿单元可以使用在所述其它层的编码中的运动预测和补偿中生成的运动向量执行运动预测和补偿。
此外，本技术的另一个方面是图像处理设备的图像处理方法，包括：由所述图像处理设备在当前层的编码中执行运动预测和补偿；以及由所述图像处理设备对所述当前层的运动向量进行压缩，该运动向量通过所述运动预测和补偿生成并且用于其它层的编码中的运动预测和补偿。
在本技术的一个方面中，在当前层的解码中执行运动补偿，以及对当前层的运动向量进行压缩，该运动向量通过运动补偿重建并且用于其它层的解码中的运动补偿。
在本技术的另一个方面中，在当前层的编码中执行运动预测和补偿，以及对当前层的运动向量进行压缩，该运动向量通过运动预测和补偿生成并且用于其它层的编码中的运动预测和补偿。
图像处理设备可以是独立设备或者可以是配置单个图像编码设备或者单个图像解码设备的内部块。
本发明的效果
根据本公开内容，可以对图像进行编码和解码。特别地，可以抑制为编码和解码所需的存储容量的增加。
附图说明
图1是用于描述编码单元的示例性配置的图。
图2是图示示例性的多视点图像编码方案的图。
图3是用于描述IVMP的示例的图表。
图4是用于描述根据相关技术的运动向量参考的示例的图。
图5是用于描述根据本技术的运动向量参考的示例的图。
图6是图示V0图像编码设备的示例性主要配置的框图。
图7是图示V1图像编码设备的示例性主要配置的框图。
图8是图示V2图像编码设备的示例性主要配置的框图。
图9是用于描述编码处理的示例性流程的流程图。
图10是用于描述V0编码处理的示例性流程的流程图。
图11是用于描述V0帧间运动预测处理的示例性流程的流程图。
图12是用于描述V1编码处理的示例性流程的流程图。
图13是用于描述V1帧间运动预测处理的示例性流程的流程图。
图14是用于描述V2编码处理的示例性流程的流程图。
图15是用于描述V2帧间运动预测处理的示例性流程的流程图。
图16是图示V0图像解码设备的示例性主要配置的框图。
图17是图示V1图像解码设备的示例性主要配置的框图。
图18是图示V2图像解码设备的示例性主要配置的框图。
图19是用于描述解码处理的示例性流程的流程图。
图20是用于描述V0解码处理的示例性流程的流程图。
图21是用于描述V0运动补偿处理的示例性流程的流程图。
图22是用于描述V1解码处理的示例性流程的流程图。
图23是用于描述V1运动补偿处理的示例性流程的流程图。
图24是用于描述V2解码处理的示例性流程的流程图。
图25是用于描述V2运动补偿处理的示例性流程的流程图。
图26是用于描述根据本技术的运动向量参考的示例的图。
图27是图示V0图像编码设备的示例性主要配置的框图。
图28是图示V1图像编码设备的示例性主要配置的框图。
图29是图示V2图像编码设备的示例性主要配置的框图。
图30是用于描述V0编码处理的示例性流程的流程图。
图31是用于描述V1编码处理的示例性流程的流程图。
图32是用于描述V1帧间运动预测处理的示例性流程的流程图。
图33是用于描述V2编码处理的示例性流程的流程图。
图34是用于描述V2帧间运动预测处理的示例性流程的流程图。
图35是图示V0图像解码设备的示例性主要配置的框图。
图36是图示V1图像解码设备的示例性主要配置的框图。
图37是图示V2图像解码设备的示例性主要配置的框图。
图38是用于描述V0解码处理的示例性流程的流程图。
图39是用于描述V1解码处理的示例性流程的流程图。
图40是用于描述V1运动补偿处理的示例性流程的流程图。
图41是用于描述V2解码处理的示例性流程的流程图。
图42是用于描述V2运动补偿处理的示例性流程的流程图。
图43是用于描述根据本技术的运动向量参考的示例的图。
图44是用于描述示例性语法的图。
图45是图示V0图像编码设备的示例性主要配置的框图。
图46是图示V1图像编码设备的示例性主要配置的框图。
图47是图示V2图像编码设备的示例性主要配置的框图。
图48是用于描述编码处理的示例性流程的流程图。
图49是用于描述V0编码处理的示例性流程的流程图。
图50是接着图49的用于描述V0编码处理的示例性流程的流程图。
图51是用于描述V1编码处理的示例性流程的流程图。
图52是接着图51的用于描述V1编码处理的示例性流程的流程图。
图53是用于描述V1帧间运动预测处理的示例性流程的流程图。
图54是用于描述V2编码处理的示例性流程的流程图。
图55是接着图54的用于描述V2编码处理的示例性流程的流程图。
图56是用于描述V2帧间运动预测处理的示例性流程的流程图。
图57是图示V0图像解码设备的示例性主要配置的框图。
图58是图示V1图像解码设备的示例性主要配置的框图。
图59是图示V2图像解码设备的示例性主要配置的框图。
图60是用于描述解码处理的示例性流程的流程图。
图61是用于描述V0解码处理的示例性流程的流程图。
图62是接着图61的用于描述V0解码处理的示例性流程的流程图。
图63是用于描述V1解码处理的示例性流程的流程图。
图64是接着图64的用于描述V1解码处理的示例性流程的流程图。
图65是用于描述V1运动补偿处理的示例性流程的流程图。
图66是用于描述V2解码处理的示例性流程的流程图。
图67是接着图66的用于描述V2解码处理的示例性流程的流程图。
图68是用于描述V2运动补偿处理的示例性流程的流程图。
图69是图示示例性的可缩放图像编码方案的图。
图70是用于描述示例性的空间可缩放编码的图。
图71是用于描述示例性的时间可缩放编码的图。
图72是用于描述信噪比的示例性的可缩放编码的图。
图73是用于描述稀化运动向量的示例的图。
图74是用于描述稀化运动向量的另一个示例的图。
图75是用于描述示例性的角度预测的图。
图76是用于描述示例性的平面预测的图。
图77是用于描述示例性的最可能模式的图。
图78是用于描述示例性的依赖于模式的帧内平滑(MDIS)的图。
图79是用于描述示例性的边界值平滑处理的图。
图80是图示帧内预测模式的稀化示例的图。
图81是图示可缩放编码设备的示例性主要配置的框图。
图82是图示基本层图像编码单元的示例性主要配置的框图。
图83是图示增强层图像编码单元的示例性主要配置的框图。
图84是图示帧内预测模式提供单元的示例性主要配置的框图。
图85是用于描述公共信息生成处理的示例性流程的流程图。
图86是用于描述编码处理的示例性流程的流程图。
图87是用于描述基本层编码处理的示例性流程的流程图。
图88是用于描述增强层编码处理的示例性流程的流程图。
图89是图示可缩放解码设备的示例性主要配置的框图。
图90是图示基本层图像解码单元的示例性主要配置的框图。
图91是图示增强层图像解码单元的示例性主要配置的框图。
图92是图示帧内预测模式提供单元的示例性主要配置的框图。
图93是用于描述公共信息获取处理的示例性流程的流程图。
图94是用于描述解码处理的示例性流程的流程图。
图95是用于描述基本层解码处理的示例性流程的流程图。
图96是用于描述增强层解码处理的示例性流程的流程图。
图97是用于描述预测处理的示例性流程的流程图。
图98是图示片段头部的示例性语法的图。
图99是接着图98的图示片段头部的示例性语法的图。
图100是接着图99的图示片段头部的示例性语法的图。
图101是图示片段头部的另一个示例性语法的图。
图102是接着图101的图示片段头部的另一个示例性语法的图表。
图103是接着图102的图示片段头部的另一个示例性语法的图表。
图104是图示图像编码设备的示例性主要配置的框图。
图105是图示基本层图像编码单元的示例性主要配置的框图。
图106是图示增强层图像编码单元的示例性主要配置的框图。
图107是图示帧间预测单元的示例性主要配置的框图。
图108是用于描述图像编码处理的示例性流程的流程图。
图109是用于描述基本层编码处理的示例性流程的流程图。
图110是用于描述增强层编码处理的示例性流程的流程图。
图111是用于描述基本层运动信息参考处理的示例性流程的流程图。
图112是图示图像解码设备的示例性主要配置的框图。
图113是图示基本层图像解码单元的示例性主要配置的框图。
图114是图示增强层图像解码单元的示例性主要配置的框图。
图115是图示帧间预测单元的示例性主要配置的框图。
图116是用于描述图像解码处理的示例性流程的流程图。
图117是用于描述基本层解码处理的示例性流程的流程图。
图118是用于描述增强层解码处理的示例性流程的流程图。
图119是图示计算机的示例性主要配置的框图。
图120是图示电视设备的示例性的示意性配置的框图。
图121是图示移动电话的示例性的示意性配置的框图。
图122是图示记录/再现设备的示例性的示意性配置的框图。
图123是图示成像设备的示例性的示意性配置的框图。
图124是图示可缩放编码的利用示例的框图。
图125是图示可缩放编码的另一个利用示例的框图。
图126是图示可缩放编码的又一个利用示例的框图。
图127是图示视频装置的示例性的示意性配置的框图。
图128是图示视频处理器的示例性的示意性配置的框图。
图129是图示视频处理器的另一个示例性的示意性配置的框图。
图130是图示内容再现系统的配置的解释图。
图131是图示内容再现系统中的数据流的解释图。
图132是图示MPD的具体示例的解释图。
图133是图示内容再现系统的内容服务器的配置的功能框图。
图134是图示内容再现系统的内容再现设备的配置的功能框图。
图135是图示内容再现系统的内容服务器的配置的功能框图。
图136是图示由无线通信系统的设备执行的示例性通信处理的顺序图。
图137是图示由无线通信系统的设备执行的示例性通信处理的顺序图。
图138是示意性地图示由无线通信系统的设备执行的通信处理中收发的帧格式的示例性配置的图。
图139是图示由无线通信系统的设备执行的示例性通信处理的顺序图。
具体实施方式
在下文中，将描述实现本公开内容的方式(在下文中，被称为“实施例”)。将按下列顺序进行描述。
0.概要
1.第一实施例(图像编码设备和图像解码设备)
2.第二实施例(图像编码设备和图像解码设备)
3.第三实施例(图像编码设备和图像解码设备)
4.第四实施例(可缩放图像编码和解码)
5.概要2(帧内预测)
6.第五实施例(可缩放图像编码设备)
7.第六实施例(可缩放图像解码设备)
8.概要3(预测方向控制)
9.第七实施例(图像编码设备)
10.第八实施例(图像解码设备)
11.第九实施例(计算机)
12.应用示例
13.可缩放编码的应用示例
14.一组单元模块处理器
15.MPEG-DASH的内容再现系统的应用示例
16.Wi-Fi标准的无线通信系统的应用示例
<0.概要>
<编码方案>
在下文中，将结合高效视频编码(HEVC)方案的图像编码和解码的应用来描述本技术。在图像编码(诸如高级视频编码(AVC)或者HEVC)中，执行使用在时间方向上的相关性(帧之间)的运动预测。
<编码单元>
在AVC方案中，定义了基于宏块和子宏块的分级结构。然而，对于大图像帧(诸如作为下一代编码方案的目标的超高清晰度(UHD：4000×2000像素))来说，16×16像素的宏块不是最优的。
另一方面，在HEVC方案中，如图1中所示地定义了编码单元(CU)。
CU也称为编码树块(CTB)，以及是在AVC方案中承担与宏块相同作用的图片单位的图像的部分区域。后者被固定为16×16像素的大小，但是前者没有被固定为一定大小，而是在每个序列中的图像压缩信息中被指定。
例如，在要输出的编码数据中包括的序列参数集(SPS)中指定CU的最大编码单位(LCU)和最小编码单位(SCU)。
当在每个LCU都不小于SCU的范围中设置split_flag＝1时，编码单位可以被分成具有更小大小的CU。在图1的示例中，LCU的大小是128，以及最大可缩放深度是5。当split_flag(分割标志)的值是“1”时，2N×2N大小的CU被分成具有N×N大小的CU，N×N用作低一级的分级。
此外，CU被分成预测单元(PU)，该预测单元是用作帧内或者帧间预测的处理单位的区域(图片单位的图像的部分区域)，以及CU被分成变换单元(TU)，该变换单元是用作正交变换的处理单元的区域(图片单位的图像的部分区域)。目前，在HEVC方案中，除4×4以及8×8以外，还可以使用16×16和32×32的正交变换。
在定义了CU并且以CU的单位执行各种类型的处理的编码方案(诸如HEVC方案)的情况下，在AVC方案中，宏块可以被认为与LCU相对应，以及块(子块)可以被认为与CU相对应。此外，在AVC方案中，运动补偿块可以被认为与PU相对应。在这里，由于CU具有分级结构，因此最顶层的LCU的大小通常被设置为大于AVC方案中的宏块，例如，诸如128×128像素。
从而，在下文中，LCU被假设为包括AVC方案中的宏块，以及CU被假设为包括AVC方案中的块(子块)。换句话说，在下列描述中使用的“块”指示图片中的任意的部分区域，并且，例如，不限制块的大小、形状、和特征。换句话说，“块”包括任意区域(处理单位)，诸如TU、PU、SCU、CU、LCU、子块、宏块或者片段。当然，“块”也包括任何其它部分区域(处理单位)。当需要限制大小、处理单位等等时，将适当地进行描述。
<模式选择>
同时，在AVC和HEVC编码方案中，为了实现高编码效率，选择适当的预测模式是重要的。
作为这种选择方法的示例，存在以被称为联合模型(JM)的H.264/MPEG-4AVC的参考软件(在http://iphome.hhi.de/suehring/tml/index.htm处打开)实现的方法。
在JM中，可以选择高复杂度模式和低复杂度模式的两种模式确定方法，这两种模式确定方法将在下面进行描述。在两个模式中，计算与相应预测模式相关的成本函数值，并且选择具有较小成本函数值的预测模式作为用于对应块或者宏块的最优模式。
高复杂度模式中的成本函数在下列公式(1)中被表示为：
[数学公式1]
Cost(Mode∈Ω)＝D+λ*R...(1)
在这里，Ω指示用于编码对应块或者宏块的候选模式的全集，以及D指示当在对应预测模式中执行编码时解码图像与输入图像之间的差分能量。λ指示作为量化参数的函数给出的拉格朗日待定乘数。R指示当在对应模式中执行编码时包括正交变换系数的总编码量。
换句话说，为了在高复杂度模式中执行编码，需要通过所有候选模式执行一次临时编码处理以计算参数D和R，因此需要大计算量。
低复杂度模式中的成本函数由下列公式(2)表示：
[数学公式2]
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(2)
在这里，不同于高复杂度模式，D指示预测图像与输入图像之间的差分能量。QP2Quant(QP)作为量化参数QP的函数给出，以及HeaderBit指示与不包括正交变换系数的属于头部的信息(诸如运动向量或者模式)相关的编码量。
换句话说，在低复杂度模式中，需要针对各个候选模式执行预测处理，但是由于对于解码图像不需要，所以对于编码处理不需要执行。因此，可以按照小于高复杂度模式中的计算量的计算量实现编码。
<多视点图像>
同时，在HEVC中，可以编码和解码包括多个层的运动图像，诸如图2中所示的多视点图像。在多视点运动图像中，每个图片包括其间具有视差的多个图像。每个视点的图像组(运动图像)被称为视图(层)。在图2的示例的情况下，运动图像包括视图0至2的3个视图。换句话说，特定POC的图片包括视图0的图像、视图1的图像和视图2的图像。在图2中，视图0(view_id＝0)还被称为基本视图。此外，视图1(view_id＝1)和视图2(view_id＝2)还被称为非基本视图。
<预测运动向量>
此外，在HEVC中，当对图像编码或者解码时，使用运动预测和补偿处理来提高编码效率，但是为了进一步提高编码效率，在运动预测和补偿处理中，使用邻近块的运动向量来预测作为处理目标的当前块的运动向量，获得当前块的运动向量与其预测运动向量之间的差分运动向量，以及传送差分运动向量。
对运动向量进行预测以使得从邻近块的运动向量生成多个候选，以及在多个候选当中，选择最优候选。
在HEVC中，可以使用空间上邻近当前块的块的运动向量生成预测运动向量的候选。空间上邻近的块指的是在与当前块相同的图像(相同POC的相同视图的图像)中在当前块附近的块。
此外，在HEVC中，可以使用时间上邻近当前块的块的运动向量生成预测运动向量的候选(时间运动向量预测(TMVP))。时间上邻近的块指的是在当前块的相同视图的不同POC的图像中与当前块相对应的块(还被称为“共同定位的块”)(例如，在相同位置处)。
此外，当对图2中所示的多视点图像进行编码时，在HEVC中，可以使用在视图(层)方面邻近当前块的块的运动向量生成预测运动向量的候选(视图间运动预测(IVMP))。在视图(层)方面邻近的块指的是在与当前块相同的POC的不同视图的图像中与当前块相对应的块(还被称为“共同定位的块”)(例如，在相同位置处)。例如，如图3所示，使用视图之间的相关性来参照紧接着先前处理的视图的运动向量。
由于可以如上所述地获得更多较高预测精度的候选，因此可以获得较高预测精度的预测向量，以及可以进一步提高编码效率。
然而，在TMVP和IVMP中，参考除当前图片的当前视图的图像以外的运动向量。因此，在TMVP和IVMP中，需要保持在编码或者解码时获得的每个块的运动向量直到不参考该运动向量为止(例如，直到下一个视图的图像的运动预测和补偿处理、或者运动补偿处理结束)。为此，需要以假设的最大值或者更大来准备存储器的容量。
在HEVC的情况下，可以压缩针对TMVP保持的运动向量以及降低运动向量的精度。然而，在未被压缩的情况下使用要在IVMP中参考的运动向量。因此，针对IVMP的运动向量必须被保持而不被压缩。为此，保持针对IVMP的运动向量的存储器可能被增大为大于保持针对TMVP的运动向量的存储器。换句话说，可能抑制为编码和解码所需的存储容量的增大。
图4图示了具体示例。如图4中图示的，在TMVP中，使用当前层(视图)的运动向量(压缩的MV)，以及在IVMP中，使用紧接着先前层(其它层)的运动向量(未压缩的MV)。
因此，在这种情况下，除存储用于TMVP的16×16精度的运动向量的存储器以外(V0MV存储器和V1MV存储器)，还需要存储用于IVMP的运动向量的存储器。另外，由于运动向量没有被压缩，因此需要容量大于存储要在TMVP中参考的运动向量的存储器的容量。
随着存储器所需的容量增大，设计或者生产成本可能提高。此外，功耗和负载也可能增大。
<用于IVMP的运动向量的压缩>
在这方面，还压缩用于IVMP的运动向量(例如，按照特定稀化率进行稀化)。
例如，在解码的情况下，执行用于当前层的解码的运动补偿，以及对当前层的运动向量进行压缩(例如，按照特定稀化率进行稀化)，该运动向量通过运动补偿重建并且用于其它层的解码的运动补偿。换句话说，使用在用于其它层的解码的运动补偿中重建和压缩(例如，按照特定稀化率进行稀化)的运动向量，执行用于当前层的解码的运动补偿。
此外，例如，在编码的情况下，执行用于当前层的编码的运动预测和补偿，以及对当前层的运动向量进行压缩(例如，按照特定稀化率进行稀化)，该运动向量通过运动预测和补偿生成并且用于其它层的编码的运动预测和补偿。换句话说，使用在用于其它层的编码的运动预测和补偿中生成和压缩(例如，按照特定稀化率进行稀化)的运动向量，执行用于当前层的编码的运动预测和补偿。
因此，可以抑制为存储用于IVMP的运动向量所需的存储容量的增大。换句话说，可以抑制为编码和解码所需的存储容量的增大。
<1.第一实施例>
<用于IVMP的运动向量的压缩>
在运动向量压缩中，如图5中图示的，可以按照与用于TMVP的运动向量相同的压缩率对用于IVMP的运动向量进行压缩(例如按照与用于TMVP的运动向量相同的稀化率进行稀化)。换句话说，用于IVMP的运动向量和用于TMVP的运动向量可以通过压缩具有相同精度。在这种情况下，可以共同化(commonalize)用于TMVP的运动向量和用于IVMP的运动向量，以及可以抑制需要的存储容量的增大。
例如，在图4的示例的情况下，解码器(V0(基本)解码器、V1(依赖)解码器和V2(依赖)解码器)通过解码来重建最大4×4精度的运动向量，以及运动向量压缩单元((V0至V2)MV压缩器)按照16×16精度执行压缩。因此，存储用于IVMP的运动向量的存储器((V0至V2)时间MV存储器)需要能够按照一个屏幕存储4×4精度的运动向量的容量。
如在图5中图示的示例中，由于还通过运动向量压缩单元((V0至V2)MV压缩器)按照16×16精度压缩用于IVMP的运动向量(例如，稀化)，因此可以省略能够按照一个屏幕存储4×4精度的运动向量的存储器((V0至V2)时间MV存储器)。
可以通过运动向量的共用化对压缩处理(例如，稀化处理)进行共用化，因此可以抑制由运动向量的压缩处理引起的负载的增大。
将在下面更具体地描述压缩方法。
在下面，编码或者解码目标的运动图像被假定为如图2中图示的视图0至2的3个视图(层)的运动图像。此外，以特定顺序处理运动图像的图片，以及在每个图片中，假设按顺序处理视图0的图像、视图1的图像和视图2的图像。
<图像编码设备>
图6是图示V0图像编码装置的示例性主要配置的框图。图7是图示V1图像编码装置的示例性主要配置的框图。图8是图示V2图像编码装置的示例性主要配置的框图。
图像编码设备100(未图示)对包括多个层的运动图像(诸如图2中图示的多视点图像)进行编码。图像编码设备100包括图6的V0图像编码设备100-0、图7的V1图像编码设备100-1和图8的V2图像编码设备100-3，以便对多视点图像的视图进行编码。V0图像编码设备100-0对视图0的图像进行编码。V1图像编码设备100-1对视图1的图像进行编码。V2图像编码设备100-2对视图2的图像进行编码。
如图6中图示的，V0图像编码设备100-0包括A/D转换单元101-0、屏幕排序缓冲器102-0、运算单元103-0、正交变换单元104-0、量化单元105-0、无损编码单元106-0、累积缓冲器107-0、逆量化单元108-0和逆正交变换单元109-0。V0图像编码设备100-0还包括运算单元110-0、环路滤波器111-0、解码图片缓冲器112-0、帧内预测单元113-0、运动预测/补偿单元114-0、预测图像选择单元115-0和速率控制单元116-0。
如图7中图示的，V1图像编码设备100-1包括A/D转换单元101-1、屏幕排序缓冲器102-1、运算单元103-1、正交变换单元104-1、量化单元105-1、无损编码单元106-1、累积缓冲器107-1、逆量化单元108-1和逆正交变换单元109-1。V1图像编码设备100-1还包括运算单元110-1、环路滤波器111-1、解码图片缓冲器112-1、帧内预测单元113-1、运动预测/补偿单元114-1、预测图像选择单元115-1和速率控制单元116-1。
如图8中图示的，V2图像编码设备100-2包括A/D转换单元101-2、屏幕排序缓冲器102-2、运算单元103-2、正交变换单元104-2、量化单元105-2、无损编码单元106-2、累积缓冲器107-2、逆量化单元108-2和逆正交变换单元109-2。V2图像编码设备100-2还包括运算单元110-2、环路滤波器111-2、解码图片缓冲器112-2、帧内预测单元113-2、运动预测/补偿单元114-2、预测图像选择单元115-2和速率控制单元116-2。
在下文中，当A/D转换单元101-0至101-2不需要彼此区分时，它们仅仅被称为“A/D转换单元101”。此外，当屏幕排序缓冲器102-0至102-2不需要彼此区分时，它们仅仅被称为“屏幕排序缓冲器102”。此外，当运算单元103-0至103-2不需要彼此区分时，它们仅仅被称为“运算单元103”。此外，当正交变换单元104-0至104-2不需要彼此区分时，它们仅仅被称为“正交变换单元104”。此外，当量化单元105-0至105-2不需要彼此区分时，它们仅仅被称为“量化单元105”。此外，当无损编码单元106-0至106-2不需要彼此区分时，它们仅仅被称为“无损编码单元106”。此外，当累积缓冲器107-0至107-2不需要彼此区分时，它们仅仅被称为“累积缓冲器107”。此外，当逆量化单元108-0至108-2不需要彼此区分时，它们仅仅被称为“逆量化单元108”。此外，当逆正交变换单元109-0至109-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元109”。
此外，当运算单元110-0至110-2不需要彼此区分时，它们仅仅被称为“运算单元110”。此外，当环路滤波器111-0至111-2不需要彼此区分时，它们仅仅被称为“环路滤波器111”。此外，当解码图片缓冲器112-0至112-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器112”。此外，当帧内预测单元113-0至113-2不需要彼此区分时，它们仅仅被称为“帧内预测单元113”。此外，当运动预测/补偿单元114-0至114-2不需要彼此区分时，它们仅仅被称为“运动预测/补偿单元114”。此外，当预测图像选择单元115-0至115-2不需要彼此区分时，它们仅仅被称为“预测图像选择单元115”。此外，当速率控制单元116-0至116-2不需要彼此区分时，它们仅仅被称为“速率控制单元116”。
V0图像编码设备100-0还包括V0运动向量压缩单元121-0和V0运动向量存储器122-0。V1图像编码设备100-1还包括V1运动向量压缩单元121-1和V1运动向量存储器122-1。V2图像编码设备100-2还包括V2运动向量压缩单元121-2和V2运动向量存储器122-2。
A/D转换单元101对输入图像数据(在A/D转换单元101-0的情况下为视图0的图像数据，在A/D转换单元101-1的情况下为视图1的图像数据，以及在A/D转换单元101-2的情况下为视图2的图像数据)执行A/D转换，以及提供要被存储在屏幕排序缓冲器102中的已转换的图像数据(数字数据)。
屏幕排序缓冲器102以用于根据图片组(GOP)进行编码的帧顺序，对以显示顺序排列的已存储的帧图像执行排序。换句话说，屏幕排序缓冲器102以处理顺序对以POC顺序排列的图片进行排序。屏幕排序缓冲器102将帧顺序被排序的图像提供至运算单元103。屏幕排序缓冲器102还将帧顺序被排序的图像提供至帧内预测单元113和运动预测/补偿单元114。
运算单元103从自屏幕排序缓冲器102读取的图像减去经由预测图像选择单元115从帧内预测单元113或者运动预测/补偿单元114提供的图像，并且将其差分信息输出至正交变换单元104。例如，在执行帧内编码的图像的情况下，运算单元103从自屏幕排序缓冲器102读取的图像减去从帧内预测单元113提供的预测图像。此外，例如，在执行帧间编码的图像的情况下，运算单元103从自屏幕排序缓冲器102读取的图像减去从运动预测/补偿单元114提供的预测图像。
正交变换单元104对从运算单元103提供的差分信息执行正交变换，诸如离散余弦变换或者Karhunen Loeve变换。正交变换单元104向量化单元105提供变换系数。
量化单元105对从正交变换单元104提供的变换系数进行量化。量化单元105基于与从速率控制单元116提供的编码量的目标值相关的信息来设置量化参数，并且执行量化。量化单元105向无损编码单元106提供量化的变换系数。
无损编码单元106根据任意编码方案对由量化单元105量化的变换系数进行编码。由于系数数据在速率控制单元116的控制下被量化，因此编码量变成由速率控制单元116设置的目标值(或者接近目标值)。
无损编码单元106从帧内预测单元113获取例如指示帧内(屏幕内)预测模式的信息，并且从运动预测/补偿单元114获取例如指示帧间(屏幕间)预测模式的信息和差分运动向量信息。
无损编码单元106根据任意编码方案对各种类型的信息进行编码，并且将它们设置(多路复用)为已编码数据(也被称为“已编码流”)的头部信息的一部分。无损编码单元106提供要在累积缓冲器107中累积的通过编码获得的已编码数据。
无损编码单元106的编码方案的示例包括可变长度编码或者算术编码。作为可变长度编码，例如，存在H.264/AVC方案中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。
累积缓冲器107临时保持从无损编码单元106提供的已编码数据。累积缓冲器107在某个定时将保持的已编码数据输出至例如位于后续阶段的记录设备(未图示)(记录介质)、或者传输路径。换句话说，累积缓冲器107还用作传送已编码数据的传送单元。
还向逆量化单元108提供由量化单元105量化的变换系数。逆量化单元108通过与由量化单元105执行的量化相对应的方法对已量化的变换系数进行逆量化。逆量化单元108向逆正交变换单元109提供获得的变换系数。
逆正交变换单元109通过与由正交变换单元104执行的正交变换处理相对应的方法对从逆量化单元108提供的变换系数执行逆正交变换。已经过逆正交变换的输出(恢复的差分信息)被提供至运算单元110。
运算单元110通过将经由预测图像选择单元115从帧内预测单元113或者运动预测/补偿单元114接收到的预测图像添加到恢复的差分信息来获得本地解码的图像(已解码图像)，该恢复的差分信息是从逆正交变换单元109提供的逆正交变换结果。已解码图像被提供至环路滤波器111。
环路滤波器111包括去块滤波器、自适应环路滤波器等等，并且对从运算单元110提供的已解码图像执行适当的滤波处理。例如，环路滤波器111对已解码图像执行去块滤波处理，并且消除已解码图像的块失真。此外，例如，环路滤波器111使用维纳滤波器对去块滤波处理结果(已经消除了块失真的已解码图像)执行环路滤波处理，并且提高图像质量。
环路滤波器111可以对已解码图像执行任意滤波处理。环路滤波器111可以根据需要向无损编码单元106提供用于滤波处理的信息(诸如滤波系数)，以便对信息进行编码。
环路滤波器111向解码图片缓冲器112提供滤波处理结果(在下文中，被称为“已解码图像”)。环路滤波器111向帧内预测单元113提供从运算单元110提供的重建图像。
解码图片缓冲器112存储从环路滤波器111提供的已解码图像。此外，解码图片缓冲器112存储图像的POC和视图ID。
解码图片缓冲器112针对在某个定时的对应视图或者基于从外部(诸如运动预测/补偿单元114)给出的请求，向运动预测/补偿单元114提供存储的已解码图像(和图像的POC以及视图ID)。
此外，解码图片缓冲器112还针对在某个定时的下一个处理的视图或者基于从外部(诸如运动预测/补偿单元114)给出的请求，向运动预测/补偿单元114提供存储的已解码图像(和图像的POC以及视图ID)。例如，解码图片缓冲器112-0向运动预测/补偿单元114-0和运动预测/补偿单元114-1提供已解码图像。此外，例如，解码图片缓冲器112-1向运动预测/补偿单元114-1和运动预测/补偿单元114-2提供已解码图像。在这里，由于视图2是最后处理的视图，因此解码图片缓冲器112-2向运动预测/补偿单元114-2提供已解码图像。
当从环路滤波器111获取位于处理目标区域(当前块)周围的邻近区域(邻近块)的图像时，帧内预测单元113使用邻近块的图像的像素值来执行基本上使用预测单位(PU)作为处理单位生成预测图像的帧内预测。帧内预测单元113以预先准备的多个模式(帧内预测模式)执行帧内预测。
帧内预测单元113以作为候选的所有帧内预测模式生成预测图像，使用从屏幕排序缓冲器102提供的输入图像评估预测图像的成本函数值，以及选择最优模式。当选择最优帧内预测模式时，帧内预测单元113向预测图像选择单元115提供以最优模式生成的预测图像。
此外，帧内预测单元113向无损编码单元106适当地提供包括与帧内预测相关的信息(诸如最优帧内预测模式)的帧内预测信息，使得帧内预测信息被编码。
运动预测/补偿单元114对当前块执行运动预测以生成运动向量，并且根据生成的运动向量执行补偿处理以生成当前块的预测图像(帧间预测图像信息)。在运动预测和补偿处理中，运动预测/补偿单元114以作为候选的所有帧间预测模式生成预测图像，评估每个预测图像的成本函数值，以及选择最优模式。当选择最优帧间预测模式时，运动预测/补偿单元114向预测图像选择单元115提供以最优模式生成的预测图像。
运动预测/补偿单元114使用从解码图片缓冲器112获取的已解码图像执行上述运动预测和补偿处理。
在最初处理的视图的情况下，运动预测/补偿单元114使用从存储对应视图的图像的解码图片缓冲器112获取的已解码图像来执行运动预测和补偿处理。例如，运动预测/补偿单元114-0使用从解码图片缓冲器112获取的已解码图像执行运动预测和补偿处理。
在其次或者随后处理的视图的情况下，运动预测/补偿单元114使用从存储对应视图的图像的解码图片缓冲器112和存储紧接着先前处理的视图的图像的解码图片缓冲器112获取的已解码图像来执行运动预测和补偿处理。例如，运动预测/补偿单元114-1使用从解码图片缓冲器112-0和解码图片缓冲器112-1获取的已解码图像来执行运动预测和补偿处理。此外，例如，运动预测/补偿单元114-2使用从解码图片缓冲器112-1和解码图片缓冲器112-2获取的已解码图像来执行运动预测和补偿处理。
此外，当采用帧间预测时，运动预测/补偿单元114向无损编码单元106提供包括与帧间预测相关的信息(诸如最优帧间预测模式)的帧间预测信息，使得帧间预测信息被传送。
运动预测/补偿单元114传送作为帧间预测信息的最优模式的运动向量，使得在解码侧执行运动补偿。实际上，运动预测/补偿单元114传送作为运动向量与预测运动向量之间的差的差分运动向量而不是运动向量，以进一步提高编码效率。换句话说，运动预测/补偿单元114预测当前块的运动向量，生成预测运动向量，并且生成作为当前块的运动向量与预测运动向量之间的差的差分运动向量。运动预测/补偿单元114向解码侧传送差分运动向量作为帧间预测信息的一部分。
在运动向量的预测中，运动预测/补偿单元114使用邻近当前块的块的运动向量生成当前块的预测运动向量。在此时，为了进一步提高预测运动向量的预测精度以及进一步提高编码效率，运动预测/补偿单元114可以生成多个预测运动向量候选，获得各个候选的成本函数值，并且基于成本函数值从候选之中选择最优候选。换句话说，运动预测/补偿单元114可以通过多个方法生成预测运动向量候选。
例如，运动预测/补偿单元114可以参考空间上、时间上以及在视图方面邻近当前块的块的运动向量生成当前块的预测运动向量。此外，运动预测/补偿单元114向解码侧传送指示被选择为预测运动向量的候选的信息(即，预测运动向量的模式信息)作为帧间预测信息的一部分。
运动预测/补偿单元114从与对应视图相对应的运动向量存储器获取空间上邻近块的运动向量。例如，运动预测/补偿单元114-0从V0运动向量存储器122-0获取运动向量。此外，例如，运动预测/补偿单元114-1从V1运动向量存储器122-1获取运动向量。此外，例如，运动预测/补偿单元114-2从V2运动向量存储器122-2获取运动向量。
在其次或者随后处理的视图中，运动预测/补偿单元114还从与先前处理的视图相对应的运动向量存储器获取在视图方面邻近的块的运动向量。例如，运动预测/补偿单元114-1从V0运动向量存储器122-0获取运动向量。此外，例如，运动预测/补偿单元114-2从V1运动向量存储器122-1获取运动向量。
运动向量被压缩。换句话说，使用在用于其它层的编码的运动预测和补偿中生成和压缩的运动向量，执行用于当前层的编码的运动预测和补偿。换句话说，可以抑制编码所需的存储容量的增大。
运动预测/补偿单元114-0向V0运动向量压缩单元121-0提供在运动预测和补偿处理中生成的当前块的运动向量(最优模式的运动向量)。此外，运动预测/补偿单元114-1向V1运动向量压缩单元121-1提供所生成的当前块的运动向量。此外，运动预测/补偿单元114-2向V2运动向量压缩单元121-2提供所生成的当前块的运动向量。
预测图像选择单元115选择要提供给运算单元103和运算单元110的预测图像的供应源。例如，在帧内编码的情况下，预测图像选择单元115选择帧内预测单元113作为预测图像的供应源，以及向运算单元103和运算单元110提供从帧内预测单元113提供的预测图像。此外，例如，在帧间编码的情况下，预测图像选择单元115选择运动预测/补偿单元114作为预测图像的供应源，以及向运算单元103和运算单元110提供从运动预测/补偿单元114提供的预测图像。
速率控制单元116基于累积缓冲器107中累积的已编码数据的编码量来控制量化单元105的量化操作的速率，以使得既不发生上溢也不发生下溢。
V0运动向量压缩单元121-0对从具有16×16精度的运动预测/补偿单元114-0获取的最大4×4精度的运动向量(也被称为“未压缩的V0运动向量”)执行压缩(也被称为“1/16压缩”)，以及向V0运动向量存储器122-0提供压缩的运动向量(也被称为“1/16压缩的V0运动向量”)。
压缩运动向量的方法是任意的。例如，V0运动向量压缩单元121-0可以从自动作预测/补偿单元114-0获取的多个运动向量之中选择作为代表值的运动向量。例如，可以从4×4精度的16个运动向量(4×4个块的运动向量)之中选择一个作为代表值的运动向量。通过该压缩，运动向量的精度变成16×16精度。
此外，选择运动向量的方法是任意的。可以选择在通过特定方法确定的位置处的块的运动向量，并且例如，可以选择在特定位置处的块(诸如在左上端的块)的运动向量，以及可以选择与图像中的位置相对应的块。
所选择的运动向量的数量是任意的，并且可能是2或者更大。
此外，例如，V0运动向量压缩单元121-0通过使用每个运动向量的特定运算来计算代表值。计算代表值的方法是任意的。例如，各个块的运动向量的平均值或中间值可以用作代表值。此外，所计算的代表值的数量是任意的，并且可能是2或者更大。
如上所述获得的1/16压缩的V0运动向量(运动向量的代表值)被提供给V0运动向量存储器122-0并且存储在V0运动向量存储器122-0中。V0运动向量存储器122-0向运动预测/补偿单元114-0适当地提供所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量。此外，V0运动向量存储器122-0向运动预测/补偿单元114-1适当地提供所存储的1/16压缩的V0运动向量作为在视图方面邻近的块的运动向量。
V1运动向量压缩单元121-1对从运动预测/补偿单元114-1获取的最大4×4精度的运动向量(也被称为“未压缩的V1运动向量”)执行1/16压缩，并且提供要在V1运动向量存储器122-1中存储的压缩的运动向量(也被称为“1/16压缩的V1运动向量”)。V1运动向量存储器122-1向运动预测/补偿单元114-1适当地提供所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量。此外，V1运动向量存储器122-1向运动预测/补偿单元114-2适当地提供所存储的1/16压缩的V1运动向量作为在视图方面邻近的块的运动向量。
V2运动向量压缩单元121-2对从运动预测/补偿单元114-2获取的最大4×4精度的运动向量(也被称为“未压缩的V2运动向量”)执行1/16压缩，并且提供要在V2运动向量存储器122-2中存储的压缩的运动向量(也被称为“1/16压缩的V2运动向量”)。V2运动向量存储器122-2向运动预测/补偿单元114-2适当地提供所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量。
此外，通过V1运动向量压缩单元121-1和V2运动向量压缩单元121-2对运动向量进行压缩的方法与在V0运动向量压缩单元121-0中的方法相同，并且因此省略了其描述。
V0运动向量压缩单元121-0、V1运动向量压缩单元121-1和V2运动向量压缩单元121-2以某些单位执行上述运动向量压缩。例如，V0运动向量压缩单元121-0、V1运动向量压缩单元121-1和V2运动向量压缩单元121-2可以以LCU的单位执行上述运动向量压缩。V0运动向量压缩单元121-0、V1运动向量压缩单元121-1和V2运动向量压缩单元121-2可以在处理单位上相同或者不同。处理单位可以在序列期间改变。
此外，由V0运动向量压缩单元121-0、V1运动向量压缩单元121-1和V2运动向量压缩单元121-2执行的运动向量压缩方法可以彼此相同或者不同。
如上所述，V0运动向量压缩单元121-0、V1运动向量压缩单元121-1和V2运动向量压缩单元121-2可以通过减少运动向量的数量来减少(即，压缩)运动向量的信息量。因此，可以减少V0运动向量存储器122-0、V1运动向量存储器122-1和V2运动向量存储器122-2的容量。
此外，如上所述，运动预测/补偿单元114可以参考V0运动向量存储器122-0、V1运动向量存储器122-1和V2运动向量存储器122-2中存储的运动向量，以作为用于IVMP的运动向量以及用于TMVP的运动向量。如上所述，由于将用于TMVP的运动向量和用于IVMP的运动向量共用化，因此可以减少编码所需的存储容量。此外，可以抑制由运动向量的压缩引起的负载的增大。因此，可以为图像编码设备100实现制造或者开发成本的降低、设备尺寸缩小、功耗降低等等。
<编码处理流程>
接下来，将描述由图像编码设备100执行的处理的流程。将参照图9的流程图描述由图像编码设备100执行的编码处理的示例性流程。
当编码处理开始时，在步骤S1001中，V0图像编码设备100-0对当前图片执行V0编码处理。在步骤S1002中，V1图像编码设备100-1对当前图片执行V1编码处理。在步骤S1003中，V2图像编码设备100-2对当前图片执行V2编码处理。
在步骤S1004中，图像编码设备100确定是否已经处理了所有图片，并且当确定存在未处理的图片时，处理返回到步骤S1001，并且重复随后的处理。
对每个图片重复地执行步骤S1001至S1004的处理，并且当在步骤S1004中确定已经处理了所有图片时，图像编码设备100结束编码处理。
<V0编码处理流程>
接着，将参照图10的流程图描述在图9的步骤S1001中执行的对视图0进行编码的V0编码处理的示例性流程。
在步骤S1101中，A/D转换单元101-0对输入图像执行A/D转换。在步骤S1102中，屏幕排序缓冲器102-0存储A/D转换后的图像，并且以编码顺序对以显示顺序排列的各个图片进行排序。在步骤S1103中，帧内预测单元113-0执行帧内预测模式的帧内预测处理。
在步骤S1104中，运动预测/补偿单元114-0执行V0帧间运动预测处理，在该V0帧间运动预测处理中执行帧间预测模式的运动预测和运动补偿。
在步骤S1105中，预测图像选择单元115-0选择由帧内预测单元113-0生成的预测图像和由运动预测/补偿单元114-0生成的预测图像中的任何一个。
在步骤S1106中，V0运动向量压缩单元121-0对最大4×4精度的未压缩V0运动向量执行压缩(1/16压缩)，该未压缩V0运动向量是通过步骤S1104的处理利用16×16精度生成的视图0的当前图片的运动向量。例如，以LCU的单位执行1/16压缩(例如，16×16像素)。例如，V0运动向量压缩单元121-0选择左上端处的16×16像素的块的V0运动向量作为16×16个像素的代表值(即，16×16精度的V0运动向量)。
在步骤S1107中，V0运动向量存储器122-0存储通过步骤S1106的处理生成的1/16压缩的V0运动向量。
在步骤S1108中，运算单元103-0从通过步骤S1102的处理排序的图像减去通过步骤S1105的处理选择的预测图像。通过该运算获得的差分数据(通过步骤S1102的处理排序的图像与在步骤S1105中选择的预测图像之间的差分图像的数据)被减少为比原始图像数据的数据量更少。因此，与在没有变化的情况下对图像进行编码时相比，可以减少数据量。
在步骤S1109中，正交变换单元104-0对通过步骤S1108的处理生成的差分数据执行正交变换处理。
在步骤S1110中，量化单元105-0使用由速率控制单元116-0计算的量化参数来量化通过步骤S1109的处理获得的正交变换系数。
在步骤S1111中，无损编码单元106-0对通过步骤S1110的处理量化的系数进行编码。换句话说，对与差分图像相对应的数据执行无损编码(例如可变长度编码或者算术编码)。
在此时，无损编码单元106-0对与通过步骤S1105的处理选择的预测图像的预测模式相关的信息进行编码，并且将所编码的信息添加至通过对差分图像进行编码获得的已编码数据。换句话说，无损编码单元106-0还对从帧内预测单元113-0提供的最优帧内预测模式信息、与从运动预测/补偿单元114-0提供的最优帧间预测模式相应的信息等等进行编码，并且将所编码的信息添加到已编码数据。
在步骤S1112中，累积缓冲器107-0累积通过步骤S1111的处理获得的已编码数据。在累积缓冲器107-0中累积的已编码数据被适当地读取，并且经由传输路径或者记录介质传送到解码侧。
如下地对通过步骤S1110的处理量化的差分信息进行本地解码。换句话说，在步骤S1113中，逆量化单元108-0根据与量化单元105-0的特征相对应的特征，对通过步骤S1110的处理生成和量化的正交变换系数(也被称为“量化系数”)进行逆量化。在步骤S1114中，逆正交变换单元109-0根据与正交变换单元104-0的特征相对应的特征，对通过步骤S1113的处理获得的正交变换系数执行逆正交变换。因此，差分图像被恢复。
在步骤S1115中，运算单元110-0将在步骤S1105中选择的预测图像添加至在步骤S1114中恢复的差分图像，并且生成本地解码的图像(重建的图像)。
V0图像编码设备100-0对用作处理目标的当前LCU中的块执行步骤S1103至S1115的处理。在步骤S1116中，V0图像编码设备100-0确定是否已经处理了所有LCU。当确定存在未处理的LCU时，处理返回到步骤S1103，并且重复随后的处理。对当前图片的视图0的图像的每个LCU执行步骤S1103至S1115的处理，并且当在步骤S1116中确定已经处理了所有LCU时，处理进行至步骤S1117。
在步骤S1117中，环路滤波器111-0对通过步骤S1115的处理获得的重建图像适当地执行环路滤波处理(例如去块滤波处理或者自适应环路滤波处理)，并且生成解码图像。
在步骤S1118中，解码图片缓冲器112-0存储通过步骤S1117的处理生成的已解码图像。
在步骤S1119中，速率控制单元116-0基于通过步骤S1118的处理在累积缓冲器107-0中累积的已编码数据的编码量(所生成的编码量)来控制量化单元105-0的量化运算的速率，以使得既不发生上溢也不发生下溢。此外，速率控制单元116-0向量化单元105-0提供与量化参数相关的信息。
当步骤S1119的处理结束时，V0编码处理结束，并且处理返回到图9。
<V0帧间运动预测处理流程>
接下来，将参考图11的流程图描述在图10的步骤S1104中执行的V0帧间运动预测处理的示例性流程。
当V0帧间运动预测处理开始时，在步骤S1131中，运动预测/补偿单元114-0执行运动搜索处理，并且生成当前块的运动向量。
在步骤S1132中，运动预测/补偿单元114-0使用图片中的未压缩的V0运动向量决定空间预测运动向量候选。空间预测运动向量候选指的是从空间上邻近当前块的块的运动向量生成的预测运动向量候选。换句话说，运动预测/补偿单元114-0使用空间上邻近当前块的块的V0运动向量决定空间预测运动向量候选。V0运动向量是当前图片中的运动向量，因此被运动预测/补偿单元114-0以未压缩的(最大4×4精度)状态保持。因此，运动预测/补偿单元114-0使用未压缩的V0运动向量决定空间预测运动向量候选。
在步骤S1133中，运动预测/补偿单元114-0使用其它图片的1/16压缩的V0运动向量决定时间预测运动向量候选。时间预测运动向量候选指的是从时间上邻近当前块的块的运动向量生成的预测运动向量候选。换句话说，运动预测/补偿单元114-0使用时间上邻近当前块的图片的共同定位块的V0运动向量决定时间预测运动向量候选。V0运动向量是与当前图片相同视图的不同图片的运动向量，因此以压缩的(16×16精度)状态被保持在V0运动向量存储器122-0中。因此，运动预测/补偿单元114-0从V0运动向量存储器122-0读取1/16压缩的V0运动向量，并且使用1/16压缩的V0运动向量决定时间预测运动向量候选。
由于视图0是最初处理的视图，因此没有使用视图之间的相关性来执行预测运动向量候选的生成。
在步骤S1134中，运动预测/补偿单元114-0为步骤S1132和S1133中生成的候选计算成本函数值。
在步骤S1135中，运动预测/补偿单元114-0基于在步骤S1134中计算的成本函数值确定最优预测模式。在此时，运动预测/补偿单元114-0还决定预测运动向量(的模式)。
在步骤S1136中，运动预测/补偿单元114-0以在步骤S1135中确定的最优模式执行运动补偿，并且生成预测图像。此外，运动预测/补偿单元114-0生成帧间预测信息，该帧间预测信息包括最优帧间预测模式、差分运动向量和预测运动向量的模式。
在步骤S1137中，运动预测/补偿单元114-0在缓冲器中将最优模式的运动向量存储为未压缩的V0运动向量。当步骤S1137的处理结束时，V0帧间运动预测处理结束，并且处理返回到图10。
<V1编码处理流程>
接下来，将参考图12的流程图描述在图9的步骤S1002中执行的对视图1进行编码的V1编码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于帧间运动预测处理。因此，如图12所图示的，V1图像编码设备100-1以与针对视图0的编码处理(图10的V0编码处理)基本上相同的方式执行V1编码处理。换句话说，以与图10的步骤S1101至S1119的处理基本上相同的方式执行图12的步骤S1201至S1219的处理。因此，可以进行图12的描述，使得以V1图像编码设备100-1的相应组件代替参考图10描述的V0图像编码设备100-0的相应组件，以及以针对视图1的处理代替图10中图示的针对视图0的处理，因此省略其描述。
<V1帧间运动预测处理流程>
接下来，将参考图13的流程图描述在图12的步骤S1204中执行的V1帧间运动预测处理的示例性流程。
当V1帧间运动预测处理开始时，以与图11的步骤S1131至S1133的处理基本上相同的方式执行步骤S1231至S1233的处理。在这里，由运动预测/补偿单元114-1执行V1帧间运动预测处理。对视图1执行图13的处理，因此在步骤S1232中，使用作为视图1的未压缩运动向量的未压缩V1运动向量。此外，在步骤S1233中，使用已经经过1/16压缩的1/16压缩的V1运动向量。
在针对视图1的帧间运动预测处理中，除通过空间预测生成候选以及通过时间预测生成候选以外，还使用视图之间的相关性执行预测运动向量候选的生成(通过IVMP生成候选)。
换句话说，在步骤S1234中，运动预测/补偿单元114-1使用1/16压缩的V0运动向量决定IVMP预测运动向量候选。IVMP预测运动向量候选指的是从在视图方面邻近当前块的块的运动向量生成的预测运动向量候选。换句话说，运动预测/补偿单元114-1使用与当前块相同图片的不同视图的图像的共同定位块的V0运动向量决定IVMP预测运动向量候选。V0运动向量是与当前图片相同的图片的不同视图的运动向量，因此以压缩的(16×16精度)状态被保持在V0运动向量存储器122-0中。因此，运动预测/补偿单元114-1从V0运动向量存储器122-0读取1/16压缩的V0运动向量，并且使用1/16压缩的V0运动向量决定视图间预测运动向量候选。
与图11的步骤S1134至步骤S1137的处理类似地执行步骤S1235至步骤S1238的处理。当步骤S1238的处理结束时，V1帧间运动预测处理结束，并且处理返回到图12。
<V2编码处理流程>
接下来，将参考图14的流程图描述在图9的步骤S1003中执行的对视图2进行编码的V2编码处理的示例性流程。
与针对视图1的处理类似地执行针对视图2的处理。因此，如图14所图示的，V2图像编码设备100-2以与针对视图1的编码处理(图12的V1编码处理)基本上相同的方式执行V2编码处理。换句话说，以与图12的步骤S1201至步骤S1219的处理基本上相同的方式执行图14的步骤S1301至步骤S1319的处理。因此，可以进行图24的描述，使得以V2图像编码设备100-2的相应组件代替参考图12描述的V1图像编码设备100-1的相应组件，以及以针对视图2的处理代替图12中图示的针对视图1的处理，因此省略其描述。
<V2帧间运动预测处理流程>
接下来，将参考图15的流程图描述在图14的步骤S1304中执行的V2帧间运动预测处理的示例性流程。
如图15所图示的，运动预测/补偿单元114-2以与针对视图1的帧间运动预测处理(图13的V1帧间运动预测处理)基本上相同的方式执行V2帧间运动预测处理。换句话说，以与图13的步骤S1231至步骤S1238基本上相同的方式执行图15的步骤S1331至步骤S1338的处理。
在这里，在步骤S1332中，使用作为视图2的未压缩运动向量的未压缩V2运动向量。此外，在步骤S1333中，使用已经经过1/16压缩的1/16压缩的V2运动向量。此外，在步骤S1334中，使用已经经过1/16压缩的1/16压缩的V1运动向量。
当步骤S1338的处理结束时，V2帧间运动预测处理结束，并且处理返回到图14。
由于如上所述地执行各个处理，因此图像编码设备100可以减小用于IVMP的运动向量所需的存储容量，并且抑制编码和解码所需的存储容量的增大。
<图像解码设备>
接下来，将描述如上所述地编码的已编码数据(已编码流)的解码。图16是图示V0图像解码设备的示例性主要配置的框图。图17是图示V1图像解码设备的示例性主要配置的框图。图18是图示V2图像解码设备的示例性主要配置的框图。
图像解码设备200(未示出)通过与编码方法相对应的解码方法对包括多个层的运动图像(诸如图2所图示的多视点图像)的已编码数据进行解码，该运动图像被图像编码设备100编码。图像解码设备200包括图16的V0图像解码设备200-0、图17的V1图像解码设备200-1和图18的V2图像解码设备200-2，以便对多视点图像的各个视图的已编码数据进行解码。V0图像解码设备200-0对由V0图像编码设备100-0编码的视图0的图像的已编码数据进行解码。V1图像解码设备200-1对由V1图像编码设备100-1编码的视图1的图像的已编码数据进行解码。V2图像解码设备200-2对由V2图像编码设备100-2编码的视图2的图像的已编码数据进行解码。
如图16所图示的，V0图像解码设备200-0包括累积缓冲器201-0、无损解码单元202-0、逆量化单元203-0、逆正交变换单元204-0、运算单元205-0、环路滤波器206-0、屏幕排序缓冲器207-0和D/A转换单元208-0。V0图像解码设备200-0还包括解码图片缓冲器209-0、帧内预测单元210-0、运动补偿单元211-0和选择单元212-0。
如图17所图示的，V1图像解码设备200-1包括累积缓冲器201-1、无损解码单元202-1、逆量化单元203-1、逆正交变换单元204-1、运算单元205-1、环路滤波器206-1、屏幕排序缓冲器207-1和D/A转换单元208-1。V1图像解码设备200-1还包括解码图片缓冲器209-1、帧内预测单元210-1、运动补偿单元211-1和选择单元212-1。
如图18所图示的，V2图像解码设备200-2包括累积缓冲器201-2、无损解码单元202-2、逆量化单元203-2、逆正交变换单元204-2、运算单元205-2、环路滤波器206-2、屏幕排序缓冲器207-2和D/A转换单元208-2。V2图像解码设备200-2还包括解码图片缓冲器209-2、帧内预测单元210-2、运动补偿单元211-2和选择单元212-2。
在下文中，当累积缓冲器201-0到201-2不需要彼此区分时，它们仅仅被称为“累积缓冲器201”。此外，当无损解码单元202-0到202-2不需要彼此区分时，它们仅仅被称为“无损解码单元202”。此外，当逆量化单元203-0到203-2不需要彼此区分时，它们仅仅被称为“逆量化单元203”。此外，当逆正交变换单元204-0到204-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元204”。此外，当运算单元205-0到运算单元205-2不需要彼此区分时，它们仅仅被称为“运算单元205”。
此外，当环路滤波器206-0到206-2不需要彼此区分时，它们仅仅被称为“环路滤波器206”。此外，当屏幕排序缓冲器207-0到207-2不需要彼此区分时，它们仅仅被称为“屏幕排序缓冲器207”。此外，当D/A转换单元208-0到208-2不需要彼此区分时，它们仅仅被称为“D/A转换单元208”。此外，当解码图片缓冲器209-0到209-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器209”。
此外，当帧内预测单元210-0到210-2不需要彼此区分时，它们仅仅被称为“帧内预测单元210”。此外，当运动补偿单元211-0到211-2不需要彼此区分时，它们仅仅被称为“运动补偿单元211”。此外，当选择单元212-0到212-2不需要彼此区分时，它们仅仅被称为“选择单元212”。
V0图像解码设备200-0还包括V0运动向量压缩单元221-0和V0运动向量存储器222-0。V1图像解码设备200-1还包括V1运动向量压缩单元221-1和V1运动向量存储器222-1。V2图像解码设备200-2还包括V2运动向量压缩单元221-2和V2运动向量存储器222-2。
累积缓冲器201还用作接收所传送的已编码数据的接收单元。累积缓冲器201接收和累积所传送的已编码数据，并且在某个定时向无损解码单元202提供已编码数据。已编码数据包括解码所需的信息(诸如预测模式信息)。无损解码单元202根据与无损编码单元106的编码方案相对应的方案对从累积缓冲器201提供的由无损编码单元106编码的信息进行解码。无损解码单元202向逆量化单元203提供通过解码获得的差分图像的量化后的系数数据。
此外，无损解码单元202确定帧内预测模式和帧间预测模式中的哪一个已被选择为最优预测模式，并且向被确定为要选择的模式(即，帧内预测单元210或者运动补偿单元211)提供与最优预测模式相关的信息。换句话说，例如，当在编码侧选择帧内预测模式作为最优预测模式时，向帧内预测单元210提供与最优预测模式相关的信息。此外，例如，当在编码侧选择帧间预测模式作为最优预测模式时，向运动补偿单元211提供与最优预测模式相关的信息。
此外，例如，无损解码单元202向逆量化单元203提供逆量化所需的信息(诸如量化矩阵和量化参数)。
逆量化单元203根据与量化单元105的量化方案相对应的方案，对通过由无损解码单元202执行的解码获得的量化后的系数数据进行逆量化。逆量化单元203是类似于逆量化单元108的处理单元。换句话说，逆量化单元203的描述还可以适用于逆量化单元108。在这里，需要根据设备改变和读取例如数据的输入和输出目的地。
逆量化单元203向逆正交变换单元204提供所获得的系数数据。
逆正交变换单元204根据与正交变换单元104的正交变换方案相对应的方案，对从逆量化单元203提供的正交变换系数执行逆正交变换。逆正交变换单元204是类似于逆正交变换单元109的处理单元。换句话说，逆正交变换单元204的描述还可以适用于逆正交变换单元109。在这里，需要根据设备改变和读取例如数据的输入和输出目的地。
逆正交变换单元204通过逆正交变换处理获得与在图像编码设备100中没有经过正交变换的残差数据(差分图像)相对应的解码残差数据(差分图像)。通过逆正交变换获得的差分图像被提供给运算单元205。此外，经由选择单元212将来自帧内预测单元210或者运动补偿单元211的预测图像提供给运算单元205。
运算单元205将差分图像添加至预测图像，并且获得与图像数据相对应的重建图像，该重建图像没有被运算单元103减去预测图像。运算单元205向环路滤波器206提供重建图像。
环路滤波器206对所提供的重建图像适当地执行环路滤波处理(诸如去块滤波处理或者自适应环路滤波处理)，并且生成已解码图像。例如，环路滤波器206对重建图像执行去块滤波处理，并且消除块失真。此外，例如，环路滤波器206通过使用维纳滤波器对去块滤波处理结果(已经消除块失真的重建图像)执行环路滤波处理来提高图像质量。
由环路滤波器206执行的滤波处理的类型是任意的，并且可以执行任何其它滤波处理。此外，环路滤波器206可以使用从图像编码设备100提供的滤波系数执行滤波处理。
环路滤波器206向屏幕排序缓冲器207和解码图片缓冲器209提供作为滤波处理结果的已解码图像。此外，环路滤波器206向帧内预测单元210提供运算单元205的输出(重建图像)而不执行滤波处理。例如，帧内预测单元210使用该图像中包括的像素的像素值作为邻近像素的像素值。
屏幕排序缓冲器207对所提供的已解码图像执行排序。换句话说，以原始的显示顺序来排序以用于由屏幕排序缓冲器102进行的编码的顺序排序的帧。D/A转换单元208对从屏幕排序缓冲器207提供的已解码图像执行D/A转换，输出要在显示器(未示出)上显示的转换图像。
解码图片缓冲器209存储所提供的已解码图像(以及图像的POC和视图ID)。此外，解码图片缓冲器209在某个定时或者基于从外部(诸如运动补偿单元211)给出的请求向运动补偿单元211提供所存储的已解码图像(以及图像的POC和视图ID)。
帧内预测单元210执行与帧内预测单元113基本上相同的处理。在这里，帧内预测单元210仅对在进行编码时通过帧内预测生成预测图像的区域执行帧内预测。帧内预测单元210针对预测处理单元的每个区域经由选择单元212向运算单元205提供所生成的预测图像。
运动补偿单元211通过以下方式生成预测图像：基于从无损解码单元202提供的帧间预测信息，以在编码时采用的帧间预测模式，对在编码时已经执行了帧间预测的区域执行运动补偿。运动补偿单元211针对预测处理单元的每个区域，经由选择单元212向运算单元205提供所生成的预测图像。
运动补偿单元211使用从解码图片缓冲器209获取的已解码图像执行运动补偿处理。
在最初处理的视图的情况下，运动补偿单元211使用从存储对应视图的图像的解码图片缓冲器209获取的已解码图像来执行运动补偿处理。例如，运动补偿单元211-0使用从解码图片缓冲器209-0获取的已解码图像执行运动补偿处理。
在其次或者随后处理的视图的情况下，运动补偿单元211使用从存储对应视图的图像的解码图片缓冲器209以及存储紧接着先前处理的视图的图像的解码图片缓冲器209获取的已解码图像来执行运动补偿处理。例如，运动补偿单元211-1使用从解码图片缓冲器209-0和解码图片缓冲器209-1获取的已解码图像来执行运动补偿处理。此外，例如，运动补偿单元211-2使用从解码图片缓冲器209-1和解码图片缓冲器209-2获取的已解码图像来执行运动补偿处理。
运动补偿单元211根据从编码侧传送的作为帧间预测信息的差分运动向量来重建当前块的运动向量。在此时，运动补偿单元211基于从无损解码单元202提供的帧间预测信息，通过与运动预测/补偿单元114中相同的方法(模式)预测当前块的运动向量，并且生成预测运动向量。运动补偿单元211将预测运动向量添加至差分运动向量，并且重建当前块的运动向量。
换句话说，运动补偿单元211参考空间上、时间上或者在视图方面邻近当前块的块的运动向量来生成当前块的预测运动向量。
由运动补偿单元211保持空间上邻近的块的运动向量。此外，当参考时间上邻近的块的运动向量时，运动补偿单元211从与对应视图相对应的运动向量存储器获取运动向量。例如，运动补偿单元211-0从V0运动向量存储器222-0获取时间上邻近的块的运动向量。此外，例如，运动补偿单元211-1从V1运动向量存储器222-1获取时间上邻近的块的运动向量。此外，例如，运动补偿单元211-2从V2运动向量存储器222-2获取时间上邻近的块的运动向量。
此外，当参考在视图方面邻近的块的运动向量时，运动补偿单元211从与先前处理的视图相对应的运动向量存储器获取运动向量。例如，运动补偿单元211-1从V0运动向量存储器222-0获取在视图方面邻近的块的运动向量。此外，例如，运动补偿单元211-2从V1运动向量存储器222-1获取在视图方面邻近的块的运动向量。
对从运动向量存储器获取的运动向量进行1/16压缩。换句话说，使用在用于其它层的解码的运动补偿中重建和压缩的运动向量来执行用于当前层的解码的运动补偿。换句话说，可以抑制解码所需的存储容量的增大。
运动补偿单元211向V0运动向量压缩单元221-0提供通过运动预测和补偿处理生成的当前块的运动向量(最优模式的运动向量)。此外，运动补偿单元211-1向V1运动向量压缩单元221-1提供所生成的当前块的运动向量。此外，运动补偿单元211-2向V2运动向量压缩单元221-2提供所生成的当前块的运动向量。
选择单元212向运算单元205提供从帧内预测单元210提供的预测图像或者从运动补偿单元211提供的预测图像。
V0运动向量压缩单元221-0以16×16精度对从运动补偿单元211-0获得的最大4×4精度的未压缩V0运动向量执行1/16压缩，并且向V0运动向量存储器222-0提供所获取的1/16压缩的V0运动向量。
对运动向量进行压缩的方法是任意的，只要使用与V0运动向量压缩单元121-0中相同的方法即可。例如，当从多个块的运动向量之中选择作为代表值的运动向量并且对该运动向量进行压缩时，选择运动向量的方法是任意的，只要使用与V0运动向量压缩单元121-0中相同的方法即可。此外，所选择的运动向量的数量是任意的，只要使用与V0运动向量压缩单元121-0中相同的方法即可，并且可以是2个或者更多个。
此外，例如，当通过使用多个块的运动向量执行特定运算来计算代表值并且对运动向量进行压缩时，计算代表值的方法是任意的，只要使用与V0运动向量压缩单元121-0中相同的方法即可。
如上所述获得的1/16压缩的V0运动向量(运动向量的代表值)被提供给V0运动向量存储器222-0并且存储在V0运动向量存储器222-0中。V0运动向量存储器222-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动补偿单元211-0。此外，V0运动向量存储器222-0适当地将所存储的1/16压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元211-1。
V1运动向量压缩单元221-1对从运动补偿单元211-1获取的未压缩V1运动向量执行1/16压缩，并且提供所获得的要存储在V1运动向量存储器222-1中的1/16压缩的V1运动向量。V1运动向量存储器222-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动补偿单元211-1。此外，V1运动向量存储器222-1适当地将所存储的1/16压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元211-2。
V2运动向量压缩单元221-2对从运动补偿单元211-2获取的未压缩V2运动向量执行1/16压缩，并且提供所获得的要存储在V2运动向量存储器222-2中的1/16压缩的V2运动向量。V2运动向量存储器222-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动补偿单元211-2。
此外，通过V1运动向量压缩单元221-1和V2运动向量压缩单元221-2对运动向量进行压缩的方法与V0运动向量压缩单元221-0中的方法相同，因此省略其描述。
V0运动向量压缩单元221-0、V1运动向量压缩单元221-1和V2运动向量压缩单元221-2以某些单位执行上述运动向量压缩。例如，V0运动向量压缩单元221-0、V1运动向量压缩单元221-1和V2运动向量压缩单元221-2可以以LCU的单位执行上述运动向量压缩。此外，V0运动向量压缩单元221-0、V1运动向量压缩单元221-1和V2运动向量压缩单元221-2可以在处理单位上相同或者不同。可以在序列期间改变处理单位。
此外，由V0运动向量压缩单元221-0、V1运动向量压缩单元221-1和V2运动向量压缩单元221-2执行的运动向量压缩方法可以彼此相同或者不同。
如上所述，V0运动向量压缩单元221-0、V1运动向量压缩单元221-1和V2运动向量压缩单元221-2可以通过减少运动向量的数量来减少(即，压缩)运动向量的信息量。因此，可以减小V0运动向量存储器222-0、V1运动向量存储器222-1和V2运动向量存储器222-2的容量。
此外，如上所述，运动补偿单元211可以参考在V0运动向量存储器222-0、V1运动向量存储器222-1和V2运动向量存储器222-2中存储的运动向量，以作为用于IVMP的运动向量以及用于TMVP的运动向量。如上所述，由于用于TMVP的运动向量和用于IVMP的运动向量被共用化，因此可以减小编码所需的存储容量。此外，可以抑制由运动向量的压缩引起的负载的增大。因此，可以为图像解码设备200实现制造或者开发成本的降低、设备尺寸缩小、功耗降低等等。
<解码处理流程>
接下来，将描述由图像解码设备200执行的处理的流程。将参考图19的流程图描述由图像解码设备200执行的解码处理的示例性流程。
当解码处理开始时，对于当前图片，V0图像解码设备200-0在步骤S1401中执行V0解码处理，V1图像解码设备200-1在步骤S1402中执行V1解码处理，以及V2图像解码设备200-2在步骤S1403中执行V2解码处理。
在步骤S1404中，图像解码设备200确定是否已经处理了所有图片，并且当确定存在未处理图片时，处理返回到步骤S1401，并且重复随后的处理。
对于每个图片重复地执行步骤S1401至步骤S1404的处理，并且当在步骤S1404中确定已经处理了所有图片时，图像解码设备200结束解码处理。
<V0解码处理流程>
接下来，将参考图20的流程图描述在图19的步骤S1401中执行的对视图0的已编码数据进行解码的V0解码处理的示例性流程。
当V0解码处理开始时，在步骤S1501中，累积缓冲器201-0累积所传送的视图0的比特流。在步骤S1502中，无损解码单元202-0对从累积缓冲器201-0提供的视图0的比特流(已编码差分图像信息)进行解码。换句话说，对由无损编码单元106-0编码的视图0的各个图片(I图片、P图片和B图片)进行解码。在此时，还对除比特流中所包括的差分图像信息以外的各种类型的信息片段(诸如头部信息)进行解码。
在步骤S1503中，逆量化单元203-0对通过步骤S1503的处理获得的量化系数进行逆量化。
在步骤S1504中，逆正交变换单元204-0根据需要对通过步骤S1503的处理进行逆量化的系数执行逆正交变换。
在步骤S1505中，无损解码单元202-0确定在编码时应用的预测模式是否是帧间预测。当确定编码时应用的预测模式是帧间预测时，处理进行到步骤S1506。
在步骤S1506中，运动补偿单元211-0执行V0运动补偿处理，并且生成预测图像。当步骤S1506的处理结束时，处理进行到步骤S1508。此外，当在步骤S1505中确定编码时应用的预测模式是帧内预测时，处理进行到步骤S1507。在步骤S1507中，帧内预测单元210-0执行V0帧内预测处理，并且生成预测图像。当步骤S1507的处理结束时，处理进行到步骤S1508。
在步骤S1508中，运算单元205-0将通过步骤S1506的处理或者步骤S1507的处理生成的预测图像添加至通过由步骤S1504的处理执行的逆正交变换获得的差分图像信息。因此，生成重建图像。
在步骤S1509中，与V0运动向量压缩单元121-0类似地，V0运动向量压缩单元221-0对通过步骤S1506的处理生成的未压缩V0运动向量执行1/16压缩。在步骤S1510中，与V0运动向量存储器122-0类似地，V0运动向量存储器222-0存储通过步骤S1509的处理生成的1/16压缩的V0运动向量。
V0图像解码设备200-0对作为处理目标的当前LCU中的每个块执行步骤S1501至步骤S1510的处理。在步骤S1511中，V0图像解码设备200-0确定是否已经处理了所有LCU。当确定存在未处理的LCU时，处理返回到步骤S1501，并且重复随后的处理。对当前图片的视图0的图像的每个LCU执行步骤S1501至步骤S1510的处理，并且当在步骤S1511中确定已经处理了所有LCU时，处理进行至步骤S1512。
在步骤S1512中，环路滤波器206-0对在步骤S1508中获得的重建图像适当地执行环路滤波处理(诸如去块滤波处理或者自适应环路滤波处理)。
在步骤S1513中，屏幕排序缓冲器207-0对通过步骤S1512中执行的滤波处理生成的解码图像执行排序。换句话说，以原始的显示顺序来排序以用于由屏幕排序缓冲器102-0进行编码的顺序排序的帧。
在步骤S1514中，D/A转换单元208-0对帧顺序被排序的视图0的解码图像执行D/A转换。解码图像被输出至显示器(未示出)并且在显示器上显示。
在步骤S1515中，解码图片缓冲器209-0存储通过步骤S1512中的滤波处理获得的已解码图像。解码图像被用作帧间预测处理中的参考图像。
当步骤S1515的处理结束时，解码处理结束，并且处理返回到图19。
<V0运动补偿处理流程>
接下来，将参考图21的流程图描述在图20的步骤S1506中执行的V0运动补偿处理的示例性流程。
当V0运动补偿处理开始时，在步骤S1531中，运动补偿单元211-0获取差分运动信息(差分运动向量)。在步骤S1532中，运动补偿单元211-0基于帧间预测信息确定预测运动向量的模式是否是空间预测。当确定预测运动向量的模式是空间预测时，处理进行到步骤S1533。
在步骤S1533中，运动补偿单元211-0使用图片中的未压缩的V0运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S1535。
然而，当在步骤S1532中确定预测运动向量的模式不是空间预测时，处理进行到步骤S1534。
在步骤S1534中，运动补偿单元211-0使用其它图片中的1/16压缩的V0运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S1535。
在步骤S1535中，运动补偿单元211-0使用通过步骤S1533的处理或者步骤S1534的处理生成的预测运动向量来重建运动向量。
在步骤S1536中，运动补偿单元211-0执行运动补偿，并且生成预测图像。运动补偿单元211-0存储重建的运动向量。当步骤S1536的处理结束时，V0运动补偿处理结束，并且处理返回到图20。
<V1解码处理流程>
接下来，将参考图22的流程图描述在图19的步骤S1402中执行的对视图1的已编码数据进行解码的V1解码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于运动补偿处理。因此，如图22所图示的，V1图像解码设备200-1以与针对视图0的解码处理(图20的V0解码处理)基本上相同的方式执行V1解码处理。换句话说，以与图20的步骤S1501至步骤S1515的处理基本上相同的方式执行图22的步骤S1601至步骤S1615的处理。因此，可以进行图22的描述，使得以V1图像解码设备200-1的相应组件代替参考图20描述的V0图像解码设备200-0的相应组件，以及以针对视图1的处理代替图20中图示的针对视图0的处理，因此省略其描述。
<V1运动补偿处理流程>
接下来，将参考图23的流程图描述在图22的步骤S1606中执行的V1运动补偿处理的示例性流程。
在步骤S1631中，当V1运动补偿处理开始时，运动补偿单元211-1获取差分运动信息(差分运动向量)。在步骤S1632中，运动补偿单元211-1基于帧间预测信息确定预测运动向量的模式是否是空间预测。当确定预测运动向量的模式是空间预测时，处理进行到步骤S1633。
在步骤S1633中，运动补偿单元211-1使用图片中的未压缩的V1运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S1635。
然而，当在步骤S1632中确定预测运动向量的模式不是空间预测时，处理进行到步骤S1634。
由于视图1不是最初处理的视图，因此预测运动向量的模式可以是视图间预测(IVMP)。
在步骤S1634中，运动补偿单元211-1基于帧间预测信息确定预测运动向量的模式是否是时间预测。当确定预测运动向量的模式是时间预测时，处理进行到步骤S1635。
在步骤S1635中，运动补偿单元211-1使用其它图片中的1/16压缩的V1运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S1637。
然而，当在步骤S1634中确定预测运动向量的模式不是时间预测时，处理进行到步骤S1636。
在步骤S1636中，运动补偿单元211-1使用1/16压缩的V0运动向量(视图0的图像的共同定位块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S1637。
在步骤S1637中，运动补偿单元211-1使用在步骤S1633、步骤S1635或者步骤S1636中生成的预测运动向量来重建运动向量。
在步骤S1638中，运动补偿单元211-1执行运动补偿，并且生成预测图像。此外，运动补偿单元211-1存储步骤S1637中重建的运动向量。当步骤S1638的处理结束时，V1运动补偿处理结束，并且处理返回到图22。
<V2解码处理流程>
接下来，将参考图24的流程图描述在图19的步骤S1403中执行的对视图2的已编码数据进行解码的V2解码处理的示例性流程。
针对视图1的处理与针对视图2的处理之间的不同主要在于运动补偿处理。因此，如图24所图示的，V2图像解码设备200-2以与针对视图1的解码处理(图22的V1解码处理)基本上相同的方式执行V2解码处理。换句话说，以与图22的步骤S1601至步骤S1615的处理基本上相同的方式执行图24的步骤S1701至步骤S1715的处理。因此，可以进行图24的描述，使得以V2图像解码设备200-2的相应组件代替参考图22描述的V1图像解码设备200-1的相应组件，以及以针对视图2的处理代替图22中图示的针对视图1的处理，因此省略其描述。
<V2运动补偿处理流程>
接下来，将参考图25的流程图描述在图24的步骤S1706中执行的V2运动补偿处理的示例性流程。
如图25所图示的，以与V1运动补偿处理(图23)基本上相同的方式执行V2运动补偿处理。换句话说，以与图23的步骤S1631至步骤S1638的处理基本上相同的方式执行图25的步骤S1731至步骤S1738的处理。在这里，V1运动补偿处理由运动补偿单元211-1执行，而V2运动补偿处理由运动补偿单元211-2执行。
此外，V2运动补偿处理的处理目标是视图2的图像而不是视图1的图像。因此，在步骤S1733中，运动补偿单元211-2使用图片中的未压缩的V2运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。
此外，在步骤S1735中，运动补偿单元211-2使用其它图片中的1/16压缩的V2运动向量(时间上邻近当前块的块的运动向量)生成预测运动向量。
此外，在步骤S1736中，运动补偿单元211-2使用1/16压缩的V1运动向量(在视图方面邻近当前块的块的运动向量)生成预测运动向量。
以与图23的步骤S1631、步骤S1632、步骤S1634、步骤S1637和步骤S1638的处理相同的方式执行步骤S1731、步骤S1732、步骤S1734、步骤S1737和步骤S1738的处理。
当步骤S1738的处理结束时，V2运动补偿处理结束，并且处理返回到图24。
由于如上所述地执行处理，因此图像解码设备200可以减小用于IVMP的运动向量所需的存储容量，并且抑制编码和解码所需的存储容量的增大。
尽管已经结合示例作出了以上描述，其中运动向量的精度在未压缩状态下是最大4×4精度以及在压缩之后是16×16精度，但是这是示例，并且运动向量的精度是任意的。运动向量的压缩率也是任意的。换句话说，每个视图的空间预测运动向量候选、时间预测运动向量候选、IVMP预测运动向量候选和预测运动向量的精度也是任意的。所有视图在精度或者压缩率上可以彼此相同或者不同。
<2.第二实施例>
<用于IVMP的运动向量的压缩>
在运动向量压缩中，如图26所图示的，可以对用于IVMP的运动向量和用于TMVP的运动向量进行压缩(例如，稀化)。换句话说，用于IVMP的运动向量的精度可以不同于用于TMVP的运动向量的精度。
更具体地说，例如，对于IVMP，以8×8精度对4×4精度的运动向量进行压缩(例如，稀化)直到下一个视图处理(编码和解码)开始，并且对于TMVP，以16×16精度对4×4精度的运动向量进行压缩(例如，稀化)直到下一个图片处理(编码和解码)开始。换句话说，对于IVMP参考8×8精度的运动向量，以及对于TMVP参考16×16精度的运动向量。因此，与现有技术的方法相比，可以抑制需要的存储容量的增大。此外，可以将用于IVMP的运动向量的精度增大为大于第一实施例中描述的方法所增大的精度。
例如，如图26所图示的，用于IVMP的运动向量通过运动向量压缩单元((V0至V2)MV压缩器A)以8×8精度进行压缩(例如，稀化)并且被存储在时间运动向量存储器((V0至V2)时间MV存储器)中。在IVMP中，时间运动向量存储器的运动向量被参考。通过该压缩(例如，稀化)，可以抑制时间运动向量存储器的容量的增大。
此外，作为用于TMVP的运动向量，时间运动向量存储器的运动向量还通过运动向量压缩单元((V0至V2)MV压缩器B)以16×16精度进行压缩(例如，稀化)并且被存储在运动向量存储器((V0至V2)MV存储器)中。在TMVP中，运动向量存储器的运动向量被参考。因此，在两种情况下，可以将压缩处理的压缩率(例如，稀化处理的稀化率)减小为1/4。换句话说，相同压缩处理(例如，稀化处理)可以仅执行两次，并且很容易实现。
将在下面更具体地描述压缩方法。在下面，运动向量的精度被假设为在未压缩状态下是最大4×4精度。此外，对于IVMP，假设以8×8精度对未压缩运动向量进行压缩(1/4压缩)。此外，对于TMVP，假设以16×16精度对1/4压缩的运动向量(8×8精度的运动向量)进行压缩(1/4压缩)。
<图像编码设备>
图27是图示V0图像编码设备的示例性主要配置的框图。图28是图示V1图像编码设备的示例性主要配置的框图。图29是图示V2图像编码设备的示例性主要配置的框图。
图像编码设备300(未示出)对包括多个层的运动图像(诸如图2中图示的多视点图像)进行编码。图像编码设备300包括图27的V0图像编码设备300-0、图28的V1图像编码设备300-1和图29的V2图像编码设备300-3，以便对多视点图像的视图进行编码。V0图像编码设备300-0对视图0的图像进行编码。V1图像编码设备300-1对视图1的图像进行编码。V2图像编码设备300-2对视图2的图像进行编码。
如图27所图示的，V0图像编码设备300-0包括A/D转换单元301-0、屏幕排序缓冲器302-0、运算单元303-0、正交变换单元304-0、量化单元305-0、无损编码单元306-0、累积缓冲器307-0、逆量化单元308-0、和逆正交变换单元309-0。V0图像编码设备300-0还包括运算单元310-0、环路滤波器311-0、解码图片缓冲器312-0、帧内预测单元313-0、运动预测/补偿单元314-0、预测图像选择单元315-0和速率控制单元316-0。
如图28所图示的，V1图像编码设备300-1包括A/D转换单元301-1、屏幕排序缓冲器302-1、运算单元303-1、正交变换单元304-1、量化单元305-1、无损编码单元306-1、累积缓冲器307-1、逆量化单元308-1和逆正交变换单元309-1。V1图像编码设备300-1还包括运算单元310-1、环路滤波器311-1、解码图片缓冲器312-1、帧内预测单元313-1、运动预测/补偿单元314-1、预测图像选择单元315-1和速率控制单元316-1。
如图29所图示的，V2图像编码设备300-2包括A/D转换单元301-2、屏幕排序缓冲器302-2、运算单元303-2、正交变换单元304-2、量化单元305-2、无损编码单元306-2、累积缓冲器307-2、逆量化单元308-2和逆正交变换单元309-2。V2图像编码设备300-2还包括运算单元310-2、环路滤波器311-2、解码图片缓冲器312-2、帧内预测单元313-2、运动预测/补偿单元314-2、预测图像选择单元315-2和速率控制单元316-2。
在下文中，当A/D转换单元301-0到301-2不需要彼此区分时，它们仅仅被称为“A/D转换单元301”。此外，当屏幕排序缓冲器302-0到302-2不需要彼此区分时，它们仅仅被称为“屏幕排序缓冲器302”。此外，当运算单元303-0到运算单元303-2不需要彼此区分时，它们仅仅被称为“运算单元303”。此外，当正交变换单元304-0到304-2不需要彼此区分时，它们仅仅被称为“正交变换单元304”。此外，当量化单元305-0到305-2不需要彼此区分时，它们仅仅被称为“量化单元305”。此外，当无损编码单元306-0到306-2不需要彼此区分时，它们仅仅被称为“无损编码单元306”。此外，当累积缓冲器307-0到307-2不需要彼此区分时，它们仅仅被称为“累积缓冲器307”。此外，当逆量化单元308-0到308-2不需要彼此区分时，它们仅仅被称为“逆量化单元308”。此外，当逆正交变换单元309-0到309-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元309”。
此外，当运算单元310-0到运算单元310-2不需要彼此区分时，它们仅仅被称为“运算单元310”。此外，当环路滤波器311-0到311-2不需要彼此区分时，它们仅仅被称为“环路滤波器311”。此外，当解码图片缓冲器312-0到312-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器312”。此外，当帧内预测单元313-0到313-2不需要彼此区分时，它们仅仅被称为“帧内预测单元313”。此外，当运动预测/补偿单元314-0到314-2不需要彼此区分时，它们仅仅被称为“运动预测/补偿单元314”。此外，当预测图像选择单元315-0到315-2不需要彼此区分时，它们仅仅被称为“预测图像选择单元315”。此外，当速率控制单元316-0到316-2不需要彼此区分时，它们仅仅被称为“速率控制单元316”。
A/D转换单元301与A/D转换单元101相对应，并且执行与A/D转换单元101基本上相同的处理。屏幕排序缓冲器302与屏幕排序缓冲器102相对应，并且执行与屏幕排序缓冲器102基本上相同的处理。运算单元303与运算单元103相对应，并且执行与运算单元103基本上相同的处理。正交变换单元304与正交变换单元104相对应，并且执行与正交变换单元104基本上相同的处理。量化单元305与量化单元105相对应，并且执行与量化单元105基本上相同的处理。无损编码单元306与无损编码单元106相对应，并且执行与无损编码单元106基本上相同的处理。累积缓冲器307与累积缓冲器107相对应，并且执行与累积缓冲器107基本上相同的处理。
逆量化单元308与逆量化单元108相对应，并且执行与逆量化单元108基本上相同的处理。逆正交变换单元309与逆正交变换单元109相对应，并且执行与逆正交变换单元109基本上相同的处理。运算单元310与运算单元110相对应，并且执行与运算单元110基本上相同的处理。环路滤波器311与环路滤波器111相对应，并且执行与环路滤波器111基本上相同的处理。解码图片缓冲器312与解码图片缓冲器112相对应，并且执行与解码图片缓冲器112基本上相同的处理。
帧内预测单元313与帧内预测单元113相对应，并且执行与帧内预测单元113基本上相同的处理。运动预测/补偿单元314与运动预测/补偿单元114相对应，并且执行与运动预测/补偿单元114基本上相同的处理。预测图像选择单元315与预测图像选择单元115相对应，并且执行与预测图像选择单元115基本上相同的处理。
V0图像编码设备300-0还包括V0运动向量压缩单元321-0、V0时间存储器322-0、V0运动向量压缩单元323-0和V0运动向量存储器324-0。
V1图像编码设备300-1还包括V1运动向量压缩单元321-1、V1时间存储器322-1、V1运动向量压缩单元323-1和V1运动向量存储器324-1。
V2图像编码设备300-2还包括V2运动向量压缩单元321-2、V2时间存储器322-2、V2运动向量压缩单元323-2和V2运动向量存储器324-2。
运动预测/补偿单元314-0向V0运动向量压缩单元321-0提供通过运动预测生成的当前块的未压缩V0运动向量(最大4×4精度)。此外，运动预测/补偿单元314-0获取V0运动向量存储器324-0中存储的1/16压缩的V0运动向量作为时间上邻近当前块的块的运动向量。
运动预测/补偿单元314-1向V1运动向量压缩单元321-1提供通过运动预测生成的当前块的未压缩V1运动向量(最大4×4精度)。此外，运动预测/补偿单元314-1获取V1运动向量存储器324-1中存储的1/16压缩的V1运动向量作为时间上邻近当前块的块的运动向量。此外，运动预测/补偿单元314-1获取V0运动向量存储器324-0中存储的1/16压缩的V0运动向量作为在视图方面邻近当前块的块的运动向量。
运动预测/补偿单元314-2向V2运动向量压缩单元321-2提供通过运动预测生成的当前块的未压缩V2运动向量(最大4×4精度)。此外，运动预测/补偿单元314-2获取V2运动向量存储器324-2中存储的1/16压缩的V2运动向量作为时间上邻近当前块的块的运动向量。此外，运动预测/补偿单元314-2获取V1运动向量存储器324-1中存储的1/16压缩的V1运动向量作为在视图方面邻近当前块的块的运动向量。
V0运动向量压缩单元321-0以8×8精度对从运动预测/补偿单元314-0提供的未压缩的V0运动向量执行压缩(也被称为“1/4压缩”)，并且向V0时间存储器322-0提供压缩的运动向量(也被称为“1/4压缩的V0运动向量”)。换句话说，V0运动向量压缩单元321-0与V0运动向量压缩单元121-0的压缩率不同，但是执行与V0运动向量压缩单元121-0相同的压缩。因此，与V0运动向量压缩单元121-0类似，对运动向量进行压缩的方法是任意的。
V0时间存储器322-0存储所提供的1/4压缩的V0运动向量。V0时间存储器322-0适当地将所存储的1/4压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元314-1。此外，V0时间存储器322-0适当地向V0运动向量压缩单元323-0提供所存储的1/4压缩的V0运动向量。
V0运动向量压缩单元323-0从V0时间存储器322-0读取1/4压缩的V0运动向量，以16×16精度执行压缩(也被称为“1/4压缩”)，并且向V0运动向量存储器324-0提供压缩的运动向量(即，“1/16压缩的V0运动向量”)。V0运动向量压缩单元323-0执行与V0运动向量压缩单元321-0相同的处理。换句话说，执行两次相同的1/4压缩。因此，生成与由V0运动向量压缩单元121-0生成的1/16压缩的V0运动向量相同的1/16压缩的V0运动向量。
V0运动向量压缩单元321-0和V0运动向量压缩单元323-0可以在压缩方法上彼此不同。此外，与V0运动向量压缩单元121-0类似地，V0运动向量压缩单元323-0可以对由运动预测/补偿单元314-0生成的未压缩的V0运动向量执行1/16压缩。
V0运动向量存储器324-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器324-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元314-0。
V1运动向量压缩单元321-1是类似于V0运动向量压缩单元321-0的处理单元。V1运动向量压缩单元321-1对从运动预测/补偿单元314-1提供的未压缩的V1运动向量执行1/4压缩，并且向V1时间存储器322-1提供压缩的运动向量(也被称为“1/4压缩的V1运动向量”)。
V1时间存储器322-1是类似于V0时间存储器322-0的处理单元。V1时间存储器322-1存储所提供的1/4压缩的V1运动向量。V1时间存储器322-1适当地将所存储的1/4压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元314-2。此外，V1时间存储器322-1适当地向V1运动向量压缩单元323-1提供所存储的1/4压缩的V1运动向量。
V1运动向量压缩单元323-1是类似于V0运动向量压缩单元323-0的处理单元。V1运动向量压缩单元323-1从V1时间存储器322-1读取1/4压缩的V1运动向量，执行1/4压缩，并且向V1运动向量存储器324-1提供压缩的运动向量(即，1/16压缩的V1运动向量)。
V1运动向量存储器324-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器324-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元314-1。
V2运动向量压缩单元321-2是类似于V0运动向量压缩单元321-0的处理单元。V2运动向量压缩单元321-2对从运动预测/补偿单元314-2提供的未压缩的V2运动向量执行1/4压缩，并且向V2时间存储器322-2提供压缩的运动向量(也被称为“1/4压缩的V2运动向量”)。
V2时间存储器322-2是类似于V0时间存储器322-0的处理单元。V2时间存储器322-2存储所提供的1/4压缩的V2运动向量。V2时间存储器322-2适当地向V2运动向量压缩单元323-2提供所存储的1/4压缩的V2运动向量。
V2运动向量压缩单元323-2是类似于V0运动向量压缩单元323-0的处理单元。V2运动向量压缩单元323-2从V2时间存储器322-2读取1/4压缩的V2运动向量，执行1/4压缩，并且向V2运动向量存储器324-2提供压缩的运动向量(即，1/16压缩的V2运动向量)。
V2运动向量存储器324-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器324-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元314-2。
由于V2图像编码设备300-2对最后处理的视图2的图像进行编码，因此运动预测/补偿单元314-2中获得的运动向量不用于任何其它视图。因此，代替V2运动向量压缩单元321-2至V2运动向量存储器324-2，可以如V2图像编码设备100-2中一样应用V2运动向量压缩单元121-2和V2运动向量存储器122-2。
如上所述，V0运动向量压缩单元321-0、V1运动向量压缩单元321-1和V2运动向量压缩单元321-2可以通过减少运动向量的数量来减少(即，压缩)运动向量的信息量。因此，可以减小V0时间存储器322-0、V1时间存储器322-1和V2时间存储器322-2的容量。
此外，在此时，通过抑制压缩率，使得用于IVMP的运动向量的精度高于用于TMVP的运动向量的精度，可以将IVMP的预测精度提高至高于当用于IVMP的运动向量的精度等于用于TMVP的运动向量的精度时的精度。
因此，可以为图像编码设备300实现制造或者开发成本的降低、设备尺寸缩小、功耗降低等等。
<V0编码处理流程>
接下来，将描述由图像编码设备100执行的处理的流程。由图像编码设备300执行的编码处理的流程与第一实施例(图9)相同，因此省略其描述。
接下来，将参考图30的流程图描述在图9的步骤S1001中执行的对视图0进行编码的V0编码处理的示例性流程。
通过V0图像编码设备300-0的相应处理单元，以与图10的步骤S1101至步骤S1105的处理相同的方式执行步骤S2101至步骤S2105的处理。
在步骤S2106中，V0运动向量压缩单元321-0对最大4×4精度的未压缩V0运动向量执行压缩(1/4压缩)，该未压缩V0运动向量用作通过步骤S2104的处理以8×8精度生成的视图0的当前图片的运动向量。例如，以LCU的单位执行1/4压缩(例如，16×16个像素)。
在步骤S2107中，V0时间存储器322-0存储通过步骤S2106的处理生成的1/4压缩的V0运动向量。
通过V0图像编码设备300-0的相应处理单元，以与图10的步骤S1108至步骤S1119的处理相同的方式执行步骤S2108至步骤S2119的处理。
在步骤S2120中，V0运动向量压缩单元323-0从V0时间存储器322-0读取通过步骤S2107的处理存储的1/4压缩的V0运动向量，并且还执行1/4压缩。
在步骤S2121中，V0运动向量存储器324-0存储通过步骤S2106的处理生成的1/16压缩的V0运动向量。
当步骤S2121的处理结束时，V0编码处理结束，并且处理返回到图9。通过运动预测/补偿单元314-0以与第一实施例相同的方式(图11)执行图30的步骤S2104中执行的V0帧间运动预测处理，因此省略其描述。
<V1编码处理流程>
接下来，将参考图31的流程图描述在图9的步骤S1002中执行的对视图1进行编码的V1编码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于帧间运动预测处理。因此，如图31所图示的，V1图像编码设备300-1以与针对视图0的V0编码处理(图30)基本上相同的方式执行针对视图1的V1编码处理。换句话说，以与图30的步骤S2101至步骤S2121的处理基本上相同的方式执行图31的步骤S2201至步骤S2221的处理。因此，可以进行图31的描述，使得以V1图像编码设备300-1的相应组件代替参考图30描述的V0图像编码设备300-0的相应组件，以及以针对视图1的处理代替图30中图示的针对视图0的处理，因此省略其描述。
<V1帧间运动预测处理流程>
接下来，将参考图32的流程图描述在图31的步骤S2204中执行的V1帧间运动预测处理的示例性流程。
运动预测/补偿单元314-1以与图13的步骤S1231至步骤S1233的处理相同的方式执行步骤S2241至步骤S2243的处理。
在步骤S2244中，运动预测/补偿单元114-1从V0时间存储器322-0获取1/4压缩的V0运动向量，并且使用1/4压缩的V0运动向量决定IVMP预测运动向量候选。
运动预测/补偿单元314-1以与图13的步骤S1235至步骤S1238的处理相同的方式执行步骤S2245至步骤S2248的处理。当步骤S2248的处理结束时，V1帧间运动预测处理结束，并且处理返回到图31。
<V2编码处理流程>
接下来，将参考图33的流程图描述在图9的步骤S1003中执行的对视图2进行编码的V2编码处理的示例性流程。
与针对视图1的处理类似地执行针对视图2的处理。因此，如图33所图示的，V2图像编码设备300-2以与针对视图1的V1编码处理(图31)基本上相同的方式执行V2编码处理。换句话说，以与图31的步骤S2201至步骤S2221的处理基本上相同的方式执行图33的步骤S2301至步骤S2321的处理。因此，可以进行图33的描述，使得以V2图像编码设备300-2的相应组件代替参考图31描述的V1图像编码设备300-1的相应组件，以及以针对视图2的处理代替图31中图示的针对视图1的处理，因此省略其描述。
在步骤S2306中，可以对未压缩的V2运动向量执行1/16压缩，可以在步骤S2307中存储所获得的1/16压缩的V2运动向量，并且可以不执行步骤S2320和步骤S2321的处理。在这种情况下，由于压缩处理的数量减少，因此可以抑制由压缩引起的负载的增大。在这里，如图33所图示的，由于执行两次1/4压缩，因此可以与其它视图类似地执行压缩，并且很容易控制。
<V2帧间运动预测处理流程>
接下来，将参考图34的流程图描述在图33的步骤S2304中执行的V2帧间运动预测处理的示例性流程。
如图34所图示的，运动预测/补偿单元314-2以与针对视图1的V1帧间运动预测处理(图32)基本上相同的方式执行V2帧间运动预测处理。换句话说，以与图32的步骤S2241至步骤S2248的处理基本上相同的方式执行图34的步骤S2341至步骤S2348的处理。
在这里，在步骤S2342中，使用作为视图2的未压缩运动向量的未压缩V2运动向量。在步骤S2343中，使用已经经过1/16压缩的1/16压缩的V2运动向量。在步骤S2344中，使用已经经过1/4压缩的1/4压缩的V1运动向量。
当步骤S2348的处理结束时，V2帧间运动预测处理结束，并且处理返回到图33。
由于如上所述地执行处理，因此图像编码设备300可以减小用于IVMP的运动向量所需的存储容量，并且可以抑制编码和解码所需的存储容量的增大。
<图像解码设备>
接下来，将描述如上所述编码的已编码数据(已编码流)的解码。图35是图示V0图像解码设备的示例性主要配置的框图。图36是图示V1图像解码设备的示例性主要配置的框图。图37是图示V2图像解码设备的示例性主要配置的框图。
图像解码设备400(未示出)通过与编码方法相对应的解码方法，对被图像编码设备300编码的包括多个层的运动图像(诸如图2所图示的多视点图像)的已编码数据进行解码。图像解码设备400包括图35的V0图像解码设备400-0、图36的V1图像解码设备400-1和图37的V2图像解码设备400-2，以便对多视点图像的各个视图的已编码数据进行解码。V0图像解码设备400-0对通过V0图像编码设备300-0编码的视图0的图像的已编码数据进行解码。V1图像解码设备400-1对通过V1图像编码设备300-1编码的视图1的图像的已编码数据进行解码。V2图像解码设备400-2对通过V2图像编码设备300-2编码的视图2的图像的已编码数据进行解码。
如图35所图示的，V0图像解码设备400-0包括累积缓冲器401-0、无损解码单元402-0、逆量化单元403-0、逆正交变换单元404-0、运算单元405-0、环路滤波器406-0、屏幕排序缓冲器407-0和D/A转换单元408-0。V0图像解码设备400-0还包括解码图片缓冲器409-0、帧内预测单元410-0、运动补偿单元411-0和选择单元412-0。
如图36所图示的，V1图像解码设备400-1包括累积缓冲器401-1、无损解码单元402-1、逆量化单元403-1、逆正交变换单元404-1、运算单元405-1、环路滤波器406-1、屏幕排序缓冲器407-1和D/A转换单元408-1。V1图像解码设备400-1还包括解码图片缓冲器409-1、帧内预测单元410-1、运动补偿单元411-1和选择单元412-1。
如图37所图示的，V2图像解码设备400-2包括累积缓冲器401-2、无损解码单元402-2、逆量化单元403-2、逆正交变换单元404-2、运算单元405-2、环路滤波器406-2、屏幕排序缓冲器407-2和D/A转换单元408-2。V2图像解码设备400-2还包括解码图片缓冲器409-2、帧内预测单元410-2、运动补偿单元411-2和选择单元412-2。
在下文中，当累积缓冲器401-0到401-2不需要彼此区分时，它们仅仅被称为“累积缓冲器401”。此外，当无损解码单元402-0到402-2不需要彼此区分时，它们仅仅被称为“无损解码单元402”。此外，当逆量化单元403-0到403-2不需要彼此区分时，它们仅仅被称为“逆量化单元403”。此外，当逆正交变换单元404-0到404-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元404”。此外，当运算单元405-0到405-2不需要彼此区分时，它们仅仅被称为“运算单元405”。
此外，当环路滤波器406-0到406-2不需要彼此区分时，它们仅仅被称为“环路滤波器406”。此外，当屏幕排序缓冲器407-0到407-2不需要彼此区分时，它们仅仅被称为“屏幕排序缓冲器407”。此外，当D/A转换单元408-0到408-2不需要彼此区分时，它们仅仅被称为“D/A转换单元408”。此外，当解码图片缓冲器409-0到409-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器409”。
此外，当帧内预测单元410-0到410-2不需要彼此区分时，它们仅仅被称为“帧内预测单元410”。此外，当运动补偿单元411-0到411-2不需要彼此区分时，它们仅仅被称为“运动补偿单元411”。此外，当选择单元412-0到412-2不需要彼此区分时，它们仅仅被称为“选择单元412”。
累积缓冲器401与累积缓冲器201相对应，并且执行与累积缓冲器201基本上相同的处理。无损解码单元402与无损解码单元202相对应，并且执行与无损解码单元202基本上相同的处理。逆量化单元403与逆量化单元203相对应，并且执行与逆量化单元203基本上相同的处理。逆正交变换单元404与逆正交变换单元204相对应，并且执行与逆正交变换单元204基本上相同的处理。运算单元405与运算单元205相对应，并且执行与运算单元205基本上相同的处理。
环路滤波器406与环路滤波器206相对应，并且执行与环路滤波器206基本上相同的处理。屏幕排序缓冲器407与屏幕排序缓冲器207相对应，并且执行与屏幕排序缓冲器207基本上相同的处理。D/A转换单元408与D/A转换单元208相对应，并且执行与D/A转换单元208基本上相同的处理。解码图片缓冲器409与解码图片缓冲器209相对应，并且执行与解码图片缓冲器209基本上相同的处理。
帧内预测单元410与帧内预测单元210相对应，并且执行与帧内预测单元210基本上相同的处理。运动补偿单元411与运动补偿单元211相对应，并且执行与运动补偿单元211基本上相同的处理。选择单元412与选择单元212相对应，并且执行与选择单元212基本上相同的处理。
V0图像解码设备400-0还包括V0运动向量压缩单元421-0、V0时间存储器422-0、V0运动向量压缩单元423-0和V0运动向量存储器424-0。
V1图像解码设备400-1还包括V1运动向量压缩单元421-1、V1时间存储器422-1、V1运动向量压缩单元423-1和V1运动向量存储器424-1。
V2图像解码设备400-2还包括V2运动向量压缩单元421-2、V2时间存储器422-2、V2运动向量压缩单元423-2和V2运动向量存储器424-2。
运动补偿单元411-0向V0运动向量压缩单元421-0提供通过运动预测生成的当前块的未压缩的V0运动向量(最大4×4精度)。此外，运动补偿单元411-0获取V0运动向量存储器424-0中存储的1/16压缩的V0运动向量作为时间上邻近当前块的块的运动向量。
运动补偿单元411-1向V1运动向量压缩单元421-1提供通过运动预测生成的当前块的未压缩的V1运动向量(4×4精度)。此外，运动补偿单元411-1获取V1运动向量存储器424-1中存储的1/16压缩的V1运动向量作为时间上邻近当前块的块的运动向量。此外，运动补偿单元411-1获取V0时间存储器422-0中存储的1/4压缩的V0运动向量作为在视图方面邻近当前块的块的运动向量。
运动补偿单元411-2向V2运动向量压缩单元421-2提供通过运动预测生成的当前块的未压缩的V2运动向量(4×4精度)。此外，运动补偿单元411-2获取V2运动向量存储器424-2中存储的1/16压缩的V2运动向量作为时间上邻近当前块的块的运动向量。此外，运动补偿单元411-2获取V1时间存储器422-1中存储的1/4压缩的V1运动向量作为在视点方面邻近当前块的块的运动向量。
V0运动向量压缩单元421-0对从运动补偿单元411-0提供的未压缩的V0运动向量执行1/4压缩，并且向V0时间存储器422-0提供所获得的1/4压缩的V0运动向量。对运动向量进行压缩的方法是任意的，只要使用与V0运动向量压缩单元321-0相同的方法即可。
V0时间存储器422-0存储所提供的1/4压缩的V0运动向量。V0时间存储器422-0适当地将所存储的1/4压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元411-1。此外，V0时间存储器422-0适当地向V0运动向量压缩单元423-0提供所存储的1/4压缩的V0运动向量。
V0运动向量压缩单元423-0从V0时间存储器422-0读取1/4压缩的V0运动向量，执行1/4压缩，并且向V0运动向量存储器424-0提供所获得的1/16压缩的V0运动向量。对运动向量进行压缩的方法是任意的，只要使用与V0运动向量压缩单元323-0相同的方法即可。
例如，V0运动向量压缩单元421-0和V0运动向量压缩单元423-0可以在压缩方法上彼此不同。此外，与V0运动向量压缩单元221-0类似地，V0运动向量压缩单元423-0可以对由运动补偿单元411-0生成的未压缩的V0运动向量执行1/16压缩。
V0运动向量存储器424-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器424-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动补偿单元411-0。
V1运动向量压缩单元421-1是类似于V0运动向量压缩单元421-0的处理单元。V1运动向量压缩单元421-1对从运动补偿单元411-1提供的未压缩V1运动向量执行1/4压缩，并且向V1时间存储器422-1提供所获得的1/4压缩的V1运动向量。
V1时间存储器422-1是类似于V0时间存储器422-0的处理单元。V1时间存储器422-1存储所提供的1/4压缩的V1运动向量。V1时间存储器422-1适当地将所存储的1/4压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元411-2。此外，V1时间存储器422-1适当地向V1运动向量压缩单元423-1提供所存储的1/4压缩的V1运动向量。
V1运动向量压缩单元423-1是类似于V0运动向量压缩单元423-0的处理单元。V1运动向量压缩单元423-1从V1时间存储器422-1读取1/4压缩的V1运动向量，执行1/4压缩，并且向V1运动向量存储器424-1提供所获得的1/16压缩的V1运动向量。
V1运动向量存储器424-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器424-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动补偿单元411-1。
V2运动向量压缩单元421-2是类似于V0运动向量压缩单元421-0的处理单元。V2运动向量压缩单元421-2对从运动补偿单元411-2提供的未压缩V2运动向量执行1/4压缩，并且向V2时间存储器422-2提供所获得的1/4压缩的V2运动向量。
V2时间存储器422-2是类似于V0时间存储器422-0的处理单元。V2时间存储器422-2存储所提供的1/4压缩的V2运动向量。V2时间存储器422-2适当地向V2运动向量压缩单元423-2提供所存储的1/4压缩的V2运动向量。
V2运动向量压缩单元423-2是类似于V0运动向量压缩单元423-0的处理单元。V2运动向量压缩单元423-2从V2时间存储器422-2读取1/4压缩的V2运动向量，执行1/4压缩，并且向V2运动向量存储器424-2提供所获得的1/16压缩的V2运动向量。
V2运动向量存储器424-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器424-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动补偿单元411-2。
由于V2图像解码设备400-2对最后处理的视图2的图像的已编码数据进行解码，因此运动补偿单元411-2中获得的运动向量不用于任何其它视图。因此，代替V2运动向量压缩单元421-2至V2运动向量存储器424-2，可以如在V2图像解码设备200-2中一样应用V2运动向量压缩单元221-2和V2运动向量存储器222-2。
如上所述，V0运动向量压缩单元421-0、V1运动向量压缩单元421-1和V2运动向量压缩单元421-2可以通过减少运动向量的数量来减少(即，压缩)运动向量的信息量。因此，可以减小V0时间存储器422-0、V1时间存储器422-1和V2时间存储器422-2的容量。
此外，在此时，通过抑制压缩率，使得用于IVMP的运动向量的精度高于用于TMVP的运动向量的精度，可以将IVMP的预测精度提高至高于当用于IVMP的运动向量的精度等于用于TMVP的运动向量的精度时的精度。
因此，可以为图像解码设备400实现制造或者开发成本的降低、设备尺寸缩小、功耗降低等等。
<V0解码处理流程>
接下来，将描述由图像解码设备400执行的处理的流程。由图像解码设备400执行的解码处理的流程与第一实施例(图19)相同，因此省略其描述。
接下来，将参考图38的流程图描述在图19的步骤S1401中执行的对视图0进行解码的V0解码处理的示例性流程。
通过V0图像解码设备400-0的相应处理单元，以与图20的步骤S1501至步骤S1508的处理相同的方式执行步骤S2501至步骤S2508的处理。
在步骤S2509中，V0运动向量压缩单元421-0对最大4×4精度的未压缩的V0运动向量执行压缩(1/4压缩)，该未压缩的V0运动向量用作通过步骤S2506的处理以8×8精度生成的视图0的当前图片的运动向量。例如，以LCU的单位执行1/4压缩(例如，16×16个像素)。
在步骤S2510中，V0时间存储器422-0存储通过步骤S2509的处理生成的1/4压缩的V0运动向量。
通过V0图像解码设备400-0的相应处理单元，以与图20的步骤S1511至步骤S1515的处理相同的方式执行步骤S2511至步骤S2515的处理。
在步骤S2516中，V0运动向量压缩单元423-0从V0时间存储器422-0读取通过步骤S2510的处理存储的1/4压缩的V0运动向量，并且还执行1/4压缩。
在步骤S2517中，V0运动向量存储器424-0存储通过步骤S2516的处理生成的1/16压缩的V0运动向量。
当步骤S2517的处理结束时，V0编码处理结束，并且处理返回到图19。此外，通过运动补偿单元411-0以与第一实施例(图21)相同的方式执行图38的步骤S2506中执行的V0运动补偿处理，因此省略其描述。
<V1解码处理流程>
接下来，将参考图39的流程图描述在图19的步骤S1402中执行的对视图1的已编码数据进行解码的V1解码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于运动补偿处理。因此，如图39所图示的，V1图像解码设备400-1以与针对视图0的V0解码处理(图38)基本上相同的方式执行针对视图1的V1解码处理。换句话说，以与图38的步骤S2501至步骤S2517的处理基本上相同的方式执行图39的步骤S2601至步骤S2617的处理。因此，可以进行图39的描述，使得以V1图像解码设备400-1的相应组件代替参考图38描述的V0图像解码设备400-0的相应组件，以及以针对视图1的处理代替图38中图示的针对视图0的处理，因此省略其描述。
<V1运动补偿处理流程>
接下来，将参考图40的流程图描述在图39的步骤S2606中执行的V1运动补偿处理的示例性流程。
通过运动补偿单元411-1以与图23的步骤S1631至步骤S1635的处理相同的方式执行步骤S2631至步骤S2635的处理。
在步骤S2636中，运动补偿单元411-1使用1/4压缩的V0运动向量(视图0的图像的共同定位块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S2637。
通过运动补偿单元411-1以与图23的步骤S1637和步骤S1638的处理相同的方式执行步骤S2637和步骤S2638的处理。当步骤S2638的处理结束时，V1运动补偿处理结束，并且处理返回到图22。
<V2解码处理流程>
接下来，将参考图41的流程图描述在图19的步骤S1403中执行的对视图2的已编码数据进行解码的V2解码处理的示例性流程。
针对视图1的处理与针对视图2的处理之间的不同主要在于运动补偿处理。因此，如图41所图示的，通过V2图像解码设备400-2以与针对视图1的V1解码处理(图39)基本上相同的方式执行V2解码处理。换句话说，以与图39的步骤S2601至步骤S2617的处理基本上相同的方式执行图41的步骤S2701至步骤S2717的处理。因此，可以进行图41的描述，使得以V2图像解码设备400-2的相应组件代替参考图39描述的V1图像解码设备400-1的相应组件，以及以针对视图2的处理代替图39中图示的针对视图1的处理，因此省略其描述。
<V2运动补偿处理流程>
接下来，将参考图42的流程图描述在图41的步骤S2706中执行的V2运动补偿处理的示例性流程。
通过运动补偿单元411-2以与图25的步骤S1731至步骤S1735的处理相同的方式执行步骤S2731至步骤S2735的处理。
在步骤S2736中，运动补偿单元411-2使用1/4压缩的V1运动向量(视图1的图像的共同定位块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S2737。
通过运动补偿单元411-2以与图25的步骤S1737和步骤S1738的处理相同的方式执行步骤S2737和步骤S2738的处理。当步骤S2738的处理结束时，V1运动补偿处理结束，并且处理返回到图41。
由于如上所述地执行处理，因此图像解码设备400可以减小用于IVMP的运动向量所需的存储容量，并且可以抑制编码和解码所需的存储容量的增大。
尽管已经结合示例作出了以上描述，其中运动向量的精度在未压缩状态下是最大4×4精度，对于IVMP以8×8精度执行压缩，以及对于TMVP以16×16精度执行压缩，但是这是示例，并且运动向量的精度是任意的。每个压缩的压缩率也是任意的。换句话说，每个视图的空间预测运动向量候选、时间预测运动向量候选、IVMP预测运动向量候选和预测运动向量的精度也是任意的。所有视图在精度或者压缩率上可以彼此相同或者不同。
<3.第三实施例>
<用于IVMP的运动向量的压缩>
在运动向量压缩(例如，稀化)中，如图43所图示的，可以控制是否对用于IVMP的运动向量进行压缩(例如，稀化)。换句话说，可以选择参考图4描述的现有技术的方法和参考图5描述的方法(在第一实施例中描述的)中的一个。
更具体地说，例如，解码器(V1(依赖)解码器和V2(依赖)解码器)选择是否从时间运动向量存储器(V0时间MV存储器和V1时间MV存储器)获取未压缩运动向量(未压缩MV)，然后使用所获取的未压缩运动向量执行IVMP，或者选择是否从运动向量存储器(V0MV存储器和V1MV存储器)获取1/16压缩(例如，稀化)的运动向量(压缩的MV)，然后通过开关(V0SW和V1SW)使用所获取的1/16压缩的运动向量执行IVMP。
因此，可以在根据任意条件(诸如存储器的容量、CPU的处理能力、当前负载情况等等)更适应地控制处理量、使用的存储量等等的同时执行编码或者解码。
将在下面更具体地描述压缩方法。在下面，假设运动向量的精度在未压缩状态下为最大4×4精度。此外，对于TMVP(或者对于TMVP和IVMP)，假设以16×16精度对未压缩的运动向量进行压缩(1/4压缩)。
<语法>
如上所述，当选择多个方法中的任何一个时，编码侧和解码侧必须选择相同的方法。在这点上，为了使编码侧和解码侧共享选择的方法，可以将指示所选择的方法的信息(例如，标记)从编码侧传送到解码侧。例如，可以在编码侧处生成1比特标志，然后传送到解码侧，该1比特标志指示选择图4的方法和图5的方法中的哪一个。解码侧可以基于标志的值执行解码，选择与编码侧处采用的方法相同的方法，然后适当地执行解码。
在这种情况下，可以通过任意方法传送标志。例如，可以通过如图44所图示的语法一样的序列参数集(Sep_parameter_set)传送标志。
在图44的示例的情况下，图像编码设备生成标志，将“sps_mv_compression_flag”存储在序列参数集中作为标志，并且传送标志。图像解码设备从比特流提取“sps_mv_compression_flag”，并且参考该值选择与图像编码设备采用的方法相同的方法。
<图像编码设备>
图45是图示V0图像编码设备的示例性主要配置的框图。图46是图示V1图像编码设备的示例性主要配置的框图。图47是图示V2图像编码设备的示例性主要配置的框图。
图像编码设备500(未示出)对包括多个层的运动图像(诸如图2中图示的多视点图像)进行编码。图像编码设备500包括图45的V0图像编码设备500-0、图46的V1图像编码设备500-1和图47的V2图像编码设备500-3，以便对多视点图像的视图进行编码。V0图像编码设备500-0对视图0的图像进行编码。V1图像编码设备500-1对视图1的图像进行编码。V2图像编码设备500-2对视图2的图像进行编码。
如图45所图示的，V0图像编码设备500-0包括A/D转换单元501-0、屏幕排序缓冲器502-0、运算单元503-0、正交变换单元504-0、量化单元505-0、无损编码单元506-0、累积缓冲器507-0、逆量化单元508-0、逆正交变换单元509-0。V0图像编码设备500-0还包括运算单元510-0、环路滤波器511-0、解码图片缓冲器512-0、帧内预测单元513-0、运动预测/补偿单元514-0、预测图像选择单元515-0和速率控制单元516-0。
如图46所图示的，V1图像编码设备500-1包括A/D转换单元501-1、屏幕排序缓冲器502-1、运算单元513-1、正交变换单元504-1、量化单元505-1、无损编码单元506-1、累积缓冲器507-1、逆量化单元508-1和逆正交变换单元509-1。V1图像编码设备500-1还包括运算单元510-1、环路滤波器511-1、解码图片缓冲器512-1、帧内预测单元513-1、运动预测/补偿单元514-1、预测图像选择单元515-1和速率控制单元516-1。
如图47所图示的，V2图像编码设备500-2包括A/D转换单元501-2、屏幕排序缓冲器502-2、运算单元503-2、正交变换单元504-2、量化单元505-2、无损编码单元506-2、累积缓冲器507-2、逆量化单元508-2和逆正交变换单元509-2。V2图像编码设备500-2还包括运算单元510-2、环路滤波器511-2、解码图片缓冲器512-2、帧内预测单元513-2、运动预测/补偿单元514-2、预测图像选择单元515-2和速率控制单元516-2。
在下文中，当A/D转换单元501-0到501-2不需要彼此区分时，它们仅仅被称为“A/D转换单元501”。此外，当屏幕排序缓冲器502-0到502-2不需要彼此区分时，它们仅仅被称为“屏幕排序缓冲器502”。此外，当运算单元503-0到503-2不需要彼此区分时，它们仅仅被称为“运算单元503”。此外，当正交变换单元504-0到504-2不需要彼此区分时，它们仅仅被称为“正交变换单元504”。此外，当量化单元505-0到505-2不需要彼此区分时，它们仅仅称作为“量化单元505”。此外，当无损编码单元506-0到506-2不需要彼此区分时，它们仅仅被称为“无损编码单元506”。此外，当累积缓冲器507-0到507-2不需要彼此区分时，它们仅仅被称为“累积缓冲器507”。此外，当逆量化单元508-0到508-2不需要彼此区分时，它们仅仅被称为“逆量化单元508”。此外，当逆正交变换单元509-0到509-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元509”。
此外，当运算单元510-0到510-2不需要彼此区分时，它们仅仅被称为“运算单元510”。此外，当环路滤波器511-0到511-2不需要彼此区分时，它们仅仅被称为“环路滤波器511”。此外，当解码图片缓冲器512-0到512-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器512”。此外，当帧内预测单元513-0到513-2不需要彼此区分时，它们仅仅被称为“帧内预测单元513”。此外，当运动预测/补偿单元514-0到514-2不需要彼此区分时，它们仅仅被称为“运动预测/补偿单元514”。此外，当预测图像选择单元515-0到515-2不需要彼此区分时，它们仅仅被称为“预测图像选择单元515”。此外，当速率控制单元516-0到516-2不需要彼此区分时，它们仅仅被称为“速率控制单元516”。
A/D转换单元501与A/D转换单元101相对应，并且执行与A/D转换单元101基本上相同的处理。屏幕排序缓冲器502与屏幕排序缓冲器102相对应，并且执行与屏幕排序缓冲器102基本上相同的处理。运算单元503与运算单元103相对应，并且执行与运算单元103基本上相同的处理。正交变换单元504与正交变换单元104相对应，并且执行与正交变换单元104基本上相同的处理。量化单元505与量化单元105相对应，并且执行与量化单元105基本上相同的处理。无损编码单元506与无损编码单元106相对应，并且执行与无损编码单元106基本上相同的处理。累积缓冲器507与累积缓冲器107相对应，并且执行与累积缓冲器107基本上相同的处理。
逆量化单元508与逆量化单元108相对应，并且执行与逆量化单元108基本上相同的处理。逆正交变换单元509与逆正交变换单元109相对应，并且执行与逆正交变换单元109基本上相同的处理。运算单元510与运算单元110相对应，并且执行与运算单元110基本上相同的处理。环路滤波器511与环路滤波器111相对应，并且执行与环路滤波器111基本上相同的处理。解码图片缓冲器512与解码图片缓冲器112相对应，并且执行与解码图片缓冲器112基本上相同的处理。
帧内预测单元513与帧内预测单元113相对应，并且执行与帧内预测单元113基本上相同的处理。运动预测/补偿单元514与运动预测/补偿单元114相对应，并且执行与运动预测/补偿单元114基本上相同的处理。预测图像选择单元515与预测图像选择单元115相对应，并且执行与预测图像选择单元115基本上相同的处理。
V0图像编码设备500-0还包括控制单元521、标志生成单元522、V0选择单元531-0、V0时间存储器532-0、V0运动向量压缩单元533-0、V0运动向量存储器534-0和V0选择单元535-0。
V1图像编码设备500-1还包括V1选择单元531-1、V1时间存储器532-1、V1运动向量压缩单元533-1、V1运动向量存储器534-1和V1选择单元535-1。
V2图像编码设备500-2还包括V2选择单元531-2、V2时间存储器532-2、V2运动向量压缩单元533-2和V2运动向量存储器534-2。
控制单元521决定是否基于从外部(诸如用户或者其它设备)给出的指令、特定条件确定结果等对用于IVMP的运动向量进行压缩。换句话说，控制单元521决定选择图4中图示的方法和图5中图示的方法中的哪一个。当决定是否压缩运动向量时，控制单元521向标志生成单元522提供指示是否压缩运动向量的信息。
标志生成单元522生成指示从控制单元521通知的方法的标志。标志生成单元522向无损编码单元506-0提供生成的标志。无损编码单元506-0包括序列参数集中所提供的标志，并且向解码侧传送作为结果的序列参数集。
控制单元521根据决定的方法控制V0选择单元531-0、V0选择单元535-0、V1选择单元531-1、V1选择单元535-1和V2选择单元531-2的选择(切换)。
当控制单元521选择对用于IVMP的运动向量进行压缩的方法时，V0选择单元531-0根据控制单元521的控制来选择V0运动向量压缩单元533-0，以及V0选择单元535-0根据控制单元521的控制来选择V0运动向量存储器534-0。V1选择单元531-1根据控制单元521的控制来选择V1运动向量压缩单元533-1，以及V1选择单元535-1根据控制单元521的控制来选择V1运动向量存储器534-1。V2选择单元531-2根据控制单元521的控制来选择V2运动向量压缩单元533-2。
在这种情况下，运动预测/补偿单元514-0经由V0选择单元531-0向V0运动向量压缩单元533-0提供通过运动预测生成的当前块的未压缩V0运动向量(最大4×4精度)。V0运动向量压缩单元533-0对从运动预测/补偿单元514-0提供的未压缩的V0运动向量执行1/16压缩，并且向V0运动向量存储器534-0提供所获得的1/16压缩的V0运动向量。V0运动向量存储器534-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器534-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-0。此外，V0运动向量存储器534-0经由V0选择单元535-0适当地将所存储的1/16压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元514-1。
运动预测/补偿单元514-1经由V1选择单元531-1向V1运动向量压缩单元533-1提供通过运动预测生成的当前块的未压缩V1运动向量(最大4×4精度)。V1运动向量压缩单元533-1对从运动预测/补偿单元514-1提供的未压缩V1运动向量执行1/16压缩，并且向V1运动向量存储器534-1提供所获得的1/16压缩的V1运动向量。V1运动向量存储器534-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器534-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-1。此外，V1运动向量存储器534-1经由V1选择单元535-1将所存储的1/16压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元514-2。
运动预测/补偿单元514-2经由V2选择单元531-2向V2运动向量压缩单元533-2提供通过运动预测生成的当前块的未压缩V2运动向量(最大4×4精度)。V2运动向量压缩单元533-2对从运动预测/补偿单元514-2提供的未压缩V2运动向量执行1/16压缩，并且向V2运动向量存储器534-2提供所获得的1/16压缩的V2运动向量。V2运动向量存储器534-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器534-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-2。
换句话说，在这种情况下，图像编码设备500被配置为执行与第一实施例中描述的方法(例如，图5)相同的方法。
当控制单元521选择不对用于IVMP的运动向量进行压缩的方法时，V0选择单元531-0和V0选择单元535-0根据控制单元521的控制来选择V0时间存储器532-0。V1选择单元531-1和V1选择单元535-1根据控制单元521的控制来选择V1时间存储器532-0。V2选择单元531-2根据控制单元521的控制来选择V2时间存储器532-2。
在这种情况下，运动预测/补偿单元514-0经由V0选择单元531-0向V0时间存储器532-0提供通过运动预测生成的当前块的未压缩V0运动向量(最大4×4精度)。V0时间存储器532-0经由V0选择单元535-0适当地将所存储的未压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元514-1。此外，V0时间存储器532-0适当地向V0运动向量压缩单元533-0提供所存储的未压缩的V0运动向量。V0运动向量压缩单元533-0从V0时间存储器532-0读取未压缩的V0运动向量，执行1/16压缩，以及向V0运动向量存储器534-0提供所获得的1/16压缩的V0运动向量。V0运动向量存储器534-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器534-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-0。
运动预测/补偿单元514-1经由V1选择单元531-1向V1时间存储器532-1提供通过运动预测生成的当前块的未压缩V1运动向量(最大4×4精度)。V1时间存储器532-1经由V1选择单元535-1适当地将所存储的未压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动预测/补偿单元514-2。此外，V1时间存储器532-1适当地向V1运动向量压缩单元533-1提供所存储的未压缩的V1运动向量。V1运动向量压缩单元533-1对从V1时间存储器532-1提供的未压缩V1运动向量执行1/16压缩，并且向V1运动向量存储器534-1提供所获得的1/16压缩的V1运动向量。V1运动向量存储器534-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器534-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-1。
运动预测/补偿单元514-2经由V2选择单元531-2向V2时间存储器532-2提供通过运动预测生成的当前块的未压缩V2运动向量(最大4×4精度)。V2时间存储器532-2适当地向V2运动向量压缩单元533-2提供所存储的未压缩的V2运动向量。V2运动向量压缩单元533-2对从V2时间存储器532-2提供的未压缩V2运动向量执行1/16压缩，并且向V2运动向量存储器534-2提供所获得的1/16压缩的V2运动向量。V2运动向量存储器534-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器534-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动预测/补偿单元514-2。
换句话说，在这种情况下，图像编码设备500被配置为执行与现有技术的方法(例如，图4)相同的方法。
如上所述，由于可以控制对运动向量进行压缩的方法，因此可以适应性地抑制编码和解码所需的存储容量的增大。
<编码处理流程>
接下来，将描述由图像编码设备500执行的处理的流程。将参考图48的流程图描述由图像编码设备500执行的编码处理的示例性流程。
当编码处理开始时，在步骤S3001中，V0图像编码设备500-0的控制单元521对用于IVMP的运动向量的压缩执行设置(关于是否对用于IVMP的运动向量进行压缩的设置)。在步骤S3002中，标志生成单元522生成运动向量压缩标志，该运动向量压缩标志指示是否根据步骤S3001的设置对用于IVMP的运动向量进行压缩。运动向量压缩标志被无损编码单元506-0编码。在步骤S3003中，运动向量压缩标志的已编码数据被提供给累积缓冲器507-0并且被保持在累积缓冲器507-0中，以及在某个定时被传送到解码侧。
对于当前图片，V0图像编码设备500-0在步骤S3004中执行V0编码处理，V1图像编码设备500-1在步骤S3005中执行V1编码处理，以及V2图像编码设备500-2在步骤S3006中执行V2编码处理。
在步骤S3007中，图像编码设备500确定是否已经处理了所有图片。当确定存在未处理的图片时，处理返回到步骤S3004，并且重复随后的处理。
对每个图片重复地执行步骤S3004至步骤S3007的处理，并且当在步骤S3007中确定已经处理了所有图片时，编码处理结束。
<V0编码处理流程>
接下来，将参考图49和图50的流程图描述在图48的步骤S3004中执行的对视图0进行编码的V0编码处理的示例性流程。
通过V0图像编码设备500-0的相应处理单元以与图10的步骤S1101至步骤S1105的处理相同的方式执行图49的步骤S3101至步骤S3105的处理。
在步骤S3106中，V0选择单元531-0根据控制单元521的控制确定是否对未压缩的V0运动向量进行压缩。当确定对未压缩的V0运动向量进行压缩时，处理进行到步骤S3107。
在步骤S3107中，V0运动向量压缩单元533-0对未压缩的V0运动向量执行1/16压缩。在步骤S3108中，V0运动向量存储器534-0存储通过步骤S3107的处理生成的1/16压缩的V0运动向量。当步骤S3108的处理结束时，处理进行到步骤S3110。
然而，当在步骤S3106中确定不对未压缩的V0运动向量进行压缩时，处理进行到步骤S3109。在步骤S3109中，V0时间存储器532-0存储未压缩的V0运动向量。当步骤S3109的处理结束时，处理进行到步骤S3110。
通过图像编码设备500-0的相应处理单元以与图10的步骤S1108至步骤S1119的处理相同的方式执行图49的步骤S3110至步骤S3112的处理和图50的步骤S3121至步骤S3129的处理。
接下来，在图50的步骤S3130中，V0选择单元535-0根据控制单元521的控制确定是否对用于IVMP的运动向量进行压缩。以与图49的步骤S3106相同的方式执行该确定。当确定不对用于IVMP的运动向量进行压缩时，即，当在图49的步骤S3106中还确定不对运动向量进行压缩时，处理进行到步骤S3131。
在这种情况下，通过图49的步骤S3109的处理将未压缩V0运动向量存储在V0时间存储器532-0中。在这点上，在步骤S3131中，V0运动向量压缩单元533-0从V0时间存储器532-0读取未压缩的V0运动向量，并且执行1/16压缩。在步骤S3132中，V0运动向量存储器534-0存储步骤S3131中计算的1/16压缩的V0运动向量。
在这种情况下，V0时间存储器532-0中存储的未压缩的V0运动向量用于由运动预测/补偿单元514-1进行的IVMP。此外，V0运动向量存储器534-0中存储的1/16压缩的V0运动向量用于由运动预测/补偿单元514-0进行的TMVP。
当步骤S3132的处理结束时，V0编码处理结束，并且处理返回到图48。
然而，当在图50的步骤S3130中确定对运动向量进行压缩时，即，当在图49的步骤S3106中还确定对运动向量进行压缩时，V0编码处理结束，并且处理返回到图48。
在这种情况下，V0运动向量存储器534-0中存储的1/16压缩的V0运动向量用于由运动预测/补偿单元514-0进行的TMVP，并且还用于由运动预测/补偿单元514-1进行的IVMP。
通过运动预测/补偿单元514-0以与第一实施例(图11)相同的方式执行图49的步骤S3104中执行的V0帧间运动预测处理，因此省略其描述。
<V1编码处理流程>
接下来，将参考图51和图52的流程图描述在图48的步骤S3005中执行的对视图1进行编码的V1编码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于帧间运动预测处理。因此，如图51所图示的，V1图像编码设备500-1以与针对视图0的V0编码处理(图49和图50)基本上相同的方式执行针对视图1的V1编码处理。换句话说，以与图49的步骤S3101至步骤S3112的处理和图50的步骤S3121至步骤S3132的处理基本上相同的方式执行图51的步骤S3201至步骤S3212的处理和图52的步骤S3221至步骤S3232的处理。因此，可以进行图51和图52的描述，使得以V1图像编码设备500-1的相应组件代替参考图49和图50描述的V0图像编码设备500-0的相应组件，以及以针对视图1的处理代替图49和图50中图示的针对视图0的处理，因此省略其描述。
<V1帧间运动预测处理流程>
接下来，将参考图53的流程图描述在图51的步骤S3204中执行的V1帧间运动预测处理的示例性流程。
当V1帧间运动预测处理开始时，以与图13的步骤S1231至步骤S1233的处理基本上相同的方式执行步骤S3251至步骤S3253的处理。在这里，在这种情况下，由运动预测/补偿单元514-1执行V1帧间运动预测处理。
此外，在这种情况下，选择是否对用于IVMP的运动向量进行压缩。换句话说，在图53的步骤S3254中，运动预测/补偿单元514-1根据控制单元521的控制来确定是否对运动向量进行压缩(即，由控制单元521控制V0选择单元535-0的选择)。当确定对运动向量进行压缩时，处理进行到步骤S3255。
在步骤S3255中，运动预测/补偿单元514-1使用从V0运动向量存储器534-0获取的1/16压缩的V0运动向量决定IVMP预测运动向量候选。当决定了候选时，处理进行到步骤S3257。
然而，当在步骤S3254中确定不对运动向量进行压缩时，处理进行到步骤S3256。
在步骤S3256中，运动预测/补偿单元514-1使用从V0时间存储器532-0获取的未压缩的V0运动向量决定IVMP预测运动向量候选。当决定了候选时，处理进行到步骤S3257。
以与图13的步骤S1235至步骤S1238的处理相同的方式执行图53的步骤S3257至步骤S3260的处理。当步骤S3260的处理结束时，V1帧间运动预测处理结束，并且处理返回到图51。
<V2编码处理流程>
接下来，将参考图54和图55的流程图描述在图48的步骤S3006中执行的对视图2进行编码的V2编码处理的示例性流程。
以与针对视图1的处理相同的方式执行针对视图2的处理。因此，如图54和图55所图示的，V2图像编码设备500-2以与针对视图1的V1编码处理(图51和图52)基本上相同的方式执行V2编码处理。换句话说，以与图51的步骤S3201至步骤S3212的处理和图52的步骤S3221至步骤S3232的处理基本上相同的方式执行图54的步骤S3301至步骤S3312的处理和图55的步骤S3321至步骤S3332的处理。因此，可以进行图54和图55的描述，使得以V2图像编码设备500-2的相应组件代替参考图51和图52描述的V1图像编码设备500-0的相应组件，以及以针对视图2的处理代替图51和图52中图示的针对视图1的处理，因此省略其描述。
由于视图2是在视图0至2之中最后处理的视图，因此所生成的V2运动向量不用于IVMP。因此，优选地执行图54的步骤S3307和步骤S3308的处理和图55的步骤S3331和步骤S3338的处理中的一个。因此，可以不执行图54的步骤S3306和步骤S3330的确定处理和其它处理。
<V2帧间运动预测处理流程>
接下来，将参考图56的流程图描述在图54的步骤S3304中执行的V2帧间运动预测处理的示例性流程。
当V2帧间运动预测处理开始时，以与图15的步骤S1331至步骤S1333的处理基本上相同的方式执行步骤S3351至步骤S3353的处理。在这里，在这种情况下，由运动预测/补偿单元514-2执行V2帧间运动预测处理。
此外，在这种情况下，选择是否对用于IVMP的运动向量进行压缩。换句话说，在图56的步骤S3354中，运动预测/补偿单元514-2根据控制单元521的控制来确定是否对运动向量进行压缩(即，由控制单元521控制V1选择单元535-1的选择)。当确定对运动向量进行压缩时，处理进行到步骤S3355。
在步骤S3355中，运动预测/补偿单元514-2使用从V1运动向量存储器534-1获取的1/16压缩的V1运动向量决定IVMP预测运动向量候选。当决定了候选时，处理进行到步骤S3357。
然而，当在步骤S3354中确定不对运动向量进行压缩时，处理进行到步骤S3356。
在步骤S3356中，运动预测/补偿单元514-2使用从V1时间存储器532-1获取的未压缩的V1运动向量决定IVMP预测运动向量候选。当决定了候选时，处理进行到步骤S3357。
以与图15的步骤S1335至步骤S1338的处理基本上相同的方式执行图56的步骤S3357至步骤S3360的处理。当步骤S3360的处理结束时，V2帧间运动预测处理结束，并且处理返回到图54。
由于如上所述地执行处理，因此图像编码设备500可以更适应地减小用于IVMP的运动向量所需的存储容量，并且可以更适应地抑制编码和解码所需的存储容量的增大。
<图像解码设备>
接下来，将描述如上所述编码的已编码数据(已编码流)的解码。图57是图示V0图像解码设备的示例性主要配置的框图。图58是图示V1图像解码设备的示例性主要配置的框图。图59是图示V2图像解码设备的示例性主要配置的框图。
图像解码设备600(未示出)通过与编码方法相对应的解码方法，对由图像编码设备500编码的包括多个层的运动图像(诸如图2所图示的多视点图像)的已编码数据进行解码。图像解码设备600包括图57的V0图像解码设备600-0、图58的V1图像解码设备600-1和图59的V2图像解码设备600-2，以便对多视点图像的各个视图的已编码数据进行解码。V0图像解码设备600-0对由V0图像编码设备500-0编码的视图0的图像的已编码数据进行解码。V1图像解码设备600-1对由V1图像编码设备500-1编码的视图1的图像的已编码数据进行解码。V2图像解码设备600-2对由V2图像编码设备500-2编码的视图2的图像的已编码数据进行解码。
如图57所图示的，V0图像解码设备600-0包括累积缓冲器601-0、无损解码单元602-0、逆量化单元603-0、逆正交变换单元604-0、运算单元605-0、环路滤波器606-0、屏幕排序缓冲器607-0和D/A转换单元608-0。V0图像解码设备600-0还包括解码图片缓冲器609-0、帧内预测单元610-0、运动补偿单元611-0和选择单元612-0。
如图58所图示的，V1图像解码设备600-1包括累积缓冲器601-1、无损解码单元602-1、逆量化单元603-1、逆正交变换单元604-1、运算单元605-1、环路滤波器606-1、屏幕排序缓冲器607-1和D/A转换单元608-1。V1图像解码设备600-1还包括解码图片缓冲器609-1、帧内预测单元610-1、运动补偿单元611-1和选择单元612-1。
如图59所图示的，V2图像解码设备600-2包括累积缓冲器601-2、无损解码单元602-2、逆量化单元603-2、逆正交变换单元604-2、运算单元605-2、环路滤波器606-2、屏幕排序缓冲器607-2和D/A转换单元608-2。V2图像解码设备600-2还包括解码图片缓冲器609-2、帧内预测单元610-2、运动补偿单元611-2和选择单元612-2。
在下文中，当累积缓冲器601-0到601-2不需要彼此区分时，它们仅仅被称为“累积缓冲器601”。此外，当无损解码单元602-0到602-2不需要彼此区分时，它们仅仅被称为“无损解码单元602”。此外，当逆量化单元603-0到603-2不需要彼此区分时，它们仅仅被称为“逆量化单元603”。此外，当逆正交变换单元604-0到604-2不需要彼此区分时，它们仅仅被称为“逆正交变换单元604”。此外，当运算单元605-0到605-2不需要彼此区分时，它们仅仅被称为“运算单元605”。
此外，当环路滤波器606-0到606-2不需要彼此区分时，它们仅仅被称为“环路滤波器606”。此外，当屏幕排序缓冲器607-0到607-2不需要彼此区分时，它们仅仅被被称为“屏幕排序缓冲器607”。此外，当D/A转换单元608-0到608-2不需要彼此区分时，它们仅仅称为“D/A转换单元608”。此外，当解码图片缓冲器609-0到609-2不需要彼此区分时，它们仅仅被称为“解码图片缓冲器609”。
此外，当帧内预测单元610-0到610-2不需要彼此区分时，它们仅仅被称为“帧内预测单元610”。此外，当运动补偿单元611-0到611-2不需要彼此区分时，它们仅仅被称为“运动补偿单元611”。此外，当选择单元612-0到612-2不需要彼此区分时，它们仅仅被称为“选择单元612”。
累积缓冲器601与累积缓冲器201相对应，并且执行与累积缓冲器201基本上相同的处理。无损解码单元602与无损解码单元202相对应，并且执行与无损解码单元202基本上相同的处理。逆量化单元603与逆量化单元203相对应，并且执行与逆量化单元203基本上相同的处理。逆正交变换单元604与逆正交变换单元204相对应，并且执行与逆正交变换单元204基本上相同的处理。运算单元605与运算单元205相对应，并且执行与运算单元205基本上相同的处理。
环路滤波器606与环路滤波器206相对应，并且执行与环路滤波器206基本上相同的处理。屏幕排序缓冲器607与屏幕排序缓冲器207相对应，并且执行与屏幕排序缓冲器207基本上相同的处理。D/A转换单元608与D/A转换单元208相对应，并且执行与D/A转换单元208基本上相同的处理。解码图片缓冲器609与解码图片缓冲器209相对应，并且执行与解码图片缓冲器209基本上相同的处理。
帧内预测单元610与帧内预测单元210相对应，并且执行与帧内预测单元210基本上相同的处理。运动补偿单元611与运动补偿单元211相对应，并且执行与运动补偿单元211基本上相同的处理。选择单元612与选择单元212相对应，并且执行与选择单元212基本上相同的处理。
V0图像解码设备600-0还包括控制单元621、V0选择单元631-0、V0时间存储器632-0、V0运动向量压缩单元633-0、V0运动向量存储器634-0和V0选择单元635-0。
V1图像解码设备600-1还包括V1选择单元631-1、V1时间存储器632-1、V1运动向量压缩单元633-1、V1运动向量存储器634-1和V1选择单元535-1。
V2图像解码设备600-2还包括V2选择单元631-2、V2时间存储器632-2、V2运动向量压缩单元633-2和V2运动向量存储器634-2。
无损解码单元602-0例如从序列参数集提取标志，该标志指示是否对用于IVMP的运动向量进行压缩并且该标志是从编码侧提供的，以及向控制单元621提供该标志。
控制单元621基于从无损解码单元602获取的标志的值(即，根据在编码侧处采用的方法(由控制单元521决定的方法))来控制V0选择单元631-0、V0选择单元635-0、V1选择单元631-1、V1选择单元635-1和V2选择单元631-2的选择(切换)。
当对用于IVMP的运动向量进行压缩时，V0选择单元631-0根据控制单元621的控制来选择V0运动向量压缩单元633-0，以及V0选择单元635-0根据控制单元621的控制来选择V0运动向量存储器634-0。此外，V1选择单元631-1根据控制单元621的控制来选择V1运动向量压缩单元633-1，以及V1选择单元635-1根据控制单元621的控制来选择V1运动向量存储器634-1。此外，V2选择单元631-2根据控制单元621的控制来选择V2运动向量压缩单元633-2。
在这种情况下，运动预测/补偿单元611-0经由V0选择单元631-0向V0运动向量压缩单元633-0提供重建的当前块的未压缩V0运动向量(最大4×4精度)。V0运动向量压缩单元633-0对从运动补偿单元611-0提供的未压缩的V0运动向量执行1/16压缩，并且向V0运动向量存储器634-0提供所获得的1/16压缩的V0运动向量。V0运动向量存储器634-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器634-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-0。此外，V0运动向量存储器634-0经由V0选择单元635-0适当地将所存储的1/16压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元611-1。
运动补偿单元611-1经由V1选择单元631-1向V1运动向量压缩单元633-1提供重建的当前块的未压缩V1运动向量(最大4×4精度)。V1运动向量压缩单元633-1对从运动补偿单元611-1提供的未压缩V1运动向量执行1/16压缩，并且向V1运动向量存储器634-1提供所获得的1/16压缩的V1运动向量。V1运动向量存储器634-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器634-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-1。此外，V1运动向量存储器634-1经由V1选择单元635-1适当地将所存储的1/16压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元611-2。
此外，运动补偿单元611-2经由V2选择单元631-2向V2运动向量压缩单元633-2提供通过运动预测生成的当前块的未压缩V2运动向量(最大4×4精度)。V2运动向量压缩单元633-2对从运动补偿单元611-2提供的未压缩V2运动向量执行1/16压缩，并且向V2运动向量存储器634-2提供所获得的1/16压缩的V2运动向量。V2运动向量存储器634-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器634-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-2。
换句话说，在这种情况下，图像解码设备600被配置为执行与第一实施例中描述的方法(例如，图5)相同的方法。
当不对用于IVMP的运动向量进行压缩时，V0选择单元631-0和V0选择单元635-0根据控制单元621的控制来选择V0时间存储器632-0。此外，V1选择单元631-1和V1选择单元635-1根据控制单元621的控制来选择V1时间存储器632-0。此外，V2选择单元631-2根据控制单元621的控制来选择V2时间存储器632-2。
在这种情况下，运动补偿单元611-0经由V0选择单元631-0向V0时间存储器632-0提供通过运动预测生成的当前块的未压缩V0运动向量(最大4×4精度)。V0时间存储器632-0经由V0选择单元635-0适当地将所存储的未压缩的V0运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元611-1。此外，V0时间存储器632-0适当地向V0运动向量压缩单元633-0提供所存储的未压缩的V0运动向量。V0运动向量压缩单元633-0从V0时间存储器632-0读取未压缩的V0运动向量，执行1/16压缩，并且向V0运动向量存储器634-0提供所获得的1/16压缩的V0运动向量。V0运动向量存储器634-0存储所提供的1/16压缩的V0运动向量。V0运动向量存储器634-0适当地将所存储的1/16压缩的V0运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-0。
此外，运动补偿单元611-1经由V1选择单元631-1向V1时间存储器632-1提供通过运动预测生成的当前块的未压缩V1运动向量(最大4×4精度)。V1时间存储器632-1经由V1选择单元635-1适当地将所存储的未压缩的V1运动向量作为在视图方面邻近的块的运动向量提供给运动补偿单元611-2。此外，V1时间存储器632-1适当地向V1运动向量压缩单元633-1提供所存储的未压缩的V1运动向量。V1运动向量压缩单元633-1对从V1时间存储器632-1提供的未压缩V1运动向量执行1/16压缩，并且向V1运动向量存储器634-1提供所获得的1/16压缩的V1运动向量。V1运动向量存储器634-1存储所提供的1/16压缩的V1运动向量。V1运动向量存储器634-1适当地将所存储的1/16压缩的V1运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-1。
此外，运动补偿单元611-2经由V2选择单元631-2向V2时间存储器632-2提供通过运动预测生成的当前块的未压缩V2运动向量(最大4×4精度)。V2时间存储器632-2适当地向V2运动向量压缩单元633-2提供所存储的未压缩的V2运动向量。V2运动向量压缩单元633-2对从V2时间存储器632-2提供的未压缩V2运动向量执行1/16压缩，并且向V2运动向量存储器634-2提供所获得的1/16压缩的V2运动向量。V2运动向量存储器634-2存储所提供的1/16压缩的V2运动向量。V2运动向量存储器634-2适当地将所存储的1/16压缩的V2运动向量作为时间上邻近的块的运动向量提供给运动补偿单元611-2。
换句话说，在这种情况下，图像解码设备600被配置为执行与现有技术的方法(例如，图4)相同的方法。
如上所述，由于可以控制对运动向量进行压缩的方法，因此可以适应地抑制编码和解码所需的存储容量的增大。
<解码处理流程>
接下来，将描述由图像解码设备600执行的处理的流程。将参考图60的流程图描述由图像解码设备600执行的解码处理的示例性流程。
当解码处理开始时，在步骤S3401中，控制单元621接收运动向量压缩标志，该运动向量压缩标志指示是否对用于IVMP的运动向量进行压缩并且该标志是从编码侧传送的。
对于当前图片，V0图像解码设备600-0在步骤S3402中执行V0解码处理，V1图像解码设备600-1在步骤S3403中执行V1解码处理，以及V2图像解码设备600-2在步骤S3404中执行V2解码处理。
在步骤S3405中，图像解码设备600确定是否已经处理了所有图片，并且当确定存在未处理的图片时，处理返回到步骤S3402，并且重复随后的处理。
对每个图片重复地执行步骤S3402至步骤S3405的处理，并且当在步骤S3405中确定已经处理了所有图片时，图像解码设备600结束解码处理。
<V0解码处理流程>
接下来，将参考图61和图62的流程图描述在图60的步骤S3402中执行的对视图0进行解码的V0解码处理的示例性流程。
通过V0图像解码设备600-0的相应处理单元，以与图20的步骤S1501至步骤S1508的处理相同的方式执行步骤S3501至步骤S3508的处理。
在步骤S3509中，V0选择单元631-0根据控制单元621的控制来确定是否对未压缩的V0运动向量进行压缩。当确定对未压缩的V0运动向量进行压缩时，处理进行到步骤S3510。
在步骤S3510中，V0运动向量压缩单元633-0对未压缩的V0运动向量执行1/16压缩。在步骤S3511中，V0运动向量存储器634-0存储通过步骤S3510的处理生成的1/16压缩的V0运动向量。当步骤S3511的处理结束时，处理进行到图62的步骤S3521。
此外，当在图61的步骤S3509中确定不对未压缩的V0运动向量进行压缩时，处理进行到步骤S3512。在步骤S3512中，V0时间存储器632-0存储未压缩的V0运动向量。当步骤S3512的处理结束时，处理进行到图62的步骤S3521。
通过图像解码设备600-0的相应处理单元，以与图20的步骤S1511至步骤S1515的处理相同的方式执行图62的步骤S3521至步骤S3525的处理。
在图62的步骤S3509中，V0选择单元635-0根据控制单元621的控制来确定是否对用于IVMP的运动向量进行压缩。以与图61的步骤S3509相同的方式执行该确定。当确定不对用于IVMP的运动向量进行压缩时，即，当在图61的步骤S3509中还确定不对运动向量进行压缩时，处理进行到图62的步骤S3527。
在这种情况下，通过图61的步骤S3512的处理将未压缩的V0运动向量存储在V0时间存储器632-0中。在这点上，在步骤S3527中，V0运动向量压缩单元633-0从V0时间存储器632-0读取未压缩的V0运动向量，并且执行1/16压缩。在步骤S3528中，V0运动向量存储器634-0存储步骤S3527中计算的1/16压缩的V0运动向量。
在这种情况下，V0时间存储器632-0中存储的未压缩的V0运动向量用于由运动补偿单元611-1进行的IVMP。此外，V0运动向量存储器634-0中存储的1/16压缩的V0运动向量用于由运动补偿单元611-0进行的TMVP。
当步骤S3528的处理结束时，V0解码处理结束，并且处理返回到图60。
此外，当在图62的步骤S3526中确定对运动向量进行压缩时，即，当在图61的步骤S3509中还确定对运动向量进行压缩时，V0编码处理结束，并且处理返回到图60。
在这种情况下，V0运动向量存储器634-0中存储的1/16压缩的V0运动向量用于由运动补偿单元611-0进行的TMVP以及用于由运动补偿单元611-1进行的IVMP。
通过运动补偿单元611-0以与第一实施例相同的方式(图21)执行图61的步骤S3506中执行的V0运动补偿处理，因此省略其描述。
<V1解码处理流程>
接下来，将参考图63和图64的流程图描述在图60的步骤S3403中执行的对视图1的已编码数据进行解码的V1解码处理的示例性流程。
针对视图0的处理与针对视图1的处理之间的不同主要在于运动补偿处理。因此，如图63和图64所图示的，V1图像解码设备600-1以与针对视图0的V0解码处理(图61和图62)基本上相同的方式执行针对视图1的V1解码处理。换句话说，以与图61的步骤S3501至步骤S3512的处理和图62的步骤S3521至步骤S3528的处理基本上相同的方式执行图63的步骤S3601至步骤S3612的处理和图64的步骤S3621至步骤S3628的处理。因此，可以进行图63和图64的描述，使得以V1图像解码设备600-1的相应组件代替参考图61和图62描述的V0图像解码设备600-0的相应组件，以及以针对视图1的处理代替图61和图62中图示的针对视图0的处理，因此省略其描述。
<V1运动补偿处理流程>
接下来，将参考图65的流程图描述在图63的步骤S3606中执行的V1运动补偿处理的示例性流程。
在步骤S3641中，当V1运动补偿处理开始时，运动补偿单元611-1获得差分运动信息(差分运动向量)。在步骤S3642中，运动补偿单元611-1基于帧间预测信息确定预测运动向量的模式是否是空间预测。当确定预测运动向量的模式是空间预测时，处理进行到步骤S3643。
在步骤S3643中，运动补偿单元611-1使用图片中的未压缩的V1运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S3649。
然而，当在步骤S3642中确定预测运动向量的模式不是空间预测时，处理进行到步骤S3644。
由于视图1不是最初处理的视图，因此预测运动向量的模式可以是视图间预测(IVMP)。
在步骤S3644中，运动补偿单元611-1基于帧间预测信息确定预测运动向量的模式是否是时间预测。当确定预测运动向量的模式是时间预测时，处理进行到步骤S3645。
在步骤S3645中，运动补偿单元611-1使用其它图片中的1/16压缩的V1运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。当生成预测运动向量时，处理进行到步骤S3649。
然而，当在步骤S3644中确定预测运动向量的模式不是时间预测时，处理进行到步骤S3646。
在本实施例的情况下，存在编码侧压缩和不压缩用于IVMP的运动向量的情况。
在步骤S3646中，运动补偿单元611-1基于控制单元621的控制来确定是否对运动向量进行压缩。当确定不对运动向量进行压缩时，处理进行到步骤S3647。
在步骤S3647中，运动补偿单元611-1使用未压缩的V0运动向量生成预测运动向量。当生成预测运动向量时，处理进行到步骤S3649。
然而，当在步骤S3646中确定对运动向量进行压缩时，处理进行到步骤S3648。
在步骤S3648中，运动补偿单元611-1使用1/16压缩的V0运动向量生成预测运动向量。当生成预测运动向量时，处理进行到步骤S3649。
在步骤S3649中，运动补偿单元611-1使用在步骤S3643、步骤S3645、步骤S3647或者步骤S3648中生成的预测运动向量来重建运动向量。
在步骤S3650中，运动补偿单元611-1执行运动补偿，并且生成预测图像。此外，运动补偿单元611-1存储步骤S3649中重建的运动向量。当步骤S3650的处理结束时，V1运动补偿处理结束，并且处理返回到图63。
<V2解码处理流程>
接下来，将参考图66和图67的流程图描述在图60的步骤S3404中执行的对视图2的已编码数据进行解码的V2解码处理的示例性流程。
针对视图0的处理与针对视图2的处理之间的不同主要在于运动补偿处理。因此，如图66和图67所图示的，V2图像解码设备600-2以与针对视图0的V0解码处理(图61和图62)基本上相同的方式执行针对视图2的V2解码处理。换句话说，以与图61的步骤S3501至步骤S3512的处理和图62的步骤S3521至步骤S3528的处理基本上相同的方式执行图66的步骤S3701至步骤S3712的处理和图67的步骤S3721至步骤S3728的处理。因此，可以进行图66和图67的描述，使得以V2图像解码设备600-2的相应组件代替参考图61和图62描述的V0图像解码设备600-0的相应组件，以及以针对视图2的处理代替图61和图62中图示的针对视图0的处理，因此省略其描述。
<V2运动补偿处理流程>
接下来，将参考图68的流程图描述在图66的步骤S3706中执行的V2运动补偿处理的示例性流程。
如图68所图示的，以与V1运动补偿处理(图65)基本上相同的方式执行V2运动补偿处理。换句话说，以与图65的步骤S3631至步骤S3650的处理基本上相同的方式执行图68的步骤S3741至步骤S3750的处理。在这里，V1运动补偿处理由运动补偿单元611-1执行，而V2运动补偿处理由运动补偿单元611-2执行。
此外，V2运动补偿处理的处理目标是视图2的图像而不是视图1的图像。因此，在步骤S3743中，运动补偿单元611-2使用图片中的未压缩的V2运动向量(空间上邻近当前块的块的运动向量)生成预测运动向量。
在步骤S3745中，运动补偿单元611-2使用其它图片中的1/16压缩的V2运动向量(时间上邻近当前块的块的运动向量)生成预测运动向量。
在步骤S3747中，运动补偿单元611-2使用未压缩的V1运动向量(在视图方面邻近当前块的块的运动向量)生成预测运动向量。
在步骤S3748中，运动补偿单元611-2使用1/16压缩的V1运动向量(在视图方面邻近当前块的块的运动向量)生成预测运动向量。
当步骤S3750的处理结束时，V2运动补偿处理结束，并且处理返回到图66。
由于如上所述地执行处理，因此图像解码设备600可以适应地减小用于IVMP的运动向量所需的存储容量，并且可以适应地抑制编码和解码所需的存储容量的增大。
<4.第四实施例>
<用于可缩放图像编码和可缩放图像解码的应用>
尽管已经利用多视点图像编码和解码进行了以上描述，但是，层不限于视图。例如，层中还包括可缩放编码和解码中的分层，诸如分辨率、组件和比特深度。当前技术可以适用于多个层的任何编码和解码。例如，上述一系列处理可以适用于可缩放图像编码和可缩放图像解码。图69图示示例性的可缩放图像编码方案。
在可缩放图像编码(可缩放编码)中，图像数据被分成(层次化)多个层，使得特定参数具有可缩放性功能，以及对每个层执行编码。可缩放解码(可缩放解码)是与可缩放图像编码相对应的解码。
如图69所图示的，对于图像的分层，基于具有可缩放性功能的特定参数将一个图像分成多个图像(层)。换句话说，层次化的图像(可缩放图像)包括在特定参数的值上彼此不同的多个层的图像。可缩放图像的多个层包括仅使用它自己的层的图像而不使用其它层的图像执行编码和解码的基本层和使用其它层的图像执行编码和解码的非基本层(也被称为“增强层”)。作为非基本层，可以使用基本层的图像，并且可以使用任何其它非基本层的图像。
通常，非基本层被配置有它自己的图像与其它层的图像之间的差分图像的数据(差分数据)，以便减少冗余。例如，当一个图像被层次化成两个层(即，基本层和非基本层(也被称为增强层))时，当仅使用基本层的数据时获得质量低于原始图像的图像，以及当结合基本层的数据和非基本层的数据两者时获得原始图像(即，高质量图像)。
由于图像被如上所述地层次化，因此可以根据情况容易地获得各种质量的图像。例如，对于具有低处理能力的终端(诸如移动电话)，仅传送基本层的图像压缩信息，并且再现低空间和时间分辨率或者低质量的运动图像，以及对于具有高处理能力的终端(诸如电视或者个人计算机)，传送增强层以及基本层的图像压缩信息，并且再现高空间和时间分辨率或者高质量的运动图像。换句话说，在不执行转码处理的情况下，可以根据终端或者网络的能力从服务器传送图像压缩信息。
作为具有可缩放性的参数，例如，存在如图70所图示的空间分辨率(空间可缩放性)。在空间可缩放性的情况下，各个层具有不同分辨率。换句话说，每个图片被层次化成两个层(即，空间上低于原始图像的分辨率的基本层和与基本层的图像相结合的增强层)，以获得如图70所图示的原始图像(原始空间分辨率)。当然，层的数量是示例，并且每个图片可以被层次化成任意数量的层。
作为具有这种可缩放性的另一个参数，例如，存在如图71所图示的时间分辨率(时间可缩放性)。在时间可缩放性的情况下，各个层具有不同帧率。换句话说，在这种情况下，如图3所图示的，每个图片被层次化成具有不同帧率的层，可以通过将高帧率的层与低帧率的层相结合来获得高帧率的运动图像，以及可以通过结合所有层来获得原始运动图像(原始帧率)。层的数量是示例，并且每个图片可以被层次化成任意数量的层。
此外，作为具有这种可缩放性的另一个参数，例如，存在信噪比(SNR)(SNR可缩放性)。在SNR可缩放性的情况下，各个层具有不同的SN比。换句话说，在这种情况下，如图72所图示的，每个图片被层次化成两个层(即，低于原始图像的SNR的基本层和与基本层的图像相结合的增强层)，以获得原始图像(原始SNR)。换句话说，对于基本层图像压缩信息，传送与低PSNR的图像相关的信息，并且可以通过将该信息与增强层图像压缩信息相结合来重建高PSNR图像。当然，层的数量是示例，并且每个图片可以被层次化成任意数量的层。
除上述示例以外的参数可以用作具有可缩放性的参数。例如，存在比特深度可缩放性，其中基本层包括8比特图像，并且可以通过将增强层添加至基本层来获得10比特图像。
此外，存在色度可缩放性，其中基本层包括4:2:0格式的分量图像，并且可以通过将增强层添加至基本层来获得4:2:2格式的分量图像。
在这种可缩放图像编码和解码中，与上述多视点编码和解码的情况类似地，当对每个层的图像进行编码或者解码时，层之间相关性的高度可以用于运动向量的预测。换句话说，可以使用经处理(编码或者解码的)的其它层的运动向量生成或者重建预测运动向量。
在这种情况下，需要保持在特定层的编码或者解码中获得的运动向量，以便该运动向量可以用于随后处理的层的编码或者解码。
在这点上，为了抑制存储容量的增大，可以对用于其它层的编码或者解码的当前层的运动向量进行压缩。具体压缩方法与上面在多视点编码和解码的描述中描述的方法相同。
例如，为了压缩(稀化)和参考如图5所图示的运动向量，优选地，图像编码设备具有图6至图8的配置并且执行图9至图15的流程图的处理。此外，优选地，图像解码设备具有图16至图18的配置并且执行图19至图25的流程图的处理。
此外，例如，为了压缩(稀化)和参考如图26所图示的运动向量，优选地，图像编码设备具有图27至图29的配置并且执行图30至图34的流程图的处理。此外，优选地，图像解码设备具有图35至图37的配置并且执行图38至图42的流程图的处理。
此外，例如，为了压缩(稀化)和参考如图43所图示的运动向量，优选地，图像编码设备具有图45至图47的配置并且执行图48至图56的流程图的处理。此外，优选地，图像解码设备具有图57至图59的配置并且执行图60至图68的流程图的处理。
此外，在这种可缩放图像编码和解码中，例如，在层1(layer_id＝1)的编码和解码中，使用层0(layer_id＝0)的运动向量。在此时，即使没有压缩，层0的运动向量的精度也低于层1的运动向量的精度。然而，由于层0的运动向量被进一步压缩，因此可以进一步减少保持运动向量所需的存储容量。
此外，可以鉴于层之间的运动向量的精度比率来决定压缩率。例如，可以将特定压缩率决定为基准压缩率，并且可以根据层之间的运动向量的精度比率(层之间的分辨率比率)决定实际压缩率。例如，假设用于层1的IVMP的层0的运动向量的参考压缩率为1/16。在此时，当层0的分辨率是层1的1/4时，实际压缩率可被设置为1/4，并且当层0的分辨率是层1的1/8时，实际压缩率可被设置为1/2。因此，可以实现期望压缩率(参考压缩率)，并且可以充分地抑制编码和解码所需的存储容量的增大。
此外，例如，如图73的A中图示的，如果基本层(BL)的运动向量被稀化为1/4，那么运动向量的预测精度的降低非常大，因此可能在增强层(EL)中降低编码效率。然而，如图73的B中图示的，如果基本层(BL)的运动向量在没有稀化的情况下被提供给增强层，那么编码和解码所需的存储容量可能增大。
在这点上，例如，如图74所图示的，当将运动向量从基本层提供至增强层时，可以执行1/2稀化(压缩)，以及当该运动向量从增强层返回至基本层时，还可以执行1/2稀化(压缩)。换句话说，即使在可缩放图像编码和解码的情况下，也可以通过与上面参考图26等描述的用于多视点图像编码和解码的方法相同的方法对运动向量进行稀化(压缩)。
如上所述，可以基于任意参数将图像划分为多个层，并且本技术可以应用于在不依赖于参数的情况下的多个层的图像的编码和解码。换句话说，即使在本技术应用于可缩放图像编码和可缩放图像解码时，也可以抑制需要的存储容量的增大。
<其它>
尽管已经利用层的数量为3(0至2)的示例进行了上面的描述，但是层的数量是任意的，并且可以是2或者4或者更多。
此外，已经利用如下示例进行了以上描述：在用于编码的运动预测和运动补偿或者用于解码的运动补偿中，使用紧接着先前处理的层的运动向量，但是本技术不限于该示例，并且可以使用任何其它任意层的运动向量。
例如，对于所有非基本层的编码和解码，可以使用基本层的运动向量。此外，一个非基本层的运动向量可以用于多个非基本层。
<5.概要2>
<帧内预测>
同时，在HEVC中，与AVC等类似地，指定使用邻近当前块的像素生成预测图像的帧内预测。
在AVC中，存在帧内4×4预测、帧内8×8预测和帧内16×16预测，而在HEVC中，图75中图示的角度预测应用于4×4至64×64个像素块。
换句话说，在AVC中，如图75的A中图示的，通过8方向+DC预测来执行帧内预测处理，而在HEVC中，如图75的B中图示的，通过32方向+DC预测来执行帧内预测。因此，提高了预测精度。
此外，在HEVC中，指定图76中图示的平面预测。
在平面预测处理中，基于邻近作为处理目标的当前块的像素(已经编码的像素)，通过双线性插值来生成当前块中包括的预测像素。平面预测处理可以提高具有梯度的区域的编码效率。
在HEVC中，如图77所图示的，执行使用3个最可能模式的帧内预测模式的编码处理。换句话说，当前块上方的邻近块的帧内预测模式(上方)、当前块左边的邻近块的帧内预测模式(左边)和由邻近块中的帧内预测模式的组合决定的模式(上方和左边)被设置为帧内预测模式候选(也被称为“候选模式”)，并且在3个候选模式之中，采用最优模式作为当前块的帧内预测模式。
在当前块的预测模式与最可能模式中的一个相同时，传送其索引号。否则，以5比特固定长度传送预测块的模式信息。
<帧内预测中的滤波处理>
图78是用于描述HEVC中指定的依赖于模式的帧内平滑(MDIS)的图。
在AVC的情况下，在帧内8×8预测模式中，如图78所图示的，对邻近当前块的像素执行[121]/4滤波处理。另一方面，在HEVC中，根据块大小和预测模式决定是否接通或者断开滤波处理(即，是否应用滤波处理)。
更具体地说，在当前块的块大小是4×4时，不应用滤波处理。在当前块的块大小是8×8时，滤波处理应用于在45°方向上的预测模式。在当前块的块大小是16×16时，滤波处理应用于在除了靠近水平方向的3个方向和靠近垂直方向的3个方向以外的方向上的预测模式。在当前块的块大小是32×32时，滤波处理应用于在除了水平方向和垂直方向以外的方向上的预测模式。
此外，在HEVC中，当预测模式是DC模式、水平模式或者垂直模式时，为了减少块失真，指定图79中图示的边界值平滑处理。
例如，在预测模式是DC模式的预测(DC预测)的情况下，对靠近作为处理目标的当前块的上侧(顶部)的邻近像素和靠近当前块的左侧(左边)的邻近像素两者执行图79中图示的滤波处理(平滑处理)。此外，在预测模式是水平模式的预测(水平预测)的情况下，对靠近当前块的上侧(顶部)的邻近像素执行图79中图示的滤波处理(平滑处理)。在预测模式是垂直模式的预测(垂直预测)的情况下，对靠近当前块的左侧(左边)的邻近像素执行图79中图示的滤波处理(平滑处理)。
同时，Vadim Seregin、Patrice Onno、Shan Liu、Tammy Lee、Chulkeun Kim、Haitao Yang、Haricharan Laksman，“Description of Tool Experiment C5:Inter-layersyntax prediction using the HEVC base layer”，JCTVC-K1105，Joint CollaborativeTeam on Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG1111th Meeting：中国，上海，2012年10月10-19日提出了使用与基本层的帧内预测模式相关的信息对增强层中的帧内预测模式信息进行编码的方法。然而，在HEVC中，由于需要在最坏情况下保持用于4×4个块的帧内预测模式信息，因此编码和解码所需的存储容量可能增大。
此外，Jill Boyce、Kawamura Kei、Haricharan Lakshman，“TE6:Inter-layersyntax prediction from AVC base layer”，JCTVC-K1106v2，Joint Collaborative Teamon Video Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC 29/WG 1111thMeeting：中国，上海，2012年10月10-19日提出了当执行可缩放编码时使用基本层的运动信息对增强层的运动信息进行编码的技术，在该可缩放编码中，执行基本层的AVC编码(基本层AVC)，以及执行增强层的HEVC编码(增强层HEVC)。在这种情况下，与上述情况类似地，认为使用基本层的帧内预测模式信息对增强层的帧内预测模式信息进行编码。在这种情况下，与上述情况类似地，编码和解码所需的存储容量可能增大。
在这点上，在本技术中，当(指示)基本层中的帧内预测模式(的信息)被存储在存储器中时，执行(指示)帧内预测模式(的信息)的稀化处理。因此，可以抑制存储(指示)帧内预测模式(的信息)所需的存储容量。换句话说，可以抑制编码和解码所需的存储容量的增大。在下面的描述中，为了描述的方便起见，指示帧内预测模式的信息也被称为“帧内预测模式”。
图80是用于描述本技术的图。
例如，可以对每个特定区域执行帧内预测模式的稀化处理。稀化处理是留下多个帧内预测模式当中的一些帧内预测模式以及丢弃其它帧内预测模式的处理。换句话说，在这种情况下，作为稀化处理的处理单位的区域具有与作为帧内预测的处理单位的多个块相对应的范围。例如，如图80的左边所图示的，作为帧内预测的处理单位的块0到15的16个块被设置为稀化处理的处理单位(区域)。在这种情况下，帧内预测模式被设置为块0至15中的每一个。换句话说，在作为稀化处理的处理目标的当前区域中存在16个帧内预测模式I0至I15。
在稀化处理中，在当前区域的块的帧内预测模式之中，留下(选择)一些帧内预测模式作为区域的代表并且存储在缓冲存储器中，以及丢弃其它帧内预测模式。例如，当稀化率是4：1时，在16个帧内预测模式之中，选择任何一个帧内预测模式并且存储在缓冲器中(丢弃其它15个帧内预测模式)。
可以选择帧内预测模式作为区域的代表。例如，可以选择在当前区域的块之中最初执行帧内预测的块(例如，块0)的帧内预测模式(例如，I0)作为当前区域的代表。此外，例如，可以选择位于当前区域中心附近的块(例如，块5、6、9和10中的任何一个)的帧内预测模式(例如，I5、I6、I9和I10中的任何一个)作为当前区域的代表。
在增强层中，存储在缓冲器中的基本层的帧内预测模式(代表值)用于块(PU)的编码处理，其中块0至15被设置为共同定位块。换句话说，与当前块相对应的基本层的区域的帧内预测模式(代表值)用于增强层的帧内预测。
因此，可以抑制存储帧内预测模式的缓冲器的容量增大。
稀化率的值是任意的，并且不限于以上示例(4：1)。例如，稀化率的值可以是任何其它值，诸如2：1、8：1或者16：1。可以根据稀化率决定作为稀化处理的处理单位的区域的大小。此外，可以从一个区域选择在数量上与稀化率相对应的帧内预测模式作为区域的代表(即，可以从一个区域选择多个帧内预测模式作为代表)。设置稀化率的方法是任意的。例如，预定值可被设置为稀化率，或者可以根据从外部(诸如用户)给出的指令来设置稀化率，可以基于例如硬件条件(诸如可用作存储帧内预测模式的缓冲存储器的存储容量或者总线带宽)来设置稀化率，或者可以基于例如软件条件(诸如图像数据的基本层和增强层的分辨率比率)来设置稀化率。此外，可以通过综合考虑多种类型的条件来设置稀化率。可以将稀化率包括在要输出和传送的图像压缩信息(比特流)的任意位置处。例如，可以在视频参数集(VPS)中包括稀化率并且进行传送。此外，例如，可以在序列参数集(SPS)、图片参数集(PPS)或者增强层的片段头部中包括稀化率并且进行传送。
此外，在空间可缩放性的情况下，由于各个层具有不同分辨率，因此期望预先决定指定稀化率的层。例如，稀化率可以被设置为基本层中的比率。
例如，当空间可缩放性比率是1：2时，基本层的4×4个块与增强层的8×8个块相对应。在这里，当稀化率是2：1时，基本层的帧内预测模式在基本层分辨率处以8×8个块的单位进行存储，而在增强层分辨率处以16×16个块的单位进行存储。
由于执行以上处理，因此可以抑制为了对增强层中的帧内预测模式进行编码而存储基本层的帧内预测模式信息所需要的存储容量的增大。
此外，在本技术中，基本层的图像压缩信息可以基于AVC。
接下来，将描述应用于具体设备的本技术的示例。
<6.第五实施例>
<可缩放编码设备>
图81是图示可缩放编码设备的示例性主要配置的框图。
图81中图示的可缩放编码设备1100是对图像数据执行可缩放编码以及对被层次化成基本层和增强层的图像数据的每个层进行编码的图像信息处理设备。用作分层化参考的参数(具有可缩放性的参数)是任意的。可缩放编码设备1100包括公共信息生成单元1101、编码控制单元1102、基本层图像编码单元1103、帧内预测模式提供单元1104和增强层图像编码单元1105。
例如，公共信息生成单元1101获取与存储在NAL单元中的图像数据的编码相关的信息。此外，公共信息生成单元1101根据需要从基本层图像编码单元1103、帧内预测模式提供单元1104、增强层图像编码单元1105等获取需要的信息。公共信息生成单元1101基于该信息生成作为与所有层相关的信息的公共信息。例如，公共信息包括视频参数集等。公共信息生成单元1101将所生成的公共信息输出至可缩放编码设备1100的外部作为例如NAL单元。此外，公共信息生成单元1101向编码控制单元1102提供所生成的公共信息。此外，公共信息生成单元1101根据需要向基本层图像编码单元1103、帧内预测模式提供单元1104和增强层图像编码单元1105提供所生成的公共信息中的一些或者全部。
编码控制单元1102基于从公共信息生成单元1101提供的公共信息控制基本层图像编码单元1103、帧内预测模式提供单元1104和增强层图像编码单元1105，并且控制每个层的编码。
基本层图像编码单元1103获取基本层的图像信息(基本层图像信息)。图像编码单元1103在不使用其它层的信息的情况下对基本层图像信息进行编码，并且生成和输出基本层的已编码数据(已编码的基本层数据)。此外，基本层图像编码单元1103将在编码时执行的帧内预测的帧内预测模式提供给帧内预测模式提供单元1104作为基本层的帧内预测模式。
帧内预测模式提供单元1104执行如下处理：将在基本层图像编码单元1103中的帧内预测中获得的帧内预测模式提供给增强层图像编码单元1105中的帧内预测。在此时，帧内预测模式提供单元1104按照特定稀化率对从基本层图像编码单元1103获取的基本层的帧内预测模式进行稀化，并且存储作为结果的帧内预测模式。此外，当执行增强层的编码时，帧内预测模式提供单元1104向增强层图像编码单元1105提供所存储的基本层的帧内预测模式。此外，帧内预测模式提供单元1104可以能够设置帧内预测模式的稀化率。
增强层图像编码单元1105获取增强层的图像信息(增强层图像信息)。增强层图像编码单元1105对增强层图像信息进行编码。此外，增强层图像编码单元1105从帧内预测模式提供单元1104获取基本层的帧内预测模式，使用基本层的帧内预测模式执行增强层的帧内预测，并且对增强层的图像进行编码。然后，增强层图像编码单元1105输出所获得的已编码数据(已编码的增强层数据)。如上所述，由于使用基本层的帧内预测模式执行增强层的帧内预测，因此解码侧可以类似地使用基本层的帧内预测模式执行帧内预测。换句话说，作为与帧内预测模式相关的信息，优选地传送基本层的信息，并且不需要传送增强层的信息。因此，可以抑制编码效率的增加。然后，当存储基本层的帧内预测模式以用于增强层的帧内预测时，如上所述地执行稀化处理，因此可以减小需要的存储容量，并且可以减小编码和解码负载。
<基本层图像编码单元>
图82是图示图81的基本层图像编码单元1103的示例性主要配置的框图。如图82所图示的，基本层图像编码单元1103包括A/D转换单元1111、屏幕排序缓冲器1112、运算单元1113、正交变换单元1114、量化单元1115、无损编码单元1116、累积缓冲器1117、逆量化单元1118和逆正交变换单元1119。基本层图像编码单元1103还包括运算单元1120、环路滤波器1121、帧存储器1122、选择单元1123、帧内预测单元1124、运动预测/补偿单元1125、预测图像选择单元1126和速率控制单元1127。
A/D转换单元1111对输入图像数据(基本层图像信息)执行A/D转换，以及提供要存储在屏幕排序缓冲器1112中的转换后的图像数据(数字数据)。屏幕排序缓冲器1112以用于根据图片组(GOP)进行编码的帧顺序对以显示顺序存储的帧的图像执行排序，并且向运算单元1113提供以帧顺序排序的图像。此外，屏幕排序缓冲器1112向帧内预测单元1124和运动预测/补偿单元1125提供以帧顺序排序的图像。
运算单元1113从自屏幕排序缓冲器1112读取的图像减去经由预测图像选择单元1126从帧内预测单元1124或者运动预测/补偿单元1125提供的预测图像，并且将其差分信息输出至正交变换单元1114。例如，在对其执行帧内编码的图像的情况下，运算单元1113从自屏幕排序缓冲器1112读取的图像减去从帧内预测单元1124提供的预测图像。此外，例如，在对其执行帧间编码的图像的情况下，运算单元1113从自屏幕排序缓冲器1112读取的图像减去从运动预测/补偿单元1125提供的预测图像。
正交变换单元1114对从运算单元1113提供的差分信息执行正交变换(诸如离散余弦变换或者Karhunen Loéve变换)。正交变换单元1114向量化单元1115提供变换系数。
正交变换单元1114对从正交变换单元1114提供的变换系数进行量化。量化单元1115基于与从速率控制单元1127提供的编码量的目标值相关的信息设置量化参数，并且执行量化。量化单元1115向无损编码单元1116提供量化的变换系数。
无损编码单元1116根据任意编码方案对在量化单元1115中量化的变换系数进行编码。由于在速率控制单元1127控制下对系数数据进行量化，因此编码量成为由速率控制单元1127设置的目标值(或者接近目标值)。
无损编码单元1116从帧内预测单元1124获取例如指示帧内预测模式的信息，并且从运动预测/补偿单元1125获取例如指示帧间预测模式的信息或者差分运动向量信息。此外，无损编码单元1116适当地生成基本层的NAL单元，该NAL单元包括序列参数集(SPS)、图片参数集(PPS)等。
无损编码单元1116根据任意编码方案对各种类型的信息进行编码，并且将它们设置(多路复用)为已编码数据(也被称为“已编码流”)的一部分。无损编码单元1116提供通过编码获得的已编码数据以累积在累积缓冲器1117中。
无损编码单元1116的编码方案的示例包括可变长度编码和算术编码。作为可变长度编码，例如，存在在H.264/AVC方案中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。
累积缓冲器1117临时保持从无损编码单元1116提供的已编码数据(已编码基本层数据)。累积缓冲器1117在某个定时将保持的已编码基本层数据输出至例如在后续阶段的记录设备(未图示)(记录介质)或者传输路径。换句话说，累积缓冲器1117还用作传送已编码数据的传送单元。
还向逆量化单元1118提供由量化单元1115量化的变换系数。逆量化单元1118通过与由量化单元1115执行的量化相对应的方法对已量化的变换系数进行逆量化。逆量化单元1118向逆正交变换单元1119提供所获得的变换系数。
逆正交变换单元1119通过与正交变换单元1114执行的正交变换处理相对应的方法，对从逆量化单元1118提供的变换系数执行逆正交变换。将已经过逆正交变换的输出(恢复的差分信息)提供至运算单元1120。
运算单元1120通过将经由预测图像选择单元1126从帧内预测单元1124或者运动预测/补偿单元1125接收到的预测图像添加到恢复的差分信息来获得本地解码的图像(已解码的图像)，该恢复的差分信息是从逆正交变换单元1119提供的逆正交变换结果。将已解码的图像提供至环路滤波器1121或者帧存储器1122。
环路滤波器1121包括去块滤波器、自适应环路滤波器等，并且对从运算单元1120提供的重建图像执行适当的滤波处理。例如，环路滤波器1121对重建图像执行去块滤波处理，并且消除重建图像的块失真。此外，例如，环路滤波器1121通过使用维纳滤波器对去块滤波处理结果(已经消除了块失真的重建图像)执行环路滤波处理来提高图像质量。环路滤波器1121向帧存储器1122提供滤波处理结果(也被称为“已解码图像”)。
环路滤波器1121还可以对重建图像执行任何其它任意的滤波处理。环路滤波器1121可以根据需要向无损编码单元1116提供用于滤波处理的信息(诸如滤波系数)，以便对信息进行编码。
帧存储器1122存储从运算单元1120提供的重建图像和从环路滤波器1121提供的已解码图像。帧存储器1122在某个定时或者基于从外部(诸如帧内预测单元1124)给出的请求，经由选择单元1123向帧内预测单元1124提供所存储的重建图像。此外，帧存储器1122在某个定时或者基于从外部(诸如运动预测/补偿单元1125)给出的请求，经由选择单元1123向运动预测/补偿单元1125提供所存储的已解码图像。
帧存储器1122存储所提供的已解码图像，并且在某个定时将所存储的已解码图像提供给选择单元1123作为参考图像。
选择单元1123选择从帧存储器1122提供的参考图像的供应目的地。例如，在帧内预测的情况下，选择单元1123向运动预测/补偿单元1125提供从帧存储器1122提供的参考图像(当前图片中的像素值)。此外，例如，在帧间预测的情况下，选择单元1123向运动预测/补偿单元1125提供从帧存储器1122提供的参考图像。
帧内预测单元1124使用作为经由选择单元1123从帧存储器1122提供的参考图像的当前图片中的像素值来执行生成预测图像的帧内预测(帧内预测)。帧内预测单元1124以预先准备的多个帧内预测模式执行帧内预测。
帧内预测单元1124以作为候选的所有帧内预测模式生成预测图像，使用从屏幕排序缓冲器1112提供的输入图像评估预测图像的成本函数值，并且选择最优模式。当选择最优帧内预测模式时，帧内预测单元1124向预测图像选择单元1126提供以最优模式生成的预测图像。
此外，帧内预测单元1124适当地向无损编码单元1116提供例如指示所采用的帧内预测模式的帧内预测模式信息，以便如上所述地对帧内预测模式信息进行编码。
运动预测/补偿单元1125使用经由选择单元1123从屏幕排序缓冲器1112提供的输入图像和从帧存储器1122提供的参考图像来执行运动预测(帧间预测)。运动预测/补偿单元1125根据所检测到的运动向量执行运动补偿处理，并且生成预测图像(帧间预测图像信息)。运动预测/补偿单元1125以预先准备的多个帧间预测模式执行帧间预测。
运动预测/补偿单元1125以作为候选的所有帧间预测模式生成预测图像。运动预测/补偿单元1125使用从屏幕排序缓冲器1112提供的输入图像、所生成的差分运动向量的信息等来评估预测图像的成本函数值，并且选择最优模式。当选择最优帧间预测模式时，运动预测/补偿单元1125向预测图像选择单元1126提供以最优模式生成的预测图像。
运动预测/补偿单元1125向无损编码单元1116提供指示所采用的帧间预测模式的信息、当对已编码数据进行解码时以帧间预测模式执行处理所需要的信息等，以便对该信息进行编码。作为需要的信息，存在所生成的差分运动向量的信息，以及作为预测运动向量信息，存在指示预测运动向量的索引的标志。
预测图像选择单元1126选择提供给运算单元1113和运算单元1120的预测图像的供应源。例如，在帧内编码的情况下，预测图像选择单元1126选择帧内预测单元1124作为预测图像的供应源，并且向运算单元1113和运算单元1120提供从帧内预测单元1124提供的预测图像。此外，例如，在帧间编码的情况下，预测图像选择单元1126选择运动预测/补偿单元1125作为预测图像的供应源，并且向运算单元1113和运算单元1120提供从运动预测/补偿单元1125提供的预测图像。
速率控制单元1127基于累积缓冲器1117中累积的已编码数据的编码量来控制量化单元1115的量化运算的速率，以使得既不发生上溢也不发生下溢。
帧内预测单元1124将所采用的帧内预测模式提供给帧内预测模式提供单元1104作为基本层的帧内预测模式。无损编码单元1116向帧内预测模式提供单元1104提供指示基本层的分辨率的信息。
<增强层图像编码单元>
图83是图示图81的增强层图像编码单元1105的示例性主要配置的框图。如图83所图示的，增强层图像编码单元1105具有与图82的基本层图像编码单元1103基本上相同的配置。
在这里，增强层图像编码单元1105的各个组件执行对除基本层以外的增强层图像信息进行编码的处理。换句话说，增强层图像编码单元1105的A/D转换单元1111对增强层图像信息执行A/D转换，以及增强层图像编码单元1105的累积缓冲器1117将已编码的增强层数据输出至例如在随后阶段处的记录设备(未示出)(记录介质)或者传输路径。
增强层图像编码单元1105包括帧内预测单元1134而不是帧内预测单元1124。
帧内预测单元1134从帧内预测模式提供单元1104中存储的基本层的帧内预测模式之中获取(读取)与当前块相对应的帧内预测模式，使用帧内预测模式执行增强层的帧内预测，并且生成预测图像。以与帧内预测单元1124相同的方式执行帧内预测。
此外，与帧内预测单元1124类似地，帧内预测单元1134适当地向无损编码单元1116提供例如指示所采用的帧内预测模式的增强层的帧内预测模式信息，以便对信息进行编码。
增强层图像编码单元1105的无损编码单元1116向帧内预测模式提供单元1104提供指示增强层的分辨率的信息。此外，无损编码单元1116获取指示基本层的帧内预测模式的稀化率并且是从帧内预测模式提供单元1104提供的信息，对所获取的信息进行编码，以及例如通过序列参数集(SPS)、图片参数集(PPS)或者增强层的片段头部将已编码的结果传送到解码侧。
例如，可以通过视频参数集(VPS)传送指示稀化率的信息。在这种情况下，指示稀化率的信息被提供给公共信息生成单元1101。
<帧内预测模式提供单元>
图84是图示图81的帧内预测模式提供单元1104的示例性主要配置的框图。
如图84所图示的，帧内预测模式提供单元1104包括稀化率设置单元1151、稀化处理单元1152和帧内预测模式缓冲器1153。
稀化率设置单元1151设置基本层的帧内预测模式的稀化率。设置方法是任意的。例如，稀化率设置单元1151可以基于从外部(诸如用户)给出的指令来设置稀化率。在此时，可以基于基本层中的比率来设置稀化率。
此外，例如，稀化率设置单元1151可以从基本层图像编码单元1103的无损编码单元1116获取基本层分辨率，以及从增强层图像编码单元1105的无损编码单元1116获取增强层分辨率。例如，稀化率设置单元1151可以通过在监控器等上显示指示分辨率的信息或者通过扬声器等输出表示指示分辨率的信息的声音，向用户呈现指示分辨率的信息。在这种情况下，用户可以鉴于每个层的分辨率来设置稀化率。
此外，例如，用户可以指定增强层中的帧内预测模式的块大小，并且稀化率设置单元1151可以基于所获取的每个层的分辨率将所指定的信息转换成稀化率。因此，可以基于用户容易理解的信息来设置稀化率，并且可以更容易地设置稀化率。
稀化率设置单元1151向稀化处理单元1152提供指示所设置的稀化率的信息。此外，稀化率设置单元1151向增强层图像编码单元1105的无损编码单元1116(或者公共信息生成单元1101)提供指示所设置的稀化率的信息，以便将信息传送到解码侧。
稀化处理单元1152获取从基本层图像编码单元1103的帧内预测单元1124提供的基本层的帧内预测模式，并且按照由稀化率设置单元1151设置的稀化率对帧内预测模式进行稀化。例如，如上所述，对每个特定区域执行帧内预测模式的稀化处理，并且选择每个区域的代表(帧内预测模式)。在稀化之后留下(选择)的基本层的帧内预测模式被提供给帧内预测模式缓冲器1153。
帧内预测模式缓冲器1153存储从稀化处理单元1152提供的所选择的基本层帧内预测模式。帧内预测模式缓冲器1153向帧内预测单元1134提供在当前存储的所选择的基本层帧内预测模式之中与增强层图像编码单元1105的帧内预测单元1134中执行的增强层的帧内预测的当前块相对应的区域的帧内预测模式。
如上所述，帧内预测单元1134使用从帧内预测模式缓冲器1153读取的基本层的帧内预测模式(所选择的基本层帧内预测模式)执行增强层的当前块的帧内预测，并且生成预测图像。
如上所述，可缩放编码设备1100可以将基本层的帧内预测模式用于对增强层进行编码的帧内预测，因此可以抑制编码效率的降低。因此，可缩放编码设备1100可以抑制由编码和解码引起的图像质量的下降。此外，当基本层的帧内预测模式被提供给增强层时，按照特定稀化率对帧内预测模式进行稀化，因此可缩放编码设备1100可以抑制编码和解码所需的存储容量的增大。
<公共信息生成处理流程>
接下来，将描述由可缩放编码设备1100执行的处理的流程。首先，参考图85的流程图描述公共信息生成处理的示例性流程。
当公共信息生成处理开始时，在步骤S4101中，帧内预测模式提供单元1104的稀化率设置单元1151设置基本层帧内预测模式的稀化率。
在步骤S4102中，公共信息生成单元1101生成视频参数集，该视频参数集包括指示步骤S4101中设置的稀化率的信息。
在步骤S4103中，公共信息生成单元1101将步骤S4102中生成的视频参数集作为公共信息传送(提供)至解码侧。当步骤S4103的处理结束时，公共信息生成处理结束。
<编码处理流程>
接下来，将参考图86的流程图描述编码处理的示例性流程。可缩放编码设备1100以图片为单位执行编码处理。
当编码处理开始时，在步骤S4121中，可缩放编码设备1100的编码控制单元1102将第一层设置为处理目标。
在步骤S4122中，编码控制单元1102确定作为处理目标的当前层是否是基本层。当确定当前层是基本层时，处理进行到步骤S4123。
在步骤S4123中，基本层图像编码单元1103和帧内预测模式提供单元1104执行基本层编码处理。当步骤S4123的处理结束时，处理进行到步骤S4126。
然而，当在步骤S4122中确定当前层是增强层时，处理进行到步骤S4124。在步骤S4124中，编码控制单元1102决定与当前层相对应的基本层(即，作为参考目的地)。
在步骤S4125中，增强层图像编码单元1105执行增强层编码处理。当步骤S4125的处理结束时，处理进行到步骤S4126。
在步骤S4126中，编码控制单元1102确定是否已经处理了所有层。当确定存在未处理的层时，处理进行到步骤S4127。
在步骤S4127中，编码控制单元1102将下一个未处理层设置为处理目标(当前层)。当步骤S4127的处理结束时，处理返回到步骤S4122。重复地执行步骤S4122至步骤S4127的处理，因此对每个层进行编码。
然后，当在S4126步骤中确定已经处理了所有层时，编码处理结束。
<基本层编码处理流程>
接下来，将参考图87的流程图描述在图86的步骤S4123中执行的基本层编码处理的示例性流程。
在步骤S4141中，基本层图像编码单元1103的A/D转换单元1111对基本层的输入图像信息(图像数据)执行A/D转换。在步骤S4142中，屏幕排序缓冲器1112存储已经经过A/D转换的基本层的图像信息(数字数据)，并且以编码顺序对以显示顺序排列的图片进行排序。
在步骤S4143中，帧内预测单元1124执行帧内预测模式的帧内预测处理。在步骤S4144中，运动预测/补偿单元1125执行运动预测和补偿处理，其中执行帧间预测模式的运动预测和运动补偿。在步骤S4145中，预测图像选择单元1126基于从帧内预测单元1124和运动预测/补偿单元1125输出的成本函数值决定最优模式。换句话说，预测图像选择单元1126选择由帧内预测单元1124生成的预测图像和由运动预测/补偿单元1125生成的预测图像中的任何一个。在步骤S4146中，运算单元1113计算通过步骤S4142的处理排序的图像与通过步骤S4145的处理选择的预测图像之间的差。差分数据在数据量上小于原始图像数据。因此，可以将数据量压缩至小于在没有变化的情况下对图像进行编码时的数据量。
在步骤S4147中，正交变换单元1114对通过步骤S4146的处理生成的差分信息执行正交变换处理。在步骤S4148中，量化单元1115使用由速率控制单元1127计算的量化参数对通过步骤S4147的处理获得的正交变换系数进行量化。
如下地对通过步骤S4148的处理量化的差分信息进行本地解码。换句话说，在步骤S4149中，逆量化单元1118根据与量化单元1115的特征相对应的特征，对通过步骤S4148的处理生成的量化的系数(也被称为“量化系数”)进行逆量化。在步骤S4150中，逆正交变换单元1119对通过步骤S4147的处理获得的正交变换系数执行逆正交变换。在步骤S4151中，运算单元1120将预测图像添加至本地解码的差分信息，并且生成本地解码的图像(与到运算单元1113的输入相对应的图像)。
在步骤S4152中，环路滤波器1121对通过步骤S4151的处理生成的图像执行滤波。因此，块失真等被消除。在步骤S4153中，帧存储器1122存储已经通过步骤S4152的处理消除了块失真等的图像。此外，没有经过由环路滤波器1121执行的滤波处理的图像也从运算单元1120提供至帧存储器1122并且存储在帧存储器1122中。帧存储器1122中存储的图像用于步骤S4143的处理或者步骤S4144的处理。
在步骤S4154中，帧内预测模式提供单元1104的稀化处理单元1152按照图85的步骤S4101中设置的稀化率对基本层的帧内预测模式进行稀化。
在步骤S4155中，帧内预测模式提供单元1104的帧内预测模式缓冲器1153存储所选择的基本层的帧内预测模式，该帧内预测模式通过步骤S4154的处理进行稀化。
在步骤S4156中，基本层图像编码单元1103的无损编码单元1116对通过步骤S4148的处理量化的系数进行编码。换句话说，对与差分图像相对应的数据执行无损编码(例如可变长度编码或者算术编码)。
在此时，无损编码单元1116对与通过步骤S4145的处理选择的预测图像的预测模式相关的信息进行编码，并且将差分图像添加至通过编码获得的已编码数据。换句话说，无损编码单元1116还对从帧内预测单元1124提供的最优帧内预测模式信息、与从运动预测/补偿单元1125提供的最优帧间预测模式相应的信息等进行编码，并且将所编码的信息添加到已编码数据。
在步骤S4157中，累积缓冲器1117累积通过步骤S4156的处理获得的已编码的基本层数据。在累积缓冲器1117中累积的已编码的基本层数据被适当地读取，并且经由传输路径或者记录介质被传送到解码侧。
在步骤S4158中，速率控制单元1127基于在步骤S4157中累积在累积缓冲器1117中的已编码数据的编码量(所生成的编码量)控制量化单元1115的量化运算的速率，以使得既不发生上溢也不发生下溢。
当步骤S4158的处理结束时，基本层编码处理结束，并且处理返回到图86。例如，以图片为单位执行基本层编码处理。换句话说，对当前层的每个图片执行基本层编码处理。在这里，对于每个单位执行基本层编码处理的每个处理。
<增强层编码处理流程>
接下来，将参考图88的流程图描述在图86的步骤S4125中执行的增强层编码处理的示例性流程。
以与图87的基本层编码处理的步骤S4141、步骤S4142、步骤S4144至步骤S4153和步骤S4156至步骤S4158的处理相同的方式执行增强层编码处理的步骤S4171、步骤S4172和步骤S4175至步骤S4187的处理。在这里，通过增强层图像编码单元1105的相应处理单元对增强层图像信息执行增强层编码处理的相应处理。
在步骤S4173中，增强层图像编码单元1105的帧内预测单元1134从帧内预测模式提供单元1104的帧内预测模式缓冲器1153获取与当前块相对应的基本层的帧内预测模式(所选择的基本层的帧内预测模式)。
在步骤S4174中，帧内预测单元1134使用步骤S4173中获取的所选择的基本层的帧内预测模式执行增强层的帧内预测处理。
当步骤S4187的处理结束时，增强层编码处理结束，并且处理返回到图86。例如，以图片为单位执行增强层编码处理。换句话说，对当前层的每个图片执行增强层编码处理。在这里，对于每个处理单位执行增强层编码处理的每个处理。
由于如上所述地执行处理，因此可缩放编码设备1100可以将基本层的帧内预测模式用于对增强层进行编码的帧内预测，因此可以抑制编码效率的降低。因此，可缩放编码设备1100可以抑制由编码和解码引起的图像质量的下降。此外，当基本层的帧内预测模式被提供给增强层时，按照特定稀化率对帧内预测模式进行稀化，因此可缩放编码设备1100可以抑制编码和解码所需的存储容量的增大。
<7.第六实施例>
<可缩放解码设备>
接下来，将描述通过如上所述的可缩放编码获得的已编码数据(比特流)的解码。图89是图示与图81的可缩放编码设备1100相对应的可缩放解码设备的示例性主要配置的框图。例如，图89中图示的可缩放解码设备1200根据与编码方法相对应的方法，对通过可缩放编码设备1100经由可缩放编码图像数据获得的已编码数据执行可缩放解码。
如图89所图示的，可缩放解码设备1200包括公共信息获取单元1201、解码控制单元1202、基本层图像解码单元1203、帧内预测模式提供单元1204和增强层图像解码单元1205。
公共信息获取单元1201获取从编码侧传送的公共信息(例如，视频参数集(VPS))。公共信息获取单元1201从所获取的公共信息提取与解码相关的信息，并且向解码控制单元1202提供所获取的信息。此外，公共信息获取单元1201适当地向基本层图像解码单元1203、帧内预测模式提供单元1204和增强层图像解码单元1205提供公共信息中的部分或者全部。
例如，当通过视频参数集(VPS)从编码侧传送指示稀化率的信息时，公共信息获取单元1201从自编码侧传送的视频参数集获取指示稀化率的信息，并且向帧内预测模式提供单元1204提供指示稀化率的信息。
解码控制单元1202获取从公共信息获取单元1201提供的与解码相关的信息，并且通过基于所获取的信息控制基本层图像解码单元1203、帧内预测模式提供单元1204和增强层图像解码单元1205来控制每个层的解码。
基本层图像解码单元1203通过与基本层图像编码单元1103(例如，基本层图像编码单元1103)相对应的图像解码单元获取通过对基本层图像信息进行编码获得的已编码的基本层数据。基本层图像解码单元1203在不使用其它层的信息的情况下对已编码的基本层数据进行解码，并且重建和输出基本层图像信息。对于基本层的解码，基本层图像解码单元1203以从编码侧传送的帧内预测模式信息指定的帧内预测模式(即，与编码时相同的模式)，对在编码时执行帧内预测的块执行帧内预测，生成预测图像，并且使用该预测图像生成已解码图像。此外，基本层图像解码单元1203向帧内预测模式提供单元1204提供基本层的帧内预测的帧内预测模式。例如，基本层图像解码单元1203可以向帧内预测模式提供单元1204提供从编码侧传送的帧内预测模式信息。
帧内预测模式提供单元1204执行如下处理：向增强层图像解码单元1205中的帧内预测提供从基本层图像解码单元1203提供的帧内预测模式。在此时，帧内预测模式提供单元1204按照特定稀化率对从基本层图像解码单元1203获取的基本层的帧内预测模式进行稀化，并且存储作为结果的模式。然后，当执行增强层的解码时，帧内预测模式提供单元1204向增强层图像解码单元1205提供所存储的基本层的帧内预测模式。换句话说，由帧内预测模式提供单元1204选择的帧内预测模式被提供给增强层图像解码单元1205。
增强层图像解码单元1205通过与增强层图像编码单元1105(例如，增强层图像编码单元1105)相对应的图像解码单元获取通过对增强层图像信息进行编码获得的已编码的增强层数据。增强层图像解码单元1205使用从帧内预测模式提供单元1204获取的基本层的帧内预测模式执行帧内预测，生成预测图像，使用该预测图像重建增强层图像信息，并且输出该增强层图像信息。
<基本层图像解码单元>
图90是图示图89的基本层图像解码单元1203的示例性主要配置的框图。如图90所图示的，基本层图像解码单元1203包括累积缓冲器1211、无损解码单元1212、逆量化单元1213、逆正交变换单元1214、运算单元1215、环路滤波器1216、屏幕排序缓冲器1217和D/A转换单元1218。基本层图像解码单元1203还包括帧存储器1219、选择单元1220、帧内预测单元1221、运动补偿单元1222和选择单元1223。
累积缓冲器1211还用作接收所传送的已编码的基本层数据的接收单元。累积缓冲器1211接收和累积所传送的已编码的基本层数据，并且在某个定时向无损解码单元1212提供已编码数据。将预测模式信息的解码所需的信息等添加至已编码的基本层数据。
无损解码单元1212根据与无损编码单元1116的编码方案相对应的方案对从累积缓冲器1211提供的由无损编码单元1116编码的信息进行解码。无损解码单元1212向逆量化单元1213提供通过解码获得的差分图像的量化的系数数据。
此外，无损解码单元1212适当地提取和获取包括视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)等的NAL单元，该NAL单元被包括在已编码的基本层数据中。无损解码单元1212从信息提取与最优预测模式相关的信息，基于该信息确定选择帧内预测模式和帧间预测模式中的哪一个作为最优预测模式，并且向被确定选择的模式(即，帧内预测单元1221或者运动补偿单元1222)提供与最优预测模式相关的信息。换句话说，例如，当在基本层图像编码单元1103中选择帧内预测模式作为最优预测模式时，向帧内预测单元1221提供与最优预测模式相关的信息。此外，例如，当在基本层图像编码单元1103中选择帧间预测模式作为最优预测模式时，向运动补偿单元1222提供与最优预测模式相关的信息。
此外，例如，无损解码单元1212从NAL单元提取逆量化所需的信息(诸如量化矩阵和量化参数)，并且向逆量化单元1213提供所提取的信息。
逆量化单元1213根据与量化单元1115的量化方案相对应的方案，对通过由无损解码单元1212执行的解码获得的量化的系数数据进行逆量化。逆量化单元1213是类似于逆量化单元1118的处理单元。换句话说，逆量化单元1213的描述还可以应用于逆量化单元1118。在这里，需要根据设备来改变和读取例如数据的输入和输出目的地。逆量化单元1213向逆正交变换单元1214提供所获得的系数数据。
逆正交变换单元1214根据与正交变换单元1114的正交变换方案相对应的方案，对从逆量化单元1213提供的系数数据执行逆正交变换。逆正交变换单元1214是类似于逆正交变换单元1119的处理单元。换句话说，逆正交变换单元1214的描述还可以应用于逆正交变换单元1119。在这里，需要根据设备来改变和读取例如数据的输入和输出目的地。
逆正交变换单元1214通过逆正交变换处理获得与在正交变换单元1114中没有经过正交变换的残差数据相对应的解码的残差数据。获得的已经经过逆正交变换的解码的残差数据被提供给运算单元1215。此外，经由选择单元1223将预测图像从帧内预测单元1221或者运动补偿单元1222提供至运算单元1215。
运算单元1215将解码的残差数据添加至预测图像，并且获得与没有被运算单元1113减去预测图像的图像数据相对应的已解码的图像数据。运算单元1215向环路滤波器1216提供已解码的图像数据。
环路滤波器1216对所提供的已解码图像适当地执行滤波处理(诸如去块滤波或者自适应环路滤波)，并且向屏幕排序缓冲器1217和帧存储器1219提供作为结果的解码图像。例如，环路滤波器1216对已解码图像执行去块滤波处理以消除已解码图像的块失真。此外，例如，环路滤波器1216通过使用维纳滤波器对去块滤波处理结果(已经消除块失真的已解码图像)执行环路滤波处理来提高图像质量。环路滤波器1216是类似于环路滤波器1121的处理单元。
可以将从运算单元1215输出的已解码图像提供至屏幕排序缓冲器1217和帧存储器1219而不需要环路滤波器1216的干预。换句话说，可以省略由环路滤波器1216执行的滤波处理中的一部分或者全部。
屏幕排序缓冲器1217对已解码图像执行排序。换句话说，以原始显示顺序对由屏幕排序缓冲器1112以编码顺序排序的帧进行排序。D/A转换单元1218对从屏幕排序缓冲器1217提供的图像执行D/A转换，并且输出要在显示器(未示出)上显示的作为结果的图像。
帧存储器1219存储所提供的已解码图像，并且在某个定时或者基于从外部(诸如帧内预测单元1221或者运动补偿单元1222)给出的请求，将所存储的已解码图像作为参考图像提供给选择单元1220。
选择单元1220选择从帧存储器1219提供的参考图像的供应目的地。当对已经经过帧内编码的图像进行解码时，选择单元1220向帧内预测单元1221提供从帧存储器1219提供的参考图像。此外，当对已经经过帧间编码的图像进行解码时，选择单元1220向运动补偿单元1222提供从帧存储器1219提供的参考图像。
例如，适当地将通过对头部信息进行解码获得的指示帧内预测模式的信息从无损解码单元1212提供给帧内预测单元1221。帧内预测单元1221使用从帧存储器1219获取的参考图像以帧内预测单元1124中使用的帧内预测模式执行帧内预测，并且生成预测图像。帧内预测单元1221向选择单元1223提供所生成的预测图像。
运动补偿单元1222从无损解码单元1212获取通过对头部信息进行解码获得的信息(最优预测模式信息、参考图像信息等)。
运动补偿单元1222使用从帧存储器1219获取的参考图像以由从无损解码单元1212获取的最优预测模式信息指示的帧间预测模式执行运动补偿，并且生成预测图像。运动补偿单元1222向选择单元1223提供所生成的预测图像。
选择单元1223向运算单元1215提供从帧内预测单元1221提供的预测图像或者从运动补偿单元1222提供的预测图像。然后，运算单元1215将使用运动向量生成的预测图像添加至从逆正交变换单元1214提供的解码残差数据(差分图像信息)，以对原始图像进行解码。
此外，帧内预测单元1124将所采用的帧内预测模式(即，由编码侧指定的帧内预测模式)作为基本层的帧内预测模式提供给帧内预测模式提供单元1204。
<增强图像解码单元>
图91是图示图89的增强层图像解码单元1205的示例性主要配置的框图。如图91所图示的，增强层图像解码单元1205具有与图90的基本层图像解码单元1203基本上相同的配置。
在这里，增强层图像解码单元1205的相应组件执行对除基本层以外的已编码增强层数据进行解码的处理。换句话说，增强层图像解码单元1205的累积缓冲器1211存储已编码增强层数据，以及增强层图像解码单元1205的D/A转换单元1218将增强层图像信息输出至例如在随后阶段处的记录设备(未示出)(记录介质)或者传输路径。
此外，增强层图像解码单元1205包括帧内预测单元1231而不是帧内预测单元1221。
帧内预测单元1231在帧内预测模式提供单元1204中存储的基本层的帧内预测模式(的代表值)之中获得(读取)与当前块相对应的帧内预测模式，使用帧内预测模式执行增强层的帧内预测，并且生成预测图像。以与帧内预测单元1221相同的方式执行帧内预测。
此外，例如，当从编码侧传送序列参数集(SPS)、图片参数集(PPS)或者增强层的片段头部中的指示稀化率的信息时，增强层图像解码单元的无损解码单元1212向帧内预测模式提供单元1204提供从编码侧传送的指示稀化率的信息。
例如，可以通过视频参数集(VPS)传送指示稀化率的信息。在这种情况下，将指示稀化率的信息从公共信息获取单元1201提供至帧内预测模式提供单元1204。
<帧内预测模式提供单元>
图92是图示图89的帧内预测模式提供单元1204的示例性主要配置的框图。
如图92所图示的，帧内预测模式提供单元1204包括稀化率获取单元1251、稀化处理单元1252和帧内预测模式缓冲器1253。
稀化率获取单元1251从增强层图像解码单元1205(或者公共信息获取单元1201)的无损解码单元1212获取从编码侧传送的基本层的帧内预测模式的稀化率。稀化率获取单元1251向稀化处理单元1252提供所获取的指示稀化率的信息。
稀化处理单元1252获取从基本层图像解码单元1203的帧内预测单元1221提供的基本层的每个块的帧内预测模式，并且按照从稀化率获取单元1251提供的稀化率对帧内预测模式进行稀化。例如，如上所述，对每个特定区域执行帧内预测模式的稀化处理，并且选择每个区域的代表(帧内预测模式)。通过稀化选择的基本层的帧内预测模式被提供给帧内预测模式缓冲器1253。
帧内预测模式缓冲器1253存储从稀化处理单元1252提供的所选择的基本层帧内预测模式。帧内预测模式缓冲器1253向帧内预测单元1231提供在当前存储的所选择的基本层帧内预测模式之中与增强层图像解码单元1205的帧内预测单元1231中执行的帧内预测的当前块相对应的块的帧内预测模式。
如上所述，帧内预测单元1231使用从帧内预测模式缓冲器1253读取的基本层的帧内预测模式(所选择的基本层帧内预测模式)执行增强层的当前块的帧内预测，并且生成预测图像。
如上所述，可缩放解码设备1200可以将基本层的帧内预测模式用于对增强层进行编码的帧内预测，因此可以抑制编码效率的降低。因此，可缩放解码设备1200可以抑制由编码和解码引起的图像质量的下降。此外，当基本层的帧内预测模式被提供给增强层时，按照特定稀化率对帧内预测模式进行稀化，因此可缩放解码设备1200可以抑制编码和解码所需的存储容量的增大。
<公共信息获取处理流程>
接下来，将描述由可缩放解码设备1200执行的处理的流程。首先，参考图93的流程图描述公共信息获取处理的示例性流程。
当公共信息获取处理开始时，在步骤S4201中，公共信息获取单元1201获取从编码侧传送的视频参数集。
在步骤S4202中，帧内预测模式提供单元1204的稀化率获取单元1251从在步骤S4201中获取的视频参数集获取基本层帧内预测模式的稀化率。
当步骤S4202的处理结束时，公共信息获取处理结束。
<解码处理流程>
接下来，将参考图94的流程图描述解码处理的示例性流程。可缩放解码设备1200以图片为单位执行解码处理。
当解码处理开始时，在步骤S4221中，可缩放解码设备1200的解码控制单元1202将第一层设置为处理目标。
在步骤S4222中，解码控制单元1202确定作为处理目标的当前层是否是基本层。当确定当前层是基本层时，处理进行到步骤S4223。
在步骤S4223中，基本层图像解码单元1203和帧内预测模式提供单元1204执行基本层解码处理。当步骤S4223的处理结束时，处理进行到步骤S4226。
此外，当在步骤S4222中确定当前层是增强层时，处理进行到步骤S4224。在步骤S4224中，解码控制单元1202决定与当前层相对应的基本层(即，作为参考目的地)。
在步骤S4225中，增强层图像解码单元1205执行增强层解码处理。当步骤S4225的处理结束时，处理进行到步骤S4226。
在步骤S4226中，解码控制单元1202确定是否已经处理了所有层。当确定存在未处理的层时，处理进行到步骤S4227。
在步骤S4227中，解码控制单元1202将下一个未处理层设置为处理目标(当前层)。当步骤S4227的处理结束时，处理返回到步骤S4222。重复地执行步骤S4222至步骤S4227的处理，因此对每个层进行解码。
然后，当在S4226步骤中确定已经处理了所有层时，解码处理结束。
<基本层解码处理流程>
接下来，将参考图95的流程图描述在图94的步骤S4123中执行的基本层解码处理的示例性流程。
当基本层解码处理开始时，在步骤S4241中，基本层图像解码单元1203的累积缓冲器1211累积从编码侧传送的基本层的比特流。在步骤S4242中，无损解码单元1212对从累积缓冲器1211提供的基本层的比特流(已编码的差分图像信息)进行解码。换句话说，对由无损编码单元1116编码的I图片、P图片和B图片进行解码。在此时，还对比特流中包括的各种类型的信息(诸如头部信息以及差分图像)进行解码。
在步骤S4243中，逆量化单元1213对通过步骤S4242的处理获得的量化系数进行逆量化。
在步骤S4244中，逆正交变换单元1214对当前块(当前TU)执行逆正交变换。
在步骤S4245中，帧内预测单元1221或者运动补偿单元1222执行预测处理，并且生成预测图像。换句话说，以在编码时应用的并且在无损解码单元1212中确定的预测模式执行预测处理。更具体地说，例如，当在编码时应用帧内预测时，帧内预测单元1221以在编码时被确定为最优的帧内预测模式生成预测图像。此外，例如，当在编码时应用帧间预测时，运动补偿单元1222以在编码时被确定为最优的帧间预测模式生成预测图像。
在步骤S4246中，运算单元1215将在步骤S4245中生成的预测图像添加至通过步骤S4244的逆正交变换处理生成的差分图像信息。因此，原始图像被解码。
在步骤S4247中，环路滤波器1216适当地对在步骤S4246中获得的已解码图像执行环路滤波处理。
在步骤S4248中，屏幕排序缓冲器1217对在步骤S4247中已经经过滤波处理的图像进行排序。换句话说，以原始显示顺序对由屏幕排序缓冲器1112为编码而排序的帧进行排序。
在步骤S4249中，D/A转换单元1218对帧的顺序在步骤S4248中被排序的图像执行D/A转换。图像被输出至显示器(未图示)并且在显示器上显示。
在步骤S4250中，帧存储器1219存储在步骤S4247中已经经过滤波处理的已解码图像。
在步骤S4251中，帧内预测模式提供单元1204的稀化处理单元1252按照在图93的步骤S4202中获取的稀化率，对在步骤S4245中通过帧内预测单元1221的帧内预测处理获得的基本层的帧内预测模式进行稀化。
在步骤S4252中，帧内预测模式提供单元1204的帧内预测模式缓冲器1253存储通过步骤S4251中的稀化而选择的基本层的帧内预测模式。
当步骤S4252的处理结束时，基本层解码处理结束，并且处理返回到图94。例如，以图片为单位执行基本层解码处理。换句话说，对当前层的每个图片执行基本层解码处理。在这里，对于每个处理单位执行基本层解码处理的每个处理。
<增强层解码处理流程>
接下来，将参考图96的流程图描述在图94的步骤S4225中执行的增强层解码处理的示例性流程。
以与基本层解码处理中的步骤S4241至步骤S4244的处理和步骤S4246至步骤S4250的处理相同的方式执行增强层解码处理中的步骤S4271至步骤S4274的处理和步骤S4276至步骤S4280的处理。在这里，通过增强层图像解码单元1205的相应处理单元对已编码的增强层数据执行增强层解码处理的相应处理。
在步骤S4275中，增强层图像解码单元1205的帧内预测单元1231和运动补偿单元1222对已编码的增强层数据执行预测处理。
当步骤S4280结束时，增强层解码处理结束，并且处理返回到图94。例如，以图片为单位执行增强层解码处理。换句话说，对当前层的每个图片执行增强层解码处理。在这里，对于每个处理单位执行增强层解码处理的每个处理。
<预测处理流程>
接下来，将参考图97的流程图描述在图96的步骤S4275中执行的预测处理的示例性流程。
当预测处理开始时，在步骤S4301中，增强层图像解码单元1205的帧内预测单元1231确定预测模式是否是帧内预测。当确定预测模式是帧内预测时，处理进行到步骤S4302。
在步骤S4302中，帧内预测单元1231在帧内预测模式提供单元1204的帧内预测模式缓冲器1253中存储的所选择的基本层的帧内预测模式之中获取与当前块相对应的块的帧内预测模式。
在步骤S4303中，帧内预测单元1231使用在步骤S4302中获取的帧内预测模式(所选择的基本层的帧内预测模式)执行帧内预测处理，并且生成预测图像。当步骤S4303的处理结束时，预测处理结束，并且处理返回到图96。
此外，当在步骤S4301中确定预测模式是帧间预测时，处理进行到步骤S4304。在步骤S4304中，运动补偿单元1222以作为在编码时采用的帧间预测模式的最优帧间预测模式来执行运动补偿，并且生成预测图像。当步骤S4304的处理结束时，预测处理结束，并且处理返回到图96。
由于如上所述地执行处理，因此可缩放解码设备1200可以将基本层的帧内预测模式用于对增强层进行解码的帧内预测，因此可以抑制编码效率的降低。因此，可缩放解码设备1200可以抑制由编码和解码引起的图像质量的下降。此外，当基本层的帧内预测模式被提供给增强层时，按照从编码侧提供的特定稀化率对帧内预测模式进行稀化，因此与可缩放编码设备1100类似地，可缩放解码设备1200可以抑制编码和解码所需的存储容量的增大。
可以类似地将与上面在第五实施例和第六实施例中描述的可缩放编码和解码相关的本技术应用至上面在第一实施例至第三实施例中描述的多视点图像编码和解码。
换句话说，即使当本技术应用于多视点图像编码时，优选地，图像编码设备具有图81至图84的配置，并且执行以上参考图85至图88的流程图描述的各个处理。
此外，即使当本技术应用于多视点图像解码时，优选地，图像编码设备具有图89至图92的配置，并且执行以上参考图93至图97的流程图描述的各个处理。
<8.概要3>
<预测方向控制>
同时，在现有技术的HEVC中，时间运动向量(temporal_motion_vector)可以用于运动向量编码(mv_coding)，并且可以使用L0方向和L1方向中的任何一个。换句话说，对于时间运动向量(temporal_motion_vector)，期望存储在L0方向和L1方向中的任何一个上的信息。
图98至图100是图示根据现有技术的片段头部的示例性语法的图。图99中图示的标志信息(collocated_from_l0_flag)是指示是否存储L0方向上的时间运动向量(temporal_motion_vector)的标志信息。当标志信息的值是“1(真)”时，存储L0方向上的时间运动向量(temporal_motion_vector)，以及当标志信息的值是“0(假)”时，存储L1方向上的时间运动向量(temporal_motion_vector)。
同时，Vadim Seregin、Patrice Onno、Shan Liu、Elena Alshina、Chulkeun Kim、Haitao Yang，“Description of Core Experiment SCE5:Inter-layer syntaxprediction using the HEVC base layer”，JCTVC-L1105，Joint Collaborative Team onVideo Coding(JCT-VC)of ITU-T SG 16WP 3and ISO/IEC JTC 1/SC29/WG 1112thMeeting：Geneva，CH，2013年1月14-23日提出了使用基本层中的运动信息的层间语法预测作为用于可缩放编码的运动向量编码方案。
在层间语法预测中，基本层的L0运动信息用于增强层的L0运动向量编码处理，以及基本层的L1运动信息用于增强层的L1运动向量编码。因此，需要在缓冲器中存储L0方向和L1方向这两个方向上的运动信息，并且编码和解码所需的存储容量可能增大。
在这点上，设置用于对当前层进行编码的其它层的运动信息的预测方向，并且仅从其它层获取所设置的预测方向上的运动信息，该当前层用作在包括多个层的图像数据中的处理目标。例如，当对图像数据执行可缩放编码时，在将基本层的运动信息用于增强层的编码的的层间语法预测中，设置用于层间语法预测的基本层的运动信息的预测方向，并且仅获取预测方向上的运动信息并且存储在缓冲器中。例如，仅获取L0方向或者L1方向上的基本层的运动信息并且存储在缓冲器中。然后，在用于增强层的编码的层间语法预测中，读取并且使用缓冲器中存储的基本层的运动信息。
因此，与获取所有预测方向(例如，L0方向和L1方向)上的基本层的运动信息相比，可以减小保持基本层的运动信息所需的缓冲器的容量。换句话说，可以抑制编码所需的存储容量的增大。
此外，指示基本层的运动信息的预测方向的设置的控制信息被传送到解码侧。然后，解码侧根据从编码侧传送的控制信息的设置仅获取由控制信息指定的预测方向(例如，L0方向或者L1方向)上的基本层的运动信息，并且将所获取的运动信息存储在缓冲器中。然后，在用于增强层的解码的层间语法预测中，读取并且使用缓冲器中存储的基本层的运动信息。
因此，与获取所有预测方向(例如，L0方向和L1方向)上的基本层的运动信息相比，可以减小保持基本层运动信息所需的缓冲器的容量。换句话说，可以抑制解码所需的存储容量的增大。
<示例性语法>
图101至图103是图示在这种情况下的片段头部的示例性语法的图。作为控制信息，如图102所图示的，标志信息(colbasemv_from_l0_flag)被传送。标志信息是指示是否存储L0方向上的基本层的运动信息的标志信息。当标志信息的值是“1(真)”时，从基本层获取L0方向上的运动信息并且存储在缓冲器中。此外，当标志信息的值是“0(假)”时，从基本层获取L1方向上的运动信息并且存储在缓冲器中。如上所述的缓冲器中存储的基本层的运动信息用于增强层的层间预测。
由于控制信息被传送，因此，在解码侧，可以执行与编码侧相同的层间语法预测。因此，可以抑制解码所需的存储容量的增大。
如上所述，指示预测方向是否是特定方向(例如，L0方向)的信息可以用作指示用于层间预测的基本层的运动信息的预测方向的控制信息。由于标志信息被用作控制信息，因此可以减少控制信息的信息量(例如，减少为1比特)。因此，可以抑制编码效率的下降。
当然，方向不限于L0方向。例如，指示用于层间预测的基本层的运动信息的预测方向是否是L1方向的信息可以用作控制信息。此外，可以选择方向。例如，可以以任意单位(诸如片段、图片或者序列)选择方向。
此外，控制信息不限于标志信息。例如，指示用于层间预测的基本层的运动信息的预测方向是L0方向还是L1方向的信息可以用作控制信息。
尽管已经结合通过片段头部传送控制信息的示例描述了图101至图103的示例，但是本技术不限于该示例。换句话说，例如，可以以任意单位(诸如序列、图片或者LCU)传送控制信息。换句话说，控制信息的控制单位不限于片段。例如，可以以任意单位(诸如序列、图片或者LCU)来控制该控制信息。
此外，在层间预测中，使用与增强层的处理目标的当前区域相对应的基本层的特定区域的运动信息。
此外，当从基本层获取的运动信息的预测方向不同于所使用的预测方向时，可以执行转换。例如，当缓冲器中存储的L0方向上的基本层的运动信息用于L1方向上的增强层的预测时，将基本层的运动信息转换成L1方向。可以在编码侧或者在解码侧类似地执行该转换。
此外，可以对从基本层获取的运动信息进行转换，使得可缩放参数根据需要用作增强层参考。例如，当分辨率是可缩放的时，可以根据基本层和增强层的分辨率比率对所获取的基本层的运动信息的比例进行转换(上采样)。此外，可以在将信息存储在缓冲器中之前或者在从缓冲器读取信息之后执行该转换。可以在编码侧或者在解码侧类似地执行该转换。
接下来，将描述本技术应用于具体设备的示例。
<9.第七实施例>
<图像编码设备>
图104是图示作为本技术所应用的图像处理设备的示例的图像编码设备的图。图104中图示的图像编码设备1300是执行可缩放图像编码的设备。如图104所图示的，图像编码设备1300包括基本层图像编码单元1301、增强层图像编码单元1302和多路复用单元1303。
基本层图像编码单元1301对基本层图像进行编码，并且生成已编码的基本层图像流。增强层图像编码单元1302对增强层图像进行编码，并且生成已编码的增强层图像流。多路复用单元1303对基本层图像编码单元1301中生成的已编码基本层图像流和增强层图像编码单元1302中生成的已编码增强层图像流执行多路复用，并且生成已编码的可缩放图像流。多路复用单元1303将所生成的已编码可缩放图像流传送至解码侧。
基本层图像编码单元1301在不参照其它层的情况下对基本层图像进行编码。另一方面，增强层图像编码单元1302参考基本层在增强层图像的编码中执行层间预测。例如，增强层图像编码单元1302获取当基本层图像编码单元1301对基本层图像进行编码时生成的基本层的运动信息，并且使用基本层的运动信息执行层间语法预测。
在此时，增强层图像编码单元1302设置从基本层图像编码单元1301获取的运动信息的预测方向，仅获取所设置的预测方向上的运动信息，并且将该运动信息存储在缓冲器中。此外，增强层图像编码单元1302使用缓冲器中存储的基本层的运动信息(即，所设置的预测方向上的运动信息)执行层间预测。
此外，增强层图像编码单元1302经由多路复用单元1303将指示预测方向的设置内容的控制信息传送至解码侧(作为已编码的可缩放图像流)。
<基本层图像编码单元>
图105是图示图104的基本层图像编码单元1301的示例性主要配置的框图。如图105所图示的，基本层图像编码单元1301包括A/D转换单元1311、屏幕排序缓冲器1312、运算单元1313、正交变换单元1314、量化单元1315、无损编码单元1316、累积缓冲器1317、逆量化单元1318和逆正交变换单元1319。基本层图像编码单元1301还包括运算单元1320、环路滤波器1321、帧存储器1322、选择单元1323、帧内预测单元1324、帧间预测单元1325、预测图像选择单元1326和速率控制单元1327。
A/D转换单元1311对输入图像数据(基本层图像信息)执行A/D转换，以及提供要存储在屏幕排序缓冲器1312中的已转换的图像数据(数字数据)。屏幕排序缓冲器1312以用于根据图片组(GOP)进行编码的帧顺序对所存储的以显示顺序排列的帧的图像执行排序，并且向运算单元1313提供以帧顺序排序的图像。此外，屏幕排序缓冲器1312还向帧内预测单元1324和帧间预测单元1325提供以帧顺序排序的图像。
运算单元1313从自屏幕排序缓冲器1312读取的图像减去经由预测图像选择单元1326从帧内预测单元1324或者帧间预测单元1325提供的预测图像，并且将差分信息输出至正交变换单元1314。例如，在对其执行帧内编码的图像的情况下，运算单元1313从自屏幕排序缓冲器1312读取的图像减去从帧内预测单元1324提供的预测图像。此外，例如，在对其执行帧间编码的图像的情况下，运算单元1313从自屏幕排序缓冲器1312读取的图像减去从帧间预测单元1325提供的预测图像。
正交变换单元1314对从运算单元1313提供的差分信息执行正交变换(诸如离散余弦变换或者Karhunen Loéve变换)。正交变换单元1314向量化单元1315提供变换系数。
量化单元1315对从正交变换单元1314提供的变换系数进行量化。量化单元1315基于与从速率控制单元1327提供的编码量的目标值相关的信息设置量化参数，并且执行量化。量化单元1315向无损编码单元1316提供量化的变换系数。
无损编码单元1316根据任意编码方案对在量化单元1315中量化的变换系数进行编码。由于在速率控制单元1327控制下对系数数据进行量化，因此编码量成为由速率控制单元1327设置的目标值(或者接近目标值)。
无损编码单元1316从帧内预测单元1324获取例如指示帧内预测模式的信息，并且从帧间预测单元1325获取例如指示帧间预测模式的信息和差分运动向量信息。此外，无损编码单元1316适当地生成基本层的NAL单元，该NAL单元包括序列参数集(SPS)、图片参数集(PPS)等等。
此外，无损编码单元1316对与由基本层区域划分设置单元设置的基本层的区域(例如，拼接块或者片段)划分相关的信息(也被称为“基本层区域划分信息”)进行编码。
无损编码单元1316根据任意编码方案对各种类型的信息进行编码，并且将已编码的信息设置(多路复用)为已编码数据(也被称为“已编码流”)的一部分。无损编码单元1316提供通过编码获得的要在累积缓冲器1317中累积的已编码数据。
无损编码单元1316的编码方案的示例包括可变长度编码和算术编码。作为可变长度编码，例如，存在在H.264/AVC方案中定义的上下文自适应可变长度编码(CAVLC)。作为算术编码，例如，存在上下文自适应二进制算术编码(CABAC)。
累积缓冲器1317临时保持从无损编码单元1316提供的已编码数据(已编码基本层数据)。累积缓冲器1317在某个定时将保持的已编码基本层数据输出至例如在后续阶段的记录设备(未图示)(记录介质)或者传输路径。换句话说，累积缓冲器1317还用作传送已编码数据的传送单元。
还向逆量化单元1318提供在量化单元1315中量化的变换系数。逆量化单元1318通过与由量化单元1315执行的量化相对应的方法对已量化的变换系数进行逆量化。逆量化单元1318向逆正交变换单元1319提供所获得的变换系数。
逆正交变换单元1319通过与正交变换单元1314执行的正交变换处理相对应的方法对从逆量化单元1318提供的变换系数执行逆正交变换。已经过逆正交变换的输出(恢复的差分信息)被提供至运算单元1320。
运算单元1320通过将经由预测图像选择单元1326从帧内预测单元1324或者帧间预测单元1325接收到的预测图像添加到恢复的差分信息来获得本地解码的图像(已解码的图像)，该恢复的差分信息是从逆正交变换单元1319提供的逆正交变换结果。已解码的图像被提供至环路滤波器1321或者帧存储器1322。
环路滤波器1321包括去块滤波器、自适应环路滤波器等等，并且对从运算单元1320提供的重建图像执行适当的滤波处理。例如，环路滤波器1321对重建图像执行去块滤波处理，并且消除重建图像的块失真。此外，例如，环路滤波器1321通过使用维纳滤波器对去块滤波处理结果(已经消除块失真的重建图像)执行环路滤波处理来提高图像质量。环路滤波器1321向帧存储器1322提供滤波处理结果(也被称为“已解码图像”)。
环路滤波器1321还可以对重建图像执行任何其它任意的滤波处理。环路滤波器1321可以根据需要向无损编码单元1316提供用于滤波处理的信息(诸如滤波系数)，以便对信息进行编码。
帧存储器1322存储所提供的已解码图像，并且在某个定时将所存储的已解码图像作为参考图像提供给选择单元1323。
更具体地说，帧存储器1322存储从运算单元1320提供的重建图像和从环路滤波器1321提供的已解码图像。帧存储器1322在某个定时或者基于从外部(诸如帧内预测单元1324)给出的请求，通过选择单元1323向帧内预测单元1324提供所存储的重建图像。此外，帧存储器1322在某个定时或者基于从外部(诸如帧间预测单元1325)给出的请求，通过选择单元1323向帧间预测单元1325提供所存储的已解码图像。
选择单元1323选择从帧存储器1322提供的参考图像的供应目的地。例如，在帧内预测的情况下，选择单元1323向帧内预测单元1324提供从帧存储器1322提供的参考图像(当前图片中的像素值)。此外，例如，在帧间预测的情况下，选择单元1323向帧间预测单元1325提供从帧存储器1322提供的参考图像。
帧内预测单元1324对当前图片执行预测处理，并且生成预测图像，该当前图片是处理目标的帧的图像。帧内预测单元1324以若干个块为单位(使用块作为处理单位)执行预测处理。换句话说，帧内预测单元1324生成当前图片中的作为处理目标的当前块的预测图像。在此时，帧内预测单元1324使用经由选择单元1323从帧存储器1322提供的作为参考图像的重建图像来执行预测处理(帧内预测)。换句话说，帧内预测单元1324使用重建图像中包括的邻近当前块的像素的像素值生成预测图像。用于帧内预测的邻近像素的像素值是当前图片的先前处理的像素的像素值。在帧内预测中(即，在生成预测图像的方案中)，预先准备多个方法(也被称为“帧内预测模式”)作为候选。帧内预测单元1324以预先准备的多个帧内预测模式执行帧内预测。
帧内预测单元1324以作为候选的所有帧内预测模式生成预测图像，使用从屏幕排序缓冲器1312提供的输入图像评估预测图像的成本函数值，并且选择最优模式。当选择最优帧内预测模式时，帧内预测单元1324向预测图像选择单元1326提供以最优模式生成的预测图像。
此外，如上所述，帧内预测单元1324适当地向无损编码单元1316提供例如指示所采用的帧内预测模式的帧内预测模式信息，以便对该信息进行编码。
帧间预测单元1325对当前图片执行预测处理，并且生成预测图像。帧间预测单元1325以若干个块为单位(使用块作为处理单位)执行预测处理。换句话说，帧间预测单元1325生成当前块的预测图像，该当前块用作当前图片中的处理目标。在此时，运动预测单元1325使用从屏幕排序缓冲器1312提供的输入图像的图像数据和从帧存储器1322提供的作为参考图像的已解码图像的图像数据执行预测处理。已解码图像是在当前图片之前处理的帧的图像(除当前图片以外的其它图片)。换句话说，帧间预测单元1325执行使用其它图片的图像来生成预测图像的预测处理(帧间预测)。
帧间预测包括运动预测和运动补偿。更具体地说，帧间预测单元1325使用输入图像和参考图像对当前块执行运动预测，并且检测运动向量。然后，帧间预测单元1325根据所检测到的运动向量使用参考图像来执行运动补偿处理，并且生成当前块的预测图像(帧间预测图像信息)。在帧间预测(即，生成预测图像的方案)中，预先准备多个方法(也被称为“帧间预测模式”)作为候选。帧间预测单元1325以预先准备的多个帧间预测模式执行帧间预测。
帧间预测单元1325以作为候选的所有帧间预测模式生成预测图像。帧间预测单元1325使用从屏幕排序缓冲器1312提供的输入图像、所生成的差分运动向量来评估预测图像的成本函数值，并且选择最优模式。当选择最优帧间预测模式时，帧间预测单元1325向预测图像选择单元1326提供以最优模式生成的预测图像。
运动预测单元1325向无损编码单元1316提供指示所采用的帧间预测模式的信息、当对已编码数据进行解码时以帧间预测模式执行处理所需要的信息等等，以便对信息进行编码。作为需要的信息，存在所生成的差分运动向量的信息，以及作为预测运动向量信息，存在指示预测运动向量的索引的标志。
预测图像选择单元1326选择提供给运算单元1313和运算单元1320的预测图像的供应源。例如，在帧内编码的情况下，预测图像选择单元1326选择帧内预测单元1324作为预测图像的供应源，并且向运算单元1313和运算单元1320提供从帧内预测单元1324提供的预测图像。此外，例如，在帧间编码的情况下，预测图像选择单元1326选择帧间预测单元1325作为预测图像的供应源，并且向运算单元1313和运算单元1320提供从帧间预测单元1325提供的预测图像。
速率控制单元1327基于累积缓冲器1317中累积的已编码数据的编码量来控制量化单元1315的量化运算的速率，以使得既不发生上溢也不发生下溢。
基本层图像编码单元1301在不参照其它层的情况下执行编码。换句话说，帧内预测单元1324和帧间预测单元1325不参考与其它层的编码相关的信息(例如，已解码图像、帧内预测模式信息、帧间预测模式信息和运动信息)。
此外，帧间预测单元1325向增强层图像编码单元1302提供由增强层图像编码单元1302请求的预测方向(例如，L0方向或者L1方向)上的运动信息。
<增强图像编码单元>
图106是图示图104的增强层图像编码单元1302的示例性主要配置的框图。如图106所图示的，增强层图像编码单元1302具有与图105的基本层图像编码单元1301基本上相同的配置。
换句话说，如图106所图示的，增强层图像编码单元1302包括A/D转换单元1331、屏幕排序缓冲器1332、运算单元1333、正交变换单元1334、量化单元1335、无损编码单元1336、累积缓冲器1337、逆量化单元1338和逆正交变换单元1339。增强层图像编码单元1302还包括运算单元1340、环路滤波器1341、帧存储器1342、选择单元1343、帧内预测单元1344、帧间预测单元1345、预测图像选择单元1346和速率控制单元1347。
A/D转换单元1331至速率控制单元1347与图105的A/D转换单元1311至速率控制单元1327相对应，并且执行与对应的处理单元相同的处理。在这里，不同于基本层，增强层图像编码单元1302的相应组件执行对增强层图像信息进行解码的处理。因此，尽管图105的A/D转换单元1311至速率控制单元1327的描述可以用作A/D转换单元1331至速率控制单元1347的处理的描述，但是，在这种情况下，需要使用增强层的数据而不是基本层的数据作为要处理的数据。此外，需要以A/D转换单元1331至速率控制单元1347当中的对应处理单元适当地替换数据的输入源或者输出目的地的处理单元并且读取它。
在这里，帧间预测单元1345设置从基本层图像编码单元1301获取的运动信息的预测方向(例如，L0方向或者L1方向)，从基本层图像编码单元1301获取所设置的预测方向上的基本层的运动信息，并且将所获取的运动信息存储在内置缓冲器中。帧间预测单元1345使用缓冲器中存储的基本层的运动信息来执行层间语法预测。
<帧间预测单元>
图107是图示图106的帧间预测单元1345的示例性主要配置的框图。如图107所图示的，帧间预测单元1345包括基本层参考预测方向设置单元1371、基本层运动信息缓冲器1372、运动信息转换单元1373、运动预测单元1374和运动补偿单元1375。
基本层参考预测方向设置单元1371设置要参考的基本层的运动信息的预测方向(用于层间语法预测)。例如，基本层参考预测方向设置单元1371选择L0方向上的基本层的运动信息或者L1方向上的基本层的运动信息作为要参考的运动信息。
基本层参考预测方向设置单元1371生成指示预测方向的设置内容的控制信息，向基本层运动信息缓冲器1372和运动信息转换单元1373提供控制信息，并且使得设置被反映在基本层运动信息缓冲器1372和运动信息转换单元1373中。
例如，可以将上面在<8.概要3>中描述的信息用作控制信息。在图107的示例中，基本层参考预测方向设置单元1371生成标志信息(colbasemv_from_l0_flag)，并且向基本层运动信息缓冲器1372和运动信息转换单元1373提供所生成的标志信息(colbasemv_from_l0_flag)，该标志信息(colbasemv_from_l0_flag)指示L0方向上的基本层运动信息是否被参照为控制信息。此外，基本层参考预测方向设置单元1371向无损编码单元1336提供标志信息(colbasemv_from_l0_flag)，以便对标志信息(colbasemv_from_l0_flag)进行编码并且传送到解码侧。
基本层运动信息缓冲器1372从基本层图像编码单元1301获取基本层的运动信息(也被称为“基本层运动信息”)，并且存储(保持)所获取的运动信息。在此时，基本层运动信息缓冲器1372根据基本层参考预测方向设置单元1371的设置来获取预测方向上的基本层运动信息，即，由从基本层参考预测方向设置单元1371提供的控制信息(标志信息(colbasemv_from_l0_flag))指示的预测方向上的基本层运动信息。通过如上所述地限制要获取的基本层运动信息的预测方向，可以减小存储基本层运动信息的基本层运动信息缓冲器1372的存储容量。
当运动预测单元1374执行层间预测时，运动信息转换单元1373读取基本层运动信息缓冲器1372中存储的基本层运动信息，并且向运动预测单元1374提供基本层运动信息。在此时，运动信息转换单元1373适当地对读取的基本层运动信息执行转换处理，并且向运动预测单元1374提供转换后的基本层运动信息。
例如，当根据基本层参考预测方向设置单元1371的设置的预测方向(即，由从基本层参考预测方向设置单元1371提供的控制信息(标志信息(colbasemv_from_l0_flag))指示的预测方向)不同于运动预测单元1374的层间预测的预测方向时，运动信息转换单元1373对基本层运动信息的预测方向进行转换(例如，将L0方向上的运动信息转换成L1方向上的运动信息，或者将L1方向上的运动信息转换成L0方向上的运动信息)。
此外，例如，运动信息转换单元1373可以将基于基本层的基本层运动信息的层间可缩放参数转换成基于增强层的增强层运动信息的层间可缩放参数。
运动预测单元1374以作为候选的所有帧间预测模式执行运动预测。例如，运动预测单元1374使用从屏幕排序缓冲器1332提供的输入图像和从帧存储器1342提供的参考图像执行运动预测。此外，例如，运动预测单元1374使用从运动信息转换单元1373提供的基本层运动信息执行层间语法预测。
当如上所述地以所有候选模式执行预测时，运动预测单元1374评估每个预测结果的成本函数值，并且基于评估结果选择最优模式。运动预测单元1374将选为最优模式的模式的运动信息作为最优运动信息提供给运动补偿单元1375。此外，运动预测单元1374向无损编码单元1336提供最优帧间预测信息，以便对最优帧间预测信息进行编码并且传送到解码侧，该最优帧间预测信息用作与选为最优模式的模式的运动预测相关的信息。例如，最优帧间预测信息包括指示最优模式的信息、最优运动信息、通过对最优运动信息进行编码获得的信息(例如，差分运动信息)。
运动补偿单元1375使用从运动预测单元1374提供的最优运动信息和从帧存储器1342提供的参考图像执行运动补偿，并且生成预测图像。运动补偿单元1375向预测图像选择单元1346提供所生成的预测图像。
<图像编码处理流程>
接下来，将描述由图像编码设备1300执行的各个处理的流程。首先，参考图108的流程图描述图像编码处理的示例性流程。
当图像编码处理开始时，在步骤S5101中，图像编码设备1300的基本层图像编码单元1301对基本层的图像数据进行编码。
在步骤S5102中，增强层图像编码单元1302对增强层的图像数据进行编码。
在步骤S5103中，多路复用单元1303对通过步骤S5101的处理生成的已编码基本层图像流和通过步骤S5102的处理生成的已编码增强层图像流(即，各个层的比特流)执行多路复用，并且生成一行已编码的可缩放图像流。
当步骤S5103的处理结束时，图像编码设备1300结束图像编码处理。由图像编码处理来处理一个图片(或者1个片段)。因此，图像编码设备1300对层次化的运动图像数据的每个图片(或者片段)重复地执行图像编码处理。
<基本层编码处理流程>
接下来，将参考图109的流程图描述在图108的步骤S5101中由基本层图像编码单元1301执行的基本层编码处理的示例性流程。
当基本层编码处理开始时，在步骤S5121中，基本层图像编码单元1301的A/D转换单元1311对输入运动图像的每个帧(图片)的图像执行A/D转换。
在步骤S5122中，屏幕排序缓冲器1312存储已经在步骤S5121中经过A/D转换的图像，并且以编码顺序对以显示顺序排列的图片进行排序。
在步骤S5123中，帧内预测单元1324执行帧内预测模式的帧内预测处理。
在步骤S5124中，运动预测单元1325执行帧间预测处理，在该帧间预测处理中执行帧间预测模式等的运动预测和运动补偿。换句话说，帧间预测单元1325以所有候选模式执行运动预测，计算和评估预测结果的成本函数值，并且基于评估结果选择最优帧间预测模式。然后，帧间预测单元1325以最优帧间预测模式执行运动补偿，并且生成预测图像。由于基本层图像编码单元1301不参考其它层的信息，所以帧间预测单元1325不执行层间预测。
在步骤S5125中，预测图像选择单元1326基于成本函数值等选择预测图像。换句话说，预测图像选择单元1326选择通过步骤S5123的帧内预测生成的预测图像和通过步骤S5124的帧间预测生成的预测图像中的任何一个。
在步骤S5126中，运算单元1313计算通过步骤S5122的处理以帧顺序排序的输入图像与通过步骤S5125的处理选择的预测图像之间的差。换句话说，运算单元1313生成输入图像与预测图像之间的差分图像的图像数据。如上所述获得的差分图像的图像数据在数据量上被降低至小于原始图像数据。因此，可以将数据量降低至小于在没有变化的情况下对图像进行编码时的数据量。
在步骤S5127中，正交变换单元1314对通过步骤S5128的处理生成的差分图像的图像数据执行正交变换。
在步骤S5128中，量化单元1315使用由速率控制单元1327计算的量化参数对通过步骤S5127的处理获得的正交变换系数进行量化。
在步骤S5129中，逆量化单元1318根据与量化单元1315的特征相对应的特征，对通过步骤S5128的处理生成的量化的系数(也被称为“量化系数”)进行逆量化。
在步骤S5130中，逆正交变换单元1319对通过步骤S5129的处理获得的正交变换系数执行逆正交变换。
在步骤S5131中，运算单元1320将通过步骤S5125的处理选择的预测图像添加至通过步骤S5130的处理恢复的差分图像，并且生成重建图像的图像数据。
在步骤S5132中，环路滤波器1321对通过步骤S5131的处理生成的重建图像的图像数据执行环路滤波处理。因此，例如，重建图像的块失真被消除。
在步骤S5133中，帧存储器1322存储例如通过步骤S5132的处理获得的已解码图像和通过步骤S5131的处理获得的重建图像的数据。
在步骤S5134中，无损编码单元1316对通过步骤S5128的处理获得的量化的系数进行编码。换句话说，对与差分图像相对应的数据执行无损编码(例如可变长度编码或者算术编码)。
此外，在此时，无损编码单元1316对与通过步骤S5125的处理选择的预测图像的预测模式相关的信息进行编码，并且将差分图像添加至通过编码获得的已编码数据。换句话说，无损编码单元1316还对从帧内预测单元1324提供的最优帧内预测模式信息、从帧间预测单元1325提供的最优帧间预测信息等等进行编码，并且将所编码的信息添加到已编码数据。
此外，无损编码单元1316还对各种NAL单元的语法元素进行设置和编码，并且将所设置的语法元素添加至已编码数据。
在步骤S5135中，累积缓冲器1317累积通过步骤S5134的处理获得的已编码数据。在累积缓冲器1317中累积的已编码数据被适当地读取，并且经由传输路径或者记录介质被传送到解码侧。
在步骤S5136中，速率控制单元1327基于通过步骤S5135的处理在累积缓冲器1317中累积的已编码数据的编码量(所生成的编码量)来控制量化单元1315的量化运算的速率，以使得既发生不上溢也不发生下溢。此外，速率控制单元1327向量化单元1315提供与量化参数相关的信息。
当步骤S5136的处理结束时，基本层编码处理结束，并且处理返回到图108。
<增强层编码处理流程>
接下来，在图108的步骤S5102中，将参考图110的流程图描述由增强层图像编码单元1302执行的增强层编码处理的示例性流程。
当增强层编码处理开始时，在步骤S5151中，增强层图像编码单元1302的基本层参考预测方向设置单元1371对基本层运动信息的预测方向进行设置。
在步骤S5152中，基本层参考预测方向设置单元1371向无损编码单元1336提供控制信息，以便对该控制信息进行编码并且传送到解码侧，该控制信息指示在步骤S5151中执行的设置的内容。
在步骤S5153中，基本层运动信息缓冲器1372从基本层图像编码单元1301获取在步骤S5151中设置的预测方向上的基本层运动信息，并且保持所获取的基本层运动信息。
步骤S5154至步骤S5169的处理与图109的步骤S5121至步骤S5136的处理相对应，并且以与图109的步骤S5121至步骤S5136的处理基本上相同的方式执行。
在这里，在步骤S5157的帧间预测处理中，层间预测也被包括为候选模式。换句话说，在步骤S5157中，作为候选模式中的一种，运动预测单元1374使用经由运动信息转换单元1373从基本层运动信息缓冲器1372读取的基本层运动信息执行层间语法预测。运动预测单元1374从包括层间语法预测的所有候选模式之中选择最优帧间预测模式，并且生成预测图像。
当步骤S5169的处理结束时，增强层编码处理结束，并且处理返回到图108。
由于如上所述地执行处理，因此与获取所有预测方向(例如，L0方向和L1方向)上的基本层的运动信息相比，增强层图像编码单元1302可以减少保持基本层的运动信息所需的缓冲器的容量。换句话说，图像编码设备1300可以抑制编码所需的存储容量的增大。
此外，图像编码设备1300将指示基本层运动信息的预测方向的设置的控制信息传送至解码侧，因此与编码侧类似地，解码侧可以减小保持基本层运动信息所需的缓冲器的容量。换句话说，可以抑制解码所需的存储容量的增大。
<基本层运动信息参考处理流程>
如上所述，在图110的步骤S5157的帧间预测处理中，为层间预测读取基本层运动信息缓冲器1372中保持的基本层运动信息。将参考图111的流程图描述读取基本层运动信息的基本层运动信息参考处理的示例性流程。
当基本层运动信息参考处理开始时，在步骤S5181中，帧间预测单元1345的运动信息转换单元1373从基本层运动信息缓冲器1372读取要参考的基本层运动信息。
在步骤S5182中，运动信息转换单元1373确定层间预测的预测方向是否与由基本层参考预测方向设置单元1371设置的预测方向(即，在步骤S5181中读取的运动信息的预测方向)相同。当确定层间预测的预测方向不同于由基本层参考预测方向设置单元1371设置的预测方向时，处理进行到步骤S5183。
在步骤S5183中，运动信息转换单元1373将在步骤S5181中读取的基本层运动信息反转。例如，当层间预测的预测方向是L0方向，以及在步骤S5181中读取的基本层运动信息的预测方向是L1方向时，运动信息转换单元1373将基本层运动信息的预测方向转换成L0方向。此外，例如，当层间预测的预测方向是L1方向，以及在步骤S5181中读取的基本层运动信息的预测方向是L0方向时，运动信息转换单元1373将基本层运动信息的预测方向转换成L1方向。
当步骤S5183的处理结束时，处理进行到步骤S5184。
此外，当确定层间预测的预测方向与在步骤S5182中由基本层参考预测方向设置单元1371设置的预测方向相同时，处理进行到步骤S5184。换句话说，不执行转换预测方向的处理。
在步骤S5184中，运动预测单元1374使用如上所述已经读取并且进行适当转换的基本层运动信息执行增强层的运动预测。
当步骤S5184的处理结束时，基本层运动信息参考处理结束。
如上所述，帧间预测单元1345可以使得从基本层运动信息缓冲器1372读取的基本层运动信息的预测方向匹配层间预测的预测方向。因此，基本层运动信息缓冲器1372可以存储一个预测方向的基本层运动信息。因此，可以降低保持基本层运动信息所需的缓冲器的容量。换句话说，可以抑制编码所需的存储容量的增大。
此外，在基本层运动信息参考处理中，运动信息转换单元1373可以对从基本层运动信息缓冲器1372读取的基本层运动信息执行将基于基本层的可缩放参数转换成基于增强层的可缩放参数的处理。可以在步骤S5182之前或者在步骤S5184之前执行转换处理。
<10.第八实施例>
<图像解码设备>
接下来，将描述如上所述编码的已编码数据的解码。图112是图示作为本技术所应用的图像处理设备的示例的图像解码设备的示例性主要配置的框图，该图像解码设备与图104的图像编码设备1300相对应。
图112中图示的图像解码设备1400根据与编码方法相对应的解码方法对由图像编码设备1300生成的已编码数据进行解码(即，对通过可缩放编码获得的已编码数据执行可缩放解码)。
如图112所图示的，图像解码设备1400包括多路解复用单元1401、基本层图像解码单元1402和增强层图像解码单元1403。
多路解复用单元1401接收将从编码侧传送的已编码的基本层图像流和已编码的增强层图像流多路复用的已编码的可缩放图像流，对已编码的可缩放图像流执行多路解复用，并且提取已编码的基本层图像流和已编码的增强层图像流。基本层图像解码单元1402对由多路解复用单元1401提取的已编码的基本层图像流进行解码，并且获得基本层图像。增强层图像解码单元1403对由多路解复用单元1401提取的已编码增强层图像流进行解码，并且获得增强层图像。
基本层图像解码单元1402在不参照其它层的情况下对已编码基本层图像流进行解码。另一方面，增强层图像解码单元1403参考基本层在已编码增强层图像流的解码中执行层间预测。例如，增强层图像解码单元1403获取当基本层图像解码单元1402对已编码基本层图像流进行解码时恢复的基本层的运动信息，并且使用基本层的运动信息执行层间语法预测。
在此时，增强层图像解码单元1403仅获取由从编码侧传送的控制信息指定的预测方向上的基本层运动信息(即，在编码侧执行的设置(在编码时))，并且将所获取的基本层运动信息存储在缓冲器中。然后，增强层图像解码单元1403使用缓冲器中存储的基本层运动信息(即，与编码时使用的预测方向相同的预测方向上的运动信息)执行层间预测。
<基本层图像解码单元>
图113是图示图112的基本层图像解码单元1402的示例性主要配置的框图。如图113所图示的，基本层图像解码单元1402包括累积缓冲器1411、无损解码单元1412、逆量化单元1413、逆正交变换单元1414、运算单元1415、环路滤波器1416、屏幕排序缓冲器1417和D/A转换单元1418。基本层图像解码单元1402还包括帧存储器1419、选择单元1420、帧内预测单元1421、帧间预测单元1422和预测图像选择单元1423。
累积缓冲器1411还用作接收所传送的已编码数据的接收单元。累积缓冲器1411接收和累积所传送的已编码数据，并且在某个定时向无损解码单元1412提供已编码数据。解码所需的信息(诸如预测模式信息)被添加至已编码数据。无损解码单元1412根据与编码方案相对应的解码方案对从累积缓冲器1411提供的由无损编码单元1316编码的信息进行解码。无损解码单元1412向逆量化单元1413提供通过解码获得的差分图像的量化的系数数据。
此外，无损解码单元1412确定选择帧内预测模式和帧间预测模式中的哪一个作为最优预测模式，并且向确定要选择的模式(即，帧内预测单元1421或者帧间预测单元1422)提供与最优预测模式相关的信息。换句话说，例如，当编码侧选择帧内预测模式作为最优预测模式时，向帧内预测单元1421提供与最优预测模式相关的信息。此外，例如，当编码侧选择帧间预测模式作为最优预测模式时，向帧间预测单元1422提供与最优预测模式相关的信息。
此外，无损解码单元1412向逆量化单元1413提供例如逆量化所需的信息(诸如量化矩阵和量化参数)。
逆量化单元1413根据与量化单元1315的量化方案相对应的方案对量化的系数数据进行逆量化，该量化的系数数据是通过由无损解码单元1412执行的解码获得的。逆量化单元1413是类似于逆量化单元1318的处理单元。逆量化单元1413向逆正交变换单元1414提供所获得的系数数据。
逆正交变换单元1414根据与正交变换单元1314的正交变换方案相对应的方案对从逆量化单元1413提供的正交变换系数执行逆正交变换(如有需要)。逆正交变换单元1414是类似于逆正交变换单元1319的处理单元。
通过逆正交变换处理，差分图像的图像数据被恢复。恢复的差分图像的图像数据与在图像编码设备中没有经过正交变换的差分图像的图像数据相对应。在下文中，通过逆正交变换单元1414的逆正交变换处理获得的恢复的差分图像的图像数据也被称为解码残差数据。逆正交变换单元1414向运算单元1415提供解码残差数据。此外，经由预测图像选择单元1423将预测图像的图像数据从帧内预测单元1421或者帧间预测单元1422提供至运算单元1415。
运算单元1415获得重建图像的图像数据，在重建图像的图像数据中，使用解码残差数据和预测图像的图像数据将差分图像添加至预测图像。重建图像与没有被运算单元1313减去预测图像的输入图像相对应。运算单元1415向环路滤波器1416提供重建图像。
环路滤波器1416对所提供的重建图像适当地执行环路滤波处理(诸如去块滤波处理或者自适应环路滤波处理)，并且生成已解码图像。例如，环路滤波器1416对重建图像执行去块滤波处理，并且消除块失真。此外，例如，环路滤波器1416通过使用维纳滤波器对去块滤波处理结果(已经消除块失真的重建图像)执行环路滤波处理来提高图像质量。
由环路滤波器1416执行的滤波处理的类型是任意的，并且可以执行任何其它滤波处理。此外，环路滤波器1416可以使用从编码侧提供的滤波系数执行滤波处理。此外，环路滤波1416可以在不执行滤波处理的情况下输出输入数据。
环路滤波器1416向屏幕排序缓冲器1417和帧存储器1419提供作为滤波处理结果的已解码图像(或者重建图像)。
屏幕排序缓冲器1417以帧顺序对已解码图像执行排序。换句话说，屏幕排序缓冲器1417以原始显示顺序对由屏幕排序缓冲器1312以编码顺序排序的帧的图像进行排序。换句话说，屏幕排序缓冲器1417以该顺序存储以编码顺序提供的帧的已解码图像的图像数据，以显示顺序读取以编码顺序存储的帧的已解码图像的图像数据，并且向D/A转换单元1418提供所读取的图像数据。D/A转换单元1418对从屏幕排序缓冲器1417提供的帧的已解码图像(数字数据)执行D/A转换，并且输出要在显示器(未图示)上显示的模拟数据。
帧存储器1419存储所提供的已解码图像，并且在某个定时或者基于从外部(诸如帧内预测单元1421或者帧间预测单元1422)给出的请求，经由选择单元1420将所存储的已解码图像作为参考图像提供给帧内预测单元1421或者帧间预测单元1422。
例如，将帧内预测模式信息从无损解码单元1412适当地提供给帧内预测单元1421。帧内预测单元1421以用于帧内预测单元1324的帧内预测模式(最优帧内预测模式)执行帧内预测，并且生成预测图像。在此时，帧内预测单元1421使用经由选择单元1420从帧存储器1419提供的重建图像的图像数据执行预测处理。换句话说，帧内预测单元1421使用重建图像作为参考图像(邻近像素)。帧内预测单元1421向预测图像选择单元1423提供所生成的预测图像。
例如，将最优预测模式信息和运动信息从无损解码单元1412适当地提供至帧间预测单元1422。帧间预测单元1422使用从帧存储器1419获取的已解码图像(基准图像)以帧间预测模式(最优帧间预测模式)执行帧间预测，并且生成预测图像，该帧间预测模式由从无损解码单元1412获取的最优预测模式信息指示。
预测图像选择单元1423向运算单元1415提供从帧内预测单元1421提供的预测图像或者从帧间预测单元1422提供的预测图像。然后，运算单元1415将预测图像添加至从逆正交变换单元1414提供的解码残差数据(差分图像信息)，因此获得重建图像。
基本层图像解码单元1402在不参照其它层的情况下执行解码。换句话说，帧内预测单元1421和帧间预测单元1422不参考与其它层的编码相关的信息(例如，已解码图像、帧内预测模式信息、帧间预测模式信息和运动信息)。
此外，帧间预测单元1422向增强层图像解码单元1403提供由增强层图像解码单元1403请求的预测方向(例如，L0方向或者L1方向)上的运动信息。
<增强层图像解码单元>
图114是图示图112的增强层图像解码单元1403的示例性主要配置的框图。如图114所图示的，增强层图像解码单元1403具有与图113的基本层图像解码单元1402基本上相同的配置。
换句话说，增强层图像解码单元1403包括累积缓冲器1431、无损解码单元1432、逆量化单元1433、逆正交变换单元1434、运算单元1435、环路滤波器1436、屏幕排序缓冲器1437和D/A转换单元1438。增强层图像解码单元1403还包括帧存储器1439、选择单元1440、帧内预测单元1441、帧间预测单元1442和预测图像选择单元1443。
累积缓冲器1431至预测图像选择单元1443与图113的累积缓冲器1411至预测图像选择单元1423相对应，并且执行与对应处理单元相同的处理。在这里，不同于基本层，增强层图像解码单元1403的各个组件执行对增强层图像信息进行解码的处理。因此，尽管图113的累积缓冲器1411至预测图像选择单元1423的描述可以应用于累积缓冲器1431至预测图像选择单元1443的处理的描述，但是，在这种情况下，需要使用增强层的数据而不是基本层的数据作为要处理的数据。此外，需要以增强层图像解码单元1403的对应处理单元适当地替换数据的输入源或者输出目的地的处理单元并且读取它。
在这里，无损解码单元1432向帧间预测单元1442提供例如从编码侧提供的从基本层图像解码单元1402获取的基本层运动信息的预测方向的控制信息(例如，指示是否存储L0方向上的基本层的运动信息的标志信息(colbasemv_from_l0_flag))，该控制信息被包括在片段头部中。
帧间预测单元1442从基本层图像解码单元1402获取由控制信息指定的预测方向上的基本层运动信息，并且将所获取的基本层运动信息存储在内置缓冲器中。当执行层间语法预测时，帧间预测单元1442使用缓冲器中存储的基本层的运动信息。
<帧间预测单元>
图115是图示图114的帧间预测单元1442的示例性主要配置的框图。如图115所图示的，帧间预测单元1442包括基本层运动信息缓冲器1471、运动信息转换单元1472和运动补偿单元1473。
基本层运动信息缓冲器1471获取从无损解码单元1432提供的控制信息(标志信息(colbasemv_from_l0_flag))。基本层运动信息缓冲器1471获取由控制信息指示的预测方向上的基本层运动信息，并且存储所获取的基本层运动信息。换句话说，基本层运动信息缓冲器1471获取与编码时的预测方向相同的预测方向上的基本层运动信息。通过如上所述地限制要获取的基本层运动信息的预测方向，可以减小存储基本层运动信息的基本层运动信息缓冲器1471的存储容量。
运动信息转换单元1472获取从无损解码单元1432提供的控制信息(标志信息(colbasemv_from_l0_flag))。此外，当运动补偿单元1473通过层间预测重建运动信息时，运动信息转换单元1472读取基本层运动信息缓冲器1471中存储的基本层运动信息，并且向运动补偿单元1473提供基本层运动信息。在此时，运动信息转换单元1472对所读取的基本层运动信息适当地执行转换处理，并且向运动补偿单元1473提供转换的基本层运动信息。
例如，当由从无损解码单元1432提供的控制信息(标志信息(colbasemv_from_l0_flag))指示的预测方向不同于运动补偿单元1473的层间预测的预测方向时，运动信息转换单元1472对基本层运动信息的预测方向进行转换(例如，将L0方向上的运动信息转换成L1方向上的运动信息，或者将L1方向上的运动信息转换成L0方向上的运动信息)。
此外，例如，运动信息转换单元1472可以将基于基本层的基本层运动信息的层间可缩放参数转换成基于增强层的增强层运动信息的层间可缩放参数。
运动补偿单元1473以最优帧间预测模式(在编码时采用的帧间预测模式)执行运动补偿，并且生成预测图像，该最优帧间预测模式由从无损解码单元1432提供的最优帧间预测信息指示。例如，运动补偿单元1473对从无损解码单元1432提供的最优帧间预测信息中包括的已编码运动信息(例如，差分运动信息)进行解码，并且重建当前块的运动信息。然后，运动补偿单元1473从帧存储器1439获取与重建的运动信息相对应的参考图像，并且生成预测图像。运动补偿单元1473向预测图像选择单元1443提供所生成的预测图像。
此外，例如，当最优帧间预测模式是层间语法预测时，运动补偿单元1473使用从运动信息转换单元1472提供的基本层运动信息重建当前块的运动信息，并且生成预测图像。
<图像解码处理流程>
接下来，将描述由图像解码设备1400执行的各个处理的流程。首先，参考图116的流程图描述图像解码处理的示例性流程。
当图像解码处理开始时，在步骤S5201中，图像解码设备1400的多路解复用单元1401针对每个层对从编码侧传送的已编码可缩放图像流执行多路解复用。
在步骤S5202中，基本层图像解码单元1402对通过步骤S5201的处理提取的已编码基本层图像流进行解码。基本层图像解码单元1402输出通过解码生成的基本层图像的数据。
在步骤S5203中，增强层图像解码单元1403对通过步骤S5201的处理提取的已编码增强层图像流进行解码。增强层图像解码单元1403输出通过解码生成的增强层图像的数据。
当步骤S5203的处理结束时，图像解码设备1400结束图像解码处理。通过图像解码处理，一个图片(或者一个片段)被处理。因此，图像解码设备1400对层次化的运动图像数据的每个图片(或者片段)重复地执行图像解码处理。
<基本层解码处理流程>
接下来，将参考图117的流程图描述在图116的步骤S5202中由基本层图像解码单元1402执行的基本层解码处理的示例性流程。
当基本层解码处理开始时，在步骤S5221中，基本层图像解码单元1402的累积缓冲器1411累积所传送的比特流(已编码数据)。在步骤S5222中，无损解码单元1412对从累积缓冲器1411提供的比特流(已编码数据)进行解码。换句话说，对由无损编码单元1316编码的图像数据(诸如I图片、P图片和B图片)进行解码。在此时，还对比特流中包括的各种类型的信息(诸如头部信息以及图像数据)进行解码。
在步骤S5223中，逆量化单元1413对通过步骤S5222的处理获得的量化系数进行逆量化。
在步骤S5224中，逆正交变换单元1414对在步骤S5223中已经逆量化的系数执行逆正交变换。
在步骤S5225中，帧内预测单元1421或者帧间预测单元1422生成预测图像。换句话说，以由无损解码单元1412确定的在编码时应用的预测模式来执行运动补偿。更具体地说，例如，当在编码时应用帧内预测时，帧内预测单元1421以在编码时被认为是最优的帧内预测模式生成预测图像。此外，例如，当在编码时应用帧间预测时，帧间预测单元1422以在编码时被认为是最优的帧间预测模式生成预测图像。
在步骤S5226中，运算单元1415将在步骤S5225中生成的预测图像添加至通过步骤S5224中的逆正交变换获得的差分图像。因此，获得重建图像的图像数据。
在步骤S5227中，环路滤波器1416对通过步骤S5226的处理获得的重建图像的图像数据适当地执行环路滤波处理(诸如去块滤波处理或者自适应环路滤波处理)。
在步骤S5228中，屏幕排序缓冲器1417对在步骤S5227中已经经过滤波处理的重建图像的帧执行排序。换句话说，以原始显示顺序对在编码时排序的帧进行排序。
在步骤S5229中，D/A转换单元1418对在步骤S5228中对帧的顺序进行排序的图像执行D/A转换。将图像输出到显示器(未图示)，并且显示图像。
在步骤S5230中，帧存储器1419存储例如通过步骤S5227的处理获得的已解码图像或者通过步骤S5226的处理获得的重建图像的数据。
当步骤S5230的处理结束时，基本层解码处理结束，并且处理返回到图116。
<增强层解码处理流程>
接下来，将参考图118的流程图描述在图116的步骤S5203中由增强层图像解码单元1403执行的增强层解码处理的示例性流程。
当增强层解码处理开始时，在步骤S5251中，增强层图像解码单元1403的帧间预测单元1422经由无损解码单元1412获取从编码侧传送的控制信息(标志信息(colbasemv_from_l0_flag))。
在步骤S5252中，帧间预测单元1422从基本层图像解码单元1402获取预测方向上的基本层运动信息，并且将所获取的基本层运动信息存储在缓冲器中，该预测方向由在步骤S5251中获取的控制信息指定。
步骤S5253至步骤S5262的处理与图117的步骤S5221至步骤S5230的处理相对应，并且以与图117的步骤S5221至步骤S5230的处理基本上相同的方式执行。
在这里，当在步骤S5257中生成预测图像时的最优预测模式是帧间预测的层间语法预测时，帧间预测单元1442使用从基本层图像解码单元1402获取的基本层运动信息生成预测图像。
当步骤S5262的处理结束时，增强层解码处理结束，并且处理返回到图116。
由于如上所述地执行处理，因此与当获取所有预测方向(例如，L0方向和L1方向)上的基本层运动信息时相比，增强层图像解码单元1403可以减少保持基本层运动信息所需的缓冲器的容量。换句话说，图像解码设备1400可以抑制解码所需的存储容量的增大。
<基本层运动信息参考处理流程>
此外，如上所述，当最优预测模式是帧间预测的层间预测时，当在图118的步骤S5257中生成预测图像时读取基本层运动信息缓冲器1471中保持的基本层运动信息。以与编码的情况下相同的方式执行读取基本层运动信息的基本层运动信息参考处理。换句话说，图111的流程图的描述可以应用于解码侧的处理。因此，省略该处理的描述。
本技术可以应用于所有基于可缩放编码和解码方案的图像编码设备和图像解码设备。
例如，本技术可以应用于当经由网络介质(诸如卫星广播、有线电视、因特网或者移动电话)接收如在MPEG和H.26x中由正交变换(诸如离散余弦变换)和运动补偿压缩的图像信息(比特流)时使用的图像编码设备和图像解码设备。此外，本技术可以应用于当对存储介质(诸如光盘、磁盘或者闪速存储器)执行处理时使用的图像编码设备和图像解码设备。
<11.第九实施例>
<计算机>
上述一系列处理可以由硬件或者软件执行。当由软件执行一系列处理时，在计算机中安装配置软件的程序。在这里，计算机的示例包括通用个人计算机和集成有专用硬件的计算机，该通用个人计算机包括安装在其中的各种程序并且能够执行各种类型的功能。
图119是图示由程序执行上述一系列处理的计算机的示例性硬件配置的框图。
在图119中图示的计算机1800中，中央处理单元(CPU)1801、只读存储器(ROM)1802和随机存取存储器(RAM)1803通过总线1804彼此连接。
输入/输出(I/O)接口1810也连接到总线1804。输入单元1811、输出单元1812、存储单元1813、通信单元1814和驱动器1815连接至I/O接口1810。
例如，输入单元1811包括键盘、鼠标、麦克风、触摸面板、输入终端等等。例如，输出单元1812包括显示器、扬声器、输出终端等等。例如，存储单元1813包括硬盘、RAM盘、非易失性存储器等等。例如，通信单元1814包括网络接口。驱动器1815驱动可移动介质1821，诸如磁盘、光盘、磁光盘或者半导体存储器。
在具有上述配置的计算机中，CPU 1801例如通过经由I/O接口1810和总线1804将存储单元1813中存储的程序加载到RAM 1803中并且执行该程序来执行上述一系列处理。RAM 1803还适当地存储例如当CPU 1801执行各种类型的处理时需要的数据。
例如，可以将由计算机(CPU 1801)执行的程序记录在作为封装介质等的可移动介质1821中并且应用该程序。此外，可以通过有线或者无线传输介质(诸如局域网(LAN)、因特网或者数字卫星广播)提供程序。
在计算机中，可移动介质1821被安装至驱动器1815，然后可以通过I/O接口1810在存储单元1813中安装程序。此外，可以由通信单元1814经由有线或者无线传输介质接收程序，然后在存储单元1813中进行安装。另外，可以在ROM 1802或者存储单元1813中预先安装程序。
此外，程序可以是以本公开描述的顺序按时间顺序执行处理的程序或者可以是并行或者在需要定时(诸如被调用的定时)执行处理的程序。
此外，在本说明书中，描述记录介质中记录的程序的步骤不仅包括根据所描述的顺序按时间顺序执行的处理，而且还包括不一定按时间顺序处理而是并行或者单独执行的处理。
另外，在本公开内容中，无论是否所有配置元件都布置在单个壳体中，系统意味着两个或更多个配置元件(设备、调制(部分)等等)的集合。因此，容纳在单独壳体中并且经由网络连接的多个设备和其中多个模块保持在单个壳体中的单个设备两者都是系统。
此外，被描述为一个设备(或者处理单元)的配置可以分成多个设备(或者处理单元)。相反地，被描述为多个设备(或者处理单元)的配置可以集成为一个设备(或者处理单元)。此外，可以将除了上述配置以外的配置添加到每个设备(或者每个处理单元)的配置。另外，当整个系统中的配置或者操作基本上相同时，特定设备的配置(或者处理单元)的一部分可以包括在其它设备(或者其它处理单元)的配置中。
上面已经参考附图描述了本公开内容的优选实施例，而本公开内容的技术范围不限于上述示例。本公开内容的本领域技术人员可以在所附权利要求的范围内找到各种改变和修改，并且应当理解它们将自然地落入本公开内容的技术范围内。
例如，本技术可以具有云计算的配置，其中多个设备经由网络一起共享并且处理一个功能。
此外，上面的流程图中描述的步骤可以由单个设备执行或者可以由多个设备共享和执行。
此外，当单个步骤中包括多个处理时，包括在单个步骤中的多个处理可以由单个设备执行或者由多个设备共享和执行。
根据上述实施例的图像编码设备和图像解码设备可以应用于卫星广播、有线广播(诸如有线电视)、通过蜂窝通信在因特网上传送或者向终端传送的发射器或者接收器、将图像记录在介质(诸如光盘、磁盘或者闪速存储器)中的记录设备、或者各种电子设备(诸如从存储介质再现图像的再现设备)。下面将描述4个应用示例。
<12.应用示例>
<第一应用示例：电视接收器>
图120图示上述实施例所应用的电视设备的示例性的示意性配置。电视设备1900包括天线1901、调谐器1902、多路解复用器1903、解码器1904、视频信号处理单元1905、显示器单元1906、音频信号处理单元1907、扬声器1908、外部接口1909、控制单元1910、用户接口1911和总线1912。
调谐器1902从通过天线1901接收到的广播信号提取期望频道的信号，并且对所提取的信号进行解调。此外，调谐器1902将通过解调获得的已编码比特流输出至多路解复用器1903。换句话说，调谐器1902接收包括已编码图像的已编码流，并且在电视设备1900中用作传送单元。
多路解复用器1903从已编码比特流中多路解复用观看目标的节目的视频流和音频流，并且将每个多路解复用的流输出到解码器1904。此外，多路解复用器1903从已编码比特流提取辅助数据(诸如电子节目指南(EPG))，并且将所提取的数据提供给控制单元1910。此外，当已编码比特流被加扰时，多路解复用器1903可以执行解扰。
解码器1904对从多路解复用器1903输入的视频流和音频流进行解码。解码器1904将通过解码处理生成的视频数据输出至视频信号处理单元1905。此外，解码器1904将通过解码处理生成的音频数据输出至音频信号处理单元1907。
视频信号处理单元1905再现从解码器1904输入的视频数据，并且使得视频在显示单元1906上显示。此外，视频信号处理单元1905可以使得经由网络提供的应用屏幕显示在显示单元1906上。视频信号处理单元1905可以根据设置对视频数据执行附加处理(诸如噪声降低处理)。视频信号处理单元1905可以生成图形用户界面(GUI)(诸如菜单、按钮或者光标)的图像，并且使得所生成的图像叠加在输出图像上
显示单元1906被从视频信号处理单元1905提供的驱动信号驱动，并且在显示器设备(例如，液晶显示器、等离子显示器或者有机电致发光显示器(OELD)(有机EL显示器))的视频平面上显示视频或者图像。
音频信号处理单元1907对从解码器1904输入的音频数据执行再现处理(诸如D/A转换和放大)，并且通过扬声器1908输出声音。音频信号处理单元1907可以对音频数据执行附加处理(诸如噪声降低处理)。
外部接口1909是用于将电视设备1900与外部设备或者网络连接的接口。例如，通过外部接口1909接收到的视频流或者音频流可以由解码器1904进行解码。换句话说，外部接口1909还用作接收包括已编码图像的已编码流的电视设备1900的传送单元。
控制单元1910包括处理器(诸如CPU)和存储器(诸如RAM或者ROM)。例如，存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。例如，当电视设备1900被激活时，由CPU读取和执行存储器中存储的程序。CPU执行程序，并且例如根据从用户接口1911输入的操作信号控制电视设备1900的操作。
用户接口1911与控制单元1910连接。例如，用户接口1911包括用户操作电视设备1900时使用的按钮和开关以及接收遥控信号的接收单元。用户接口1911通过组件检测用户的操作，生成操作信号，并且将所生成的操作信号输出至控制单元1910。
总线1912使调谐器1902、多路解复用器1903、解码器1904、视频信号处理单元1905、音频信号处理单元1907、外部接口1909和控制单元1910彼此连接。
在具有上述配置的电视设备1900中，解码器1904具有根据上述实施例的图像解码设备的功能。因此，当在电视设备1900中对图像进行解码时，可以抑制解码所需的存储容量的增大。
<第二应用示例：移动电话>
图121图示上述实施例所应用的移动电话的示例性的示意性配置。移动电话1920包括天线1921、通信单元1922、音频编解码器1923、扬声器1924、麦克风1925、相机单元1926、图像处理单元1927、多路复用/多路解复用1928、记录/再现单元1929、显示单元1930、控制单元1931、操作单元1932和总线1933。
天线1921连接至通信单元1922。扬声器1924和麦克风1925连接至音频编解码器1923。操作单元1932连接至控制单元1931。总线1933使通信单元1922、音频编解码器1923、相机单元1926、图像处理单元1927、多路复用/多路解复用1928、记录/再现单元1929、显示单元1930和控制单元1931彼此连接。
移动电话1920以各种操作模式(诸如语音呼叫模式、数据通信模式、拍摄模式和视频电话模式)执行操作(诸如音频信号的发送和接收、电子邮件或者图像数据的发送和接收、图像成像和数据记录)。
在语音呼叫模式中，由麦克风1925生成的模拟音频信号被提供给音频编解码器1923。音频编解码器1923将模拟音频信号转换成音频数据，并且对转换的音频数据执行A/D转换和压缩。然后，音频编解码器1923将压缩的音频数据输出至通信单元1922。通信单元1922对音频数据进行编码和调制，并且生成发送信号。然后，通信单元1922通过天线1921向基站(未图示)发送所生成的发送信号。此外，通信单元1922将通过天线1921接收到的无线信号放大，执行频率变换，并且获取接收信号。然后，通信单元1922对接收信号进行解调和解码，生成音频数据，并且将所生成的音频数据输出至音频编解码器1923。音频编解码器1923对音频数据进行解压缩，执行D/A转换，并且生成模拟音频信号。然后，音频编解码器1923将所生成的音频信号提供给扬声器1924以便输出声音。
此外，在数据通信模式中，例如，控制单元1931根据通过操作单元1932执行的用户操作生成构成电子邮件的文本数据。控制单元1931使文本在显示单元1930上显示。控制单元1931根据通过操作单元1932从用户给出的发送指令生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元1922。通信单元1922对电子邮件数据进行编码和调制，并且生成发送信号。然后，通信单元1922通过天线1921向基站(未图示)发送所生成的传输信号。此外，通信单元1922将通过天线1921接收到的无线信号放大，执行频率变换，并且获取接收信号。然后，通信单元1922对接收信号进行解调和解码，恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制单元1931。控制单元1931使电子邮件的内容在显示单元1930上显示，并且将电子邮件数据存储在记录/再现单元1929的存储介质中。
记录/再现单元1929包括任意可读/可写的存储介质。例如，存储介质可以是内置存储介质(诸如RAM或者闪速存储器)或者可移动存储介质(诸如硬盘、磁盘、磁光盘、光盘、未分配空间比特图(USB)存储器或者存储卡)。
在拍摄模式中，例如，相机单元1926对被摄体进行成像，生成图像数据，并且将所生成的图像数据输出至图像处理单元1927。图像处理单元1927对从相机单元1926输入的图像数据进行编码，并且将已编码流存储在存储/再现单元1929的存储介质中。
在视频电话模式中，例如，多路复用/多路解复用1928对由图像处理单元1927编码的视频流和从音频编解码器1923输入的音频流进行多路复用，并且将多路复用的流输出到通信单元1922。通信单元1922对流进行编码和调制，并且生成发送信号。然后，通信单元1922通过天线1921向基站(未图示)发送所生成的发送信号。此外，通信单元1922将通过天线1921接收到的无线信号放大，执行频率变换，并且获取接收信号。发送信号和接收信号可以包括编码的比特流。然后，通信单元1922对接收信号进行解调和解码，以及对流进行恢复，并且将所恢复的流输出至多路复用/多路解复用1928。多路复用/多路解复用1928对来自输入流的视频流和音频流进行多路解复用，并且将视频流和音频流分别输出到图像处理单元1927和音频编解码器1923。图像处理单元1927对视频流进行解码，并且生成视频数据。视频数据被提供给显示单元1930，并且由显示单元1930显示一系列图像。音频编解码器1923对音频流进行解压缩，执行D/A转换，并且生成模拟音频信号。然后，音频编解码器1923将所生成的音频信号提供给扬声器1924以便输出声音。
在具有上述配置的移动电话1920中，图像处理单元1927具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当移动电话1920对图像进行编码和解码时，可以抑制编码和解码所需的存储容量的增大。
<第三应用示例：记录/再现设备>
图122图示上述实施例所应用的记录/再现设备的示例性的示意性配置。例如，记录/再现设备1940对接收到的广播节目的音频数据和视频数据进行编码，并且将所编码的数据存储在记录介质中。例如，记录/再现设备1940可以对从其它设备获取的音频数据和视频数据进行编码，并且将所编码的数据记录在记录介质中。例如，记录/再现设备1940根据用户指令通过监控器和扬声器再现记录介质中记录的数据。在此时，记录/再现设备1940对音频数据和视频数据进行解码。
记录/再现设备1940包括调谐器1941、外部接口1942、编码器1943、硬盘驱动器(HDD)1944、盘驱动器1945、选择器1946、解码器1947、屏幕上显示(OSD)1948、控制单元1949和用户接口1950。
调谐器1941从通过天线(未图示)接收到的广播信号提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器1941将通过解调获得的已编码比特流输出至选择器1946。换句话说，调谐器1941在记录/再现设备1940中用作传送单元。
外部接口1942是用于将记录/再现设备1940与外部设备或者网络连接的接口。例如，外部接口1942可以是IEEE1394接口、网络接口、USB接口或者闪速存储器接口。例如，经由外部接口1942接收到的视频数据和音频数据被输入到编码器1943。换句话说，外部接口1942在记录/再现设备1940中用作传送单元。
当从外部接口1942输入的视频数据和音频数据没有被编码时，编码器1943对视频数据和音频数据进行编码。然后，编码器1943将所编码的比特流输出至选择器1946。
HDD 1944将其中内容数据(诸如视频或者声音)被压缩的已编码比特流、各种类型的程序以及其它数据记录在内部硬盘中。当再现视频或者声音时，HDD 1944从硬盘读取数据。
磁盘驱动器1945在安装的记录介质中记录数据或者从安装的记录介质读取数据。例如，磁盘驱动器1945中安装的记录介质可以是DVD盘(DVD-视频、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等等)、Blu-ray(蓝光)(注册商标)盘等等。
当记录视频或者声音时，选择器1946选择从调谐器1941或者编码器1943输入的已编码比特流，并且将所选择的已编码比特流输出到HDD 1944或者盘驱动器1945。此外，当再现视频或者声音时，选择器将从HDD 1944或者盘驱动器1945输入的已编码比特流输出到解码器1947。
解码器1947对已编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器1947将所生成的视频数据输出至OSD 1948。解码器1904将所生成的音频数据输出至外部扬声器。
OSD 1948再现从解码器1947输入的视频数据，并且显示视频。例如，OSD 1948可以使GUI(诸如菜单、按钮或者光标)的图像叠加在显示的视频上。
控制单元1949包括处理器(诸如CPU)和存储器(诸如RAM或者ROM)。存储器存储由CPU执行的程序、程序数据等等。例如，当记录/再现设备1940被激活时，由CPU读取和执行存储器中存储的程序。CPU执行程序，并且例如根据从用户接口1950输入的操作信号控制记录/再现设备1940的操作。
用户接口1950与控制单元1949连接。例如，用户接口1950包括用户操作记录/再现设备1940时使用的按钮和开关以及接收遥控信号的接收单元。用户接口1950通过组件检测用户操作，生成操作信号，并且将所生成的操作信号输出至控制单元1949。
在具有上述配置的记录/再现设备1940中，编码器1943具有根据上述实施例的图像编码设备的功能。解码器1947具有根据上述实施例的图像解码设备的功能。因此，当记录/再现设备1940对图像进行编码和解码时，可以抑制编码和解码所需的存储容量的增大。
<第四应用程序示例：成像设备>
图123图示上述实施例所应用的成像设备的示例性的示意性配置。成像设备1960对被摄体进行成像，生成图像，对图像数据进行编码，并且将图像数据记录在记录介质中。
成像设备1960包括光学块1961、成像单元1962、信号处理单元1963、图像处理单元1964、显示单元1965、外部接口1966、存储器1967、介质驱动器1968、OSD 1969、控制单元1970、用户接口1971和总线1972。
光学块1961连接至成像单元1962。成像单元1962连接至信号处理单元1963。显示单元1965连接至图像处理单元1964。用户接口1971连接至控制单元1970。总线1972使图像处理单元1964、外部接口1966、存储器1967、介质驱动器1968、OSD 1969和控制单元1970彼此连接。
光学块1961包括聚焦透镜、光阑机构等等。光学块1961在成像单元1962的成像平面上形成被摄体的光学图像。成像单元1962包括CCD(电荷耦合器件)图像传感器或者CMOS(互补金属氧化物半导体)图像传感器等等，并且通过光电转换将成像平面上形成的光学图像转换成作为电信号的图像信号。然后，成像单元1962将图像信号输出至信号处理单元1963。
信号处理单元1963对从成像单元1962输入的图像信号执行各种类型的相机信号处理(诸如拐点校正、伽马校正和色彩校正)。信号处理单元1963将已经经过相机信号处理的图像数据输出至图像处理单元1964。
图像处理单元1964对从信号处理单元1963输入的图像数据进行编码，并且生成已编码数据。然后，图像处理单元1964将所生成的已编码数据输出至外部接口1966或者介质驱动器1968。此外，图像处理单元1964对从外部接口1966或者介质驱动器1968输入的已编码数据进行解码，并且生成图像数据。然后，图像处理单元1964将所生成的图像数据输出至显示单元1965。图像处理单元1964可以将从信号处理单元1963输入的图像数据输出到显示单元1965，以便显示图像。图像处理单元1964可以使从OSD 1969获取的显示数据叠加在输出到显示单元1965的图像上。
OSD1969生成GUI(诸如菜单、按钮或者光标)的图像，并且将所生成的图像输出至图像处理单元1964。
例如，外部接口1966被配置为USB I/O端子。例如，当打印图像时，外部接口1966将成像设备1960与打印机连接。此外，驱动器根据需要连接至外部接口1966。例如，可移动介质(诸如磁盘或者光盘)可以被安装为驱动器，并且从可移动介质读取的程序可以被安装在成像设备1960中。此外，外部接口1966可以被配置为连接到网络(诸如LAN或者因特网)的网络接口。换句话说，外部接口1966在成像设备1960中用作传送单元。
介质驱动器1968中安装的记录介质可以是任意可读/可写的可移动介质(诸如磁盘、磁光盘、光盘或者半导体存储器)。此外，记录介质可以固定地安装在介质驱动器1968中，并且例如可以配置非暂态存储单元(诸如内置硬盘驱动器或者固态驱动器(SSD))。
控制单元1970包括处理器(诸如CPU)和存储器(诸如RAM或者ROM)。例如，存储器存储由CPU执行的程序、程序数据等等。例如，当成像设备1960被激活时，由CPU读取和执行存储器中存储的程序。CPU执行程序，并且例如根据从用户接口1971输入的操作信号控制成像设备1960的操作。
用户接口1971与控制单元1970连接。例如，用户接口1971包括用户操作成像设备1960时使用的按钮、开关等等。用户接口1971通过组件检测用户操作，生成操作信号，并且将所生成的操作信号输出至控制单元1970。
在具有上述配置的成像设备1960中，图像处理单元1964具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，当成像设备1960对图像进行编码和解码时，可以抑制编码和解码所需的存储容量的增大。
<13.可缩放编码的应用示例>
<第一系统>
接下来，将描述通过可缩放编码生成的可缩放编码数据的具体应用示例。例如，如图124所图示的，可缩放编码用于选择要传送的数据。
在图124图示的数据传送系统2000中，传送服务器2002读取可缩放编码数据存储单元2001中存储的可缩放编码数据，并且经由网络2003将可缩放编码数据传送至终端设备(诸如个人计算机2004、AV设备2005、平板设备2006和移动电话2007)
在此时，传送服务器2002根据终端设备的能力、通信环境等等选择合适的高质量编码数据，并且传送所选择的高质量编码数据。尽管传送服务器2002未必传送高质量数据，但是终端设备不一定获得高质量图像，并且可能发生延迟或者上溢。此外，可以不必占据通信频带，并且可以不必增大终端设备的负载。另一方面，尽管传送服务器2002未必传送低质量数据，但是终端设备不可能获得足够质量的图像。因此，传送服务器2002读取可缩放编码数据存储单元2001中存储的可缩放编码数据作为适合于终端设备的能力或者通信环境的质量的编码数据，然后传送所读取的数据。
例如，假设可缩放编码数据存储单元2001存储通过可缩放编码进行编码的可缩放编码数据(BL+EL)2011。可缩放编码数据(BL+EL)2011是包括基本层和增强层两者的编码数据，并且可以通过对可缩放编码数据(BL+EL)2011进行解码来获得基本层的图像和增强层的图像两者。
传送服务器2002根据数据被传送到的终端设备的能力、通信环境等等选择合适的层，并且读取所选择的层的数据。例如，对于具有高处理能力的个人计算机2004或者平板设备2006，传送服务器2002从可缩放编码数据存储单元2001读取高质量可缩放编码数据(BL+EL)2011，并且在不改变的情况下传送可缩放编码数据(BL+EL)2011。另一方面，例如，对于具有低处理能力的AV设备2005或者移动电话2007，传送服务器2002从可缩放编码数据(BL+EL)2011提取基本层的数据，并且传送可缩放编码数据(BL)2012，该可缩放编码数据(BL)2012是与可缩放编码数据(BL+EL)2011的内容相同、但比可缩放编码数据(BL+EL)2011的质量低的数据。
如上所述，可以使用可缩放编码数据容易地调节数据量，因此可以防止延迟或者上溢的发生，以及防止终端设备或者通信介质的负载不必要地增大。此外，在层之间的冗余上减少可缩放编码数据(BL+EL)2011，因此可以将数据量降低到小于当将单个数据用作每个层的编码数据时的数据量。因此，可以更高效地使用可缩放编码数据存储单元2001的存储器区域。
此外，可以将各种设备(诸如个人计算机2004至移动电话2007)用作终端设备，因此终端设备的硬件性能根据每个设备而不同。此外，由于可以由终端设备执行各种应用，因此软件具有各种能力。此外，包括有线网络和无线网络中的任何一个或者两者的所有通信线路网络(诸如因特网或者局域网(LAN))可以用作作为通信介质的网络2003，因此提供各种数据传送能力。另外，可以由其它通信等等作出改变。
在这点上，传送服务器2002可以被配置为在开始数据传送之前执行与作为数据传送目的地的终端设备的通信并且获得与终端设备的能力相关的信息(诸如终端设备的硬件性能或者由终端设备执行的应用(软件)的性能)以及与通信环境相关的信息(诸如网络2003的可用带宽)。然后，传送服务器2002可以基于所获得的信息选择合适的层。
此外，可以在终端设备中执行层的提取。例如，个人计算机2004可以对所传送的可缩放编码数据(BL+EL)2011进行解码并且显示基本层的图像或者增强层的图像。此外，例如，个人计算机2004可以从所传送的可缩放编码数据(BL+EL)2011提取基本层的可缩放编码数据(BL)2012，存储基本层的可缩放编码数据(BL)2012，将基本层的可缩放编码数据(BL)2012传递到其它设备，对基本层的可缩放编码数据(BL)2012进行解码，并且显示基本层的图像。
当然，可缩放编码数据存储单元2001的数量、传送服务器2002的数量、网络2003的数量和终端设备的数量是任意的。尽管已经结合传送服务器2002向终端设备传输数据的示例进行了上面的描述，但是应用示例不限于该示例。数据传送系统2000可以应用于当通过可缩放编码生成的编码数据被传送到终端设备时根据终端设备的能力或者通信环境选择合适层并且传送编码数据的任何系统。
在数据传送系统2000中，本技术类似地应用到第四实施例至第八实施例中描述的可缩放编码和可缩放解码的应用，因此可以获得与第四实施例至第八实施例中描述的效果相同的效果。
<第二系统>
例如，如图125所图示的，可缩放编码用于使用多个通信介质的传送。
在图125图示的数据传送系统2100中，广播站2101通过地面广播2111传送基本层的可缩放编码数据(BL)2121。此外，广播站2101经由配置有通信网络的任意网络2112传送增强层的可缩放编码数据(EL)2122(例如，将可缩放编码数据(EL)2122分组化，然后传送作为结果的分组)，该通信网络包括有线网络和无线网络中的任何一个或者两者。
终端设备2102具有接收由广播站2101广播的地面广播2111的接收功能，并且接收通过地面广播2111传送的基本层的可缩放编码数据(BL)2121。终端设备2102还具有经由网络2112执行通信的通信功能，并且接收经由网络2112传送的增强层的可缩放编码数据(EL)2122。
终端设备2102(例如，根据用户指令等等)对通过地面广播2111获取的基本层的可缩放编码数据(BL)2121进行解码，获得基本层的图像，存储所获得的图像，并且将所获得的图像传送至其它设备。
此外，终端设备2102(例如，根据用户指令等等)使通过地面广播2111获取的基本层的可缩放编码数据(BL)2121与通过网络2112获取的增强层的可缩放编码数据(EL)2122相结合，获得可缩放编码数据(BL+EL)，对可缩放编码数据(BL+EL)进行解码以获得增强层的图像，存储所获得的图像，并且将所获得的图像传送至其它设备。
如上所述，可以例如通过不同通信介质传送各个层的可缩放编码数据。因此，可以分担负载，并且可以防止延迟或者上溢的发生。
此外，可以根据情况选择用于针对每个层的传送的通信介质。例如，可以通过具有大带宽的通信介质传送具有相对大量数据的基本层的可缩放编码数据(BL)2121，并且可以通过具有小带宽的通信介质传送具有相对少量数据的增强层的可缩放编码数据(EL)2122。此外，例如，可以根据网络2112的可用带宽在网络2112与地面广播2111之间切换用于传送增强层的可缩放编码数据(EL)2122的通信介质。当然，这同样适用于任意层的数据。
由于如上所述地执行控制，因此可以进一步抑制数据传送中的负载的增大。
当然，层的数量是任意的，并且用于传送的通信介质的数量也是任意的。此外，作为数据传送目的地的终端设备2102的数量也是任意的。已经结合从广播站2101广播的示例作出了上面的描述，并且应用示例不限于该示例。数据传送系统2100可以应用于以层为单位将通过可缩放编码生成的编码数据分成两个或更多个并且通过多个线路进行传送的任何系统。
在数据传送系统2100中，本技术类似地应用于第四实施例至第八实施例中描述的可缩放编码和可缩放解码的应用，因此可以获得与第四实施例至第八实施例中描述的效果相同的效果。
<第三系统>
例如，如图126所图示的，可缩放编码用于编码数据的存储。
在图126图示的成像系统2200中，成像设备2201对通过对被摄体2211进行成像获得的图像数据执行可缩放编码，并且向可缩放编码数据存储设备2202提供可缩放编码数据(BL+EL)2221。
可缩放编码数据存储设备2202根据情况按照质量存储从成像设备2201提供的可缩放编码数据(BL+EL)2221。例如，在正常时间期间，可缩放编码数据存储设备2202从可缩放编码数据(BL+EL)2221提取基本层的数据，并且将所提取的数据存储为具有少量低质量数据的基本层的可缩放编码数据(BL)2222。另一方面，例如，在观察时间期间，可缩放编码数据存储设备2202在不改变的情况下存储具有大量高质量数据的可缩放编码数据(BL+EL)2221。
因此，可缩放编码数据存储设备2202只有在需要时才可以存储高质量图像，因此可以抑制数据量的增大并且提高存储器区域的使用效率，同时抑制由质量劣化引起的图像值的下降。
例如，假设成像设备2201是监控器摄像机。当监控目标(例如，入侵者)没有显示在拍摄的图像上时(在正常时间期间)，所拍摄图像的内容可能是无关紧要的，因此优先考虑数据量的减少，并且以低质量存储图像数据(可缩放编码数据)。另一方面，当监控目标作为被摄体2211显示在拍摄的图像上时(在观察时间期间)，所拍摄图像的内容可能是重要的，因此优先考虑图像质量，并且以高质量存储图像数据(可缩放编码数据)。
例如，可以通过经由可缩放编码数据存储设备2202对图像进行分析来确定是正常时间还是观察时间。此外，成像设备2201可以执行该确定并且将确定结果传送至可缩放编码数据存储设备2202。
此外，关于是正常时间还是观察时间的确定标准是任意的，并且作为确定标准的图像的内容是任意的。当然，除了图像内容以外的条件可以是确定标准。例如，可以根据所记录声音的幅度或者波形执行切换，可以以特定时间间隔执行切换，或者可以根据外部指令(诸如用户指令)执行切换。
尽管已经结合在正常时间与观察时间两个状态之间执行切换的示例进行了上面的描述，但是状态的数量是任意的。例如，可以在三个或者更多个状态(诸如正常时间、低水平观察时间、观察时间、高水平观察时间等等)之间执行切换。在这里，要切换的状态的上限数量取决于可缩放编码数据的层的数量。
此外，成像设备2201可以根据状态决定用于可缩放编码的层的数量。例如，在正常时间期间，成像设备2201可以生成具有少量低质量数据的基本层的可缩放编码数据(BL)2222，并且向可缩放编码数据存储设备2202提供基本层的可缩放编码数据(BL)2222。此外，例如，在观察时间期间，成像设备2201可以生成具有大量高质量数据的基本层的可缩放编码数据(BL+EL)2221，并且向可缩放编码数据存储设备2202提供基本层的可缩放编码数据(BL+EL)2221。
尽管已经结合监控摄像机的示例进行了上面的描述，但是成像系统2200的目的是任意的，并且不限于监控摄像机。
在成像系统2200中，本技术类似地应用于第四实施例至第八实施例中描述的可缩放编码和可缩放解码的应用，因此可以获得与第四实施例至第八实施例中描述的效果相同的效果。
<14.组单元模块处理器>
<其它实施例>
尽管已经结合根据本技术的设备、系统等的示例描述了上述实施例，但是本技术不限于上面的示例，并且可被实现为安装在设备中的任何组件或者构成系统的设备，例如，作为系统(大规模集成)LSI等等的处理器，使用多个处理器等的模块，使用多个模块等的单元，将任何其它功能进一步添加到单元的组(即，设备的一些组件)等等。
<视频组>
将参考图127描述将本技术实现为组的示例。图127图示本技术所应用的视频组的示例性的示意性配置。
近年来，电子设备的功能变得多样，并且当在开发或者制造中将一些组件实现为销售、供应等等时，存在具有相关功能的多个组件被结合并且被实现为具有多个功能的组的许多情况、以及实现方式被执行为具有单个功能的组件的情况。
图127图示的视频组2300是多功能化配置，其中具有与图像编码和/或图像解码相关的功能的设备与具有与该功能相关的任何其它功能的设备结合。
如图127所图示的，视频组2300包括模块分组(诸如视频模块2311、外部存储器2312、电源管理模块2313和前端模块2314)和具有相关功能(诸如连接2321、相机2322和传感器2323)的设备。
模块是具有集成若干相关部分功能的多个功能的部分。尽管具体物理配置是任意的，但是，例如，它被配置为使得在布线衬底上排列和集成具有各个功能的多个工艺、电子电路元件(诸如电阻器和电容器)以及其它设备。此外，可以通过将其它模块或者处理器与模块相结合来获得新的模块。
在图127的示例的情况下，视频模块2311是具有与图像处理相关的功能的组件的组合，并且包括应用处理器、视频处理器、宽带调制解调器2333和射频(RF)模块2334。
处理器是通过片上系统(SoC)将具有特定功能的配置集成到半导体芯片的处理器，并且还指的是例如系统大规模集成(LSI)等等。具有特定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM和使用CPU、ROM和RAM执行的程序(软件配置)，并且可以是硬件配置和软件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等等，可以通过逻辑电路(硬件组件)实现一些功能，并且可以通过由CPU执行的程序(软件组件)实现其它功能。
图127的应用处理器2331是执行与图像处理相关的应用的处理器。由应用处理器2331执行的应用不仅可以执行计算处理，而且还根据需要控制视频模块2311内部和外部的组件(诸如视频处理器2332)以实现特定功能。
视频处理器2332是具有与图像编码和/或图像解码相关的功能的工艺(process)。
宽带调制解调器2333对要通过有线和/或无线宽带通信传送的数据(数字信号)执行数字调制并且将该数据转换成模拟信号，或者对通过宽带通信接收到的模拟信号执行解调并且将模拟信号转换成数据(数字信号)，该宽带通信经由宽带线路(诸如因特网或者公共电话线路网络)来执行。例如，宽带调制解调器2333处理任意信息，诸如由视频处理器2332处理的图像数据、包括编码图像数据的流、应用程序或者设置数据。
RF模块2334是对通过天线收发的射频(RF)信号执行频率变换处理、调制/解调处理、放大处理、滤波处理等等的模块。例如，RF模块2334对由宽带调制解调器2333生成的基带信号执行例如频率变换，并且生成RF信号。此外，例如，RF模块2334对通过前端模块2314接收到的RF信号执行例如频率变换，并且生成基带信号。
此外，如图127所图示的，虚线2341(即，应用处理器2331和视频处理器2332)可以集成到单个处理器中。
外部存储器2312安装在视频模块2311外部，并且模块具有由视频模块2311使用的存储设备。尽管外部存储器2312的存储设备可以通过任何物理配置来实现，但是通常用于存储大容量数据(诸如帧单位的图像数据)，因此期望使用相对芯片大容量的半导体存储器(诸如动态随机存取存储器(DRAM))实现外部存储器2312的存储设备。
电源管理模块2313管理和控制对视频模块2311(视频模块2311中的各个组件)的电力供应。
前端模块2314是向RF模块2334提供前端功能(在天线侧的收发端的电路)的模块。如图127所图示的，前端模块2314包括例如天线单元2351、滤波器2352和放大单元2353。
天线单元2351包括收发无线电信号的天线和外围配置。天线单元2351将从放大单元2353提供的信号传送为无线电信号，并且将所接收到的无线电信号作为电信号(RF信号)提供至滤波器2352。滤波器2352对通过天线单元2351接收到的RF信号执行例如滤波处理，并且向RF模块2334提供处理后的RF信号。放大单元2353将从RF模块2334提供的RF信号放大，并且将所放大的RF信号提供至天线单元2351。
连接2321是具有与外部的连接相关的功能的模块。连接2321的物理配置是任意的。例如，连接2321包括具有不同于由宽带调制解调器2333支持的通信标准的通信功能的配置、外部I/O端子等等。
例如，连接2321可以包括具有基于无线通信标准(诸如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)、红外数据协会(IrDA))的通信功能的模块、收发满足标准的信号的天线等等。此外，例如，连接2321可以包括具有基于有线通信标准(诸如通用串行总线(USB)或者高清晰度多媒体接口(HDMI)(注册商标))的通信功能的模块或者满足该标准的终端。此外，例如，连接2321可以包括任何其它数据(信号)传送功能等等(诸如模拟I/O端子)。
此外，连接2321可以包括数据(信号)的传送目的地的设备。例如，连接2321可以包括从记录介质/在记录介质(诸如磁盘、光盘、磁光盘或者半导体存储器)中读取/写入数据的驱动器(包括硬盘、固态驱动器(SSD)、网络附加存储(NAS)等等以及可移动介质的驱动器)。此外，连接2321可以包括输出图像或者声音的输出设备(监控器、扬声器等等)。
相机2322是具有拍摄被摄体和获得被摄体的图像数据的功能的模块。例如，通过相机2322的拍摄获得的图像数据被提供至视频处理器2332，并且由视频处理器2332进行编码。
传感器2323是具有任意传感器功能(诸如声音传感器、超声波传感器、光学传感器、照度传感器，红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度感传器、加速度传感器、倾斜传感器、磁性识别传感器、冲击传感器或者温度传感器)的模块。例如，由传感器2323检测到的数据被提供至应用处理器2331并且由应用等等使用。
上面被描述为模块的配置可以被实现为处理器，以及被描述为处理器的配置可以被实现为模块。
在具有上述配置的视频组2300中，如稍后将描述的，本技术可以应用于视频处理器2332。因此，视频组2300可以被实现为本技术所应用的组。
<视频处理器的示例性配置>
图128图示本技术所应用的视频处理器2332(图127)的示例性的示意性配置。
在图128的示例的情况下，视频处理器2332具有接收视频信号和音频信号的输入并且根据特定方案对视频信号和音频信号进行编码的功能以及对所编码的视频数据和音频数据进行解码并且再现和输出视频信号和音频信号的功能。
如图128所图示的，视频处理器2332包括视频输入处理单元2401、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403、视频输出处理单元2404、帧存储器2405和存储器控制单元2406。视频处理器2332还包括编码/解码引擎2407、视频基础流(ES)缓冲器2408A和2408B以及音频ES缓冲器2409A和2409B。视频处理器2332还包括音频编码器2410、音频解码器2411、多路复用单元(多路复用器(MUX))2412、多路解复用单元(多路解复用器(DMUX))2413和流缓冲器2414。
例如，视频输入处理单元2401从连接2321(图127)获取视频信号输入等等，并且将视频信号转换成数字图象数据。第一图像放大/缩小单元2402对图像数据执行例如格式转换处理和图像放大/缩小处理。第二图像放大/缩小单元2403根据通过视频输出处理单元2404向其输出图像数据的目的地的格式对图像数据执行图像放大/缩小处理，或者对图像数据执行与第一图像放大/缩小单元2402的那些处理相同的格式转换处理和图像放大/缩小处理。视频输出处理单元2404对图像数据执行格式转换和到模拟信号的转换，并且将再现的视频信号输出至例如连接2321(图127)等等。
帧存储器2405是由视频输入处理单元2401、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403、视频输出处理单元2404和编码/解码引擎2407共享的图像数据存储器。帧存储器2405被实现为例如半导体存储器(诸如DRAM)。
存储器控制单元2406从编码/解码引擎2407接收同步信号，并且根据访问管理表格2406A中写入的对于帧存储器2405的访问安排来控制对帧存储器2405的写/读访问。根据由编码/解码引擎2407、第一图像放大/缩小单元2402、第二图像放大/缩小单元2403等等执行的处理通过存储器控制单元2406来更新访问管理表格2406A，
编码/解码引擎2407执行对图像数据进行编码的编码处理和对视频流进行解码的解码处理，该视频流是通过对图像数据进行编码获得的数据。例如，编码/解码引擎2407对从帧存储器2405读取的图像数据进行编码，并且在视频ES缓冲器2408A中顺序地写入所编码的图像作为视频流。此外，例如，编码/解码引擎2407从视频ES缓冲器2408B顺序地读取视频流，顺序地对视频流进行解码，并且在帧存储器2405中顺序地写入解码的图像数据。编码/解码引擎2407使用帧存储器2405作为编码或者解码时的工作区域。此外，编码/解码引擎2407(例如，在每个宏块的处理开始的定时处)向存储器控制单元2406输出同步信号。
视频ES缓冲器2408A缓冲由编码/解码引擎2407生成的视频流，然后向多路复用单元(MUX)2412提供视频流。视频ES缓冲器2408B缓冲从多路解复用单元(DMUX)2413提供的视频流，然后向编码/解码引擎2407提供视频流。
音频ES缓冲器2409A缓冲由音频编码器2410生成的音频流，然后向多路复用单元(MUX)2412提供音频流。音频ES缓冲器2409B缓冲从多路解复用单元(DMUX)2413提供的音频流，然后向音频解码器2411提供音频流。
例如，音频编码器2410将从例如连接2321(图127)等等输入的音频信号转换成数字信号，并且根据特定方案(诸如MPEG音频方案或者AudioCode 3号(AC3)方案)对数字信号进行编码。音频编码器2410在音频ES缓冲器2409A中顺序地写入音频流，该音频流是通过对音频信号进行编码获得的数据。音频解码器2411对从音频ES缓冲器2409B提供的音频流进行解码，执行例如到模拟信号的转换，并且向例如连接2321(图127)等等提供再现的音频信号。
多路复用单元(MUX)2412执行视频流和音频流的多路复用。多路复用方法(即，通过多路复用生成的比特流的格式)是任意的。此外，在多路复用时，多路复用单元(MUX)2412可以向比特流添加特定头部信息等等。换句话说，多路复用单元(MUX)2412可以通过多路复用来转换流格式。例如，多路复用单元(MUX)2412对要转换成传输流的视频流和音频流进行多路复用，该传输流是传送格式的比特流。此外，例如，多路复用单元(MUX)2412对要转换成记录文件格式的数据(文件数据)的视频流和音频流进行多路复用。
多路解复用单元(DMUX)2413通过与由多路复用单元(MUX)2412执行的多路复用相对应的方法，对通过对视频流和音频流进行多路复用获得的比特流进行多路解复用。换句话说，多路解复用单元(DMUX)2413从自流缓冲器2414读取的比特流提取视频流和音频流(使视频流和音频流分离)。换句话说，多路解复用单元(DMUX)2413可以通过多路解复用来执行流格式的转换(由多路复用单元(MUX)2412执行的转换的逆转换)。例如，多路解复用单元(DMUX)2413可以通过流缓冲器2414获取从例如连接2321或者宽带调制解调器2333(两者图127)提供的传输流并且通过多路解复用将该传输流转换成视频流和音频流。此外，多路解复用单元(DMUX)2413可以通过流缓冲器2414获取经由例如连接2321(图127)从各种类型的记录介质读取的文件数据并且通过多路解复用将该文件数据转换成视频流和音频流。
流缓冲器2414缓冲比特流。例如，流缓冲器2414缓冲从多路复用单元(MUX)2412提供的传输流，并且在某个定时或者基于外部请求等等将该传输流提供到例如连接2321或者宽带调制解调器2333(两者图127)。
此外，例如，流缓冲器2414缓冲从多路复用单元(MUX)2412提供的文件数据，在某个定时或者基于外部请求等等将该文件数据提供到例如连接2321(图127)等等，并且使文件数据记录在各种类型的记录介质中。
此外，流缓冲器2414缓冲通过例如连接2321或者宽带调制解调器2333(两者图127)获取的传输流，并且在某个定时或者基于外部请求等等将该传输流提供到多路解复用单元(DMUX)2413。
此外，流缓冲器2414缓冲在例如连接2321(图127)等等中从各种类型的记录介质读取的文件数据，并且在某个定时或者基于外部请求等等将文件数据提供到多路解复用单元(DMUX)2413。
接下来，将描述具有上述配置的视频处理器2332的操作。在视频输入处理单元2401中根据特定方案(诸如4:2:2Y/Cb/Cr方案)将(例如从连接2321(图127)等等)输入到视频处理器2332的视频信号转换成数字图象数据并且顺序地写入帧存储器2405中。数字图象数据被读出至第一图像放大/缩小单元2402或者第二图像放大/缩小单元2403，经过执行到特定方案(诸如4:2:0Y/Cb/Cr方案)的格式转换的格式转换处理和放大/缩小处理，并且再次写入帧存储器2405中。图像数据由编码/解码引擎2407进行编码，并且作为视频流写入视频ES缓冲器2408A中。
此外，从连接2321(图127)等等输入到视频处理器2332的音频信号由音频编码器2410进行编码，并且作为音频流写入音频ES缓冲器2409A中。
视频ES缓冲器2408A的视频流和音频ES缓冲器2409A的音频流被读出至多路复用单元(MUX)2412并且由多路复用单元(MUX)2412进行多路复用，并且转换成传输流、文件数据等等。在流缓冲器2414中对由多路复用单元(MUX)2412生成的传输流进行缓冲，然后通过例如连接2321或者宽带调制解调器2333(两者图127)输出到外部网络。此外，在流缓冲器2414中对由多路复用单元(MUX)2412生成的文件数据进行缓冲，然后输出到例如连接2321(图127)等等，并且记录在各种类型的记录介质中。
此外，在流缓冲器2414中对(通过例如连接2321或者宽带调制解调器2333(两者图127))从外部网络输入到视频处理器2332的传输流进行缓冲，然后由多路解复用单元(DMUX)2413进行多路解复用。此外，在流缓冲器2414中对(在例如连接2321(图127)等等中)从各种类型记录介质读取、然后输入到视频处理器2332的文件数据进行缓冲，然后由多路解复用单元(DMUX)2413进行多路解复用。换句话说，通过多路解复用单元(DMUX)2413将输入到视频处理器2332的传输流或者文件数据多路解复用成视频流和音频流。
通过音频ES缓冲器2409B将音频流提供至音频解码器2411并且进行解码，从而再现音频信号。此外，视频流被写入视频ES缓冲器2408B中，顺序地被读出至编码/解码引擎2407并且由编码/解码引擎2407进行解码，以及写入帧存储器2405中。所解码的图像数据经过由第二图像放大/缩小单元2403执行的放大/缩小处理，并且被写入帧存储器2405中。然后，所解码的图像数据被读出至视频输出处理单元2404，经过执行到特定方案(诸如4:2:2Y/Cb/Cr方案)的格式转换的格式转换处理，并且转换成模拟信号，从而再现和输出视频信号。
当本技术应用于具有上述配置的视频处理器2332时，本技术的上述实施例优选地应用于编码/解码引擎2407。换句话说，例如，编码/解码引擎240优选地具有根据上述实施例的图像编码设备和图像解码设备的功能。因此，视频处理器2332可以获得与上面参考图1至图118描述的效果相同的效果。
此外，在编码/解码引擎2407中，本技术(即，根据上述实施例的图像编码设备或者图像解码设备的功能)可以由硬件(诸如逻辑电路)或者软件(诸如嵌入式程序)中的任何一个或者两者实现。
<视频处理器的其它示例性配置>
图129图示本技术所应用的视频处理器2332(图127)的其它示例性的示意性配置。在图129的示例的情况下，视频处理器2332具有根据特定方案对视频数据进行编码和解码的功能。
更具体地说，如图129所图示的，视频处理器2332包括控制单元2511、显示器接口2512、显示器引擎2513、图像处理引擎2514和内部存储器2515。视频处理器2332还包括编解码器引擎2516、存储器接口2517、多路复用/多路解复用单元(MUX/DMUX)2518、网络接口2519和视频接口2520。
控制单元2511控制视频处理器2332中的每个处理单元(诸如显示器接口2512、显示器引擎2513、图像处理引擎2514和编解码器引擎2516)的操作。
如图129所图示的，控制单元2511包括例如，主CPU 2531、子CPU 2532和系统控制器2533。主CPU 2531执行例如用于控制视频处理器2332中的每个处理单元的操作的程序。主CPU 2531例如根据程序生成控制信号，并且向每个处理单元提供控制信号(即，控制每个处理单元的操作)。子CPU 2532起主CPU 2531的辅助作用。例如，子CPU 2532执行由主CPU2531执行的程序的子处理或者子例程。系统控制器2533控制主CPU 2531和子CPU 2532的操作，例如，指定由主CPU 2531和子CPU 2532执行的程序。
显示器接口2512在控制单元2511的控制之下将图像数据输出至例如连接2321(图127)等等。例如，显示器接口2512将数字数据的图像数据转换成模拟信号，将模拟信号输出至例如连接2321(图127)的监控器设备作为再现的视频信号，或者将数字数据的图像数据输出至例如连接2321(图127)的监控器设备。
显示器引擎2513在控制单元2511的控制之下对图像数据执行各种类型的转换处理(诸如格式转换处理、大小转换处理和色域转换处理)，以符合例如显示图像的监控器设备的硬件规格。
图像处理引擎2514在控制单元2511的控制之下对图像数据执行特定图像处理(诸如用于提高图像质量的滤波处理)。
内部存储器2515是安装在视频处理器2332中并且由显示器引擎2513、图像处理引擎2514和编解码器引擎2516共享的存储器。内部存储器2515用于在例如显示器引擎2513、图像处理引擎2514和编解码器引擎2516之间执行的数据传送。例如，内部存储器2515存储从显示器引擎2513、图像处理引擎2514或者编解码器引擎2516提供的数据，并且根据需要(例如，根据请求)将该数据提供到显示器引擎2513、图像处理引擎2514或者编解码器引擎2516。尽管内部存储器可以由任何存储设备来实现，但是由于内部存储器2515主要用于小容量数据(诸如块单元的图像数据或者参数)的存储，因此期望使用容量上相对小(例如，与外部存储器2312相比)并且响应速度上相对快速的半导体存储器(诸如静态随机存取存储器(SRAM))来实现内部存储器2515。
编解码器引擎2516执行与图像数据的编码和解码相关的处理。由编解码器引擎2516支持的编码/解码方案是任意的，并且可以由编解码器引擎2516支持一个或者多个方案。例如，编解码器引擎2516可以具有支持多个编码/解码方案的编解码器功能，并且使用从所述方案中选择的方案执行图像数据的编码或者编码数据的解码。
在图129图示的示例中，编解码器引擎2516包括例如，MPEG-2视频2541、AVC/H.2642542、HEVC/H.2652543、HEVC/H.265(可缩放)2544、HEVC/H.265(多视点)2545和MPEG-DASH2551作为与编解码器相关的处理的功能块。
MPEG-2视频2541是根据MPEG-2方案对图像数据进行编码或者解码的功能块。AVC/H.2642542是根据AVC方案对图像数据进行编码或者解码的功能块。HEVC/H.2652543是根据HEVC方案对图像数据进行编码或者解码的功能块。HEVC/H.265(可缩放)2544是根据HEVC方案对图像数据执行可缩放编码或者可缩放解码的功能块。HEVC/H.265(多视点)2545是根据HEVC方案对图像数据执行多视点编码或者多视点解码的功能块。
MPEG-DASH 2551是根据通过HTTP的MPEG-Dynamic Adaptive Streaming(动态自适应流)(MPEG-DASH)发送和接收图像数据的功能块。MPEG-DASH是使用HyperTextTransfer Protocol(超文本传送协议)(HTTP)以流传送视频的技术，并且具有从多个编码数据之中选择一个合适的编码数据并且传送所选择的编码数据的特性，所述多个编码数据以段为单位在先前准备的分辨率等上不同。MPEG-DASH 2551执行符合标准的流的生成、流的传送控制等等，并且使用MPEG-2视频2541至HEVC/H.265(多视点)2545用于对图像数据进行编码和解码。
存储器接口2517是用于外部存储器2312的接口。通过存储器接口2517将从图像处理引擎2514或者编解码器引擎2516提供的数据提供到外部存储器2312。此外，通过存储器接口2517将从外部存储器2312读取的数据提供至视频处理器2332(图像处理引擎2514或者编解码器引擎2516)。
多路复用/多路解复用单元(MUX/DMUX)2518执行与图像相关的各种类型的数据(诸如编码数据的比特流、图像数据和视频信号)的多路复用和多路解复用。多路复用/多路解复用方法是任意的。例如，在多路复用时，多路复用/多路解复用单元(MUX/DMUX)2518不仅可以将多个数据结合成一个数据，而且还可以向数据添加特定头部信息等等。此外，在多路解复用时，多路复用/多路解复用单元(MUX/DMUX)2518不仅可以将一个数据分成多个数据，而且还可以向每个划分的数据添加特定头部信息等等。换句话说，多路复用/多路解复用单元(MUX/DMUX)2518可以通过多路复用和多路解复用来转换数据格式。例如，多路复用/多路解复用单元(MUX/DMUX)2518可以将要转换成传输流的比特流多路复用为传输流，该传输流用作传送格式的比特流或者记录文件格式的数据(文件数据)。当然，也可以通过多路解复用来执行逆转换。
网络接口2519是用于例如宽带调制解调器2333或者连接2321(两者图127)的接口。视频接口2520是用于例如连接2321或者相机2322(两者图127)的接口。
接下来，将描述视频处理器2332的示例性操作。例如，当通过例如连接2321或者宽带调制解调器2333(两者图127)从外部网络接收传输流时，传输流通过网络接口2519被提供到多路复用/多路解复用单元(MUX/DMUX)2518，进行多路解复用，然后由编解码器引擎2516进行解码。通过编解码器引擎2516的解码获得的图像数据经过例如由图像处理引擎2514执行的特定图像处理，经过由显示器引擎2513执行的特定转换，并且通过显示器接口2512被提供至例如连接2321(图127)等等，从而在监控器上显示图像。此外，例如，通过编解码器引擎2516的解码获得的图像数据由编解码器引擎2516再次进行编码，由多路复用/多路解复用单元(MUX/DMUX)2518进行多路复用以转换成文件数据，通过视频接口2520输出到例如连接2321(图127)等等，然后记录在各种类型的记录介质中。
此外，例如，通过对图像数据进行编码获得的编码数据的文件数据通过视频接口2520被提供至多路复用/多路解复用单元(MUX/DMUX)2518，并且进行多路解复用，并且由编解码器引擎2516进行解码，其中，该图像数据是通过连接2321(图127)等等从记录介质(未图示)读取的。通过编解码器引擎2516的解码获得的图像数据经过由图像处理引擎2514执行的特定图像处理，经过由显示器引擎2513执行的特定转换，并且通过显示器接口2512被提供至例如连接2321(图127)等等，从而在监控器上显示图像。此外，例如，通过编解码器引擎2516的解码获得的图像数据由编解码器引擎2516再次进行编码，由多路复用/多路解复用单元(MUX/DMUX)2518进行多路复用以转换成传输流，通过网络接口2519提供到例如连接2321或者宽带调制解调器2333(两者图127)，然后传送到其它设备(未图示)。
此外，例如使用内部存储器2515或者外部存储器2312执行视频处理器2332中的处理单元之间的图像数据或者其它数据的传送。此外，电源管理模块2313控制例如对控制单元2511的电力供应。
当本技术应用于具有上述配置的视频处理器2332时，期望将本技术的上述实施例应用于编解码器引擎2516。换句话说，例如，优选的是，编解码器引擎2516具有实现根据上述实施例的图像编码设备和图像解码设备的功能块。此外，例如，由于编解码器引擎2516如上所述地操作，视频处理器2332可以具有与上面参考图1至图118描述的效果相同的效果。
此外，在编解码器引擎2516中，本技术(即，根据上述实施例的图像编码设备或者图像解码设备的功能)可以由硬件(诸如逻辑电路)或者软件(诸如嵌入式程序)中的任何一个或者两者实现。
尽管上面已经描述了视频处理器2332的两个示例性配置，但是视频处理器2332的配置是任意的，并且可以具有不同于上述两个示例性配置的任何配置。此外，视频处理器2332可以配置有单个半导体芯片或者可以配置有多个半导体芯片。例如，视频处理器2332可以配置有堆叠多个半导体的三维堆叠的LSI。此外，视频处理器2332可以由多个LSI实现。
<设备的应用示例>
视频组2300可被集成到处理图像数据的各种类型的设备中。例如，视频组2300可被集成到电视设备1900(图120)、移动电话1920(图121)、记录/再现设备1940(图122)、成像设备1960(图123)等等中。由于视频组2300被集成，因此设备可以具有与上面参考图1至图118描述的效果相同的效果。
此外，视频组2300还可被集成到终端设备(诸如图124的数据传送系统2000中的个人计算机2004、AV设备2005、平板设备2006或者移动电话2007，图125的数据传送系统2100中的广播站2101或者终端设备2102，或者图126的成像系统2200中的成像设备2201或者可缩放编码数据存储设备2202)中。由于视频组2300被集成，因此设备可以具有与上面参考图1至图118描述的效果相同的效果。
此外，当组件包括视频处理器2332时，甚至视频组2300的每个组件可以被实现为本技术所应用的组件。例如，仅视频处理器2332可以被实现为本技术所应用的视频处理器。此外，例如，如上所述由虚线2341指示的处理器、视频模块2311等等可以被实现为例如本技术所应用的处理器或者模块。此外，例如，视频模块2311、外部存储器2312、电源管理模块2313和前端模块2314的组合可以被实现为本技术所应用的视频单元2361。这些配置可以具有与上面参考图1至图118描述的效果相同的效果。
换句话说，与视频组2300的情况类似地，包括视频处理器2332的配置可被集成到处理图像数据的各种类型的设备中。例如，视频处理器2332、由虚线2341指示的处理器、视频模块2311或者视频单元2361可被集成到电视设备1900(图120)、移动电话1920(图121)、记录/再现设备1940(图122)、成像设备1960(图123)、终端设备(诸如图124的数据传送系统2000中的个人计算机2004、AV设备2005、平板设备2006或者移动电话2007，图125的数据传送系统2100中的广播站2101或者终端设备2102，图126的成像系统2200中的成像设备2201或者可缩放编码数据存储设备2202等等)中。此外，与视频组2300类似地，由于本技术所应用的配置被集成，因此设备可以具有与上面参考图1至图118描述的效果相同的效果。
<15.MPEG-DASH的内容再现系统的应用示例>
<MPEG-DASH的应用示例>
本技术还可以应用于从预先以段为单位准备的具有不同分辨率的多个编码数据之中选择合适的数据并且使用所选择的数据的系统，例如，HTTP流的内容再现系统或者Wi-Fi标准(诸如稍后将描述的MPEG-DASH)的无线通信系统。
<内容再现系统的概要>
首先，将参考图130至图132示意性地描述本技术所应用的内容再现系统。
下面将参考图130和图131描述实施例中共用的基本配置。
图130是图示内容再现系统的配置的解释图。如图130所图示的，内容再现系统包括内容服务器2610和2611、网络2612和内容再现设备2620(客户端设备)。
内容服务器2610和2611经由网络2612与内容再现设备2620连接。网络2612是从连接至网络2612的设备传送的信息的有线或者无线传输路径。
例如，网络2612可以包括公共线路网络(诸如因特网、电话线路网络或者卫星通信网络)、各种类型的局域网(LAN)(诸如以太网(注册商标))、广域网(WAN)等等。此外，网络2612可以包括专用线路网络(诸如网络协议虚拟专用网络(IP-VPN))。
内容服务器2610对内容数据进行编码，并且生成和存储包括所编码数据的元信息和所编码数据的数据文件。当内容服务器2610生成MP4格式的数据文件时，编码数据与“mdat”相对应，以及元信息与“moov”相对应。
此外，内容数据可以是音乐数据(诸如音乐、演讲或者广播节目)、视频数据(诸如电影、电视节目、视频程序、照片、文档、绘画和图表)、游戏、软件等等。
在这里，内容服务器2610对于相同的内容以不同比特率生成多个数据文件。此外，响应于从内容再现设备2620接收到的内容再现请求，内容服务器2611包括在内容服务器2610的URL信息中由内容再现设备2620添加到对应URL的参数的信息，并且将作为结果的信息传送到内容再现设备2620。下面将参考图131描述细节。
图131是图示图130的内容再现系统中的数据流的解释图。如图131所图示的，内容服务器2610以不同比特率对相同内容进行编码，并且生成例如，2Mbps的文件A、1.5Mbps的文件B和1Mbps的文件C。相对地，文件A是高比特率，文件B是标准比特率，以及文件C是低比特率。
此外，如图131所图示的，每个文件的编码数据被分成多个段。例如，文件A的编码数据被分成诸如“A1”、“A2”、“A3”、...和“An”的段，文件B的编码数据被分成诸如“B1”、“B2”、“B3”、...和“Bn”的段，以及文件C的编码数据被分成诸如“C1”、“C2”、“C3”、...和“Cn”的段。
此外，每个段可以被配置有配置样本而不是一个或多个编码视频数据和编码音频数据，该配置样本从MP4的宿(sink)样本开始并且是独立再现的(例如，AVC/H.264的视频编码中的IDR图片)。例如，当每秒30帧的视频数据由具有15帧的固定长度的图片组(GOP)进行编码时，每个段可以是与4个GOP对应的2秒的编码视频和音频数、或者可以是与20个GOP相对应的10秒的编码视频和音频数据。
此外，在每个文件中排列顺序相同的段具有相同的再现范围(来自内容的头部的时间位置的范围)。例如，段“A2”、段“B2”和段“C2”的再现范围相同，并且当每个段是2秒的编码数据时，段“A2”、段“B2”和段“C2”的再现范围是2至4秒的内容。
当文件A至文件C配置有多个段时，内容服务器2610存储文件A至文件C。此外，如图131所图示的，内容服务器2610向内容再现设备2620顺序地传送配置不同文件的段，并且内容再现设备2620对接收到的段执行流再现。
在这里，根据本实施例的内容服务器2610向内容再现设备2620传送包括每个编码数据的比特率信息和访问信息的播放列表文件(在下文中，“媒体展示描述(MPD)”)，并且内容再现设备2620基于MPD选择多个比特率中的任何一个，并且请求内容服务器2610传送与所选择的比特率相对应的段。
尽管图130仅图示了一个内容服务器2610，但是本公开内容不限于该示例。
图132是图示MPD的具体示例的解释图。如图132所图示的，MPD包括具有不同比特率(带宽)的多个编码数据的访问信息。例如，图132图示的MPD指示存在256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps的编码数据、1.536Mbps的编码数据和2.048Mbps的编码数据，并且包括与每个编码数据相关的访问信息。内容再现设备2620可以基于MPD动态地改变经过流再现的编码数据的比特率。
此外，尽管图130图示移动终端作为内容再现设备2620的示例，但是内容再现设备2620不限于示例。例如，内容再现设备2620可以是信息处理设备，诸如个人计算机(PC)、家庭视频处理设备(DVD录音机、盒式磁带录像机(VCR)、个人数字助理(PDA)、家用游戏机或者家用电器。此外，内容再现设备2620可以是信息处理设备，诸如移动电话、个人手机系统(PHS)、便携式音乐播放器、便携式视频处理设备或者便携式游戏机。
<内容服务器2610的配置>
上面已经参考图130至图132描述了内容再现系统的概要。接下来，将参考图133描述内容服务器2610的配置。
图133是图示内容服务器2610的配置的功能框图。如图133所图示的，内容服务器2610包括文件生成单元2631、存储单元2632和通信单元2633。
文件生成单元2631包括对内容数据进行编码的编码器2641，并且对于相同内容和MPD生成具有不同比特率的多个编码数据。例如，当生成256Kbps的编码数据、1.024Mbps的编码数据、1.384Mbps的编码数据、1.536Mbps的编码数据和2.048Mbps的编码数据时，文件生成单元2631生成图132图示的MPD。
存储单元2632存储具有不同比特率的多个编码数据和由文件生成单元2631生成的MPD。存储单元2632可以是存储介质，诸如非易失性存储器、磁盘、光盘或者磁光(MO)盘。非易失性存储器的示例包括电可擦可编程只读存储器(EEPROM)和可擦可编程只读存储器(EPROM)。作为磁盘，存在硬盘、盘式磁盘等等。此外，作为光盘，存在致密盘(CD)(可记录数字通用盘(DVD-R)、蓝光盘(BD)(注册商标))等等。
通信单元2633是与内容再现设备2620的接口，并且经由网络2612与内容再现设备2620进行通信。在进一步的细节中，通信单元2633具有根据HTTP作为HTTP服务器与内容再现设备2620进行通信的功能。例如，通信单元2633将MPD传送至内容再现设备2620，根据来自存储单元2632的HTTP从内容再现设备2620提取基于MPD请求的编码数据，并且将编码数据作为HTTP响应传送到内容再现设备2620。
<内容再现设备2620的配置>
上面已经描述了根据本实施例的内容服务器2610的配置。接下来，将参考图134描述内容再现设备2620的配置。
图134是图示内容再现设备2620的配置的功能框图。如图134所图示的，内容再现设备2620包括通信单元2651、存储单元2652、再现单元2653、选择单元2654和当前位置获取单元2656。
通信单元2651是与内容服务器2610的接口，请求内容服务器2610传送数据，并且从内容服务器2610获取数据。在进一步的细节中，通信单元2651具有根据HTTP作为HTTP客户端与内容再现设备2620进行通信的功能。例如，通信单元2651可以使用HTTP范围从内容服务器2610选择性地获取编码数据的段和MPD。
存储单元2652存储与内容的再现相关的各种类型的信息。例如，由通信单元2651从内容服务器2610获取的段被顺序地缓冲。在存储单元2652中缓冲的编码数据的段以先进先出(FIFO)方式被顺序地提供给再现单元2653。
此外，存储单元2652基于向内容的URL添加参数的指令通过通信单元2651向URL添加参数，并且存储用于访问URL的定义，其中，该指令在MPD中描述并且是从内容服务器2611请求的，稍后将对其进行描述。
再现单元2653顺序地再现从存储单元2652提供的段。具体地，再现单元2653执行段解码、DA转换、渲染等等。
选择单元2654顺序地选择是否在相同内容中获取与MPD中包括的比特率中的任何一个相对应的编码数据的段。如图131所图示的，例如，当选择单元2654根据网络2612的频带顺序地选择段“A1”、“B2”和“A3”时，通信单元2651从内容服务器2610顺序地获取段“A1”、“B2”和“A3”。
当前位置获取单元2656可以被配置有获取内容再现设备2620的当前位置(例如，获取全球定位系统(GPS)接收器等的当前位置)的模块。此外，当前位置获取单元2656可以使用无线网络获取内容再现设备2620的当前位置。
<内容服务器2611的配置>
图135是用于描述内容服务器2611的示例性配置的图。如图135所图示的，内容服务器2611包括存储单元2671和通信单元2672。
存储单元2671存储MPD的URL信息。根据从请求内容再现的内容再现设备2620接收到的请求，将MPD的URL信息从内容服务器2611传送到内容再现设备2620。此外，当MPD的URL信息被提供至内容再现设备2620时，存储单元2671存储当内容再现设备2620向MPD中描述的URL添加参数时使用的定义信息。
通信单元2672是与内容再现设备2620的接口，并且经由网络2612与内容再现设备2620进行通信。换句话说，通信单元2672从请求内容再现的内容再现设备2620接收用于请求MPD的URL信息的请求，并且将MPD的URL信息传送至内容再现设备2620。从通信单元2672传送的MPD的URL包括通过内容再现设备2620添加了参数的信息。
可以基于由内容服务器2611和内容再现设备2620共享的定义信息对要通过内容再现设备2620添加到MPD的URL的参数执行各种设置。例如，可以通过内容再现设备2620向MPD的URL添加信息，诸如内容再现设备2620的当前位置、使用内容再现设备2620的用户的用户ID、内容再现设备2620的存储器大小和内容再现设备2620的存储容量。
在具有上述配置的内容再现系统中，由于应用了上面参考图1至图118描述的本技术，因此可以获得与上面参考图1至图118描述的效果相同的效果。
换句话说，内容服务器2610的编码器2641具有根据上述实施例的图像编码设备的功能。此外，内容再现设备2620的再现单元2653具有根据上述实施例的图像解码设备的功能。因此，可以抑制编码和解码所需的存储容量的增大。
此外，在内容再现系统中，由于传送和接收根据本技术编码的数据，因此可以抑制编码和解码所需的存储容量的增大。
<16.Wi-Fi标准的无线通信系统的应用示例>
<Wi-Fi标准的无线通信系统的应用示例>
将对本技术所应用的无线通信系统中的无线通信设备的基本操作示例进行描述。
<无线通信设备的基本操作示例>
首先，传送和接收无线分组直到建立对等(P2P)连接，并且操作具体应用。
然后，在通过第二层建立连接之前，传送和接收无线分组直到指定要使用的具体应用，然后建立P2P连接，并且操作具体应用。此后，在通过第二层建立连接之后，传送和接收用于激活具体应用的无线分组。
<当具体应用的操作开始时的通信示例>
图136和图137是图示由用作作为无线分组的传送和接收示例的无线通信的基础的设备执行的示例性通信处理直到建立对等(P2P)连接并且操作具体应用的序列图。具体地，图示了在Wi-Fi联盟中标准化的Wi-Fi指向标准(也被称为“Wi-Fi P2P”)中建立连接的示例性指向连接建立处理。
在这里，在Wi-Fi指向中，多个无线通信设备检测其它方的无线通信设备的存在(设备发现和服务发现)。此外，当执行连接设备选择时，通过Wi-Fi保护设置(WPS)在所选择的设备之间执行设备认证，然后建立指向连接。在Wi-Fi指向中，多个无线通信设备决定用作主设备(分组拥有者)或者从设备(客户端)，并且形成通信组。
在这里，在该示例性通信处理中，没有图示一些分组的传送和接收。例如，在第一连接时，如上所述，用于使用WPS的分组交换是不必要的，并且分组交换在认证请求/响应等等的交换中也是必要的。然而，在图136和图137中，没有图示这种分组交换，并且仅在稍后图示了第二连接。
此外，尽管在图136和图137中图示了第一无线通信设备2701与第二无线通信设备2702之间的示例性通信处理，但是这同样适用于其它无线通信设备之间的通信处理。
首先，在第一无线通信设备2701与第二无线通信设备2702之间执行设备发现(2711)。例如，第一无线通信设备2701传送探测请求(响应请求信号)，并且从第二无线通信设备2702接收对探测请求的探测响应(响应信号)。因此，第一无线通信设备2701和第二无线通信设备2702可以发现其它方的存在。此外，通过设备发现，可以获取其它方的设备名称或者类型(TV、PC、智能电话等等)。
然后，在第一无线通信服务2701与第二无线通信服务2702之间执行服务发现(2712)。例如，第一无线通信设备传送服务发现查询，该服务发现查询查询由通过设备发现所发现的第二无线通信设备2702支持的服务。然后，第一无线通信设备2701可以通过从第二无线通信设备2702接收服务发现响应来获取第二无线通信设备2702支持的服务。换句话说，通过服务发现，可以获取例如可由其它方执行的服务。例如，可由其它方执行的服务是服务或者协议(数字生活网络联盟(DLNA)、数字媒体渲染器(DMR)等等)。
然后，用户执行选择连接伙伴的操作(连接伙伴选择操作)(2713)。仅可以在第一无线通信设备2701和第二无线通信设备2702中的任何一个中执行连接伙伴选择操作。例如，在第一无线通信设备2701的显示单元上显示连接伙伴选择画面，并且根据用户操作在连接伙伴选择画面上选择第二无线通信设备2702作为连接伙伴。
当用户执行连接伙伴选择操作(2713)时，在第一无线通信设备2701与第二无线通信设备2702之间执行组拥有者协商(2714)。在图136和图137图示的示例中，作为组拥有者协商的结果，第一无线通信设备2701成为组拥有者2715，以及第二无线通信设备2702成为客户端2716。
然后，在第一无线通信设备2701与第二无线通信设备2702之间执行处理(2717至2720)，因此建立指向连接。换句话说，顺序地执行关联(L2(第二层)链路建立)(2717)和安全链路建立(2718)。此外，由简单服务发现协议(SSDP)对L3顺序地执行IP地址分配(2719)和L4设置(2720)。此外，L2(层2)指示第二层(数据链路层)，L3(层3)指示第三层(网络层)，以及L4(层4)指示第四层(传输层)。
然后，用户执行具体应用指定操作或者激活操作(应用指定/激活操作)(2721)。仅可以在第一无线通信设备2701和第二无线通信设备2702中的任何一个中执行应用指定/激活操作。例如，在第一无线通信设备2701的显示单元上显示应用指定/激活操作画面，并且根据用户操作在应用指定/激活操作画面上选择具体应用。
当用户执行应用指定/激活操作(2721)时，在第一无线通信设备2701与第二无线通信设备2702之间执行与应用指定/激活操作相对应的具体应用(2722)。
在这里，假设在Wi-Fi指向标准之前的规格(在IEEE802.11中标准化的规格)的范围内在接入点基站(AP-STA)之间执行连接。在这种情况下，很难检测到在通过第二层建立连接之前(在IEEE802.11术语中执行关联之前)要预先连接的设备。
另一方面，如图136和图137所图示的，在Wi-Fi指向中，当通过设备发现或者服务发现(选项)寻找连接伙伴候选时，可以获取连接伙伴的信息。连接伙伴的信息的示例包括基本设备的类型和所支持的具体应用。此外，可以使用户基于所获取的连接伙伴的信息来选择连接伙伴。
通过扩展该规格，还可以实现在通过第二层建立连接之前指定具体应用、选择连接伙伴、以及在选择之后自动地激活具体应用的无线通信系统。在图139中图示了在这种情况下建立连接的序列的示例。此外，在图138中图示了通信处理中收发的帧格式的示例性配置。
<帧格式的示例性配置>
图138是示意性地图示由作为本技术基础的设备执行的通信处理中收发的帧格式的示例性配置的图。换句话说，图138图示了用于通过第二层建立连接的MAC帧的示例性配置。具体地，图示了用于实现图139图示的序列的关联请求/响应(2787)的帧格式的示例。
如图138所图示的，MAC帧包括帧控制(2751)至FCS(2758)，以及范围从帧控制(2751)至序列控制(2756)的部分用作MAC头部。此外，当传送关联请求时，在帧控制(2751)中设置B3B2＝“0b00”以及B7B6B5B4＝“0b0000”。此外，当封装关联响应时，在帧控制(2751)中设置B3B2＝“0b00”以及B7B6B5B4＝“0b0001”。此外，“0b00”是二进制记数法中的“00”，“0b0000”是二进制记数法中的“0000”，以及“0b0001”是二进制记数法中的“0001”。
在这里，图138图示的MAC帧(帧主体(2757))基本上是IEEE802.11-2007规范的7.2.3.4和7.2.3.5节中描述的关联请求/响应帧格式。在这里，不同在于，包括独立扩展信息元素(在下文中，缩写为“IE”)(2759)以及IEEE 802.11规范中定义的IE。
此外，为了指示特定于供应商的IE(2760)，将十进位数127设置为IE类型(信息元素ID(2761))。在这种情况下，通过IEEE802.11-2007规范的7.3.2.26节，长度字段(2762)和OUI字段(2763)是随后的，并且特定于供应商的内容(2764)排列在其后。
作为特定于供应商的内容(2764)的内容，首先设置指示特定于供应商的IE类型的字段(IE类型(2765))。随后，假设给出能够存储多个子元素(2766)的配置。
作为子元素(2766)的内容，假设包括具体应用操作时要使用的具体应用的名称(2767)和设备角色(2768)。此外，假设包括具体应用的信息(用于L4设置的信息)(2769)、用于其控制等等的端口号和与具体应用中的能力相关的信息(能力信息)(2770)。在这里，例如，当指定的具体应用是DLNA时，能力信息是用于指定是否支持音频传送/再现、是否支持视频传送/再现等等的信息。
在具有上述配置的无线通信系统中，由于应用了上面参考图1至图118描述的本技术，因此可以获得与上面参考图1至图118描述的效果相同的效果。换句话说，可以抑制编码和解码所需的存储容量的增大。此外，在无线通信系统中，由于执行根据本技术编码的数据的传送和接收，因此可以抑制编码和解码所需的存储容量的增大。
在本说明书中，已经结合将各种类型的信息片以及图像数据的编码数据多路复用成编码流并且从编码侧传送到解码侧的示例作出了描述。然而，传送信息的技术不限于该示例。例如，可以在不多路复用成编码比特流的情况下，将信息作为与编码比特流相关联的单个数据进行传送或者记录。在这里，术语“关联”意味着比特流中包括的图像(或者图像的一部分(诸如片段或者块))可以在解码时链接到与图像相对应的信息。换句话说，可以通过不同于图像(或者比特流)的传输路径传送信息。此外，可以在不同于图像(或者比特流)的记录介质(或者相同记录介质的不同记录区域)中记录信息。此外，例如，信息和图像(或者位流)可以以任意单位(诸如多个帧的单位、帧的单位或者帧的一部分的单位)彼此相关联。
此外，在本说明书中，假设编码树单元(CTU)为包括LCU(CU的最大数量)的编码树块(CTB)和在LCU基础(水平)上处理时的参数的单位。此外，假设配置CTU的编码单位(CU)为包括编码块(CB)和在CU基础(水平)上处理时的参数的单位。
本技术也可以具有下列配置。
(1)一种图像处理设备，包括：
运动补偿单元，在当前层的解码中执行运动补偿；以及
第一压缩单元，对所述当前层的运动向量进行压缩，该运动向量由所述运动补偿单元重建并且用于其它层的解码中的运动补偿。
(2)根据(1)至(9)中的任一项所述的图像处理设备，还包括：
第二压缩单元，以高于所述第一压缩单元的压缩率的压缩率对由所述运动补偿单元重建的所述当前层的运动向量进行压缩，
其中所述运动补偿单元使用由所述第二压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
(3)根据(2)所述的图像处理设备，
其中所述第二压缩单元还对由所述第一压缩单元压缩的运动向量进行压缩。
(4)根据(1)至(9)中的任一项所述的图像处理设备，
其中所述运动补偿单元使用由所述第一压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
(5)根据(1)至(9)中的任一项所述的图像处理设备，还包括：
接收单元，接收标志，所述标志指示是否压缩用于其它层的解码中的运动补偿的所述当前层的运动向量；以及
选择单元，当通过所述接收单元接收到的所述标志指示运动向量被压缩时，选择由所述第一压缩单元压缩的运动向量作为用于所述其它层的解码中的运动补偿的所述当前层的运动向量，以及当通过所述接收单元接收到的所述标志指示运动向量没有被压缩时，选择没有被所述第一压缩单元压缩的运动向量作为用于所述其它层的解码中的运动补偿的所述当前层的运动向量。
(6)根据(5)所述的图像处理设备，
其中不管通过所述接收单元接收到的所述标志的值如何，所述运动补偿单元都使用由所述第一压缩单元压缩的运动向量在所述当前层的解码中执行运动补偿。
(7)根据(1)至(9)中的任一项所述的图像处理设备，
其中所述第一压缩单元从由所述运动补偿单元重建的多个运动向量之中选择作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
(8)根据(1)至(9)中的任一项所述的图像处理设备，
其中所述第一压缩单元使用由所述运动补偿单元重建的多个运动向量计算作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
(9)根据(1)至(8)中的任一项所述的图像处理设备，
其中所述运动补偿单元使用在所述其它层的解码中的运动补偿中重建的运动向量执行运动补偿。
(10)一种图像处理设备的图像处理方法，包括：
由所述图像处理设备在当前层的解码中执行运动补偿；
由所述图像处理设备对所述当前层的运动向量进行压缩，该运动向量通过所述运动补偿重建并且用于其它层的解码中的运动补偿。
(11)一种图像处理设备，包括：
运动预测/补偿单元，在当前层的编码中执行运动预测和补偿；以及
第一压缩单元，对所述当前层的运动向量进行压缩，该运动向量由所述运动预测/补偿单元生成并且用于其它层的编码中的运动预测和补偿。
(12)根据(11)至(19)中的任一项所述的图像处理设备，还包括：
第二压缩单元，以高于所述第一压缩单元的压缩率的压缩率对由所述运动预测/补偿单元生成的所述当前层的运动向量进行压缩，
其中所述运动预测/补偿单元使用由所述第二压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
(13)根据(12)所述的图像处理设备，
其中所述第二压缩单元还对由所述第一压缩单元压缩的运动向量进行压缩。
(14)根据(11)至(19)中的任一项所述的图像处理设备，
其中所述运动预测/补偿单元使用由所述第一压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
(15)根据(11)至(19)中的任一项所述的图像处理设备，还包括：
控制单元，控制是否压缩用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；
选择单元，根据所述控制单元的控制，选择没有被所述第一压缩单元压缩的运动向量和由所述第一压缩单元压缩的运动向量中的任何一个作为用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；
生成单元，根据所述控制单元的控制，生成标志，所述标志指示是否压缩用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；以及
传送单元，传送由所述生成单元生成的所述标志。
(16)根据(15)所述的图像处理设备，
其中不管所述控制单元的控制如何，所述运动预测/补偿单元都使用由所述第一压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
(17)根据(11)至(19)中的任一项所述的图像处理设备，
其中所述第一压缩单元从由所述运动预测/补偿单元生成的多个运动向量之中选择作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
(18)根据(11)至(19)中的任一项所述的图像处理设备，
其中所述第一压缩单元使用由所述运动预测/补偿单元生成的多个运动向量计算作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
(18)根据(11)至(18)中的任一项所述的图像处理设备，
其中所述运动预测/补偿单元使用在所述其它层的所述编码中的所述运动预测和补偿中生成的运动向量执行所述运动预测和补偿。
(19)根据(11)至(18)中的任一项所述的图像处理设备，
其中所述运动预测/补偿单元使用在所述其它层的编码中的运动预测和补偿中生成的运动向量执行运动预测和补偿。
(20)一种图像处理设备的图像处理方法，包括：
由所述图像处理设备在当前层的编码中执行运动预测和补偿；以及
由所述图像处理设备对所述当前层的运动向量进行压缩，该运动向量通过所述运动预测和补偿生成并且用于其它层的编码中的运动预测和补偿。
(21)一种图像处理设备，包括：
接收单元，接收通过对多个层次化的图像数据进行编码获得的可缩放图像编码数据；
稀化处理单元，在由所述接收单元接收到的所述可缩放图像编码数据的基本层的当前区域上稀化帧内预测模式；
存储单元，将由所述稀化处理单元执行所述稀化之后留下的所述基本层的帧内预测模式存储为所述当前区域的代表；
帧内预测单元，从所述存储单元读取存储在所述存储单元中的所述基本层的帧内预测模式之中与由所述接收单元接收到的所述可缩放图像编码数据的增强层的当前块相对应的所述基本层的帧内预测模式，使用读取的帧内预测模式执行帧内预测，并且生成所述增强层的所述当前块的预测图像；以及
解码单元，使用由所述帧内预测单元生成的所述预测图像对由所述接收单元接收到的可缩放图像编码数据的增强层进行解码。
(22)根据(21)以及(23)至(29)中的任一项所述的图像处理设备，
其中所述稀化处理单元将在所述当前区域中首先执行帧内预测的块的帧内预测模式设置为所述当前区域的代表，并且丢弃所述当前区域中的其它块的帧内预测模式。
(23)根据(21)、(22)以及(24)至(29)中的任一项所述的图像处理设备，
其中所述稀化处理单元将所述当前区域的中心附近的块的帧内预测模式设置为所述当前区域的代表，并且丢弃所述当前区域中的其它块的帧内预测模式。
(24)根据(21)至(23)以及(25)至(29)中的任一项所述的图像处理设备，
其中所述接收单元还接收稀化率，以及
所述稀化处理单元以由所述接收单元接收到的所述稀化率对所述基本层的帧内预测模式进行稀化。
(25)根据(21)至(24)以及(26)至(29)中的任一项所述的图像处理设备，
其中基于所述基本层的分辨率来设置所述稀化率。
(26)根据(21)至(25)以及(27)至(29)中的任一项所述的图像处理设备，
其中所述稀化率被存储在所述可缩放图像编码数据的特定位置处并且被传送。
(27)根据(21)至(26)、(28)和(29)中的任一项所述的图像处理设备，
其中通过视频参数集传送所述稀化率。
(28)根据(21)至(27)和(29)中的任一项所述的图像处理设备，
其中通过序列参数集、图片参数集或者所述可缩放图像编码数据的所述增强层的片段头部传送所述稀化率。
(29)根据(21)至(28)中的任一项所述的图像处理设备，
其中所述解码单元对根据与所述可缩放图像编码数据的所述增强层的编码方案不同的编码方案编码的所述可缩放图像编码数据的所述基本层进行解码。
(30)一种图像处理方法，包括：
接收通过对多个层次化的图像数据进行编码获得的可缩放图像编码数据；
在接收到的可缩放图像编码数据的基本层的当前区域上稀化帧内预测模式；
在存储单元中将所述稀化之后留下的所述基本层的帧内预测模式存储为所述当前区域的代表；
从所述存储单元读取存储在所述存储单元中的所述基本层的帧内预测模式之中与接收到的可缩放图像编码数据的增强层的当前块相对应的所述基本层的帧内预测模式，使用读取的帧内预测模式执行帧内预测，并且生成所述增强层的所述当前块的预测图像；以及
使用生成的预测图像对接收到的可缩放图像编码数据的所述增强层进行解码。
(31)一种图像处理设备，包括：
稀化处理单元，在多个层次化的图像数据的基本层的当前区域上稀化帧内预测模式；
存储单元，将由所述稀化处理单元执行所述稀化之后留下的所述基本层的帧内预测模式存储为所述当前区域的代表；
帧内预测单元，从所述存储单元读取存储在所述存储单元中的所述基本层的帧内预测模式之中与所述图像数据的增强层的当前块相对应的所述基本层的帧内预测模式，使用读取的帧内预测模式执行帧内预测，并且生成所述增强层的所述当前块的预测图像；
编码单元，使用由所述帧内预测单元生成的所述预测图像对所述图像数据的所述增强层进行编码；以及
传送单元，传送通过经由所述编码单元对所述图像数据进行编码获得的可缩放图像编码数据。
(32)根据(31)以及(33)至(39)中的任一项所述的图像处理设备，
其中所述稀化处理单元将在所述当前区域中首先执行帧内预测的块的帧内预测模式设置为所述当前区域的代表，并且丢弃所述当前区域中的其它块的帧内预测模式。
(33)根据(31)、(32)以及(34)至(39)中的任一项所述的图像处理设备，
其中所述稀化处理单元将所述当前区域的中心附近的块的帧内预测模式设置为所述当前区域的代表，并且丢弃所述当前区域中的其它块的帧内预测模式。
(34)根据(31)至(33)以及(35)至(39)中的任一项所述的图像处理设备，还包括
稀化率设置单元，对稀化率进行设置，
其中所述稀化处理单元以由所述稀化率设置单元设置的所述稀化率对所述基本层的所述帧内预测模式进行稀化。
(35)根据(31)至(34)以及(36)至(39)中的任一项所述的图像处理设备，
其中所述稀化率设置单元基于所述基本层的分辨率来设置所述稀化率。
(36)根据(31)至(35)以及(37)至(39)中的任一项所述的图像处理设备，
其中所述传送单元将所述稀化率存储在所述可缩放图像编码数据的特定位置处，并且传送所述稀化率。
(37)根据(31)至(36)、(38)和(39)中的任一项所述的图像处理设备，
其中所述传输单元通过视频参数集传送所述稀化率。
(38)根据(31)至(37)和(39)中的任一项所述的图像处理设备，
其中所述传输单元通过序列参数集、图片参数集或者所述可缩放图像编码数据的所述增强层的片段头部传送所述稀化率。
(39)根据(31)至(38)中的任一项所述的图像处理设备，
其中所述解码单元根据与所述图像数据的所述增强层的编码方案不同的编码方案对所述图像数据的所述基本层进行编码。
(40)一种图像处理方法，包括：
在多个层次化的图像数据的基本层的当前区域上稀化帧内预测模式；
在存储单元中将所述稀化之后留下的所述基本层的帧内预测模式存储为所述当前区域的代表；
从所述存储单元读取存储在所述存储单元中的所述基本层的所述帧内预测模式之中与所述图像数据的增强层的当前块相对应的所述基本层的帧内预测模式，使用读取的帧内预测模式执行帧内预测，并且生成所述增强层的所述当前块的预测图像；
使用生成的预测图像对所述图像数据的所述增强层进行编码；以及
传送通过对所述图像数据进行编码获得的可缩放图像编码数据。
(41)一种图像解码设备，包括：
接收单元，接收包括多个层的图像数据的当前层的编码数据和指示用于所述图像数据的当前层的解码的其它层的运动信息的预测方向的控制信息；
运动信息获取单元，获取由所述接收单元接收到的所述控制信息指示的所述预测方向上的所述其它层的运动信息；
预测图像生成单元，使用由所述运动信息获取单元获取的预测方向上的所述其它层的运动信息执行运动预测，并且生成所述当前层的预测图像；以及
解码单元，使用由所述预测图像生成单元生成的所述预测图像对所述当前层的所述编码数据进行解码。
(42)根据(41)以及(43)至(49)中的任一项所述的图像解码设备，
其中所述控制信息是指示所述预测方向是否是L0方向的信息。
(43)根据(41)、(42)以及(44)至(49)中的任一项所述的图像解码设备，
其中所述控制信息是指示所述预测方向是否是L1方向的信息。
(44)根据(41)至(43)以及(45)至(49)中的任一项所述的图像解码设备，
其中所述控制信息是指示所述预测方向是L0方向还是L1方向的信息。
(45)根据(41)至(44)以及(46)至(49)中的任一项所述的图像解码设备，
其中所述控制信息是针对通过划分图片获得的多个片段中的每个片段指示预测方向的信息。
(46)根据(41)至(45)以及(47)至(49)中的任一项所述的图像解码设备，
其中所述接收单元针对所述多个片段中的每个片段接收所述控制信息。
(47)根据(41)至(46)、(48)和(49)中的任一项所述的图像解码设备，还包括：
转换单元，当由所述运动信息获取单元获取的所述其它层的运动信息的预测方向不同于在使用时的预测方向时，转换所述其它层的运动信息的预测方向。
(48)根据(41)至(47)和(49)中的任一项所述的图像解码设备，
其中所述转换单元还基于所述当前层转换由所述运动信息获取单元获取的所述其它层的运动信息。
(49)根据(41)至(48)中的任一项所述的图像解码设备，
其中所述运动信息获取单元获取由与所述当前层的当前区域相对应的所述其它层的区域中的所述控制信息指示的所述预测方向上的所述运动信息。
(50)一种图像解码方法，包括：
接收包括多个层的图像数据的当前层的编码数据和指示用于所述图像数据的当前层的解码的其它层的运动信息的预测方向的控制信息；
获取由接收到的控制指示的所述预测方向上的其它层的运动信息；
使用获取的所述预测方向上的所述其它层的运动信息执行运动预测，并且生成所述当前层的预测图像；以及
使用生成的预测图像对所述当前层的所述编码数据进行解码。
(51)一种图像编码设备，包括：
预测方向设置单元，设置用于包括多个层的图像数据的当前层的编码的其它层的运动信息的预测方向；
运动信息获取单元，获取由所述预测方向设置单元设置的所述预测方向上的其它层的运动信息；
预测图像生成单元，使用由所述运动信息获取单元获取的预测方向上的所述其它层的运动信息执行运动预测，并且生成所述当前层的预测图像；
编码单元，使用由所述预测图像生成单元生成的所述预测图像对所述图像数据的所述当前层进行编码；以及
传送单元，传送由所述编码单元生成的所述图像数据的编码数据以及指示由所述预测方向设置单元设置的所述预测方向的控制信息。
(52)根据(51)以及(53)至(59)中的任一项所述的图像编码设备，
其中所述控制信息是指示由所述预测方向设置单元设置的所述预测方向是否是L0方向的信息。
(53)根据(51)、(52)以及(54)至(59)中的任一项所述的图像编码设备，
其中所述控制信息是指示由所述预测方向设置单元设置的所述预测方向是否是L1方向的信息。
(54)根据(51)至(53)以及(55)至(59)中的任一项所述的图像编码设备，
其中所述控制信息是指示由所述预测方向设置单元设置的所述预测方向是L0方向还是L1方向的信息。
(55)根据(51)至(54)以及(56)至(59)中的任一项所述的图像编码设备，
其中所述预测方向设置单元针对通过划分图片获得的多个片段中的每个片段设置所述预测方向。
(56)根据(51)至(55)以及(57)至(59)中的任一项所述的图像编码设备，
其中所述传输单元针对所述多个片段中的每个片段传送所述控制信息。
(57)根据(51)至(56)、(58)和(59)中的任一项所述的图像编码设备，还包括
转换单元，当由所述运动信息获取单元获取的所述其它层的运动信息的所述预测方向不同于在使用时的预测方向时，转换所述其它层的运动信息的所述预测方向。
(58)根据(51)至(57)和(59)中的任一项所述的图像编码设备，
其中所述转换单元还基于所述当前层转换由所述运动信息获取单元获取的所述其它层的所述运动信息。
(59)根据(51)至(58)中的任一项所述的图像编码设备，
其中所述运动信息获取单元获取在与所述当前层的当前区域相对应的其它层的区域中由所述预测方向设置单元设置的所述预测方向上的运动信息。
(60)一种图像编码方法，包括：
设置用于包括多个层的图像数据的当前层的编码的其它层的运动信息的预测方向；
获取设置的预测方向上的其它层的运动信息；
使用由获取的预测方向上的所述其它层的运动信息执行运动预测，并且生成所述当前层的预测图像；
使用生成的预测图像对所述图像数据的所述当前层进行编码；以及
传送通过对所述图像数据进行编码获得的编码数据以及指示设置的预测方向的控制信息。
参考符号列表
100 图像编码设备
114 运动预测/补偿单元
121 运动向量压缩单元
122 运动向量存储器
200 图像解码设备
211 运动补偿单元
221 运动向量压缩单元
222 运动向量存储器
300 图像编码设备
314 运动预测/补偿单元
321 运动向量压缩单元
322 时间存储器
323 运动向量压缩单元
324 运动向量存储器
400 图像解码设备
411 运动补偿单元
421 运动向量压缩单元
422 时间存储器
423 运动向量压缩单元
424 运动向量存储器
500 图像编码设备
514 运动预测/补偿单元
506 无损编码单元
507 累积缓冲器
521 控制单元
522 标志生成单元
531 选择单元
532 时间存储器
533 运动向量压缩单元
534 运动向量存储器
535 选择单元
600 图像解码设备
601 累积缓冲器
602 无损解码单元
621 控制单元
631 选择单元
632 时间存储器
633 运动向量压缩单元
634 运动向量存储器
635 选择单元

Claims (8)

1.一种图像处理设备，包括：
第一运动预测/补偿单元，在当前层的编码中执行运动预测和补偿；
第一压缩单元，对所述当前层的运动向量进行压缩；以及
第二压缩单元，以高于或等于所述第一压缩单元的压缩率的压缩率对所述当前层的运动向量进行压缩，
其中所述第一运动预测/补偿单元使用由所述第二压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿，以及第二运动预测/补偿单元使用由所述第一压缩单元压缩的运动向量在其它层的编码中执行运动预测和补偿。
2.根据权利要求1所述的图像处理设备，
其中所述第二压缩单元还对由所述第一压缩单元压缩的运动向量进行压缩。
3.根据权利要求1所述的图像处理设备，还包括：
控制单元，控制是否压缩用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；
选择单元，根据所述控制单元的控制，选择没有被所述第一压缩单元压缩的运动向量和由所述第一压缩单元压缩的运动向量中的任何一个作为用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；
生成单元，根据所述控制单元的控制，生成标志，所述标志指示是否压缩用于所述其它层的编码中的运动预测和补偿的所述当前层的运动向量；以及
传送单元，传送由所述生成单元生成的所述标志。
4.根据权利要求3所述的图像处理设备，
其中不管所述控制单元的控制如何，所述第一运动预测/补偿单元都使用由所述第二压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿。
5.根据权利要求1所述的图像处理设备，
其中所述第一压缩单元从由所述第一运动预测/补偿单元生成的多个运动向量之中选择作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
6.根据权利要求1所述的图像处理设备，
其中所述第一压缩单元使用由所述第一运动预测/补偿单元生成的多个运动向量计算作为代表值的运动向量，并且对所述当前层的运动向量进行压缩。
7.根据权利要求1所述的图像处理设备，
其中所述第二运动预测/补偿单元使用在所述当前层的编码中的运动预测和补偿中生成的运动向量执行运动预测和补偿。
8.一种图像处理设备的图像处理方法，包括：
由所述图像处理设备的第一运动预测/补偿单元在当前层的编码中执行运动预测和补偿；
由所述图像处理设备的第一压缩单元对所述当前层的运动向量进行压缩；以及
由所述图像处理设备的第二压缩单元以高于或等于所述第一压缩单元的压缩率的压缩率对所述当前层的运动向量进行压缩，
其中所述第一运动预测/补偿单元使用由所述第二压缩单元压缩的运动向量在所述当前层的编码中执行运动预测和补偿，以及第二运动预测/补偿单元使用由所述第一压缩单元压缩的运动向量在其它层的编码中执行运动预测和补偿。
CN201510479166.0A 2012-09-03 2013-08-21 图像处理设备和方法 Active CN105141964B (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2012-193607 2012-09-03
JP2012193607 2012-09-03
JP2012286726 2012-12-28
JP2012-286726 2012-12-28
JP2013-064131 2013-03-26
JP2013064131 2013-03-26
CN201380045957.1A CN104604231B (zh) 2012-09-03 2013-08-21 图像处理设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201380045957.1A Division CN104604231B (zh) 2012-09-03 2013-08-21 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN105141964A CN105141964A (zh) 2015-12-09
CN105141964B true CN105141964B (zh) 2018-07-03

Family

ID=50183295

Family Applications (4)

Application Number Title Priority Date Filing Date
CN201380045957.1A Active CN104604231B (zh) 2012-09-03 2013-08-21 图像处理设备和方法
CN201811362782.8A Active CN109413424B (zh) 2012-09-03 2013-08-21 图像处理设备和方法
CN201510479166.0A Active CN105141964B (zh) 2012-09-03 2013-08-21 图像处理设备和方法
CN201811362793.6A Active CN109413425B (zh) 2012-09-03 2013-08-21 图像处理设备和方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
CN201380045957.1A Active CN104604231B (zh) 2012-09-03 2013-08-21 图像处理设备和方法
CN201811362782.8A Active CN109413424B (zh) 2012-09-03 2013-08-21 图像处理设备和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN201811362793.6A Active CN109413425B (zh) 2012-09-03 2013-08-21 图像处理设备和方法

Country Status (8)

Country Link
US (3) US20150208074A1 (zh)
EP (2) EP3687173A1 (zh)
JP (2) JP6260534B2 (zh)
KR (2) KR102122620B1 (zh)
CN (4) CN104604231B (zh)
MX (1) MX340603B (zh)
RU (2) RU2658793C2 (zh)
WO (1) WO2014034480A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704836B (zh) * 2012-10-03 2018-04-17 寰发股份有限公司 三维视频、多视图视频及可缩放视频的编码方法及装置
EP3163882B1 (en) 2014-06-30 2019-08-07 Sony Corporation Information processing device and method
WO2016143972A1 (ko) * 2015-03-11 2016-09-15 엘지전자(주) 비디오 신호의 인코딩/디코딩 방법 및 장치
US10602180B2 (en) 2017-06-13 2020-03-24 Qualcomm Incorporated Motion vector prediction
JP6977422B2 (ja) * 2017-09-13 2021-12-08 株式会社Ｊｖｃケンウッド トランスコード装置、トランスコード方法及びトランスコードプログラム
EP3700204A4 (en) 2017-10-20 2020-08-26 Fujitsu Limited MOVING IMAGE ENCODING DEVICE, MOVING IMAGE ENCODING PROCESS, MOVING IMAGE ENCODING COMPUTER PROGRAM, MOVING IMAGE DECODING DEVICE, MOVING IMAGE DECODING PROCESS AND PROGRAM MOVING IMAGE DECODING COMPUTING
KR102456474B1 (ko) * 2018-04-27 2022-10-20 삼성디스플레이 주식회사 영상 처리 회로, 영상 처리 회로를 포함하는 표시 장치 및 그것의 구동 방법
US11665365B2 (en) * 2018-09-14 2023-05-30 Google Llc Motion prediction coding with coframe motion vectors
MX2021013067A (es) * 2019-04-25 2021-12-14 Op Solutions Llc Candidatos en tramas con movimiento global.

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002199399A (ja) * 2000-12-27 2002-07-12 Sony Corp 動きベクトル変換方法及び変換装置
KR100774296B1 (ko) * 2002-07-16 2007-11-08 삼성전자주식회사 움직임 벡터 부호화 방법, 복호화 방법 및 그 장치
TWI268715B (en) * 2004-08-16 2006-12-11 Nippon Telegraph & Telephone Picture encoding method, picture decoding method, picture encoding apparatus, and picture decoding apparatus
JP4178521B2 (ja) * 2004-09-06 2008-11-12 日本ビクター株式会社 符号化映像信号の記録方法、及び映像信号符号化装置
KR100888963B1 (ko) * 2004-12-06 2009-03-17 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
KR20060088461A (ko) * 2005-02-01 2006-08-04 엘지전자 주식회사 영상신호의 엔코딩/디코딩시에 영상블록을 위한 모션벡터를베이스 레이어 픽처의 모션벡터로부터 유도하는 방법 및장치
KR100896279B1 (ko) * 2005-04-15 2009-05-07 엘지전자 주식회사 영상 신호의 스케일러블 인코딩 및 디코딩 방법
EP1897377A4 (en) * 2005-05-26 2010-12-22 Lg Electronics Inc METHOD FOR PROVIDING AND USING INTERLOCK PREDICTION INFORMATION FOR VIDEO SIGNAL
EP1946563A2 (en) * 2005-10-19 2008-07-23 Thomson Licensing Multi-view video coding using scalable video coding
US9014280B2 (en) * 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
KR101375669B1 (ko) * 2006-11-07 2014-03-19 삼성전자주식회사 인터 예측 부호화, 복호화 방법 및 장치
CN101420609B (zh) * 2007-10-24 2010-08-25 华为终端有限公司 视频编码、解码方法及视频编码器、解码器
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
TW201041404A (en) * 2009-03-06 2010-11-16 Sony Corp Image processing device and method
WO2012096164A1 (ja) * 2011-01-12 2012-07-19 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
US8553769B2 (en) * 2011-01-19 2013-10-08 Blackberry Limited Method and device for improved multi-layer data compression
US20130188013A1 (en) * 2011-07-22 2013-07-25 Qualcomm Incorporated Mvc based 3dvc codec supporting inside view motion prediction (ivmp) mode
JP5950541B2 (ja) * 2011-11-07 2016-07-13 キヤノン株式会社 動きベクトル符号化装置、動きベクトル符号化方法及びプログラム、動きベクトル復号装置、動きベクトル復号方法及びプログラム
US9485503B2 (en) * 2011-11-18 2016-11-01 Qualcomm Incorporated Inside view motion prediction among texture and depth view components
US9900593B2 (en) * 2012-08-29 2018-02-20 Vid Scale, Inc. Method and apparatus of motion vector prediction for scalable video coding
CN104704836B (zh) * 2012-10-03 2018-04-17 寰发股份有限公司 三维视频、多视图视频及可缩放视频的编码方法及装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《3D Video Coding Using Advanced Prediction,Depth Modeling, and Encoder Control Methods》;Heiko Schwarz 等;《2012 IEEE Conference on Picture Coding Symposium》;20120509;第2部分，第1页第2列-第3页第2列 *
《CE9: Reduced resolution storage of motion vector data》;Yeping Su等;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，4th Meeting: Daegu, KR, 20-28 January, 2011，JCTVC-D072》;20110128;摘要，第3-4部分，第1-2页 *

Also Published As

Publication number Publication date
CN109413424B (zh) 2022-11-15
EP2892235B1 (en) 2020-07-22
US20190238881A1 (en) 2019-08-01
KR102221615B1 (ko) 2021-03-02
JP6260655B2 (ja) 2018-01-17
RU2018117906A3 (zh) 2019-02-01
CN104604231A (zh) 2015-05-06
WO2014034480A1 (ja) 2014-03-06
JP6260534B2 (ja) 2018-01-17
CN105141964A (zh) 2015-12-09
MX340603B (es) 2016-07-15
US10616598B2 (en) 2020-04-07
JPWO2014034480A1 (ja) 2016-08-08
EP2892235A1 (en) 2015-07-08
MX2015002453A (es) 2015-06-05
RU2658793C2 (ru) 2018-06-22
JP2016213875A (ja) 2016-12-15
CN109413424A (zh) 2019-03-01
EP3687173A1 (en) 2020-07-29
CN109413425B (zh) 2023-04-14
US20150208074A1 (en) 2015-07-23
EP2892235A4 (en) 2016-04-27
RU2015106126A (ru) 2016-09-10
RU2680741C2 (ru) 2019-02-26
CN109413425A (zh) 2019-03-01
KR20150052016A (ko) 2015-05-13
KR20200039836A (ko) 2020-04-16
US20170208338A1 (en) 2017-07-20
US10349076B2 (en) 2019-07-09
CN104604231B (zh) 2018-12-18
KR102122620B1 (ko) 2020-06-12
RU2018117906A (ru) 2018-07-25

Similar Documents

Publication Publication Date Title
CN105141964B (zh) 图像处理设备和方法
CN103650505B (zh) 视频译码中的运动向量预测
CN105611293B (zh) 图像处理装置和方法
KR20210042103A (ko) 분류를 갖는 이력 기반 후보 리스트
CN104813664B (zh) 图像处理设备和图像处理方法
CN104584549A (zh) 用于视频编码的方法和装置
CN105379282A (zh) 用于纹理译码的更精确先进残余预测(arp)
CN105122811A (zh) 3d视频译码中的相邻块视差向量导出
MX2015006474A (es) Dispositivo y metodo de procesamiento de imagenes.
AU2013321313B2 (en) Image processing device and method
CN105580374A (zh) Mv-hevc中的视图间相依性类型
CN103907352B (zh) 图像处理设备和方法
CN104584551A (zh) 解码装置、解码方法、编码装置以及编码方法
WO2015005136A1 (ja) 画像符号化装置および方法、並びに、画像復号装置および方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant