CN108184125B - 图像处理设备和方法 - Google Patents

图像处理设备和方法 Download PDF

Info

Publication number
CN108184125B
CN108184125B CN201810152253.9A CN201810152253A CN108184125B CN 108184125 B CN108184125 B CN 108184125B CN 201810152253 A CN201810152253 A CN 201810152253A CN 108184125 B CN108184125 B CN 108184125B
Authority
CN
China
Prior art keywords
motion vector
unit
prediction
information
block
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810152253.9A
Other languages
English (en)
Other versions
CN108184125A (zh
Inventor
佐藤数史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN108184125A publication Critical patent/CN108184125A/zh
Application granted granted Critical
Publication of CN108184125B publication Critical patent/CN108184125B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/33—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the spatial domain
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本公开涉及用于通过在运动向量的编码或解码中使用流水线处理来使得能够提高处理效率的图像处理装置和方法。在运动向量编码单元中，当在AMVP或合并模式中发现空间预测运动向量时，禁止使用与相关PU的右上部相邻的PU的运动向量。因此，在运动向量编码单元中，仅使用作为关于相关PU位于上部的PU的B1、B2以及作为位于左部的PU的A0、A1的运动向量信息，来执行运动向量的编码处理。本公开可以应用于例如图像处理装置。

Description

图像处理设备和方法
本申请是申请号为201280053690.6、申请日为2012年11月2日、名称为“图像处理设备和方法”的PCT发明专利申请的分案申请。
技术领域
本公开涉及一种图像处理设备和图像处理方法，并且更具体地涉及能够在对运动向量的编码或解码中通过流水线处理来提高处理效率的图像处理设备和图像处理方法。
背景技术
近年来，图像信息被视为数字信息，并且此时如下设备变得广泛普及：为了对信息进行高效传输和累积的目的，该设备通过采用用于通过使用图像信息所特有的冗余性的正交变换和运动补偿(诸如，离散余弦变换)来执行压缩的编码方法，来对图像进行压缩和编码。编码方法的示例包括MPEG(运动图片专家组)等。
具体地，MPEG2(ISO/IEC 13818-2)被定义为通用图像编码方法，并且是覆盖隔行扫描图像与逐行扫描图像以及标准分辨率图像与高分辨率图像这两者的标准。例如，MPEG2现在广泛用于诸如专业使用和消费者使用的更广范围的应用。例如，在标准分辨率为720×480像素的隔行扫描图像的情况下，通过使用MPEG2压缩方法来分配4Mbps至8Mbps的代码量(位速率)。另外，例如，在高分辨率为1920×1088像素的隔行扫描图像的情况下，通过使用MPEG2压缩方法来分配18Mbps至22Mbps的代码量(位速率)。因此，可以实现高压缩率和高图像质量。
MPEG2主要针对适合于进行广播的高图像质量编码，但是不支持相比于MEPG1更少代码量(位速率)的编码方法。也就是说，MPEG2不支持更高压缩率。随着便携式终端变得广泛普及，认为对于这样的编码方法的需求在将来会增长，并且为了对这样的需求作出响应，已对MPEG4编码方法进行标准化。关于图像编码方法，于1998年12月承认该规范作为国际标准中的ISO/IEC 14496-2。
在标准化的时间表中，在2003年3月，使H.264和MPEG-4第10部分(高级视频编码，下文中称为H.264/AVC)成为国际标准。
另外，作为H.264/AVC的扩展，在2005年2月将包括诸如RGB、4:2:2、4:4:4的专业使用所需的编码工具以及甚至在MPEG-2中所规定的8x8DCT和量化矩阵的FRExt(保真度范围扩展)标准化。因此，得到能够使用H.264/AVC来以优选方式表达甚至电影中所包括的胶片噪声(film noise)的编码方法，并且现在该方法用于诸如蓝光盘(商标)的广范围的应用。
然而，近来，提高了对于更高压缩率编码的需求，例如，对为高清晰度图像四倍的约4000×2000像素的图像进行压缩、以及在诸如因特网的有限传输容量的环境中分发高清晰度图像。出于该原因，在以上说明的ITU-T下的VCEG(＝视频编码专家组)中，已连续地进行了关于编码效率的改进的讨论。
作为这样的编码效率改进之一，为了使用根据AVC的中值预测来改进运动向量的编码，已提出了不仅自适应使用在AVC中所定义的从中值预测导出的“空间预测值”而且自适应使用“时间预测值”和“时空预测值”作为预测运动向量信息(下文中，也称为MV竞争(MVCompetition))(例如，参见非专利文献1)。
应注意，在AVC中，当选择了预测运动向量信息时，使用了在被称为JM(联合模型)的AVC的参考软件中所实现的高复杂度模式或低复杂度模式下的成本函数值。
更具体地，计算在使用预测运动向量信息的情况下的成本函数值，并且选择最佳预测运动向量信息。在图像压缩信息中，传送表示关于用于每个块的预测运动向量信息的信息的标记信息。
顺便提及，存在这样的担心：使得宏块大小为16像素×16像素不适合于作为下一代编码方法的目标的诸如UHD(超高清晰度；4000像素×2000像素)的大图片帧。
因此，当前，为了与AVC相比进一步改进编码效率的目的，正通过作为ITU-T与ISO/IEC的联合标准机构的JCTVC(联合协作组视频编码)对被称为HEVC(高效视频编码)的编码方法标准化。
根据HEVC方法，将编码单位(CU(Coding Unit))定义为与根据AVC的宏块相同的处理单位。不同于AVC的宏块，该CU的大小并不固定为16像素×16像素，而是在每个序列中，在图像压缩信息中指定该大小。在每个序列中，还指定了CU的最大大小(LCU＝最大编码单位)和最小大小(SCU＝最小编码单位)。另外，CU被划分成作为用作帧内或帧间预测的处理单位的区域(图片单位的图像的部分区域)的预测单位(PU)，并且被划分成作为用作正交变换的处理单位的区域(图片单位的图像的部分区域)的变换单位(TU)。
此外，在非专利文献2中，可以以子LCU单位传送量化参数QP。在每个图片的图像压缩信息中指定要以达到多大大小的编码单位传送量化参数。包括在图像压缩信息中的关于量化参数的信息以每个编码单位(Coding Unit)为单位来传送。
另外，作为运动信息的编码方法之一，提出了被称为运动分区合并(下文中也称为合并模式(Merge模式))的方法(例如，参见非专利文献2)。在该方法中，当所讨论的块的运动信息与周围块的运动信息相同时，仅传送标记信息。在解码期间，使用周围块的运动信息来重构所讨论的块的运动信息。
顺便提及，在非专利文献3中，提出了以下方法：当在以上说明的MVCompetition或Merge模式下导出作为处理目标的、所讨论的PU的空间预测值时，采用在与所讨论的PU相邻的PU当中的、在预定位置关系方面与所讨论的PU相邻的PU的运动向量，作为候选。
更具体地，采用作为与所讨论的PU的左下部相邻的PU的A0的运动向量以及作为与所讨论的PU的左部相邻的PU当中的位于A0之上的PU的A1的运动向量，作为候选。另外，采用作为与所讨论的PU的左上部相邻的PU的B2的运动向量、作为在与所讨论的PU的右上部相邻的PU的B0的运动向量、以及作为在与所讨论的PU的上部相邻的PU当中的位置与B0的左部相邻的PU的B1的运动向量，作为候选。
然后，按A0、A1的顺序以及按B0、B1、B2的顺序执行扫描，并且当检测到等同于所讨论的PU的运动向量信息的、具有参考帧的运动向量信息时，终止扫描。
引用列表
非专利文献
非专利文献1：Joel Jung,Guillaume Laroche,"Competition-BasedScheme forMotion Vector Selection and Coding",VCEG-AC06,ITU-TelecommunicationsStandardization SectorSTUDY GROUP 16Question 6Video Coding Experts Group(VCEG)29th Meeting:Klagenfurt,Austria,17-18July,2006
非专利文献2：Martin Winken,Sebastian Bosse,Benjamin Bross,PhilippHelle,Tobias Hinz,Heiner Kirchhoffer,Haricharan Lakshman,Detlev Marpe,SimonOudin,Matthias Preiss,Heiko Schwarz,Mischa Siekmann,Karsten Suehring,andThomas Wiegand,"Description of video coding technology proposed by FraunhoferHHI",JCTVC-A116,April,2010
非专利文献3：Minhua Zhou,"A Scalable motion vector competition andsimplified MVP calculation",JCTVC-D055,Joint Collaborative Team on VideoCoding(JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting:Daegu,KR,20-28July,2011
发明内容
本发明要解决的问题
然而，在提出非专利文献3时，需要在等待关于以上说明的相邻PU当中的位于右上部的PU的运动向量信息的确定之后，对所讨论的PU执行处理。出于该原因，存在这样的担心：使得当尝试以流水线实现用于在MVCompetition或Merge模式下导出空间预测值(Spatial predictor)的处理时，位于右上部的PU引起延迟。
鉴于这样的状况而作出了本公开，并且在运动向量的编码或解码中通过流水线处理来改进处理效率。
针对问题的解决方案
根据本公开的一方面的图像处理设备包括：相邻运动向量信息设置单元，当以用于对图像的当前块的运动向量进行解码的预测运动向量作为目标来生成空间预测运动向量时，相邻运动向量信息设置单元禁止使用位置与当前块的右上部相邻的右上块的运动向量；预测运动向量生成单元，预测运动向量生成单元以在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了被相邻运动向量信息设置单元禁止使用的右上块的运动向量之外的运动向量来生成当前块的空间预测向量；以及运动向量解码单元，其使用当前块的预测运动向量来对当前块的运动向量进行解码。
预测运动向量生成单元可以以流水线执行关于当前块的空间预测向量的生成处理，以及关于按扫描顺序接在当前块之后的块的空间预测向量的生成处理。
预测运动向量生成单元可以使用第一块的运动向量来生成当前块的空间预测向量，其中第一块是当前块的空间相邻块，并且位于与作为目标的当前块的上部表面接触的上部块的右端。
预测运动向量生成单元可以使用第一块的运动向量以及除第一块之外的第二块的运动向量来生成当前块的空间预测向量，其中第一块是当前块的空间相邻块，并且位于与作为目标的当前块的上部表面接触的上部块的右端，其中以上部块作为目标。
第二块是在上部块作为目标的情况下位置与第一块的左部相邻的块。
第二块是在上部块作为目标的情况下位于当前块在水平方向上的长度的中心周围的块。
相邻运动向量信息设置单元可以以最大编码单位禁止使用右上块的运动向量。
还设置有边界确定单元，所述边界确定单元确定当前块的边界是否为最大编码单位的边界，其中相邻运动向量信息设置单元仅在边界确定单元确定当前块的边界是最大编码单位的边界时禁止使用右上块的运动向量。
相邻运动向量信息设置单元可以根据识别信息来禁止使用右上块的运动向量，所述识别信息用于识别是以预测单位禁止使用右上块的运动向量还是以最大编码单位禁止使用右上块的运动向量。
在根据本公开的一方面的图像处理方法中，在所述方法中，图像处理设备：当以用于对图像的当前块的运动向量进行解码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与当前块的右上部相邻的右上块的运动向量；以在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的右上块的运动向量之外的运动向量来生成当前块的空间预测向量；以及使用当前块的预测运动向量来对当前块的运动向量进行解码。
根据本公开的另一方面的图像处理设备，包括：相邻运动向量信息设置单元，当以用于对图像的当前块的运动向量进行编码的预测运动向量作为目标来生成空间预测运动向量时，相邻运动向量信息设置单元禁止使用位置与当前块的右上部相邻的右上块的运动向量；预测运动向量生成单元，所述预测运动向量生成单元以将在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了相邻运动向量信息设置单元禁止使用的右上块的运动向量之外的运动向量来生成当前块的空间预测向量；以及运动向量编码单元，其使用当前块的预测运动向量来对当前块的运动向量进行编码。
预测运动向量生成单元可以以流水线执行关于当前块的空间预测向量的生成处理，以及关于按扫描顺序接在当前块之后的块的空间预测向量的生成处理。
预测运动向量生成单元可以使用第一块的运动向量来生成当前块的空间预测向量，其中第一块是当前块的空间相邻块，并且位于与作为目标的当前块的上部表面接触的上部块的右端。
预测运动向量生成单元可以使用第一块的运动向量以及除第一块之外的第二块的运动向量来生成当前块的空间预测向量，其中第一块是当前块的空间相邻块，并且位于与作为目标的当前块的上部表面接触的上部块的右端，其中以上部块作为目标。
第二块是在上部块作为目标的情况下位置与第一块的左部相邻的块。
第二块是在上部块作为目标的情况下位于当前块在水平方向上的长度的中心周围的块。
相邻运动向量信息设置单元可以以最大编码单位禁止使用右上块的运动向量。
还设置有边界确定单元，所述边界确定单元确定当前块的边界是否为最大编码单位的边界，其中，相邻运动向量信息设置单元仅在边界确定单元确定当前块的边界是最大编码单位的边界时禁止使用右上块的运动向量。
图像处理设备还可以包括：识别信息设置单元，其设置用于识别是以预测单位禁止使用右上块的运动向量还是以最大编码单位禁止使用右上块的运动向量的识别信息；以及传送单元，其传送识别信息设置单元设置的识别信息以及编码流。
在根据本公开的另一方面的图像处理方法中，图像处理设备：当以用于对图像的当前块的运动向量进行编码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与当前块的右上部相邻的右上块的运动向量；以在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的右上块的运动向量之外的运动向量来生成当前块的空间预测向量；以及使用当前块的预测运动向量来对当前块的运动向量进行编码。
根据本公开的一方面，当以用于对图像的当前块的运动向量进行解码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与当前块的右上部相邻的右上块的运动向量，并且以在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的当前块的运动向量之外的运动向量来生成当前块的空间预测向量。然后，使用当前块的预测运动向量对当前块的运动向量进行解码。
根据本公开的另一方面，当以用于对图像的当前块的运动向量进行编码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与当前块的右上部相邻的右上块的运动向量，并且以在空间方面位置与当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的右上块的运动向量之外的运动向量来生成当前块的空间预测向量。然后，使用当前块的预测运动向量来对当前块的运动向量进行编码。
应注意，上述的图像处理设备可以是独立设备，或者可以是构成图像编码装置或图像解码装置的内部块。
发明效果
根据本公开的一方面，可以对图像进行解码。具体地，可以通过流水线处理来改进处理效率。
根据本公开的另一方面，可以对图像进行编码。具体地，可以通过流水线处理来改进处理效率。
附图说明
图1是示出图像编码装置的主要配置的示例的框图。
图2是示出中值运算的说明图。
图3是示出多参考帧的说明图。
图4是示出时间直接模式(temporal direct mode)的说明图。
图5是示出运动向量编码方法的说明图。
图6是示出编码单位的配置的示例的图。
图7是示出运动分区合并的说明图。
图8是示出根据相关技术的空间预测运动向量的生成方法的说明图。
图9是示出根据本技术的空间预测运动向量的生成方法的说明图。
图10是示出根据本技术的空间预测运动向量的另一生成方法的说明图。
图11是示出根据本技术的空间预测运动向量的又一生成方法的说明图。
图12是示出用于说明流水线处理的PU的位置关系的图。
图13是示出流水线处理的说明图。
图14是示出运动向量编码单元的主要配置的示例的框图。
图15是说明编码处理的流程的示例的流程图。
图16是说明帧间运动预测处理的流程的示例的流程图。
图17是说明预测运动向量生成处理的流程的示例的流程图。
图18是示出图像解码装置的主要配置的示例的框图。
图19是示出运动向量解码单元的主要配置的示例的框图。
图20是说明解码处理的流程的示例的流程图。
图21是说明运动向量重构处理的流程的示例的流程图。
图22是说明预测运动向量重构处理的流程的示例的流程图。
图23是示出多视点图像编码方法的示例的图。
图24是示出应用了本技术的多视点图像编码装置的主要配置的示例的图。
图25是示出应用了本技术的多视点图像解码装置的主要配置的示例的图。
图26是示出层级图像编码方法的示例的图。
图27是示出应用了本技术的层级图像编码装置的主要配置的示例的图。
图28是示出应用了本技术的层级图像解码装置的主要配置的示例的图。
图29是示出计算机的主要配置的示例的框图。
图30是示出电视装置的示意性配置的示例的框图。
图31是示出蜂窝电话的示意性配置的示例的框图。
图32是示出记录/再现装置的示意性配置的示例的框图。
图33是示出图像捕获装置的示意性配置的示例的框图。
具体实施方式
下文中，将说明用于执行本公开内容的模式(下文中，称为实施例)。应注意，将按以下顺序进行说明。
1.第一实施例(图像编码装置(PU单位的控制))
2.第二实施例(图像解码装置(PU单位的控制))
3.第三实施例(LCU单位的控制)
4.第四实施例(多视点图像编码/多视点图像解码装置)
5.第五实施例(层级图像编码/层级图像解码装置)
6.第六实施例(计算机)
7.应用示例
<1.第一实施例>
[图像编码装置]
图1是示出图像编码装置的主要配置的示例的框图。
如图1所示的图像编码装置100使用例如根据基于HEVC(高效视频编码)的方法的预测处理来对图像数据进行编码。
如图1所示，图像编码装置100包括A/D转换单元101、屏幕排序缓冲器102、计算单元103、正交变换单元104、量化单元105、无损编码单元106、累积缓冲器107、逆量化单元108和逆正交变换单元109。图像编码装置100还包括计算单元110、去块滤波器111、帧存储器112、选择单元113、帧内预测单元114、运动预测/补偿单元115、预测图像选择单元116和速率控制单元117。
图像编码装置100还包括运动向量编码单元121和相邻运动向量信息设置单元122。
A/D转换单元101对接收到的图像数据执行A/D转换，并且将转换后的图像数据(数字数据)提供给屏幕排序缓冲器102以将图像数据存储在其中。屏幕排序缓冲器102根据GOP(图片组)将按照所存储的显示顺序的帧的图像排序成用于进行编码的帧的顺序，并且将帧顺序已被排序的图像提供给计算单元103。屏幕排序缓冲器102还将帧顺序已被排序的图像提供给帧内预测单元114和运动预测/补偿单元115。
计算单元103从自屏幕排序缓冲器102读取的图像中减去经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像，并且将其差信息提供给正交变换单元104。
例如，在帧间编码图像的情况下，计算单元103从自屏幕排序缓冲器102读取的图像中减去从运动预测/补偿单元115提供的预测图像。
正交变换单元104对从计算单元103提供的差信息应用诸如离散余弦变换和卡洛南-洛伊(Karhunen-Loeve)转换的正交变换。应注意，该正交变换方法可以是任意方法。正交变换单元104将转换系数提供给量化单元105。
量化单元105对来自正交变换单元104的转换系数进行量化。量化单元105基于与从速率控制单元117提供的代码量的目标值有关的信息来对量化参数进行设置和量化。应注意，量化方法可以是任意方法。量化单元105将量化后的转换系数提供给无损编码单元106。
无损编码单元106使用任意编码方法来对经量化单元105量化的转换系数进行编码。在速率控制单元117的控制下对系数数据进行量化，因此，代码量变为速率控制单元117设置的目标值(或者变得接近目标值)。
另外，无损编码单元106从帧内预测单元114获得表示帧内预测模式的信息等，并且从运动预测/补偿单元115获得表示帧间预测模式的信息、差运动向量信息等。
无损编码单元106使用任意编码方法来对如上所述的各种信息进行编码，并且使得该信息成为编码数据(也称为编码流)的头信息的一部分(复用)。更具体地，无损编码单元106也是设置头信息的设置单元。无损编码单元106将从编码所获得的编码数据提供给累积缓冲器107以在其中累积编码数据。
无损编码单元106的编码方法的示例包括可变长编码或算术编码。可变长编码的示例包括在H.264/AVC方法中所定义的CAVLC(上下文自适应可变长编码)等。算术编码的示例包括CABAC(上下文自适应二进制算术编码)。
累积缓冲器107暂时保存无损编码单元106提供的编码数据。以预定定时，累积缓冲器107将保存在其中的编码数据输出至例如记录装置(记录介质)以及设置在后级中的未示出的传输路径。更具体地，累积缓冲器107也是传送编码数据的传送单元。
经量化单元105量化的转换系数也被提供给逆量化单元108。逆量化单元108根据与量化单元105进行的量化相对应的方法来对量化后的转换系数进行去量化。逆量化的方法可以是任意方法，只要其是与量化单元105进行的量化处理相对应的方法。逆量化单元108将所获得的转换系数提供给逆正交变换单元109。
逆正交变换单元109根据与正交变换单元104进行的正交变换处理相对应的方法来对逆量化单元108提供的转换系数执行逆正交变换。逆正交变换的方法可以是任意方法，只要其是与正交变换单元104进行的正交变换处理相对应的方法。从逆正交变换所获得的输出(所恢复的差信息)被提供给计算单元110。
计算单元110将经由预测图像选择单元116从帧内预测单元114或运动预测/补偿单元115提供的预测图像与作为从逆正交变换单元109提供的逆正交变换结果的所恢复的差信息相加，从而获得局部解码图像(解码图像)。该解码图像被提供给去块滤波器111或帧存储器112。
去块滤波器111按照需要对从计算单元110提供的解码图像执行去块滤波处理。例如，去块滤波器111对解码图像执行去块滤波处理，从而去除解码图像中的块失真。
去块滤波器111将滤波处理结果(滤波处理后的解码图像)提供给帧存储器112。应注意，如上所述，从计算单元110输出的解码图像可被提供给帧存储器112，而不通过去块滤波器111。更具体地，可省略去块滤波器111执行的滤波处理。
帧存储器112存储所提供的解码图像，并且以预定定时，将所存储的解码图像作为参考图像提供给选择单元113。
选择单元113选择从帧存储器112提供的参考图像的目的地。例如，在帧间预测的情况下，选择单元113将从帧存储器112提供的参考图像提供给运动预测/补偿单元115。
帧内预测单元114使用作为经由选择单元113从帧存储器112提供的参考图像的处理目标图片中的像素值，来执行用于通过基本采用预测单位(PU)作为处理单位来生成预测图像的帧内预测(屏幕内的预测)。帧内预测单元114以预先准备的多种帧内预测模式来执行该帧内预测。
帧内预测单元114以可以作为候选的所有帧内预测模式生成预测图像，并且使用从屏幕排序缓冲器102提供的输入图像来评估每个预测图像的成本函数值，从而选择最佳模式。当选择了最佳帧内预测模式时，帧内预测单元114将以最佳模式生成的预测图像提供给预测图像选择单元116。
如上所述，帧内预测单元114按照需要将表示所采用的帧内预测模式的帧内预测模式信息等提供给无损编码单元106，并且使得无损编码单元106执行编码。
运动预测/补偿单元115使用从屏幕排序缓冲器102提供的输入图像和经由选择单元113从帧存储器112提供的参考图像，来执行基本上采用PU作为处理单位的运动预测(帧间预测)。运动预测/补偿单元115将所检测到的运动向量提供给运动向量编码单元121，并同时根据所检测到的运动向量执行运动补偿处理，从而生成预测图像(帧间预测图像信息)。运动预测/补偿单元115以预先已准备的多个帧间预测模式执行以上已说明的帧间预测。
运动预测/补偿单元115以可以作为候选的所有帧间预测模式生成预测图像。运动预测/补偿单元115生成差运动向量，该差运动向量是目标区域的运动向量与从运动向量编码单元121提供的目标区域的预测运动向量之间的差。另外，运动预测/补偿单元115使用从屏幕排序缓冲器102提供的输入图像、已生成的差运动向量的信息等，来评估每个预测图像的成本函数值，从而选择最佳模式。当选择了最佳帧间预测模式时，运动预测/补偿单元115将以最佳模式生成的预测图像提供给预测图像选择单元116。
当对表示所采用的帧间预测模式的信息和编码数据进行解码时，运动预测/补偿单元115将以帧间预测模式执行处理所需的信息等提供给无损编码单元106，并且使得无损编码单元106对该信息进行编码。所需的信息的示例包括已生成的差运动向量的信息以及表示用作预测运动向量信息的预测运动向量的索引的标记。
预测图像选择单元116选择向计算单元103和计算单元110提供的预测图像的源。例如，在帧间编码的情况下，预测图像选择单元116选择运动预测/补偿单元115作为预测图像的源，并且将从运动预测/补偿单元115提供的预测图像提供给计算单元103和计算单元110。
速率控制单元117基于累积缓冲器107中所累积的编码数据的代码量来控制量化单元105的量化操作的速率，以便不引起上溢和下溢。
运动向量编码单元121存储运动预测/补偿单元115得到的运动向量。运动向量编码单元121预测目标区域的运动向量。更具体地，运动向量编码单元121生成用于对运动向量进行编码或解码的预测运动向量(预测值(predictor))。应注意，关于运动向量的目标区域(当前块)是指目标PU(按照需要下文中也称为所讨论的PU)。
在这种情况下，预测运动向量的类型包括时间预测运动向量(时间预测值)和空间预测运动向量(空间预测值)。时间预测运动向量是使用在时间方面与目标区域相邻的相邻区域的运动向量生成的预测运动向量。空间预测运动向量是使用在空间方面与目标区域相邻的相邻区域的运动向量生成的预测运动向量。
更具体地，运动向量编码单元121使用在时间方面与目标区域(当前块)相邻的相邻区域(邻接块)的运动向量，来生成时间预测运动向量。另外，运动向量编码单元121使用在空间方面与目标区域相邻的相邻区域当中的、相邻运动向量信息设置单元122未禁止使用的相邻区域的运动向量，来生成空间预测运动向量。运动向量编码单元121将所生成的预测运动向量当中可以为最佳的最佳预测运动向量提供给运动预测/补偿单元115和相邻运动向量信息设置单元122。
相邻运动向量信息设置单元122为运动向量编码单元121作出这样的设置，该设置使得要使用或者要禁止使用在空间方面与目标区域相邻的相邻区域当中的特定相邻区域的运动向量。更具体地，相邻运动向量信息设置单元122禁止运动向量编码单元121使用关于目标区域位于与右上部相邻的相邻区域的运动向量。
应注意，在关于本实施例的说明中，假设运动向量的预测表示用于生成预测运动向量的处理，以及运动向量的编码表示用于通过生成预测运动向量并使用已生成预测运动向量来导出差运动向量的处理。更具体地，运动向量的编码处理包括运动向量的预测处理。同样，在说明中，假设运动向量的解码表示用于通过生成预测运动向量并使用已生成的预测运动向量来重构运动向量的处理。更具体地，运动向量的解码处理包括运动向量的预测处理。
另外，在以下说明中，假设与上述目标区域相邻的相邻区域是位于目标区域周围的周边区域，并且这两个术语是指同一区域。
应注意，图1的示例示出如下示例：其中相邻运动向量信息设置单元122设置在运动向量编码单元121外部，但是相邻运动向量信息设置单元122可以被配置为包括在运动向量编码单元121中。
[运动向量的中值预测]
图2是示出根据AVC方法所实现的运动向量的中值预测的说明图。
如图2所示的每条直线表示运动补偿块的边界。在图2中，参考符号E表示所讨论的运动补偿块，其将被编码。参考符号A至D分别表示已编码且与E相邻的运动补偿块。
现在，假设X＝A、B、C、D、E，并且关于X的运动向量信息被定义为mvx。
首先，使用关于运动补偿块A、B和C的运动向量信息，通过根据以下表达式(1)的中值运算来生成关于运动补偿块E的预测运动向量信息pmvE。
[数学式1]
plmVE＝med(mvA，mVB，mvC)...(1)
当关于运动补偿块C的信息由于例如该运动补偿块C在图像帧的末端而不是可用的(不可用)时，则使用关于运动补偿块D的信息作为替代。
通过以下表达式(2)、使用所示的pmvE来生成图像压缩信息中的被编码为关于运动补偿块E的运动向量信息的数据mvdE。
[数学式2]
mvdE＝mvE-PmvE...(2)
应注意，对运动向量信息在水平方向和垂直方向上的每个分量独立地执行实际处理。
[多参考帧]
另外，在AVC方法中，指定在诸如MPEG2、H.263等常规图像编码方法中未指定的被称为Multi-Reference Frame(多(多个)参考帧)的方法。
下文中将参照图3说明在AVC方法中所指定的多参考帧(Multi-ReferenceFrame)。
更具体地，在MPEG-2和H.263中，在P图片的情况下，通过仅参考存储在帧存储器中的一个参考帧来执行运动预测/补偿处理。相反，在AVC方法中，如图3所示，多个参考帧存储在存储器中，并且针对每个宏块参考不同存储器。
[直接模式]
对于以上说明的多参考帧，B图片的运动向量信息中的信息量是巨大的，但在AVC方法中，准备了被称为Direct Mode(直接模式)的模式。
在该直接模式下，运动向量信息没有存储在图像压缩信息中。在图像解码装置中，根据周围块的运动向量信息或者作为与参考帧内的处理目标块处于相同位置的块的同位块的运动向量信息来计算所讨论的块的运动向量信息。
在直接模式(Direct Mode)下，存在可以针对每个片段(slice)切换的两种类型的模式，即Spatial Direct Mode(空间直接模式)和Temporal Direction Mode(时间直接模式)。
在空间直接模式(Spatial Direct Mode)下，如在以下表达式(3)中所示，计算处理目标运动补偿块E的运动向量信息mvE。
mvE＝pmvE...(3)
更具体地，通过Median(中值)预测生成的运动向量信息被应用于所讨论的块。
在以下说明中，将参照图4说明时间直接模式(Temporal Direction Mode)。
在图4中，在L0参考图片中，与所讨论的块在空间中具有相同地址的块将被称为同位块，并且同位块中的运动向量信息将被称为mvcol。所讨论的图片与L0参考图片之间的在时间轴上的距离将被称为TDB，并且L0参考图片与L1参考图片之间的在时间轴上的距离将被称为TDD。
此时，根据以下表达式(4)和表达式(5)计算所讨论的图片中的L0的运动向量信息mvL0和L1的运动向量信息mvL1。
[数学式3]
Figure BDA0001580180840000161
[数学式4]
Figure BDA0001580180840000162
应注意，在AVC图像压缩信息中，不存在表示时间轴上的距离的任何信息TD，因此，使用POC(图片序列号，Picture Order Count)，执行以上说明的表达式(4)和表达式(5)的计算。
另外，在AVC图像压缩信息中，可以以16×16像素宏块单位或者以8×8像素块单位来定义直接模式(Direct Mode)。
[运动向量的MV竞争]
顺便提及，为了改进使用参照图2已说明的中值预测对运动向量的编码，在非专利文献1中提出了如下所述的方法。
更具体地，不仅在AVC中所定义的“空间预测值(空间预测运动向量)”可以被自适应地用作预测运动向量信息，而且以下将说明的“时间预测值(时间预测运动向量)”和“时空预测值(时间和空间的预测运动向量)”中的任一种可以被自适应地用作预测运动向量信息。以上提出的这种方法在AVC中被称为MV竞争(MVCompetition)。相反，在HEVC中，这被称为高级运动向量预测(AMVP)，并且下文中，以上提出的方法在本说明中将被称为AMVP。
在图5中，“mvcol”是关于相对于所讨论的块的同位块的运动向量信息。另外，假定mvtk(k＝0至8)是其周围块的运动向量信息，则它们中的每一个的预测运动向量信息(预测值)通过以下表达式(6)至表达式(8)来定义。应注意，相对于所讨论的块的同位块是指所讨论的图片参考的参考图片中的xy坐标与所讨论的块相同的块。
时间预测值：
[数学式5]
mvtm5＝median{mvcol，mvtD，...，mvt3}...(6)
[数学式6]
mvtm9＝median{mvcol，mvt0，...，mvt8}...(7)
时空预测值：
[数学式7]
mvspt＝median{mvcol，mvcol，mva，mvb，mvc}...(8)
针对每个块，图像编码装置100计算在使用每条预测运动向量信息的情况下的成本函数值，并且选择最佳预测运动向量信息。在图像压缩信息中，传送表示与用于每个块的预测运动向量信息有关的信息(索引)的标记。
[编码单位]
顺便提及，使得宏块大小为16×16像素不适合于作为下一代编码方法的目标的诸如UHD(超高清晰度；4000像素×2000像素)的大的图像帧。
因此，在AVC方法中，指定宏块和子宏块的层级结构，但是例如在HEVC方法中，如图6所示，指定编码单位(CU(Coding Unit))。
CU也称为编码树块(CTB)，并且是图片单位的图像部分区域，其起到与AVC方法中的宏块相同的作用。在后者中，大小固定为16×16像素，但在前者中，大小不是固定的，并且在每个序列中，在图像压缩信息中指定大小。
例如，在要输出的编码数据中所包括的序列参数集(SPS)中，指定了CU的最大大小(LCU(最大编码单位))及其最小大小(SCU(最小编码单位))。
在每个LCU中，只要该大小不小于SCU的大小，split-flag(分裂_标记)就为1，因此，可以将CU分割成更小大小的CU。在图6的示例中，LCU的大小为128，并且最大层级深度为5。当split_flag的值为“1”时，大小为2N×2N的CU被分割成作为下面一个级别的层级的、大小为N×N的CU。
另外，CU被分割成作为用作帧内或帧间预测的处理单位的区域(图片单位的图像的部分区域)的预测单位(PU)，并且被分割成作为用作正交变换的处理单位的区域(图片单位的图像的部分区域)的变换单位(TU)。当前，在HEVC方法中，不仅可以使用4×4和8×8正交变换，而且可以使用16×16和32×32正交变换。
在作为以上说明的HEVC方法而定义CU并通过采用CU作为单位来执行各种处理的编码方法的情况下，可以认为根据AVC方法的宏块对应于LCU，并且可以认为该块(子块)对应于CU。另外，可以认为根据AVC方法的运动补偿块对应于PU。然而，CU具有层级结构，因此，通常，在其最上级别的LCU的大小被设置为大于根据AVC方法的宏块，例如，128×128像素。
因此，下文中，LCU还包括根据AVC方法的宏块，并且CU还包括根据AVC方法的块(子块)。
[运动分区的合并]
顺便提及，作为运动信息的编码方法之一，提出了如图7所示被称为运动分区合并(合并模式)的方法。在该方法中，传送两个标记(即，MergeFlag(合并标记)和MergeLeftFlag(合并左标记))作为合并信息，该合并信息是关于合并模式的信息。
MergeFlag＝1表示所讨论的区域X的运动信息同与所讨论的区域的上部相邻的周围区域或与所讨论的区域的左部相邻的周围区域L的运动信息相同。此时，MergeLeftFlag包括在合并信息中，并且被传送。MergeFlag＝0表示所讨论的区域X的运动信息不同于周围区域T和周围区域L的运动信息中的任一个。在这种情况下，传送所讨论的区域X的运动信息。
当所讨论的区域X的运动信息与周围区域L的运动信息相同时，MergeFlag＝1保持以及MergeLeftFlag＝1保持。当所讨论的区域X的运动信息与周边区域T的运动信息相同时，MergeFlag＝1保持以及MergeLeftFlag＝0保持。
[空间预测运动向量(空间预测值)]
在以上参照图5所说明的AMVP或者以上参照图7所说明的合并模式中，生成空间预测运动向量(空间预测值)和时间预测运动向量(时间预测值)作为预测运动向量(预测值)的候选。
随后，将参照图8说明空间预测运动向量的生成处理。图8的示例示出作为处理的目标区域的所讨论的PU(当前块)以及作为相对于所讨论的PU在预定位置关系方面相邻的PU(块)的A0、A1、B0、B1、B2。
A0是与所讨论的PU的左下部相邻的PU。A1是与所讨论的PU的左部相邻的PU当中的位于A0之上的PU。B2是与所讨论的PU的左上部相邻的PU。B0是与所讨论的PU的右上部相邻的PU。B1是与所讨论的PU的上部相邻的PU当中的位于与B0的左部相邻的PU。
应注意，A0、A1被统称为位于所讨论的PU的Left(左部)的PU。同样，B1、B2被统称为位于所讨论的PU的Top(上部)的PU。相反，B0被称为位于所讨论的PU的Top-right(右上部)的PU。
另外，与所讨论的PU的左部或上部相邻是指与所讨论的PU的左部或上部表面(边)接触。与所讨论的PU的左上部、左下部和右上部相邻是指在一个点(一个位置)处与所讨论的PU接触。
然后，非专利文献3提出了将这些相邻PU(A0、A1、B0、B1、B2)的运动向量用于生成所讨论的PU的空间预测运动向量作为所讨论的PU的空间预测运动向量的候选。
更具体地，以如下过程按照A0、A1的顺序执行扫描，并且当检测到与所讨论的PU的运动向量信息等同的具有参考帧的运动向量信息时，终止扫描。同样，还以如下过程按照B0、B1、B2的顺序执行扫描，并且当检测到与所讨论的PU的运动向量信息等同的具有参考帧的运动向量信息时，终止扫描。
此后，采用从A0、A1检测到的运动向量信息作为左部相邻的PU的空间预测运动向量信息，并且采用从B0、B1、B2检测到的运动向量信息作为上部相邻的PU的空间预测运动向量信息。然后，采用分别检测到的左部相邻的PU的空间预测运动向量信息、上部相邻PU的空间预测运动向量信息和时间预测运动向量信息作为候选，并且从这些候选当中选择更好的一个，使得生成预测运动向量。
随后，将说明扫描过程。首先，执行扫描以搜索是否存在具有与所讨论的PU的运动向量信息相同的列表和参考帧信息的一个。其次，执行扫描以搜索是否存在具有与所讨论的PU的运动向量信息不同的列表但具有相同参考帧信息的一个。
再次，执行扫描以搜索是否存在具有与所讨论的PU的运动向量信息相同的列表但具有不同的参考帧信息的一个。又者，执行扫描以搜索是否存在与所讨论的PU的运动向量信息具有不同的列表和参考帧信息的一个。
这里，如上所述，为了对关于所讨论的PU的预测运动向量执行生成处理，需要等待关于B0的运动向量信息的确定，B0是与所讨论的PU的右上部相邻的PU。
因此，存在这样的担心：当尝试以流水线实现运动向量的编码或解码处理(即，用于在AMVP或合并模式中导出空间预测运动向量的处理)时，作为与右上部相邻的PU的B0引起延迟。
[根据本技术的空间预测运动向量的生成方法]
因此，在运动向量编码单元121中，采用这样的配置：当在AMVP或合并模式中导出所讨论的PU的空间预测运动向量时，禁止使用如图8所示的作为与所讨论的PU的右上部相邻的PU的B0的运动向量。
更具体地，如图9所示，在运动向量编码单元121中，通过仅使用作为相对于所讨论的PU位于上部的PU的B1、B2的运动向量信息以及作为相对于所讨论的PU位于左部的PU的A0、A1的运动向量信息来执行运动向量的编码处理。
如图9所示的示例示出作为与所讨论的PU的左下部相邻的PU的A0以及与所讨论的PU的左部相邻的PU当中的位于下端的PU的A1、作为与所讨论的PU的左上部相邻的PU的B2以及作为与所讨论的PU的上部相邻的PU当中的位于右端的PU的B1。
图9的示例中的所讨论的PU的相邻区域不同于图8的示例之处仅在于，移除了作为位于所讨论的PU的Top-right(右上部)的PU的B0。
另外，在运动向量编码单元121中，可以采用这样的配置：除了如图9所示的相邻PU外，使用如图10和图11所示的与作为所讨论的PU的上部相邻的上部相邻PU的B3和B4。以该方式，通过增加候选的数量，可以抑制编码效率的降低。
图10的示例不仅示出图9的示例中的作为相对于所讨论的PU位于上部的PU的B1、B2以及图9的示例中的作为相对于所讨论的PU位于左部的PU的A0、A1，而且还示出作为相对于所讨论的PU位于上部的PU的B3。
该B3是与所讨论的PU的上部相邻的PU当中的、与所讨论的PU的上部相邻且位于与B1的左部相邻的PU，B1是位于右端的PU。
在图10的示例的情况下，B3位于与B1的左部相邻，因此，在检测到B1之后，可访问直接相邻的B3，并且因此，用于地址计算的计算量低。
图11的示例不仅示出图9的示例中的作为相对于所讨论的PU位于上部的PU的B1、B2以及图9的示例中的作为相对于所讨论的PU位于左部的PU的A0、A1，而且示出相对于所讨论的PU位于上部的B4。
该B4是与所讨论的PU的上部相邻的PU当中的、与所讨论的PU的上部相邻且位于所讨论的PU的水平长度上的中心周围的PU。
应注意，PU的长度为4、8、16…，因此，其长度的中心不位于像素上而是位于像素与像素之间。因此，其需要变为位于所讨论的PU的水平长度上的中心处的单个PU。
正如图10的示例的情况，认为与B1直接相邻的B3也具有类似运动信息。相反，在图11的示例的情况下，对于运动信息，可以从具有更大变化度的PU组中选择运动信息。因此，可以提高编码效率。
[流水线处理]
随后，将通过使用具有如图12所示的位置关系的PU来参照图13说明与常规技术相比的本技术的处理。
图12的示例示出作为所讨论的PU的PU0、与PU0的上部相邻的PU-2以及与PU0的右上部相邻的PU-1。应注意，在图12的示例中，为了便于说明，以相同大小示出PU-2、PU-1、PU0。
如由图13的A和图13的B所示，假定按PU-2、PU-1、PU0的顺序执行运动向量的编码或解码处理。
在非专利文献3中所提出的方法中，如图13的A所示，可以仅在t3之后开始PU-1的处理，t3在t2之后，t2是完成在t0开始的PU-2的处理的定时。同样地，可以仅在t7之后开始PU0的处理，t7在t6之后，t6是完成在t3开始的PU-1的处理的定时。应注意，在定时t9完成PU0的处理。
相反，在根据本技术的方法中，如图13的B所示，可以在t1开始PU-1的处理，t1在t2之前，t2是完成在t0开始的PU-2的处理的定时。同样，可以在t4开始PU0的处理，t4在t5之后，t5是完成在t1开始的PU-1处理的定时。因此，可以在t8完成PU0的处理，t8是在时间方面比t9早的定时，t9是完成图13的A的PU的定时。
如上所述，在根据本技术的方法的情况下，可以以流水线实现在运动向量的编码或解码中对空间预测运动向量的生成处理，因此，可以构造以较高速度操作的电路。
应注意，图13的B表示可以在完成PU-2的处理的定时之前开始PU-1的处理。然而，实际上，即使在本技术的情况下，由于没有存储在PU-1内的A1的位置处的PU的运动向量，类似于图13的A，没有开始PU-1的处理，除非完成了PU-2的处理。如上所述，根据本技术的方法对于PU-1和PU0的位置关系而言是有效的。更具体地，可以根据目标区域与相邻区域之间的位置关系来应用本技术。
[运动向量编码单元的配置示例]
图14是示出运动向量编码单元121的主要配置的示例的框图。应注意，在图14的示例中，未包括在运动向量编码单元121中的部分利用虚线示出。
图14的示例中的运动向量编码单元121被配置为包括运动向量编码单元131-1和131-2、时间相邻运动向量共享缓冲器132以及空间相邻运动向量共享缓冲器133。
运动向量编码单元131-1对例如如图12所示的PU-2、PU0…执行预测运动向量生成处理。运动向量编码单元131-2对例如如图12所示的PU-1、PU1…执行预测运动向量生成处理。更具体地，运动向量编码单元131-1和131-2仅在处理目标的PU上不同，并且基本上以相同方式配置。应注意，当不需要将运动向量编码单元131-1和131-2彼此区分开时，下文中将运动向量编码单元131-1和131-2称为运动向量编码单元131。
运动向量编码单元131-1被配置为包括空间相邻运动向量内部缓冲器141-1、候选预测运动向量生成单元142-1、成本函数值计算单元143-1和最佳预测运动向量确定单元144-1。
运动向量编码单元131-2被配置为包括空间相邻运动向量内部缓冲器141-2、候选预测运动向量生成单元142-2、成本函数值计算单元143-2和最佳预测运动向量确定单元144-2。
应注意，当不需要将空间相邻运动向量内部缓冲器141-1和141-2彼此区分开时，下文中将空间相邻运动向量内部缓冲器141-1和141-2称为空间相邻运动向量内部缓冲器141。当不需要将候选预测运动向量生成单元142-1和142-2彼此区分开时，下文中将候选预测运动向量生成单元142-1和142-2称为候选预测运动向量生成单元142。当不需要将成本函数值计算单元143-1和143-2彼此区分开时，将成本函数值计算单元143-1和143-2称为成本函数值计算单元143。当不需要将最佳预测运动向量确定单元144-1和144-2彼此区分开时，将最佳预测运动向量确定单元144-1和144-2称为最佳预测运动向量确定单元144。
运动预测/补偿单元115搜索的所讨论的PU的运动向量的信息被提供给成本函数值计算单元143。运动预测/补偿单元115最终确定的运动向量的信息被提供给时间相邻运动向量共享缓冲器132、空间相邻运动向量共享缓冲器133和空间相邻运动向量内部缓冲器141。
时间相邻运动向量共享缓冲器132由存储器构成，并且由运动向量编码单元131-1和131-2共享。时间相邻运动向量共享缓冲器132累积从运动预测/补偿单元115提供的运动向量信息，作为在时间方面相邻的时间相邻区域的运动向量的信息。应注意，在时间方面相邻的区域是如下区域：其在时间轴方面与不同图片内的所讨论的区域具有相同的空间内的地址。
时间相邻运动向量共享缓冲器132读取表示相对于在时间方面与所讨论的PU相邻的时间相邻PU所导出的运动向量的信息，并且将所读取的信息(时间相邻运动向量信息)提供给候选预测运动向量生成单元142。
空间相邻运动向量共享缓冲器133由行缓冲器构成，并且由运动向量编码单元131-1和131-2共享。空间相邻运动向量共享缓冲器133累积从运动预测/补偿单元115提供的运动向量信息，作为在空间方面相邻的空间相邻区域的运动向量的信息。空间相邻运动向量共享缓冲器133读取表示相对于在空间方面与所讨论的PU相邻的空间相邻PU当中的、与左部相邻的左部相邻PU(例如，图9的A0、A1)所导出的运动向量的信息。空间相邻运动向量共享缓冲器133将所读取的信息(空间相邻运动向量信息)提供给候选预测运动向量生成单元142。
空间相邻运动向量内部缓冲器141由行缓冲器构成。空间相邻运动向量内部缓冲器141累积从运动预测/补偿单元115提供的运动向量信息，作为在空间方面相邻的空间相邻区域的运动向量的信息。
空间相邻运动向量内部缓冲器141读取表示相对于在空间方面与所讨论的PU相邻的空间相邻PU当中的、与上部相邻的上部相邻PU(例如，图10的B1、B2、B3)所导出的运动向量的信息。此时，空间相邻运动向量内部缓冲器141将所讨论的PU的信息提供给相邻运动向量信息设置单元122。对应地，被禁止读取的PU的信息是从相邻运动向量信息设置单元122提供的，因此，空间相邻运动向量内部缓冲器141不读取在上部相邻PU当中的、被相邻运动向量信息设置单元122禁止的PU(例如，图8的B0)的运动向量。空间相邻运动向量内部缓冲器141将所读取的信息(空间相邻运动向量信息)提供给候选预测运动向量生成单元142。应注意，可采用这样的配置：例如，相邻运动向量信息设置单元122还执行用于读取图10的B3的运动向量的命令。
候选预测运动向量生成单元142基于根据AMVP或合并模式的方法，使用从空间相邻运动向量共享缓冲器133提供的左部相邻PU的空间相邻运动向量信息，来生成成为所讨论的PU的候选的空间预测运动向量。另外，候选预测运动向量生成单元142基于根据AMVP或合并模式的方法，使用从空间相邻运动向量内部缓冲器141提供的上部相邻PU的空间相邻运动向量信息，来生成成为所讨论的PU的候选的空间预测运动向量。应注意，在空间相邻运动向量内部缓冲器141中，相邻运动向量信息设置单元122控制上部相邻PU的空间相邻运动向量信息的读取。候选预测运动向量生成单元142将表示所生成的候选空间预测运动向量的信息提供给成本函数值计算单元143。
候选预测运动向量生成单元142基于根据AMVP或合并模式的方法，参考从时间相邻运动向量共享缓冲器132提供的时间相邻运动向量信息，来生成成为所讨论的PU的候选的时间预测运动向量。候选预测运动向量生成单元142将表示所生成的候选时间预测运动向量的信息提供给成本函数值计算单元143。
成本函数值计算单元143计算针对每个候选预测运动向量的成本函数值，并将所算出的成本函数值以及候选预测运动向量的信息提供给最佳预测运动向量确定单元144。
最佳预测运动向量确定单元144确定从成本函数值计算单元143提供的成本函数值最小的候选预测运动向量是关于所讨论的PU的最佳预测运动向量，并且将其信息提供给运动预测/补偿单元115。
应注意，运动预测/补偿单元115使用从最佳预测运动向量确定单元155提供的最佳预测运动向量的信息来生成作为与运动向量的差的差运动向量，并且针对每个预测模式计算成本函数值。运动预测/补偿单元115确定在它们当中成本函数值最小的预测模式是帧间最佳预测模式。
运动预测/补偿单元115将帧间最佳预测模式下的预测图像提供给预测图像选择单元116。应注意，运动预测/补偿单元115将所生成的差运动向量信息提供给无损编码单元106。
当相邻运动向量信息设置单元122从空间相邻运动向量内部缓冲器141接收所讨论的PU的信息时，相邻运动向量信息设置单元122将所讨论的PU的上部相邻PU当中的运动向量被禁止使用的PU的地址的信息提供给空间相邻运动向量内部缓冲器141。应注意，此时，按照需要(例如，在图10或图11的情况下)，可采用这样的配置：将所讨论的PU的上部相邻PU当中的运动向量被允许使用的PU的地址的信息提供给空间相邻运动向量内部缓冲器141。
[编码处理的流程]
随后，将说明以上说明的图像编码装置100执行的每个处理的流程。首先，将参照图15的流程图说明编码处理的流程的示例。
在步骤S101中，A/D转换单元101对接收到的图像执行A/D转换。在步骤S102中，屏幕排序缓冲器102存储已经进行A/D转换的图像，并且将它们从显示图片的顺序排序为其被编码的顺序。在步骤S103中，帧内预测单元114执行帧内预测模式的帧内预测处理。
在步骤S104中，运动预测/补偿单元115、运动向量编码单元121和相邻运动向量信息设置单元122执行用于以帧间预测模式执行运动预测和运动补偿的帧间运动预测处理。稍后将参照图16说明帧间运动预测处理的详情。
在步骤S104的处理中，搜索所讨论的PU的运动向量，并且利用流水线处理，生成所讨论的PU的每个预测运动向量，并且在它们当中，确定对于所讨论的PU最佳的预测运动向量。然后，确定最佳帧间预测模式，并且生成最佳帧间预测模式下的预测图像。
所确定的最佳帧间预测模式下的预测图像和成本函数值被从运动预测/补偿单元115提供给预测图像选择单元116。另外，所确定的最佳帧间预测模式的信息、表示被确定为最佳的预测运动向量的索引的信息、以及表示预测运动向量与运动向量之间的差的信息也被提供给无损编码单元106，并且在稍后将说明的步骤S114中，执行无损编码。
在步骤S105中，预测图像选择单元116基于从帧内预测单元114和运动预测/补偿单元115输出的每个成本函数值来确定最佳模式。更具体地，预测图像选择单元116选择帧内预测单元114生成的预测图像和运动预测/补偿单元115生成的预测图像中的任一个。
应注意，预测图像的选择方法的示例可以包括以被称为JM(联合模型)的AVC方法的参考软件实现的方法(发布于http://iphome.hhi.de/suehring/tml/index.htm)。
在JM中，可以选择稍后将说明的两种类型的模式确定方法，即高复杂度模式和低复杂度模式。在高复杂度模式和低复杂度模式中的任一种下，计算针对每个预测模式的成本函数值，并且选择成本函数值最小的预测模式作为所讨论的子宏块或者关于所讨论的宏块的最佳模式。
高复杂度模式(Mode)下的成本(Cost)函数如在以下表达式(9)中所示那样表示。
Cost(Mode∈Ω)＝D+λ*R...(9)
这里，Ω是用于将所讨论的块编码为宏块的候选模式的总集，以及D是在以所讨论的预测模式执行编码的情况下解码图像与输入图像之间的差能量。λ是作为量化参数的函数给出的拉格朗日未定乘数。R是在以所讨论的模式执行编码的情况下的总代码量，其包括正交变换系数。
更具体地，为了在高复杂度模式下执行编码，需要计算以上已说明的参数D和R，因此，需要以所有候选模式一次执行临时编码处理，并且这需要较高的计算量。
低复杂度模式下的成本函数如在以下表达式(10)中所示那样表示。
Cost(Mode∈Ω)＝D+QP2Quant(QP)*HeaderBit...(10)
这里，不同于高复杂度模式的情况，D是预测图像与输入图像之间的差能量。QP2Quant(QP)作为量化参数QP的函数被给出，以及HeaderBit(头位)是关于诸如运动向量和模式的属于头的信息的代码量，其不包括正交变换系数。
更具体地，在低复杂度模式下，需要针对每个候选模式执行预测处理，但不需要解码图像，因此不需要执行编码处理。为此，与高复杂度模式相比，可以以较低计算量实现低复杂度模式。
返回到图15，在步骤S106中，计算单元103计算通过步骤S102中的处理排序的图像与通过步骤S105中的处理选择的预测图像之间的差。与原始图像数据相比，差数据的数据量减小。因此，与对图像按原样进行压缩的情况相比，可以压缩数据量。
在步骤S107中，正交变换单元104对通过步骤S106中的处理生成的差信息执行正交变换。更具体地，执行诸如离散余弦变换和卡洛南-洛伊转换的正交变换，并且输出转换系数。
在步骤S108中，量化单元105使用从速率控制单元117提供的量化参数，来对在步骤S107的处理中所获得的正交变换系数。
作为步骤S108中的处理的结果，如下对量化后的差信息进行局部解码。更具体地，在步骤S109中，逆量化单元108根据与量化单元105的特性相对应的特性来对在步骤S108的处理中所生成的量化后的正交变换系数(其也可被称为量化系数)进行去量化。在步骤S110中，逆正交变换单元109根据与正交变换单元104的特性相对应的特性来对步骤S109的处理中所获得的正交变换系数执行逆正交变换。
在步骤S111中，计算单元110将预测图像与局部解码的差信息相加，并且生成局部解码图像(与至计算单元103的输入相对应的图像)。在步骤S112中，按照需要，去块滤波器111对在步骤S111的处理中所获得的局部解码图像执行去块滤波处理。
在步骤S113中，帧存储器112存储在步骤S112的处理中经受了去块滤波处理的解码图像。应注意，帧存储器112还从计算单元110接收尚未经去块滤波器111滤波的图像，并存储该图像。
在步骤S114中，无损编码单元106对在步骤S108的处理中所量化的转换系数进行编码。更具体地，将诸如可变长编码和算术编码的无损编码应用于差图像。
另外，此时，无损编码单元106对关于在步骤S105的处理中所选择的预测图像的预测模式的信息进行编码，并且将信息与通过对差图像进行编码而获得的编码数据相加。更具体地，无损编码单元106对例如从帧内预测单元114提供的最佳帧内预测模式信息或从运动预测/补偿单元115提供的根据最佳帧间预测模式的信息进行编码，并且将该信息与编码数据相加。
应注意，当在步骤S105的处理中选择帧间预测模式下的预测图像时，还对在步骤S104中所算出的差运动向量的信息和表示预测运动向量的索引的标记进行编码。
在步骤S115中，累积缓冲器107累积在步骤S114的处理中所获得编码数据。累积缓冲器107中所累积的编码数据按照需要被读取，并且经由传输路径和记录介质被传送到解码侧。
在步骤S116中，速率控制单元117基于在步骤S115的处理中累积在累积缓冲器107中的编码数据的代码量(所生成的代码量)，控制量化单元105的量化操作的速率以便不引起上溢和下溢。另外，速率控制单元117将关于量化参数的信息提供给量化单元105。
当完成步骤S116中的处理时，终止编码处理。
[帧间运动预测处理的流程]
随后，将参照图16的流程图说明在图15的步骤S104中所执行的帧间运动预测处理的流程的示例。
在步骤S131中，运动预测/补偿单元115针对每个帧间预测模式执行运动搜索。运动预测/补偿单元115搜索的所讨论的PU的运动向量信息被提供给成本函数值计算单元143。
在步骤S132中，运动向量编码单元131基于以上参照图5或图7所说明的根据AMVP或合并模式的方法来生成所讨论的PU的预测运动向量。稍后将参照图17说明预测运动向量生成处理的详情。
在步骤S132的处理中，参考从空间相邻运动向量共享缓冲器132提供的左部相邻PU的相邻运动向量信息，并且生成成为所讨论的PU的候选的空间候选预测运动向量。参考在相邻运动向量信息设置单元122的控制下从空间相邻运动向量内部缓冲器141提供的上部相邻PU的相邻运动向量信息，并且生成成为所讨论的PU的候选的空间候选预测运动向量。另外，参考从时间相邻运动向量共享缓冲器132提供的时间相邻运动向量信息，并且生成成为所讨论的PU的候选的时间候选预测运动向量。
提供所生成的预测运动向量的信息作为候选预测运动向量信息，并且计算针对其候选预测运动向量的成本函数值，并且确定关于所讨论的PU的最佳预测运动向量，并将所确定的信息提供给运动预测/补偿单元115。
在步骤S133中，运动预测/补偿单元115使用从最佳预测运动向量确定单元144提供的最佳预测运动向量信息来生成作为与运动向量的差的差运动向量，并且针对每个帧间预测模式计算成本函数值。应注意，以上说明的表达式(9)或表达式(10)用作成本函数。
在步骤S134中，运动预测/补偿单元115确定预测模式当中的成本函数值最小的预测模式为最佳帧间预测模式。在步骤S135中，运动预测/补偿单元115生成最佳帧间预测模式下的预测图像，并将该预测图像提供给预测图像选择单元116。应注意，此时，最佳帧间预测模式下的运动向量信息被提供给时间相邻运动向量共享缓冲器132、空间相邻运动向量共享缓冲器133和空间相邻运动向量内部缓冲器141，以生成后续的PU的预测运动向量。
在步骤S136中，运动预测/补偿单元115将关于最佳帧间预测模式的信息提供给无损编码单元106，并且使得无损编码单元106对关于最佳帧间预测模式的信息进行编码。
应注意，关于最佳帧间预测模式的信息是例如最佳帧间预测模式的信息、最佳帧间预测模式的差运动向量信息、最佳帧间预测模式的参考图片信息和表示预测运动向量的索引的标记。
对应于步骤S136中的处理，在图15的步骤S114中对所提供的信息进行编码。
[预测运动向量生成处理的流程]
随后，将参照图17的流程图说明在图16的步骤S132中所执行的帧间运动预测处理的流程的示例。应注意，在图17的示例中，为了清楚表明这是流水线处理，分别示出运动向量编码单元131-1执行的处理和运动向量编码单元131-2执行的处理。然而，步骤S156中的处理是时间相邻运动向量共享缓冲器132和空间相邻运动向量共享缓冲器133的处理，因此，以组合方式示出步骤S156中的处理。
更具体地，在图17的示例中，在左部示出运动向量编码单元131-1执行的、关于PU-2、PU0…的预测运动向量生成处理。另一方面，在右侧示出运动向量编码单元131-2执行的、关于PU-1、PU1…的预测运动向量生成处理。
另外，在图17的示例中，虚线被示出为清楚表明在哪个步骤中存储运动向量信息以及在哪个步骤中使用运动向量信息。
在步骤S151-1中，候选预测运动向量生成单元142-1确定位于所讨论的PU-2的上部(top)的空间预测运动向量。更具体地，在稍后将说明的步骤S155-1中，已处理的上部相邻PU的运动向量信息存储在空间相邻运动向量内部缓冲器141-1中。如虚线的箭头所示，在相邻运动向量信息设置单元122的控制下，从空间相邻运动向量内部缓冲器141-1读取与所讨论的PU-2的上部相邻的上部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量内部缓冲器141-1读取图10的B1、B2、B3的运动向量信息，并且所读取的运动向量信息被提供给候选预测运动向量生成单元142-1。
候选预测运动向量生成单元142-1使用上部相邻PU的运动向量信息来例如按照如参照图8所说明的图10的B1、B3、B2的顺序来执行扫描，并且确定位于所讨论的PU-2的上部(top)的空间预测运动向量。所确定的空间预测运动向量信息被提供给成本函数值计算单元143-1。
在步骤S152-1中，候选预测运动向量生成单元142-1确定位于所讨论的PU-2的左部(left)的空间预测运动向量。更具体地，在稍后将说明的步骤S156中，将已处理的左部相邻PU的运动向量信息存储在空间相邻运动向量共享缓冲器133中。如虚线的箭头所示，从空间相邻运动向量共享缓冲器133读取与所讨论的PU-2的左部相邻的左部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量共享缓冲器133读取图10的A0、A1的运动向量信息，并且所读取的运动向量信息被提供给候选预测运动向量生成单元142-1。
候选预测运动向量生成单元142-1使用左部相邻PU的运动向量信息来例如按照如参照图8所说明的图10的A0、A1的顺序执行扫描，并且确定位于所讨论的PU-2的左部(left)的空间预测运动向量。所确定的空间预测运动向量信息被提供给成本函数值计算单元143-1。
在步骤S153-1中，候选预测运动向量生成单元142-1确定在时间方面与所讨论的PU-2相邻的时间预测运动向量。更具体地，在稍后将说明的步骤S156中，将已处理的时间相邻PU的运动向量信息存储在时间相邻运动向量共享缓冲器132中。如由虚线的箭头所示，从时间相邻运动向量共享缓冲器132读取预定PU的运动向量信息，并且将所读取的运动向量信息提供给候选预测运动向量生成单元142-1。
候选预测运动向量生成单元142-1使用时间相邻PU的运动向量信息来确定所讨论的PU-2的时间预测运动向量。所确定的时间预测运动向量信息被提供给成本函数值计算单元143-1。
成本函数值计算单元143-1计算针对每条候选预测运动向量信息的成本函数值，并且将所算出的成本函数值和候选预测运动向量信息提供给最佳预测运动向量确定单元144-1。应注意，在图16的步骤S131中从运动预测/补偿单元115提供的所讨论的PU的运动向量信息用于计算成本函数值。另外，例如，将以上已说明的表达式(9)或表达式(10)用作成本函数。
在步骤S154-1中，最佳预测运动向量确定单元144-1确定从成本函数值计算单元143-1提供的成本函数值最小的候选预测运动向量是关于所讨论的PU-2的最佳预测运动向量。最佳预测运动向量确定单元144-1将关于所讨论的PU-2的最佳预测运动向量的信息提供给运动预测/补偿单元115。
相应地，运动预测/补偿单元115生成差运动向量，该差运动向量是目标区域的运动向量与从最佳预测运动向量确定单元144-1提供的目标区域的预测运动向量之间的差。此外，运动预测/补偿单元115使用例如从屏幕排序缓冲器102提供的输入图像和差运动向量的信息，来在以上说明的图16的步骤S133中评估每个预测图像的成本函数值，并且在步骤S134中选择最佳模式。然后，运动预测/补偿单元115将最佳模式下的运动向量信息提供给时间相邻运动向量共享缓冲器132、空间相邻运动向量共享缓冲器133和空间相邻运动向量内部缓冲器141-1。
在步骤S155-1中，空间相邻运动向量内部缓冲器141-1存储所讨论的PU-2的运动向量信息作为用于后续的PU的空间相邻运动向量信息。
在步骤S156中，时间相邻运动向量共享缓冲器132存储所讨论的PU-2的运动向量信息作为后续的PU及后面的PU的时间相邻运动向量信息。同样，空间相邻运动向量共享缓冲器133存储所讨论的PU-2的运动向量信息作为后续的PU及后面的PU的空间相邻运动向量信息。
另一方面，在步骤S151-2中，候选预测运动向量生成单元142-2确定位于所讨论的PU-1的上部(top)的空间预测运动向量。更具体地，在稍后将说明的步骤S155-2中，已处理的上部相邻PU的运动向量信息存储在空间相邻运动向量内部缓冲器141-2中。如由虚线的箭头所示，在相邻运动向量信息设置单元122的控制下，从空间相邻运动向量内部缓冲器141-2读取与PU-1的上部相邻的上部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量内部缓冲器141-2读取图10的B1、B2、B3的运动向量信息，并且将所读取的运动向量信息提供给候选预测运动向量生成单元142-2。
候选预测运动向量生成单元142-2使用上部相邻PU的运动向量信息来例如按照如参照图8所说明的图10的B1、B3、B2的顺序执行扫描，并且确定位于所讨论的PU-1的上部(top)的空间预测运动向量。所确定的空间预测运动向量信息被提供给成本函数值计算单元143-2。
在步骤S152-2中，候选预测运动向量生成单元142-2确定位于所讨论的PU-1的左部(left)的空间预测运动向量。更具体地，在稍后将说明的步骤S156中，将已处理的左部相邻PU的运动向量信息存储在空间相邻运动向量共享缓冲器133中。如由虚线的箭头所示，从空间相邻运动向量共享缓冲器133读取与所讨论的PU-1的左部相邻的左部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量共享缓冲器133读取图10的A0、A1的运动向量信息，并且将所读取的运动向量信息提供给候选预测运动向量生成单元142-2。
候选预测运动向量生成单元142-2使用左部相邻PU的运动向量信息来例如按照如参照图8所说明的图10的A0、A1的顺序执行扫描，并且确定位于所讨论的PU-1的左部(left)的空间预测运动向量。所确定的空间预测运动向量信息被提供给成本函数值计算单元143-2。
在步骤S153-2中，候选预测运动向量生成单元142-2确定在时间方面与所讨论的PU-1相邻的时间预测运动向量。更具体地，在稍后将说明的步骤S156中，将已处理的时间相邻PU的运动向量信息存储在时间相邻运动向量共享缓冲器132中。如由虚线的箭头所示，从时间相邻运动向量共享缓冲器132读取预定PU的运动向量信息，并且将所读取的运动向量信息提供给候选预测运动向量生成单元142-2。
候选预测运动向量生成单元142-2使用时间相邻PU的运动向量信息来确定所讨论的PU-1的时间预测运动向量。所确定的时间预测运动向量信息被提供给成本函数值计算单元143-2。
成本函数值计算单元143-2计算针对每条候选预测运动向量信息的成本函数值，并且将所算出的成本函数值和候选预测运动向量信息提供给最佳预测运动向量确定单元144-2。应注意，在图16的步骤S131中从运动预测/补偿单元115提供的所讨论的PU-1的运动向量信息用于计算成本函数值。另外，以上说明的表达式(9)或表达式(10)用作成本函数。
在步骤S154-2中，最佳预测运动向量确定单元144-2确定从成本函数值计算单元143-2提供的成本函数值最小的候选预测运动向量是关于所讨论的PU-1的最佳预测运动向量。最佳预测运动向量确定单元144-2将关于所讨论的PU-1的最佳预测运动向量的信息提供给运动预测/补偿单元115。
相应地，运动预测/补偿单元115生成差运动向量，该差运动向量是目标区域的运动向量与从最佳预测运动向量确定单元144-2提供的目标区域的预测运动向量之间的差。另外，运动预测/补偿单元115使用例如从屏幕排序缓冲器102提供的输入图像和差运动向量的信息来在以上说明的图16的步骤S133中评估每个预测图像的成本函数值，并且在步骤S134中选择最佳模式。然后，运动预测/补偿单元115将最佳模式下的运动向量信息提供给时间相邻运动向量共享缓冲器132、空间相邻运动向量共享缓冲器133和空间相邻运动向量内部缓冲器141-2。
在步骤S155-2中，空间相邻运动向量内部缓冲器141-2存储所讨论的PU-1的运动向量信息，作为后续的PU的空间相邻运动向量信息。
在步骤S156中，时间相邻运动向量共享缓冲器132存储所讨论的PU-1的运动向量信息，作为后续的PU及后面的PU的时间相邻运动向量信息。同样，空间相邻运动向量共享缓冲器133存储所讨论的PU-1的运动向量信息，作为后续的PU及后面的PU的空间相邻运动向量信息。
如上所述，在用于对所讨论的PU的运动向量进行编码的预测运动向量的生成处理中，采用这样的配置：禁止使用位于所讨论的PU的右上部的PU的运动向量信息。
因此，在步骤S155-1的处理之后，即使在步骤S155-2中运动向量编码单元131-2尚未完成对PU-1的处理，运动向量编码单元131-1也可以立即对后续的PU0执行处理。更具体地，如以上参照图13所说明的，可以执行流水线处理。
<2.第二实施例>
[图像解码装置]
随后，将说明对如上所述编码的编码数据(编码流)的解码。图18是示出与图1的图像编码装置100相对应的图像解码装置的主要配置的示例的框图。
如图18所示，图像解码装置200根据与图像编码装置100的编码方法相对应的解码方法来对图像编码装置100生成的编码数据进行解码。应注意，类似于图像编码装置100，图像解码装置200针对每个预测单位(PU)执行帧间预测。
如图18所示，图像解码装置200包括累积缓冲器201、无损解码单元202、逆量化单元203、逆正交变换单元204、计算单元205、去块滤波器206、屏幕排序缓冲器207和D/A转换单元208。另外，图像解码装置200包括帧存储器209、选择单元210、帧内预测单元211、运动预测/补偿单元212和选择单元213。
另外，图像解码装置200包括运动向量解码单元221和相邻运动向量信息设置单元222。
累积缓冲器201还是接收所传送的编码数据的接收单元。累积缓冲器201接收并累积所传送的编码数据，并且以预定定时将编码数据提供给无损解码单元202。将诸如预测模式信息、运动向量差信息和预测运动向量的索引的解码所需要的信息与编码数据相加。无损解码单元202根据与无损编码单元106的编码方法相对应的方法来对累积缓冲器201提供且经图1的无损编码单元106编码的信息进行解码。无损解码单元202向逆量化单元203提供作为解码结果而获得的差图像的量化后的系数数据。
无损解码单元202确定是否选择帧内预测模式或帧间预测模式作为最佳预测模式，并且将关于最佳预测模式的信息提供给确定选择其模式的帧内预测单元211或运动预测/补偿单元212。更具体地，例如，当图像编码装置100选择帧间预测模式作为最佳预测模式时，将关于最佳预测模式的信息提供给运动预测/补偿单元212。
逆量化单元203根据与图1的量化单元105的量化方法相对应的方法来对从无损解码单元202的解码处理获得的量化后的系数数据进行量化，并且将所获得的系数数据提供给逆正交变换单元204。
逆正交变换单元204根据与图1的正交变换单元104的正交变换方法相对应的方法，对从逆量化单元203提供的系数数据执行逆正交变换。作为该逆正交变换处理的结果，逆正交变换单元204获得与在图像编码装置100执行正交变换之前的残差数据相对应的解码残差数据。
从逆正交变换获得的解码残差数据被提供给计算单元205。计算单元205经由选择单元213从帧内预测单元211或运动预测/补偿单元212接收预测图像。
计算单元205将解码残差数据与预测图像相加，并且获得与在图像编码装置100的计算单元103减去预测图像之前的图像数据相对应的解码图像数据。计算单元205将解码图像数据提供给去块滤波器206。
去块滤波器206对所提供的解码图像执行去块滤波处理，并将处理后的解码图像提供给屏幕排序缓冲器207。去块滤波器206对解码图像执行去块滤波处理，从而去除解码图像的块失真。
去块滤波器206将滤波处理结果(滤波处理后的解码图像)提供给屏幕排序缓冲器207和帧存储器209。应注意，从计算单元205输出的解码图像可被提供给屏幕排序缓冲器207和帧存储器209，而不通过去块滤波器206。更具体地，可省略去块滤波器206执行的滤波处理。
屏幕排序缓冲器207对图像进行排序。更具体地，将图1的屏幕排序缓冲器102针对编码顺序所排序的帧顺序排序为用于显示的原始顺序。D/A转换单元208对从屏幕排序缓冲器207提供的图像执行D/A转换，将图像输出到未示出的显示器，并且使得显示器示出该图像。
帧存储器209存储所提供的解码图像，并以预定定时或基于诸如帧内预测单元211和运动预测/补偿单元212的外部请求，将所存储的解码图像作为参考图像提供给选择单元210。
选择单元210选择从帧存储器209提供的参考图像的目的地。当对帧内编码图像进行解码时，选择单元210向帧内预测单元211提供从帧存储器209提供的参考图像。当对帧间编码图像进行解码时，选择单元210向运动预测/补偿单元212提供从帧存储器209提供的参考图像。
按照需要，无损解码单元202向帧内预测单元211提供例如通过对头信息进行解码而获得的表示帧内预测模式的信息。帧内预测单元211在图1的帧内预测单元114使用的帧内预测模式下，使用从帧存储器209获得的参考图像来执行帧内预测模式，并且生成预测图像。帧内预测单元211将所生成的预测图像提供给选择单元213。
运动预测/补偿单元212从无损解码单元202获得通过对头信息进行解码而得到的信息(例如，最佳预测模式信息、参考图像信息)。
运动预测/补偿单元212以由从无损解码单元202获得的最佳预测模式信息表示的帧间预测模式、使用从帧存储器209获得的参考图像来执行帧间预测，并且生成预测图像。应注意，此时，运动预测/补偿单元212使用由运动向量解码单元221重构的运动向量信息来执行帧间预测。
选择单元213将从帧内预测单元211提供的预测图像或从运动预测/补偿单元212提供的预测图像提供给计算单元205。然后，计算单元205将使用运动向量生成的预测图像与从逆正交变换单元204提供的解码残差数据(差图像信息)相加，从而对原始图像进行解码。更具体地，运动预测/补偿单元212、无损解码单元202、逆量化单元203、逆正交变换单元204和计算单元205还是使用运动向量来对编码数据进行解码并生成原始图像的解码单元。
从通过对头信息进行解码而获得的信息当中，运动向量解码单元221从无损解码单元202获得预测运动向量的索引的信息和差运动向量的信息。这里，预测运动向量的索引是如下信息：其表示在关于每个PU在时间和空间方面相邻的相邻区域当中的哪个相邻区域的运动向量被用于运动向量的预测处理(预测运动向量的生成)。关于差运动向量的信息是表示差运动向量的值的信息。
运动向量解码单元221使用由预测运动向量的索引表示的PU的运动向量来重构预测运动向量。具体地，当由预测运动向量的索引表示的PU是在空间方面与目标区域相邻的空间相邻区域时，运动向量解码单元221通过使用相邻运动向量信息设置单元222未禁止使用的相邻区域的运动向量，来生成空间预测运动向量。运动向量解码单元221通过将所重构的预测运动向量与从无损解码单元202提供的差运动向量相加来重构运动向量，并且将所重构的运动向量的信息提供给运动预测/补偿单元212。
相邻运动向量信息设置单元222进行这样的设置：其使得要使用或者要禁止使用在空间方面与目标区域相邻的相邻区域当中的特定相邻区域的运动向量。更具体地，相邻运动向量信息设置单元222禁止使用相对于目标区域位于与右上部相邻的相邻区域的运动向量。
应注意，运动向量解码单元221和相邻运动向量信息设置单元222中的与本技术相关的基本操作原理与图1的运动向量编码单元121和相邻运动向量信息设置单元122的基本操作原理相同。然而，在如图1所示的图像编码装置100中，当根据候选预测运动向量信息来选择对于每个PU的最佳的事项时，本技术应用于空间预测运动向量。
另一方面，如图18所示的图像解码装置200从编码侧接收表示关于每个PU使用哪个预测运动向量来执行编码处理的信息(预测运动向量的索引)。因此，在图像解码装置200中，当利用空间预测运动向量来执行编码时，应用本技术。
[运动向量解码单元的配置示例]
图19是示出运动向量解码单元221的主要配置的示例的框图。应注意，在图19的示例中，未包括在运动向量解码单元221中的部分用虚线示出。
图19的示例的运动向量解码单元221被配置为包括运动向量解码单元231-1和231-2、时间相邻运动向量共享缓冲器232以及空间相邻运动向量共享缓冲器233。
运动向量解码单元231-1执行包括例如对如图12所示的PU-2、PU0、…的预测运动向量生成(重构)处理的运动向量重构处理。运动向量解码单元231-2执行包括例如对如图12所示的PU-1、PU1、…的预测运动向量生成(重构)处理的运动向量重构处理。更具体地，运动向量解码单元231-1和231-2的不同之处仅在于处理目标的PU，并且基本上以相同方式配置。应注意，当不需要将运动向量解码单元231-1和231-2彼此区分开时，下文中将运动向量解码单元231-1和231-2称为运动向量解码单元231。
运动向量解码单元231-1被配置为包括预测运动向量信息缓冲器241-1、差运动向量信息缓冲器242-1、预测运动向量重构单元243-1和运动向量重构单元244-1。运动向量解码单元231-1被配置为还进一步包括空间相邻运动向量内部缓冲器245-1。
运动向量解码单元231-2被配置为包括预测运动向量信息缓冲器241-2、差运动向量信息缓冲器242-2、预测运动向量重构单元243-2和运动向量重构单元244-2。运动向量解码单元231-2被配置为还进一步包括空间相邻运动向量内部缓冲器245-2。
应注意，当不需要将预测运动向量信息缓冲器241-1和241-2彼此区分开时，下文中将预测运动向量信息缓冲器241-1和241-2称为预测运动向量信息缓冲器241。当不需要将差运动向量信息缓冲器242-1和241-2彼此区分开时，下文中将差运动向量信息缓冲器242-1和241-2称为差运动向量信息缓冲器242。当不需要将预测运动向量重构单元243-1和243-2彼此区分开时，下文中将预测运动向量重构单元243-1和243-2称为预测运动向量重构单元243。当不需要将运动向量重构单元244-1和244-2彼此区分开时，下文中将运动向量重构单元244-1和244-2称为运动向量重构单元244。当不需要将空间相邻运动向量内部缓冲器245-1和245-2彼此区分开时，下文中将空间相邻运动向量内部缓冲器245-1和245-2称为空间相邻运动向量内部缓冲器245。
时间相邻运动向量共享缓冲器232由存储器构成，并且由运动向量解码单元231-1和231-2共享。时间相邻运动向量共享缓冲器232累积从运动向量重构单元244提供的运动向量信息作为在时间方面相邻的时间相邻区域的运动向量的信息。应注意，在时间方面相邻的区域是如下区域：其在时间轴方面与不同图片内的所讨论的区域具有相同的空间内的地址。
时间相邻运动向量共享缓冲器232读取表示关于在时间方面与所讨论的PU相邻的时间相邻PU所导出的运动向量的信息，并且将所读取的信息(时间相邻运动向量信息)提供给预测运动向量重构单元244。
空间相邻运动向量共享缓冲器233由行缓冲器构成，并且由运动向量解码单元231-1和231-2共享。空间相邻运动向量共享缓冲器233累积从运动向量重构单元244提供的运动向量信息，作为在空间方面相邻的空间相邻区域内的运动向量的信息。空间相邻运动向量共享缓冲器233读取表示关于在空间方面与所讨论的PU相邻的空间相邻PU当中的、与左部相邻的左部相邻PU(例如，图9的A0、A1)所导出的运动向量的信息。空间相邻运动向量共享缓冲器233将所读取的信息(空间相邻运动向量信息)提供给预测运动向量重构单元244。
预测运动向量信息缓冲器241累积表示经无损解码单元202解码的目标区域(PU)的预测运动向量的索引的信息(下文中称为预测运动向量的信息)。预测运动向量信息缓冲器241读取所讨论的PU的预测运动向量的信息，并且将所讨论的PU的预测运动向量的信息提供给预测运动向量重构单元243。
差运动向量信息缓冲器242累积经无损解码单元202解码的目标区域(PU)的差运动向量的信息。差运动向量信息缓冲器242读取所讨论的PU的差运动向量的信息，并且将所讨论的PU的差运动向量的信息提供给运动向量重构单元244。
预测运动向量重构单元243基于根据AMVP或合并模式的方法，对由从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引表示的预测运动向量进行重构。预测运动向量重构单元243将已重构的预测运动向量的信息提供给运动向量重构单元244。
更具体地，当所讨论的PU的预测运动向量的索引表示上部相邻PU的空间预测运动向量时，预测运动向量重构单元243通过使用从空间相邻运动向量内部缓冲器245提供的、在空间方面与所讨论的PU相邻的上部相邻PU的空间相邻运动向量信息，来生成所讨论的PU的空间预测运动向量。应注意，在空间相邻运动向量内部缓冲器245中，相邻运动向量信息设置单元222控制上部相邻PU的空间相邻运动向量信息的读取。
当所讨论的PU的预测运动向量的索引表示左部相邻PU的空间预测运动向量时，预测运动向量重构单元243通过使用从空间相邻运动向量共享缓冲器233提供的、在空间方面与所讨论的PU相邻的左部相邻PU的空间相邻运动向量信息，来生成所讨论的PU的空间预测运动向量。另外，当所讨论的PU的预测运动向量的索引表示时间预测运动向量时，预测运动向量重构单元243通过使用从时间相邻运动向量共享缓冲器232提供的、在时间方面与所讨论的PU相邻的时间相邻运动向量信息，来生成所讨论的PU的时间预测运动向量。
运动向量重构单元244将由从差运动向量信息缓冲器242提供的信息表示的所讨论的PU的差运动向量与重构的所讨论的PU的预测运动向量相加，从而重构运动向量。运动向量重构单元244将表示已重构的运动向量的信息提供给运动预测/补偿单元212、空间相邻运动向量内部缓冲器245、空间相邻运动向量共享缓冲器233和时间相邻运动向量共享缓冲器232。
空间相邻运动向量内部缓冲器245由行缓冲器构成。空间相邻运动向量内部缓冲器245累积由运动向量重构单元244重构的运动向量信息，作为用于同一图片内的后续的PU及后面的PU的预测运动向量信息的空间相邻运动向量信息。
空间相邻运动向量内部缓冲器245读取表示关于在空间方面与所讨论的PU相邻的空间相邻PU当中的、与上部相邻的上部相邻PU(例如，图10的B1、B2、B3)所导出的运动向量的信息。此时，空间相邻运动向量内部缓冲器245将所讨论的PU的信息提供给相邻运动向量信息设置单元222。相应地，从相邻运动向量信息设置单元222提供禁止读取的PU的信息，因此，空间相邻运动向量内部缓冲器245不读取上部相邻PU当中的、相邻运动向量信息设置单元222禁止的PU(例如，图8的B0)的运动向量。空间相邻运动向量内部缓冲器245将所读取的信息(空间相邻运动向量信息)提供给预测运动向量重构单元243。应注意，可以采用这样的配置：例如，相邻运动向量信息设置单元222还执行用于读取图10的B3的运动向量的命令。
当相邻运动向量信息设置单元222从空间相邻运动向量内部缓冲器245接收到所讨论的PU的信息时，相邻运动向量信息设置单元222将所讨论的PU的上部相邻PU当中的、运动向量被禁止使用的PU的地址的信息提供给空间相邻运动向量内部缓冲器245。应注意，此时，按照需要(例如，在图10或图11的情况下)，可采用这样的配置：还将所讨论的PU的上部相邻PU当中的、运动向量被允许使用的PU的地址的信息提供给空间相邻运动向量内部缓冲器245。
应注意，运动预测/补偿单元212使用由运动向量重构单元244重构的所讨论的PU的运动向量，以利用由从无损解码单元202获得的最佳预测模式信息表示的帧间预测模式、使用参考图像来生成预测图像。
[解码处理的流程]
随后，将说明以上说明的图像解码装置200执行的每个处理的流程。首先，将参照图20的流程图说明解码处理的流程的示例。
当开始解码处理时，在步骤S201中，累积缓冲器201累积所传送的代码流。在步骤S202中，无损解码单元202对从累积缓冲器201提供的代码流(被编码的差图像信息)进行解码。更具体地，对由图1的无损编码单元106编码的I图片、P图片和B图片进行解码。
此时，还对除了诸如头信息的代码流中所包括的差图像信息之外的各种信息进行解码。无损解码单元202获得例如预测模式信息、关于差运动向量的信息、以及表示预测运动向量的索引的标记。无损解码单元202将所获得的信息提供给对应单元。
在步骤S203中，逆量化单元203对在步骤S202的处理中所获得的量化后的正交变换系数进行去量化。在步骤S204中，逆正交变换单元204对在步骤S203中去量化的正交变换系数执行逆正交变换。
在步骤S205中，无损解码单元202基于在步骤S202中所解码的关于最佳预测模式的信息来确定处理目标的编码数据是否被帧内编码。当确定处理目标的编码数据被帧内编码时，处理进行到步骤S206。
在步骤S206中，帧内预测单元211获得帧内预测模式信息。在步骤S207中，帧内预测单元211使用在步骤S206中所获得的帧内预测模式信息来执行帧内预测并生成预测图像。
另外，在步骤S206中，当确定处理目标的编码数据没有被帧内编码时，即当确定处理目标的编码数据被帧间编码时，处理进行到步骤S208。
在步骤S208中，运动向量解码单元221和相邻运动向量信息设置单元222执行运动向量重构处理。稍后将参照图21详细说明运动向量重构处理的详情。
在步骤S208的处理中，参考所解码的关于预测运动向量的信息，并且通过流水线处理，生成所讨论的PU的预测运动向量。更具体地，对由从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引表示的预测运动向量进行重构。然后，已重构的所讨论的PU的预测运动向量用于重构运动向量，并且所重构的运动向量被提供给运动预测/补偿单元212。
更具体地，当从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引表示在左部的空间预测运动向量时，通过参考从空间相邻运动向量共享缓冲器233提供的左部相邻PU的相邻运动向量信息来重构所讨论的PU的预测运动向量。当从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引表示在上部的空间预测运动向量时，通过参考从空间相邻运动向量内部缓冲器245提供的上部相邻PU的相邻运动向量信息(其是在相邻运动向量信息设置单元222的控制下提供的)来重构所讨论的PU的预测运动向量。另外，当从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引表示时间预测运动向量时，通过参考从时间相邻运动向量共享缓冲器232提供的时间相邻运动向量信息来重构所讨论的PU的预测运动向量。
在步骤S209中，运动预测/补偿单元212通过使用在步骤S208的处理中所重构的运动向量来执行帧间运动预测处理，并生成预测图像。所生成的预测图像被提供给选择单元213。
在步骤S210中，选择单元213选择在步骤S207或步骤S209中所生成的预测图像。在步骤S211中，计算单元205将在步骤S210中所选择的预测图像与在步骤S204中从逆正交变换获得的差图像信息相加。相应地，对原始图像进行解码。更具体地，使用运动向量来生成预测图像，并且将所生成的预测图像与从逆正交变换单元204提供的差图像信息相加，因而，对原始图像进行解码。
在步骤S212中，去块滤波器206按照需要对在步骤S211中所获得的解码图像执行去块滤波处理。
在步骤S213中，屏幕排序缓冲器207对在步骤S212中滤波的图像进行排序。更具体地，图像编码装置100的屏幕排序缓冲器102为了进行编码而排序的帧顺序被排序为用于显示的原始顺序。
在步骤S214中，D/A转换单元208对在步骤S213中对帧进行排序的图像执行D/A转换。图像输出至未示出的显示器，并且显示图像。
在步骤S215中，帧存储器209存储在步骤S212中滤波的图像。
当完成步骤S215中的处理时，终止解码处理。
[运动向量重构处理的流程]
随后，将参照图21的流程图说明在图20的步骤S208中所执行的运动向量重构处理的流程的示例。应注意，该运动向量重构处理是用于使用已从编码侧传送且经无损解码单元202解码的信息来对运动向量进行解码的处理。
另外，在图21的示例中，为了清楚地表明这是流水线处理，分别示出运动向量解码单元231-1执行的处理和运动向量解码单元231-2执行的处理。然而，步骤S237中的处理是时间相邻运动向量共享缓冲器232和空间相邻运动向量共享缓冲器233的处理，因此，以组合方式示出了步骤S237中的处理。
更具体地，在图21的示例中，在左侧示出运动向量解码单元231-1执行的关于PU-2、PU0…的运动向量重构处理。另一方面，在右侧示出运动向量解码单元231-2执行的关于PU-1、PU1…的运动向量重构处理。
另外，在图21的示例中，虚线被示出以清楚地表示在哪个步骤中存储运动向量信息以及在哪个步骤中使用运动向量信息。
在图20的步骤S202中，无损解码单元202将解码后的参数的信息等提供给对应单元。
在步骤S231-1中，预测运动向量信息缓冲器241-1获得解码后的参数的信息当中的表示关于预测运动向量的索引的信息(预测运动向量信息)，并且累积所获得的信息。然后，预测运动向量信息缓冲器241-1以预定定时将预测运动向量信息提供给预测运动向量重构单元243-1。
应注意，此时，差运动向量信息缓冲器242-1获得解码后的参数的信息当中的差运动向量的信息，并且累积所获得的信息。然后，差运动向量信息缓冲器242-1将差运动向量的信息提供给运动向量重构单元244-1。
在步骤S232-1中，预测运动向量重构单元243-1基于以上通过参照图5或图7所说明的根据MVP或合并模式的方法，重构所讨论的PU-2的时间预测运动向量。更具体地，在稍后将说明的步骤S237中，将已处理的时间相邻PU的运动向量信息存储在时间相邻运动向量共享缓冲器232中。如由虚线的箭头所示，从时间相邻运动向量共享缓冲器232读取预定PU的运动向量信息，并且将所读取的运动向量信息提供给预测运动向量重构单元243-1。
预测运动向量重构单元243-1通过使用从时间相邻运动向量共享缓冲器232提供的在时间方面与所讨论的PU-2相邻的时间相邻运动向量信息，来生成所讨论的PU-2的时间预测运动向量。
在步骤S233-1中，预测运动向量重构单元243-1基于根据AMVP或合并模式的方法，重构在所讨论的PU-2的上部(Top)的预测运动向量。更具体地，在稍后将说明的步骤S236-1中，将已处理的上部相邻PU的运动向量信息存储在空间相邻运动向量内部缓冲器245-1中。如由虚线的箭头所示，在相邻运动向量信息设置单元222的控制下，从空间相邻运动向量内部缓冲器245-1读取与所讨论的PU-2的上部相邻的上部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量内部缓冲器245-1读取图10的B1、B2、B3的运动向量信息，并将所读取的运动向量信息提供给预测运动向量重构单元243-1。
预测运动向量重构单元243-1使用从空间相邻运动向量内部缓冲器245-1提供的、在空间方面与所讨论的PU相邻的上部相邻PU的空间相邻运动向量信息，来生成所讨论的PU-2的空间预测运动向量。
应注意，在空间相邻运动向量内部缓冲器245-1中，相邻运动向量信息设置单元222控制上部相邻PU的空间相邻运动向量信息的读取。
更具体地，空间相邻运动向量内部缓冲器245-1读取表示关于在空间方面与所讨论的PU-2相邻的空间相邻PU当中的、与上部相邻的上部相邻PU(例如，图10的B1、B2、B3)所导出的运动向量的信息。此时，空间相邻运动向量内部缓冲器245-1将所讨论的PU-2的信息提供给相邻运动向量信息设置单元222，并且不读取相应地提供的上部相邻PU当中的、被禁止的PU(例如，图8的B0)的运动向量。空间相邻运动向量内部缓冲器245-1将如上所述读取的信息(空间相邻运动向量信息)提供给预测运动向量重构单元243-1。
在步骤S234-1中，预测运动向量重构单元243-1基于根据AMVP或合并模式的方法来重构在所讨论的PU-2的左部(left)的预测运动向量。更具体地，在稍后将说明的步骤S237中，将已处理的左部相邻PU的运动向量信息存储在空间相邻运动向量共享缓冲器233中。如由虚线的箭头所示，从空间相邻运动向量共享缓冲器233读取与所讨论的PU-2的左部相邻的左部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量共享缓冲器233读取图10的A0、A1的运动向量信息，并且将所读取的运动向量信息提供给预测运动向量重构单元243-1。
预测运动向量重构单元243-1使用从空间相邻运动向量共享缓冲器233提供的、在空间方面与所讨论的PU相邻的左部相邻PU的空间相邻运动向量信息，来生成所讨论的PU-2的空间预测运动向量。
应注意，步骤S232-1至步骤S234-1中的处理是基于从预测运动向量信息缓冲器241-1提供的、所讨论的PU-2的预测运动向量的索引而执行的处理，并且实际上，执行这些步骤中的仅一个步骤的处理。应注意，稍后将参照图22详细说明步骤S232-1至S234-1中的处理。预测运动向量重构单元243-1将已重构的预测运动向量的信息提供给运动向量重构单元244-1。
在步骤S235-1中，运动向量重构单元244-1重构运动向量。更具体地，运动向量重构单元244-1通过将由从差运动向量信息缓冲器242-1提供的信息表示的所讨论的PU-2的差运动向量与所重构的所讨论的PU-2的预测运动向量相加来重构运动向量。运动向量重构单元244-1将表示所重构的运动向量的信息提供给运动预测/补偿单元212、空间相邻运动向量内部缓冲器245-1、空间相邻运动向量共享缓冲器233和时间相邻运动向量共享缓冲器232。
在步骤S236-1中，空间相邻运动向量内部缓冲器245-1存储所讨论的PU-2的运动向量信息作为用于后续的PU的空间相邻运动向量信息。
在步骤S237中，时间相邻运动向量共享缓冲器232存储所讨论的PU-2的运动向量信息作为用于后续的PU及后面的PU的时间相邻运动向量信息。同样，空间相邻运动向量共享缓冲器233存储关于所讨论的PU-2的运动向量信息作为用于后续的PU及后面的PU的空间相邻运动向量信息。
另一方面，在步骤S231-2中，预测运动向量信息缓冲器241-2获得解码后的参数的信息当中的表示关于预测运动向量的索引的信息(预测运动向量信息)，并且累积所获得的信息。然后，预测运动向量信息缓冲器241-2以预定定时将预测运动向量信息提供给预测运动向量重构单元243-2。
应注意，此时，差运动向量信息缓冲器242-2获得解码后的参数的信息当中的差运动向量的信息，并且累积所获得的信息。然后，差运动向量信息缓冲器242-2将差运动向量的信息提供给运动向量重构单元244-2。
在步骤S232-2中，预测运动向量重构单元243-2基于根据AMVP或合并模式的方法来生成所讨论的PU-1的时间预测运动向量。更具体地，在稍后将说明的步骤S237中，将已处理的时间相邻PU的运动向量信息存储在时间相邻运动向量共享缓冲器232中。如由虚线的箭头所示，从时间相邻运动向量共享缓冲器232读取预定PU的运动向量信息，并且将所读取的运动向量信息提供给预测运动向量重构单元243-2。
预测运动向量重构单元243-2通过使用从时间相邻运动向量共享缓冲器232提供的、在时间方面与所讨论的PU-1的相邻的时间相邻运动向量信息来生成所讨论的PU-1的时间预测运动向量。
在步骤S233-2中，预测运动向量重构单元243-2基于根据AMVP或合并模式的方法来生成所讨论的PU-1的上部(Top)的预测运动向量。更具体地，在稍后将说明的步骤S236-2中，将已处理的上部相邻PU的运动向量信息存储在空间相邻运动向量内部缓冲器245-2中。如由虚线的箭头所示，在相邻运动向量信息设置单元222的控制下，从空间相邻运动向量内部缓冲器245-2读取与所讨论的PU-1的上部相邻的上部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量内部缓冲器245-2读取图10的B1、B2、B3的运动向量信息，并且将所读取的运动向量信息提供给预测运动向量重构单元243-2。
预测运动向量重构单元243-2使用从空间相邻运动向量内部缓冲器245-2提供的在空间方面与所讨论的PU相邻的上部相邻PU的空间相邻运动向量信息，来生成所讨论的PU-1的空间预测运动向量。
应注意，在空间相邻运动向量内部缓冲器245-2中，相邻运动向量信息设置单元222控制上部相邻PU的空间相邻运动向量信息的读取。
更具体地，空间相邻运动向量内部缓冲器245-2读取表示关于在空间方面与所讨论的PU-1相邻的空间相邻PU当中的、与上部相邻的上部相邻PU(例如，图10的B1、B2、B3)所导出的运动向量的信息。此时，空间相邻运动向量内部缓冲器245-2将所讨论的PU-1的信息提供给相邻运动向量信息设置单元222，并且不读取相应地提供的上部相邻PU当中的被禁止的PU(例如，图8的B0)的运动向量。空间相邻运动向量内部缓冲器245-2将如上所述读取的信息(空间相邻运动向量信息)提供给预测运动向量重构单元243-2。
在步骤S234-2中，预测运动向量重构单元243-2基于根据AMVP或合并模式的方法来生成所讨论的PU-1的左部(left)的预测运动向量。更具体地，在稍后将说明的步骤S237中，将已处理的左部相邻PU的运动向量信息存储在空间相邻运动向量共享缓冲器233中。如由虚线的箭头所示，从空间相邻运动向量共享缓冲器233读取与所讨论的PU-1的左部相邻的左部相邻PU当中的预定PU的运动向量信息。例如，从空间相邻运动向量共享缓冲器233读取图10的A0、A1的运动向量信息，并且将所读取的运动向量信息提供给预测运动向量重构单元243-2。
预测运动向量重构单元243-2使用从空间相邻运动向量共享缓冲器233提供的、在空间方面与所讨论的PU相邻的左部相邻PU的空间相邻运动向量信息，来生成PU-1的空间预测运动向量。
应注意，步骤S232-2至步骤S234-2中的处理是基于从预测运动向量信息缓冲器241-2提供的所讨论的PU-1的预测运动向量的索引而执行的处理，并且实际上，执行这些步骤中的仅一个步骤的处理。应注意，稍后将参照图22详细说明步骤S232-2至S234-2中的处理。预测运动向量重构单元243-2将已重构的预测运动向量的信息提供给运动向量重构单元244-2。
在步骤S235-2中，运动向量重构单元244-2重构运动向量。更具体地，运动向量重构单元244-2通过将由从差运动向量信息缓冲器242-2提供的信息表示的所讨论的PU-1的差运动向量与重构的所讨论的PU-1的预测运动向量相加，来重构运动向量。运动向量重构单元244-2将表示所重构的运动向量的信息提供给运动预测/补偿单元212、空间相邻运动向量内部缓冲器245-2、空间相邻运动向量共享缓冲器233和时间相邻运动向量共享缓冲器232。
在步骤S236-2中，空间相邻运动向量内部缓冲器245-2存储所讨论的PU-1的运动向量信息作为用于后续的PU的空间相邻运动向量信息。
在步骤S237中，时间相邻运动向量共享缓冲器232存储所讨论的PU-1的运动向量信息作为用于后续的PU及后面的PU的时间相邻运动向量信息。同样，空间相邻运动向量共享缓冲器233存储所讨论的PU-1的运动向量信息作为用于后续的PU及后面的PU的空间相邻运动向量信息。
应注意，在合并模式下，没有从编码侧传送差运动向量信息，并且采用所重构的预测运动向量作为运动向量，因此，跳过步骤S235-1和步骤S235-2中的运动向量的重构处理。
[预测运动向量重构处理的流程]
随后，将参照图22的流程图来说明在图21的步骤S232-1至步骤S234-1以及步骤S232-2至步骤S234-2中所执行的预测运动向量重构处理的流程的示例。
在步骤S251中，预测运动向量重构单元243确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的是否为时间预测运动向量。
当在步骤S251中确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的是时间预测运动向量时，处理进行到步骤S252。
在步骤S252中，预测运动向量重构单元243重构时间预测运动向量。应注意，步骤S252中的处理是与上述的图21的步骤S232-1和步骤S232-2中的处理相同的处理，因此，省略其详细描述。
当在步骤S251中确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的不是时间预测运动向量时，处理进行到步骤S253。在步骤S253中，预测运动向量重构单元243确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的是否为在上部的空间预测运动向量。
当在步骤S253中确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的是在上部的空间预测运动向量时，处理进行到步骤S254。
在步骤S254中，预测运动向量重构单元243重构在上部的空间预测运动向量。应注意，步骤S254中的处理是与上述的图21的步骤S233-1和步骤S233-2中的处理相同的处理，因此，将省略其详细描述。
当在步骤S253中确定从预测运动向量信息缓冲器241提供的所讨论的PU的预测运动向量的索引所表示的不是在上部的空间预测运动向量时，处理进行到步骤S255。在步骤S255中，预测运动向量重构单元243重构在左部的空间预测运动向量。应注意，步骤S255中的处理是与上述的图21的步骤S234-1和步骤S234-2中的处理相同的处理，因此，省略其详细描述。
如上所述，在所讨论的PU的运动向量的解码处理中，即在预测运动向量的重构处理中，采用这样的配置：禁止使用位于所讨论的PU的右上部的PU的运动向量信息。
相应地，例如，在步骤S236-1的处理之后，即使在步骤S236-2中运动向量解码单元231-2尚未完成对PU-1的处理，运动向量解码单元231-1也可以立即对后续的PU0执行处理。更具体地，如以上参照图13所说明的，可以执行流水线处理。
通过执行如上所述的每个处理，图像解码装置200可以正确地对经图像编码装置100编码的编码数据进行解码，并且能够提高编码效率。
更具体地，在所讨论的PU的运动向量的解码处理中，即在预测运动向量的重构处理中，在图像解码装置200中禁止使用位于所讨论的PU的右上部的PU的运动向量信息。
因此，能够高效地执行流水线处理，并且能够提高处理效率。
<3.第三实施例>
[LCU单位的控制]
应注意，在上述说明中，PU被解释为控制单位。替代PU，可以采用LCU作为控制单位。更具体地，可采用这样的配置：在作为最大编码单位的LCU单位中，禁止使用位于LCU的右上部的PU(图8的B0)。
将参照图8再次进行说明。仅当所讨论的PU的上部边界和右部边界是LCU边界时，禁止使用B0。更具体地，仅在包括所讨论的PU的LCU中所讨论的PU是位于LCU的右上部的PU的情况下，禁止使用B0。
因此，能够以LCU单位执行流水线处理。
应注意，在LCU单位的情况下，可以在相邻运动向量信息设置单元122和222中构成或者可以在运动向量编码单元131和运动向量解码单元231中构成确定单元，该确定单元确定所讨论的PU的边界是否为LCU的边界。另外，可采用这样的配置：空间相邻运动向量内部缓冲器141和245确定用于确定所讨论的PU的边界是否为LCU的边界的处理。
将再次参照图13进行说明。图13所示的示例是在PU具有相同大小但实际上很可能以各种大小设置PU的情况下的示例。因此，当以PU单位执行控制时，每个PU的处理时间的长度(例如，如图13所示的PU-2的处理时间的长度(从t0到t2)、PU-1的处理时间的长度(从t1到t5)以及PU0的处理时间的长度(从t4到t8)可不同。
相反，当以LCU单位执行控制时，LCU的处理时间的长度相同(并不变化)。因此，当以LCU单位控制处理时，与以PU单位控制处理的情况相比，流水线处理的控制变得容易。
应注意，虽然以上使用LCU说明了典型示例，但是本技术也可以以LCU之外的单位应用，只要其是使得处理时间的长度没有如上所述那样变化的单位。
另外，还可以设置如下识别信息：该识别信息用于识别是以预测单位(PU单位)还是以最大编码单位(LCU单位)执行用于禁止使用右上区域的运动向量的处理。
该识别信息以在编码侧要执行控制的单位设置，并且连同编码流一起被传送。例如，当要以片段单位执行控制时，该识别信息设置在片段头中。例如，当要以图片单位执行控制时，该识别信息设置在图片参数集中。当要以序列单位执行控制时，该识别信息设置在序列参数集中。
然后，解码侧接收编码流及其识别信息，并且根据所接收到的识别信息，禁止使用右上区域的运动向量。
如上所述，在预测运动向量的重构处理中，禁止使用位于目标区域(PU或LCU)右上部的PU的运动向量信息。
因此，能够高效地执行流水线处理，并且能够提高处理效率。
应注意，虽然在上述说明中已说明基于HEVC的情况的示例，但是本技术也可以应用于使用其它编码方法的设备中，只要其是根据AMVP和合并模式执行运动向量信息的编码处理和解码处理的设备。
另外，例如，本技术可以应用于如下图像编码装置和图像解码装置：其用于经由诸如卫星广播、有线电视、因特网和蜂窝式电话的网络介质来接收类似于MPEG、H.26x等通过诸如离散余弦变换和运动补偿的正交变换所压缩的图像信息(位流)。本技术可以应用于用于在诸如光谱、磁盘和闪存的记录介质上进行处理的图像编码装置和图像解码装置。另外，该技术还可以应用于包括在图像编码装置、图像解码装置等中的运动预测补偿装置。
<4.第四实施例>
到[多视点图像编码/多视点图像解码]的应用
上述系列处理可以应用于多视点图像编码/多视点图像解码。图23示出多视点图像编码方法的示例。
如图23所示，多视点图像包括针对多个视点的图像，并且多视点的预定视点的图像被指定为基本视图图像。除基本视图图像以外的视点的图像被当作非基本视图图像。
当执行如图23所示的多视点图像编码时，可以在每个视图(相同视图)中设置在生成或重构预测向量时对预定区域(更具体地，位于以上说明的目标区域的右上部的右上区域)的运动向量信息的禁止使用。另外，在每个视图(不同视图)中，还可以应用在另一视图中设置的对预定区域的运动向量信息的禁止使用。
在这种情况下，在基本视图中设置的对运动向量的禁止使用应用于至少一个非基本视图。替选地，例如，在非基本视图(view_id＝i)中设置的对运动向量的禁止使用应用于基本视图和非基本视图(view_id＝j)中的至少任一个。
另外，在每个视图(相同视图)中，还可以设置识别信息，该识别信息用于识别是以预测单位还是以最大编码单位执行用于禁止使用预定区域的运动向量的处理。另外，在每个视图(不同视图)中，还可以共享识别信息，该识别信息用于识别是以预测单位还是以最大编码单位执行用于禁止使用在其它视图中设置的预定区域的运动向量的处理。
在这种情况下，在基本视图中设置的识别信息用在至少一个非基本视图中。替选地，例如，在非基本视图(view_id＝i)中设置的识别信息用在基本视图和非基本视图(view_id＝j)中的至少任一个中。
相应地，能够高效地执行流水线处理，并且能够提高处理效率。
[多视点图像编码装置]
图24是示出执行以上说明的多视点图像编码的多视点图像编码装置的图。如图24所示，多视点图像编码装置600包括编码单元601、编码单元602和复用单元603。
编码单元601对基本视图图像进行编码并且生成基本视图图像编码流。编码单元602对非基本视图图像进行编码，并且生成非基本视图图像编码流。复用单元603对编码单元601生成的基本视图图像编码流与编码单元602生成的非基本视图图像编码流进行复用，并且生成多视点图像编码流。
图像编码装置100(图1)可以应用于多视点图像编码装置600的编码单元601和编码单元602。在这种情况下，多视点图像编码装置600设置由编码单元601设置的识别信息以及由编码单元602设置的识别信息，并且传送识别信息。
应注意，可以采用这样的配置：如上所述由编码单元601设置的识别信息被设置为在编码单元601和编码单元602中共享和使用，并被传送。相反，可采用这样的配置：由编码单位602设置的识别信息被设置为在编码单元601和编码单位602中共享和使用，并被传送。
[多视点图像解码装置]
图25是示出执行以上说明的多视点图像解码的多视点图像解码装置的图。如图25所示，多视点图像解码装置610包括解复用单元611、解码单元612和解码单元613。
解复用单元611对通过将基本视图图像编码流与非基本视图图像编码流进行复用而获得的多视点图像编码流进行解复用，并且提取基本视图图像编码流和非基本视图图像编码流。解码单元612对解复用单元611提取的基本视图图像编码流进行解码，并且获得基本视图图像。解码单元613对解复用单元611提取的非基本视图图像编码流进行解码，并且获得非基本视图图像。
图像解码装置200(图18)可以应用于多视点图像解码装置610的解码单元612和解码单元613。在这种情况下，多视点图像解码装置610使用由编码单元601设置且由解码单元612解码的识别信息以及由编码单元602设置且由解码单元613解码的识别信息来执行处理。
应注意，如上所述由编码单元601(或编码602)设置的识别信息可被设置为在编码单元601和编码单元602中共享和使用，并被传送。在这种情况下，在多视点图像解码装置610中，通过使用由编码单元601(或编码602)设置且由解码单元612(或解码单元613)解码的识别信息来执行处理。
<5.第五实施例>
[到层级图像点编码/层级图像解码的应用]
上述系列处理可以应用于层级图像编码/层级图像解码。图26示出多视点图像编码方法的示例。
如图26所示，层级图像包括多个层级(分辨率)的图像，并且多个分辨率中的预定分辨率的层级图像被指定为基本层图像。除了基本层图像之外的层级的图像被当作非基本层图像。
当执行如图26所示的层级图像编码(空间可伸缩性)时，可以在每个层(相同层)中设置在生成或重构预测向量中对预定区域的运动向量信息的禁止使用。另外，在每个层(不同层)中，可以应用对在另一层中所设置的预定区域的运动向量信息的禁止使用。
在这种情况下，在基本层中设置的运动向量的禁止使用被用在至少一个非基本层中。替选地，例如，对在非基本层(layer_id＝i)中设置的运动向量的禁止使用被用在基本层和非基本层(layer_id＝j)中的至少任一个中。
另外，在每个层(相同层)中，还可以设置识别信息，该识别信息用于识别是以预测单位还是以最大编码单位执行用于禁止使用预定区域的运动向量的处理。另外，在每个层(不同层)中，还可以共享识别信息，该识别信息用于识别是以预测单位还是以最大编码单位执行用于禁止使用在其它视图中所设置的预定区域的运动向量的处理。
在该情况下，在至少一个非基本层中使用在基本层中设置的识别信息。替选地，例如，在基本层和非基本层(layer_id＝j)中的至少任一个中使用在非基本层(layer_id＝i)中设置的识别信息。
因此，能够高效地执行流水线处理，并且能够提高处理效率。
[层级图像编码装置]
图27是示出执行以上说明的层级图像编码的层级图像编码装置的图。如图27所示，层级图像编码装置620包括编码单元621、编码单元622和复用单元623。
编码单元621对基本层图像进行编码并且生成基本层图像编码流。编码单元622对非基本层图像进行编码并生成非基本层图像编码流。复用单元623对编码单元621生成的基本层图像编码流与编码单元622生成的非基本层图像编码流进行复用，并且生成层级图像编码流。
图像编码装置(图1)可以应用于层级图像编码装置620的编码单元621和编码单元622。在这种情况下，层级图像编码装置620设置由编码单元621设置的识别信息以及由编码单元622设置的识别信息，并且传送识别信息。
应注意，可采用这样的配置：如上所述由编码单元621设置的识别信息被设置为在编码单元621和编码单元622中共享和使用，并且被传送。相反，可采用这样的配置：由编码单元622设置的识别信息被设置为在编码单元621和编码单元622中共享和使用，并且被传送。
[层级图像解码装置]
图28是示出执行以上说明的层级图像解码的层级图像解码装置的图。如图28所示，层级图像解码装置630包括解复用单元631、解码单元632和解码单元633。
解复用单元631对通过将基本层图像编码流与非基本层图像编码流复用而获得的层级图像编码流进行解复用，并且提取基本层图像编码流和非基本层图像编码流。解码单元632对解复用单元631提取的基本层图像编码流进行解码，并且获得基本层图像。解码单元633对解复用单元631提取的非基本层图像编码流进行解码，并且获得非基本层图像。
图像解码装置200(图18)可以应用于层级图像解码装置630的解码单元632和解码单元633。在这种情况下，层级图像解码装置630通过使用由编码单元621设置且由解码单元632解码的识别信息以及由编码单元622设置且由解码单元633解码的识别信息来执行处理。
应注意，上述编码单元621(或编码622)设置的识别信息可被设置为在编码单元621和编码单元622中共享和使用，并且被传送。在这种情况下，在层级图像解码装置630中，通过使用由编码单元621(或编码622)设置且由解码单元632解码(或解码单元633)解码的识别信息来执行处理。
<6.第六实施例>
[计算机]
上述系列处理可利用硬件来执行或者可利用软件来执行。当利用软件来执行该系列处理时，将构成软件的程序安装于计算机。这里，计算机包括并入专用硬件中的计算机以及能够通过安装各种程序执行各种功能的通用个人计算机。
图29是示出使用程序执行上述系列处理的计算机的硬件的配置示例的框图。
在计算机800中，CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803经由总线804彼此连接。
总线804还与输入/输出接口805连接。输入/输出接口805与输入单元806、输出单元807、存储单元808、通信单元809和驱动器810连接。
输入单元806由键盘、鼠标、麦克风等构成。输出单元807由显示器、扬声器等构成。存储单元808由硬盘、非易失性存储器等构成。通信单元809由网络接口等构成。驱动器810驱动可移动介质811，诸如磁盘、光谱、磁光盘和半导体存储器。
在如上所述配置的计算机中，CPU 801通过经由输入/输出接口805和总线804将程序加载到RAM 803来例如执行存储在存储单元808中的程序，从而执行上述系列处理。
计算机800(CPU 801)执行的程序可以被设置为记录于用作例如封装介质的可移动介质811。另外，该程序可以经由诸如局域网、因特网和数字卫星广播的有线或无线传输介质来提供。
在计算机中，可以通过将可移动介质装载至驱动器810来经由输入/输出接口805将该程序安装于存储单元808。另外，可以通过经由有线或无线传输介质利用通信单元809接收程序来将程序安装于存储单元808。此外，可以预先将程序安装于ROM 802和存储单元808。
计算机执行的程序可以是根据本说明书中所说明的顺序、按时间序列执行处理的程序，或者可以是并行地或者在需要的定时(例如，在调用时)执行处理的程序。
在本说明书中，描述记录介质中所记录的程序的步骤包括根据所述顺序、按时间序列执行的处理。这些步骤可能不一定按照时间序列来执行，并且这些步骤包括并行地或单独地执行的处理。
在本说明书中，系统包括由多个装置构成的整体设备。
在以上说明中作为一个装置(或处理单元)被说明的配置可被划分并且构造为多个装置(或处理单元)。在以上说明中作为多个装置(或处理单元)被说明的配置可被组合并且构造为一个装置(或处理单元)。替选地，应理解，每个装置(或每个处理单元)的配置可添加有除上述配置之外的任意配置。另外，当整个系统的配置和操作基本上相同时，特定装置(或处理单元)的配置的一部分可包括在另一装置(或另一处理单元)的配置中。更具体地，该技术不限于上述实施例，并且可以以各种方式改变，只要其在本技术的要旨内。
以上说明的根据实施例的图像编码装置和图像解码装置可以应用于各种电子装置，诸如用于通过卫星广播、有线广播(诸如有线电视)、因特网上的分发、蜂窝通信而分发到终端的传送器或接收器，用于将图像记录至诸如光盘、磁盘和闪存的介质的记录装置，或者用于从这些记录介质再现图像的再现装置。下文中，将说明四种应用示例。
<7.应用示例>
[第一应用示例：电视接收装置]
图30示出图示应用上述实施例的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口909、控制单元910、用户接口911和总线912。
调谐器902从经由天线901接收到的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器902将从解调获得的编码位流输出到解复用器903。更具体地，调谐器902起到用于接收图像被编码的编码流的电视装置900中的传送装置的作用。
解复用器903从编码位流分离出观看目标的节目的视频流和音频流，并且将所分离的流输出到解码器904。另外，解复用器903从编码位流中提取诸如EPG(电子节目指南)的辅助数据，并且将所提取的数据提供给控制单元910。应注意，在对编码位流进行扰码的情况下，解复用器903可执行解扰。
解码器904对从解复用器903接收到的视频流和音频流进行解码。然后，解码器904将从解码处理生成的视频数据输出至视频信号处理单元905。解码器904将从解码处理生成的音频数据输出到音频信号处理单元907。
视频信号处理单元905播放从解码器904接收到的视频数据，并且使显示单元906显示视频。视频信号处理单元905可在显示单元906上显示经由网络提供的应用屏幕。视频信号处理单元905可根据设置对视频数据执行诸如降噪的附加处理。另外，视频信号处理单元905生成诸如菜单、按钮或光标的GUI(图形用户接口)的图像，并且将所生成的图像叠加在输出图像上。
显示单元906是由从视频信号处理单元905提供的驱动信号来驱动的，并且在显示装置(诸如液晶显示器、等离子体显示器或OELD(有机电致发光显示器)(有机EL显示器)等)的视频屏幕上显示视频或图像。
音频信号处理单元907对从解码器904接收到的音频数据执行诸如D/A转换和放大的再现处理，并使得扬声器908输出音频。音频信号处理单元907可对音频数据执行诸如降噪的附加处理。
外部接口909是用于在电视装置900与外部装置或网络之间进行连接的接口。例如，解码器904可对经由外部接口909接收到的视频流或音频流进行解码。更具体地，外部接口909也起到了用于接收图像被编码的编码流的电视装置900中的传送装置的作用。
控制单元910具有诸如用于CPU等的处理器以及RAM和ROM的存储器。存储器存储例如CPU执行的程序、程序数据、EPG数据和经由网络获得的数据。当启动电视装置900时，CPU例如可读取并执行存储在存储器中的程序。例如，CPU执行程序以根据从用户接口911接收到的操作信号来控制电视装置900的操作。
用户接口911连接至控制单元910。用户接口911包括例如用户操作电视装置900所利用的按钮和开关以及用于接收远程控制信号的接收单元。用户接口911通过经由这些构成元件检测用户的操作来生成操作信号，并且将所生成的操作信号输出到控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口909和控制单元910彼此连接。
在如上所述配置的电视装置900中，解码器904具有根据以上说明的实施例的图像解码装置的功能。因此，在电视装置900中对图像进行解码时，可以在对运动向量的解码中通过流水线处理来提高处理效率。
[第二应用示例：蜂窝式电话]
图31示出了图示应用上述实施例的蜂窝式电话的示意性配置的示例。蜂窝式电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像单元926、图像处理单元927、解复用器928、记录/再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像单元926、图像处理单元927、解复用器928、记录/再现单元929、显示单元930和控制单元931彼此连接。
蜂窝式电话920以各种模式(包括音频电话呼叫模式、数据通信模式、拍摄模式和视频呼叫模式)执行诸如音频信号的传送/接收、电子邮件或图像数据的传送/接收、捕获图像以及记录数据的操作。
在音频电话呼叫模式下，由麦克风925生成的模拟音频信号被提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，对转换后的音频数据执行A/D转换，并且对音频数据进行压缩。然后，音频编解码器923将压缩后的音频数据输出到通信单元922。通信单元922对音频数据进行编码和调制，并生成传送信号。然后，通信单元922将所生成的传送信号经由天线921传送到基站(未示出)。通信单元922放大经由天线921接收到的无线电信号，并且转换频率并获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来生成音频数据，并将所生成的音频数据输出到音频编解码器923。音频编解码器923对音频数据进行解压缩，执行D/A转换，并且生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并输出音频。
在数据通信模式下，例如，控制单元931根据利用操作单元932所给出的用户操作来生成构成电子邮件的文本数据。控制单元931在显示单元930上显示字符。控制单元931根据利用操作单元932所给出的用户的传送指令来生成电子邮件数据，并且将所生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制，并且生成传送信号。然后，通信单元922将所生成的传送信号经由天线921传送至基站(未示出)。通信单元922对经由天线921接收到的无线电信号进行放大并转换频率，并且获得接收信号。然后，通信单元922通过对接收信号进行解调和解码来恢复电子邮件数据，并且将所恢复的电子邮件数据输出至控制单元931。控制单元931在显示单元930上显示电子邮件的内容，并将电子邮件数据存储到记录/再现单元929的记录介质。
记录/再现单元929具有可读写的任意给定的记录介质。例如，记录介质可以是诸如RAM或闪存的内部记录介质，并且可以是诸如硬盘、磁盘、磁光盘、光盘、USB(未分配的空间位图)存储器或存储卡的外部附接的记录介质。
在拍摄模式下，例如，摄像单元926捕获对象的图像，生成图像数据，并将所生成的图像数据输出到图像处理单元927。图像处理单元927对从摄像单元926输入的图像数据进行编码，并将编码流存储在记录/再现单元929的存储介质中。
在视频呼叫模式下，例如，解复用器928对经图像处理单元927编码的视频流与从音频编解码器923接收到的音频流进行复用，并将复用流输出至通信单元922。通信单元922对该流进行编码和调制，并且生成传送信号。然后，通信单元922将所生成的传送信号经由天线921传送到基站(未示出)。通信单元922放大经由天线921所接收到的无线电信号，并且转换频率并获得接收信号。传送信号和接收信号可包括编码位流。然后，通信单元922通过对接收信号进行解调和解码来恢复该流，并且将所恢复的流输出到解复用器928。解复用器928从所接收到的流分离出视频流和音频流，并且将视频流输出至图像处理单元927以及将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码并生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流进行解压缩，执行D/A转换，并生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924，并输出音频。
在如上所述配置的蜂窝式电话920中，图像处理单元927具有根据以上说明的实施例的图像编码装置和图像解码装置的功能。因此，在蜂窝式电话920中对图像进行编码和解码时，可以在对运动向量的编码或解码中通过流水线处理提高处理效率。
[第三应用示例：记录/再现装置]
图32示出了图示应用上述实施例的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码，并且将它们记录于记录介质。例如，记录/再现装置940可对从另一装置获得的音频数据和视频数据进行编码，并且可将它们记录于记录介质。例如，记录/再现装置940根据用户的指令、使用监视器和扬声器再现记录介质上所记录的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口942、编码器943、HDD(硬盘驱动器)944、盘驱动器945、选择器946、解码器947、OSD(屏幕上显示器)948、控制单元949和用户接口950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望频道的信号，并且对所提取的信号进行解调。然后，调谐器941将从解码获得的编码位流输出至选择器946。更具体地，调谐器941起到记录/再现装置940中的传送装置的作用。
外部接口942是用于在记录/再现装置940与外部装置或网络之间进行连接的接口。外部接口942可以是例如IEEE1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口942接收到的视频数据和音频数据被输入到编码器942。更具体地，外部接口942起到记录/再现装置940中的传送装置的作用。
当从外部接口942接收到的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码位流输出至选择器946。
HDD 944将通过对诸如视频和音频、各种程序和其它数据的内容数据进行压缩而获得的编码位流记录于设置在其中的硬盘。当再现视频和音频时，HDD 944从硬盘读取数据。
盘驱动器945将数据记录于所装载的记录介质/从该记录介质读取数据。装载到盘驱动器945的记录介质可以是例如DVD盘(DVD-Video(DVD-视频)、DVD-RAM、DVD-R、DVD-RW、DVD+R、DVD+RW等)或蓝光(注册商标)盘。
当记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码位流，并且将所选择的编码位流输出至HDD 944或盘驱动器945。另外，当再现视频和音频时，选择器946将从HDD 944或盘驱动器945输入的编码位流输出到解码器947。
解码器947对编码位流进行解码，并生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD 94。解码器904将所生成的音频数据输出至外部扬声器。
OSD 948再现从解码器947接收到的视频数据，并且显示视频。OSD 948可将诸如菜单、按钮或光标的GUI的图像叠加在所显示的视频上。
控制单元949具有诸如用于CPU等的处理器以及RAM和ROM的存储器。存储器记录由CPU执行的程序、程序数据等。当启动记录/再现装置940时，CPU例如可读取并执行存储在存储器中的程序。例如，CPU执行程序以根据从用户接口950接收到的操作信号来控制记录/再现装置940的操作。
用户接口950连接至控制单元949。用户接口950包括例如用户操作记录/再现装置940所利用的按钮和开关、以及用于接收远程控制信号的接收单元。用户接口950通过经由这些构成元件检测用户的操作来生成操作信号，并且将所生成的操作信号输出至控制单元949。
在如上所述配置的记录/再现装置940中，编码器943具有根据上述实施例的图像编码装置的功能。解码器947具有根据以上说明的实施例的图像解码装置的功能。因此，在记录/再现装置940中对图像进行编码和解码时，可以在对运动向量的编码或解码中通过流水线处理提高处理效率。
[第四应用示例：图像捕获装置]
图33示出了图示应用上述实施例的图像捕获装置的示意性配置的示例。图像捕获装置960捕获对象的图像，生成图像数据，并且将图像数据记录于记录介质。
图像捕获装置960包括光学块961、图像捕获单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口966、存储器967、介质驱动器968、OSD 969、控制单元970、用户接口971和总线972。
光学块961连接至图像捕获单元962。图像捕获单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口971连接至控制单元970。总线972将图像处理单元964、外部接口966、存储器967、介质驱动器968、OSD 969和控制单元970相互连接。
光学块961包括聚焦透镜和光圈机构。光学块961使得对象的光学图像形成在图像捕获单元962的图像捕获表面上。图像捕获单元962包括诸如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)的图像传感器，并且通过光电转换将形成在图像捕获表面上的光学图像转换成作为电信号的图像信号。然后，图像捕获单元962将图像信号输出至信号处理单元963。
信号处理单元963对从图像捕获单元962接收到的图像信号执行诸如拐点(knee)校正、伽马校正和颜色校正的各种摄像信号处理。信号处理单元963将已经进行摄像信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963接收到的图像数据进行编码，并生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口966或介质驱动器968。图像处理单元964对从外部接口966或介质驱动器968接收到的编码数据进行解码，并生成图像数据。然后，图像处理单元964将所生成的图像数据输出至显示单元965。图像处理单元964可将从信号处理单元963接收到的图像数据输出至显示单元965，并且可在显示单元965上显示图像。图像处理单元964还可将从OSD 969获得的显示数据叠加在要输出至显示单元965的图像上。
例如，OSD 969可生成诸如菜单、按钮或光标的GUI的图像，并且将所生成的图像输出至图像处理单元964。
外部接口966被配置为例如USB输入/输出端子。外部接口966例如在打印图像期间将图像捕获装置960与打印机连接。外部接口966按照需要连接至驱动器。在该驱动器中，例如，可装载诸如磁盘或光盘的可移动介质。从可移动介质读取的程序可安装于图像捕获装置960。另外，外部接口966可被配置为连接至诸如LAN或因特网的网络的网络接口。更具体地，外部接口966起到图像捕获装置960中的传送装置的作用。
装载至介质驱动器968的记录介质可以是可读写的任意给定的可移动介质，诸如磁盘、光磁盘、光盘或半导体存储器。可配置以固定方式装载至介质驱动器968的记录介质以及例如不可移动存储单元(诸如，内部硬盘驱动器或SSD(固态驱动器)。
控制单元970具有诸如用于CPU等的处理器以及RAM和ROM的存储器。存储器记录由CPU执行的程序、程序数据等。例如，当启动图像捕获装置960时，CPU可读取并执行存储在存储器中的程序。例如，CPU执行程序以根据从用户接口950接收到的操作信号来控制图像捕获装置960的控制操作。
用户接口971连接至控制单元970。用户接口971包括例如用户操作图像捕获装置960所利用的按钮和开关。用户接口971通过经由这些构成元件检测用户的操作来生成操作信号，并将所生成的操作信号输出至控制单元970。
在如上所述配置的图像捕获装置960中，图像处理单元964具有根据以上说明的实施例的图像编码装置和图像解码装置的功能。因此，在图像捕获装置960中对图像进行编码和解码时，可以在对运动向量的编码或解码中通过流水线处理提高处理效率。
应注意，在本说明书中，说明了如下示例：其中，将各种信息(诸如，预测运动向量的索引、差运动向量信息和用于识别禁止使用右上区域的运动向量所利用的单位的识别信息)复用为编码流，并且从编码侧传送到解码侧。然而，用于传送信息的方法不限于这样的示例。例如，可不将信息复用为编码位流，并且可将该信息作为与编码位流相关联的单独数据来传送或记录。在这种情况下，用语“关联”是指在解码期间将包括在位流中的图像(其可以是图像的一部分，诸如片段或块)和对应于图像的信息链接。更具体地，可通过独立于图像(或位流)的传送路径来传送信息。信息可记录至与图像(或位流)不同的另一记录介质(或同一记录介质的另一记录区域)。另外，信息和图像(或位流)可以以诸如多个帧、一个帧或帧的一部分的任意给定单位而彼此相关联。
上文中参照附图详细描述了本公开的优选实施例，但是本公开不限于这样的示例。显而易见的是，本公开的技术所属领域的普通技术人员可以想到落入权利要求书中所描述的技术要旨的范围的各种改变或修改，并且应理解，在权利要求书中所描述的技术要旨的范围内的各种改变或修改也包括在本公开的技术范围之内。
应注意，本技术还可以如下配置。
(1)一种图像处理设备，包括：
相邻运动向量信息设置单元，当以用于对图像的当前块的运动向量进行解码的预测运动向量作为目标来生成空间预测运动向量时，所述相邻运动向量信息设置单元禁止使用位置与所述当前块的右上部相邻的右上块的运动向量；
预测运动向量生成单元，所述预测运动向量生成单元以在空间方面位置与所述当前块相邻的空间相邻块的运动向量作为目标，使用除了被所述相邻运动向量信息设置单元禁止使用的所述右上块的运动向量之外的运动向量来生成所述当前块的空间预测向量；以及
运动向量解码单元，其使用所述当前块的所述预测运动向量来对所述当前块的所述运动向量进行解码。
(2)根据上述(1)所述的图像处理设备，其中，所述预测运动向量生成单元以流水线执行关于所述当前块的空间预测向量的生成处理，以及关于按扫描顺序接在所述当前块之后的块的空间预测向量的生成处理。
(3)根据上述(1)或(2)所述的图像处理设备，其中，所述预测运动向量生成单元使用第一块的运动向量来生成所述当前块的所述空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端。
(4)根据上述(1)或(2)所述的图像处理设备，其中，所述预测运动向量生成单元使用第一块的运动向量以及除所述第一块之外的第二块的运动向量来生成所述当前块的所述空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端，其中以所述上部块作为目标。
(5)根据上述(4)所述的图像处理设备，其中，所述第二块是在所述上部块作为目标的情况下位置与所述第一块的左部相邻的块。
(6)根据上述(4)所述的图像处理设备，其中，所述第二块是在所述上部块作为目标的情况下位于所述当前块在水平方向上的长度的中心周围的块。
(7)根据上述(1)至(6)中任一项所述的图像处理设备，其中，所述相邻运动向量信息设置单元以最大编码单位禁止使用所述右上块的运动向量。
(8)根据上述(7)所述的图像处理设备，还包括边界确定单元，所述边界确定单元确定所述当前块的边界是否为所述最大编码单位的边界，其中所述相邻运动向量信息设置单元仅在所述边界确定单元确定所述当前块的边界是所述最大编码单位的边界时禁止使用所述右上块的运动向量。
(9)根据上述(7)所述的图像处理设备，其中，所述相邻运动向量信息设置单元根据识别信息来禁止使用所述右上块的运动向量，所述识别信息用于识别是以预测单位禁止使用所述右上块的运动向量还是以所述最大编码单位禁止使用所述右上块的运动向量。
(10)一种图像处理方法，
在所述方法中，图像处理设备：
当以用于对图像的当前块的运动向量进行解码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与所述当前块的右上部相邻的右上块的运动向量；
以在空间方面位置与所述当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的所述右上块的运动向量之外的运动向量来生成所述当前块的空间预测向量；以及
使用所述当前块的预测运动向量来对所述当前块的运动向量进行解码。
(11)一种图像处理设备，包括：
相邻运动向量信息设置单元，当以用于对图像的当前块的运动向量进行编码的预测运动向量作为目标来生成空间预测运动向量时，所述相邻运动向量信息设置单元禁止使用位置与所述当前块的右上部相邻的右上块的运动向量；
预测运动向量生成单元，所述预测运动向量生成单元以将在空间方面位置与所述当前块相邻的空间相邻块的运动向量作为目标，使用除了所述相邻运动向量信息设置单元禁止使用的所述右上块的运动向量之外的运动向量来生成所述当前块的空间预测向量；以及
运动向量编码单元，其使用所述当前块的预测运动向量来对所述当前块的运动向量进行编码。
(12)根据上述(11)所述的图像处理设备，其中，所述预测运动向量生成单元以流水线执行关于所述当前块的空间预测向量的生成处理，以及关于按扫描顺序接在所述当前块之后的块的空间预测向量的生成处理。
(13)根据上述(11)或(12)所述的图像处理设备，其中，所述预测运动向量生成单元使用第一块的运动向量来生成所述当前块的空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端。
(14)根据上述(11)或(12)所述的图像处理设备，其中，所述预测运动向量生成单元使用第一块的运动向量以及除所述第一块之外的第二块的运动向量来生成所述当前块的空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端，其中以所述上部块作为目标。
(15)根据上述(14)所述的图像处理设备，其中，所述第二块是在所述上部块作为目标的情况下位置与所述第一块的左部相邻的块。
(16)根据上述(14)所述的图像处理设备，其中，所述第二块是在所述上部块作为目标的情况下位于所述当前块在水平方向上的长度的中心周围的块。
(17)根据上述(11)至(16)中任一项所述的图像处理设备，其中，所述相邻运动向量信息设置单元以最大编码单位禁止使用所述右上块的运动向量。
(18)根据上述(17)所述的图像处理设备，还包括边界确定单元，所述边界确定单元确定所述当前块的边界是否为所述最大编码单位的边界，
其中，所述相邻运动向量信息设置单元仅在所述边界确定单元确定所述当前块的边界是所述最大编码单位的边界时禁止使用所述右上块的运动向量。
(19)根据上述(17)所述的图像处理设备，还包括：
识别信息设置单元，其设置用于识别是以预测单位禁止使用所述右上块的运动向量还是以所述最大编码单位禁止使用所述右上块的运动向量的识别信息；以及
传送单元，其传送所述识别信息设置单元设置的识别信息以及编码流。
(20)一种图像处理方法，
在所述方法中，图像处理设备：
当以用于对图像的当前块的运动向量进行编码的预测运动向量作为目标来生成空间预测运动向量时，禁止使用位置与所述当前块的右上部相邻的右上块的运动向量；
以在空间方面位置与所述当前块相邻的空间相邻块的运动向量作为目标，使用除了禁止使用的所述右上块的运动向量之外的运动向量来生成所述当前块的空间预测向量；以及
使用所述当前块的预测运动向量来对所述当前块的运动向量进行编码。
附图标记列表
100 图像编码装置
106 无损编码单元
115 运动预测/补偿单元
121 运动向量编码单元
122 相邻运动向量信息设置单元
131,131-1,131-2 运动向量编码单元
132 时间相邻运动向量共享缓冲器
133 空间相邻运动向量共享缓冲器
141,141-1,141-2 空间相邻运动向量内部缓冲器
142,142-1,142-2 候选预测运动向量生成单元
143,143-1,143-2 成本函数值计算单元
144,144-1,144-2 最佳预测运动向量确定单元
200 图像解码装置
202 无损解码单元
212 运动预测/补偿单元
221 运动向量解码单元
222 相邻运动向量信息设置单元
231,231-1,231-2 运动向量编码单元
232 时间相邻运动向量共享缓冲器
233 空间相邻运动向量共享缓冲器
241,241-1,241-2 预测运动向量信息缓冲器
242,242-1,242-2 差运动向量信息缓冲器
243,243-1,243-2 预测运动向量重构单元
244,244-1,244-2 运动向量重构单元
245,245-1,245-2 空间相邻运动向量缓冲器

Claims (17)

1.一种图像处理设备，包括：
相邻运动向量信息设置单元，其禁止使用位于与当前块的右上部相邻的右上块的运动向量作为合并模式的预测运动向量的候选；
预测运动向量生成单元，其使用除了被所述相邻运动向量信息设置单元禁止使用的所述右上块的运动向量之外的运动向量作为所述合并模式的预测运动向量的候选，生成所述当前块的空间预测向量；以及
运动向量解码单元，其使用所述当前块的预测运动向量来对所述当前块的运动向量进行解码。
2.根据权利要求1所述的图像处理设备，其中，所述相邻运动向量信息设置单元在利用所述空间预测运动向量执行编码流的情况下禁止使用所述右上块的运动向量。
3.根据权利要求1所述的图像处理设备，其中，所述预测运动向量生成单元执行关于所述当前块的所述空间预测向量的生成处理以及关于按扫描顺序接在所述当前块之后的块的空间预测向量的生成处理。
4.根据权利要求1所述的图像处理设备，其中，所述相邻运动向量信息设置单元根据识别信息禁止使用所述右上块的运动向量，所述识别信息用于识别是否在预测单位中禁止使用所述右上块的运动向量。
5.根据权利要求4所述的图像处理设备，其中，所述识别信息是在图片参数集中被设置。
6.根据权利要求3所述的图像处理设备，其中，所述预测运动向量生成单元使用第一块的运动向量以及除所述第一块之外的第二块的运动向量来生成所述当前块的所述空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端。
7.根据权利要求1所述的图像处理设备，其中，所述相邻运动向量信息设置单元以最大编码单位禁止使用所述右上块的运动向量。
8.根据权利要求7所述的图像处理设备，还包括边界确定单元，所述边界确定单元确定所述当前块的边界是否为所述最大编码单位的边界，其中，所述相邻运动向量信息设置单元仅在所述边界确定单元确定所述当前块的边界是所述最大编码单位的边界时禁止使用所述右上块的运动向量。
9.一种图像处理方法，包括：
禁止使用位于与当前块的右上部相邻的右上块的运动向量作为合并模式的预测运动向量的候选；
使用除了被禁止使用的所述右上块的运动向量之外的运动向量作为所述合并模式的预测运动向量的候选，生成所述当前块的空间预测向量；以及
使用所述当前块的预测运动向量来对所述当前块的运动向量进行解码。
10.根据权利要求9所述的图像处理方法，其中，在利用所述空间预测运动向量执行编码流的情况下禁止使用所述右上块的运动向量。
11.根据权利要求9所述的图像处理方法，还包括：
执行关于按扫描顺序接在所述当前块之后的块的空间预测向量的生成处理。
12.根据权利要求9所述的图像处理方法，其中，根据识别信息禁止使用所述右上块的运动向量，所述识别信息用于识别是否在预测单位中禁止使用所述右上块的运动向量。
13.根据权利要求12所述的图像处理方法，其中，所述识别信息是在图片参数集中被设置。
14.根据权利要求11所述的图像处理方法，其中，使用第一块的运动向量以及除所述第一块之外的第二块的运动向量来生成所述当前块的所述空间预测向量，其中所述第一块是所述当前块的空间相邻块，并且位于与作为目标的所述当前块的上部表面接触的上部块的右端。
15.根据权利要求9所述的图像处理方法，其中，以最大编码单位禁止使用所述右上块的运动向量。
16.根据权利要求15所述的图像处理方法，还包括：
确定所述当前块的边界是否为所述最大编码单位的边界，其中，仅在确定所述当前块的边界是所述最大编码单位的边界时禁止使用所述右上块的运动向量。
17.一种存储单元，其中存储有用于执行权利要求9-16中的一项所述的图像处理方法的程序。
CN201810152253.9A 2011-11-10 2012-11-02 图像处理设备和方法 Active CN108184125B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2011246543 2011-11-10
JP2011-246543 2011-11-10
JP2011-247489 2011-11-11
JP2011247489 2011-11-11
CN201280053690.6A CN103907352B (zh) 2011-11-10 2012-11-02 图像处理设备和方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN201280053690.6A Division CN103907352B (zh) 2011-11-10 2012-11-02 图像处理设备和方法

Publications (2)

Publication Number Publication Date
CN108184125A CN108184125A (zh) 2018-06-19
CN108184125B true CN108184125B (zh) 2022-03-08

Family

ID=48289933

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201810152253.9A Active CN108184125B (zh) 2011-11-10 2012-11-02 图像处理设备和方法
CN201280053690.6A Active CN103907352B (zh) 2011-11-10 2012-11-02 图像处理设备和方法
CN201810152234.6A Active CN108200438B (zh) 2011-11-10 2012-11-02 图像处理设备和方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201280053690.6A Active CN103907352B (zh) 2011-11-10 2012-11-02 图像处理设备和方法
CN201810152234.6A Active CN108200438B (zh) 2011-11-10 2012-11-02 图像处理设备和方法

Country Status (7)

Country Link
US (3) US10616599B2 (zh)
JP (1) JP5936081B2 (zh)
CN (3) CN108184125B (zh)
MY (1) MY170805A (zh)
SG (3) SG10201507080RA (zh)
TW (2) TWI523497B (zh)
WO (1) WO2013069557A1 (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6300114B2 (ja) * 2014-08-06 2018-03-28 パナソニックＩｐマネジメント株式会社 送信方法、受信方法、送信装置及び受信装置
JP6078138B1 (ja) * 2015-10-30 2017-02-08 Ｎｔｔエレクトロニクス株式会社 動画像符号化装置及び動画像符号化方法
EP3509297B1 (en) * 2016-09-30 2021-06-23 Huawei Technologies Co., Ltd. Video encoding method, decoding method and terminal
CN109672894B (zh) * 2017-10-13 2022-03-08 腾讯科技（深圳）有限公司 一种帧间预测方法、装置及存储介质
WO2020003258A1 (en) 2018-06-29 2020-01-02 Beijing Bytedance Network Technology Co., Ltd. Virtual merge candidates
JP2021002723A (ja) * 2019-06-20 2021-01-07 キヤノン株式会社 画像符号化装置及び画像復号装置及び方法及びプログラム
JP2021002722A (ja) * 2019-06-20 2021-01-07 キヤノン株式会社 画像符号化装置及び画像復号装置及び方法及びプログラム

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188766A (zh) * 2007-12-18 2008-05-28 北京中星微电子有限公司 一种运动矢量预测方法及装置
CN101677406A (zh) * 2008-09-19 2010-03-24 华为技术有限公司 一种视频编解码的方法及装置
CN101990098A (zh) * 2009-07-31 2011-03-23 索尼公司 图像处理设备和方法
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
CN102158709A (zh) * 2011-05-27 2011-08-17 山东大学 一种解码端可推导的运动补偿预测方法
WO2011126345A2 (ko) * 2010-04-09 2011-10-13 엘지전자 주식회사 비디오 신호 처리 방법 및 장치

Family Cites Families (77)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6275533B1 (en) * 1997-06-20 2001-08-14 Matsushita Electric Industrial Co., Ltd. Image processing method, image processing apparatus, and data recording medium
US6788811B1 (en) * 1999-05-10 2004-09-07 Ricoh Company, Ltd. Coding apparatus, decoding apparatus, coding method, decoding method, amd computer-readable recording medium for executing the methods
US6167092A (en) * 1999-08-12 2000-12-26 Packetvideo Corporation Method and device for variable complexity decoding of motion-compensated block-based compressed digital video
US6842483B1 (en) * 2000-09-11 2005-01-11 The Hong Kong University Of Science And Technology Device, method and digital video encoder for block-matching motion estimation
AUPR192800A0 (en) * 2000-12-06 2001-01-04 Canon Kabushiki Kaisha Digital image compression and decompression
US7117504B2 (en) * 2001-07-10 2006-10-03 Microsoft Corporation Application program interface that enables communication for a network software platform
JP4130783B2 (ja) * 2002-04-23 2008-08-06 松下電器産業株式会社 動きベクトル符号化方法および動きベクトル復号化方法
EP1487113B1 (de) * 2002-05-02 2006-10-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Kodierung und Dekodierung von Transformationskoeffizienten in Bild- oder Videokodierern
JP3707456B2 (ja) * 2002-08-12 2005-10-19 ヤマハ株式会社 画像データ圧縮方法および画像データ伸張装置並びに伸張プログラム
JP4196640B2 (ja) * 2002-10-21 2008-12-17 株式会社日立製作所 データ変換方法
US8107535B2 (en) * 2003-06-10 2012-01-31 Rensselaer Polytechnic Institute (Rpi) Method and apparatus for scalable motion vector coding
US7653133B2 (en) * 2003-06-10 2010-01-26 Rensselaer Polytechnic Institute (Rpi) Overlapped block motion compression for variable size blocks in the context of MCTF scalable video coders
US7627040B2 (en) * 2003-06-10 2009-12-01 Rensselaer Polytechnic Institute (Rpi) Method for processing I-blocks used with motion compensated temporal filtering
TWI226803B (en) * 2003-07-30 2005-01-11 Mediatek Inc Method for using memory to store motion vectors of decoded macroblocks
US8064520B2 (en) * 2003-09-07 2011-11-22 Microsoft Corporation Advanced bi-directional predictive coding of interlaced video
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7146475B2 (en) * 2003-11-18 2006-12-05 Mainstar Software Corporation Data set level mirroring to accomplish a volume merge/migrate in a digital data storage system
US20050144517A1 (en) * 2003-12-30 2005-06-30 Matsushita Electric Industrial Co., Ltd. Systems and methods for bypassing logical to physical address translation and maintaining data zone information in rotatable storage media
US7782951B2 (en) * 2004-05-13 2010-08-24 Ittiam Systems (P) Ltd. Fast motion-estimation scheme
US7298248B2 (en) * 2004-07-19 2007-11-20 K40 Electronics Communication system for vehicles
US7978770B2 (en) * 2004-07-20 2011-07-12 Qualcomm, Incorporated Method and apparatus for motion vector prediction in temporal video compression
US7590589B2 (en) * 2004-09-10 2009-09-15 Hoffberg Steven M Game theoretic prioritization scheme for mobile ad hoc networks permitting hierarchal deference
US20060062304A1 (en) * 2004-09-17 2006-03-23 Shih-Chang Hsia Apparatus and method for error concealment
US7660354B2 (en) * 2005-05-11 2010-02-09 Fang Shi Temporal error concealment for bi-directionally predicted frames
US8761259B2 (en) * 2005-09-22 2014-06-24 Qualcomm Incorporated Multi-dimensional neighboring block prediction for video encoding
CN101317462B (zh) * 2005-11-30 2011-06-15 皇家飞利浦电子股份有限公司 应用系数重新排序的编码方法和装置
JP2007189657A (ja) * 2005-12-16 2007-07-26 Fuji Xerox Co Ltd 画像評価装置、画像評価方法及びプログラム
WO2007077116A1 (en) * 2006-01-05 2007-07-12 Thomson Licensing Inter-layer motion prediction method
US8582905B2 (en) * 2006-01-31 2013-11-12 Qualcomm Incorporated Methods and systems for rate control within an encoding device
WO2007128003A2 (en) * 2006-03-28 2007-11-08 Motionbox, Inc. System and method for enabling social browsing of networked time-based media
JP4182442B2 (ja) * 2006-04-27 2008-11-19 ソニー株式会社 画像データの処理装置、画像データの処理方法、画像データの処理方法のプログラム及び画像データの処理方法のプログラムを記録した記録媒体
US8238442B2 (en) * 2006-08-25 2012-08-07 Sony Computer Entertainment Inc. Methods and apparatus for concealing corrupted blocks of video data
US8976870B1 (en) * 2006-08-30 2015-03-10 Geo Semiconductor Inc. Block and mode reordering to facilitate parallel intra prediction and motion vector prediction
US9049461B2 (en) * 2006-08-31 2015-06-02 Ati Technologies Ulc Method and system for inter-prediction in decoding of video data
US20080056350A1 (en) * 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for deblocking in decoding of video data
US20080056349A1 (en) * 2006-08-31 2008-03-06 Ati Technologies, Inc. Method and system for motion compensation method in decoding of video data
US8345756B2 (en) * 2006-08-31 2013-01-01 Ati Technologies, Inc. Method and system for parallel intra-prediction decoding of video data
JP2008109632A (ja) * 2006-09-28 2008-05-08 Toshiba Corp 動きベクトル検出装置及びその方法
US7779058B2 (en) * 2007-02-22 2010-08-17 Ronald Raymond Shea Method and apparatus for managing a digital inventory of multimedia files stored across a dynamic distributed network
EP2140687A2 (en) * 2007-04-03 2010-01-06 Gary Demos Flowfield motion compensation for video compression
EP2163097A2 (en) * 2007-05-25 2010-03-17 Arc International, Plc Adaptive video encoding apparatus and methods
US8208558B2 (en) * 2007-06-11 2012-06-26 Texas Instruments Incorporated Transform domain fast mode search for spatial prediction in advanced video coding
US8488668B2 (en) * 2007-06-15 2013-07-16 Qualcomm Incorporated Adaptive coefficient scanning for video coding
US20080317364A1 (en) * 2007-06-25 2008-12-25 Augusta Technology, Inc. Methods for determining neighboring locations for partitions of a video stream
US9648325B2 (en) * 2007-06-30 2017-05-09 Microsoft Technology Licensing, Llc Video decoding implementations for a graphics processing unit
US8254455B2 (en) * 2007-06-30 2012-08-28 Microsoft Corporation Computing collocated macroblock information for direct mode macroblocks
US8265144B2 (en) * 2007-06-30 2012-09-11 Microsoft Corporation Innovations in video decoder implementations
EP2018070A1 (en) * 2007-07-17 2009-01-21 Thomson Licensing Method for processing images and the corresponding electronic device
US8908765B2 (en) * 2007-11-15 2014-12-09 General Instrument Corporation Method and apparatus for performing motion estimation
US8204125B2 (en) * 2007-11-28 2012-06-19 Tsai Sheng Group Llc Fast motion estimation in scalable video coding
CN101466036A (zh) * 2007-12-21 2009-06-24 北京中电华大电子设计有限责任公司 基于avs的运动矢量预测流水并行设计方法
US8711948B2 (en) * 2008-03-21 2014-04-29 Microsoft Corporation Motion-compensated prediction of inter-layer residuals
US8897359B2 (en) * 2008-06-03 2014-11-25 Microsoft Corporation Adaptive quantization for enhancement layer video coding
US20090316788A1 (en) * 2008-06-23 2009-12-24 Thomson Licensing Video coding method with non-compressed mode and device implementing the method
ES2558693T3 (es) * 2008-07-01 2016-02-08 Orange Procedimiento y dispositivo de codificación de imágenes que implementa una predicción mejorada, procedimiento y dispositivo de decodificación, señal y programas informáticos correspondientes
JP2010016454A (ja) * 2008-07-01 2010-01-21 Sony Corp 画像符号化装置および方法、画像復号装置および方法、並びにプログラム
US8213503B2 (en) * 2008-09-05 2012-07-03 Microsoft Corporation Skip modes for inter-layer residual video coding and decoding
US8634457B2 (en) * 2008-09-26 2014-01-21 Qualcomm Incorporated Determining availability of video data units
US8724697B2 (en) * 2008-09-26 2014-05-13 Qualcomm Incorporated Locating motion vectors for video data units
US8660176B2 (en) * 2008-09-26 2014-02-25 Qualcomm Incorporated Resolving geometric relationships among video data units
US8514942B2 (en) * 2008-12-31 2013-08-20 Entropic Communications, Inc. Low-resolution video coding content extraction
US8660193B2 (en) * 2009-01-12 2014-02-25 Maxim Integrated Products, Inc. Parallel, pipelined, integrated-circuit implementation of a computational engine
JP5238523B2 (ja) * 2009-01-13 2013-07-17 株式会社日立国際電気 動画像符号化装置、動画像復号化装置、および、動画像復号化方法
TWI401972B (zh) * 2009-06-23 2013-07-11 Acer Inc 時間性錯誤隱藏方法
US20110002387A1 (en) * 2009-07-03 2011-01-06 Yi-Jen Chiu Techniques for motion estimation
US20110176611A1 (en) * 2010-01-15 2011-07-21 Yu-Wen Huang Methods for decoder-side motion vector derivation
WO2011096770A2 (ko) * 2010-02-02 2011-08-11 (주)휴맥스 영상 부호화/복호화 장치 및 방법
US8995527B2 (en) * 2010-02-19 2015-03-31 Qualcomm Incorporated Block type signalling in video coding
US9628788B2 (en) * 2010-03-16 2017-04-18 Thomson Licensing Methods and apparatus for implicit adaptive motion vector predictor selection for video encoding and decoding
US8942282B2 (en) * 2010-04-12 2015-01-27 Qualcomm Incorporated Variable length coding of coded block pattern (CBP) in video compression
US8861617B2 (en) * 2010-10-05 2014-10-14 Mediatek Inc Method and apparatus of region-based adaptive loop filtering
US9635382B2 (en) * 2011-01-07 2017-04-25 Texas Instruments Incorporated Method, system and computer program product for determining a motion vector
CN102148990B (zh) * 2011-04-28 2012-10-10 北京大学 一种运动矢量预测装置和方法
EP3657796A1 (en) * 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
KR101662918B1 (ko) * 2011-11-11 2016-10-05 지이 비디오 컴프레션, 엘엘씨 깊이-맵 추정 및 업데이트를 사용한 효율적인 멀티-뷰 코딩
EP2813079B1 (en) * 2012-06-20 2019-08-07 HFI Innovation Inc. Method and apparatus of inter-layer prediction for scalable video coding
KR102379609B1 (ko) * 2012-10-01 2022-03-28 지이 비디오 컴프레션, 엘엘씨 향상 레이어 모션 파라미터들에 대한 베이스-레이어 힌트들을 이용한 스케일러블 비디오 코딩

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101188766A (zh) * 2007-12-18 2008-05-28 北京中星微电子有限公司 一种运动矢量预测方法及装置
CN101677406A (zh) * 2008-09-19 2010-03-24 华为技术有限公司 一种视频编解码的方法及装置
CN101990098A (zh) * 2009-07-31 2011-03-23 索尼公司 图像处理设备和方法
CN102131094A (zh) * 2010-01-18 2011-07-20 联发科技股份有限公司 运动预测方法
WO2011126345A2 (ko) * 2010-04-09 2011-10-13 엘지전자 주식회사 비디오 신호 처리 방법 및 장치
CN102158709A (zh) * 2011-05-27 2011-08-17 山东大学 一种解码端可推导的运动补偿预测方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BoG report of CE9: MV Coding and Skip/Merge operations;B. Bross;《Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，5th Meeting: Geneva, CH, 16-23 March, 2011》;20110323;第2页第2节-第20页第11节 *

Also Published As

Publication number Publication date
TWI580264B (zh) 2017-04-21
US20140233654A1 (en) 2014-08-21
CN103907352B (zh) 2018-03-23
CN103907352A (zh) 2014-07-02
SG10201507085SA (en) 2015-10-29
WO2013069557A1 (ja) 2013-05-16
CN108200438B (zh) 2022-01-07
TWI523497B (zh) 2016-02-21
SG11201402018SA (en) 2014-10-30
TW201330630A (zh) 2013-07-16
US20190246137A1 (en) 2019-08-08
US20230247217A1 (en) 2023-08-03
SG10201507080RA (en) 2015-10-29
JPWO2013069557A1 (ja) 2015-04-02
CN108200438A (zh) 2018-06-22
US10616599B2 (en) 2020-04-07
JP5936081B2 (ja) 2016-06-15
CN108184125A (zh) 2018-06-19
TW201545546A (zh) 2015-12-01
MY170805A (en) 2019-08-30

Similar Documents

Publication Publication Date Title
US10110920B2 (en) Image processing apparatus and method
JP5979405B2 (ja) 画像処理装置および方法
JP5954587B2 (ja) 画像処理装置および方法
US20230247217A1 (en) Image processing apparatus and method
JP6274103B2 (ja) 画像処理装置および方法
JP5982734B2 (ja) 画像処理装置および方法
US9961366B2 (en) Image processing apparatus and method that prohibits bi-prediction based on block size
WO2012173022A1 (ja) 画像処理装置および方法
US20150304678A1 (en) Image processing device and method
WO2013084775A1 (ja) 画像処理装置および方法
WO2013054751A1 (ja) 画像処理装置および方法
JP6217997B2 (ja) 画像処理装置および方法
JP6768208B2 (ja) 画像処理装置および方法
WO2013002105A1 (ja) 画像処理装置および方法
JP2016201831A (ja) 画像処理装置および方法
WO2014156705A1 (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant