CN112369024A - 图像处理装置、图像处理方法和程序 - Google Patents

图像处理装置、图像处理方法和程序 Download PDF

Info

Publication number
CN112369024A
CN112369024A CN201980044164.5A CN201980044164A CN112369024A CN 112369024 A CN112369024 A CN 112369024A CN 201980044164 A CN201980044164 A CN 201980044164A CN 112369024 A CN112369024 A CN 112369024A
Authority
CN
China
Prior art keywords
motion
motion compensation
mode
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201980044164.5A
Other languages
English (en)
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN112369024A publication Critical patent/CN112369024A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

在本发明中，如果具有补偿随时间生成的运动的状态的多个运动补偿模式的运动检测单元(122a)(运动补偿单元)已经在示出图像区域的一部分的部分区域中检测到随时间生成的运动的状态，则如果由运动检测单元检测到的运动的状态满足预定条件，运动补偿执行控制单元(122c)(执行控制单元)使运动检测单元(122a)跳过根据预定条件的运动补偿模式。例如，本发明可以应用于图像编码装置。

Description

图像处理装置、图像处理方法和程序
技术领域
本申请涉及图像处理装置、图像处理方法和程序；具体涉及能够快速执行运动补偿以及能够实现图像编码效率的提高的图像处理装置、图像处理方法和程序。
背景技术
在ITU-T(国际电信联盟电信标准化部门)中，为探索下一代视频编码而组建的JVET(联合视频探索小组)提出了关于帧间预测操作(仿射运动补偿(MC)预测)的建议，在该建议中，通过基于参考图像中的两个顶点处的运动矢量对参考图像执行仿射变换来执行运动补偿(例如，参见非专利文献1和非专利文献2)。根据帧间预测操作，不仅可以补偿画面间的平移(平行平移)，而且还可以补偿旋转转移和线性运动(通常称为仿射变换)诸如放大和缩小；并且可以生成具有高精度的预测图像。
引用列表
专利文献
非专利文献1：Jianle Chen等人，“Algorithm Description of JointExploration Test Model 4(JVET-C1001)”，ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的JVET，2016年5月26日至6月1日
非专利文献2：Feng Zou，“Improved affine motion prediction(JVET-C0062)”，ITU-T SG16 WP3和ISO/IEC JTC1/SC29/WG11的JVET，2016年5月26日至6月1日。
发明内容
技术问题
然而，在执行涉及仿射变换的运动补偿时，与通过仅补偿基于单个运动矢量的平移来生成预测图像的帧间预测操作相比，参数数目增加。因此，开销增加，从而导致编码效率下降。
在这方面，在本申请中，提出了能够快速执行运动补偿并且能够实现图像编码效率的提高的图像处理装置、图像处理方法和程序。
问题的解决方案
根据本公开内容，提供了一种图像处理装置，该图像处理装置包括：运动补偿单元，运动补偿单元具有用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态的多个运动补偿模式，检测在部分区域中发生的运动的状态，以及补偿所检测到的运动的状态并且生成预测图像；以及执行控制单元，执行控制单元在运动补偿单元所检测到的运动的状态满足预定条件时或者在运动补偿单元生成预测图像所处的条件满足预定条件时，使运动补偿单元跳过对应于预定条件的运动补偿模式。
根据本公开内容，提供了一种图像处理方法，在该图像处理方法中，提供多个运动补偿模式以用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态，检测在部分区域中发生的运动的状态，以及补偿所检测到的运动的状态并且生成预测图像，其中，该图像处理方法包括：在部分区域中所检测到的运动的状态满足预定条件时或者在用于生成预测图像的条件满足预定条件时，跳过对应于预定条件的运动补偿模式。
根据本公开内容，提供了一种程序，该程序使在图像处理装置中包括的计算机用作：运动补偿单元，运动补偿单元具有用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态的多个运动补偿模式，检测在部分区域中发生的运动的状态，以及补偿所检测到的运动的状态并且生成预测图像；以及执行控制单元，执行控制单元在运动补偿单元所检测到的运动的状态满足预定条件时或者在运动补偿单元生成预测图像所处的条件满足预定条件时，使运动补偿单元跳过对应于预定条件的运动补偿模式。
本发明的有益效果
根据本申请，可以提高图像的编码效率。也就是说，根据本申请，在基于运动矢量生成预测图像的情况下，可以减小开销并且提高编码效率。
同时，上述效果不一定在范围上受到限制，并且代替上述效果或除了上述效果之外，还可以实现本书面说明书中提及的任何其他效果。
附图说明
图1是用于说明用于基于单个运动矢量来执行运动补偿的帧间预测操作的图。
图2是用于说明用于基于两个运动矢量来执行运动补偿的帧间预测操作的第一图。
图3是用于说明用于基于两个运动矢量来执行运动补偿的帧间预测操作的第二图。
图4是用于说明用于基于三个运动矢量来执行运动补偿的帧间预测操作的图。
图5是示出从参考图像检测到的参数的数目、可检测运动的类型以及运动补偿模式的图。
图6是用于说明HEVC中的块分割的图。
图7是示出图像中的每个PU中的特定运动的发生状态的第一示例的图。
图8是示出图像中的每个PU中的特定运动的发生状态的第二示例的图。
图9是示出图像中的每个PU中的特定运动的发生状态的第三示例的图。
图10是示出图像中的每个PU中的特定运动的发生状态的第四示例的图。
图11是示出根据实施方式的图像编码装置的示例性配置的功能框图，该图像编码装置表示其中应用了本申请的图像处理装置的示例。
图12是示出图像编码装置的运动预测单元的详细功能配置的功能框图。
图13是用于说明合并模式的图。
图14是示出在图像编码装置中执行的操作的示例性流程的流程图。
图15是用于说明在帧间预测模式下图像编码装置估计RD成本的操作的示例性流程的流程图。
图16是用于说明由图像编码装置在AMVP模式下执行的运动预测操作的示例性流程的流程图。
图17是用于说明由图像编码装置执行的编码操作的示例性流程的流程图。
图18是示出在合并模式下执行运动预测操作时设置的邻近区域的示例的图。
图19是用于说明由图像编码装置执行的运动预测操作的示例性流程的流程图。
图20是用于说明图像编码装置根据CU的尺寸设置运动补偿模式并且执行运动补偿和编码的操作的示例性流程的流程图。
图21是用于说明图像编码装置根据QP值设置运动补偿模式并且执行运动补偿和编码的操作的示例性流程的流程图。
图22是示出图像解码装置的示例性配置的功能框图，该图像解码装置表示其中应用了本申请的图像处理装置的示例。
图23是用于说明由图像解码装置执行的解码操作的示例性流程的流程图。
图24是用于说明图像解码装置对已经以合并模式编码的视频信号进行解码的操作的示例性流程的流程图。
图25是用于说明图像解码装置对已经以AMVP模式编码的视频信号进行解码的操作的示例性流程的流程图。
图26是用于说明图像解码装置对已经在经过与CU的尺寸对应的运动补偿之后被编码的视频信号进行解码的操作的示例性流程的流程图。
图27是用于说明图像解码装置对已经在经过与QP值对应的运动补偿之后被编码的视频信号进行解码的操作的示例性流程的流程图。
图28是示出计算机的示例性硬件配置的框图。
图29是示出电视装置的示例性示意性配置的框图。
图30是示出蜂窝电话的示例性示意性配置的框图。
图31是示出记录再现装置的示例性示意性配置的框图。
图32是示出成像装置的示例性示意性配置的框图。
图33是说明视频机的示例示意性配置的框图。
图34是说明视频处理器的示例示意性配置的框图。
图35是说明视频处理器的另一示例示意性配置的框图。
图36是示出网络系统的示例性示意性配置的框图。
具体实施方式
下面参照附图详细描述本申请的优选实施方式。在以下描述的实施方式中，相同的组成元件由相同的附图标记指代，并且不再重复给出说明。
<帧间预测操作中的运动预测方法的说明)
首先，给出关于用于生成预测图像的帧间预测操作中的运动预测方法的说明。在帧间预测操作中，假设保持过去图像的运动，预测在从当前定时起预定时间段之后将获得的图像。在本文中，所考虑的运动包括使用所谓的仿射变换(线性变换)来描述的平移和线性变换(旋转、放大缩小和偏斜(切变))。图1是用于说明用于基于单个运动矢量来执行运动补偿的帧间预测操作的图。
在以下说明中，除非另有说明，否则图像的水平方向表示x方向，并且图像的竖直方向表示y方向。
在帧间预测操作中，从解码图像中选择在不同定时处获取的两个解码图像作为参考图像，并且如图1所示，关于表示第一参考图像10的某一部分的部分区域，决定该部分区域在第二参考图像12中已经移动到的位置。使用运动矢量v0来表达部分区域的运动方向和运动量。然后，基于所决定的运动矢量v0，预测用于编码的目标图像。同时，在图1中，表示部分区域的PU(预测单元)11是根据本申请的部分区域的示例。假定PU 11是具有宽度w和高度h的矩形区域。
运动矢量v0是将PU 11中存在的点A1与点A1在第二参考图像12中的对应点连接起来的矢量。例如，通过在第二参考图像12中搜索其对比度分布与第一参考图像10中的点A1周围的对比度分布具有高相关性的区域来检测点A1在第二参考图像12中的对应点。在图1中示出了在第二参考图像12中检测到点B1作为PU 11的左上角点A1的对应点的示例。同时，在PU 11中，为了检测对应点的目的而设置的点不限于PU 11的左上角点。此外，通过将第一参考图像10与第二参考图像12的顶点进行匹配来执行对对应点的搜索。然而，在图1中，出于说明的目的，在第一参考图像10与第二参考图像12之间稍微未对准地绘制。在图像处理中，例如在立体摄像装置拍摄的左图像与右图像之间的对应点的搜索中，这种对对应点的搜索是常用的方法。因此，没有给出关于搜索的详细说明。同时，第一参考图像10和第二参考图像12表示根据本申请的图像的示例。
当检测到单对对应点(例如，图1所示的一对点A1和B1)时，决定连接那些对应点的单个运动矢量v0(v0x,v0y)。在图1所示的示例中，决定连接点A1与B1的单个运动矢量v0(v0x,v0y)。该状态称为检测到两个参数的状态。也就是说，为了决定单个运动矢量v0，检测到两个参数(一对对应点)就足够了。随后，在图1所示的示例中，理解的是，PU 11经历平移并且移动到对应块13。也就是说，作为检测到相对于PU 11的一对对应点(两个点)的结果，可以检测到在部分区域(PU 11)中发生的平移。
然后，在与检测到的运动矢量v0相同的方向上，第二参考图像12中的对应块13的位置被移动(也就是说，运动被补偿)等于运动矢量v0的大小的量；并且生成指示相应块13的预测位置的预测图像。
图2是用于说明用于基于两个运动矢量来执行运动补偿的帧间预测操作的第一图。具体地，图2是用于说明其中在第一参考图像10中形成的部分区域(PU 11)经历平移和旋转转移的情况的图。
对于PU 11中的两个不同点A1和A2，在第二参考图像12中分别检测到对应点B1和B2，并且决定两个运动矢量。在图2中示出了决定运动矢量v0(v0x,v0y)和v1(v1x,v1y)的示例。该状态称为检测到四个参数的状态。也就是说，为了决定两个单个运动矢量v01和v02，检测四个参数(两对对应点)就足够了。随后，在图2所示的示例中，理解的是，PU 11经历平移，然后经历旋转角度为θ的旋转转移，并且移动到对应块13。也就是说，作为检测到相对于PU 11的两对对应点(四个点)的结果，可以检测在部分区域(PU 11)中发生的包括平移和旋转转移的运动。同时，在数学上，如果决定了包括能够标识平移的单个运动矢量(两个参数)以及能够标识旋转量的旋转角度(一个参数)的三个参数，则可以标识包括平移和旋转转移的运动。然而，在本文中，假设标识四个参数(两对对应点)。
图3是用于说明用于基于两个运动矢量来执行运动补偿的帧间预测操作的第二图。具体地，图3是用于说明其中在第一参考图像10中形成的部分区域(PU 11)经历平移和放大缩小(缩放)的情况的图。
对于PU 11中的两个不同点A1和A2，在第二参考图像12中分别检测到对应点B1和B2，并且决定了两个运动矢量。在图3中示出了其中决定运动矢量v0(v0x,v0y)和v1(v1x,v1y)的示例。该状态表示检测到四个参数的状态。随后，在图3所示的示例中，理解的是，PU 11经历平移，然后经历缩放因数“s”的放大缩小(当s>1为真时，经历放大；并且当s<1为真时，经历缩小)，然后移动到对应块13。也就是说，作为检测到相对于PU 11的两对对应点(四个点)的结果，可以检测在部分区域(PU 11)中发生的包括平移和放大缩小的运动。同时，在数学上，如果决定了包括能够标识平移的单个运动矢量(两个参数)以及能够标识大因数/缩小因数的缩放因数(一个参数)的三个参数，则可以标识包括平移和放大缩小的运动。然而，在本文中，假设标识四个参数(两对对应点)。
图4是用于说明用于基于三个运动矢量来执行运动补偿的帧间预测操作的图。具体地，图4是用于说明其中在第一参考图像10中形成的部分区域(PU 11)经历平移和偏斜变形的情况的图。
对于PU 11中的三个不同点，在第二参考图像12中检测到对应点，并且决定三个运动矢量。在图3中示出了决定运动矢量v0(v0x,v0y)、v1(v1x,v1y)和v2(v2x,v2y)的示例。该状态称为检测到六个参数的状态。也就是说，为了决定三个运动矢量v0、v1和v2；可以检测六个参数(三对对应点)。随后，在图4所示的示例中，理解的是，PU 11经历平移然后经历切变角为φ的偏斜变形，并且移动到对应块13。也就是说，作为检测到相对于PU 11的三对对应点的结果，可以检测在部分区域(PU 11)中发生的包括平移、旋转转移、放大缩小和偏斜变形的运动。
图5是示出从参考图像检测到的参数数目、可检测运动的类型以及运动补偿模式的图。如图5所示，随着检测到的参数的数目从两个增加到四个(三个)到六个；可检测运动的类型的数目也增加了。也就是说，随着检测到的参数的数目增加，预测图像的精度也提高。然而，检测到的参数的数目的增加导致搜索对应点的计算成本的增加以及要发送的编码量的增加。结果，开销增加，并且编码效率下降。
平移模式表示用于补偿由于平移(平行平移)而产生的运动的模式。
平移-旋转模式表示用于补偿由于平移和旋转转移的组合而产生的运动的模式。
平移-缩放模式表示用于补偿由于平移和放大缩小的组合而产生的运动的模式。
仿射变换模式表示用于补偿由于平移、旋转转移、放大缩小和偏斜的组合而产生的运动的模式。
下面给出的是关于预测图像的生成以及关于图像编码所需的图像的块分割的说明。图6是用于说明HEVC(高效率视频编码)中的块分割的图。
在诸如MPEG2(运动图像专家组2(ISO/IEC 13818-2))或AVC的图像编码方法中，以称为宏块的处理单元执行编码操作。宏块是具有例如16像素×16像素的统一尺寸的块。相比之下，在表示新的视频编码方法的HEVC中，在称为编码单元(CU)的处理单元中执行编码操作。此外，在称为预测单元(PU)的处理单元中执行预测操作。此外，为了压缩信息量，在称为变换单元(TU)的处理单元中对预测结果执行用于正交变换的变换操作(稍后描述)。同时，CU、PU和TU也可以是相同的块。
等效于常规宏块的最大CU被称为LCU(最大编码单元)，其尺寸为例如64×64。基于四叉树分割，将LCU分割为CU，并且将每个CU分割为独立的PU和TU。此外，基于四叉树分割来分割PU和TU。就PU而言，允许使用称为AMP(非对称运动分割)的32×8、32×24、16×4和16×12的长方形分割。作为允许这种不对称块分割的结果，在将图像分割成区域时，自由度得到了提高。这使得能够生成与图像中的运动对象对应的预测块，从而使得能够实现运动预测性能的增强。
<图像中发生的运动的说明>
图7至图10是用于说明在图像中的每个PU中特定运动的发生状态的图。
在图7所示的示例中，在整个图像61中；在两个参考图像之间发生了平移、缩放(放大缩小)和旋转转移。在那种情况下，在针对图像61中的所有PU的帧间预测操作中，根据平移-旋转模式或平移-缩放模式执行运动补偿。
在图8所示的示例中，在整个图像62中；由于在拍摄图像时摄像装置的抖动，相对于参考图像发生了平移和旋转转移。在那种情况下，在针对图像62中的所有PU的帧间预测操作中，不需要根据平移-缩放模式执行运动补偿。
在图9所示的示例中，在整个图像63中，在两个参考图像之间发生了平移和缩放。在那种情况下，在针对图像63中的所有PU的帧间预测操作中，不需要根据平移-旋转模式执行运动补偿。
在图10所示的示例中，图像64包括：在两个参考图像之间已经发生了平移和缩放的区域64A；在两个参考图像之间已经发生了平移和旋转转移的区域64B；在两个参考图像之间已经发生了平移、缩放和沿旋转方向的运动的区域64C；以及仅发生了平移的区域64D。
在那种情况下，在针对区域64C中的PU的帧间预测操作中，期望根据平移-旋转模式或平移-缩放模式执行运动补偿。然而，在区域64A、64B和64D中；无需补偿平移、旋转转移和缩放。也就是说，对于区域64A，根据平移-缩放模式执行运动补偿就足够了。关于区域64B，根据旋转缩放模式执行运动补偿就足够了。关于区域64D，根据平移模式执行缩放就足够了。
以这种方式，当可以预测在图像中的每个PU中发生的运动的状态时，不必执行所有类型的运动补偿，而是可以仅补偿所预测的运动。此外，如果可以在运动预测操作的早期阶段预测发生的运动的状态，则可以中断关于是否已经发生了其他类型的运动的评估。
也就是说，如果所预测的运动的状态指示平移，则期望根据具有尽可能少的要检测的参数的两参数检测来执行运动补偿。此外，如果所预测的运动的状态包括旋转转移或放大缩小，则期望根据具有尽可能少的要检测的参数的四参数检测(或三参数检测)来执行运动补偿。此外，如果所预测的运动的状态包括偏斜运动，则期望根据六参数检测来执行运动补偿。在本申请中，采用这样的思路是为了减少开销并且提高编码效率。
<第一实施方式>
(图像编码装置的配置的说明)
图11是示出根据实施方式的图像编码装置100a的示例性配置的功能框图，该图像编码装置100a表示其中应用了本申请的图像处理装置的示例。图12是示出图像编码装置100a的运动预测单元123的详细功能配置的功能框图。关于图11中所示的功能，例如，可以使用如图28中所示的CPU 801以及诸如ROM 802和RAM 803之类的存储装置(稍后描述)，并且当CPU 801执行存储在ROM 802或RAM 803中的程序时，可以实现图像编码装置100a的每个构成元件(稍后描述)的功能。替选地，可以使用专用硬件来实现图11所示的一些或全部组成元件的功能。
参照图11，与AVC或HEVC的情况一样，图像编码装置100a是所谓的视频编码器，该视频编码器对图像与该图像的预测图像之间的预测残差进行编码。图像编码装置100a实现例如HEVC中提出的技术或JVET中提出的技术。
同时，在图11中，仅示出了诸如处理单元和数据流之类的主要细节，并且图11中示出的细节未必表示整个配置。也就是说，可以存在未在图11的图像编码装置100a中示出为块的处理单元，并且可以存着未在图11中示出为箭头的操作和数据流。
必要时，图像编码装置100a根据帧间预测操作或帧内预测操作对图像(视频)进行编码。在帧内预测操作中，执行所谓的帧内预测，在帧内预测中，使用仅在单个参考图像中可用的信息来执行预测。经编码的视频具有GOP(图片组)结构，并且配置有例如由根据帧内预测编码的I图片、根据帧间预测编码的P图片以及根据I图片和B图片预测的B图片。
同时，作为用于在帧间预测操作中执行运动补偿的运动补偿模式，图像编码装置100a根据发生在参考图像中的运动的状态(平移、旋转、放大缩小、偏斜运动和组合运动)来执行适当的运动补偿，以补偿检测到的运动。
在图11中，图像编码装置100a包括控制单元101、AD转换单元102、算术单元110、正交变换单元111、量化单元112、编码单元113、逆量化单元114、逆正交变换单元115、算术单元116和帧存储器117。此外，图像编码装置100包括选择单元120、帧内预测单元121和帧间预测单元122。
图像编码装置100a以帧为单位对输入的视频信号(视频)执行编码，并且对在图像中形成的多个CU(或PU)中的每一个执行编码。
控制单元101基于来自外部的输入以及基于RD(速率失真)成本设置各种编码参数(头信息Hinfo、预测信息Pinfo和变换信息Tinfo)。然后，从编码参数中，控制单元101将图11所示的每个块中所需的参数提供给该块。
在编码参数中，头信息Hinfo表示其中定义了在对视频信号进行编码时所需的各种初始值的信息。例如，头信息Hinfo包含诸如视频参数集、序列参数集、图片参数集和切片头的信息。此外，头信息Hinfo包含用于定义图像尺寸、位深度、最大CU尺寸和最小CU尺寸的信息。同时，头信息Hinfo可以具有任意内容，并且可以包含除了上面给出的示例之外的一些其他信息。
预测信息Pinfo包含例如分割标记，该分割标记指示在形成PU(CU)时是否存在在每个分割层次中在水平方向或竖直方向上的分割。此外，预测信息针对每个PU包含模式信息pred_mode_flag，模式信息pred_mode_flag指示该PU中的预测操作是帧内预测操作还是帧间预测操作。
当模式信息pred_mode_flag指示帧间预测操作时，预测信息Pinfo包含合并标记、运动补偿模式信息、参数信息以及能够标识参考图像的参考图像标识信息。
合并标记是指示用于帧间预测操作的模式是合并模式还是AMVP(自适应运动矢量预测)模式的信息。例如，当指示合并模式时，合并标记被设置为“1”，并且当指示AMVP模式时，合并标记被设置为“0”。
图像编码装置100a以合并模式或AMVP模式执行操作。合并模式是其中基于与要处理的PU相邻的已编码PU中的在运动补偿中使用的参数(运动矢量、旋转角度信息和缩放信息；在下文中称为相邻参数)来执行要处理的PU的帧间预测操作的模式。AMVP模式是其中基于在该PU的运动补偿中使用的参数来执行要处理的PU的帧间预测操作的模式。
运动补偿模式是指示用于预测的目标部分区域(也就是说，要处理的PU或要处理的CU)中的运动的状态是表示平移模式或平移-旋转模式或平移-缩放模式或仿射变换模式的信息。
当合并标记被设置为“1”时，参数信息能够标识包括相邻参数的候选中的作为预测参数(预测矢量、预测旋转角信息、预测缩放信息)的要在帧间预测操作中使用的参数。当合并标记被设置为“0”时，参数信息能够标识预测参数，并且指示预测参数与要处理的PU的参数之间的差异。
变换信息Tinfo包含诸如TU的尺寸的信息。当然，变换信息Tinfo可以具有任意内容，并且除TU的尺寸以外的其他信息可以被包括在变换信息Tinfo中。
下面给出关于RD成本的说明。RD成本是在执行编码之后计算的参数，并且表示编码的程度。例如，RD成本是根据编码偏斜和编码成本来计算的，而编码成本是根据实际观察到的图像与预测图像之间的编码参数(头信息Hinfo、预测信息Pinfo和变换信息Tinfo)来计算的。在本文中，RD成本越低，则实际观察到的图像与预测到的图像之间的差异越小。也就是说，低的RD成本指示高效地执行编码。图像编码装置100a基于RD成本对编码程度进行评估，根据评估结果改变编码参数，并且采用RD成本较低的编码参数。
返回来参照图11的说明，AD转换单元102对以帧为单位输入作为输入信号的视频信号进行逐帧AD转换。关于执行AD转换时所需的信息例如量化位数和采样频率，使用预定值。
算术单元110用作差分运算单元，并且计算从选择单元120接收的预测图像P与已经在AD转换单元102中进行了AD转换的用于编码的目标图像之间的差分。然后，算术单元110将作为相减结果而获得的图像作为预测残差图像D发送给正交变换单元111。
正交变换单元111基于从控制单元101接收的变换信息Tinfo，对从算术单元110接收的预测残差图像D执行正交变换，例如离散余弦变换或Karhunen-Loeve变换。然后，正交变换单元111将作为执行正交变换的结果而获得的变换系数Coeff发送给量化单元112。
量化单元112基于从算术单元110接收的变换信息Tinfo对从正交变换单元111接收的变换系数Coeff执行缩放；并且计算经量化的变换系数水平“level”。然后，量化单元112将经量化的变换系数水平“level”发送给编码单元113和逆量化单元114。量化单元112通过与量化参数(QP)对应的量化水平计数对作为正交变换的结果而获得的变换系数Coeff进行量化。通常，QP的值(QP值)越高，压缩率越高。
编码单元113根据预定方法对从量化单元112接收的经量化的变换系数水平“level”进行编码。例如，根据语法表的定义，编码单元113将从控制单元101接收的编码参数(头信息Hinfo、预测信息Pinfo和变换信息Tinfo)以及从量化单元112接收的经量化的变换系数水平“level”转换成语法元素的语法值。然后，编码单元113对每个语法值进行编码。作为特定编码方法，例如，使用CABAC(基于上下文的自适应二进制算术编码)。
此时，编码单元113基于相邻PU的运动补偿模式信息来改变CABAC的概率模型的上下文；设置CABAC的概率模型，使得相邻PU的运动补偿模式信息的概率变高；并且对相关PU的运动补偿模式信息进行编码。
也就是说，特定PU具有与相邻PU的运动补偿模式信息相同的运动补偿模式信息的可能性很高。因此，编码单元113可以设置CABAC的概率模型，并且对相关PU的运动补偿模式信息进行编码，使得相邻PU的运动补偿模式信息的概率变高。结果，可以减少开销，并且可以提高编码效率。
当存在多个相邻的PU时，编码单元113可以基于每个相邻PU的运动补偿模式信息的出现频率来设置CABAC的概率模型。此外，基于运动补偿模式信息，不是改变CABAC的概率模型的上下文，而是编码单元113可以改变分配给运动补偿模式信息的代码(比特序列)。
例如，编码单元113对表示作为执行编码的结果而获得的每个语法元素的比特序列的编码数据进行复用，并且输出比特流作为经编码的视频信号。
逆量化单元114基于从控制单元101接收的变换信息Tinfo，对从量化单元112接收的量化转换系数水平“level”的值进行缩放(逆量化)；并且计算逆量化后的变换系数Coeff_IQ。然后，逆量化单元114将变换系数Coeff_IQ发送给逆正交变换单元115。同时，由逆量化单元114执行的逆量化是由量化单元112执行的量化的逆运算。
逆正交变换单元115基于从控制单元101接收的变换信息Tinfo，对从逆量化单元114接收的变换系数Coeff_IQ进行逆正交变换；并且计算预测残差图像D'。然后，逆正交变换单元115将预测残差图像D'发送给算术单元116。同时，由逆正交变换单元115执行的逆正交变换是由正交变换单元111执行的正交变换的逆操作。
算术单元116将从逆正交变换单元115接收的预测残差图像D'与从帧间预测单元122接收的与预测残差图像D'对应的预测图像P相加；并且计算本地解码图像Rec。然后，算术单元116将本地解码图像Rec发送给帧存储器117。
帧存储器117使用从算术单元116接收的本地解码图像Rec来重建每个图片单元的解码图像，并且存储重建的解码图像。此外，帧存储器117读取由帧间预测单元122指定的解码图像作为参考图像，并且将该解码图像发送给帧间预测单元122和运动预测单元123。此外，帧存储器117可以在内部缓冲器中存储与解码图像的生成有关的头信息Hinfo、预测信息Pinfo、变换信息Tinfo。
当预测信息Pinfo的模式信息pred_mode_flag指示帧内预测操作时；帧内预测单元121获得存储在帧存储器117中并且具有与用于编码的目标CU完全相同的定时的解码图像作为参考图像。然后，帧内预测单元121使用参考图像并且针对用于编码的目标PU执行帧内预测操作。
当模式信息pred_mode_flag指示帧间预测操作时，帧间预测单元122获得存储在帧存储器117中并且具有与用于编码的目标CU不同的定时的解码图像作为参考图像。此外，帧间预测单元122检测用于编码的目标CU中的运动矢量；预测该CU的运动的状态；并且生成该CU中的运动补偿模式信息。然后，帧间预测单元122通过基于合并标记、运动补偿模式信息和参数信息对参考图像执行运动补偿来执行用于编码的目标PU的帧间预测操作。也就是说，帧间预测单元122具有用于补偿在表示图像的一部分的CU(部分区域)中随时间发生的运动的状态的多个运动补偿模式；并且检测在CU中发生的运动的状态，并且通过对检测到的运动的状态进行补偿来生成预测图像P。同时，作为多个运动补偿模式，图像编码装置100a具有上述的平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式。
选择单元120将作为执行帧内预测操作和帧间预测操作的结果而生成的预测图像P发送给算术单元110和算术单元116。
下面参照图12说明帧间预测单元122的内部配置。如图12所示，帧间预测单元122包括运动检测单元122a、条件确定单元122b和运动补偿执行控制单元122c。
运动检测单元122a表示根据本申请的运动补偿单元的示例。运动检测单元122a具有用于补偿在表示图像的某一部分的部分区域(例如，PU)中随时间发生的运动的状态的多个运动补偿模式。因此，运动检测单元122a检测在部分区域中发生的运动的状态，补偿检测到的运动的状态，并且生成预测图像P。
条件确定单元122b基于由运动检测单元122a(运动补偿单元)检测到的矩形部分区域的最多三个顶点处的运动矢量的方向和长度并且基于该部分区域的宽度和高度来确定该部分区域的运动的状态是否满足预定条件，即该部分区域的运动的状态是否涉及平移和旋转，或者平移和放大缩小，涉及平移、旋转、放大缩小和偏斜变形。
运动补偿执行控制单元122c表示根据本申请的执行控制单元的示例。当由运动检测单元122a(运动补偿单元)检测到的运动的状态满足预定条件时，运动补偿执行控制单元122c使运动检测单元122a跳过对应于预定条件的运动补偿模式。
更具体地，在预定条件指示由运动检测单元122a检测到的部分区域的运动的状态涉及平移和旋转的情况下并且在满足预定条件的情况下；运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和放大缩小的运动的平移-缩放模式并且跳过用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式。
在预定条件指示由运动检测单元122a检测到的部分区域的运动的状态涉及平移和放大缩小的情况下并且在条件确定单元122b确定满足预定条件的情况下；运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和旋转的运动的平移-旋转模式，并且跳过用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式。
在预定条件指示由运动检测单元122a检测到的部分区域的运动的状态伴随平移、旋转、放大缩小和偏斜变形的情况下并且在条件确定单元122b确定满足预定条件的情况下；运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和放大缩小的运动的平移-缩放模式，并且跳过用于补偿涉及平移和旋转的运动的平移-旋转模式。
<合并模式下的帧间预测操作的说明>
关于在合并模式下执行的操作的细节，下面参照附图给出具体说明。图13是用于说明关于合并模式的图。当图像编码装置100a在合并模式下操作时，运动检测单元122a基于存在于顶点A的邻近区域中的已编码的运动矢量来决定在图13中表示预测目标的PU 11的左上顶点A处的预测矢量pv0。也就是说，参照图13，基于顶点A左上方的邻近区域“a”中的运动矢量，基于顶点A的右上方的邻近区域“b”中的运动矢量，并且基于顶点A的左下方的邻近区域“c”中的运动矢量；决定要在顶点A处预测的预测矢量pv0。
类似地，运动检测单元122a基于在顶点B的邻近区域中存在的已编码的运动矢量来决定PU 11的右上顶点B处的预测矢量pv1。也就是说，参照图13，基于顶点B的左上方的邻近区域“d”中的运动矢量，并且基于顶点B的右上方的邻近区域“e”中的运动矢量；决定在顶点B处要预测的预测矢量pv1。此外，运动检测单元122a基于顶点C的邻近区域“f”和“g”中的运动矢量来决定PU 11的左下顶点C处的预测矢量pv2。同时，假定在邻近区域“a”至“g”中检测到的运动矢量被存储在运动检测单元122a中。
如上所述，关于在顶点A处的预测矢量pv0、在顶点B处的预测矢量pv1以及在顶点C处的预测矢量pv2的候选；共有12个(＝3×2×2)候选组合。从这12个候选组合中，运动预测单元123将具有根据下面给出的等式(1)获得的最低成本DV的组合决定为顶点A、B和C处的运动矢量。
DV＝|(v1x′-v0x′)h-(v2y′-v0y′)w|+|(v1y′-v0y′)h-(v2x′-v0x′)w| (1)
在等式(1)中，v0x'和v0y'分别表示用于决定预测矢量pv0的邻近区域“a”至“c”之一中的运动矢量的x方向分量和y方向分量。以相同的方式，在等式(1)中，v1x′和v1y′分别表示用于决定预测矢量pv1的邻近区域“d”和“e”之一中的运动矢量的x方向分量和y方向分量。此外，在等式(1)中，v2x′和v2y′分别表示用于决定预测矢量pv2的邻近区域“f”和“g”之一中的运动矢量的x方向分量和y方向分量。
当图像编码装置100a在合并模式下执行帧间预测时，运动检测单元122a在相关部分区域的多个运动补偿的邻近区域中使用运动补偿的结果，在部分区域中补偿运动的状态，并且生成上述预测图像。
然后，运动补偿执行控制单元122c基于用于多个邻近区域的运动补偿的运动补偿模式的出现频率以及成本(RD成本)来检测部分区域中的运动的状态，上述成本(RD成本)指示根据预测图像P的预测程度，预测图像P在通过将用于邻近区域的运动补偿中的运动补偿模式应用于部分区域来执行运动补偿时生成。
同时，当图像编码装置100a在合并模式下执行帧间预测时，运动检测单元122a以运动补偿模式在多个邻近区域中出现的频率的顺序来计算RD成本。
随后，当图像编码装置100a在合并模式下执行帧间预测时，如果预定条件指示部分区域的运动的状态涉及平移和旋转并且如果满足该预定条件；则运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和放大缩小平移-缩放模式，并且跳过用于补偿涉及平移、旋转，放大缩小和偏斜变形的运动的仿射变换模式。
此外，当图像编码装置100a在合并模式下执行帧间预测时，如果预定条件指示部分区域的运动的状态涉及平移和放大缩小并且如果满足该预定条件，则运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和旋转的运动的平移-旋转模式，并且跳过用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式。
此外，当图像编码装置100a在合并模式下执行帧间预测时，如果预定条件指示部分区域的运动的状态涉及平移、旋转、放大缩小和偏斜变形并且如果满足预定条件；则运动补偿执行控制单元122c使运动检测单元122a跳过用于补偿涉及平移和放大缩小的运动的平移-缩放模式，并且跳过用于补偿涉及平移和旋转的运动的平移-旋转模式。
<运动补偿模式信息和参数信息的说明>
下面给出关于运动补偿模式信息和参数信息的具体说明。
使用例如affine_flag、affine3parameter_flag和rotate_scale_idx来配置运动补偿模式信息。affine_flag(仿射变换信息)是指示运动补偿模式是除了平移模式之外的仿射变换模式或平移-缩放模式或平移-旋转模式的信息。例如，当运动补偿模式被设置为仿射变换模式、平移-缩放模式或平移-旋转模式时，将affine_flag设置为“1”。另一方面，当运动补偿模式不是仿射变换模式、平移-缩放模式和平移-旋转模式中的任何一个时，即当运动补偿模式是平移模式时，将affine_flag设置为“0”。
affine3parameter_flag(平移放大信息)是指示运动补偿模式是平移-缩放模式或平移-旋转模式的信息；并且在affine_flag被设置为“1”时进行设置。当运动补偿模式被设置为平移-缩放模式或平移-旋转模式时，将affine3parameter_flag设置为“1”。另一方面，当运动补偿模式既不被设置为平移-旋转模式也不被设置为平移-缩放模式时，即当运动补偿模式被设置为仿射变换模式时，将affine3parameter_flag设置为“0”。
rotate_scale_idx(平移-旋转信息)是指示运动补偿模式是否是平移-旋转模式的信息；并且在affine3parameter_flag被设置为“1”时进行设置。当运动补偿模式被设置为平移-旋转模式时，将rotate_scale_idx设置为“1”。另一方面，当运动补偿模式未被设置为平移-旋转模式时，也就是说，当运动补偿模式被设置为平移-缩放模式时，将rotate_scale_idx设置为“0”。
因此，当将运动补偿模式设置为平移模式时，使用被设置为“0”的affine_flag来配置运动补偿模式信息。替选地，当运动补偿模式被设置为仿射变换模式时，使用被设置为“1”的affine_flag和被设置为“0”的affine3parameter_flag来配置运动补偿模式信息。
另外，替选地，当运动补偿模式被设置为平移-缩放模式或平移-旋转模式时，使用affine_flag、affine3parameter_flag和rotate_scale_idx来配置运动补偿模式信息。当运动补偿模式被设置为平移-缩放模式时，将affine_flag和affine3parameter_flag设置为“1”，并且将rotate_scale_idx设置为“0”。当运动补偿模式被设置为平移-旋转模式时，将affine_flag、affine3parameter_flag和rotate_scale_idx设置为“1”。
同时，当模式信息pred_mode_flag指示帧内预测操作时，预测信息Pinfo包含指示帧内预测模式的帧内预测模式信息。当然，预测信息Pinfo可以具有任意内容，并且除了上述示例之外的其他信息可以被包括在预测信息Pinfo中。
当帧间预测操作的模式被设置为AMVP模式时；如果运动补偿模式被设置为平移模式，则将使得能够标识要处理的PU的运动矢量v0的信息(即使得能够标识与相关PU的顶点A的运动矢量v0对应的预测矢量pv0的信息)设置为参数信息中的“refidx0”；并且将单个运动矢量v0与预测矢量pv0之间的差设置为参数信息中的“mvd0”。
当运动补偿模式被设置为平移-旋转模式时；以与平移模式的情况相同的方式，设置参数信息中的“redfidx0”和“mvd0”。此外，将使得能够标识与要处理的PU 11的角度信息对应的预测角度信息的信息设置为参数信息中的“refidx1”。将角度信息与预测角度信息之间的差设置为参数信息中的“dr”。
因此，当角度信息表示旋转角度θ时，将“dr”设置为要处理的PU 11的旋转角度θ与表示预测角度信息的旋转角度θ'之间的差“dθ”。同时，当角度信息表示差“dvy”时，将“dr”设置为要处理的PU 11的差“dvy”与表示预测角度信息的差“dvy”之间的差“mvd1.y”。
当运动补偿模式被设置为平移-缩放模式时；以与平移模式的情况相同的方式，设置参数信息中的“refidx0”和“mvd0”。此外，将能够标识与要处理的PU 11的缩放信息对应的预测缩放信息的信息设置为参数信息中的“refidx1”；并且将缩放信息与预测缩放信息之间的差设置为参数信息中的“ds”。
因此，当缩放信息表示缩放因数“s”时，“ds”表示要处理的PU 11的缩放因数“s”与表示预测缩放信息的缩放因数“s”之间的差“ds”。另一方面，当缩放信息表示差“dvx”时，“ds”表示要处理的PU 11的差“dvx”与表示预测缩放信息的差“dvx”之间的差“mvd1.x”。
当运动补偿模式设置为平移-旋转模式或平移-缩放模式时；以与平移模式的情况相同的方式，设置参数信息中的“refidx0”和“mvd0”。此外，将能够标识与要处理的PU的运动矢量v1对应的预测矢量pv1的信息(即与PU11的顶点B的运动矢量v1对应的信息)设置为参数信息中的“refidx1”；并且将运动矢量v1与预测矢量pv1之间的差设置为参数信息中的“mvd1”。
当运动补偿模式是仿射变换模式时；以与平移-旋转模式或平移-缩放模式相同的方式，设置参数信息中的“refidx0”和“mvd0”以及“refidx1”和“mvd1”。此外，将能够标识与要处理的PU 11的另一个运动矢量v2对应的预测矢量pv2的信息(即与要处理的PU 11的顶点C的运动矢量v2对应的信息)设置为参数信息的“refidx2”；并且将运动矢量v2与预测矢量pv2之间的差设置为参数信息的“mvd2”。
当帧间预测操作的模式被设置为合并模式时；不设置“mvd0”、“mvd1”、“mvd2”、“ds”、“dr”、“refidx0”、“refidx1”和“refidx2”。
(在图像编码装置中执行的操作流程的说明)
下面参照图14至图17和图19说明在图像编码装置100a中执行的操作的流程。
图14是示出在图像编码装置100a中执行的操作的示例性流程的流程图。图15至图17和图19是用于说明图14所示的主要操作的详细流程的流程图。更具体地，图15是用于说明图像编码装置100a估计帧间预测模式下的RD成本的操作的示例性流程的流程图。图16是用于说明由图像编码装置100a在AMVP模式下执行的运动预测操作的示例性流程的流程图。图17是用于说明由图像编码装置100a执行的编码操作的示例性流程的流程图。图19是用于说明由图像编码装置100a执行的运动预测操作的示例性流程的流程图。
在图14所示的步骤S10处，控制单元101设置编码参数(头信息Hinfo、预测信息Pinfo和转换信息Tinfo)。
然后，在步骤S11处，条件确定单元122b确定合并标记是否被设置为“0”。在步骤S11处，如果确定合并标记被设置为“1”(在步骤S11处为“是”)，则系统控制进行至步骤S12。另一方面，在步骤S11处，如果没有确定合并标记被设置为“1”(在步骤S11处为“否”)，则系统控制进行至步骤S19。
当在步骤S11处的确定指示“是”时；在步骤S12处，运动检测单元122a读取存储在帧存储器117中的参考图像，并且分割CU以进行运动预测。更具体地，运动检测单元122a在可能用作发生运动的单元的区域中分割参考图像。那时，根据参照图6说明的方法来分割CU。同时，使用诸如将具有相似像素值的像素合并为单个区域的已知图像处理方法来执行用作发生运动的单元的区域分割。
随后，在步骤S13处，帧内预测单元121估计帧内预测模式下的RD成本。
然后，在步骤S14处，运动补偿执行控制单元123c估计帧间预测模式下的RD成本。关于在步骤S14处执行的操作的详细流程，稍后给出说明(参见图15)。
随后，在步骤S15处，条件确定单元122b将所计算的RD成本中具有最小RD成本的模式决定为运动补偿模式。尽管在图14中未示出，但是当在步骤S14处执行的对RD成本的估计没有迅速结束时，执行在步骤S15处执行的操作。在步骤S14处，如果在步骤S14处执行的对RD成本的估计迅速结束，则条件确定单元122b确定在运动补偿中应用与迅速结束的状态对应的运动补偿模式。稍后参照图15给出详细说明。
随后，在步骤S16中，帧间预测单元122根据在步骤S15处决定的运动补偿模式或者(在步骤S14处决定的运动补偿模式)执行运动预测。关于在步骤S16处执行的操作的详细流程，稍后给出说明(参见图16)。在本文中，尽管在图14中没有说明，但是在步骤S15处，如果帧内预测模式下的RD成本最低，则执行帧内预测操作而不是执行步骤S16处的操作。
然后，在步骤S17处，正交变换单元111、量化单元112和编码单元113协同执行编码操作。关于在步骤S17处执行的详细操作流程，稍后给出说明(参见图17)。
随后，在步骤S18处，条件确定单元122b确定是否已经针对要编码的目标图像中的所有CU执行了编码操作。在步骤S18处，如果确定已经针对图像中的所有CU执行了编码操作(在步骤S18处为“是”)，则图像编码装置100a结束图14所示的操作。另一方面，在步骤S18处，如果没有确定已经针对图像中的所有CU执行了编码操作(在步骤S18处为“否”)，则系统控制返回到步骤S13，并且针对下一个PU执行步骤S13至步骤S18的操作。
同时，当在步骤S11处的确定指示“否”时；在步骤S19处，运动检测单元122a读取参考图像并且分割CU。本文中执行的操作与在步骤S12处说明的操作相同。
在步骤S20处，运动检测单元122a在合并模式下执行运动预测。关于在步骤S20处执行的操作的详细流程，稍后给出说明(参见图19)。
在步骤S21处，正交变换单元111、量化单元112和编码单元113协同执行编码操作。关于在步骤S21处执行的操作的详细流程，稍后给出解释(参见图17)。
随后，在步骤S22处，条件确定单元122b确定是否已经针对用于编码的目标图像中的所有CU执行了编码操作。在步骤S22处，如果确定已经针对图像中的所有CU执行了编码操作(在步骤S22处为“是”)，则图像编码装置100a结束图14所示的操作。另一方面，在步骤S22处，如果没有确定已经针对图像中的所有CU执行了编码操作(在步骤S22处为“否”)，则系统控制返回到步骤S20，并且针对下一个PU执行步骤S20至步骤S22的操作。
(帧间预测模式下的RD成本估计操作的流程的说明)
下面参照图15说明由图像编码装置100a在帧间预测模式下执行的RD成本估计操作的流程。
在图15所示的步骤S31处，运动补偿执行控制单元122c假定在目标CU中已经发生了平移，并且计算当基于正常帧间预测执行编码时的RD成本JRD2，也就是说，计算执行使用两个参数估计的运动补偿时的RD成本。
然后，在步骤S32处，运动补偿执行控制单元122c计算在假设在目标CU中已经发生了仿射变换模式下指定的运动的情况下执行编码时的RD成本JRD6A，也就是说，计算在执行使用六个参数估计的运动补偿时的RD成本。
此外，在步骤S33处，运动补偿执行控制单元122c计算当在仿射变换模式下执行相对于目标CU的运动补偿时的评估成本JA4。使用例如下面给出的等式(2)来计算评估成本JA4。评估成本JA4表示目标CU的偏斜变形的程度。也就是说，评估成本JA4越大，则目标CU发生偏斜变形的可能性越高。
JA4＝|h(v1x-v0x)-w(v2y-v0y)|+|h(v1y-v0y)-w(v2x-v0x)| (2)
然后，在步骤S34处，条件确定单元122b确定在步骤S33处计算出的评估成本JA4是否大于预定阈值JTHA4。在步骤S34处，如果JA4＞JTHA4为真(在步骤S34处为“是”)，则系统控制返回到主例程(也就是说，图14所示的流程图)。当在步骤S34处确定JA4＞JTHA4为真时，确定目标CU的偏斜变形的可能性很高。然后，运动补偿执行控制单元122c确定根据仿射变换模式对目标CU应用运动补偿(也就是说，使用六个参数的运动补偿)。随后，图15所示的操作迅速中断，系统控制返回到图14所示的主例程，从而能够加快操作速度。也就是说，在这种情况下，该设置使得根据平移模式、平移-旋转模式和平移-缩放模式的运动补偿被跳过。
同时，尽管未在图15中示出，但是当在步骤S34处的确定指示“是”时，设置标记以指示RD成本估计操作已提前终止，并且添加了指示应用根据仿射变换模式的运动补偿的信息。然后，系统控制返回到图14所示的主例程。随后，在图14所示的步骤S15处，当设置了指示RD成本估计操作已经提前终止的标记时，并且当添加了指示应用根据仿射变换模式的运动补偿的信息时，根据仿射变换模式执行步骤S16处的运动补偿。
同时，在步骤S34处，如果JA4>JTHA4不为真(在步骤S34处为“否”)，则系统控制进行至步骤S35。
在步骤S35处，运动补偿执行控制单元122c计算在假设在目标CU中已经发生了在平移-旋转模式或者平移-缩放模式下指定的运动的情况下执行编码时的RD成本JRD4A，也就是说，计算当执行使用四个(三个)参数估计的运动补偿时的RD成本。
然后，在步骤S36处，运动补偿执行控制单元122c计算在平移-旋转模式下执行相对于目标CU的运动补偿时的评估成本JR3，并且计算当在平移-缩放模式下执行相对于目标CU的运动补偿时的评估成本JS3。
使用例如下面给出的等式(3)来计算评估成本JR3。评估成本JR3表示目标CU的平移-旋转程度。也就是说，评估成本JR3越大，目标CU经历平移-旋转的可能性越高。
Figure BDA0002867883140000221
使用例如下面给出的等式(4)来计算评估成本JS3。评估成本JS3表示目标CU的平移-缩放程度。也就是说，评估成本JS3越大，则目标CU经历平移-缩放的可能性越高。
Figure BDA0002867883140000222
随后，在步骤S37处，条件确定单元122b确定在步骤S36处计算出的评估成本JS3是否大于预定阈值JTHS3。在步骤S37处，如果JS3＞JTHS3为真(在步骤S37处为“是”)，则系统控制进行至步骤S39。当在步骤S37处确定JS3>JTHS3为真时，确定目标CU的平移-缩放的可能性很高。
另一方面，如果JS3>JTHS3确实为真(在步骤S37处为“否”)，则系统控制进行至步骤S38。
在步骤S38处，运动补偿执行控制单元122c计算在假设在目标CU中已经发生了在平移-缩放模式下指定的运动的情况下进行编码时的RD成本JRDS3，也就是说，计算当执行使用四个(三个)参数估计的运动补偿时的RD成本。
然后，在步骤S39处，条件确定单元122b确定在步骤S36处计算出的评估成本JR3是否大于预定阈值JTHR3。在步骤S39处，如果JR3＞JTHR3为真(在步骤S39处为“是”)，则系统控制返回到主例程(参见图14)。当在步骤S39处确定JR3＞JTHR3为真时，确定目标CU的平移-旋转的可能性很高。然后，运动补偿执行控制单元122c确定相对于目标CU应用根据平移-旋转模式的运动补偿(也就是说，使用四个(三个)参数的运动补偿)。随后，图15所示的操作迅速中断，并且系统控制返回到图14所示的主例程，从而可以加快操作速度。也就是说，在这种情况下，该设置使得根据平移模式、平移-缩放模式和仿射变换模式的运动补偿被跳过。
同时，尽管未在图15中示出，但是当在步骤S39处的确定指示“是”时，设置标记以指示RD成本估计操作已提前中止，并且添加指示应用根据平移-旋转模式的运动补偿的信息。然后，系统控制返回到图14所示的主例程。随后，在图14所示的步骤S15处，当设置了指示RD成本估计操作已经提前终止的标记时，并且当添加了指示应用根据平移-旋转模式的运动补偿的信息之后，根据平移-旋转模式执行步骤S16处的运动补偿。
同时，在步骤S37处，如果确定JS3>JTHS3为真；则如上所述，很有可能目标CU正在执行平移-缩放。因此，在步骤S37处确定指示“是”的时间点处，系统控制可以返回到主例程。然而，目标CU正在执行平移-旋转的可能性仍然存在。因此，在图15所示的流程图中，即使在步骤S37处确定指示“是”，也执行步骤S39处的操作。然而，在这种情况下，跳过步骤S38的操作以加速操作。
同时，在步骤S39处，如果JR3>JTHR3不为真(在步骤S39处为“否”)，则系统控制进行至步骤S40。
在步骤S40处，条件确定单元123b再次确定在步骤S36处计算出的评估成本JS3是否大于预定阈值JTHS3。尽管该操作与在步骤S37处执行的确定操作相同，但是再次执行该操作以在JS3>JTHS3以及JR3≤JTHR3为真时迅速中止对运动补偿模式的确定。
在步骤S40处，如果JS3>JTHS3成立(在步骤S40处为“是”)，则系统控制返回到主例程(请参见图14)。当在步骤S40处确定JS3>JTHS3为真时，确定目标CU的平移-缩放的可能性很高。然后，运动补偿执行控制单元123c确定针对目标CU应用根据平移-缩放模式的运动补偿(也就是说，使用四个(三个)参数的运动补偿)。随后，图15所示的操作迅速中断，并且系统控制返回到图14所示的主例程，从而可以加快操作速度。也就是说，在这种情况下，该设置使得根据平移模式、平移-旋转模式和仿射变换模式的运动补偿被跳过。
同时，尽管未在图15中示出，但是当在步骤S40处的确定指示“是”时，设置标记以指示RD成本估计操作已提前终止，并且添加指示应用根据平移-缩放模式的运动补偿的信息。然后，系统控制返回到图14所示的主例程。随后，在图14所示的步骤S15处，当设置了指示RD成本估计操作已经提前终止的标记时，并且当添加了指示应用根据平移-缩放模式的运动补偿的信息时，根据平移-缩放模式进行步骤S16处的运动补偿。
同时，在步骤S40处，如果JS3>JTHS3不为真(在步骤S40处为“否”)，则系统控制进行至步骤S41。在步骤S41处，运动补偿执行控制单元122c计算在假设在目标CU中已经发生了在平移-旋转模式下指定的运动的情况下执行编码时的RD成本JRDR3，也就是说，计算当使用四个(三个)参数估计运动补偿时的RD成本。随后，系统控制返回到主例程(参见图14)。
(在AMVP模式下的运动预测操作的流程的说明)
下面参照图16说明由图像编码装置100a在AMVP模式下执行的运动预测操作的流程。运动预测操作以CU为单位执行。在图16中说明了在图14所示的步骤S16处执行的操作的详细流程。
在图16所示的操作的初始阶段(也就是说，在步骤S51、S55和S60处)，标识所设置的运动补偿模式。可以通过参考运动补偿模式信息(affine_flag、affine3parameter_flag和rotate_scale_idx)来标识运动补偿模式。在下面的说明中，为了简单起见，假定执行用于确定是否设置了特定运动补偿模式的确定。通过参考上述标记的状态和索引来执行实际确定。
首先，在步骤S51处，条件确定单元122b确定运动补偿模式是否被设置为平移模式。如果确定运动补偿模式被设置为平移模式(在步骤S51处为“是”)，则系统控制进行至步骤S52。另一方面，如果没有确定运动补偿模式被设置为平移模式(在步骤S51处为“否”)，则系统控制进行至步骤S55。
当在步骤S51处的确定指示“是”时；在步骤S52处，运动检测单元122a决定预测矢量pv0。更具体地，如果参数信息能够将相邻矢量标识为预测矢量；则基于邻近区域“a”至“g”的运动矢量(参见图13)，运动检测单元122a将根据邻近区域“a”至“c”中具有最低成本DV的邻近区域的运动矢量生成的相邻矢量设置为预测矢量pv0。
然后，在步骤S53处，运动检测单元122a将在步骤S52处决定的单个预测矢量pv0与参数信息中指定的预测矢量pv0与要处理的PU的运动矢量v0之间的差dv0相加；并且计算要处理的PU的运动矢量v0。
随后，在步骤S54处，使用在步骤S53处计算出的运动矢量v0，帧间预测单元122相对于根据存储在帧存储器117中的参考图像标识信息标识的参考图像在平移模式下执行运动补偿。然后，运动检测单元122a将经运动补偿的参考图像作为预测图像P发送给算术单元110或算术单元116。随后，系统控制返回到主例程(参见图14)。
在步骤S51处，如果没有确定将运动补偿模式设置为平移模式(在步骤S51处为“否”)；则在步骤S55处，条件确定单元122b确定运动补偿模式是否被设置为仿射变换模式。如果确定运动补偿模式被设置为仿射变换模式(在步骤S55处为“是”)，则系统控制进行至步骤S56。另一方面，如果没有确定将运动补偿模式设置为仿射变换模式(在步骤S51处为“否”)，则系统控制进行至步骤S60。
当在步骤S55处的确定指示“是”时；在步骤S56处，运动检测单元122a基于参数信息来决定三个预测矢量pv0、pv1和pv2。
然后，在步骤S57处，运动检测单元122a将在步骤S46处决定的三个预测矢量pv0、pv1和pv2的每一个与在对应于相关预测矢量的参数信息中指定的差相加；并且获得要处理的PU 11中的三个运动矢量v0、v1和v2。
随后，在步骤S58处，使用三个运动矢量v0＝(v0x,v0y)、v1＝(v1x,v1y)和v2＝(v2x,v2y)；运动检测单元122a根据例如下面给出的等式(5)来计算每个单元块(例如，PU 11)的运动矢量v(vx,vy)。
vx＝(v1x-v0x)x/w-(v2y-v0y)y/h+v0x
vy＝(v1y-v0y)x/w-(v2x-v0x)y/h+v0y (5)
在等式(5)中，“w”、“h”、“x”和“y”表示PU 11的宽度、PU 11的高度、PU 11在x方向上的位置以及PU 11在y方向上的位置。根据等式(5)，通过根据PU 11的位置(x,y)按比例分配运动矢量v0至v2来获得PU 11中的运动矢量v。
随后，在步骤S59处，对于每个单元块，运动检测单元122a基于运动矢量v对根据参考图像标识信息标识的参考图像的块执行仿射变换，从而以仿射变换模式对参考图像执行运动补偿。此外，运动检测单元122a将经运动补偿的参考图像作为预测图像P发送给算术单元110或算术单元116。然后，系统控制返回到主例程(参见图14)。
同时，在步骤S55处，如果没有确定运动补偿模式被设置为仿射变换模式(在步骤S55处为“否”)；则在步骤S60处，条件确定单元122b确定运动补偿模式是否被设置为平移-旋转模式。如果确定运动补偿模式被设置为平移-旋转模式(在步骤S60处为“是”)，则系统控制进行至步骤S61。另一方面，如果没有确定运动补偿模式被设置为平移-旋转模式(在步骤S60处为“否”)，则系统控制进行至步骤S64。
当在步骤S60处的确定指示“是”时；在步骤S61处，运动检测单元122a基于参数信息来决定单个预测矢量pv0。此外，运动检测单元123a基于参数信息来决定预测角度信息。
随后，在步骤S62处，运动检测单元122a以与在步骤S53处执行的操作相同的方式计算单个运动矢量v0。此外，运动检测单元122a将在步骤S61处决定的预测角度信息加上在参数信息中指定的预测角度信息与要处理的PU的角度信息之间的差，并且计算要处理的PU的角度信息。
然后，在步骤S63处，运动检测单元122a使用单个运动矢量v0以及在步骤S62处计算出的角度信息，在平移-旋转模式下对参考图像执行运动补偿。此外，运动检测单元122a将经运动补偿的参考图像作为预测图像P发送给算术单元110或算术单元116。然后，系统控制返回到主例程(参见图14)。
同时，在步骤S60处，如果没有确定运动补偿模式被设置为平移-旋转模式(在步骤S60处为“否”)；则在步骤S64处，运动检测单元122a基于参数信息，以与在步骤S52处执行的操作相同的方式来决定单个预测矢量pv0。此外，运动检测单元122a基于参数信息来确定预测缩放因数信息。
随后，在步骤S65处，运动检测单元123a以与在步骤S53处所示的操作相同的方式计算单个运动矢量v0。此外，运动检测单元123a将在步骤S64处决定的预测缩放因数信息与参数信息中指定的预测缩放因数信息与要处理的PU的缩放因数信息之间的差相加，并且计算要处理的PU的缩放因数。
然后，在步骤S66处，使用单个运动矢量v0以及在步骤S65处计算出的缩放因数信息，运动检测单元122a在平移-缩放模式下对参考图像执行运动补偿。此外，运动检测单元122a将经运动补偿的参考图像作为预测图像P发送给算术单元110或算术单元116。然后，系统控制返回到主例程(参见图14)。
(编码操作的流程的说明)
下面参照图17说明在图像编码装置100a中执行的编码操作的流程。首先，在步骤S71处，算术单元110计算已经由AD转换单元102进行了AD转换的用于编码的目标图像与预测图像P之间的差。计算结果作为预测残差图像D被发送到正交变换单元111。与用于编码的目标图像相比，预测残差图像D具有减少的数据量。因此，与未经修改地对用于编码的图像进行编码的情况相比，可以压缩数据量。
在步骤S72处，基于从控制单元101接收到的变换信息Tinfo，正交变换单元111对从算术单元110接收到的预测残差图像D执行正交变换；并且计算出变换系数Coeff。然后，正交变换单元111将变换系数Coeff发送给量化单元112。更具体地，正交变换单元111执行正交变换，典型代表是离散余弦变换(DCT)。
在步骤S73处，量化单元112基于从控制单元101接收的变换信息Tinfo对从正交变换单元111接收的变换系数Coeff进行缩放(量化)；并且计算量化变换系数水平“level”。然后，量化单元112将量化变换系数水平“level”发送给编码单元113和逆量化单元114。
在步骤S74处，逆量化单元114基于从控制单元101接收到的变换信息Tinfo根据与在步骤S73处执行的量化的特性对应的特性对从量化单元112接收的量化变换系数水平“level”进行逆量化。然后，逆量化单元114将作为逆量化的结果而获得的变换系数Coeff_IQ发送给逆正交变换单元115。
在步骤S75处，逆正交变换单元115基于从控制单元101接收到的变换信息Tinfo根据与在步骤S72处执行的正交变换对应的方法对从逆量化单元114接收到的变换系数Coeff_IQ进行逆正交变换；并且计算预测残差图像D'。
在步骤S76处，算术单元116将作为在步骤S75处执行的操作的结果而计算出的预测残差图像D'与从帧间预测单元122接收到的预测图像P相加；并且生成本地解码图像Rec。
在步骤S77处，使用作为在步骤S76处执行的操作的结果而获得的本地解码图像Rec，帧存储器117重建每个图片单元的解码图像，并且将重建的解码图像存储在内部缓冲器中。
在步骤S78处，编码单元113根据预定方法对作为在图14所示的步骤S10处执行的操作的结果而设置的编码参数以及作为对在步骤S73处执行的操作的结果而获得的量化变换系数水平“level”进行编码。此外，编码单元113对作为编码结果而获得的编码数据进行复用，并且将复用的结果作为编码流输出至图像编码装置100a。然后，编码流经由例如传输路径或记录介质被传输至解码侧。
(合并模式下的运动预测操作的说明)
下面给出的是在合并模式下的运动预测操作期间执行的操作的流程的说明。
首先，下面参照图18说明在实现合并模式时存在的邻近区域。图18是示出在合并模式下执行运动预测操作时设置的邻近区域的示例的图。
在图18(a)中示出了下述示例：在要进行运动预测的CU 14的附近区域中设置了五个经运动补偿的邻近区域(经编码的邻近区域)(在本文中，CU 14可以也可以是PU)。也就是说，CU 14是根据本申请的部分区域的示例。在所设置的邻近区域中，邻近区域Ra、Rb和Re是与CU 14的左上侧相邻的具有8邻域的邻近区域。具体地，邻近区域Ra相对于CU 14的左上顶点在左下方相邻。邻近区域Rb相对于CU 14的左上顶点在右上方相邻。邻近区域Re相对于CU14的左上顶点在左上方相邻。此外，邻近区域Rc相对于CU 14的右上顶点在左上方相邻。邻近区域Rd相对于CU 14的左下顶点在左上方相邻。同时，可以将邻近区域设置为具有4邻域而不是8邻域。也就是说，在图18(a)中，可以仅在四个位置处设置邻近区域Ra、Rb、Rc和Rd。
在经运动补偿(经编码)的邻近区域Ra至Re中，假定在每个邻近区域中检测到运动的状态并且决定了运动补偿模式。也就是说，在图18(a)所示的示例中，为了检测CU 14中的运动的状态并且执行运动预测，可以使用在五个邻近区域中检测到的总共五种类型的运动的状态。
更具体地，在以合并模式对CU 14执行运动预测时，图像编码装置100a的条件确定单元122b以检测运动状态在邻近区域Ra至Re中检测到的运动的状态(也就是说，平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式中)中出现的频率的降序确定CU 14的运动的状态。然后，在条件确定单元122b满足预定条件即确定检测到预定运动状态时；图像编码装置100a的运动补偿执行控制单元122c(执行控制单元)跳过对应于预定条件的运动补偿模式。也就是说，在CU 14附近，如果以高频率检测到预定运动状态，则可以预测出CU 14中的运动状态与以高频率检测到的运动状态相同。因此，通过按照出现频率的顺序确定运动状态，可以迅速最终确定运动状态，并且中止进一步的确定。
同时，要在CU 14附近设置的邻近区域的数目不限于如图18(a)所示的五个。也就是说，如图18(c)所示，可以设置更多数目的邻近区域，例如邻近区域Ra至Ri。在本文中，邻近区域的数目越多，可参考的运动状态的数目越多。这导致具有高确定性的运动的发生频率增加，从而使得能够实现提高CU 14中的运动预测的准确性。
同时，在CU 14附近设置的邻近区域不必总是与CU 14相邻。也就是说，如图18(b)所示，可以将邻近区域设置在与CU 14不相邻的位置处。通过将邻近区域设置在不与CU 14相邻的位置处，与CU 14的邻域相比，可以基于更宽范围内的运动的状态来预测CU 14中的运动的状态。
(合并模式下的运动预测操作流程的说明)
下面参照图19说明当图像编码装置100a以合并模式操作时执行的运动预测操作的流程。在图19所示的流程图中，说明了在图14所示的步骤S20处执行的操作的详细流程。
在步骤S81处，运动检测单元122a对表示运动预测的目标的CU 14的邻近区域(或邻近区域)中的运动补偿模式的出现次数进行计数。也就是说，运动检测单元122a对其中发生了每个补偿模式即平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式的邻近区域的数目(或邻近区域的数目)进行计数。然后，将计数结果发送给条件确定单元122b。
在步骤S82处，条件确定单元122b按照运动补偿模式的出现频率的顺序来排列在步骤S81处计数的结果。
然后，在步骤S83处，运动补偿执行控制单元122c应用出现频率最高(以下称为排名1)的运动补偿模式，并且计算在对表示用于运动预测的目标的CU 14进行编码的情况下的RD成本J1。
随后，在步骤S84处，条件确定单元122b确定在获得排名1的结果之后是否要中止关于要应用于表示运动预测的目标的CU 14的运动补偿模式的确定。如果确定在获得排名1的结果之后中止确定(在步骤S84处为“是”)，则系统控制进行至步骤S90。另一方面，如果确定在获得排名1的结果之后不中止确定(在步骤S84处为“否”)，则系统控制进行至步骤S85。同时，例如，如果RD成本J1小于预定阈值JTH，则可以确定在获得排名1的结果之后中止确定。
当在步骤S84处的确定指示“否”时；在步骤S85处，运动补偿执行控制单元122c应用出现频率第二高(在下文中称为排名2)的运动补偿模式，并且在对表示用于运动预测的目标的CU 14进行编码的情况下，计算RD成本J2。
然后，在步骤S86处，条件确定单元122b确定在获得排名2的结果之后是否要中止关于要应用于表示运动预测的目标的CU 14的运动补偿模式的确定。如果确定在获得排名2的结果之后中止确定(在步骤S86处为“是”)，则系统控制进行至步骤S90。另一方面，如果确定在获得排名2的结果之后不中止确定(在步骤S86处为“否”)，则系统控制进行至步骤S87。同时，例如，如果RD成本J2小于预定阈值JTH，则可以确定在获得排名2的结果之后中止确定。
当在步骤S86处的确定指示“否”时；在步骤S87处，运动补偿执行控制单元122c应用出现频率第三高(以下称为排名3)的运动补偿模式，并且在对表示用于运动预测的目标的CU 14进行编码的情况下，计算RD成本J3。
然后，在步骤S88处，条件确定单元122b确定在获得排名3的结果之后是否要中止关于要应用于表示运动预测的目标的CU 14的运动补偿模式的确定。如果确定在获得排名3的结果之后中止确定(在步骤S88处为“是”)，则系统控制进行至步骤S90。另一方面，如果确定在获得排名3的结果之后不中止确定(在步骤S88处为“否”)，则系统控制进行至步骤S89。同时，例如，如果RD成本J3小于预定阈值JTH，则可以确定在获得排名3的结果之后中止确定。
当在步骤S88处的确定指示“否”时；在步骤S89处，运动补偿执行控制单元122c应用具有第四高出现频率的运动补偿模式(在下文中称为排名4)，并且在对表示用于运动预测的目标的CU 14进行编码的情况下，计算RD成本J4。然后，系统控制进行至步骤S90。
在步骤S84、S86和S88中的每一个处；当确定指示“是”时，也就是说，当确定中止关于要应用于表示运动预测目标的CU 14的运动补偿模式的确定时；系统控制进行至步骤S90。此外，在步骤S89处的操作之后是步骤S90处的操作。在步骤S90处，条件确定单元122b确定RD成本J1是否最小。如果确定RD成本J1最小(在步骤S90处为“是”)，则系统控制进行至步骤S94。另一方面，如果没有确定RD成本J1最小(在步骤S90处为“否”)，则系统控制进行至步骤S91。
同时，当作为步骤S84的确定结果为“是”时，系统控制进行至步骤S90；尽管RD成本J1具有值，但是RD成本J2至J4还不具有值。因此，在步骤S90处确定无条件地指示“是”，并且系统控制返回到步骤S84。另一方面，当作为在步骤S86或步骤S88处确定指示“是”的结果而使系统控制进行至步骤S90时，以及在执行了步骤S89的操作后系统控制进行至步骤S90时，RD成本J1具有值，并且RD成本J2至J4中的至少一个也具有值。因此，在步骤S90处，将那些值进行比较以确定RD成本J1是否最小。
当在步骤S90处的确定指示“否”时；在步骤S91处，条件确定单元122b确定RD成本J2是否最小。如果确定RD成本J2最小(在步骤S91处为“是”)，则系统控制进行至步骤S95。另一方面，如果没有确定RD成本J2最小(在步骤S91处为“否”)，则系统控制进行至步骤S92。
当在步骤S91处的确定指示“否”时；在步骤S92处，条件确定单元122b确定RD成本J3是否最小。如果确定RD成本J3最小(在步骤S92处为“是”)，则系统控制进行至步骤S96。另一方面，如果没有确定RD成本J3最小(在步骤S92处为“否”)，则系统控制进行至步骤S93。
同时，当在步骤S90处的确定指示“是”时；在步骤S94处，运动补偿执行控制单元122c使运动检测单元122a以与排名1对应的运动补偿模式对表示运动预测目标的CU 14执行运动补偿。运动补偿执行控制单元123c将指示以与排名1对应的运动补偿模式执行了运动补偿的信号inter_mode＝0发送给运动检测单元122a。然后，图19所示的操作结束，并且系统控制返回到图14所示的主例程。
当在步骤S91处的确定指示“是”时；在步骤S95处，运动补偿执行控制单元122c使运动检测单元122a以与排名2对应的运动补偿模式对表示运动预测的目标的CU 14执行运动补偿。运动补偿执行控制单元123c将指示以与排名2对应的运动补偿模式执行了运动补偿的信号inter_mode＝1发送给运动检测单元122a。然后，图19所示的操作结束，并且系统控制返回到图14所示的主例程。
当在步骤S92处的确定指示“是”时；在步骤S96处，运动补偿执行控制单元122c使运动检测单元122a以与排名3对应的运动补偿模式对表示运动预测的目标的CU 14执行运动补偿。运动补偿执行控制单元123c将表示在与排名3对应的运动补偿模式下执行了运动补偿的信号inter_mode＝2发送给运动检测单元122a。然后，图19所示的操作结束，并且系统控制返回到图14所示的主例程。
当在步骤S92处的确定指示“否”时；在步骤S93处，运动补偿执行控制单元122c使运动检测单元122a以与排名4对应的运动补偿模式对表示运动预测的目标的CU 14执行运动补偿。运动补偿执行控制单元123c将表示以与排名4对应的运动补偿模式执行了运动补偿的信号inter_mode＝1发送给运动检测单元122a。然后，图19所示的操作结束，并且系统控制返回到图14所示的主例程。
以这种方式，根据图19所示的操作，通过按照表示运动预测的目标的CU 14的邻近区域(或邻近区域)中运动补偿模式的出现频率的顺序来计算RD成本J1至J4；可以在早期阶段找到可能分配给表示运动预测的目标的CU 14的运动补偿模式。在找到了可能分配给CU14的运动补偿模式时，可以中止后续确定(也就是说，可以跳过关于除了可能分配给CU 14的运动补偿模式以外的其他运动补偿模式的确定)。这使得能够以有效的方式做出关于运动补偿模式的决定。
此外，根据参照图19说明的操作的流程，可能分配给表示运动预测的目标的CU 14的运动补偿模式具有分配给其的最短代码(信号inter_mode)。这有助于实现提高编码效率。
图19所示的操作表示下述示例：作为预定条件，条件确定单元122b确定由运动检测单元122a检测到的运动的状态是否与预定运动补偿模式匹配。
(第一实施方式的效果)
以这种方式，根据第一实施方式，当具有用于补偿随时间发生的运动的状态的多个运动补偿模式的运动检测单元122a(运动补偿单元)在表示图像的某一部分的部分区域中检测到随时间发生的运动的状态时；如果由运动检测单元122a检测到的运动的状态满足预定条件，则运动补偿执行控制单元122c(执行控制单元)使运动检测单元122a跳过对应于预定条件的运动补偿模式。这样就不需要执行关于除了预定条件以外的运动补偿模式的确定，从而能够快速(有效率)地在部分区域中进行运动补偿。
具体地，根据第一实施方式，当图像编码装置100a基于部分区域中的运动矢量来确定表示运动预测的目标的部分区域(例如，PU 11或CU 14)中的状态或运动时；条件确定单元122b基于RD成本和评估成本迅速停止运动状态确定。运动补偿执行控制单元123c以与确定在部分区域中已经发生的运动的状态对应的运动补偿模式对部分区域进行运动补偿并且生成预测图像P。也就是说，跳过了没有确定的运动补偿模式。这使得能够在部分区域中快速地执行运动补偿，以及能够实现提高图像的编码效率。具体地，在以合并模式执行运动预测的情况下，也就是说，在基于该部分区域的邻近区域中的运动矢量来计算表示运动预测的目标的部分区域中的运动矢量的情况下；条件确定单元122b按照运动矢量在邻近区域中的出现频率的顺序，确定表示运动预测的目标的部分区域中的运动的状态。然后，运动补偿执行控制单元123c以与被确定为在部分区域中已经发生的运动的状态对应的运动补偿模式，对部分区域执行运动补偿，并且生成预测图像P。这使得能够在部分区域中快速地执行运动补偿，以及能够实现提高图像的编码效率。
此外，基于矩形部分区域的最多三个顶点处的运动矢量的方向和长度，以及基于由运动检测单元122a(运动补偿单元)检测到的部分区域的宽度w和高度h，条件确定单元122b确定部分区域的运动的状态是否满足预定条件。因此，可以以简单且可靠的方式确定部分区域的运动的状态。
<第二实施方式>
(根据CU尺寸的运动预测操作的流程的说明)
在本申请中，给出了下述示例的说明：在执行运动补偿时，图像编码装置100a根据所设置的CU来决定要应用的运动补偿模式。也就是说，当表示图像编码装置100a的运动检测单元122a(运动补偿单元)生成预测图像P时的条件的所设置的部分区域(CU)的尺寸满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过对应于与预定条件的运动补偿模式。
在第二实施方式中，当运动检测单元122a(运动补偿单元)生成预测图像P时的条件满足预定条件时，运动补偿执行控制单元122c使运动检测单元122a跳过对应于预定条件的运动补偿模式。
此外，在预定条件指示部分区域的尺寸小于预定值的情况下并且在满足该预定条件的情况下，运动补偿执行控制单元122c使运动检测单元122a跳过预定运动补偿。
更具体地，在预定条件指示部分区域的尺寸小于预定值并且满足该预定条件时，运动补偿执行控制单元122c使运动检测单元122a跳过除下述之外的运动补偿模式：补偿涉及平移运动的平移模式、补偿涉及平移和旋转运动的平移-旋转模式，以及补偿涉及平移和放大缩小运动的平移-缩放模式。
此外，当预定条件指示部分区域的尺寸等于或大于预定值时，并且当满足预定条件时，运动补偿执行控制单元122c使运动检测单元122a相对于部分区域应用多个运动补偿模式，然后跳过除了RD成本最低的运动补偿模式以外的运动补偿模式，RD成本表示根据在执行运动补偿时生成的预测图像P的预测的程度。
以下参照图20说明的是下述操作的示例，通过该操作，图像编码装置100a在执行运动补偿的同时，根据CU的设置尺寸来决定运动补偿模式。图20是用于说明下述操作的示例性流程图，通过该操作，图像编码装置100a根据CU的尺寸(宽度w与高度h的乘积)设置运动补偿模式，并且执行运动补偿和编码。同时，在图20中，为了简化起见，示出了在以AMVP模式执行帧间预测的情况下的操作的流程。
在步骤S100和S101处执行的操作分别与在图14中所示的在步骤S10和S12处执行的操作相同。因此，不再赘述。
然后，在步骤S102处，条件确定单元123b确定在步骤S101处设置的CU的尺寸是否小于阈值。如果确定CU的尺寸小于阈值(在步骤S102中为“是”)，则系统控制进行至步骤S103。另一方面，如果没有确定CU的尺寸小于阈值(在步骤S102处为“否”)，则系统控制进行至步骤S105。在本文中，假定CU的尺寸的阈值等于例如hw＝32×32＝1024。
当在步骤S102处的确定指示“是”时；在步骤S103处，运动补偿执行控制单元123c应用平移模式、平移-旋转模式和平移-缩放模式中的每一个；并且在对表示运动预测的目标的CU进行编码的情况下，计算RD成本。也就是说，在应用参数数目最高的仿射变换模式的情况下，运动补偿执行控制单元123c不仅仅估计RD成本。
随后，在步骤S104处，运动补偿执行控制单元123c将在步骤S103处计算出的RD成本中具有最低RD成本的运动补偿模式设置为表示运动预测的目标的CU的运动补偿模式。然后，运动补偿执行控制单元123c将表示所决定的运动补偿模式的信号发送给帧间预测单元122。随后，系统控制进行至步骤S107。也就是说，在这种情况下，该设置使得跳过了除具有最低RD成本的运动补偿模式之外的所有其他运动补偿模式。
同时，当在步骤S102处的确定指示“否”时；在步骤S105处，运动补偿执行控制单元123c应用每个所提供的运动补偿模式(也就是说，平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式)，并且计算在对表示运动预测的目标的CU进行编码的情况下的RD成本。
在步骤S106处，运动补偿执行控制单元123c将在步骤S105处计算出的RD成本中具有最低RD成本的运动补偿模式设置为表示运动预测的目标的CU的运动补偿模式。随后，运动补偿执行控制单元123c将表示所决定的运动补偿模式的信号发送给帧间预测单元122。然后，系统控制进行至步骤S107。也就是说，在这种情况下，该设置使得跳过了除了具有最低RD成本的运动补偿模式以外的所有其他运动补偿模式。
随后，在步骤S107处执行运动预测，并且在步骤S108处执行编码操作。这些操作分别与图14所示的步骤S16和S17处执行的操作相同。
然后，在步骤S109处，帧间预测单元122确定是否已经对图像中的所有CU执行了编码操作。在步骤S109处，如果确定已经对图像中的所有CU执行了编码操作(在步骤S109处为“是”)，则图像编码装置100a结束图20所示的操作。另一方面，在步骤S109处，如果没有确定已经对图像中的所有CU执行了编码操作(在步骤S109处为“否”)，则系统控制返回到步骤S102，并且针对下一个PU执行后续操作。
以这种方式，根据图20所示的操作，当CU的尺寸小于阈值时，考虑到每个像素计数的运动信息的开销增加，并且仅使用使用运动信息较少(参数计数较小)的补偿模式。以这种方式，通过限制要使用的运动补偿模式，可以减少在指定运动补偿模式时所需的编码量。这导致编码效率的提高。
同时，同样在以合并模式执行帧间预测的情况下，可以应用图20所示的操作的流程。也就是说，当表示编码的目标的CU的尺寸小于阈值时；从在邻近区域(或邻近区域)中已经决定的多个运动补偿模式中，可以仅针对平移模式、平移-旋转模式和平移-缩放模式来计算出现频率的顺序。
(第二实施方式的效果)
以这种方式，在图20所示的操作中，根据表示运动预测的目标的CU(部分区域)的尺寸，图像编码装置100a决定要应用于该部分区域的运动补偿模式。更具体地，当部分区域的尺寸小于阈值时，针对相关部分区域跳过具有最高计算量的根据仿射变换模式的运动补偿。这使得能够快速执行运动补偿，并且能够实现提高图像的编码效率。
<第三实施方式>
(根据QP值的运动预测操作的流程的说明)
在本申请中，给出了下述示例的说明：当图像编码装置100a执行运动补偿时，根据在量化单元112中设置的QP值来决定要应用的运动补偿模式。也就是说，在图像编码装置100a中，当运动检测单元122a(运动补偿单元)确定表示用于生成预测图像P的条件的QP值时，以及当QP值满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过对应于预定条件的运动补偿模式。
在第三实施方式中，当预定条件指示在对运动补偿的结果进行量化时使用的量化参数(QP值)小于预定值时，并且当满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，并且跳过对涉及平移和旋转的运动进行补偿的平移-旋转模式。
此外，当预定条件指示在对运动补偿的结果进行量化时使用的量化参数(QP值)小于预定值并且指示RD成本小于预定阈值时——RD成本指示根据图像P的预测程度，图像P作为通过应用用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式在部分区域中执行运动补偿的结果而生成，并且当满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过除了用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式以外的运动补偿模式。
此外，当预定条件指示在对运动补偿的结果进行量化时使用的量化参数(QP值)小于预定值并且指示RD成本等于或大于大于预定阈值——RD成本指示作为通过应用用于补偿涉及平移、旋转、放大缩小和偏斜变形的运动的仿射变换模式对用于预测的目标部分区域执行运动补偿的结果而生成的预测图像P的预测的程度，并且当满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过除了用于补偿涉及平移的运动的平移模式以外的运动补偿模式。
此外，当预定条件指示在对运动补偿的结果进行量化时使用的量化参数(QP值)等于或大于预定值时，并且当满足预定条件时；运动补偿执行控制单元122c使运动检测单元122a跳过除了具有最低RD成本的运动补偿模式以外的运动补偿模式，该RD成本指示根据作为通过应用多个运动补偿模式中的每一个对用于预测的目标部分区域执行运动补偿的结果而生成的预测图像P的预测的程度。
以下参照图21说明的是下述操作的示例，通过该操作，在执行运动补偿时，图像编码装置100a根据在量化单元112中设置的QP值来确定运动补偿模式。图21是用于说明下述操作的示例性流程的流程图，通过该操作，图像编码装置100a根据QP值设置运动补偿模式，并且执行运动补偿和编码。同时，在图21中，为了简单起见，示出了在以AMVP模式执行帧间预测的情况下的操作的流程。
在步骤S110和S111处执行的操作分别与图14所示的步骤S10和S12处执行的操作相同。因此，不再赘述。
在步骤S112处，条件确定单元123b确定在量化单元112中设置的QP值是否小于阈值。如果确定QP值小于阈值(在步骤S112中为“是”)，则系统控制进行至步骤S113。另一方面，如果没有确定QP小于阈值(在步骤S112处为“否”)，则系统控制进行至步骤S117。同时，用于QP值的阈值被设置为例如QP＝30。
当在步骤S112处的确定指示“是”时；在步骤S113处，运动补偿执行控制单元123c应用仿射变换模式并且计算在对表示运动预测的目标的CU进行编码的情况下的RD成本。
然后，在步骤S114处，运动补偿执行控制单元123c确定在步骤S113处计算出的RD成本是否小于预定阈值。如果确定RD成本小于预定阈值(在步骤S114处为“是”)，则系统控制进行至步骤S115。另一方面，如果没有确定RD成本小于预定阈值(在步骤S114处为“否”)，则系统控制进行至步骤S116。
当在步骤S114处确定指示“是”时，也就是说，当确定RD成本小于预定阈值时；在步骤S115处，运动补偿执行控制单元123c将仿射变换模式设置为相对于表示运动预测的目标的CU的运动补偿模式。然后，系统控制进行至步骤S119。也就是说，在这种情况下，该设置使得跳过除了仿射变换模式以外的运动补偿模式。
另一方面，当在步骤S114处确定指示“否”时，也就是说，当确定RD成本等于或大于预定值时；在步骤S116处，运动补偿执行控制单元123c将平移模式设置为相对于表示运动预测的目标的CU的运动补偿模式。然后，系统控制进行至步骤S119。也就是说，在这种情况下，该设置使得跳过除了平移模式之外的运动补偿模式。
同时，当在步骤S112处的确定指示“否”时，也就是说，当确定QP值等于或大于阈值时；在步骤S117处，运动补偿执行控制单元123c计算在通过应用所有运动补偿模式对表示用于运动预测的目标的CU进行编码的情况下的RD成本。
然后，在步骤S118处，运动补偿执行控制单元123c从在步骤S117处计算出的RD成本中搜索具有最小RD成本的运动补偿模式；并且将检索到的运动补偿模式设置为表示运动预测的目标的CU的运动补偿模式。然后，系统控制进行至步骤S119。也就是说，在这种情况下，该设置使得跳过除了具有最小RD成本的运动补偿模式以外的运动补偿模式。
随后，在步骤S119处执行运动预测，并且在步骤S120处执行编码操作。这些操作分别与图14所示的步骤S16和S17处执行的操作相同。
然后，在步骤S121处，帧间预测单元122确定是否已经针对图像中的所有CU执行了编码操作。在步骤S121处，如果确定已经针对图像中的所有CU执行了编码操作(在步骤S121处为“是”)，则图像编码装置100a结束图21所示的操作。另一方面，在步骤S121处，如果没有确定已经针对图像中的所有CU执行了编码操作(在步骤S121处为“否”)，则系统控制返回到步骤S119，并且针对下一个PU执行后续操作。
以这种方式，在图21所示的操作中，当QP值小时，也就是说，当要发送的编码量小时并且比特率高时；即使大的开销也不会有太大的影响，因此仅在应用具有高参数计数的仿射变换模式的情况下才估计RD成本。也就是说，对于其他运动补偿模式，即平移模式、平移-旋转模式和平移-缩放模式；不执行RD成本估计。这使得能够加快设置运动补偿模式的操作。
(第三实施方式的效果)
以这种方式，根据第三实施方式，图像编码装置100a根据表示在生成(编码)预测图像时使用的量化参数的QP值，决定要应用于表示运动预测目标的部分区域的运动补偿模式。也就是说，当QP值小于阈值时，针对应用仿射变换模式的情况估计RC成本，并且根据仿射变换模式或平移模式来执行运动补偿。因此，尤其当QP值小于阈值时，可以以较快的速率执行运动补偿，并且可以提高图像的编码效率。
到现在为止，给出了关于由图像编码装置100a执行的运动预测操作和编码操作的流程的说明。根据RD成本和评价成本的运动预测操作、根据CU尺寸的运动预测操作和根据QP值的运动预测操作可以彼此独立地执行，或者可以组合执行这些操作中的任意两个或三个。例如，当表示预测目标的CU的尺寸小于阈值时，可以执行在第二实施方式中说明的预测操作。另一方面，当CU的尺寸等于或大于阈值时，可以执行在第一实施方式中说明的预测操作。当QP值小于阈值时，针对在以仿射变换模式执行运动补偿的情况下可以估计RD代价；并且根据RD成本在以仿射变换模式或平移模式执行运动补偿。当QP值等于或大于阈值时，可以根据CU尺寸、RD成本及估计成本执行运动预测操作。
<第四实施方式>
(图像解码装置的配置的说明)
图22是示出根据实施方式的图像解码装置100b的示例性配置的功能框图，其表示其中应用了本申请的图像处理装置的示例。关于图22所示的功能，例如，可以如图28(稍后描述)所示使用CPU 801以及诸如ROM 802和RAM 803的存储器装置，并且当CPU 801执行存储在ROM 802或RAM 803中的程序时，可以实现图像编码装置100a的每个构成元件(稍后描述)的功能。替选地，图11所示的一些或所有构成元件的功能可以使用专用硬件来实现。
图22所示的图像解码装置100b根据与在图像编码装置100a中实现的编码方法对应的解码方法来解码在图11所示的图像编码装置100a中生成的编码流。图像编码装置100b例如实现HEVC中提出的技术或JVET中提出的技术。
同时，在图22中，仅示出诸如处理单元和数据流的主要细节，并且图22所示的细节不一定表示整个配置。也就是说，可以存在未在图22中的图像解码装置100b中示出为块的处理单元，并且可以存在未在图22中示出为箭头的操作和数据流。
图像解码装置100b包括解码单元132、逆量化单元133、逆正交变换单元134、算术单元135、DA转换单元136、选择单元137、帧存储器138、帧内预测单元139以及帧间预测单元140。图像解码装置100b对在图像编码装置100a中生成的编码流针对逐个CU执行解码。
在图像解码装置100b中，解码单元132根据与由编码单元113实现的编码方法对应的规定的解码方法，对在图像编码装置100a中生成的编码流进行解码。例如，根据语法表的定义，解码单元132从编码流的比特序列中解码出编码参数(头信息Hinfo、预测信息Pinfo和变换信息Tinfo)和量化变换系数水平“level”。解码单元132基于包括在编码参数中的分割标志来划分LCU；并且以与量化变换系数水平“level”对应的CU(PU和TU)的顺序设置表示用于解码的目标的CU。
然后，解码单元132将编码参数发送到其他块。例如，解码单元132将预测信息Pinfo发送到帧内预测单元139和帧间预测单元140；将变换信息Tinfo发送到逆量化单元133和逆正交变换单元134；并将头信息Hinfo发送到每个块。另外，解码单元132将量化后的变换系数水平“level”发送到逆量化单元133。
逆量化单元133基于从解码单元132接收的变换信息Tinfo，对从解码单元132接收的量化的变换系数水平“level”执行缩放(逆量化)；并导出变换系数Coeff_IQ。逆量化是由图像编码装置100a的量化单元112(参见图11)执行的量化的逆操作。同时，逆量化单元114(参见图11)以与逆量化单元133执行的逆量化相同的方式执行逆量化。然后，逆量化单元133将变换系数Coeff_IQ发送到逆正交变换单元134。
逆正交变换单元134基于从解码单元132接收的变换信息Tinfo，对从逆量化单元133接收的变换系数Coeff_IQ执行逆正交变换；并且计算预测残余图像D'。该逆正交变换是由图像编码装置100a的正交变换单元111(参见图11)执行的正交变换的逆操作。也就是说，逆正交变换单元134以与逆正交变换单元115(参见图11)执行的逆正交变换相同的方式执行逆正交变换。然后，逆正交变换单元134将预测残余图像D'发送到算术单元135。
算术单元135将从逆正交变换单元134接收的预测残余图像D'和与预测残余图像D'对应的预测图像P相加；并且计算局部解码图像Rec。然后，算术单元135使用局部解码图像Rec，按每个图片单元重建解码图像，并且将解码图像输出到图像解码装置100b的外部。另外，算术单元135将局部解码图像Rec发送到帧存储器138。同时，算术单元135可以以数字视频信号的形式输出解码图像而不进行修改；或者DA转换单元136可以将数字视频信号转换为模拟视频信号，并且然后输出模拟视频信号。
帧存储器138使用从算术单元135接收的本地解码图像Rec来重建每个图片单元的解码图像，并将重建的解码图像存储在内部缓冲器中。另外，帧存储器138从缓冲器读出由帧内预测单元139或帧间预测单元140指定的解码图像作为参考图像；并且将读取的解码图像发送到指定读取操作的帧内预测单元139或帧间预测单元140。此外，帧存储器138可以在内部缓冲器中存储与该解码图像的生成有关的头信息Hinfo、预测信息Pinfo和变换信息Tinfo。
当预测信息Pinfo的模式信息pred_mode_flag指示帧内预测操作时；帧内预测单元139获取帧存储器138中存储的、与用于编码的目标CU的定时相同的解码图像作为参考图像。然后，使用参考图像，帧内预测单元139在由帧内预测模式信息指示的帧内预测模式下对用于编码的目标PU执行帧内预测操作。随后，帧内预测单元139将作为执行帧内预测操作的结果而生成的预测图像P发送到选择单元137。
帧间预测单元140在模式信息pred_mode_flag指示帧间预测操作的情况下，基于参考图像标识信息，获取帧存储器138中存储的与用于编码的目标CU定时不同的解码图像作为参考图像。然后，以与图11所示的帧间预测单元122相同的方式，基于合并标志、运动补偿模式信息及参数信息；帧间预测单元140使用参考图像对用于编码的目标PU执行帧间预测操作。随后，帧间预测单元140将作为执行帧间预测操作的结果而生成的预测图像P发送到选择单元137。
帧间预测单元140具有与图像编码装置100a的帧间预测单元122相同的配置。也就是说，帧间预测单元140包括运动检测单元122a、条件确定单元122b和运动补偿执行控制单元122c。
选择单元137将从帧内预测单元139或者帧间预测单元140输出的预测图像P发送到算术单元135。
(解码操作流程的说明)
图23是用于说明由图像解码装置100b执行的解码操作的示例性流程的流程图。
在步骤S122处，解码单元132对由图像解码装置100b接收到的编码视频信号进行解码，并且取得编码参数和量化变换系数水平“level”。然后，解码单元132将编码参数发送到图像解码装置100b的每个块。另外，解码单元132将量化变换系数水平“level”发送到逆量化单元133。
在步骤S123处，解码单元132基于包括在编码参数中的分割标记来划分CU，并将与量化变换系数水平“level”对应的CU设置为用于解码的目标CU。因此，对每个目标CU执行下面说明的从步骤S124到步骤S128的操作以进行解码。
在步骤S124处，帧间预测单元140确定预测信息Pinfo的模式信息pred_mode是否指示帧间预测信息。如果确定指示帧间预测信息(在步骤S124处为“是”)，则系统控制进行至步骤S125。另一方面，如果没有确定指示帧间预测信息(在步骤S124处为“否”)，则系统控制进行至步骤S128。
当在步骤S124处的确定指示“是”时，也就是说，当确定指示帧间预测信息时；在步骤S125处，帧间预测单元140确定预测信息的合并标志是否被设置为“1”。如果确定合并标志被设置为“1”(在步骤S125处为“是”)，则系统控制进行至步骤S126。另一方面，如果确定合并标志未被设置为“1”(在步骤S125处为“否”)，则系统控制进行至步骤S127。
当在步骤S125处的确定指示“是”时，也就是说，当确定合并标志被设置为“1”时；在步骤S126处，帧间预测单元140使用作为以合并模式执行帧间预测操作的结果而生成的预测图像P，并且执行对要解码的目标图像进行解码的合并模式解码操作。稍后参照图24说明合并模式解码操作的详细流程。一旦合并模式解码操作完成，图像解码装置100b就结束图像解码操作。
另一方面，当在步骤S125处的确定指示“否”时，也就是说，当没有确定合并标志被设置为“1”时；在步骤S127处，帧间预测单元140使用作为以AMVP模式执行帧间预测操作的结果而生成的预测图像P，并且执行对要解码的目标图像进行解码的AMVP模式解码操作。稍后参照图25来说明AMVP模式解码操作的详细流程。一旦AMVP模式解码操作完成，图像解码装置100b就结束图像解码操作。
同时，当在步骤S124处的确定指示“否”时，也就是说，当确定未指示帧间预测操作时；在步骤S128处，帧内预测单元139使用作为执行帧内预测操作的结果而生成的预测图像P，并且执行对要解码的目标图像进行解码的帧内解码操作。一旦完成帧内解码操作，图像解码装置100b就结束图像解码操作。
(合并模式解码操作的流程的说明)
下面参照图24说明合并模式解码操作的流程。图24是用于说明图像解码装置100b对已经以合并模式编码的视频信号进行解码的示例性操作流程的流程图。在图24中，示出在图23的流程图所示的步骤S126处执行的操作的详细流程。
在步骤S129处，逆量化单元133对在图23所示的步骤S122处获得的量化变换系数水平“level”执行逆量化，并且计算变换系数Coeff_IQ。逆量化的操作是在图像编码操作中在步骤S73(参见图17)处执行的量化的逆操作，并且与在图像编码操作中在步骤S74(参见图17)处执行的逆量化相同。
在步骤S130处，逆正交变换单元134对在步骤S129处得到的变换系数Coeff_IQ执行逆正交变换，并且生成预测残差图像D'。逆正交变换是在图像编码操作中在步骤S72(参见图17)处执行的正交变换的逆操作，并且与在图像编码操作中在步骤S75(参见图17)处执行的逆正交变换相同。
在步骤S131处，帧间预测单元140对CU 14的表示运动预测目标的邻近区域(或邻近区域)中的运动补偿模式的出现次数进行计数。也就是说，帧间预测单元140对其中已经发生了每个补偿模式(也就是说，平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式)的邻近区域的数量(或邻近区域的数量)进行计数。然后，计数结果被发送到条件确定单元123b。
在步骤S132处，条件确定单元123b按照运动补偿模式的出现频率的顺序排列在步骤S131处计数的结果。
在步骤S133处，条件确定单元123b从运动补偿执行控制单元123c接收信号inter_oder。
在步骤S134处，条件确定单元123b确定信号inter_oder是否被设置为“0”。如果确定信号inter_oder被设置为“0”(在步骤S134处为“是”)，则系统控制进行至步骤S138。另一方面，如果没有确定信号inter_oder被设置为“0”(在步骤S134处为“否”)，则系统控制进行至步骤S135。
当在步骤S134处的确定指示“是”时；在步骤S138处，运动补偿执行控制单元123c将CU 14的邻近区域(或邻近区域)中出现的运动补偿模式中具有最高出现频率的运动补偿模式设置为与等级1对应的运动补偿模式，也就是说，设置为应用于表示运动预测目标的CU14的补偿模式。然后，运动补偿执行控制单元123c使运动检测单元122a以步骤S138处设置的运动补偿模式对CU 14执行运动补偿，并且生成预测图像P。然后系统控制进行至步骤S141。
另一方面，当在步骤S134处的确定指示“否”时；在步骤S135处，条件确定单元123b确定信号inter_oder是否被设置成“1”。如果确定信号inter_oder被设置成“1”(在步骤S135处为“是”)，则系统控制进行至步骤S139。然而，如果没有确定信号inter_oder被设置成“1”(在步骤S135处为“否”)，则系统控制进行至步骤S136。
当在步骤S135处的确定指示“是”时；在步骤S139处，运动补偿执行控制单元123c将CU 14的邻近区域(或邻近区域)中出现的运动补偿模式中具有第二高出现频率的运动补偿模式设置为与等级2对应的运动补偿模式，也就是说，要应用于表示运动预测目标的CU14的运动补偿模式。然后，运动补偿执行控制单元123c使运动检测单元122a以步骤S139处设置的运动补偿模式对CU 14执行运动补偿，并且生成预测图像P。然后系统控制进行至步骤S141。
同时，当在步骤S135处的确定指示“否”时；在步骤S136处，条件确定单元123b确定信号inter_oder是否被设置成“2”。如果确定信号inter_oder被设置成“2”(在步骤S136处为“是”)，则系统控制进行至步骤S140。另一方面，如果没有确定信号inter_oder被设置成“2”(在步骤S136处为“否”)，则系统控制进行至步骤S137。
当在步骤S136处的确定指示“是”时；在步骤S140处，运动补偿执行控制单元123c将CU 14的邻近区域(或邻近区域)中出现的运动补偿模式中具有第三高出现频率的运动补偿模式设置为与等级3对应的运动补偿模式，也就是说，设置为要应用于表示运动预测目标的CU 14的补偿模式。然后，运动补偿执行控制单元123c使运动检测单元122a以在步骤S140处设置的运动补偿模式对CU 14执行运动补偿，并且生成预测图像P。然后系统控制进行至步骤S141。
同时，当在步骤S136处的确定指示“否”时；在步骤S137处，运动补偿执行控制单元123c将CU 14的邻近区域(或邻近区域)中出现的运动补偿模式中具有第四高出现频率的运动补偿模式设置为与等级4对应的运动补偿模式，也就是说，设置为应用于表示运动预测目标的CU 14的补偿模式。然后，运动补偿执行控制单元123c使运动检测单元122a以在步骤S137处设置的运动补偿模式对CU 14执行运动补偿，并且生成预测图像P。然后系统控制进行至步骤S141。
在步骤S141处，算术单元135将在步骤S130处生成的预测残余图像D'与经由选择单元137从帧间预测单元140接收的预测图像P相加；并且生成局部解码图像Rec。然后，算术单元135使用局部解码图像Rec，按每个图片单元重建解码图像，并且将重建的解码图像作为视频信号输出到图像解码装置100b的外部。另外，算术单元135将局部解码图像Rec发送到帧存储器138。
在步骤S142处，帧存储器138使用局部解码图像Rec重建每个图片单元的解码图像，并且将重建的解码图像存储在内部缓冲器中。然后，系统控制返回到图23所示的流程图，并且图像解码装置100b结束解码操作。
(AMVP解码操作的流程的说明)
以下参照图25说明AMVP模式解码操作的流程。图25是用于说明图像解码装置100b对已经以AMVP模式编码的视频信号进行解码的示例操作流程的流程图。在图25中，示出在图23的流程图中所示的步骤S127处执行的操作的详细流程。
在步骤S151和S152处执行的操作分别与图24所示的在步骤S129和S130处执行的操作相同。
从步骤S153到步骤S168，基于由条件确定单元122b确定的运动补偿模式来确定每个CU中的预测矢量。另外，根据运动补偿模式计算运动补偿中所需的预测矢量、运动矢量、角度信息和缩放信息。然后，基于所计算的运动矢量、角度信息和缩放信息；运动补偿执行控制单元123c在每个CU中使运动检测单元122a执行运动补偿。该操作序列与由图像编码装置100a执行的预测操作(参见图16)相同。因此，参照图16，仅简要地说明操作的流程。
在步骤S153处，条件确定单元122b确定运动补偿模式是否被设置成平移模式(步骤S51的对应步骤)。另外，在步骤S157处，条件确定单元122b确定运动补偿模式是否被设置成仿射变换模式(步骤S55的对应步骤)。此外，在步骤S162处，条件确定单元122b确定运动补偿模式是否被设置成平移-旋转模式(步骤S60的对应步骤)。
当确定运动补偿模式被设置成平移模式时(在步骤S153处为“是”)，在步骤S154处确定单个预测矢量(步骤S52的对应步骤)，并且在步骤S155处计算单个运动矢量(步骤S53的对应步骤)。另外，在步骤S156处，以平移模式执行运动补偿，并且生成预测图像P(步骤S54的对应步骤)。
当确定运动补偿模式被设置成仿射变换模式时(在步骤S157处为“是”)，在步骤S158处确定单个预测矢量(步骤S56的对应步骤)，并且在步骤S159处计算三个运动矢量(步骤S57的对应步骤)。另外，在步骤S160处，计算每个单元块的运动矢量(步骤S58的对应步骤)；并且，在步骤S161处，以仿射变换模式执行运动补偿，并且生成预测图像P(步骤S59的对应步骤)。
当确定运动补偿模式被设置成平移-旋转模式时(在步骤S162处为“是”)，在步骤S163处确定单个预测矢量(步骤S61的对应步骤)，并且在步骤S164处计算单个运动矢量和角度信息(步骤S62的对应步骤)。另外，在步骤S165处，以平移-旋转模式执行运动补偿，并且生成预测图像P(步骤S63的对应步骤)。
当确定运动补偿模式被设置成平移-缩放模式时(在步骤S162处为“否”)，在步骤S166处确定单个预测矢量(步骤S64的对应步骤)，并且在步骤S167处计算单个运动矢量和缩放信息(步骤S65的对应步骤)。另外，在步骤S168处，以平移-缩放模式执行运动补偿，并且生成预测图像P(步骤S66的对应步骤)。
随后，在步骤S169处，将预测图像P和在步骤S152处生成的预测残余图像D'相加。这与在解码操作中在步骤S141(参见图24)处执行的操作相同。
在步骤S170处，帧存储器138使用从算术单元135接收的本地解码图像Rec来重建每个图片单元的解码图像，并且将重建的解码图像存储在内部缓冲器中。这与在解码操作中在步骤S142(参见图24)处执行的操作相同。在执行了步骤S142处的操作之后，系统控制返回到图23中所示的流程图，并且图像解码装置100b结束解码操作。
(第四实施方式的效果)
以这种方式，根据第四实施方式，在图像解码装置100b中，在对以合并模式编码的编码视频信号进行解码时，基于从图像编码装置100a接收的指示运动补偿模式的信号inter_order来决定运动补偿模式。结果，可以以迅速的方式决定运动补偿模式。
<第五实施方式>
(根据CU尺寸的解码操作的流程的说明)
在本申请中，说明了图像解码装置100b执行解码操作以对编码视频信号解码的示例，其中，图像编码装置100a已经以与CU尺寸对应的运动补偿模式对编码视频信号执行了帧间预测操作和编码操作。也就是说，条件确定单元122b确定在编码时设置的CU的尺寸；并且，基于条件确定单元122b的确定结果，运动补偿执行控制单元122c使运动检测单元122a跳过预定的运动补偿模式。
图26是用于说明图像解码装置100b根据CU的尺寸设置运动补偿模式并执行解码操作的示例性操作流程的流程图。
在步骤S171处，条件确定单元122b确定表示解码目标的CU的尺寸是否小于阈值。在步骤S171处，如果确定CU的尺寸小于阈值(在步骤S171处为“是”)，则系统控制进行至步骤S172。另一方面，如果没有确定CU的尺寸小于阈值(在步骤S171处为“否”)，则系统控制进行至步骤S173。在此，CU的尺寸的阈值例如被设置成hw＝32×32＝1024。
当在步骤S171处确定指示“是”时，也就是说，当确定CU的尺寸小于阈值时；在步骤S172处，运动检测单元122a从运动补偿执行控制单元122c接收指定平移模式、平移-旋转模式或平移-缩放模式的信号inter_mode。关于在步骤S172处接收的信号inter_mode，当图像编码装置100a执行图20所示的编码操作时，信号inter_mode指定在步骤S104处设置的运动补偿模式。一旦接收到信号inter_mode，系统控制就进行至步骤S174。
同时，当在步骤S171处的确定指示为“否”时；在步骤S173处，运动检测单元122a从运动补偿执行控制单元122c接收信号inter_mode，该信号从所有运动补偿模式即平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式中指定运动补偿模式。关于在步骤S173处接收的信号inter_mode，当图像编码装置100a执行图20所示的编码操作时，信号inter_mode指定在步骤S106处设置的运动补偿模式。一旦接收到信号inter_mode，系统控制就进行至步骤S174。
在步骤S174处，运动补偿执行控制单元122c将在步骤S172处或步骤S173处接收到的信号inter_mode中指定的运动补偿模式设置为运动补偿模式。
在步骤S175处，运动补偿执行控制单元122c使运动检测单元122a以在步骤S174处指定的运动补偿模式执行运动预测。运动预测操作与图16所示的从步骤S51到步骤S66所执行的操作相同。
在步骤S176处，图像解码装置100b执行解码操作，这与图23所示的从步骤S122到步骤S128所执行的操作相同。
在步骤S177处，条件确定单元122b确定是否已经对解码目标图像中的所有CU执行解码操作。在步骤S177处，如果确定已经对图像中的所有CU执行解码操作(在步骤S177处为“是”)，则图像解码装置100b结束解码操作。另一方面，在步骤S177处，如果没有确定对图像中的所有CU执行解码操作(在步骤S177处为“否”)，则系统控制返回到步骤S171，并且对下一CU执行从步骤S171到步骤S177的操作。
(第五实施方式的效果)
以这种方式，根据第五实施方式，在对图像编码装置100a以与CU的尺寸对应的运动补偿模式执行运动补偿的编码视频信号进行解码时，图像解码装置100b以与CU的尺寸对应的运动补偿模式执行运动补偿。结果，可以以迅速的方式决定运动补偿模式。
<第六实施方式>
(根据QP值的解码操作的流程的说明)
在本申请中，说明了图像解码装置100b执行解码操作以对编码视频信号进行解码的示例，其中，图像编码装置100a已经以与QP值对应的运动补偿模式对编码视频信号执行了帧内预测操作和编码操作。也就是说，条件确定单元122b确定在编码时设置的QP值；并且，基于条件确定单元122b的确定结果，运动补偿执行控制单元122c使运动检测单元122a跳过预定的运动补偿模式。
图27是用于说明图像解码装置100b设置与QP值对应的运动补偿模式并执行解码操作的示例性操作流程的流程图。
在步骤S181处，条件确定单元122b确定在编码操作期间使用的QP值是否小于阈值。在步骤S181处，如果确定QP值小于阈值(在步骤S181处为“是”)，则系统控制进行至步骤S182。另一方面，如果没有确定QP值小于阈值(在步骤S111处为“否”)，则系统控制进行至步骤S183。同时，QP值的阈值将设置为例如QP＝30。
当在步骤S181处的确定指示“是”时；在步骤S182处，运动检测单元122a从运动补偿执行控制单元122c接收指定仿射变换模式或平移模式的信号inter_mode。关于在步骤S182处接收的信号inter_mode，当图像编码装置100a执行图21所示的编码操作时，信号inter_mode指定在步骤S115或步骤S116处设置的运动补偿模式。一旦接收到信号inter_mode，系统控制就进行至步骤S184。
另一方面，当在步骤S181处的确定指示为“否”时；在步骤S183处，运动检测单元122a从运动补偿执行控制单元122c接收信号inter_mode，该信号从所有运动补偿模式即平移模式、平移-旋转模式、平移-缩放模式和仿射变换模式中指定运动补偿模式。关于在步骤S183处接收的信号inter_mode，当图像编码装置100a执行图21所示的编码操作时，信号inter_mode指定在步骤S118处设置的运动补偿模式。一旦接收到信号inter_mode，系统控制就进行至步骤S184。
在步骤S184处，运动补偿执行控制单元122c将在步骤S182或步骤S183处接收的信号inter_mode中指定的运动补偿模式设置为运动补偿模式。
在步骤S185处，运动补偿执行控制单元122c使运动检测单元122a以在步骤S184处指定的运动补偿模式执行运动预测。运动预测操作与图16中所示的从步骤S51到步骤S66所执行的操作相同。
在步骤S186处，图像解码装置100b执行解码操作，这与图23所示的从步骤S122到步骤S128所执行的操作相同。
在步骤S187处，条件确定单元122b确定是否已经对解码目标图像中的所有CU执行解码操作。在步骤S187处，如果确定已经对图像中的所有CU执行解码操作(在步骤S187处为“是”)，则图像解码设装置100b结束解码操作。另一方面，在步骤S187处，如果没有确定已经对图像中的所有CU执行解码操作(在步骤S187处为“否”)，则系统控制返回步骤S185，并且对下一CU执行从步骤S185到步骤S187的操作。
(第六实施方式的效果)
以这种方式，根据第六实施方式，在对图像编码装置100a以与QP值对应的运动补偿模式执行运动补偿的编码视频信号进行解码时，图像解码装置100b以与QP值对应的运动补偿模式执行运动补偿。结果，可以以迅速的方式决定运动补偿模式。
<应用了本申请的计算机的说明>
可以使用硬件或使用软件来执行以上说明的一系列操作。在使用软件执行一系列操作的情况下，构成软件的程序被安装在计算机中。计算机可以是其中嵌入专用硬件的计算机，或者可以是例如其中安装了各种程序以便能够实现各种功能的通用个人计算机。
图28是示出其中使用程序来实现上述一系列操作的计算机的示例性硬件配置的框图。
在计算机800中；CPU(中央处理单元)801、ROM(只读存储器)802和RAM(随机存取存储器)803通过总线804彼此连接。
另外，输入-输出接口810连接至总线804。输入-输出接口810还连接至输入单元811、输出单元812、存储器单元813、通信单元814和驱动器815。
输入单元811配置有键盘、鼠标和麦克风。输出单元812配置有显示器和扬声器。存储器单元813配置有硬盘和非易失性存储器。通信单元814配置有网络接口。驱动器815驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质821。
在以上述方式配置的计算机800中，例如，CPU 801经由输入-输出接口810和总线804将存储在存储器单元813中的程序加载到RAM 803中，并执行上述程序；使得上述一系列操作被执行。
由计算机800(CPU 801)执行的程序可以记录在例如用作盒装介质(packagemedia)的可移动介质821中。替选地，程序可以经由有线传输介质或无线传输介质(例如，局域网、因特网或数字卫星广播)来提供。
在计算机800中，可移动介质821可以插入驱动器815中，并且程序可以经由输入-输出接口810安装在存储器单元813中。替选地，通信单元814可以经由有线传输介质或无线传输介质接收程序，并且然后可以将程序安装在存储器单元813中。替选地，程序可以预先安装在ROM 802或存储器单元813中。
由计算机800执行的程序可以使得能够根据本书面描述中说明的顺序以时间顺序执行操作，或者并行执行操作，或者在必要的定时例如在调用各程序的定时处执行操作。
<应用了本申请的电视装置的说明>
图29是示出应用了上述实施方式的电视装置的示例性示意配置的框图。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。
调谐器902从经由天线901接收到的广播信号中提取期望的频道的信号，并对所提取的信号进行解调。然后，调谐器902将通过解调而得到的编码比特流输出到解复用器903。也就是说，调谐器902实现电视装置900中的传输单元的作用以接收通过对图像进行编码而获得的编码流。
解复用器903从编码比特流中分离出要观看的电视节目的视频流和音频流，并将分离出的流输出到解码器904。另外，解复用器903从编码比特流中提取诸如EPG(电子节目指南)的辅助数据，并将提取的数据发送到控制单元910。同时，如果编码比特流处于加扰状态，则解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将作为解码操作的结果而生成的视频数据输出到视频信号处理单元905。另外，解码器904将作为解码操作的结果而生成的音频数据输出到音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，并且在显示单元906中显示视频。另外，视频信号处理单元905还可以在显示单元906中显示经由网络接收到的应用画面。此外，根据设置，视频信号处理单元905可以执行附加操作，例如关于视频数据的噪声去除。另外，视频信号处理单元905可以生成菜单、按钮和光标的GUI(图形用户界面)图像，并且将所生成的图像叠加到输出图像上。
显示单元906由从视频信号处理单元905接收的驱动信号驱动，并且在显示装置(例如，液晶显示器、等离子显示器或OELD(有机电致发光显示器(有机EL显示器))的视频屏幕上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行诸如DA转换和放大的再现操作，并从扬声器908输出音频。另外，音频信号处理单元907可以对音频数据执行诸如噪声去除的附加操作。
外部接口单元909是用于建立电视装置900与外部装置或网络的连接的接口。例如，经由外部接口单元909接收的视频流或音频流可由解码器904解码。也就是说，外部接口单元909也实现电视装置900中传输单元的作用以接收其中图像被编码的编码流。
控制单元910包括诸如CPU的处理器，并且包括诸如RAM和ROM的存储器。存储器用于存储CPU要执行的程序，并存储程序数据、EPG数据和通过网络获得的数据。例如，在启动电视装置900时，CPU读取存储在存储器中的程序并执行它们。作为执行程序的结果，CPU根据例如从用户接口单元911输入的操作信号来控制电视装置900的操作。
用户接口单元911连接至控制单元910。例如，用户接口单元911包括用于使得用户能够操作电视装置900的按钮和开关，并且包括用于遥控信号的接收单元。因此，经由这样的构成元件，用户接口单元911检测用户操作并生成操作信号，并且将所生成的操作信号输出到控制单元910。
总线912连接调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910。
在以上述方式配置的电视装置900中，解码器904可以配备有图像解码装置100B的功能。也就是说，解码器904可以被配置成根据实施方式中说明的方法对编码数据进行解码。结果，电视装置900能够实现与在实施方式中实现的效果相同的效果。
另外，在以上述方式配置的电视装置900中，视频信号处理单元905可以被配置成例如对从解码器904接收的图像数据进行编码，并且经由外部接口单元909将编码后的数据输出到电视装置900的外部。另外，视频信号处理单元905可以配备有图像编码装置100a的功能。也就是说，视频信号处理单元905可以被配置成根据在实施方式中说明的方法对从解码器904接收的图像数据进行编码。结果，电视装置900能够实现与在实施方式中实现的效果相同的效果。
<应用了本申请的蜂窝电话的说明>
图30是示出应用了上述实施方式的蜂窝电话的示例性示意性配置的框图。蜂窝电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像机单元926、图像处理单元927、复用-分离单元928、记录-再现单元929、显示单元930、控制单元931、操作单元932和总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933用于将通信单元922、音频编解码器923、摄像机单元926、图像处理单元927、复用-分离单元928、记录-再现单元929、显示单元930和控制单元931彼此连接。
蜂窝电话920以各种操作模式操作，包括语音呼叫模式、数据通信模式、拍摄模式和电视-电话模式；并且执行诸如发送和接收音频信号、发送和接收电子邮件和图像数据以及拍摄图像和记录数据的操作。
在语音呼叫模式中，在麦克风925中生成的模拟音频信号被发送到音频编解码器923。音频编解码器923将模拟音频信号转换为音频数据；执行音频数据的AD转换；并且压缩数字音频数据。然后，音频编解码器923将压缩的音频数据输出到通信单元922。通信单元922执行音频数据的编码和调制，并且生成传输信号。然后，通信单元922经由天线921将传输信号发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。然后，通信单元922对接收信号执行解调和解码并且生成音频数据，并且将生成的音频数据输出到音频编解码器923。音频编解码器923扩展音频数据并执行DA转换以生成模拟音频信号。然后，音频编解码器923将音频信号发送到扬声器924，使得音频从扬声器924输出。
在数据通信模式中，例如，根据使用操作单元932执行的用户操作，控制单元931生成构成电子邮件的字符数据。另外，控制单元931在显示单元930中显示字符。此外，响应于用户经由操作单元932发出的传输指令，控制单元931生成电子邮件数据，并将其输出到通信单元922。通信单元922执行电子邮件数据的编码和调制，并且生成传输信号。然后，通信单元922经由天线921将传输信号发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。然后，通信单元922对接收信号执行解调和解码并生成音频数据，以便恢复电子邮件数据，并将恢复的电子邮件数据输出到控制单元931。控制单元931在显示单元930中显示电子邮件的内容，并且将电子邮件数据发送到记录-再现单元929，其中电子邮件数据被写入存储介质中。
记录-再现单元929包括任意可读写存储介质。例如，存储介质可以是嵌入式存储介质，例如RAM或闪存；或者可以是外部连接的存储介质，例如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。
在拍摄模式下，例如，摄像机单元926拍摄目标的图像并生成图像数据，并将图像数据输出到图像处理单元927。然后，图像处理单元927对从摄像机单元926输入的图像数据进行编码，并且将编码流发送到记录-再现单元929，其中编码流被写入存储介质中。
在图像显示模式下，记录-再现单元929读取记录在存储介质中的编码流，并将其输出到图像处理单元927。图像处理单元927对从记录-再现单元929输入的编码流进行解码，并将图像数据发送到显示单元930以显示图像。
在电视-电话模式下，例如，复用-分离单元928对已由图像处理单元927解码的视频流和已由音频编解码器923压缩的音频流进行复用；并将复用后的流输出到通信单元922。通信单元922执行流的编码和调制，并且生成传输信号。然后，通信单元922经由天线921将传输信号发送到基站(未示出)。另外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，并且获得接收信号。传输信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号执行解调和解码以恢复流，并且将恢复流输出到复用-分离单元928。复用-分离单元928从输入流分离视频流和音频流；将视频流输出到图像处理单元927；并将音频流输出到音频编解码器923。图像处理单元927对视频流进行解码并生成视频数据。然后，视频数据被发送到显示单元930，使得在显示单元930中显示一系列图像。音频编解码器923扩展音频流并执行DA转换以生成模拟音频信号。然后，音频编解码器923将音频信号发送到扬声器924，使得音频从扬声器924输出。
在以上述方式配置的蜂窝电话920中，例如，图像处理单元927可以配备有图像编码装置100a的功能。也就是说，图像处理单元927可以被配置成根据在实施方式中说明的方法对图像数据进行编码。结果，蜂窝电话920能够实现与实施方式中实现的效果相同的效果。
另外，在以上述方式配置的蜂窝电话920中，例如，图像处理单元927可以配备有图像解码装置100b的功能。也就是说，图像处理单元927可以被配置成根据在实施方式中说明的方法对编码数据进行解码。结果，蜂窝电话920能够实现与实施方式中实现的效果相同的效果。
<应用了本申请的记录-再现装置的说明>
图31是示出应用了上述实施方式的记录-再现装置的示例性示意配置的框图。记录-再现装置940对例如接收到的馈送的音频数据和视频数据进行编码；并将编码的数据记录在记录介质中。另外，记录-再现装置940可以对从例如其他装置获得的音频数据和视频数据进行编码；并将编码的数据记录在记录介质中。此外，例如，响应于用户指令，记录-再现装置940使用监视器和扬声器再现记录在记录介质中的数据。此时，记录-再现装置940对音频数据和视频数据进行解码。
记录-再现装置940包括调谐器941、外部接口(I/F)单元942、编码器943、HDD(硬盘驱动器)单元944、磁盘驱动器945、选择器946、解码器947、OSD(屏幕显示)单元948、控制单元949和用户接口(I/F)单元950。
调谐器941从经由天线(未示出)接收的广播信号中提取期望频道的信号，并对提取的信号进行解调。然后，调谐器941将作为解调结果而获得的编码比特流输出到选择器946。也就是说，调谐器941实现了记录-再现装置940中的传输单元的作用。
外部接口单元942是用于将记录-再现装置940连接至外部装置或网络的接口。外部接口单元942的示例包括IEEE(电气和电子工程师协会)1394接口、网络接口、USB接口和闪存接口。例如，经由外部接口单元942接收的视频数据和音频数据被输入到编码器943。也就是说，外部接口单元942实现记录-再现装置940中的传输单元的作用。
当从外部接口单元942输入的视频数据和音频数据未被编码时，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码的比特流输出到选择器946。
HDD单元944将具有压缩形式的视频和音频的内容数据的编码比特流与各种节目和其他数据一起记录在内部硬盘中。另外，HDD单元944在视频和音频再现时从硬盘读取数据。
磁盘驱动器945在插入其中的记录介质中记录数据并从该记录介质读取数据。插入在磁盘驱动器945中的记录介质的示例包括DVD(数字通用盘)(DVD-视频、DVD-RAM(DVD-随机存取存储器)、DVD-R(DVD-可记录)、DVD-RW(DVD-可重写)、DVD+R(DVD+可记录)、DVD+RW(DVD+可重写))或蓝光(注册商标)盘等。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流；并将所选择的比特流输出到HDD单元944或磁盘驱动器945。另外，在再现视频和音频时，选择器946将从HDD单元944或磁盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码，并且生成视频数据和音频数据。然后，解码器947将视频数据输出到OSD单元948。另外，解码器947将音频数据输出到外部扬声器。
OSD单元948生成从解码器947输入的视频数据并显示视频。另外，OSD单元948可以在显示的视频上叠加例如菜单、按钮或光标的GUI图像。
控制单元949包括诸如CPU的处理器，并且包括诸如RAM和ROM的存储器。存储器用于存储要由CPU执行的程序，以及存储程序数据。例如，在启动记录-再现装置940时，CPU读取存储在存储器中的程序并执行它们。作为执行程序的结果，CPU根据例如从用户接口单元950输入的操作信号来控制记录-再现装置940的操作。
用户接口单元950连接至控制单元949。例如，用户接口单元950包括用于使用户能够操作记录-再现装置940的按钮和开关，并且包括用于遥控信号的接收单元。因此，用户接口单元950经由这样的构成元件检测用户操作。然后，用户接口单元950生成与用户操作对应的操作信号，并且将操作信号输出到控制单元949。
在以上述方式配置的记录-再现装置940中，例如，编码器943可以配备有图像编码装置100a的功能。就是说，编码器943可以被配置成根据实施方式中说明的方法对图像数据进行编码。结果，记录-再现装置940能够实现与实施方式中实现的效果相同的效果。
另外，在以上述方式配置的记录-再现装置940中，例如，解码器947可以配备有图像解码装置100b的功能。也就是说，解码器947可以被配置成根据在实施方式中说明的方法对编码数据进行解码。结果，记录-再现装置940能够实现与实施方式中实现的效果相同的效果。
<应用了本申请的成像装置的说明>
图32是示出应用上述实施方式的成像装置的示例性示意性配置的框图。成像装置960执行拍摄目标的成像，生成图像，对图像数据进行编码，并且将编码的图像数据存储在记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971和总线972。
光学块961连接至成像单元962。成像单元962还连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972用于将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此连接。
光学模块961包括聚焦透镜和光圈机构。光学模块961在成像单元962的成像表面上执行拍摄目标的光学图像的图像成形。成像单元962包括图像传感器，例如CCD(电荷耦合器件)或CMOS(互补金属氧化物半导体)；并对形成在成像表面中的光学图像执行光电转换，并将其转换成表示电信号的图像信号。然后，成像单元962将图像信号输出到信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像机信号处理，例如拐点校正、伽马校正和颜色校正。然后，信号处理单元963将摄像机信号处理后的图像数据输出到图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码，并且生成编码数据。然后，图像处理单元964将编码后的数据输出到外部接口单元966或介质驱动器968。另外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码，并且生成图像数据。然后，图像处理单元964将图像数据输出到显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出到用于显示图像的显示单元965。另外，图像处理单元964可以将从OSD单元969获得的显示数据叠加在要输出到显示单元965的图像上。
OSD单元969生成例如菜单、按钮或光标的GUI图像；并且将GUI图像输出到图像处理单元964。
外部接口单元966配置有例如USB输入-输出端子。例如，当要打印图像时，外部接口单元966将成像装置960连接至打印机。另外，可以根据需要，将驱动器连接至外部接口单元966。在驱动器中，插入诸如磁盘或光盘的可移动介质，并且从可移动介质读取的程序可以被安装在成像装置960中。此外，外部接口单元966也可以被配置为连接至诸如LAN或因特网的网络接口。也就是说，外部接口单元966实现成像装置960中的传输单元的作用。
插入介质驱动器968的记录介质可以是任意可读-可写可移动介质，例如磁盘、磁光盘、光盘或半导体存储器。替选地，在介质驱动器968中，可以以固定方式插入记录介质，使得配置诸如嵌入式硬盘驱动器或SSD(固态驱动器)的非便携式存储器单元。
控制单元970包括诸如CPU的处理器，并且包括诸如RAM和ROM的存储器。存储器用于存储要由CPU执行的程序，以及存储程序数据。例如，在启动成像装置960时，CPU读取存储在存储器中的程序并执行它们。作为执行程序的结果，CPU根据例如从用户接口单元971输入的操作信号来控制成像装置960的操作。
用户接口单元971连接至控制单元970。例如，用户接口单元971包括用于使得用户能够操作成像装置960的按钮和开关。因此，用户接口单元971经由这样的构成元件检测用户操作。然后，用户接口单元971生成与用户操作对应的操作信号，并且将操作信号输出到控制单元970。
在以上述方式配置的成像装置960中，例如，图像处理单元964可以配备有图像编码装置100a的功能。也就是说，图像处理单元964可以被配置成根据在实施方式中说明的方法对图像数据进行编码。结果，成像装置960能够实现与在实施方式中实现的效果相同的效果。
另外，在以上述方式配置的成像装置960中，例如，图像处理单元964可以配备有图像解码装置100b的功能。也就是说，图像处理单元964可以被配置成根据在实施方式中说明的方法对编码数据进行解码。结果，成像装置960能够实现与在实施方式中实现的效果相同的效果。
<应用了本申请的视频装置的说明>
本申请可以被实现为安装在构成任意装置或任意系统的装置中的任意类型的配置。例如，本申请可以实现为表示系统LSI(大规模集成)的处理器；或者作为其中使用多个处理器的模块；或者作为其中使用多个模块的单元；或者作为通过向单元提供其他功能而配置的集合(也就是说，装置的部分配置)。图33是示出视频装置的示例性示意性配置的框图。
近年来，电子装置正配备有越来越多的功能。在这样的电子装置的开发和制造中，在使一些配置可用于销售或服务的情况下，除了提供仅具有单个功能的配置，经常看到具有相关功能的多个配置被组合，并且提供具有多个功能的单个装置。
图33中所示的视频装置1300具有这样的多功能配置，其中具有与图像的编码-解码(编码和解码中的一个，或编码和解码两者)有关的功能的装置与具有与编码-解码功能有关的其他功能的装置组合。
如图33所示，视频装置1300包括一组模块，也就是说，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314；并且包括具有有关功能的装置诸如连接1321、摄像机1322和传感器1323。
模块具有几个相互有关的部件功能的集合，并且表示具有结合功能的部件。尽管模块可以具有任意类型的特定物理配置，但是可以考虑这样的配置，其中，例如，配备有各种功能的多个处理器、电子电路器件例如电阻和电容器、其他器件以集成的方式布置在布线基板上。另外，还可以考虑将模块与其他模块和处理器组合以便配置新的模块。在图33所示的示例中，模块组构成视频单元1361。
在图33所示的示例中，通过组合具有与图像处理有关的功能的配置来配置视频模块1311；并且包括应用处理器1331、视频处理器1332、宽带调制解调器1333和RF模块1334。
可以通过根据SoC(片上系统)在半导体芯片上集成具有预定功能的配置来配置处理器；并且，例如，有时也具有被称为系统LSI的配置。具有预定功能的配置可以是逻辑电路(硬件配置)；或者可以是CPU、ROM、RAM和使用它们执行的程序(软件配置)；或者可以是硬件配置和软件配置的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM；可以具有使用逻辑电路实现的一些功能(硬件配置)；并且可以具有使用由CPU执行的程序(软件配置)实现的其他功能。
图33所示的应用处理器1331是用于执行与图像处理有关的应用的处理器。在应用处理器1331中执行的应用不仅可以执行算术处理，而且还可以根据需要控制诸如视频处理器1332的视频模块1311内部和外部的配置。
视频处理器1332是具有与图像的编码/解码(一个或两个)有关的功能的处理器。
宽带调制解调器1333对使用经由诸如因特网或公共电话网络的宽带连接执行的有线宽带通信或无线宽带通信(或者有线宽带通信和无线宽带通信两者)传输的数据(数字信号)执行数字调制；并且将数据转换成模拟信号。另外，宽带调制解调器1333对使用宽带通信接收的模拟信号进行解调，并将模拟信号转换为数据(数字信号)。宽带调制解调器1333处理任意信息，例如由视频处理器1332处理的图像数据、具有编码图像数据的流、应用程序以及设置数据。
RF模块1334是用于对经由天线发送和接收的RF(射频)信号执行频率转换、调制-解调、放大和滤波处理的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号执行频率转换，并且生成RD信号。另外，RF模块1334对经由前端模块1314接收的RF信号执行频率转换，并且生成基带信号。
同时，如图33中的虚线1341所示，应用处理器1331和视频处理器1332可以被集成以配置为单个处理器。
外部存储器1312是安装在视频模块1311的外部的模块，并且包括由视频模块1311使用的存储器装置。外部存储器1312中的存储器装置可以具有任何任意物理配置。由于存储器装置经常用于以帧为单位存储诸如图像数据的大量数据，因此期望使用低成本但具有大存储容量的半导体存储器例如DRAM(动态随机存取存储器)作为存储器装置。
电力管理模块1313管理和控制对视频模块1311(视频模块1311的构成元件)的供电。
前端模块1314是用于向RF模块1334提供前端功能(天线侧的发送和接收端处的电路)的模块。如图33所示，前端模块1314包括例如天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括用于发送和接收无线电信号的天线，并且包括外围配置。天线单元1351将从放大单元1353接收的信号作为无线电信号发送，并将接收的无线电信号作为电信号(RF信号)发送到滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波，并且将处理后的RF信号发送到RF模块1334。放大单元1353放大从RF模块1334接收的RF信号，并且将放大的RF信号发送到天线单元1351。
连接1321是具有与建立与外部的连接有关的功能的模块。连接1321可以具有任意物理配置。例如，连接1321包括具有与宽带调制解调器1333所兼容的通信标准不兼容的通信功能的配置，并且包括外部输入-输出端子。
例如，连接可以被配置成包括具有与无线通信标准兼容的通信功能的模块，所述无线通信标准例如是蓝牙(注册商标)、IEEE802.11(例如，Wi-Fi(无线保真，注册商标))、NFC(近场通信)或IrDA(红外数据协会)；并且被配置成包括用于发送和接收与该标准兼容的信号的天线；替选地，例如，连接1321可以被配置成包括具有与有线通信标准兼容的通信功能的模块，有线通信标准例如是USB(通用串行总线)或HDMI(注册商标)(高清多媒体接口)；并且被配置成包括与该标准兼容的终端。仍然替选地，例如，连接1321可以被配置成包括一些其他数据(信号)传输功能(例如，模拟输入-输出端子)。
同时，连接1321可以被配置成包括在数据(信号)的传输目的地处的装置。例如，连接1321可以被配置成包括用于对诸如磁盘、光盘、磁光盘或半导体存储器的记录介质执行数据读取和数据写入的驱动器(这里，驱动器不限于用于可移动介质的驱动器，并且还包括硬盘、SSD(固态驱动器)和NAS(网络附接存储装置)。另外，连接1321可以被配置成包括图像输出介质或音频输出介质(监视器或扬声器)。
摄像机1322是具有对拍摄目标执行成像并获得其图像数据的功能的模块。作为由摄像机1322执行的成像的结果而获得的图像数据被发送到例如视频处理器1332，用于编码目的。
传感器1323是具有例如语音传感器、超声波传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁传感器或温度传感器等任意传感器功能的模块。由传感器1323检测到的数据被发送到例如应用处理器1331，并且由应用使用。
同时，以上作为模块说明的配置可以被实现为处理器，并且以上作为处理器说明的配置可以被实现为模块。
在以上述方式配置的视频装置1300中，例如，如稍后描述的，可以在视频处理器1332(参见图34)中应用有关的应用。因此，视频装置1300可以被实现为其中实现了本申请的装置。
<应用了本申请的视频处理器的说明>
图34是示出其中应用了本申请的视频处理器1332(参见图33)的示例性示意性配置的框图。
在图34所示的示例中，视频处理器1332具有接收视频信号和音频信号的输入并根据预定方法对它们进行编码的功能，并且具有对编码的视频数据和编码的音频数据进行解码以便再现和输出视频信号和音频信号的功能。
如图34所示，视频处理器1332包括视频输入处理单元1401、第一图像放大-缩小单元1402、第二图像放大-缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。另外，视频处理器1332包括编码/解码引擎1407、视频ES(基本流)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413和流缓冲器1414。
视频输入处理单元1401获得从例如连接1321(参见图33)输入的视频信号，并将它们转换成数字图像数据。第一图像放大-缩小单元1402对图像数据执行格式转换，并执行图像放大-缩小。第二图像放大-缩小单元1403根据视频输出处理单元1404的输出目的地中使用的格式对图像数据执行图像放大-缩小。另外，第二图像放大-缩小单元1403以与第一图像放大-缩小单元1402相同的方式执行格式转换和图像放大-缩小。视频输出处理单元1404对图像数据执行格式转换，以将图像数据转换成模拟信号，并将模拟信号作为再现视频信号输出到例如连接1321。
帧存储器1405是用于存储在视频输入处理单元1401、第一图像放大-缩小单元1402、第二图像放大-缩小单元1403、视频输出处理单元1404和编码/解码引擎1407之间共享的图像数据的存储器。帧存储器1405被实现为诸如DRAM的半导体存储器。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并根据如在访问管理表1406A中写入的对帧存储器1405的访问调度，控制对帧存储器1405的读/写访问。根据编码/解码引擎1407、第一图像放大-缩小单元1402和第二图像放大-缩小单元1403执行的操作，存储器控制单元1406更新访问管理表1406A。
编码/解码引擎1407对图像数据进行编码以及对表示编码图像数据的视频流进行解码。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并将编码后的图像数据作为视频流顺序地写入视频ES缓冲器1408A中。另外，例如，编码/解码引擎1407从视频ES缓冲器1408B中顺序地读取视频流，对视频流进行解码，并且将解码后的视频流作为图像数据顺序地写入帧存储器1405。在编码操作和解码操作中，编码/解码引擎1407使用帧存储器1405作为工作区。另外，编码/解码引擎1407在例如开始对每个宏块的操作的定时处向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A缓冲由编码/解码引擎1407生成的视频流，并且将它们发送到复用器(MUX)1412。视频ES缓冲器1408B缓冲从解复用器(DMUX)1413接收的视频流，并将它们发送到编码/解码引擎1407。
音频ES缓冲器1409A缓冲由音频编码器1410生成的音频流，并且将它们发送到复用器(MUX)1412。音频ES缓冲器1409B缓冲从解复用器(DMUX)1413接收的音频流，并将它们发送到音频解码器1411。
音频编码器1410对从例如连接1321输入的音频信号执行数字转换；并根据预定方法例如MPEG音频方法或AC3(音频代码编号3)方法对数字数据进行编码。音频编码器1410将音频流顺序地写入音频ES缓冲器1409A，该音频流表示作为对音频信号进行编码的结果而获得的数据。音频解码器1411对从音频ES缓冲器1409B接收的音频流进行解码；例如将音频流转换为模拟信号；并将模拟信号作为再现的音频信号发送到连接1321。
复用器(MUX)1412复用视频流和音频流。在此，可以实现任何任意的复用方法(也就是说，作为复用结果而生成的比特流可以具有任意的格式)。另外，在复用时，复用器(MUX)1412还可以将预定的头信息添加到比特流。也就是说，作为执行复用的结果复用器(MUX)1412可以转换格式。例如，复用器(MUX)1412复用视频流和音频流，并将复用结果转换为表示用于传输的格式的比特流的传输流。另外，例如，复用器(MUX)1412复用视频流和音频流，并将复用结果转换为具有用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)1413根据与由复用器(MUX)1412执行的复用对应的方法来解复用作为复用视频流和音频流的结果获得的比特流。也就是说，解复用器(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(分离视频流和音频流)。也就是说，作为执行解复用的结果，解复用器(DMUX)1413可以转换流的格式(与复用器(MUX)1412执行的转换相反的转换)。例如，解复用器(DMUX)1413可以经由流缓冲器1414获得从连接1321或宽带调制解调器1333接收的传输流，并且解复用传输流以便将它们转换成视频流和音频流。另外，解复用器(DMUX)1413可以经由流缓冲器1414获得例如通过连接1321从各种记录介质读取的文件数据，并且多解复用文件数据，以便将其转换成视频流和音频流。
流缓冲器1414缓冲比特流。例如，流缓冲器1414缓冲从复用器(MUX)1412接收的传输流，并且在预定定时或响应于从外部发出的请求将它们发送到连接1321或宽带调制解调器1333。
另外，流缓冲器1414缓冲从复用器(MUX)1412接收的文件数据；在预定定时或响应于从外部发出的请求将其发送到连接1321；并且将其记录在各种记录介质中。
此外，流缓冲器1414缓冲经由连接1321或宽带调制解调器1333获得的传输流，并且在预定定时或响应于从外部发出的请求将它们发送到解复用器(DMUX)1413。
另外，流缓冲器1414缓冲从各种记录介质读入例如连接1321的文件数据；并且在预定定时或响应于从外部发出的请求将文件数据发送到解复用器(DMUX)1413。
以下，对具有上述配置的视频处理器1332中执行的动作的示例进行说明。例如，关于从连接1321输入到视频处理器1332的视频信号，视频输入处理单元1401将该视频信号转换成诸如4:2:2Y/Cb/Cr格式的预定格式的数字图像数据，并且将图像数据顺序写入帧存储器1405。然后，第一图像放大-缩小单元1402或第二图像放大-缩小单元1403读取数字图像数据；将数字图像数据的格式转换为预定格式，例如4:2:0Y/Cb/Cr格式，并执行放大-缩小操作；并再次将图像数据写入帧存储器1405。随后，编码/解码引擎1407对图像数据进行编码，并将其作为视频流写入视频ES缓冲器1408A中。
另外，关于从连接1321输入到视频处理器1332的音频信号，音频编码器1410对音频信号进行编码，并将它们作为音频流写入音频ES缓冲器1409A中。
然后，复用器(MUX)1412读取并复用写入视频ES缓冲器1408A中的视频流和写入音频ES缓冲器1409A中的音频流，并将复用结果转换为传输流或文件数据。由复用单元(MUX)生成的传输流被缓冲在流缓冲器1414中，并且然后经由例如连接1321或宽带调制解调器1333被输出到外部网络。另外，由复用器(MUX)1412生成的文件数据被缓冲在流缓冲器1414中，并且然后被输出到例如连接1321，并被记录在各种记录介质中。
另外，从外部网络经由例如连接1321或宽带调制解调器1333输入到视频处理器1332的传输流被缓冲在流缓冲器1414中，并且然后由解复用器(DMUX)1413解复用。此外，从各种记录介质读入连接1321并输入到视频处理器1332的文件数据被缓冲在流缓冲器1414中，并且然后由解复用器(DMUX)1413解复用。也就是说，解复用器(DMUX)1413将输入到视频处理器1332的传输流或文件数据分离为视频流和音频流。
音频流经由音频ES缓冲器1409B被发送到音频解码器1411，使得音频解码器1411解码音频流并再现音频信号。视频流被写入视频ES缓冲器1408B中，并且然后编码/解码引擎1407顺序地读取视频流，对其进行解码，并将其写入帧存储器1405。第二图像放大-缩小单元1403执行解码图像数据的放大-缩小，并将其写入帧存储器1405。然后，视频输出处理单元1404读取解码的图像数据；以预定格式例如4:2:2Y/Cb/Cr格式执行格式转换；将图像数据转换为模拟信号；并且再现和输出视频信号。
在将本申请应用于以上述方式配置的视频处理器1332的情况下，可以将在实施方式中说明的本申请应用于编码/解码引擎1407。也就是说，例如，编码/解码引擎1407可以配备有图像编码装置100a的功能或图像解码装置100b的功能。替选地，编码/解码引擎1407可以配备有图像编码装置100a的功能以及图像解码装置100b的功能。结果，视频处理器1332能够实现与实施方式中实现的效果相同的效果。
在编码/解码引擎1407中，本申请(也就是说，图像编码装置100a的功能、或图像解码装置100b的功能、或这两个装置的功能)可以使用诸如逻辑电路的硬件来实现，或者可以使用诸如嵌入式程序的软件来实现，或者可以使用硬件和软件来实现。
(视频处理器的另一示例性配置)
图35是示出其中应用了本申请的视频处理器1332的另一示例性示意性配置的框图。在图35所示的示例中，视频处理器1332具有根据预定方法编码/解码视频数据的功能。
更具体地，如图35所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514和内部存储器1515。另外，视频处理器1332包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX/DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332的处理单元即显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516的操作。
如图35所示，控制单元1511包括例如主CPU 1531、从属CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332的处理单元的操作的程序。主CPU 1531根据程序生成控制信号并将控制信号发送到处理单元，并且因此控制处理单元的操作。从属CPU 1532完成对主CPU 1531的补充角色。例如，从属CPU 1532执行由主CPU 1531执行的程序的子过程和子例程。系统控制器1533通过指示主CPU 1531和从属CPU 1532关于要执行的程序的操作来控制它们的操作。
显示接口1512在控制单元1511的控制下将图像数据输出到例如连接1321(参见图33)。更具体地说，显示接口1512将数字图像数据转换成模拟信号，并将它们作为再现的视频信号输出到连接1321的监视器装置，或者不加修改地将数字图像数据输出到连接1321的监视器装置。
显示引擎1513在控制单元1511的控制下对图像数据执行各种转换操作，例如，格式转换、尺寸转换和光谱转换，并且目的是将图像数据与要显示图像的监视器装置的硬件规格相匹配。
图像处理引擎1514在控制部1511的控制下并且以提高画质为目的对图像数据执行例如滤波处理的预定图像处理。
内部存储器1515是安装在视频处理器1332内部并且在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间共享的存储器。内部存储器1515例如用于显示引擎1513、图像处理引擎1514和编解码器引擎1516之间的数据通信。例如，由显示引擎1513、图像处理引擎1514或编解码器引擎1516发送的数据被存储在内部存储器1515中；并且必要时(例如，响应于请求)可以将所存储的数据被发送到显示引擎1513、图像处理引擎1514或编解码器引擎1516。可以使用任何任意的存储器装置来实现内部存储器1515。由于内部存储器1515经常用于以块和参数为单位存储诸如图像数据的低容量数据，因此希望使用诸如SRAM(静态随机存取存储器)的半导体存储器，其容量相对较低(与例如外部存储器1312相比)，但是具有快速的响应速度。
编解码器引擎1516执行与图像数据的编码和解码有关的操作。编解码器引擎1516可以与任意编码/解码方法兼容，并且可以存在一个或更多个这样的编码/解码方法。例如，编解码器引擎1516可以配备有多种编码/解码方法的编解码器功能，并且可以根据所选择的方法对图像数据进行编码并对编码后的数据进行解码。
在图35所示的示例中，例如，编解码器引擎1516包括MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视角)1545、以及MPEG-DASH 1551，作为用于与编解码器有关的处理的功能块。
MPEG-2视频1541是用于根据MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是用于根据AVC方法对图像数据进行编码和解码的功能块。HEVC/H.2651543是用于根据HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可扩展)1544是用于根据HEVC方法对图像数据执行可扩展编码和可扩展解码的功能块。HEVC/H.265(多视角)1545是用于根据HEVC方法执行图像数据的多视角编码和多视角解码的功能块。
MPEG-DASH 1551是用于根据MPEG-DASH(基于HTTP的MPEG动态自适应流)方法发送和接收图像数据的功能块。MPEG-DASH 1551是一种使用HTTP(超文本传输协议)来对视频进行流传输的技术，其特征在于，以段为单位从所提供的具有相互不同的分辨率的多组编码数据中选择适当的编码数据；然后传输所选择的编码数据。在MPEG-DASH 1551中，生成与标准兼容的流，并且执行这些流的传输控制；并且，就图像数据的编码/解码而言，使用以上说明的MPEG-2视频1541或HEVC/H.265(多视角)1545。
存储器接口1517是用于外部存储器1312的接口。因此，由图像处理引擎1514或编解码器引擎1516发送的数据经由存储器接口1517被提供给外部存储器1312。另外，从外部存储器1312读取的数据经由存储器接口1517被发送到视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用器/解复用器(MUX/DMUX)1518复用和解复用与图像有关的各种数据，例如编码数据的比特流、图像数据和视频信号。在此，可以根据任意方法执行复用/解复用。例如，在执行复用时，复用器/解复用器(MUX/DMUX)1518不仅可以捆绑多组数据，而且还可以将预定的头信息添加到捆绑的数据。另外，在执行解复用时，复用器/解复用器(MUX/DMUX)1518不仅可以将单个数据集划分为多个数据集，而且可以将预定的头信息添加到每个划分的数据集。也就是说，复用器/解复用器(MUX/DMUX)1518可以通过执行复用/解复用来转换数据的格式。例如，复用器/解复用器(MUX/DMUX)1518复用比特流，并将它们转换为表示具有用于传输的格式的比特流的传输流，以及转换为具有用于记录的文件格式的数据(文件数据)。当然，可以执行解复用以用于逆变换。
网络接口1519是用于与例如图33所示的宽带调制解调器1333或连接1321建立连接的接口。视频接口1520是用于与例如连接1321或摄像机1322建立连接的接口。
以下，对在视频处理器1332中执行的操作的示例进行说明。例如，当经由连接1321或宽带调制解调器1333从外部网络接收到传输流时，经由网络接口1519将传输流发送到复用器/解复用器(MUX/DMUX)1518，使得复用器/解复用器(MUX/DMUX)1518解复用传输流。然后，编解码器引擎1516对解复用的传输流进行解码。接着，图像处理引擎1514对作为由编码引擎1516执行解码的结果而获得的图像数据执行预定的图像处理。然后，显示引擎1513对处理后的图像数据执行预定转换，并且转换后的图像数据被发送到例如连接1321，并且对应的图像被显示在监视器中。另外，例如，关于作为由编解码器引擎1516执行的解码的结果而获得的图像数据，编解码器引擎1516再次对图像数据进行解码，并且复用器/解复用器(MUX/DMUX)1518复用再次解码的图像数据并将其转换为文件数据。然后，文件数据经由视频接口1520被输出到例如连接1321，并且被记录在各种记录介质中。
另外，连接1321经由视频接口1520将从记录介质(未示出)读取并且作为编码图像数据的结果而获得的编码数据的文件数据发送到复用器/解复用器(MUX/DMUX)1518。然后，复用器/解复用器(MUX/DMUX)1518解复用文件数据，并且编解码器引擎1516解码解复用的文件数据。随后，图像处理引擎1514对作为编解码器引擎1516执行的解码的结果而获得的图像数据执行预定图像处理，并且显示引擎1513对处理后的图像数据执行预定转换。然后，图像数据经由显示接口1512被发送到例如连接1321，并且相应的图像被显示在监视器中。另外，例如，关于作为由编解码器引擎1516执行的解码的结果而获得的图像数据，编解码器引擎1516再次对图像数据进行解码，并且复用器/解复用器(MUX/DMUX)1518复用再次解码的图像数据，并将其转换为传输流。然后，传输流经由网络接口1519被输出到例如连接1321或宽带调制解调器1333，并且被发送到其他装置(未示出)。
同时，使用例如内部存储器1515或外部存储器1312来执行视频处理器1332的处理单元之间的图像数据和其他数据的通信。另外，电力管理模块1313控制例如对控制单元1511的电力供应。
在将本申请应用于以上述方式配置的视频处理器1332的情况下，在实施方式中说明的本申请可以应用于编解码器引擎1516。也就是说，例如，编解码器引擎1516可以配备有图像编码装置100a的功能、或图像解码装置100b的功能、或这两个装置的功能。结果，视频处理器1332能够实现与实施方式中实现的效果相同的效果。
在编解码器引擎1516中，可以使用诸如逻辑电路的硬件来实现本申请(也就是说，图像编码装置100a的功能)，或者可以使用诸如嵌入式程序的软件来实现本申请，或者可以使用硬件和软件来实现本申请。
到目前为止，说明了视频处理器1332的两个示例性配置。然而，视频处理器1332可以具有可以与以上说明的两种配置不同的任意配置。同时，视频处理器1332可以被配置为单个半导体芯片，或者可以被配置为多个半导体芯片。例如，视频处理器1332可以是其中层叠有多个半导体的三维层叠LSI。替选地，可以使用多个LSI来实现视频处理器1332。
<在装置中应用的示例>
视频装置1300可以嵌入在处理图像数据的各种装置中。例如，视频装置1300可以嵌入在电视装置900(参见图29)、或蜂窝电话920(参见图30)、或记录-再现装置940(参见图31)、或成像装置960(参见图32)中。通过将视频装置1300嵌入到装置中，该装置能够实现与实施方式中实现的效果相同的效果。
同时，仅关于视频装置1300的部分配置；只要该部分配置包括视频处理器1332，就可以将其视为应用了本申请的配置。例如，仅视频处理器1332可以被视为其中应用了本申请的视频处理器。另外，例如，图33中的虚线1341所示的处理器或视频模块1311可以被视为其中应用了本申请的处理器或模块。另外，例如，视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314可以被组合并且被视为其中应用了本申请的视频单元1361(参见图33)。在任何上述配置中，能够实现与实施方式中实现的效果相同的效果。
也就是说，只要包括视频处理器1332，就可以以与视频装置1300的情况相同的方式将任何类型的配置嵌入处理图像数据的各种装置中。例如，视频处理器1332、或由虚线1341所示的处理器、或视频模块1311、或视频单元1361可以嵌入到电视装置900(参见图29)、或蜂窝电话920(参见图29)、或记录-再现装置940(参见图31)、或成像装置960(参见图32)中。因此，作为结合其中要应用本申请的任何一种配置的结果；以与视频装置1300的情况相同的方式，能够实现与实施方式中实现的效果相同的效果。
<网络系统>
同时，本申请还可以应用于配置有多个装置的网络系统。图36是示出其中应用了本申请的网络系统的示例性示意性配置的框图。
图36所示的网络系统1600是其中装置经由网络来传送与图像(运动图像)有关的信息的系统。在网络系统1600中，云服务1601是用于向可通信地连接到云服务1601的诸如计算机1611、AV(视听)装置1612、便携式信息处理终端1613和IoT(物联网)装置1614的终端提供与图像(运动图像)由关的服务的系统。例如，云服务1601向终端提供诸如图像(运动图像)内容提供服务的服务，例如所谓的视频传输(点播或直播流)。另外，例如，云服务1601提供用于从终端接收图像(运动图像)并将它们存档的备份服务。此外，例如，云服务1601提供在终端之间中继图像(运动图像)的内容的通信的服务。
云服务1601可以具有任意的物理配置。例如，云服务1601可以被配置为包括各种服务器，例如用于存储和管理运动图像的服务器、用于向终端广播运动图像的服务器、用于从终端获得运动图像的服务器、以及用于管理用户(终端)和费用的收费的服务器；并且被配置成包括诸如因特网或LAN的任意网络。
计算机1611使用诸如个人计算机、服务器或工作站的信息处理装置来配置。AV装置1612使用诸如电视接收机、硬盘记录器、游戏机、摄像机等图像处理装置构成。便携式信息处理终端1613使用诸如笔记本个人计算机、平板终端、蜂窝电话或智能电话的便携式信息处理装置来配置。IoT装置1614使用执行与图像有关的处理的任意对象(例如，机器、家用电器、家具物品、一些其他对象、IC标签或卡型装置)来配置。上述终端中的每一个终端配备有通信功能，建立与云服务1601的连接(建立会话)，并且向云服务1601发送信息和从其接收信息(也就是说，执行与其的通信)。另外，每个终端也可以与其他终端执行通信。可以经由云服务1601或者在不涉及云服务1601的情况下执行终端之间的通信。
当本申请被应用于以上说明的网络系统1600时，并且当在终端之间或者在终端与云服务1601之间发送和接收图像(运动图像)的数据时，可以如以上说明的在实施方式中对图像数据进行编码/解码。也就是说，每个终端(计算机1611至IoT装置1614)以及云服务1601可以配备有图像编码装置100a以及图像解码装置100b的功能。结果，发送和接收图像数据的终端(也就是说，计算机1611至IoT装置1614)和云服务1601使得能够实现与实施方式中实现的效果相同的效果。
同时，与编码数据(比特流)有关的各种信息可以在被传输或记录之前被复用到编码数据中，或者可以作为与编码数据相关联的非复用的单独数据被传输或记录。在此，术语“关联”意味着例如当要处理一个数据集时，可以使用(链接)某个其他数据集的情况。也就是说，相互关联的数据集可以被捆绑为单个数据集，或者可以被视为单独的数据集。例如，与编码数据(图像)相关联的信息可以使用与用于传输编码数据(图像)的传输路径不同的传输路径来传输。替选地，例如，与编码数据(图像)相关联的信息可以记录在与用于记录编码数据(图像)的记录介质不同的记录介质中(或记录在同一记录介质的不同记录区域中)。同时，“关联”不一定针对整个数据，并且可以仅关联数据的某一部分。例如，图像和与图像对应的信息可以以任意单位例如多个帧、单个帧或单个帧的某个部分相互关联。
同时，在本书面描述中描述的效果仅是说明性和示例性的，并且在范围上不受限制。也就是说，也可以实现其他效果。
另外，本申请的技术范围不限于上述实施方式。也就是说，本申请的应用应被说明为体现了完全落入本文所阐述的基本教导内的所有修改。
同时，如下说明的配置也落入本申请的技术范围内。
(1)
一种图像处理装置，包括：
运动补偿单元，
所述运动补偿单元具有用于对表示图像的某一部分的部分区域中随时间发生的运动的状态进行补偿的多个运动补偿模式，
所述运动补偿单元检测在所述部分区域中发生的运动的状态，以及
所述运动补偿单元补偿所检测到的运动的状态并且生成预测图像；以及
执行控制单元，所述执行控制单元在所述运动补偿单元所检测到的运动的状态满足预定条件时或者在所述运动补偿单元生成所述预测图像所处的条件满足所述预定条件时，使所述运动补偿单元跳过对应于所述预定条件的运动补偿模式。
(2)
根据(1)所述的图像处理装置，还包括条件确定单元，所述条件确定单元执行如下操作：
基于所述运动补偿单元所检测到的矩形部分区域的最多三个顶点处的运动矢量的方向和长度，以及
基于所述部分区域的宽度和高度，
确定所述部分区域的运动的状态是否满足所述预定条件。
(3)
根据(1)或(2)所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和旋转，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
(4)
根据(1)至(3)中任一项所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和放大缩小，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
(5)
根据(1)至(4)中任一项所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移、旋转、放大缩小和偏斜变形，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
(6)
根据(1)至(5)中任一项所述的图像处理装置，其中，
当所述运动补偿单元使用在位于所述部分区域附近并且已经执行了运动补偿的多个邻近区域中执行的运动补偿的结果并且补偿所述部分区域的运动的状态以生成所述预测图像时，
所述执行控制单元基于以下来检测所述部分区域中的运动的状态：
用于所述多个邻近区域中的运动补偿的运动补偿模式的出现频率，以及
成本，所述成本指示根据预测图像的预测程度，该预测图像在通过将用于所述多个邻近区域中的运动补偿的运动补偿模式应用于所述部分区域来执行运动补偿时生成。
(7)
根据权利要求(6)所述的图像处理装置，其中，所述运动补偿单元按照所述运动补偿模式在所述多个邻近区域中的出现频率的顺序来计算所述成本。
(8)
根据权利要求(6)或(7)所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和旋转，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
(9)
根据(6)至(8)中任一项所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和放大缩小，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
(10)
根据(6)至(9)中任一项所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移、旋转、放大缩小和偏斜变形，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
(11)
根据(1)至(10)中任一项所述的图像处理装置，其中，
所述预定条件指示所述预定区域的尺寸小于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过预定运动补偿。
(12)
根据(1)至(11)中任一项所述的图像处理装置，其中，
所述预定条件指示所述预定区域的尺寸小于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除如下模式以外的运动补偿模式：
对涉及平移的运动进行补偿的平移模式，
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式。
(13)
根据(1)至(12)中任一项的图像处理装置，其中，
所述预定条件指示所述预定区域的尺寸等于或大于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除具有成本中的最低成本的运动补偿模式以外的运动补偿模式，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用所述运动补偿单元中所提供的多个运动补偿模式在所述部分区域中执行运动补偿的结果而生成。
(14)
根据(1)至(13)中任一项所述的图像处理装置，其中，
所述预定条件指示用于使运动补偿的结果量化的量化参数小于预定值，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
(15)
根据(1)至(4)中任一项所述的图像处理装置，其中，
所述预定条件指示：
用于使运动补偿的结果量化的量化参数小于预定值，并且
成本小于预定阈值，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式在所述部分区域中执行运动补偿的结果而生成，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式以外的运动补偿模式。
(16)
根据(1)至(15)中任一项所述的图像处理装置，其中，
所述预定条件指示
用于使运动补偿的结果量化的量化参数小于预定值，并且
成本等于或大于预定阈值，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式在所述部分区域中执行运动补偿的结果而生成，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除对涉及平移的运动进行补偿的平移模式以外的运动补偿模式。
(17)
根据(1)至(16)中任一项所述的图像处理装置，其中，
所述预定条件指示用于使运动补偿的结果量化的量化参数等于或大于预定值；并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除具有成本中的最低成本的运动补偿模式以外的运动补偿模式：所述成本表示根据预测图像的预测程度，该预测图像作为通过应用多个运动补偿模式在所述部分区域中执行运动补偿的结果而生成。
(18)
一种图像处理方法，其中，
提供多个运动补偿模式以用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态，
检测在所述部分区域中发生的运动的状态，并且
补偿所检测到的运动的状态并且生成预测图像，
所述图像处理方法包括：
在所述部分区域所中所检测到的运动的状态满足预定条件时或者在用于生成所述预测图像的条件满足所述预定条件时，跳过对应于所述预定条件的运动补偿模式。
(19)
一种程序，所述程序使图像处理装置中包括的计算机用作：
运动补偿单元，
所述运动补偿单元具有用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态的多个运动补偿模式，
所述运动补偿单元检测在所述部分区域中发生的运动的状态，以及
所述运动补偿单元补偿所检测到的运动的状态并且生成预测图像；以及
执行控制单元，所述执行控制单元在所述运动补偿单元所检测到的运动的状态满足预定条件时或者在所述运动补偿单元生成所述预测图像所处的条件满足所述预定条件时，使所述运动补偿单元跳过对应于所述预定条件的运动补偿模式。
附图标记列表
11 PU(部分区域)
14 CU(部分区域)
100a 图像编码装置(图像处理装置)
100b 图像解码装置(图像处理装置)
122 帧间预测单元
122a 运动检测单元(运动补偿单元)
122b 条件确定单元
122c 运动补偿执行控制单元(执行控制单元)
P 预测图像

Claims (19)

1.一种图像处理装置，包括：
运动补偿单元，
所述运动补偿单元具有用于对在表示图像的某一部分的部分区域中随时间发生的运动的状态进行补偿的多个运动补偿模式，
所述运动补偿单元检测在所述部分区域中发生的运动的状态，以及
所述运动补偿单元补偿所检测到的运动的状态并且生成预测图像；以及
执行控制单元，所述执行控制单元在所述运动补偿单元所检测到的运动的状态满足预定条件时，或者在所述运动补偿单元生成所述预测图像所处的条件满足所述预定条件时，使所述运动补偿单元跳过对应于所述预定条件的运动补偿模式。
2.根据权利要求1所述的图像处理装置，还包括条件确定单元，所述条件确定单元执行如下操作：
基于所述运动补偿单元所检测到的矩形部分区域的最多三个顶点处的运动矢量的方向和长度，以及
基于所述部分区域的宽度和高度，
确定所述部分区域的运动的状态是否满足所述预定条件。
3.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和旋转，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
4.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和放大缩小，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
5.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移、旋转、放大缩小和偏斜变形，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
6.根据权利要求1所述的图像处理装置，其中，
当所述运动补偿单元使用在位于所述部分区域附近并且已经执行了运动补偿的多个邻近区域中执行的运动补偿的结果并且补偿所述部分区域的运动的状态以生成所述预测图像时，
所述执行控制单元基于以下来检测所述部分区域中的运动的状态：
用于所述多个邻近区域中的运动补偿的运动补偿模式的出现频率，以及
成本，所述成本指示根据预测图像的预测程度，该预测图像在通过将用于所述多个邻近区域中的运动补偿的运动补偿模式应用于所述部分区域来执行运动补偿时生成。
7.根据权利要求6所述的图像处理装置，其中，所述运动补偿单元按照所述运动补偿模式在所述多个邻近区域中的出现频率的顺序来计算所述成本。
8.根据权利要求6所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和旋转，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
9.根据权利要求6所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移和放大缩小，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式。
10.根据权利要求6所述的图像处理装置，其中，
所述预定条件指示所述部分区域的运动的状态涉及平移、旋转、放大缩小和偏斜变形，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
11.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的尺寸小于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过预定运动补偿。
12.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的尺寸小于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除如下模式以外的运动补偿模式：
对涉及平移的运动进行补偿的平移模式，
对涉及平移和旋转的运动进行补偿的平移-旋转模式，以及
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式。
13.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示所述部分区域的尺寸等于或大于预定尺寸，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除具有成本中的最低成本的模式以外的运动补偿模式，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用所述运动补偿单元中所提供的多个运动补偿模式在所述部分区域中执行运动补偿的结果而生成。
14.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示用于使运动补偿的结果量化的量化参数小于预定值，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过如下模式：
对涉及平移和放大缩小的运动进行补偿的平移-缩放模式，以及
对涉及平移和旋转的运动进行补偿的平移-旋转模式。
15.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示：
用于使运动补偿的结果量化的量化参数小于预定值，并且
成本小于预定阈值，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式在所述部分区域中执行运动补偿的结果而生成，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式以外的运动补偿模式。
16.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示：
用于使运动补偿的结果量化的量化参数小于预定值，并且
成本等于或大于预定阈值，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用对涉及平移、旋转、放大缩小和偏斜变形的运动进行补偿的仿射变换模式在所述部分区域中执行运动补偿的结果而生成，并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除对涉及平移的运动进行补偿的平移模式以外的运动补偿模式。
17.根据权利要求1所述的图像处理装置，其中，
所述预定条件指示用于使运动补偿的结果量化的量化参数等于或大于预定值；并且
当满足所述预定条件时，所述执行控制单元使所述运动补偿单元跳过除具有成本中的最低成本的运动补偿模式以外的运动补偿模式，所述成本表示根据预测图像的预测程度，该预测图像作为通过应用多个运动补偿模式在所述部分区域中执行运动补偿的结果而生成。
18.一种图像处理方法，其中，
提供多个运动补偿模式以用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态，
检测在所述部分区域中发生的运动的状态，以及
补偿所检测到的运动的状态并且生成预测图像，
所述图像处理方法包括：
在所述部分区域中所检测到的运动的状态满足预定条件时，或者在用于生成所述预测图像的条件满足所述预定条件时，对于所述部分区域，跳过对应于所述预定条件的运动补偿模式。
19.一种程序，所述程序使在图像处理装置中包括的计算机用作：
运动补偿单元，
所述运动补偿单元具有用于补偿在表示图像的某一部分的部分区域中随时间发生的运动的状态的多个运动补偿模式，
所述运动补偿单元检测在所述部分区域中发生的运动的状态，以及
所述运动补偿单元补偿所检测到的运动的状态并且生成预测图像；以及
执行控制单元，所述执行控制单元在所述运动补偿单元所检测到的运动的状态满足预定条件时，或者在所述运动补偿单元生成所述预测图像所处的条件满足所述预定条件时，使所述运动补偿单元跳过对应于所述预定条件的运动补偿模式。
CN201980044164.5A 2018-07-06 2019-05-09 图像处理装置、图像处理方法和程序 Withdrawn CN112369024A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018-129536 2018-07-06
JP2018129536 2018-07-06
PCT/JP2019/018616 WO2020008724A1 (ja) 2018-07-06 2019-05-09 画像処理装置、画像処理方法及びプログラム

Publications (1)

Publication Number Publication Date
CN112369024A true CN112369024A (zh) 2021-02-12

Family

ID=69059448

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980044164.5A Withdrawn CN112369024A (zh) 2018-07-06 2019-05-09 图像处理装置、图像处理方法和程序

Country Status (5)

Country Link
US (1) US20210281849A1 (zh)
EP (1) EP3820149A4 (zh)
JP (1) JPWO2020008724A1 (zh)
CN (1) CN112369024A (zh)
WO (1) WO2020008724A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449197A (zh) * 2021-01-28 2021-03-05 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210143325A (ko) * 2019-06-23 2021-11-26 엘지전자 주식회사 비디오/영상 코딩 시스템에서 머지 데이터 신택스의 시그널링 방법 및 장치
CN112468815B (zh) * 2021-01-28 2021-06-15 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2018061563A1 (ja) * 2016-09-27 2018-04-05 シャープ株式会社 アフィン動きベクトル導出装置、予測画像生成装置、動画像復号装置、および動画像符号化装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112449197A (zh) * 2021-01-28 2021-03-05 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2020008724A1 (ja) 2021-07-15
EP3820149A1 (en) 2021-05-12
EP3820149A4 (en) 2021-05-12
WO2020008724A1 (ja) 2020-01-09
US20210281849A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
US11695941B2 (en) Image processing device and method
WO2018047668A1 (ja) 画像処理装置および画像処理方法
RU2669685C2 (ru) Устройство и способ декодирования изображения
US20210243475A1 (en) Image processing apparatus and method
WO2018131523A1 (ja) 画像処理装置および画像処理方法
TWI701944B (zh) 影像處理裝置及影像處理方法
WO2018131515A1 (ja) 画像処理装置及び画像処理方法
JPWO2018070267A1 (ja) 画像処理装置および画像処理方法
CN109691100B (zh) 图像处理设备和图像处理方法
CN110999288A (zh) 图像处理器和图像处理方法
CN112369024A (zh) 图像处理装置、图像处理方法和程序
CN111133757B (zh) 编码设备、编码方法、解码设备和解码方法
JP2015128205A (ja) 復号装置および復号方法、並びに、符号化装置および符号化方法
WO2018037949A1 (ja) 画像処理装置および方法
US11997316B2 (en) Image processing apparatus and method for curbing deterioration in coding efficiency
WO2020008769A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20210212

WW01 Invention patent application withdrawn after publication