CN110169072A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110169072A
CN110169072A CN201780082525.6A CN201780082525A CN110169072A CN 110169072 A CN110169072 A CN 110169072A CN 201780082525 A CN201780082525 A CN 201780082525A CN 110169072 A CN110169072 A CN 110169072A
Authority
CN
China
Prior art keywords
mode
translation
unit
motion compensation
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780082525.6A
Other languages
English (en)
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110169072A publication Critical patent/CN110169072A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G06T3/147—Transformations for image registration, e.g. adjusting or mapping for alignment of images using affine transformations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及使得在基于运动矢量生成高精度的预测图像时能够减少开销的图像处理装置和图像处理方法。预测单元通过以下列模式中的任一种模式对参考图像执行运动补偿来生成预测图像：使用平移来执行运动补偿的平移模式；使用仿射变换来执行运动补偿的仿射变换模式；使用平移和旋转来执行运动补偿的平移/旋转模式；以及使用平移和缩放来执行运动补偿的平移/缩放模式。本发明适用于图像编码装置等。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法，具体地，涉及用于使得在基于运动矢量来生成高精度的预测图像的情况下能够减少开销的图像处理装置和图像处理方法。
背景技术
联合视频探索小组(JVET)在搜索国际电信联盟电信标准化部门(ITU-T)的下一代视频编码时通过基于两个顶点的运动矢量对参考图像执行仿射变换而提出了帧间预测处理(仿射运动补偿(MC)预测)(例如，参见非专利文献1和2)。因此，可以通过不仅对平移(平行平移)进行补偿而且对画面之间的旋转方向上的运动以及诸如帧间预测处理时的扩展或收缩的形状变化进行补偿来生成高精度的预测图像。
引用列表
非专利文献
非专利文献1：Jianle Chen等人，“Algorithm Description of JointExploration Test Model 4(JVET-C1001)”，JVET of ITU-T SG16 WP3 and ISO/IECJTC1/SC29/WG11，2016年5月26日至6月1日
非专利文献2：Feng Zou，“Improved affine motion prediction(JVET-C0062)”，JVET of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，2016年5月26日至6月1日
发明内容
技术问题
然而，在使用仿射变换的帧间预测处理中所使用的参数的数量多于在基于一个运动矢量而仅对平移进行补偿以生成预测图像的帧间预测处理中所使用的参数的数量。因此，开销增加并且编码效率降低。
鉴于这种情况而设计了本公开内容，并且本公开内容使得在基于运动矢量来生成高精度的预测图像的情况下能够减少开销。
针对问题的解决方案
本技术的一方面是一种图像处理装置，包括：预测单元，其被配置成通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
根据本公开内容的另一方面的图像处理方法对应于根据本公开内容的一方面的图像处理装置。
根据本技术的一方面，预测单元通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
本发明的有益效果
根据本公开内容的一方面，能够生成预测图像。此外，根据本公开内容的该方面，能够在基于运动矢量来生成高精度的预测图像的情况下减少开销。
注意，此处描述的有益效果不一定是限制性的，并且可以获得本公开内容中描述的任何有益效果。
附图说明
图1是示出基于一个运动矢量来执行运动补偿的帧间预测处理的说明图。
图2是示出基于一个运动矢量和旋转角度来执行运动补偿的帧间预测处理的说明图。
图3是示出基于两个运动矢量来执行运动补偿的帧间预测处理的说明图。
图4是示出基于三个运动矢量来执行运动补偿的帧间预测处理的说明图。
图5是示出基于三个运动矢量的仿射变换之前和之后的块的说明图。
图6是示出QTBT的说明图。
图7是示出在图像中的每个PU中发生的运动的第一示例的说明图。
图8是示出在图像中的每个PU中发生的运动的第二示例的说明图。
图9是示出在图像中的每个PU中发生的运动的第三示例的说明图。
图10是示出在图像中的每个PU中发生的运动的第四示例的说明图。
图11是示出图像编码装置的实施方式的配置示例的框图。
图12是示出平移模式的说明图。
图13是示出平移旋转模式的第一示例的说明图。
图14是示出平移旋转模式的第二示例的说明图。
图15是示出平移缩放模式的第一示例的说明图。
图16是示出平移缩放模式的第二示例的说明图。
图17是示出运动补偿模式信息和参数信息的说明图。
图18是示出作为预测矢量的候选的、相邻参数中包括的运动矢量的说明图。
图19是示出图像编码处理的说明性流程图。
图20是示出帧间预测处理模式设置处理的说明性流程图。
图21是示出合并模式编码处理的说明性流程图。
图22是示出AMVP模式编码处理的说明性流程图。
图23是示出图像解码装置的实施方式的配置示例的框图。
图24是示出图像解码处理的说明性流程图。
图25是示出运动补偿模式信息解码处理的说明性流程图。
图26是示出合并模式解码处理的说明性流程图。
图27是示出AMVP模式解码处理的说明性流程图。
图28是进一步示出平移旋转模式的运动补偿(通过运动补偿进行的帧间预测处理)的说明图。
图29是示出在旋转角θ为不能被视为小的大小的情况下基于垂直差dvy的运动补偿的说明图。
图30是示出用于基于垂直差dvy来抑制运动补偿中的参考块的收缩并且使得PU31的预测图像的精度得到提高的运动补偿的说明图。
图31是示出在采用基于水平差dvx的运动补偿作为平移旋转模式的运动补偿的情况下用于平移旋转模式的运动补偿的处理的示例的说明性流程图。
图32是示出运动补偿模式信息的另一示例的说明图。
图33是示出计算机的硬件配置示例的框图。
图34是示出电视装置的示意性配置的示例的框图。
图35是示出移动电话的示意性配置的示例的框图。
图36是示出记录/再现装置的示意性配置的示例的框图。
图37是示出成像装置的示意性配置的示例的框图。
图38是示出视频设备的示意性配置的一个示例的框图。
图39是示出视频处理器的示意性配置的一个示例的框图。
图40是示出视频处理器的示意性配置的另一示例的框图。
图41是示出网络系统的示意性配置的一个示例的框图。
具体实施方式
在下文中，将描述本公开内容的前提和用于实现本公开内容的具体实施方式(在下文中称为实施方式)。注意，将按以下顺序进行描述。
0.本公开内容的前提(图1至图10)
1.第一实施方式：图像处理装置(图11至图27)
2.第二实施方式：平移旋转模式的运动补偿(图28至图32)
3.第三实施方式：计算机(图33)
4.第四实施方式：电视装置(图34)
5.第五实施方式：移动电话(图35)
6.第六实施方式：记录/再现装置(图36)
7.第七实施方式：成像装置(图37)
8.第八实施方式：视频设备(图38至40)
9.第九实施方式：网络系统(图41)
<本公开内容的前提>
(对基于一个运动矢量来执行运动补偿的帧间预测处理的描述)
图1是示出基于一个运动矢量来执行运动补偿的帧间预测处理(下文中称为2参数MC预测处理)的说明图。
注意，在下文中，除非另有说明，否则图像(图片)的横向方向(水平方向)被称为x方向，纵向方向(垂直方向)被称为y方向。
如图1所示，在2参数MC预测处理中，针对预测目标PU 11(当前块)而决定一个运动矢量vc(vcx，vcy)。然后，通过基于运动矢量vc平移以下的在与包括PU 11的图片10处于不同时间的参考图像中的、与PU11具有相同尺寸且距PU 11的距离是运动矢量vc的块13而进行的运动补偿，生成PU 11的预测图像。
即，在2参数MC预测处理中，生成通过仅对参考图像的画面之间的平移进行补偿而不执行仿射变换而获得的预测图像。此外，在帧间预测处理中使用两个参数vcx和vcy。在高级视频编码(AVC)或高效视频编码(HEVC)等中采用帧间预测处理。
(基于一个运动矢量和旋转角度来执行运动补偿的帧间预测处理的说明)
图2是示出基于一个运动矢量和旋转角度来执行运动补偿的帧间预测处理的说明图。
如图2所示，在基于一个运动矢量和旋转角来执行运动补偿的帧间预测处理中，针对预测目标PU 11而决定一个运动矢量vc(vcx，vcy)和旋转角θ。然后，通过基于运动矢量vc和旋转角θ对与包括PU 11的图片10处于不同时间的参考图像中的、与PU 11具有相同的尺寸的块21执行仿射变换而进行的运动补偿来生成PU 11的预测图像，该PU 11处于距PU11的距离是运动矢量vc的位置处的旋转角θ的倾斜度。
即，在基于一个运动矢量和旋转角来执行运动补偿的帧间预测处理中，基于一个运动矢量和旋转角对参考图像执行仿射变换。因此，生成通过对画面之间的平移和旋转方向上的运动进行补偿而获得的预测图像。因此，预测图像的精度被提高到2参数MC预测处理中的精度以上。此外，在帧间预测处理中使用三个参数vcx、vcy和θ。
(基于两个运动矢量来执行运动补偿的帧间预测处理的说明)
图3是示出基于两个运动矢量来执行运动补偿的帧间预测处理的说明图(下文中称为4参数仿射MC预测处理)。
如图3所示，在4参数仿射MC预测处理中，决定预测目标PU 31的左上顶点A处的运动矢量v0(v0x，v0y)和预测目标PU 31的右上顶点B处的运动矢量v1(v1x，v1y)。
然后，通过基于运动矢量v0和运动矢量v1对下述的在与包括PU 31的图片处于不同时间的参考图像中的块32执行仿射变换来执行运动补偿，以生成PU 31的预测图像：在该块32中，距顶点A的距离是运动矢量v0的点A'被设置为左上顶点，并且距顶点B的距离是运动矢量v1的点B'被设置为右上顶点。
具体地，PU 31被划分成具有预定尺寸的块(下文中称为单元块(unit block))。然后，基于运动矢量v0(v0x，v0y)和运动矢量v1(v1x，v1y)，通过下面的表达式(1)来获得每个单元块的运动矢量v(vx，vy)。
[数学式.1]
注意，W是PU 31在x方向上的尺寸，并且H是PU 31在y方向上的尺寸。因此，在PU 31是正方形的情况下，W和H相等。此外，x和y是单元块在x方向和y方向上的位置。根据表达式(1)，基于单元块的位置(x，y)来决定单元块的运动矢量v。
然后，通过基于运动矢量v平移参考图像中的、与单元块具有相同尺寸且距每个单元块的距离是运动矢量v的块来生成每个单元块的预测图像，并且根据每个单元块的预测图像来生成PU 31的预测图像。
如上所述，在4参数仿射MC预测处理中，基于两个运动矢量对参考图像执行仿射变换。因此，生成通过不仅对画面之间的平移和旋转方向上的运动进行补偿而且还对诸如扩展或收缩的形状改变进行补偿而获得的预测图像。因此，预测图像的精度被提高到基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理中的精度以上。此外，在帧间预测处理中使用四个参数v0x、v0y、v1x和v1y。采用帧间预测处理作为联合探索模型(JEM)参考软件。
注意，基于两个运动矢量的仿射变换是基于以下前提的仿射变换：仿射变换之前和之后的块是矩形的。即使在仿射变换之前和之后的块是除矩形之外的四边形的情况下，也需要三个运动矢量来执行仿射变换。
(基于三个运动矢量来执行运动补偿的帧间预测处理的说明)
图4是示出基于三个运动矢量来执行运动补偿的帧间预测处理的说明图(下文中称为6参数仿射MC预测处理)。
如图4所示，在6参数仿射MC预测处理中，针对预测目标PU 31而不仅决定运动矢量v0(v0x，v0y)和运动矢量v1(v1x，v1y)，而且还决定左下顶点C的运动矢量v2(v2x，v2y)。
然后，通过基于运动矢量v0至运动矢量v2对下述的在与包括PU 31的图片处于不同时间的参考图像中的块42执行仿射变换来执行运动补偿，以生成PU 31的预测图像：在该块42中，距顶点A的距离是运动矢量v0的点A'被设置为左上顶点，距顶点B的距离是运动矢量v1的点B'被设置为右上顶点，并且距顶点C的距离是运动矢量v2的点C'被设置为左下顶点。
即，在6参数仿射MC预测处理中，基于三个运动矢量而对参考图像执行仿射变换。因此，块42如图5的A所示的那样平移，如图5的B所示的那样歪斜，如图5的C所示的那样旋转，或者如图5的D所示的那样被扩展或收缩(缩放)。
因此，生成通过对诸如画面之间的平移和旋转方向上的运动以及扩展或收缩和歪斜的形状改变进行补偿而获得的预测图像。注意，在图5中，仿射变换之前的块42由实线表示，而仿射变换之后的块42由虚线表示。
另一方面，在图3中描述的4参数仿射MC预测处理中，可以不补偿预测图像的歪斜，而是可以补偿诸如画面之间的平移和旋转方向上的运动以及扩展或收缩的形状改变。因此，在4参数仿射MC预测处理和6参数仿射MC预测处理中，预测图像的精度被提高到仅对画面之间的平移进行补偿的2参数MC预测处理中的精度以上。
然而，在4参数仿射MC预测处理中，在帧间预测处理中使用四个参数v0x、v0y、v1x和v1y。此外，在6参数仿射MC预测处理中，在帧间预测处理中使用六个参数v0x、v0y、v1x、v1y、v2x和v2y。因此，与2参数MC预测处理相比，帧间预测处理中使用的参数的数量增加得更多。因此，抑制开销与提高帧间预测处理的预测精度具有折衷关系。
注意，JVET已经提出了一种用于根据控制信号来在4参数仿射MC预测处理与6参数仿射MC预测处理之间进行切换的技术。
(QTBT的描述)
在诸如运动图像专家组2(MPEG2)(ISO/IEC 13818-2)或AVC的现有图像编码方案中，以称为宏块的处理单位来执行编码处理。宏块是尺寸等于16×16像素的块。另一方面，在HEVC中，以称为CU的处理单位(编码单位)来执行编码处理。CU是通过递归地对作为最大编码单位且具有可变尺寸的最大编码单位(LCU)进行划分而形成的块。CU的可选择的最大尺寸是64×64像素。CU的可选择的最小尺寸是8×8像素。具有最小尺寸的CU被称为最小编码单位(SCU)。注意，CU的最大尺寸不限于64×64像素，而是可以是更大的块尺寸，诸如128×128像素或256×256像素。
以这种方式，作为通过采用具有可变尺寸的CU而获得的结果，可以根据HEVC中的图像的内容来自适应地调整图像质量和编码效率。以称为PU的处理单位来执行用于预测编码的预测处理。通过以几种划分模式之一对CU进行划分来形成PU。此外，对于每个亮度(Y)和色差(Cb,Cr)，以称为预测块(PB)的处理单位来构成PU。此外，以称为变换单位(TU)的处理单位来执行正交变换处理。TU是通过以特定深度划分CU或PU而形成的。此外，对于每个亮度(Y)和色差(Cb,Cr)，以称为变换块(TB)的处理单位(变换块)来构成TU。
在下文中，“块”被用作图像(图片)的处理单位或部分区域以在一些情况(其不是处理单元的块)下进行描述。在这种情况下，“块”表示图片中的任何部分区域，并且块的尺寸、形状、特性等不受限制。即，在这种情况下，假设“块”例如包括任何部分区域(处理单位)，诸如TB、TU、PB、PU、SCU、CU、LCU(CTB))、子块、宏块、图块(title)或条带(slice)。
图6是示出在JVET中采用的四叉树加二叉树(QTBT)的说明图。
在HEVC中，可以将一个块在水平方向和垂直方向上划分成4(＝2×2)个子块。另一方面，在QTBT中，可以将一个块仅在水平方向或垂直方向中的一个方向上划分成2(＝1×2或2×1)个子块，而不是4(＝2×2)个子块。即，在QTBT中，在形成编码单位(CU)时，递归地重复将一个块划分成四个或两个子块，从而，因此形成具有四叉树形状或二叉树形状的树结构。因此，CU的形状可能是矩形而不是正方形。注意，假设PU和TU与下面的CU相同。
(对在每个PU中发生的运动的描述)
图7至图10是示出在图像中的每个PU中发生的运动的说明图。
在图7的示例中，在整个图像61中，相对于参考图像发生平移、缩放(扩展或收缩)以及旋转方向上的运动。在这种情况下，在图像61中的所有PU的帧间预测处理中，优选的是执行4参数仿射MC预测处理并且生成通过对画面之间的平移、缩放和旋转方向上的运动进行补偿而获得的预测图像。
另一方面，在图8的示例中，在整个图像62中，由于在拍摄时的摄像装置抖动等，在参考图像与整个图像62之间也发生平移和旋转方向上的运动。在这种情况下，在对于图像62中的所有PU的帧间预测处理中，除了画面之间的平移和旋转方向上的运动之外，不需要通过执行4参数仿射MC预测处理来对缩放进行补偿。
此外，在图9的示例中，在整个图像63中，由于在拍摄时的放大或缩小，在参考图像与图像63之间发生平移和缩放。在这种情况下，在对于图像63中的所有PU的帧间预测处理中，除了平移和缩放之外，不需要通过执行4参数仿射MC预测处理来对旋转方向上的运动进行补偿。
此外，在图10的示例中，图像64包括在参考图像与图像64之间发生平移和缩放的区域64A、发生平移和旋转方向上的运动的区域64B、发生平移、缩放和旋转方向上的运动的区域64C、以及仅发生平移的区域64D。
在这种情况下，优选的是在对于区域64C中的PU的帧间预测处理中执行4参数仿射MC预测处理。然而，在对于区域64A、区域64B和区域64D中的PU的帧间预测处理中，不需要执行4参数仿射MC预测处理并补偿画面之间的所有平移、旋转方向上的运动以及缩放。
如上所述，在对于没有发生平移、旋转方向上的运动或缩放的PU的帧间预测处理中，不需要执行4参数仿射MC预测处理并补偿画面之间的所有平移、旋转方向上的运动以及缩放。因此，当在对于所有PU的帧间预测处理中执行4参数仿射MC预测处理时，可能不必要地增加了开销(开销的编码量)并且编码效率可能降低。
因此，在本公开内容中，平移模式、执行2参数MC预测处理的平移旋转模式、平移缩放模式和执行4参数仿射MC预测处理的仿射变换模式被准备作为运动补偿模式，并且以适合于每个PU的帧间预测处理的运动补偿模式来执行运动补偿。注意，平移旋转模式是以下模式：基于指示旋转角的旋转角度信息和一个运动矢量vc(vcx，vcy)这三个参数来执行平移和旋转，以对平移和旋转方向上的运动进行补偿。平移缩放模式是以下模式：基于指示缩放比率的缩放信息和一个运动矢量vc(vcx，vcy)这三个参数来执行平移和缩放，以对平移和缩放进行补偿。
如上所述，在对于发生了平移和旋转方向上的运动的PU的帧间预测处理中，可以执行平移旋转模式下的运动补偿。在对于发生了平移和缩放的PU的帧间预测处理中，可以执行平移缩放模式下的运动补偿。因此，在对于PU的帧间预测处理中使用的参数的数量比在4参数仿射MC预测处理中的参数的数量少三个。因此，在对所有PU执行4参数仿射MC预测处理的情况下，减少了开销，从而提高了编码效率。
<第一实施方式>
(图像编码装置的配置示例)
图11是示出用作应用了本公开内容的图像处理装置的图像编码装置的实施方式的配置示例的框图。图11中的图像编码装置100是如在AVC或HEVC中那样对图像与其预测图像之间的预测残差进行编码的装置。例如，HEVC的技术或由JVET提出的技术被安装在图像编码装置100上。
注意，图11示出了诸如处理单元的流程和数据流等的主要配置，并且图11未示出整个配置。即，可以存在图像编码装置100中的在图11中未示出为块的处理单元或者在图11中未由箭头等指示的处理流程和数据流。
图11的图像编码装置100包括控制单元101、计算单元111、变换单元112、量化单元113、编码单元114、逆量化单元115、逆变换单元116、计算单元117、帧存储器118和预测单元119。图像编码装置100针对每个CU、对作为以帧为输入单位的运动图像的图片执行编码。
具体地，图像编码装置100的控制单元101(设置单元)基于来自外部的输入、率失真优化(RDO)等来设置编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。
头信息Hinfo例如包括关于视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、条带头(SH)等的信息。例如，头信息Hinfo包括用于定义图像尺寸(水平宽度PicWidth和垂直宽度PicHeight)、比特深度(亮度bitDepthY和色差bitDepthC)、CU尺寸的最大值MaxCUSize/最小值MinCUSize的信息。当然，可以使用头信息Hinfo的任何内容，并且除了上述信息之外的任何种类的信息可以包括在头信息Hinfo中。
预测信息Pinfo例如包括指示当形成PU(CU)时在每个划分层级中是否存在水平方向或垂直方向上的划分的划分标志。此外，预测信息Pinfo包括模式信息pred_mode_flag，其指示PU的预测处理是对于每个PU的帧内预测处理还是帧间预测处理。
在模式信息pred_mode_flag指示帧间预测处理的情况下，预测信息Pinfo包括合并标志、运动补偿模式信息、参数信息、用于指定参考图像的参考图像指定信息等。合并标志是指示帧间预测处理的模式是合并模式还是AMVP模式的信息。合并模式是基于从如下候选中选择的预测参数来执行帧间预测处理的模式，该候选包括基于在对作为与处理目标PU相邻的编码PU的相邻PU的运动补偿中使用的参数(运动矢量、旋转角度信息和缩放信息)而生成的参数(下文中称为相邻参数)。AMVP模式是基于处理目标PU的参数来执行帧间预测处理的模式。合并标志在合并标志指示合并模式的情况下为1，而在合并标志指示AMVP模式的情况下为0。
运动补偿模式信息是指示运动补偿模式是否是平移模式、仿射变换模式、平移旋转模式或平移缩放模式的信息。
在合并标志为1的情况下，参数信息是用于在包括相邻参数的候选中将在帧间预测处理中使用的参数指定为预测参数(预测矢量、预测旋转角度信息和预测缩放信息)的信息。此外，在合并标志为0的情况下，参数信息是用于指定预测参数以及处理目标PU的参数与预测参数之间的差的信息。
在模式信息pred_mode_flag指示帧内预测处理的情况下，预测信息Pinfo包括帧内预测模式信息等，该帧内预测模式信息指示作为帧内预测处理的模式的帧内预测模式。当然，预测信息Pinfo的内容是任意的，并且可以将除了上述信息之外的任何信息包括在预测信息Pinfo中。
变换信息Tinfo包括指示TB的尺寸的TBSize等。当然，变换信息Tinfo的内容是任意的，并且可以将除了上述信息之外的任何信息包括在变换信息Tinfo中。
计算单元111按顺序将输入图片设置为编码目标图片，并且基于预测信息Pinfo的划分标志而在编码目标图片中设置编码目标CU(PU或TU)。计算单元111通过从编码目标PU的图像I(当前块)中减去从预测单元119提供的PU的预测图像P(预测块)来获得预测残差D，并且将预测残差D提供给变换单元112。
变换单元112基于从控制单元101提供的变换信息Tinfo来对从计算单元111提供的预测残差D执行正交变换等，以得到变换系数Coeff。变换单元112将变换系数Coeff提供给量化单元113。
量化单元113基于从控制单元101提供的变换信息Tinfo来缩放(量化)从变换单元112提供的变换系数Coeff，以得到量化变换系数水平level。量化单元113将量化变换系数水平level提供给编码单元114和逆量化单元115。
编码单元114根据预定方法对从量化单元113提供的量化变换系数水平level等进行编码。例如，编码单元114根据语法表的定义来将从控制单元101提供的编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和从量化单元113提供的量化变换系数水平level变换成各语法要素(syntax component)的语法值。然后，编码单元114对每个语法值进行编码(例如，诸如基于上下文的自适应二进制算术编码(CABAC)的算术编码)。
此时，编码单元114基于相邻PU的运动补偿模式信息来切换CABAC的概率模型的上下文以设置CABAC的概率模型，使得相邻PU的运动补偿模式信息的概率增大，并且对PU的运动补偿模式信息进行编码。
即，如图10所示，预测在图像64中收集并存在以下区域：在参考图像与图像64之间发生平移和缩放的区域64A；发生平移和旋转方向上的运动的区域64B；发生平移、缩放和旋转方向上的运动的区域64C；以及仅发生平移的区域64D。因此，某个PU和相邻的PU的运动补偿模式信息相同的可能性高。
例如，在区域64A中存在某个PU的相邻PU并且平移缩放模式被选择作为运动补偿模式的情况下，该PU也存在于区域64A中且平移缩放模式被选择作为运动补偿模式的可能性高。此外，在某个PU的相邻PU存在于区域64B中并且平移旋转模式被选择作为运动补偿模式的情况下，该PU也存在于区域64B中且旋转缩放模式被选择作为运动补偿模式的可能性高。
此外，在区域64C中存在某个PU的相邻PU并且仿射变换模式被选择作为运动补偿模式的情况下，该PU也存在于区域64C中且仿射变换模式被选择作为运动补偿模式的可能性高。此外，在某个PU的相邻PU存在于区域64D中并且平移模式被选择作为运动补偿模式的情况下，该PU也存在于区域64D中且平移模式被选择作为运动补偿模式的可能性高。
因此，编码单元114设置CABAC的概率模型，使得相邻PU的运动补偿模式信息的概率增大，并且对PU的运动补偿模式信息进行编码。因此，能够减少开销，从而提高编码效率。
注意，在相邻PU的数量是多个的情况下，编码单元114可以针对每条运动补偿模式信息而基于相邻PU的数量设置CABAC的概率模型。此外，编码单元114可以基于运动补偿模式信息来切换向运动补偿模式信息分配的符号(比特串)，而不是切换CABAC的概率模型的上下文。
例如，编码单元114对作为随着编码而获得的每个语法要素的比特串的编码数据进行复用，并且将所复用的编码数据作为编码流输出。
逆量化单元115基于从控制单元101提供的变换信息Tinfo，对从量化单元113提供的量化变换系数水平level的值进行缩放(执行逆量化)，以得到逆变换之后的变换系数Coeff_IQ。逆量化单元115将变换系数Coeff_IQ提供给逆变换单元116。由逆量化单元115执行的逆量化是对由量化单元113执行的量化的逆处理，并且是与在下面将描述的图像解码装置中执行的逆量化类似的处理。
逆变换单元116基于从控制单元101提供的变换信息Tinfo，对从逆量化单元115提供的变换系数Coeff_IQ执行逆正交变换等，以得到预测残差D'。逆变换单元116将预测残差D'提供给计算单元117。由逆变换单元116执行的逆正交变换是由变换单元112执行的正交变换的逆处理，并且是与在下面描述的图像解码装置中执行的逆正交变换相似的处理。
计算单元117将从逆变换单元116提供的预测残差D'和从预测单元119提供的与预测残差D'对应的预测图像P相加，以得到局部解码图像Rec。计算单元117将局部解码图像Rec提供给帧存储器118。
帧存储器118使用从计算单元117提供的局部解码图像Rec来以图片为单位对解码图像进行重构，并且将解码图像存储在帧存储器118中的缓冲器中。帧存储器118从缓冲器读取由预测单元119指定的解码图像作为参考图像，并且将解码图像提供给预测单元119。此外，帧存储器118可以将与解码图像的生成有关的头信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器118中的缓冲器中。
在预测信息Pinfo的模式信息pred_mode_flag指示帧内预测处理的情况下，预测单元119获取存储在帧存储器118中的、与编码目标CU处于相同时间的解码图像作为参考图像。然后，预测单元119使用参考图像来对编码目标PU执行由帧内预测模式信息指示的帧内预测模式的帧内预测处理。
此外，在模式信息pred_mode_flag指示帧间预测处理的情况下，预测单元119基于参考图像指定信息来获取存储在帧存储器118中的、与编码目标CU处于不同时间的解码图像作为参考图像。预测单元119基于合并标志、运动补偿模式信息和参数信息，使用参考图像来执行编码目标PU的帧间预测处理。
具体地，在运动补偿模式信息指示平移模式的情况下，预测单元119通过基于一个运动矢量对参考图像的平移进行补偿来执行平移模式的帧间预测处理。注意，在合并标志为1的情况下，在帧间预测处理中使用的一个运动矢量是由参数信息指定的一个预测矢量。相反地，在合并标志为0的情况下，在帧间预测处理中使用的一个运动矢量是通过将参数信息中包括的差与由参数信息指定的一个预测矢量相加而获得的一个运动矢量。
此外，在运动补偿模式信息指示仿射变换模式的情况下，预测单元119通过基于参考图像上的两个运动矢量执行仿射变换来执行仿射变换模式的帧间预测处理，以对平移、缩放和旋转方向上的运动进行补偿。注意，在合并标志为1的情况下，在帧间预测处理中使用的两个运动矢量是由参数信息指定的两个预测矢量。相反地，在合并标志为0的情况下，在帧间预测处理中使用的两个运动矢量是可以通过将由参数信息指定的两个预测矢量和与预测矢量对应地包括在参数信息中的差分相加而获得的两个运动矢量。
此外，在运动补偿模式信息指示平移旋转模式的情况下，预测单元119通过基于一个运动矢量和旋转角度信息而对参考图像补偿平移和旋转方向上的运动来执行平移旋转模式的帧间预测处理。注意，在合并标志为1的情况下，在帧间预测处理中使用的一个运动矢量和旋转角度信息是由参数信息指定的预测矢量和预测旋转角度信息。相反地，在合并标志为0的情况下，在帧间预测处理中使用的一个运动矢量是通过将由参数信息指定的一个预测矢量与参数信息中包括的差相加而获得的一个运动矢量。此外，旋转角度信息是通过将由参数信息指定的预测旋转角度信息和参数信息中包括的差相加而获得的一条旋转角度信息。
在运动补偿模式信息指示平移缩放模式的情况下，预测单元119通过基于一个运动矢量和缩放信息而对参考图像补偿平移和缩放来执行平移缩放模式的帧间预测处理。注意，在合并标志为1的情况下，在帧间预测处理中使用的一个运动矢量和缩放信息是由参数信息指定的预测矢量和预测缩放信息。相反地，在合并标志为0的情况下，在帧间预测处理中使用的一个运动矢量是通过将由参数信息指定的一个预测矢量与参数信息中包括的差相加而获得的一个运动矢量。此外，缩放信息是通过将由参数信息指定的预测缩放信息与参数信息中包括的差相加而获得的一条缩放信息。
预测单元119将作为帧内预测处理或帧间预测处理的结果而生成的预测图像P提供给计算单元111或计算单元117。
(平移模式的描述)
图12是示出平移模式的说明图。
如图12所示，在运动补偿模式是平移模式的情况下，预测单元119基于处理目标PU31的左上顶点A的运动矢量v0来对与PU 31具有相同尺寸且将参考图像中的、距PU 31的距离是运动矢量v0的点A'作为左上顶点的块133进行平移。然后，预测单元119将平移之后的块133设置为PU 31的预测图像。在这种情况下，帧间预测处理中使用的参数是两个参数v0x和v0y。
(平移旋转模式的描述)
图13是示出平移旋转模式的说明图。
如图13所示，在运动补偿模式是平移旋转模式的情况下，预测单元119基于处理目标PU 31的顶点A的运动矢量v0和用作旋转角度信息的旋转角θ来将参考图像中的、距PU 31的距离是运动矢量v0的点A'设置为左上顶点，并且对与PU 31具有相同尺寸且旋转了旋转角θ的块134进行平移和旋转。然后，预测单元119将平移和旋转之后的块134设置为PU31的预测图像。在这种情况下，在帧间预测处理中使用三个参数v0x、v0y和θ。
注意，在图13的示例中，旋转角θ被用作旋转角度信息。然而，如图14所示，可以使用顶点A的运动矢量v0与顶点B的运动矢量v1在垂直方向上的差dvy。即，在θ小的情况下，Wsinθ可以近似为差dvy。因此，可以用差dvy替代旋转角θ。在这种情况下，不需要计算运动补偿时的三角函数，并且减少运动补偿时的计算量。
(平移缩放模式的描述)
图15是示出平移缩放模式的说明图。
如图15所示，在运动补偿模式是平移缩放模式的情况下，预测单元119基于处理目标PU 31的顶点A的运动矢量v0和用作缩放信息的缩放比率S，将尺寸为PU 31的尺寸的S倍且以参考图像中的、距PU 31的距离是运动矢量v0的点A'作为左上顶点的块135平移并缩放1/s倍。然后，预测单元119将平移和缩放之后的块135设置为PU 31的预测图像。在这种情况下，在帧间预测处理中使用三个参数v0x、v0y和S。
注意，当PU 31的尺寸W是S1并且块135在x方向上的尺寸是S2时，缩放比率S被表示为S2/S1。由于尺寸S1是已知的，因此可以使用缩放比率S来根据尺寸S1获得尺寸S2。
在图15的示例中，缩放比率S用作缩放信息。然而，如图16所示，可以使用顶点A的运动矢量v0与顶点B的运动矢量v1在水平方向上的差dvx。即，尺寸S2可以近似为S1+dvx。在这种情况下，可以仅通过将尺寸S1与差dvx相加来获得块135在水平方向上的尺寸S，因此，可以减小运动补偿时的计算量。此外，缩放比率S为(S1+dvx)/S1。
(运动补偿模式信息和参数信息的描述)
图17是示出运动补偿模式信息和参数信息的说明图。
如图17所示，运动补偿模式信息包括affine_flag、affine3parameter_flag和rotate_scale_idx。
此处，affine_flag(仿射变换信息)是指示运动补偿模式是否是除正常平移模式之外的仿射变换模式、平移缩放模式或平移旋转模式的信息。在运动补偿模式是仿射变换模式、平移旋转模式或平移缩放模式的情况下，affine_flag为1。相反地，在运动补偿模式不是仿射变换模式、平移旋转模式和平移缩放模式(即，运动补偿模式是平移模式)的情况下，affine_flag为0。
此外，affine3parameter_flag(平移扩展信息)是指示运动补偿模式是平移缩放模式或平移旋转模式的信息并且在affine_flag为1的情况下被设置。在运动补偿模式是平移缩放模式或平移旋转模式的情况下，affine3parameter_flag为1。相反地，在运动补偿模式不是平移缩放模式和平移旋转模式(即，指示运动补偿模式是仿射变换模式)的情况下，affine3parameter_flag为0。
此外，rotate_scale_idx(平移旋转信息)是指示运动补偿模式是否是平移旋转模式的信息，并且在affine3parameter_flag为1的情况下被设置。在运动补偿模式是平移旋转模式的情况下，rotate_scale_idx为1。在运动补偿模式不是平移旋转模式(即，运动补偿模式是平移-缩放模式)的情况下，rotate_scale_idx为0。
因此，在运动补偿模式是平移模式的情况下，运动补偿模式信息包括affine_flag并且affine_flag为0。此外，在运动补偿模式是仿射变换模式的情况下，运动补偿模式信息包括affine_flag和affine3parameter_flag，affine_flag为1并且affine3parameter_flag为0。
此外，在运动补偿模式是平移缩放模式或平移旋转模式的情况下，运动补偿模式信息包括affine_flag、affine3parameter_flag和rotate_scale_idx。此外，在运动补偿模式是平移缩放模式的情况下，affine_flag和affine3parameter_flag为1并且rotate_scale_idx为0。此外，在运动补偿模式是平移旋转模式的情况下，affine_flag、affine3parameter_flag和rotate_scale_idx为1。
此外，在帧间预测处理的模式是AMVP模式的情况下，用于指定与处理目标PU的一个运动矢量对应的预测矢量的信息被设置为参数信息的refidx0，并且当运动补偿模式是平移模式时，该一个运动矢量与预测矢量之间的差被设置为参数信息的mvd0。
当运动补偿模式是仿射变换模式时，如在平移模式中那样设置参数信息的refidx0和mvd0。此外，用于指定与处理目标PU的另一运动矢量对应的预测矢量的信息被设置为参数信息的refidx1，并且该运动矢量与预测矢量之间的差被设置为参数信息的mvd1。
当运动补偿模式是平移缩放模式时，如在平移模式中那样设置参数信息的refidx0和mvd0。此外，用于指定与处理目标PU的缩放信息对应的预测缩放信息的信息被设置为参数信息的refidx1，并且缩放信息与预测缩放信息之间的差被设置为参数信息的ds。
因此，在缩放信息指示缩放比率S的情况下，ds是处理目标PU的缩放比率S与用作预测缩放信息的缩放比率S之间的差dS。另一方面，在缩放信息指示差dvx的情况下，ds是处理目标PU的差dvx与用作预测缩放信息的差dvx之间的差mvd1.x。
当运动补偿模式是平移旋转模式时，如在平移模式中那样设置参数信息的refidx0和mvd0。此外，用于指定与处理目标PU的角度信息对应的预测角度信息的信息被设置为refidx1，并且角度信息与预测角度信息之间的差被设置为dr。
因此，在角度信息指示旋转角θ的情况下，dr是处理目标PU的旋转角θ与用作预测角度信息的旋转角θ'之间的差dθ。另一方面，在角度信息指示差dvy的情况下，dr是处理目标PU的差dvy与用作预测角度信息的差dvy之间的差mvd1.y。注意，在帧间预测处理的模式是合并模式的情况下，不设置mvd0、mvd1、ds、dr、refidx0和refidx1。
(预测矢量的候选的描述)
图18是示出作为预测矢量的候选的、相邻参数中包括的运动矢量(下文中称为相邻矢量)的说明图。
预测单元119基于作为PU 151的以顶点A作为顶点的左上编码PU的块a、作为顶部编码PU的块b或作为左侧编码PU的块c的运动矢量，生成作为图18中的预测目标PU 151的左上顶点A的运动矢量v0的预测矢量pv0的候选的相邻矢量。
此外，预测单元119基于作为PU 151的以顶点B作为顶点的顶部编码PU的块d或作为右上编码PU的块e的运动矢量来生成相邻矢量，该相邻矢量是PU 151的右上顶点B的运动矢量v1的预测矢量pv1的候选。注意，块a至e的运动矢量是预测单元119中保持的、各块的一个运动矢量。
如上所述，生成作为预测矢量pv0和pv1的候选的相邻矢量所使用的运动矢量的组合候选是6(＝3×2)个。预测单元119选择6个组合候选之中的、通过下面的表达式(2)而获得的DV最小的组合作为生成作为预测矢量pv0和pv1的候选的相邻矢量所使用的运动矢量的组合。
[数学式.2]
DV＝|(V1x'-V0x')H-(V2y’-V0y')W|+|(V1y'-V0y')H-(V2x'-V0x')W|…(2)
注意，v0x'和v0y'是用于生成预测矢量pv0的块a至c中的一个块在x方向和y方向上的运动矢量。此外，v1x'和v1y'是用于生成预测矢量pv1的块d和e中的一个块在x方向和y方向上的运动矢量。此外，v2x'和v2y'是作为PUI 151的以PU 151的顶点C作为顶点的左侧编码PU的块f和作为左下编码PU的块g中的一个块在x方向和y方向上的运动矢量。块f和g的运动矢量是预测单元119中保持的、各块的一个运动矢量。
根据表达式(2)，在除了在基于两个运动矢量的仿射变换中是不可能的歪斜之外、通过基于运动矢量v0'(v0x'，v0y')至v2'(v2x'，v2y')的仿射变换来进行形状改变的情况下，DV减小。
(图像处理装置的处理的描述)
图19是示出图11中的图像编码装置100的图像编码处理的说明性流程图。
在图19的步骤S11中，控制单元101基于来自外部的RDO、输入等来设置编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。控制单元101将所设置的编码参数提供给各块。
在步骤S12中，预测单元119确定预测信息Pinfo的模式信息pred_mode_flag是否指示帧间预测处理。在预测单元119在步骤S12中确定预测信息Pinfo的模式信息pred_mode_flag指示帧间预测处理的情况下，预测单元119在步骤S13中确定预测信息Pinfo的合并标志是否为1。
在预测单元119在步骤S13中确定合并标志为1的情况下，预测单元119在步骤S14中执行使用通过合并模式的帧间预测处理而生成的预测图像P来对编码目标图像进行编码的合并模式编码处理。将参照下面将描述的图21来描述合并模式编码处理的细节。在合并模式编码处理结束之后，图像编码处理结束。
另一方面，在预测单元119在步骤S13中确定合并标志不为1的情况下，预测单元119在步骤S15中执行使用通过AMVP模式的帧间预测处理而生成的预测图像P来对编码目标图像进行编码的AMVP模式编码处理。将参照下面将描述的图22来描述AMVP模式编码处理的细节。在AMVP模式编码处理结束之后，图像编码处理结束。
相反地，在步骤S12中确定预测信息Pinfo的模式信息pred_mode_flag没有指示帧间预测处理的情况下，即，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行至步骤S16。
在步骤S16中，预测单元119执行使用通过帧内预测处理而生成的预测图像P来对编码目标图像I进行编码的帧内编码处理。然后，图像编码处理结束。
图20是示出在图19的步骤S11的处理中设置合并标志和运动补偿模式信息的帧间预测处理模式设置处理的说明性流程图。例如以PU(CU)为单位执行帧间预测处理模式设置处理。
在图20的步骤S41中，控制单元101在步骤S41中将尚未被设置为运动补偿模式的平移模式、仿射变换模式、平移缩放模式或平移旋转模式设置为运动补偿模式。
具体地，在平移模式尚未被设置为运动补偿模式的情况下，控制单元101将affine_flag设置为0。在仿射变换模式尚未被设置为运动补偿模式的情况下，控制单元101将affine_flag设置为1并将affine3parameter_flag设置为0。在平移缩放模式尚未被设置为运动补偿模式的情况下，控制单元101将affine_flag和affine3parameter_flag设置为1并且将rotate_scale_idx设置为0。在平移旋转模式尚未被设置为运动补偿模式的情况下，控制单元101将affine_flag、affine3parameter_flag设置为1，并且将rotate_scale_idx设置为1。
在步骤S42中，控制单元101控制各块以针对除了作为候选的合并标志和运动补偿模式信息之外的每条预测信息Pinfo而对处理目标PU(CU)执行合并模式编码处理，并且计算RD成本。注意，RD成本的计算是基于作为编码结果而获得的发生比特量(编码量)、编码图像的误差平方和(SSE)等来执行的。
在步骤S43中，控制单元101控制各块以针对除了作为候选的合并标志和运动补偿模式之外的每条预测信息Pinfo而对处理目标PU(CU)执行AMVP模式编码处理，并且计算RD成本。
在步骤S44中，控制单元101确定平移模式、仿射变换模式、平移缩放模式和平移旋转模式是否在步骤S41中都被设置为运动补偿模式。
在步骤S44中确定平移模式、仿射变换模式、平移缩放模式和平移旋转模式尚未全部被设置为运动补偿模式的情况下，处理返回到步骤S41并且执行步骤S41至S44的处理，直到所有模式都被设置为运动补偿模式为止。
相反地，在步骤S44中确定平移模式、仿射变换模式、平移缩放模式和平移旋转模式都被设置为运动补偿模式的情况下，处理进行至步骤S45。
在步骤S45中，控制单元101确定通过合并模式编码处理而获得的RD成本JMRG、JMRGAFFINE、JMRGSCALE或JMRGROTATE在步骤S42和S43中计算出的RD成本之中是否为最小。RD成本JMRG、JMRGAFFINE、JMRGSCALE或JMRGROTATE是在运动补偿模式分别为平移模式、仿射变换模式、平移缩放模式和平移旋转模式的情况下通过合并模式编码处理而获得的RD成本。
在控制单元101在步骤S45中确定RD成本JMRG、JMRGAFFINE、JMRGSCALE或JMRGROTATE最小的情况下，控制单元101在步骤S46中将处理目标PU的合并标志设置为1，然后处理进行至步骤S48。
相反地，在控制单元101在步骤S45中确定RD成本JMRG、JMRGAFFINE、JMRGSCALE或JMRGROTATE不是最小的情况下，控制单元101在步骤S47中将处理目标PU的合并标志设置为0，然后，处理进行至步骤S48。
在步骤S48中，控制单元101确定在运动补偿模式是平移模式的情况下通过AMVP模式编码处理而获得的RD成本JMRG或RD成本JAMVP在步骤S42和S43中计算出的RD成本之中是否为最小。
在控制单元101在步骤S48中确定RD成本JMRG或RD成本JAMVP为最小的情况下，控制单元101在步骤S49中将处理目标PU的affine_flag设置为0，然后帧间预测处理模式设置处理结束。
相反地，在步骤S48中确定RD成本JMRG或RD成本JAMVP不最小的情况下，处理进行至步骤S50。在步骤S50中，控制单元101将处理目标PU的affine_flag设置为1。
在步骤S51中，控制单元101确定在运动补偿模式是仿射变换模式的情况下通过AMVP模式编码处理而获得的RD成本JMRGAFFINE或RD成本JAMVPAFFINE在步骤S42和S43中计算出的RD成本之中是否为最小。
在步骤S51中确定RD成本JMRGAFFINE或RD成本JAMVPAFFINE最小的情况下，处理进行至步骤S52。在步骤S52中，控制单元101将处理目标PU的affine3parameter_flag设置为0，然后帧间预测处理模式设置处理结束。
相反地，在步骤S51中确定RD成本JMRGAFFINE或RD成本JAMVPAFFINE不是最小的情况下，处理进行至步骤S53。在步骤S53中，控制单元101确定RD成本JMRGSCALE或RD成本JAMVPSCALE在步骤S42和S43中计算出的RD成本之中是否为最小。
在步骤S53中确定RD成本JMRGSCALE或RD成本JAMVPSCALE最小的情况下，处理进行至步骤S54。在步骤S54中，控制单元101将处理目标PU的affine3parameter_flag设置为1并将rotate_scale_idx设置为0。然后，帧间预测处理模式设置处理结束。
相反地，在步骤S53中确定RD成本JMRGSCALE或RD成本JAMVPSCALE不是最小的情况下，即，在RD成本JMRGROTATE或RD成本JAMVPROTATE最小的情况下，处理进行至步骤S55。在步骤S55中，控制单元101将处理目标PU的affine3parameter_flag和rotate_scale_idx设置为1。然后，帧间预测处理模式设置处理结束。
注意，在图20的帧间预测处理模式设置处理中，在步骤S41中将平移模式、仿射变换模式、平移缩放模式和平移旋转模式都设置为运动补偿模式，但是可以基于相邻PU的运动补偿模式来限制在步骤S41中设置的运动补偿模式。
即，如图10所示，假设在图像64中收集了发生平移和缩放的PU的区域64A、发生平移和旋转方向上的运动的PU的区域64B、发生平移、缩放和旋转方向上的运动的PU的区域64C、以及仅发生平移的PU的区域64D。因此，预测目标PU和相邻PU的运动补偿模式相同的可能性高。相应地，例如，在相邻PU的运动补偿模式是平移缩放模式的情况下，预测单元119可以在步骤S41中仅设置平移模式和平移缩放模式。因此，与在图20的帧间预测处理模式设置处理中相比，可以进一步减少图像编码处理的计算量。
图21是示出合并模式编码处理的说明性流程图。以例如CU(PU)为单位执行合并模式编码处理。
在图21的步骤S101中，预测单元119确定affine_flag是否为1。在步骤S101中确定affine_flag不为1的情况下，即，在affine_flag为0的情况下，处理进行至步骤S102。
在步骤S102中，预测单元119基于参数信息来决定预测矢量pv0。具体地，在参数信息是用于将相邻矢量指定为预测矢量的信息的情况下，预测单元119基于保持的块a至g的运动矢量来将根据块a至c中的DV最小的一个块的运动矢量生成的相邻矢量决定作为预测矢量pv0。
在步骤S103中，预测单元119使用在步骤S102中决定的预测矢量pv0作为处理目标PU的运动矢量v0来以平移模式对由帧存储器118中存储的参考图像指定信息指定的参考图像执行运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S113。
相反地，在步骤S101中确定affine_flag为1的情况下，处理进行至步骤S104。
在步骤S104中，预测单元119确定affine3parameter_flag是否为1。在步骤S104中确定affine3parameter_flag不为1的情况下，即，在affine3parameter_flag为0的情况下，处理进行至步骤S105。
在步骤S105中，预测单元119基于参数信息来决定预测矢量pv0和预测矢量pv1这二者。
具体地，在参数信息是用于将相邻矢量指定为预测矢量的信息的情况下，预测单元119基于保持的块a至g的运动矢量来选择DV最小的、块d和e中一个块和块a至c中的一个块的运动矢量的组合。然后，预测单元119将使用所选择的块a至c中的一个块的运动矢量来生成的相邻矢量决定为预测矢量pv0。此外，预测单元119将使用所选择的块d或e的运动矢量来生成的相邻矢量决定作为预测矢量pv1。
在步骤S106中，预测单元119使用在步骤S105中决定的预测矢量作为处理目标PU的运动矢量v0和v1来通过上述表达式(1)计算每个单元块的运动矢量v。
在步骤S107中，预测单元119通过针对每个单元块、基于运动矢量v平移由参考图像指定信息指定的参考图像的块，以仿射变换模式对参考图像执行运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S113。
相反地，在步骤S104中确定affine3parameter_flag为1的情况下，处理进行至步骤S108。在步骤S108中，预测单元119确定rotate_scale_idx是否为1。
在步骤S108中确定rotate_scale_idx为1的情况下，处理进行至步骤S109。
在步骤S109中，预测单元119如在步骤S102的处理中那样基于参数信息决定一个预测矢量pv0，并且决定预测角度信息。
在步骤S110中，使用处理目标PU的运动矢量v0和角度信息来以平移旋转模式对参考图像执行在步骤S109中决定的预测矢量和预测角度信息的运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S113。
相反地，在步骤S108中确定rotate_scale_idx不为1的情况下，即，在rotate_scale_idx为0的情况下，处理进行至步骤S111。
在步骤S111中，预测单元119如在步骤S102的处理中那样基于参数信息决定一个预测矢量pv0，并且决定预测缩放信息。
在步骤S112中，使用处理目标PU的运动矢量v0和缩放信息来以平移缩放模式对参考图像执行在步骤S111中决定的预测矢量和预测缩放信息的运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S113。
在步骤S113中，计算单元111计算图像I与预测图像P之间的差分作为预测残差D，并且将预测残差D提供给变换单元112。与原始图像I的数据量相比，以这种方式获得的预测残差D的数据量进一步减少。因此，与在对图像I进行编码而不进行改变的情况下相比，可以进一步压缩数据量。
在步骤S114中，变换单元112基于从控制单元101提供的变换信息Tinfo来对从计算单元111提供的预测残差D执行正交变换等，以得到变换系数Coeff。变换单元112将变换系数Coeff提供给量化单元113。
在步骤S115中，量化单元113基于从控制单元101提供的变换信息Tinfo来对从变换单元112提供的变换系数Coeff进行缩放(量化)，以得到量化变换系数水平level。量化单元113将量化变换系数水平level提供给编码单元114和逆量化单元115。
在步骤S116中，逆量化单元115基于从控制单元101提供的变换信息Tinfo、根据与步骤S115的量化的特性对应的特性来对从量化单元113提供的量化变换系数水平level执行逆量化。逆量化单元115将作为结果所获得的变换系数Coeff_IQ提供给逆变换单元116。
在步骤S117中，逆变换单元116基于从控制单元101提供的变换信息Tinfo、根据与步骤S114的正交变换等对应的方法来对从逆量化单元115提供的变换系数Coeff_IQ执行逆正交变换等，以得到预测残差D'。
在步骤S118中，计算单元117通过将通过步骤S117的处理而得到的预测残差D'与从预测单元119提供的预测图像P相加来生成局部解码图像Rec。
在步骤S119中，帧存储器118使用通过步骤S118的处理而获得的局部解码图像Rec来以图片为单位重构解码图像，并将解码图像存储在帧存储器118中的缓冲器中。
在步骤S120中，编码单元114根据预定方法对通过图19的步骤S11的处理而设置的编码参数和通过步骤S115的处理而获得的量化变换系数水平level进行编码。编码单元114对作为结果而获得的编码数据进行复用，并且将经复用的编码数据作为编码流输出至图像编码装置100的外部。例如，编码流经由传输路径或记录介质被传送至解码侧。
当步骤S120的处理结束时，合并模式编码处理结束。
图22是示出AMVP模式编码处理的说明性流程图。以例如CU(PU)为单位执行AMVP模式编码处理。
由于图22的步骤S131和S132与图21的步骤S101和S102的处理类似，因此将省略其描述。
在步骤S132的处理之后，处理进行至步骤S133。在步骤S133中，预测单元119将在步骤S132中决定的一个预测矢量pv0和参数信息中的预测矢量pv0与处理目标PU的运动矢量v0之间的差dv0相加，以计算处理目标PU的运动矢量v0。
在步骤S134中，预测单元119使用在步骤S133中计算出的运动矢量v0来以平移模式对由帧存储器118中存储的参考图像指定信息指定的参考图像执行运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S147。
相反地，在步骤S131中确定affine_flag为1的情况下，处理进行至步骤S135。由于步骤S135和S136的处理类似于图21的步骤S104和S105的处理，因此将省略其描述。
在步骤S136的处理之后，处理进行至步骤S137。在步骤S137中，预测单元119将在步骤S136中决定的两个预测矢量中的每一个与对应于预测矢量的参数信息中的差相加，以计算处理目标PU的两个运动矢量。
具体地，预测单元119将预测矢量pv0和参数信息中的预测矢量pv0与处理目标PU的运动矢量v0之间的差dv0相加，以计算处理目标PU的运动矢量v0。此外，预测单元119将预测矢量pv1和参数信息中的预测矢量pv1与处理目标PU的运动矢量v1之间的差dv1相加，以计算处理目标PU的运动矢量v1。
在步骤S138中，预测单元119使用在步骤S137中计算出的两个运动矢量v0和v1、通过上述表达式(1)来计算每个单元块的运动矢量v。然后，处理进行至步骤S139。
相反地，在步骤S135中确定affine3parameter_flag为1的情况下，处理进行至步骤S140。由于步骤S139至S141的处理与图21的步骤S107至S109的处理类似，因此将省略对其的描述。
在步骤S141的处理之后，处理进行至步骤S142。在步骤S142中，预测单元119如在步骤S133的处理中那样计算一个运动矢量v0。此外，预测单元119通过将在步骤S141中决定的预测角度信息和参数信息中的预测角度信息与处理目标PU的角度信息之间的差相加来计算处理目标PU的角度信息。
在步骤S143中，预测单元119使用角度信息和在步骤S142中计算出的一个运动矢量、以平移旋转模式对参考图像执行运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S147。
相反地，在步骤S140中确定rotate_scale_idx不为1的情况下，即，在rotate_scale_idx为0的情况下，处理进行至步骤S144。
在步骤S144中，预测单元119如在步骤S111的处理中那样决定一个预测矢量和预测缩放信息。
在步骤S145中，预测单元119如在步骤S133的处理中那样计算一个运动矢量v0。此外，预测单元119通过将在步骤S144中决定的预测缩放信息和参数信息中的预测缩放信息与处理目标PU的缩放信息之间的差相加来计算处理目标PU的缩放信息。
在步骤S146中，预测单元119使用缩放信息和在步骤S145中决定的运动矢量v0来以平移缩放模式对参考图像执行运动补偿。预测单元119将经受运动补偿的参考图像作为预测图像P提供给计算单元111或计算单元117。然后，处理进行至步骤S147。
由于步骤S147至S154与图21的步骤S113至S120的处理类似，因此将省略对其的描述。
如上所述，图像编码装置100选择平移模式、仿射变换模式、平移旋转模式和平移缩放模式之一作为运动补偿模式，并且以所选择的运动补偿模式执行运动补偿。
因此，与通常以仿射变换模式执行运动补偿的情况相比，可以减少在对没有发生平移、旋转方向上的运动或缩放中的至少之一的PU进行运动补偿时使用的参数的数量。因此，可以减少在AMVP模式的帧间预测处理时的开销，从而提高编码效率。
此外，由于在帧间预测处理中对平移、旋转方向上的运动和缩放的补偿之中仅可以执行必需的补偿，因此可以提高预测图像的图像质量。
(图像解码装置的配置示例)
图23是示出用作对由图11中的图像编码装置100生成的编码流进行解码并且应用了本技术的图像处理装置的图像解码装置的实施方式的配置示例的框图。图23中的图像解码装置200根据与图像编码装置100中的编码方法对应的解码方法对由图像编码装置100生成的编码流进行解码。例如，在HEVC中提出的技术或在JVET中提出的技术安装在图像解码装置200上。
注意，图23示出了诸如处理单元的流程和数据流等的主要配置，并且图23未示出整个配置。即，可以存在图23中未被示为块的图像解码装置200中的处理单元或者图23中未由箭头等指示的处理的流程和数据流。
图23中的图像解码装置200包括解码单元211、逆量化单元212、逆变换单元213、计算单元214、帧存储器215和预测单元216。图像解码装置200针对每个CU而对由图像编码装置100生成的编码流进行解码。
具体地，图像解码装置200的解码单元211根据与编码单元114的编码方法对应的预定解码方法对由图像编码装置100生成的编码流进行解码。例如，解码单元211根据语法表的定义、从编码流的比特流对编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和量化变换系数水平level进行解码。解码单元211基于编码参数中包括的划分标记来划分LCU，并且按顺序将与每个量化变换系数水平level对应的CU设置为解码目标CU(PU或TU)。
解码单元211将编码参数提供给每个块。例如，解码单元211将预测信息Pinfo提供给预测单元216，将变换信息Tinfo提供给逆量化单元212和逆变换单元213，并且将头信息Hinfo提供给每个块。此外，解码单元211将量化变换系数水平level提供给逆量化单元212。
逆量化单元212基于从解码单元211提供的变换信息Tinfo来对从解码单元211提供的量化变换系数水平level的值进行缩放(执行逆量化)，以得到变换系数Coeff_IQ。该逆量化是由图像编码装置100的量化单元113(参见图11)执行的量化的逆处理。注意，逆量化单元115(参见图11)如在逆量化单元212中那样执行逆量化。逆量化单元212将获得的变换系数Coeff_IQ提供给逆变换单元213。
逆变换单元213基于从解码单元211提供的变换信息Tinfo来对从逆量化单元212提供的变换系数Coeff_IQ执行逆正交变换等，以得到预测残差D'。逆正交变换是对由图像编码装置100的变换单元112(参见图11)执行的正交变换的逆处理。注意，逆变换单元116如在逆变换单元213中那样执行逆正交变换。逆变换单元213将获得的预测残差D'提供给计算单元214。
计算单元214将从逆变换单元213提供的预测残差D'和与预测残差D'对应的预测图像P相加，以得到局部解码图像Rec。计算单元214使用所获得的局部解码图像Rec来对每个图片单位的解码图像进行重构，并且将所获得的解码图像输出至图像解码装置200的外部。此外，计算单元214还将局部解码图像Rec提供给帧存储器215。
帧存储器215使用从计算单元214提供的局部解码图像Rec来对每个图片单位的解码图像进行重构，并且将解码图像存储在帧存储器215中的缓冲器中。帧存储器215从缓冲器读取由预测单元216指定的解码图像作为参考图像，并将解码图像提供给预测单元216。此外，帧存储器215可以将与解码图像的生成有关的头信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器215中的缓冲器中。
在预测信息Pinfo的模式信息pred_mode_flag指示帧内预测处理的情况下，预测单元216获取与帧存储器215中存储的解码目标CU处于相同时间的解码图像作为参考图像。然后，预测单元216使用参考图像来对解码目标PU执行由帧内预测模式信息指示的帧内预测模式的帧内预测处理。
此外，在模式信息pred_mode_flag指示帧间预测处理的情况下，预测单元216基于参考图像指定信息来获取与帧存储器215中存储的解码目标CU处于不同时间的解码图像作为参考图像。如在图11的预测单元119中一样，预测单元216基于合并标志、运动补偿模式信息和参数信息、使用参考图像来执行编码目标PU的帧间预测处理。预测单元216将作为帧内预测处理或帧间预测处理的结果而生成的预测图像P提供给计算单元214。
(图像解码装置的处理)
图24是示出图23中的图像解码装置200的图像解码处理的说明性流程图。
在步骤S201中，解码单元211对向图像解码装置200提供的编码流进行解码，以获得编码参数和量化变换系数水平level。解码单元211将编码参数提供给各个块。此外，解码单元211将量化变换系数水平level提供给逆量化单元212。
在步骤S202中，解码单元211基于编码参数中包括的划分标记来划分LCU，并且将与量化变换系数水平level对应的CU设置为解码目标CU(PU和TU)。针对每个解码目标CU(PU或TU)执行下面要描述的步骤S203至S207的处理。
由于除了由预测单元216而不是预测单元119执行之外，步骤S203和S204的处理与步骤S12和S13的处理相同，因此将省略对其的描述。
在步骤S205中，预测单元216执行使用通过合并模式的帧间预测处理而生成的预测图像P来对解码目标图像进行解码的合并模式解码处理。将参照下面将描述的图26来描述合并模式解码处理的细节。在合并模式解码处理结束之后，图像解码处理结束。
此外，在步骤S204中确定合并标志不为1的情况下，预测单元216在步骤S206中执行使用通过AMVP模式的帧间预测处理而生成的预测图像P来对解码目标图像进行解码的AMVP模式解码处理。将参照下面将描述的图27来描述AMVP模式解码处理的细节。在AMVP模式解码处理结束之后，图像解码处理结束。
相反地，在步骤S203中确定未指示帧间预测处理的情况下，即，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行至步骤S207。
在步骤S207中，预测单元216执行使用通过帧内预测处理而生成的预测图像P来对解码目标图像进行解码的帧内解码处理，然后，图像解码处理结束。
图25是示出在图24的步骤S201中对运动补偿模式信息进行解码的运动补偿模式信息解码处理的说明性流程图。
在图25的步骤S211中，解码单元211对预测信息Pinfo的affine_flag进行解码。在步骤S212中，解码单元211确定在步骤S211中解码的affine_flag是否为1。在步骤S212中确定affine_flag为1的情况下，处理进行至步骤S213。
在步骤S213中，解码单元211对affine3parameter_flag进行解码。在步骤S214中，确定在步骤S213中解码的affine3parameter_flag是否为1。在步骤S214中确定affine3parameter_flag为1的情况下，处理进行至步骤S215。
在步骤S215中，解码单元211对rotate_scale_idx进行解码，然后，运动补偿模式信息解码处理结束。
相反地，在步骤S212中确定affine_flag不为1的情况下或者在步骤S214中确定affine3parameter_flag不为1的情况下，运动补偿模式信息解码处理结束。
图26是示出图24的步骤S205的合并模式解码处理的说明性流程图。
在步骤S231中，逆量化单元212对通过图24的步骤S201的处理而获得的量化变换系数水平level执行逆量化，以得到变换系数Coeff_IQ。逆量化是在图像编码处理的步骤S105(图21)中执行的量化的逆处理，并且是与在图像编码处理的步骤S106(图21)中执行的逆量化类似的处理。
在步骤S232中，逆变换单元213对通过步骤S231的处理而获得的变换系数Coeff_IQ执行逆正交变换等，以得到预测残差D'。逆正交变换是在图像编码处理的步骤S114(图21)中执行的正交变换的逆处理，并且是与在图像编码处理的步骤S117(图21)中执行的逆正交变换类似的处理。
由于除了由预测单元216而不是预测单元119执行之外，步骤S233至S244的处理与图21的步骤S101至S112的处理相同，因此将省略对其的描述。
在步骤S245中，计算单元214将在步骤S232中得到的预测残差D'与从预测单元216提供的预测图像P相加，以得到局部解码图像Rec。计算单元214使用所获得的局部解码图像Rec来重构每个图片单位的解码图像，并且将所获得的解码图像输出至图像解码装置200的外部。此外，计算单元214将局部解码图像Rec提供给帧存储器215。
在步骤S246中，帧存储器215使用从计算单元214提供的局部解码图像Rec来重构每个图片单位的解码图像，并将解码图像存储在帧存储器215的缓冲器中。然后，处理返回到图24的步骤S205，并且图像解码处理结束。
图27是示出图24的步骤S206的AMVP模式解码处理的说明性流程图。
由于图27的步骤S251和S252的处理与图26的步骤S231和S232的处理类似，因此将省略对其的描述。
由于除了由预测单元216而不是预测单元119执行之外，步骤S253至S268的处理与图22的步骤S131至S146的处理相同，因此将省略对其的描述。
由于步骤S269和S270的处理与图26的步骤S245和S246的处理类似，因此将省略对其的描述。在步骤S270的处理之后，处理返回到图24的步骤S206，并且图像解码处理结束。
如上所述，图像解码装置200选择平移模式、仿射变换模式、平移旋转模式和平移缩放模式中的一种模式作为运动补偿模式，并且以所选择的运动补偿模式执行运动补偿。
因此，通过减少由图像编码装置100产生的、在AMVP模式的帧间预测处理时的开销，可以对编码效率得到提高的编码流进行解码。此外，由于在对帧间预测处理中的平移、旋转方向上的运动和缩放的补偿之中仅可以执行必需的补偿，因此可以提高预测图像的图像质量。
注意，在图像编码装置100和图像解码装置200执行帧内BC预测处理而不是帧内预测处理或帧间预测处理的情况下，可以如在帧间预测处理中的运动补偿中那样以平移模式、仿射变换模式、平移旋转模式和平移缩放模式中的一种模式执行帧内BC预测处理中的运动补偿。
<第二实施方式>
(平移旋转模式的运动补偿)
图28是进一步示出平移旋转模式的运动补偿(通过运动补偿进行的帧间预测处理)的说明图。
注意，在下文中，假设处理目标PU 31在x方向和y方向上的两个尺寸都等于W以便于描述。因此，PU 31是正方形块。假设通过划分PU而获得的单元块的尺寸在x方向和y方向上类似地相等。
作为平移旋转模式的运动补偿，如上所述，存在图13中描述的运动补偿和图14中描述的运动补偿。
在图13中描述的运动补偿中，通过基于具有水平W×垂直W的处理目标PU 31的(左上)顶点A的运动矢量v0(一个运动矢量)以及用作旋转角度信息的旋转角θ而执行平移和旋转如下块134的运动补偿来生成PU 31的预测图像：该块134以参考图像中的、距PU 31的距离是运动矢量v0(PU 31的顶点A)的点A'作为左上顶点，与PU 31具有相同的尺寸并且旋转了旋转角度θ。
即，在图13中描述的运动补偿中，通过使用运动矢量v0＝(v0x,v0y)和旋转角度θ，获得下述的矢量(v0x+Wcosθ-W,v0y+Wsinθ)作为PU 31的顶点B的运动矢量v1＝(v1x,v1y)：该矢量(v0x+Wcosθ-W,v0y+Wsinθ)以PU 31的(右上)顶点B作为起始点，并且以在将PU 31平移了运动矢量v0＝(v0x,v0y)并绕平移之后的顶点A旋转了旋转角θ时的PU 31的顶点B作为终点。注意，在这种情况下，当旋转角θ小时，顶点B的运动矢量v1＝(v1x,v1y)可以近似为运动矢量v1＝(v1x,v1y)＝(v0x,v0y+Wsinθ)。
然后，在参考图像中，使用下述的正方形块作为生成PU 31的预测图像所使用的块134(下文中也称为参考块)来执行对参考块134进行平移和旋转的运动补偿：该正方形块以从PU 31的顶点A移动了运动矢量v0的点作为左上顶点A'，以从PU 31的顶点B移动了运动矢量v1的点作为右上顶点B'，并且以线段A'B'一条边。
对参考块134的平移和旋转是通过对以对应于单元块的参考图像的块(下文中也称为参考单元块)为单位进行平移来执行的，该参考图像的块是通过将PU 31划分成以例如2个水平像素×2个垂直像素、4个水平像素×4个垂直像素等作为预定尺寸的单元块而获得的。即，通过对应于所划分的单元块的参考单元块的平移对PU 31进行近似来执行参考块134的平移和旋转。
具体地，可以根据上述表达式(1)、基于顶点A的运动矢量v0＝(v0x,v0y)和顶点B的运动矢量v1＝(v1x,v1y)来获得每个单元块的运动矢量v＝(vx,vy)。
然后，通过基于运动矢量v平移下述的参考单元块来以单元块为单位生成PU 31的预测图像，该参考单元块是参考图像中的与单元块具有相同尺寸且距每个单元块的距离是运动矢量v的块。
如上所述，由于基于处理目标PU 31的运动矢量v0和用作旋转角度信息的旋转角θ来执行运动补偿，因此图13中描述的运动补偿也称为基于旋转角θ的运动补偿。
注意，当获得顶点B的运动矢量v1＝(v1x,v1y)＝(v0x+Wcosθ-W,v0y+Wsinθ)时，需要PU31的尺寸W。
另一方面，例如，在HEVC中，在形成CU时，递归地重复将一个块划分成四个子块，从而，形成具有四叉树形状的树结构。
现在，如在HEVC中那样，例如，当形成CU并且假设PU与CU相同时，指示划分成子块的划分标志被包括在由图11的图像编码装置100传送的编码流中，因此，图23的图像解码装置200可以基于划分标志指定块被划分成子块的次数，并且根据该次数来指定PU(CU)的尺寸W。
在图14中描述的运动补偿中，通过基于具有水平W×垂直W的处理目标PU 31的顶点A的运动矢量v0(一个运动矢量)以及作为旋转角度信息的、顶点A的运动矢量v0与顶点B的运动矢量v1在垂直方向上的差dvy(下文中也称为垂直差)执行平移和旋转下述的块134的运动补偿来生成PU 31的预测图像，该块134以参考图像中的、距PU 31的距离是运动矢量v0的点A'作为左上顶点，旋转了旋转角θ，并且与PU 31具有(基本上)相同的尺寸。
即，在图14中描述的运动补偿中，如图28所示，通过在假设旋转角θ小的情况下使用运动矢量v0＝(v0x,v0y)和垂直差dvy，获得近似为下述矢量(v0x+Wcosθ-W,v0y+Wsinθ)的矢量(v0x,v0y+dvy)作为PU 31的顶点B的运动矢量v1＝(v1x,v1y)，该矢量(v0x+Wcosθ-W,v0y+Wsinθ)以PU 31的顶点B作为起始点并且以在PU 31平移了运动矢量v0＝(v0x,v0y)且在平移之后绕顶点A旋转了旋转角θ时的PU 31的顶点B作为终点。
然后，在参考图像中，使用下述的正方形块作为生成PU 31的预测图像所使用的参考块134来执行平移和旋转参考块134的运动补偿，该正方形块以从PU 31的顶点A移动了运动矢量v0的点作为左上顶点A'，以从PU 31的顶点B移动了运动矢量v1的点作为右上顶点B'，并且以线段A'B'作为一条边。
如在基于旋转角θ的运动补偿的情况下，对参考块134的平移和旋转是通过以参考单元块为单位进行平移来执行的，该参考单元块是与可以通过将PU 31划分成具有预定尺寸的单元块而获得的单元块对应的参考图像的块。即，如图28所示，通过经由对与通过划分PU 31而获得的单元块对应的参考单元块的平移而对PU 31进行近似来执行对参考块134的平移和旋转。
具体地，可以根据上述表达式(1)、基于顶点A的运动矢量v0＝(v0x,v0y)和顶点B的运动矢量v1＝(v1x,v1y)来获得每个单元块的运动矢量v＝(vx,vy)。
然后，通过基于运动矢量v对参考图像中的、距每个单元块的距离是运动矢量v且与单元块具有相同尺寸的参考单元块进行平移来以单元块为单位生成PU 31的预测图像。
如上所述，由于运动补偿是基于处理目标PU 31的运动矢量v0和用作旋转角度信息的垂直差dvy来执行的，因此图14中描述的运动补偿也称为基于垂直差dvy的运动补偿。
基于垂直差dvy的运动补偿中所需的参数是三个参数，顶点A的运动矢量v0＝(v0x,v0y)和垂直差dvy，即v0x、v0y和dvy。
图29是示出在旋转角θ是不能被视为小的大小的情况下基于垂直差dvy的运动补偿的说明图。
在基于垂直差dvy的运动补偿中，如图28所示，基于运动矢量v0＝(v0x,v0y)和垂直差dvy、在参考图像中使用下述的正方形块作为参考块134来执行对参考块134进行平移和旋转的运动补偿，该正方形块以从PU 31的顶点A平移了运动矢量v0＝(v0x,v0y)的点作为左上顶点A'，以从PU 31的顶点B移动了运动矢量v1＝(v1x,v1y)＝(v0x,v0y+dvy)的点作为右上顶点B'，并且以线段A'B'作为一条边。
在基于垂直差dvy的运动补偿中，参考块134的尺寸(一条边的长度)精确地是在旋转角θ小的情况下，垂直差dvy的平方dvy 2是相对于尺寸W的平方W2可以忽略的大小，并且可以认为参考块134的尺寸等于PU 31的尺寸W。
然而，当旋转角θ是不能视为小的大小时，垂直差dvy的平方dvy 2是相对于尺寸W的平方W2不能忽略的大小，并且参考块134的尺寸大到参考块134的尺寸不能被视为等于PU 31的尺寸W的程度。
因此，如图28中所示，在执行基于垂直差dvy的运动补偿的情况下，除了通过参考块134的平移和旋转之外，比PU 31具有更大尺寸的一条边的正方形参考块134可以被缩小到尺寸为W的PU 31。
如上所述，在旋转角θ是不能视为小的尺寸的情况下，基于垂直差dvy的运动补偿中，除了对参考块134的平移和旋转之外，还执行缩小。因此，通过基于垂直差分dvy的运动补偿而获得的PU 31的预测图像的精度降低，并且在一些情况下编码效率和解码图像的图像质量降低。
图30是示出用于在基于垂直差dvy的运动补偿中抑制参考块134的缩小并且使PU31的预测图像的精度提高的运动补偿的说明图。
图30示出了以下正方形参考块134，该参考块134以参考图像中的、距PU 31的顶点A的距离是运动矢量v0的点A'作为左上顶点A'，并且与绕顶点A'旋转了旋转角θ的PU 31具有相同尺寸，即，以W为一条边。
当使参考块134绕参考块134的左上顶点A'旋转时，以具有半径W的圆O(圆的周界)绘制参考块134的右上顶点B'。
现在，考虑以顶点A'作为原点的二维坐标系(xy坐标系)。在基于垂直差dvy的运动补偿中，垂直差dvy用作旋转角度信息，并且顶点B'的y坐标等于垂直差dvy。因此，使用顶点A的运动矢量v0＝(v0x,v0y)的y坐标v0y来将PU 31的顶点B的运动矢量v1＝(v1x,v1y)的y坐标v1y表示为v0y+dvy。
另一方面，从顶点B'绘制的垂直线与x轴的交点被表示为点P，从顶点A'到点P的距离被表示为W'，并且距离W'与用于生成预测图像的PU31的在水平方向上的尺寸W的差被表示为dvx。
此处，由于差dvx是顶点A的运动矢量v0＝(v0x,v0y)(一个运动矢量)的x坐标v0x与顶点B的运动矢量v1＝(v1x,v1y)(另一运动矢量)的x坐标v1x之间的差v1x-v0x，即，运动矢量v0与v1在水平方向上的差，因此差dvx在下面也被称为水平差dvx。
可以根据表达式(3)获得水平差dvx。
dvx＝W-W′
W-Wcosθ
W-Wcos(sin-1(dvy/W)) (3)
在旋转角θ没有大到所述程度并且PU 31的尺寸W远大于水平差dvx的情况下(在W＞＞dvx的情况下)，可以根据表达式(4)对旋转角θ和cosθ进行近似。
θ＝sin-1(dvy/W)≈dvy/W
cosθ≈1-θ2/2 (4)
通过将表达式(4)的近似应用于表达式(3)，可以根据表达式(5)的近似表达式来获得水平差dvx。
dvx≈dvy2(2W) (5)
由于PU 31的顶点B的运动矢量v1＝(v1x，v1y)的x坐标v1x比顶点A的运动矢量v0＝(v0x，v0y)的x坐标v0x小水平差dvx，因此x坐标v1x被表示为v0x-dvx。
如上所述，顶点B的运动矢量v1＝(v1x，v1y)，即，以顶点B作为起始点且以具有半径W的圆O的圆周上的顶点B′作为终点的矢量，被表示为(v0x-dvx，v0y+dvy)。
通过采用从垂直差dvy和根据表达式(5)从用作旋转角度信息的垂直差dvy获得的水平差dvx获得的矢量(v0x-dvx，v0y+dvy)作为顶点B的运动矢量v1＝(v1y，v1y)，在基于垂直差dvy的运动补偿中可以执行抑制参考块134的缩小、从而使得PU 31的预测图像的精度提高的运动补偿。
此处，作为基于垂直差dvy的运动补偿，存在在垂直差dvy与水平差dvx之中仅使用垂直差dvy的运动补偿(图28中描述的运动补偿)以及如顶点B的运动矢量v1＝(v1y，v1y)那样使用垂直差dvy和水平差dvx二者的运动补偿(图30中描述的运动补偿)。
仅使用垂直差dvy的基于垂直差dvy的运动补偿也被称为基于垂直差dvy的简单运动补偿，而使用垂直差dvy和水平差dvx这二者的运动补偿也称为基于水平差dvx的运动补偿。
在基于水平差dvx的运动补偿中，进行运动补偿时所需的参数是三个参数，顶点A的运动矢量v0＝(v0x,v0y)和垂直差dvy，即v0x、v0y和dvy，如在基于垂直差dvy的简单运动补偿中那样。然而，与基于垂直差dvy的简单运动补偿相比，可以抑制参考块134的缩小并且执行运动补偿，从而使得PU 31的预测图像的精度提高。因此，可以提高编码效率和解码图像的图像质量。
此外，在基于水平差dvx的运动补偿中，不需要使用旋转角θ来执行三角函数的计算，并且可以减少在进行运动补偿时的计算量，如在基于垂直差dvy的简单运动补偿中那样。此外，不需要准备用于使用旋转角θ来计算三角函数的变换表。
注意，在基于水平差dvx的运动补偿中，在使用垂直差dvy来获得水平差dvx并且使用垂直差dvy和水平差dvx来获得PU 31的顶点B的运动矢量v1＝(v1x,v1y)＝(v0x-dvx,v0y+dvy)之后，如在基于旋转角θ的运动补偿的情况下那样执行运动补偿。
换言之，在参考图像中，使用下述的正方形块作为生成PU 31的预测图像所使用的参考块134来执行平移和旋转参考块134的运动补偿，该正方形块以从PU 31的顶点A移动了运动矢量v0的点作为左上顶点A'，以从PU 31的顶点B移动了运动矢量v1的点作为右上顶点B'，并且以线段A'B'作为一条边。
对参考块134的平移和旋转是通过以参考单元块为单位进行平移来执行的，该参考单元块是与可以通过划分PU 31而获得的单元块对应的参考图像的块，如在基于旋转角θ的运动补偿的情况下那样。
具体地，可以根据上述表达式(1)、基于顶点A的运动矢量v0＝(v0x,v0y)和顶点B的运动矢量v1＝(v1x,v1y)来获得每个单元块的运动矢量v＝(vx,vy)。
然后，通过基于运动矢量v对参考图像中的、距每个单元块的距离是运动矢量v且与单元块具有相同尺寸的参考单元块进行平移来以单元块为单位生成PU 31的预测图像。
此处，在作为平移旋转模式的运动补偿而执行基于水平差dvx的运动补偿的情况下，代替垂直差dvy(对应于垂直差dvy的信息(预测角度信息与用作角度信息的垂直差dvy之间的差))，可以将水平差dvx(对应于水平差dvx的信息)作为运动补偿的参数信息包括在编码流中。
在这种情况下，在基于水平差dvx的运动补偿中，根据表达式获得垂直差dvy，该表达式是根据水平差dvx对表达式(5)的变型。此外，获得顶点B的运动矢量v1＝(v1x,v1y)＝(v0x-dvx,v0y+dvy)。
因此，即使在替代垂直差dvy、水平差dvx被包括在编码流中的情况下，也可以执行运动补偿，使得参考块134的缩小得到抑制并且PU 31的预测图像的精度得到提高，如在垂直差dvy被包括在编码流中的情况下那样。
此处，在替代垂直差dvy、水平差dvx被包括编码流中的情况下，根据表达式获得垂直差dvy。因此，需要在根据表达式(5)从垂直差dvy获得水平差dvx的情况下不执行的平方根的计算。
因此，即使在替代垂直差dvy、水平差dvx被包括在编码流中的情况下，与垂直差dvy包括在编码流中的情况相比，运动补偿时的计算负荷增加，并且需要用于计算平方根的变换表。
图31是示出在采用基于水平差dvx的运动补偿作为平移旋转模式的运动补偿的情况下用于平移旋转模式的运动补偿的处理的示例的说明性流程图。
即，图31是示出在采用基于水平差dvx的运动补偿作为平移旋转模式的运动补偿的情况下在图20的步骤S42和S43、图21的步骤S110、图22的步骤S143、图26的步骤S242和图27的步骤S265中执行的平移旋转模式的运动补偿的处理的说明性流程图。
注意，本文中，已经描述了由图11中的图像编码装置100的预测单元119执行的平移旋转模式的运动补偿的处理，但是甚至在图23中的图像解码装置200的预测单元216中也执行类似的处理。
在步骤S311中，预测单元119根据表达式(5)、使用从参数信息获得的处理目标PU(CU)的顶点A的运动矢量v0与顶点B的运动矢量v1在垂直方向上的垂直差dvy来获得水平差dvx，然后处理进行至步骤S312。
在步骤S312中，预测单元119使用顶点A的运动矢量v0＝(v0x,v0y)、垂直差dvy和水平差dvx来获得PU 31的顶点B的运动矢量v1＝(v1x,v1y)＝(v0x-dvx.v0y+dvy)，然后处理进行至步骤S313。
在步骤S313中，预测单元119将预测目标PU划分成单元块。此外，预测单元119基于顶点A的运动矢量v0＝(v0x,v0y)和顶点B的运动矢量v1＝(v1x,v1y)、根据表达式(1)获得每个单元块的运动矢量v＝(vx,vy)，然后处理从步骤S313进行至步骤S314。
在步骤S314中，预测单元119通过针对每个单元块而基于运动矢量v平移参考图像中的、距单元块的距离是运动矢量v且与单元块具有相同尺寸的参考单元块，来以单元块为单位生成PU 31的预测图像，并且平移旋转模式的运动补偿的处理结束(返回)。
图32是示出运动补偿模式信息的另一示例的说明图。
在图32中，运动补偿模式信息包括affine_flag、rotation_flag和scaling_flag。
因此，图32中的运动补偿模式信息与图17的情况相同之处在于，都具有affine_flag。此处，图32中的运动补偿模式信息与图17的情况的不同之处在于，没有新提供affine3parameter_flag和rotate_scale_idx以及rotation_flag和scaling_flag。
如图17中所述，affine_flag是指示运动补偿模式是除平移模式之外的仿射变换模式、平移缩放模式或平移旋转模式的信息。此处，在运动补偿模式是仿射变换模式、平移旋转模式或平移缩放模式的情况下，affine_flag被设置为1。相反地，在运动补偿模式不是仿射变换模式、平移旋转模式或平移缩放模式的情况下，即，在运动补偿模式是平移模式的情况下，affine_flag被设置为0。
此外，rotation_flag是指示运动补偿模式是否为平移旋转模式的信息，并且在affine_flag为1的情况下被设置。此外，在运动补偿模式是平移旋转模式的情况下，rotation_flag被设置为1。相反地，在运动补偿模式不是平移旋转模式的情况下，即，在运动补偿模式是平移缩放模式或仿射变换模式的情况下，rotate_flag被设置为0。
此外，scaling_flag是指示运动补偿模式是否为平移缩放模式的信息，并且在rotation_flag为0的情况下被设置。此外，在运动补偿模式是平移缩放模式的情况下，scaling_flag被设置为1，而在运动补偿模式不是平移缩放模式的情况下，即，在运动补偿模式是仿射变换模式的情况下，scaling_flag被设置为0。
因此，在运动补偿模式是平移模式的情况下，运动补偿模式信息包括affine_flag，并且affine_flag被设置为0。
此外，在运动补偿模式是平移旋转模式的情况下，运动补偿模式信息包括affine_flag和rotation_flag，并且affine_flag和rotation_flag二者都被设置为1。
此外，在运动补偿模式是平移缩放模式或仿射变换模式的情况下，运动补偿模式信息包括affine_flag、rotation_flag和scaling_flag，并且affine_flag和rotation_flag分别被设置为1和0。此外，在运动补偿模式是平移缩放模式的情况下，scaling_flag被设置为1。在运动补偿模式是仿射变换模式的情况下，scaling_flag被设置为0。
在图32中，由于在运动补偿模式是平移模式、平移旋转模式、平移缩放模式和仿射变换模式的情况下的每条参数信息与图17中的参数信息相同，将省略对其的描述。
<第三实施方式>
(应用了本公开内容的计算机的描述)
上述的一系列处理可以通过硬件来执行，并且还可以以软件来执行。在通过软件来执行这一系列处理的情况下，构成软件的程序被安装在计算机上。在本文中，例如，术语“计算机”包括内置于专用硬件中的计算机、能够通过在其上安装各种程序来执行各种功能的计算机(诸如通用个人计算机)等。
图33是示出根据程序执行上述的一系列处理的计算机的示例性硬件配置的框图。
在计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804互连。
此外，输入/输出接口810连接到总线804。输入单元811、输出单元812、存储单元813、通信单元814和驱动器815连接至输入/输出接口810。
例如，输入单元811包括键盘、鼠标、麦克风等。例如，输出单元812包括显示器、扬声器等。例如，存储单元813包括硬盘、非易失性存储器等。例如，通信单元814是网络接口。驱动器815驱动可移动介质821，诸如磁盘、光盘、磁光盘或半导体存储器。
在如上配置的计算机800中，例如通过使CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803中并执行该程序来执行上面描述的一系列处理。
由计算机800(CPU 801)执行的程序可以记录在例如用作用于供应的封装介质等的可移动介质821上。此外，可以经由诸如局域网、因特网或数字卫星广播的有线或无线传输介质来提供程序。
在计算机800中，可以通过将可移动介质821安装在驱动器815上来经由输入/输出接口810将程序安装至存储单元813。此外，程序可以由通信单元814经由有线或无线传输介质来接收，并且可以安装在存储单元813中。此外，程序可以预先安装在ROM 802或存储单元813中。
注意，由计算机800执行的程序可以是按照本说明书中描述的顺序按时间顺序处理的程序，或者可以是并行处理或在诸如调用时的必要时候处理的程序。
<第四应用示例>
图34示出了应用了上述实施方式的电视装置的示意性配置的示例。电视装置900具有天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911以及总线912。
调谐器902从经由天线901接收到的广播信号提取期望频道的信号，并对所提取的信号进行解调。然后，调谐器902将从解调获得的编码比特流输出至解复用器903。即，调谐器902起到电视装置900的传输部的作用，该传输部接收其中图像被编码的编码流。
解复用器903从编码比特流中对要观看的节目的视频流和音频流进行解复用，并且将经解复用的流输出至解码器904。此外，解复用器903从编码比特流中提取诸如电子节目指南(EPG)的辅助数据，并且将所提取的数据提供至控制单元910。注意，在编码比特流已被加扰的情况下，解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将从解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将从解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，以使显示单元906显示视频。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理部905可以根据设置来对视频数据执行附加处理，例如降噪。此外，视频信号处理单元905可以生成例如菜单、按钮或光标的图形用户接口(GUI)的图像，并且将所生成的图像叠加在输出图像上。
显示单元906是用从视频信号处理单元905提供的驱动信号来驱动的，并且在显示设备(例如，液晶显示器、等离子显示器或有机电致发光显示器(OELD)等)的视频面上显示视频或图像。
音频信号处理单元907对从解码器904输入的音频数据执行包括D/A转换和放大的再现处理，并且使扬声器908输出声音。此外，音频信号处理单元907可以对音频数据执行诸如噪声移除的附加处理。
外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口单元909接收到的视频流或音频流可以由解码器904来解码。换言之，外部接口单元909还起到电视装置900的传输部的作用，该传输部接收其中图像被编码的编码流。
控制单元910具有诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据和经由网络获取的数据。存储在存储器中的程序例如在启动电视装置900时由CPU读取并执行。CPU通过响应于例如从用户接口单元911输入的操作信号而执行程序来控制电视装置900的操作。
用户接口单元911连接至控制单元910。例如，用户接口单元911包括用户操作电视装置900所利用的按钮和开关、用于远程控制信号的接收单元等。用户接口单元911通过检测用户经由任何上述构成元件进行的操作来生成操作信号，并且将所生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909和控制单元910彼此连接。
在以这种方式配置的电视装置900中，解码器904还可以包括上述的图像解码装置200的功能。换言之，解码器904可以被配置成根据在上述实施方式中的每一个中描述的方法来对编码数据进行解码。因此，电视装置900可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
此外，在以这种方式配置的电视装置900中，视频信号处理单元905可以能够对从解码器904提供的图像数据进行编码，并且使获得的编码数据通过外部接口单元909从外部输出至电视装置900。此外，视频信号处理单元905还可以包括上述的图像编码装置100的功能。换言之，视频信号处理单元905可以被配置成根据在上述实施方式中的每一个中描述的方法来对从解码器904提供的图像数据进行编码。因此，电视装置900可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
<第五应用示例>
图35示出了应用了上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、复用/解复用单元928、记录/再现单元929、显示单元930和控制单元931相互连接。
移动电话920在包括音频呼叫模式、数据通信模式、拍摄模式和视频电话模式的各种操作模式下执行动作，诸如发送/接收音频信号、发送/接收电子邮件或图像数据、捕捉图像、以及记录数据。
在音频呼叫模式下，将麦克风925生成的模拟音频信号提供给音频编解码器923。然后，音频编解码器923将模拟音频信号转换成音频数据，对经转换的音频数据执行A/D转换，并且压缩数据。之后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成传输信号。然后，通信单元922通过天线921向基站(未示出)传送所生成的传输信号。此外，通信单元922对通过天线921接收到的无线电信号进行放大，执行频率转换，并且获取接收信号。之后，通信单元922对接收信号进行解调和解码，以生成音频数据并将所生成的音频数据输出至音频编解码器923。音频编解码器923对音频信号进行扩展，对该数据执行D/A转换，并且生成模拟音频信号。音频编解码器923然后将生成的音频信号提供给扬声器924以使其输出音频。
例如，在数据通信模式下，控制单元931根据通过操作单元932检测到的用户操作来生成构成电子邮件的字符数据。控制单元931还在显示单元930上显示字符。此外，控制单元931根据通过操作单元932从用户获得的、用于发送电子邮件数据的指令来生成电子邮件数据，并且将所生成的电子邮件数据输出至通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922将所生成的发送信号通过天线921传送至基站(未示出)。通信单元922还对通过天线921接收到的无线电信号进行放大，执行频率转换，并且获取接收信号。之后，通信单元922对接收信号进行解调和解码，恢复电子邮件数据，并且将恢复的电子邮件数据输出至控制单元931。控制单元931在显示单元930上显示电子邮件的内容以及将电子邮件数据提供给记录/再现单元929的存储介质，以使数据被记录在介质中。
记录/再现单元929包括可读写的任意存储介质。例如，存储介质可以是诸如RAM和闪速存储器的内置的存储介质，或者可以是外部安装的存储介质，诸如硬盘、磁盘、磁光盘、光盘、USB(通用串行总线)存储器或存储卡。
例如，在拍摄模式下，摄像装置单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，并且将编码流提供至记录/再现单元929的存储介质，以使编码流被记录在介质中。
此外，在图像显示模式下，记录/再现单元929读出存储介质上记录的编码流，并且将其输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，将图像数据提供至显示单元930，并且使得图像被显示。
此外，例如，在视频电话模式下，复用/解复用单元928对由图像处理单元927编码的视频流和从音频编解码器923输入的音频流进行复用，并且将经复用的流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。然后，通信单元922通过天线921向基站(未示出)传送所生成的发送信号。此外，通信单元922对通过天线921接收到的无线电信号进行放大，执行频率转换，并且获取接收信号。发送信号和接收信号可以包括编码比特流。因此，通信单元922对接收信号进行解调和解码以恢复流，并且将经恢复的流输出至复用/解复用单元928。复用/解复用单元928从输入流中解复用视频流和音频流，并且将视频流和音频流分别输出至图像处理单元927和音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。然后，视频数据被提供至显示一系列图像的显示单元930。音频编解码器923扩展音频流并且对音频流执行D/A转换以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以使其输出音频。
在以这种方式配置的移动电话920中，图像处理单元927可以例如包括上述的图像编码装置100的功能。换言之，图像处理单元927可以被配置成根据在上述实施方式中的每一个中描述的方法来对图像数据进行编码。因此，移动电话920可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
此外，在以这种方式配置的移动电话920中，图像处理单元927可以例如包括上述图像解码装置200的功能。换言之，图像处理单元927可以被配置成根据在上述实施方式中的每一个中描述的方法来对编码数据进行解码。因此，移动电话920可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
<第六应用示例>
图36示出了应用了上述实施方式的记录/再现装置的示意性配置的示例。例如，记录/再现装置940对接收到的广播节目的音频数据和视频数据进行编码，并且将数据记录到记录介质中。例如，记录/再现装置940还可以对从另一装置获取的音频数据和视频数据进行编码，并且将数据记录到记录介质中。记录/再现装置940例如响应于用户指令而在监视器和扬声器上再现记录介质中记录的数据。在这种情况下，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口单元942、编码器943、硬盘驱动器(HDD)944、磁盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口单元950。
调谐器941从通过天线(未示出)接收到的广播信号中提取期望通道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调而获得的编码比特流输出至选择器946。即，调谐器941在记录/再现装置940中起到传输单元的作用。
外部接口单元942是将记录/再现装置940与外部设备或网络连接的接口。例如，外部接口单元942可以是电气和电子工程师协会(IEEE)1394接口、网络接口、USB接口或者闪速存储器接口。例如，通过外部接口单元942接收到的视频数据和音频数据被输入至编码器943。即，外部接口单元942在记录/再现装置940中起到传输单元的作用。
在未对从外部接口单元942输入的视频数据和音频数据进行编码的情况下，编码器943对视频数据和音频数据进行编码。之后，编码器943将编码比特流输出至选择器946。
HDD单元944将压缩有诸如视频和音频的内容数据的编码比特流、各种程序和其他数据记录到内部硬盘中。在对视频和音频进行再现时，HDD单元944从硬盘读取这些数据。
磁盘驱动器945将数据记录到附接至磁盘驱动器的记录介质以及从附接至磁盘驱动器的记录介质读取数据。附接至磁盘驱动器945的记录介质可以是例如数字通用盘(DVD)盘(诸如DVD-Video、DVD-随机存取存储器(DVD-RAM)、DVD-recordable(DVD-R)、DVD-rewritable(DVD-RW)、DVD+recordable(DVD+R)或DVD+-rewritable(DVD+RW))或蓝光(注册商标)盘。
选择器946在记录视频和音频时选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出至HDD单元944或磁盘驱动器945。另一方面，当再现视频和音频时，选择器946将从HDD单元944或磁盘驱动器945输入的编码比特流输出至解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将所生成的视频数据输出至OSD单元948。此外，解码器947将所生成的音频数据输出至外部扬声器。
OSD单元948再现从解码器947输入的视频数据并且显示视频。OSD单元948还可以将诸如菜单、按钮或光标的GUI的图像叠加到所显示的视频上。
控制单元949包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。例如，存储在存储器中的程序在记录/再现装置940启动时由CPU读取并执行。通过执行程序，CPU例如根据从用户接口单元950输入的操作信号来控制记录/再现装置940的操作。
用户接口单元950连接至控制单元949。例如，用户接口单元950包括用户操作记录/再现装置940所使用的按钮和开关以及接收远程控制信号的接收部。用户接口单元950通过这些部件检测用户操作以生成操作信号，并且将所生成的操作信号输出至控制单元949。
在以这种方式配置的记录/再现装置940中，编码器943可以例如包括上述图像编码装置100的功能。换言之，编码器943可以被配置成根据在上述实施方式中的每一个中描述的方法来对图像数据进行编码。因此，记录/再现装置940可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
此外，在以这种方式配置的记录/再现装置940中，解码器947可以例如包括上述的图像解码装置200的功能。换言之，解码器947可以被配置成根据在上述实施方式中的每一个中描述的方法来对编码数据进行解码。因此，记录/再现装置940可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
<第七应用示例>
图37示出了应用了上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，并且将数据记录到记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口单元971和总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970相互连接。
光学块961包括聚焦透镜和光圈机构。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962包括诸如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)的图像传感器，并且执行光电转换以将成像面上形成的光学图像转换成作为电信号的图像信号。然后，成像单元962将图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种摄像装置信号处理，诸如拐点校正、伽马校正和颜色校正。信号处理单元963将已对其执行了摄像装置信号处理的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码并且生成编码数据。然后，图像处理单元964将所生成的编码数据输出至外部接口单元966或介质驱动器968。图像处理单元964还对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964向显示单元965输出所生成的图像数据。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965，以使显示单元965显示图像。此外，图像处理单元964可以将从OSD单元969获取的显示数据叠加到在显示单元965上输出的图像上。
OSD单元969生成诸如菜单、按钮或光标的GUI图像，并且将所生成的图像输出至图像处理单元964。
外部接口单元966例如被配置为USB输入/输出终端。例如在打印图像时，外部接口单元966将成像装置960与打印机连接。此外，根据需要将驱动器连接至外部接口单元966。将诸如磁盘或光盘的可移动介质附接至例如驱动器，使得可以将从可移动介质读取的程序安装至成像装置960。外部接口单元966还可以被配置为连接至诸如LAN或因特网的网络的网络接口。即，外部接口单元966在成像装置960中起到传输单元的作用。
附接至介质驱动器968的记录介质可以是可读写的任意的可移动介质，诸如磁盘、磁光盘、光盘或半导体存储器。此外，记录介质可以以固定方式附接至介质驱动器968，使得例如配置诸如内置硬盘驱动器或固态驱动器(SSD)的非便携式存储单元。
控制单元970包括诸如CPU的处理器和诸如RAM和ROM的存储器。存储器存储由CPU执行的程序以及程序数据。例如，存储器中存储的程序在启动成像装置960时由CPU读取并执行。例如，通过执行程序，CPU根据从用户接口单元971输入的操作信号来控制成像装置960的操作。
用户接口单元971连接至控制单元970。例如，用户接口单元971包括用户操作成像装置960所使用的按钮和开关。用户接口单元971通过这些部件检测用户操作以生成操作信号，并且将生成的操作信号输出至控制单元970。
在以这种方式配置的成像装置960中，图像处理单元964可以例如包括上述的图像编码装置100的功能。换言之，图像处理单元964可以被配置成根据在上述实施方式中的每一个中描述的方法来对图像数据进行编码。因此，成像装置960可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
此外，在以这种方式配置的成像装置960中，图像处理单元964可以例如包括上述的图像解码装置200的功能。换言之，图像处理单元964可以被配置成根据在上述实施方式中的每一个中描述的方法来对编码数据进行解码。因此，成像装置960可以获得与上面参照图11至图32描述的每个实施方式的效果相同的效果。
<第八个应用示例：视频设备>
此外，本技术还可以被实现为安装在任何装置或系统中包括的装置(诸如作为大规模集成(LSI)芯片等提供的处理器、使用多个处理器等的模块、使用多个模块等的单元、向单元(即，装置的一部分的配置)进一步添加其他功能的设备等)中的任何类型的配置。图38示出了应用本技术的视频设备的示意性配置的一个示例。
近来，电子设备变得更加多功能化，并且在开发和制造这样的电子设备时，在实现其部分配置以用于销售、供应等的情况下，不仅执行实现为包括单个功能的配置变得普遍，而且组合包括相关功能的多个配置并实现为包括多种功能的单个设备也变得普遍。
图38中示出的视频设备1300是这样的多功能配置，并且是包括与图像编码和解码(任一种或两中)有关的功能的设备与包括与这样的功能有关的其他功能的设备的组合。
如图38所示，视频设备1300包括诸如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314的模块组、以及包括诸如连接部1321、摄像装置1322和传感器1323的相关功能的设备。
模块是将几个相互关联的部分功能集合成统一功能的部分。具体的物理配置可以是任何配置，但是例如，可以想到将具有各个功能的多个处理器、诸如电阻器和电容器的电子电路元件、其他设备等设置并集成到电路板等上。还可以想到将模块与另一模块、处理器等组合以创建新模块。
在图38中的示例的情况下，视频模块1311是包括与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器是具有预定功能的配置集成到作为片上系统(SoC)的半导体芯片中，并且还可以被指定为例如大规模集成(LSI)芯片等。具有预定功能的配置可以是逻辑电路(硬件配置)，但也可以是CPU、ROM、RAM等以及使用这些来执行的程序(软件配置)，并且也可以是两者的组合。例如，处理器可以包括逻辑电路和CPU、ROM、RAM等，并且可以被配置成利用逻辑电路(硬件配置)实现功能的子集，同时利用在CPU上执行的程序(软件配置)实现其他功能。
图38中的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，在应用处理器1331中执行的应用不仅能够执行计算处理，而且还能够根据需要例如控制视频模块1311内部和外部的配置，诸如视频处理器1332。
视频处理器1332是包括与图像编码/解码(任一种或两种)有关的功能的处理器。
宽带调制解调器1333执行数字调制等，以将通过经由诸如因特网或公共电话网络的宽带连接执行的有线或无线(或两者)宽带通信传送的数据(数字信号)转换成模拟信号，并且还执行解调以将通过这样的宽带通信接收到的模拟信号转换成数据(数字信号)。宽带调制解调器1333处理任何种类的信息，例如，诸如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序以及设置数据。
RF模块1334是对通过天线发送或接收到的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334通过对宽带调制解调器1333生成的基带信号执行频率转换等来生成RF信号。此外，例如，RF模块1334还通过对经由前端模块1314接收到的RF信号执行频率转换等来生成基带信号。
注意，如由图38中的虚线1341所示，应用处理器1331和视频处理器1332也可以被统一并配置为单个处理器。
外部存储器1312是被设置在视频模块1311的外部并且包括视频模块1311使用的存储设备的模块。外部存储器1312的存储设备可以通过任何种类的物理配置来实现，但是由于存储设备通常用于存储例如以帧为单位的图像数据的大量数据，因此期望例如利用诸如动态随机存取存储器(DRAM)的相对便宜且容量高的半导体存储器来实现存储设备。
电力管理模块1313管理和控制向视频模块1311(视频模块1311内的每个配置)的电力供应。
前端模块1314是向RF模块1334提供前端功能(天线侧发送/接收端口上的电路)的模块。如图38所示，前端模块1314例如包括天线单元1351、滤波器1352和放大单元1353。
天线单元1351包括发送和接收无线信号的天线及其外围配置。天线单元1351将从放大单元1353提供的信号作为无线信号进行发送，并将接收到的无线信号作为电信号(RF信号)提供至滤波器1352。滤波器1352对通过天线单元1351接收到的RF信号执行滤波处理等，并且将经处理的RF信号提供至RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并且向天线单元1351提供该RF信号。
连接部1321是包括与外部连接有关的功能的模块。连接部1321的物理配置可以是任何配置。例如，连接部1321包括具有除了由宽带调制解调器1333支持的通信标准之外的通信功能的配置、外部输入/输出终端等。
例如，连接部1321可以包括具有符合无线通信标准(诸如，蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi(注册商标))、近场通信(NFC)或红外数据关联(IrDA))的通信功能的模块、以及发送和接收符合该标准的信号的天线。此外，例如，连接部1321可以包括具有符合有线通信功能(诸如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标))的通信功能的模块、以及符合标准的端口。此外，例如，连接部1321可以包括传送另一种数据(信号)的功能，诸如模拟输入/输出终端。
注意，连接部1321可以包括数据(信号)的传输目的地设备。例如，连接部1321可以包括针对诸如磁盘、光盘、磁光盘或半导体存储器的记录介质读取和写入数据的驱动器(不仅是用于可移动介质的驱动器，而且还包括硬盘、固态驱动器(SSD)、网络附接存储装置(NAS)等)。此外，连接部1321可以包括输出图像和声音的设备(诸如监视器和扬声器)。
摄像装置1322是具有对被摄体进行成像并获得被摄体的图像数据的功能的模块。例如，通过由摄像装置1322进行成像而获得的图像数据被提供给视频处理器1332并被编码。
例如，传感器1323是具有任何类型的传感器功能的模块，诸如声音传感器、超声传感器、光传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜传感器、磁场传感器、震动传感器或温度传感器。由传感器1323检测到的数据例如被提供至应用处理器1331并由应用等使用。
上面被描述为模块的配置还可以被实现为处理器，而反之，上面被描述为处理器的配置还可以被实现为模块。
在具有如上配置的视频设备1300中，本技术可以应用于如稍后描述的视频处理器1332。因此，视频设备1300可以被实施为应用本技术的设备。
(视频设备的示例性配置)
图39示出了应用本技术的视频处理器1332(图38)的示意性配置的一个示例。
在图39中的示例的情况下，视频处理器1332包括接收视频信号和音频信号的输入并根据预定方法对这些信号进行编码的功能、以及对经编码的视频数据和音频数据进行解码并再现和输出视频信号和音频信号的功能。
如图39所示，视频处理器1332包括视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码/解码引擎1407、视频基本流(ES)缓冲器1408A和1408B、以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用器(MUX)1412、解复用器(DMUX)1413、以及流缓冲器1414。
视频输入处理单元1401获取例如从连接部1321(图38)等输入的视频信号，并且将视频信号转换成数字图像数据。第一图像放大/缩小单元1402对图像数据执行格式转换、图像放大/缩小处理等。第二图像放大/缩小单元1403对图像数据执行根据通过视频输出处理单元1404向其输出的目的地处的格式放大或缩小图像的处理、与第一图像放大/缩小单元1402类似的格式转换和图像放大/缩小处理等。视频输出处理单元1404对图像数据执行格式转换、转换成模拟信号等，并将结果例如作为再现视频信号输出至连接部1321。
帧存储器1405是由视频输入处理单元1401、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403、视频输出处理单元1404和编码/解码引擎1407共享的图像数据的存储器。帧存储器1405例如被实现为诸如DRAM的半导体存储器。
存储器控制单元1406从编码/解码引擎1407接收同步信号，并且根据写入访问管理表1406A中的访问帧存储器1405的访问调度来控制对帧存储器1405的访问和读写。存储器控制单元1406根据由编码/解码引擎1407、第一图像放大/缩小单元1402、第二图像放大/缩小单元1403等执行的处理来更新访问管理表1406A。
编码/解码引擎1407执行对图像数据进行编码的处理以及对视频流进行解码的处理，视频流是其中图像数据被编码的数据。例如，编码/解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且接连地将编码数据作为视频流写入视频ES缓冲器1408A。此外，例如，编码/解码引擎1407接连地从视频ES缓冲器1408B读取视频流并对其进行解码，并将解码数据作为图像数据写入帧存储器1405。在该编码和解码期间，编码/解码引擎1407使用帧存储器1405作为工作区。此外，编码/解码引擎1407例如在开始对每个宏块的处理时向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A对由编码/解码引擎1407生成的视频流进行缓冲，并将该视频流提供至复用器(MUX)1412。视频ES缓冲器1408B对从解复用器(DMUX)1413提供的视频流进行缓冲，并将该视频流提供至编码/解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并将该音频流提供至复用器(MUX)1412。音频ES缓冲器1409B对从解复用器(DMUX)1413提供的音频流进行缓冲，并将该音频流提供至音频解码器1411。
音频编码器1410例如对从例如连接部1321等输入的音频信号进行数字转换，并且例如根据诸如MPEG音频方法或音频码3号(AC3，AudioCode number 3(AC3)method)方法的预定方法来对音频信号进行编码。音频编码器1410将作为其中音频信号被编码的数据的音频流接连地写入音频ES缓冲器1409A。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，转换为例如模拟信号等，并将结果提供至例如连接部1321等作为再现音频信号。
复用器(MUX)1412将视频流与音频流进行复用。复用方法(即，通过复用而生成的比特流的格式)可以是任何方法。此外，在复用期间，复用器(MUX)1412还可以将预定头信息等添加至比特流。换言之，复用器(MUX)1412能够通过复用来转换流的格式。例如，通过对视频流和音频流进行复用，复用器(MUX)1412将流转换成传输流，该传输流是具有用于传输的格式的比特流。此外，例如，通过对视频流和音频流进行复用，复用器(MUX)1412将流转换成具有用于记录的文件格式的数据(文件数据)。
解复用器(DMUX)1413根据与复用器(MUX)1412进行的复用对应的方法，对其中视频流和音频流被复用的比特流进行解复用。换言之，解复用器(DMUX)1413从自流缓冲器1414读取的比特流提取视频流和音频流(分离出视频流和音频流)。换言之，解复用器(DMUX)1413能够通过进行解复用(由复用器(MUX)1412进行的转换的逆转换)来转换流的格式。例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取从连接部1321、宽带调制解调器1333等提供的传输流，并且通过解复用而能够将该传输流转换成视频流和音频流。此外，例如，解复用器(DMUX)1413能够例如经由流缓冲器1414获取通过连接部1321从各种类型的记录介质中的任一个读出的文件数据，并且通过解复用而能够将文件数据转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用器(MUX)1412提供的传输流进行缓冲，并且在预定定时或者基于外部请求等，将传输流提供至例如连接部1321、宽带调制解调器1333等。
此外，例如，流缓冲器1414对从复用器(MUX)1412提供的文件数据进行缓冲，并且在预定定时或者基于外部请求等，将文件数据提供至例如连接部1321等，并使文件数据被记录在各种类型的记录介质中的任一个上。
此外，流缓冲器1414对例如经由连接部1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定定时或者基于外部请求等，将传输流提供至解复用器(DMUX)1413。
此外，流缓冲器1414对例如在连接部1321等处从各种类型的记录介质中的任一个读出的文件数据进行缓冲，并且在预定定时或者基于外部请求等，将文件数据提供至解复用器(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，在视频输入处理单元1401中将从连接部1321等输入到视频处理器1332中的视频信号转换成诸如4:2:2Y/Cb/Cr格式的预定格式的数字图像数据，并且将该视频信号接连地写入到帧存储器1405。数字图像数据被读出至第一图像放大/缩小单元1402或第二图像放大/缩小单元1403，经受转换为诸如4:2:0Y/Cb/Cr等的预定格式的格式转换和放大/缩小处理，并且再次被写入到帧存储器1405。图像数据由编码/解码引擎1407编码，并且被写入到视频ES缓冲器1408A来作为视频流。
此外，从连接部1321等输入到视频处理器1332的音频信号由音频编码器1410编码，并且被写入到音频ES缓冲器1409A来作为音频流。
视频ES缓冲器1048A中的视频流和音频ES缓冲器1409A中的音频流由复用器(MUX)1412读出并复用，并且被转换成传输流、文件数据等。由复用器(MUX)1412生成的传输流被缓冲在流缓冲器1414中，然后例如经由连接部1321、宽带调制解调器1333等被输出至外部网络。此外，由复用器(MUX)1412生成的文件数据被缓冲在流缓冲器1414中，然后被输出至例如连接部1321等，并被记录到各种类型的记录介质中的任一个。
此外，例如经由连接部1321、宽带调制解调器1333等从外部网络输入至视频处理器1332中的传输流被缓冲在流缓冲器1414中，然后由解复用器(DMUX)1413解复用。此外，例如从连接部1321等中的各种类型的记录介质中的任一个中读出并被输入至视频处理器1332中的文件数据被缓冲在流缓冲器1414中，然后由解复用器(DMUX)1413解复用。换言之，输入至视频处理器1332中的传输流或文件数据被解复用器(DMUX)1413分离成视频流和音频流。
将音频流经由音频ES缓冲器1409B提供至音频解码器1411并对音频流进行解码，并且再现音频信号。此外，视频流在被写入视频ES缓冲器1408B之后由编码/解码引擎1407接连地读出并解码，并且被写入帧存储器1405。经解码的图像数据经受由第二图像放大/缩小单元1403进行的放大/缩小处理，并且被写入帧存储器1405。随后，经解码的图像数据被读出至视频输出处理单元1404，被格式转换成诸如4:2:2Y/Cb/Cr格式的预定格式，另外被转换成模拟信号，并且再现和输出视频信号。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编码/解码引擎1407就足够了。换言之，例如，编码/解码引擎1407可以包括上述的图像编码装置100的功能或者图像解码装置200的功能、或者这两者。通过这样的布置，视频处理器1332能够获得与上面参照图11至图32描述的各个实施方式的效果类似的效果。
注意，在编码/解码引擎1407中，本技术(即，图像编码装置100的功能、图像解码装置200的功能、或者这两者)可以通过诸如逻辑电路的硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过硬件和软件二者来实现。
(视频处理器的另一示例性配置)
图40示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图40中的示例的情况下，视频处理器1332包括根据预定方法对视频数据进行编码/解码的功能。
更具体地，如图40所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332还包括编解码器引擎1516、存储器接口1517、复用器/解复用器(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的各处理单元(诸如显示接口1512、显示引擎1513、图像处理引擎1514和编解码器引擎1516)的操作。
如图40所示，例如，控制单元1511包括主CPU 1531、副CPU 1532和系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的各处理单元的操作的程序等。主CPU1531根据该程序等生成控制信号，以及将控制信号提供至各处理单元(换言之，控制各处理单元的操作)。副CPU 1532起到主CPU 1531的辅助作用。例如，副CPU 1532执行由主CPU1531执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和副CPU 1532的操作，诸如指定要由主CPU 1531和副CPU1532执行的程序。
例如，显示接口1512在控制单元1511的控制下将图像数据输出至连接部1321等。例如，显示接口1512将数字图像数据转换成模拟信号并输出模拟信号，或者将数字图像数据作为再现视频信号直接输出至连接部1321的监视器装置等。
显示引擎1513在控制单元1511的控制下对图像数据执行诸如格式转换、尺寸转换和色域转换的各种转换处理，以与要显示图像的监视器装置等的硬件规格相匹配。
图像处理引擎1514在控制单元1511的控制下对图像数据执行预定的图像处理，诸如用于改善图像质量的滤波处理。
内部存储器1515是设置在视频处理器1332内部且由显示引擎1513、图像处理引擎1514以及编解码器引擎1516共享的存储器。例如，内部存储器1515用于在显示引擎1513、图像处理引擎1514和编解码器引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码器引擎1516提供的数据，并且根据需要(例如，响应于请求)，将数据提供至显示引擎1513、图像处理引擎1514或编解码器引擎1516。内部存储器1515可以由任何种类的存储设备实现，但由于存储设备通常用于存储诸如以块为单位的图像数据、参数等少量数据，因此例如期望用容量相对小(例如，与外部存储器1312相比)但响应速度快的半导体存储器(诸如静态随机存取存储器(SRAM))来实现存储设备。
编解码器引擎1516执行与图像数据的编码和解码有关的处理。由编解码器引擎1516支持的编码/解码方法可以是任何方法，并且可以存在一种或多种这样的方法。例如，编解码器引擎1516可以被设置有用于多种编码/解码方法的编解码器功能，并且可以被配置成通过从多种方法中进行选择来对图像数据进行编码或解码。
在图40所示的示例中，编解码器引擎1516例如包括MPEG-2Video1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可伸缩)1544、HEVC/H.265(多视图)1545以及MPEG-DASH 1551作为与编解码器有关的处理的功能块。
MPEG-2Video 1541是根据MPEG-2方法对图像数据进行编码和解码的功能块。AVC/H.264 1542是根据AVC方法对图像数据进行编码和解码的功能块。HEVC/H.265 1543是根据HEVC方法对图像数据进行编码和解码的功能块。HEVC/H.265(可伸缩)1544是根据HEVC方法对图像数据进行可伸缩编码和可伸缩解码的功能块。HEVC/H.265(多视图)1545是根据HEVC方法对图像数据进行多视图编码和多视图解码的功能块。
MPEG-DASH 1551是根据基于HTTP的MPEG动态自适应流传输(MPEG-DASH)方法来传送和接收图像数据的功能块。MPEG-DASH是使用超文本传输协议(HTTP)来对视频进行流传输的技术，其一个特征是从预先准备的具有不同分辨率等的多组编码数据中以段为单位选择并传送适当的编码数据。MPEG-DASH 1551执行符合标准的流的生成、传输控制等，而对于图像数据的编码/解码，使用MPEG-2Video 1541至HEVC/H.265(多视图)1545。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据通过存储器接口1517被提供至外部存储器1312。此外，从外部存储器1312读出的数据通过存储器接口1517被提供至视频处理器1332(图像处理引擎1514或编解码器引擎1516)。
复用器/解复用器(MUX DMUX)1518对诸如编码数据的比特流、图像数据、视频信号等各种图像相关数据进行复用和解复用。复用/解复用方法可以是任何方法。例如，在进行复用时，复用器/解复用器(MUXDMUX)1518不仅能够将多条数据收集到单条数据中，而且还能够将预定头信息等添加到数据中。此外，在进行解复用时，复用器/解复用器(MUX DMUX)1518不仅能够将单条数据划分成多条数据，而且还能够将预定头信息等添加到划分的每条数据中。换言之，复用器/解复用器(MUX DMUX)1518能够通过复用/解复用来转换数据的格式。例如，通过对比特流进行复用，复用器/解复用器(MUX DMUX)1518能够将比特流转换成作为具有用于传输的格式的比特流的传输流或者转换成具有用于记录的文件格式的数据(文件数据)。明显地，通过进行解复用，逆转换也是可能的。
例如，网络接口1519是用于宽带调制解调器1333、连接部1321等的接口。例如，视频接口1520是用于连接部1321、摄像装置1322等的接口。
接下来，将描述这样的视频处理器1332的操作的示例。例如，当通过连接部1321、宽带调制解调器1333等从外部网络接收到传输流时，传输流通过网络接口1519被提供至复用器/解复用器(MUX DMUX)1518并被解复用，并且由编解码器引擎1516进行解码。通过编解码器引擎1516的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如通过显示接口1512被提供至连接部1321等，并且在监视器上显示图像。此外，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516重新编码，由复用器/解复用器(MUX DMUX)1518进行复用并转换成文件数据，例如通过视频接口1520输出至连接部1321等，并被记录在各种类型的记录介质中的任一个上。
此外，例如，通过连接部1321等从未示出的记录介质读出的、其中图像数据被编码的编码数据的文件数据通过视频接口1520被提供至复用器/解复用器(MUX DMUX)1518并被解复用，并且由编解码器引擎1516进行解码。通过编解码器引擎1516的解码而获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，例如通过显示接口1512被提供至连接部1321等，并且在监视器上显示图像。此外，例如，通过编解码器引擎1516的解码而获得的图像数据由编解码器引擎1516进行重新编码，由复用器/解复用器(MUXDMUX)1518进行复用并被转换成传输流，例如通过网络接口1519被提供至连接部1321、宽带调制解调器1333等，并且被传送至未示出的另一装置。
注意，例如，通过利用内部存储器1515和外部存储器1312来执行视频处理器1332内的各处理单元之间的图像数据和其他数据的交换。此外，例如，电力管理模块1313控制向控制单元1511的电力供应。
在将本技术应用于以这种方式配置的视频处理器1332的情况下，将根据上述实施方式的本技术应用于编解码器引擎1516就足够了。换言之，例如，编解码器引擎1516包括上述的图像编码装置100的功能或图像解码装置200的功能、或者这两者就足够了。通过这样的布置，视频处理器1332能够获得与上面参照图11至图32描述的各个实施方式的效果类似的效果。
注意，在编解码器引擎1516中，本技术(即，图像编码装置100的功能)可以通过诸如逻辑电路等硬件来实现，可以通过诸如嵌入式程序的软件来实现，或者可以通过硬件和软件这二者来实现。
以上示出了视频处理器1332的两种配置作为示例，但是视频处理器1332的配置可以是任何配置，并且可以是除了上述两个示例之外的配置。此外，视频处理器1332可以被配置为单个半导体芯片，但是也可以被配置为多个半导体芯片。例如，堆叠有多个半导体的三维堆叠的LSI芯片是可能的。此外，由多个LSI芯片实现的配置是可能的。
<应用于装置的示例>
可以将视频设备1300嵌入处理图像数据的各种类型的装置中的任一个中。例如，可以将视频设备1300嵌入电视装置900(图34)、移动电话920(图35)、记录/再现装置940(图36)、成像装置960(图37)等中。通过嵌入视频设备1300，装置能够获得与上面参照图11至图32描述的各个实施方式的效果类似的效果。
注意，只要包括视频处理器1332，甚至上述的视频设备1300的每个配置的一部分也可以被实现为应用本技术的配置。例如，可以仅将视频处理器1332实现为应用本技术的视频处理器。此外，例如，如上所述的由虚线1341示出的处理器、视频模块1311等可以被实现为应用本技术的处理器、模块等。此外，例如，还可以将视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314进行组合并将其实现为应用本技术的视频单元1361。利用这些配置中的任何配置，可以获得与以上参照图11至图32描述的各个实施方式的效果类似的效果。
换言之，类似于视频设备1300的情况，只要包括视频处理器1332，任何类型的配置都可以嵌入处理图像数据的各种类型的装置中的任一个中。例如，可以将视频处理器1332、由虚线1341示出的处理器、视频模块1311或者视频单元1361嵌入电视装置900(图34)、移动电话920(图35)、记录/再现装置940(图36)、成像装置960(图37)等中。此外，类似于视频设备1300，通过嵌入应用本技术的任何配置，装置能够获得与上面参照图11至图32描述的各个实施方式的效果类似的效果。
<第九应用示例>
此外，本技术还适用于包括多个装置的网络系统。图41示出了应用本技术的网络系统的示意性配置的一个示例。
图41所示的网络系统1600是其中设备通过网络彼此交换与图像(运动图像)有关的信息的系统。网络系统1600中的云服务1601是向可通信地连接至云服务1601的终端(诸如计算机1611、视听(AV)设备1612、便携式信息处理终端1613以及物联网(IoT)设备1614)提供与图像(运动图像)相关的服务的系统。例如，云服务1601如所谓的视频流传输(按需或实况流传输)一样向终端提供图像(运动图像)内容的服务。作为另一示例，云服务1601提供从终端接收和存储图像(运动图像)内容的备份服务。作为另一示例，云服务1601提供调解终端之间的图像(运动图像)内容的交换的服务。
云服务1601的物理配置可以是任何配置。例如，云服务1601可以包括各种服务器(诸如保存和管理运动图像的服务器、向终端输送运动图像的服务器、从终端获取运动图像的服务器、以及管理用户(终端)和支付的服务器)以及诸如因特网和LAN的任意网络。
例如，计算机1611包括诸如个人计算机、服务器或工作站的信息处理装置。例如，AV设备1612包括诸如电视接收器、硬盘记录器、游戏机和摄像装置的图像处理装置。例如，便携式信息处理终端1613包括诸如笔记本式个人计算机、平板式终端、移动电话或智能电话的便携式信息处理装置。例如，IoT设备1614包括执行图像相关处理的任何对象，诸如机器、电器、一件家具、一些其他东西、IC标签或卡形设备。这些终端都包括通信功能，并且能够与云服务1601连接(建立会话)并与云服务1601交换信息(即，进行通信)。此外，每个终端还能够与另一终端进行通信。终端之间的通信可以通过经由云服务1601来执行，或者可以在无需经由云服务1601情况下执行。
在将本技术应用于如上的网络系统1600并且在终端之间或者在终端与云服务1601之间交换图像(运动图像)数据时，可以如上面在每个实施方式中描述的那样对图像数据进行编码/解码。换言之，终端(从计算机1611至IoT设备1614)和云服务1601中的每一个均可以包括上述的图像编码装置100和图像解码装置200的功能。因此，接收图像数据的终端(从计算机1611到IoT设备1614)和云服务1601都可以获得与上面参照图11至图32描述的各个实施方式的效果相同的效果。
注意，关于编码数据(比特流)的各种信息可以被复用到要传送或记录的编码数据，或者可以在不被复用到编码数据的情况下作为与编码数据相关联的单独数据被传送或记录。在本文中使用的术语“与...相关联”在一个示例中意味着，当处理一个数据时可以使用(可链接)其他数据。换言之，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。在一个示例中，可以在与编码数据(图像)的传输路径不同的传输路径上传送与编码数据(图像)相关联的信息。此外，在一个示例中，可以将与编码数据(图像)相关联的信息记录在与编码数据(图像)的记录介质不同的记录介质(或相同记录介质的其他记录区域)上。此外，该术语“与...相关联”可以是数据的一部分，而不是整个数据。在一个示例中，可以以诸如多个帧、一个帧、帧内的一部分等的任何单位将图像和与该图像对应的信息彼此相关联。
此外，如上所述，在本文中，术语“组合”、“复用”、“附接”、“集成”、“包括”、“存储”、“推入”、“放入”、“插入”等意味着将多个对象组合成一个，例如将编码数据和元数据组合成单个数据项，这意味着上述的“与...相关联”的一种用法。
此外，说明书中描述的效果不是限制性的。即，本公开内容可以呈现其他效果。
此外，本公开内容的实施方式不限于上述实施方式，并且在不背离本公开内容的范围的情况下可以做出各种改变和变型。
此外，本技术还可以如下进行配置。
(1)一种图像处理装置，包括：
预测单元，其被配置成通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
(2)根据(1)所述的图像处理装置，其中，在以所述平移模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量对所述参考图像执行运动补偿
(3)根据(1)或(2)所述的图像处理装置，其中，在以所述仿射变换模式对所述参考图像执行运动补偿的情况下，所述预测单元通过基于两个运动矢量对所述参考图像执行所述仿射变换来执行运动补偿。
(4)根据(1)至(3)中任一项所述的图像处理装置，其中，在以所述平移旋转模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量和旋转角度对所述参考图像执行运动补偿。
(5)根据(1)至(3)中任一项所述的图像处理装置，其中，在以所述平移旋转模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量以及所述一个运动矢量与另一运动矢量在垂直方向上的差来对所述参考图像执行运动补偿。
(6)根据(5)所述的图像处理装置，其中，所述预测单元使用所述垂直方向上的差来获得所述一个运动矢量与所述另一运动矢量在水平方向上的差，并且基于所述一个运动矢量、所述垂直方向上的差和所述水平方向上的差来对所述参考图像执行运动补偿。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中，在以所述平移缩放模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量和缩放比率对所述参考图像执行运动补偿。
(8)根据(1)至(6)中任一项所述的图像处理装置，其中，在以所述平移缩放模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量以及所述一个运动矢量与另一运动矢量在水平方向上的差来对所述参考图像执行运动补偿。
(9)根据(1)至(8)中任一项所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述仿射变换模式、所述平移旋转模式或所述平移缩放模式的仿射变换信息。
(10)根据(1)至(8)中任一项所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述平移旋转模式或所述平移缩放模式的平移扩展信息。
(11)根据(1)至(8)中任一项所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述平移旋转模式的平移旋转信息。
(12)根据(1)至(8)中任一项所述的图像处理装置，其中，所述预测单元基于指示所述仿射变换模式、所述平移旋转模式或所述平移缩放模式的仿射变换信息，以所述仿射变换模式、所述平移旋转模式或所述平移缩放模式对所述参考图像执行运动补偿。
(13)根据(1)至(8)或(12)中任一项所述的图像处理装置，其中，所述预测单元基于指示所述平移旋转模式或所述平移缩放模式的平移扩展信息，以所述平移旋转模式或所述平移缩放模式对所述参考图像执行运动补偿。
(14)根据(1)至(8)、(12)或(13)中任一项所述的图像处理装置，其中，所述预测单元基于指示所述平移旋转模式的平移旋转信息，以所述平移旋转模式对所述参考图像执行运动补偿。
(15)一种图像处理方法，包括：
预测步骤，在预测步骤中，由图像处理装置通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
附图标记列表
100 图像编码装置
101 控制单元
119 预测单元
200 图像解码装置
216 预测单元

Claims (15)

1.一种图像处理装置，包括：
预测单元，其被配置成通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
2.根据权利要求1所述的图像处理装置，其中，在以所述平移模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量对所述参考图像执行运动补偿。
3.根据权利要求1所述的图像处理装置，其中，在以所述仿射变换模式对所述参考图像执行运动补偿的情况下，所述预测单元通过基于两个运动矢量对所述参考图像执行仿射变换来执行运动补偿。
4.根据权利要求1所述的图像处理装置，其中，在以所述平移旋转模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量和旋转角度对所述参考图像执行运动补偿。
5.根据权利要求1所述的图像处理装置，其中，在以所述平移旋转模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量以及所述一个运动矢量与另一运动矢量在垂直方向上的差来对所述参考图像执行运动补偿。
6.根据权利要求5所述的图像处理装置，其中，所述预测单元使用所述垂直方向上的差来获得所述一个运动矢量与所述另一运动矢量在水平方向上的差，并且基于所述一个运动矢量、所述垂直方向上的差和所述水平方向上的差来对所述参考图像执行运动补偿。
7.根据权利要求1所述的图像处理装置，其中，在以所述平移缩放模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量和缩放比率对所述参考图像执行运动补偿。
8.根据权利要求1所述的图像处理装置，其中，在以所述平移缩放模式对所述参考图像执行运动补偿的情况下，所述预测单元基于一个运动矢量以及所述一个运动矢量与另一运动矢量在水平方向上的差来对所述参考图像执行运动补偿。
9.根据权利要求1所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述仿射变换模式、所述平移旋转模式或所述平移缩放模式的仿射变换信息。
10.根据权利要求1所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述平移旋转模式或所述平移缩放模式的平移扩展信息。
11.根据权利要求1所述的图像处理装置，还包括：
设置单元，其被配置成设置指示所述平移旋转模式的平移旋转信息。
12.根据权利要求1所述的图像处理装置，其中，所述预测单元基于指示所述仿射变换模式、所述平移旋转模式或所述平移缩放模式的仿射变换信息，以所述仿射变换模式、所述平移旋转模式或所述平移缩放模式对所述参考图像执行运动补偿。
13.根据权利要求1所述的图像处理装置，其中，所述预测单元基于指示所述平移旋转模式或所述平移缩放模式的平移扩展信息，以所述平移旋转模式或所述平移缩放模式对所述参考图像执行运动补偿。
14.根据权利要求1所述的图像处理装置，其中，所述预测单元基于指示所述平移旋转模式的平移旋转信息，以所述平移旋转模式对所述参考图像执行运动补偿。
15.一种图像处理方法，包括：
预测步骤，在所述预测步骤中，由图像处理装置通过以下述模式中的一种模式对参考图像执行运动补偿来生成预测图像：通过平移来执行运动补偿的平移模式；通过仿射变换来执行运动补偿的仿射变换模式；通过平移和旋转来执行运动补偿的平移旋转模式；以及通过平移和缩放来执行运动补偿的平移缩放模式。
CN201780082525.6A 2017-01-13 2017-12-28 图像处理装置和图像处理方法 Withdrawn CN110169072A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2017003917 2017-01-13
JP2017-003917 2017-01-13
JP2017156505 2017-08-14
JP2017-156505 2017-08-14
PCT/JP2017/047288 WO2018131515A1 (ja) 2017-01-13 2017-12-28 画像処理装置及び画像処理方法

Publications (1)

Publication Number Publication Date
CN110169072A true CN110169072A (zh) 2019-08-23

Family

ID=62839720

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082525.6A Withdrawn CN110169072A (zh) 2017-01-13 2017-12-28 图像处理装置和图像处理方法

Country Status (4)

Country Link
US (1) US20190385276A1 (zh)
JP (1) JPWO2018131515A1 (zh)
CN (1) CN110169072A (zh)
WO (1) WO2018131515A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160636A1 (zh) * 2021-01-28 2022-08-04 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10630994B2 (en) * 2017-06-28 2020-04-21 Agora Lab, Inc. Specific operation prediction in video compression
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
CN117354541A (zh) * 2017-10-27 2024-01-05 松下电器（美国）知识产权公司 编码装置、解码装置、生成装置、发送装置和存储介质
US11057636B2 (en) 2018-09-17 2021-07-06 Qualcomm Incorporated Affine motion prediction
US10896494B1 (en) 2018-09-27 2021-01-19 Snap Inc. Dirty lens image correction
US11234007B2 (en) * 2019-01-05 2022-01-25 Tencent America LLC Method and apparatus for video coding
CN113508593A (zh) * 2019-02-27 2021-10-15 北京字节跳动网络技术有限公司 基于回退的运动矢量场的基于子块运动矢量推导

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6614472B2 (ja) * 2013-09-30 2019-12-04 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022160636A1 (zh) * 2021-01-28 2022-08-04 浙江智慧视频安防创新中心有限公司 视频编解码的方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPWO2018131515A1 (ja) 2019-11-07
WO2018131515A1 (ja) 2018-07-19
US20190385276A1 (en) 2019-12-19

Similar Documents

Publication Publication Date Title
CN110169072A (zh) 图像处理装置和图像处理方法
CN109691107A (zh) 图像处理装置和图像处理方法
CN109076226A (zh) 图像处理装置和方法
RU2667719C1 (ru) Устройство обработки изображения и способ обработки изображения
CN109804632A (zh) 图像处理装置和图像处理方法
CN105900424B (zh) 解码装置、解码方法、编码装置以及编码方法
JP6977719B2 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN109417621A (zh) 图像处理装置及方法
CN109792522A (zh) 图像处理装置和方法
CN105359522B (zh) 图像解码装置和方法
CN110169071A (zh) 图像处理装置和图像处理方法
CN109076242A (zh) 图像处理设备和方法
CN104620586B (zh) 图像处理装置和方法
CN110431843A (zh) 图像处理装置及方法
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN105594208A (zh) 解码装置、解码方法、编码装置以及编码方法
CN107683606B (zh) 图像处理装置和图像处理方法
CN109076217A (zh) 图像处理装置和图像处理方法
CN109691100A (zh) 图像处理设备和图像处理方法
WO2017183479A1 (ja) 符号化装置及び符号化方法、並びに、復号装置及び復号方法
CN105874801B (zh) 解码设备和解码方法、以及编码设备和编码方法
KR102477784B1 (ko) 화상 처리 장치 및 화상 처리 방법
CN110476427A (zh) 编码装置和编码方法以及解码装置和解码方法
WO2020008724A1 (ja) 画像処理装置、画像処理方法及びプログラム
CN110383836A (zh) 编码装置、编码方法、解码装置和解码方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190823

WW01 Invention patent application withdrawn after publication