CN110169071A - 图像处理装置和图像处理方法 - Google Patents

图像处理装置和图像处理方法 Download PDF

Info

Publication number
CN110169071A
CN110169071A CN201780082515.2A CN201780082515A CN110169071A CN 110169071 A CN110169071 A CN 110169071A CN 201780082515 A CN201780082515 A CN 201780082515A CN 110169071 A CN110169071 A CN 110169071A
Authority
CN
China
Prior art keywords
unit
image
size
block
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201780082515.2A
Other languages
English (en)
Inventor
近藤健治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Publication of CN110169071A publication Critical patent/CN110169071A/zh
Withdrawn legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/54—Motion estimation other than block-based using feature points or meshes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/537—Motion estimation other than block-based
    • H04N19/543—Motion estimation other than block-based using regions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本发明涉及一种在基于块的两个顶点的运动矢量生成具有块的预测图像时能够以高精度生成矩形块的预测图像的图像处理装置和图像处理方法。预测单元基于被布置在预测单元(PU)的纵向方向和横向方向中的具有最大尺寸的方向上的两个顶点的运动矢量来生成预测单元(PU)的预测图像。本发明可应用于使用基于两个运动矢量的仿射变换来执行运动补偿并执行帧间预测处理的图像编码装置等。

Description

图像处理装置和图像处理方法
技术领域
本公开内容涉及图像处理装置和图像处理方法，并且更具体地，涉及能够在基于块的两个顶点的运动矢量生成块的预测图像的情况下以高精度生成矩形块的预测图像的图像处理装置和图像处理方法。
背景技术
在搜索国际电信联盟电信标准化部门(ITU-T)的下一代视频编码的联合视频探索小组(JVET)中，已经设计了通过基于两个顶点的运动矢量对参考图像进行仿射变换来执行的帧间预测处理(仿射运动补偿(MC)预测)(例如，参见非专利文献1和2)。结果，在帧间预测处理时，可以生成其中形状变化例如画面之间的平移(平行移动)、旋转方向上的运动和缩放被补偿的预测图像。
此外，在JVET中，采用非专利文献3中描述的被称为四叉树加二叉树(QTBT)的技术作为用于形成编码单元(CU)的技术。因此，CU的形状可能不仅是正方形而且还可能是矩形。
引用列表
非专利文献
非专利文献1：Jianle Chen et al.,“Algorithm Description of JointExploration Test Model 4(JVET-C1001)”,JVET of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,2016年5月26日至六月1日
非专利文献2：Feng Zou,“Improved affine motion prediction(JVET-C0062)”,JVET of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,2016年5月26日至六月1日
非专利文献3：“EE2.1:Quadtree plus binary tree structure integrationwith JEM tools(JVET-C0024)”,JVET of ITU-T SG16WP3and ISO/IEC JTC1/SC29/WG11,2016年5月16日
发明内容
本发明要解决的问题
在预测单元(PU)是与CU相同的矩形块的情况下，如果基于PU的短边上的两个顶点的运动矢量来执行帧间预测处理中的仿射变换，则与基于长边上的两个顶点的运动矢量执行仿射变换的情况相比，由于运动矢量的误差导致的预测精度的劣化变大。
然而，尚未设计成依赖于于PU的形状来改变与在帧间预测处理的仿射变换中使用的两个运动矢量对应的顶点在PU中的位置。因此，在PU的形状是矩形的情况下，存在不能以高精度生成预测图像的情况。
鉴于这这样的情况做出了本公开内容，并且本发明的目的是能够在基于块的两个顶点的运动矢量生成块的预测图像的情况下以高精度生成矩形块的预测图像。
问题的解决方案
根据本公开内容的一个方面的图像处理装置是包括预测单元的图像处理装置，该预测单元基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成块的预测图像。
根据本公开内容的一个方面的图像处理方法对应于根据本公开内容的该方面的图像处理装置。
在本公开内容的该方面中，基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成块的预测图像。
本发明的效果
根据本公开内容的该方面，可以生成预测图像。此外，根据本公开内容的该方面，在基于块的两个顶点的运动矢量生成块的预测图像的情况下，可以高精度地生成矩形块的预测图像。
注意，此处描述的效果不必受限制，并且可以是本公开内容中描述的任何效果。
附图说明
图1是描述基于一个运动矢量执行运动补偿的帧间预测处理的图。
图2是描述基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理的图。
图3是描述基于两个运动矢量执行运动补偿的帧间预测处理的图。
图4是描述基于三个运动矢量执行运动补偿的帧间预测处理的图。
图5是描述基于三个运动矢量的仿射变换之前和之后的块的图。
图6是描述QTBT的图。
图7是描述针对矩形PU的基于两个运动矢量的帧间预测处理的图。
图8是描述针对矩形PU的基于其中已经发生误差的两个运动矢量的帧间预测处理的图。
图9是描述针对矩形PU的基于三个运动矢量的帧间预测处理的图。
图10是示出图像编码装置的实施方式的配置示例的框图。
图11是描述两条运动矢量信息的图。
图12是描述相邻矢量的图。
图13是示出其仿射标志被设置成1的CU的区域的示例。
图14是示出其仿射标志被设置成1的CU的区域的边界的示例的图。
图15是示出其仿射标志被设置成1的CU的区域的边界的另一示例的图。
图16是描述图像编码处理的流程图。
图17是描述帧间预测处理模式设置处理的第一示例的流程图。
图18是描述帧间预测处理模式设置处理的第二示例的流程图。
图19是描述合并仿射变换模式编码处理的流程图。
图20是描述AMVP仿射变换模式编码处理的流程图。
图21是描述仿射标志编码处理的流程图。
图22是示出图像编码装置的实施方式的配置示例的框图。
图23是描述图像解码处理的流程图。
图24是描述合并仿射变换模式解码处理的流程图。
图25是描述AMVP仿射变换模式解码处理的流程图。
图26是示出计算机的硬件的配置示例的框图。
图27是示出电视装置的示意性配置的示例的框图。
图28是示出移动电话的示意性配置的示例的框图。
图29是示出记录/再现装置的示意性配置的示例的框图。
图30是示出成像装置的示意性配置的示例的框图。
图31是示出视频设备的示意性配置的示例的框图。
图32是示出视频处理器的示意性配置的示例的框图。
图33是示出视频处理器的示意性配置的另一示例的框图。
图34是示出网络系统的示意性配置的示例的框图。
具体实施方式
在下文中，将描述本公开内容的前提和用于执行本公开内容的模式(在下文中称为实施方式)。注意，将按以下的顺序进行描述。
0.本公开内容的前提(图1至图9)
1.第一实施方式：图像处理装置(图10至图25)
2.第二实施方式：计算机(图26)
3.第三实施方式：电视装置(图27)
4.第四实施方式：移动电话(图28)
5.第五实施方式：记录/再现装置(图29)
6.第六实施方式：成像装置(图30)
7.第七实施方式：视频设备(图31至图33)
8.第八实施方式：网络系统(图34)
<本公开内容的前提>
(基于一个运动矢量执行运动补偿的帧间预测处理的描述)
图1是描述基于一个运动矢量执行运动补偿的帧间预测处理的图。
注意，在以下描述中，除非另外说明，否则图像(图片)的横向方向(水平方向)被定义为x方向，并且纵向方向(竖直方向)被定义为y方向。
如图1所示，在基于一个运动矢量执行运动补偿的帧间预测处理中，针对待预测的PU 11(当前块)确定一个运动矢量vc(vcx,vcy)。然后，在与包括PU 11的图片10的时间不同的时间处的参考图像中并且存在于与PU 11间隔运动矢量vc的位置处的与PU 11相同大小的块13经受基于运动矢量vc进行的平移，从而生成PU 11的预测图像。
换句话说，在基于一个运动矢量执行运动补偿的帧间预测处理中，不对参考图像执行仿射变换，并且生成其中仅画面之间的平移被补偿的预测图像。此外，两个参数vcx和vcy用于帧间预测处理。在高级视频编码(AVC)、高效视频编码(HEVC)等中采用这样的帧间预测处理。
(基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理的描述)
图2是描述基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理的图。
如图2所示，在基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理中，针对待预测的PU 11确定一个运动矢量vc(vcx,vcy)和旋转角度θ。然后，在与包括PU 11的图片10的时间不同的时间处的参考图像中并且存在于与PU 11间隔运动矢量vc的位置处且具有旋转角度θ的倾斜的与PU 11相同大小的块21，经受基于运动矢量vc和旋转角度θ进行的仿射变换，从而生成PU 11的预测图像。
换句话说，在基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理中，基于一个运动矢量和旋转角度对参考图像执行仿射变换。结果，生成其中画面之间的平移和旋转方向上的运动被补偿的预测图像。因此，与基于一个运动矢量执行运动补偿的帧间预测处理中的精度相比，提高了预测图像的精度。此外，三个参数vcx、vcy和θ用于帧间预测处理。
(基于两个运动矢量执行运动补偿的帧间预测处理的描述)
图3是描述基于两个运动矢量执行运动补偿的帧间预测处理的图。
如图3所示，在基于两个运动矢量执行运动补偿的帧间预测处理中，针对待预测的PU 31确定在PU 31的左上顶点A处的运动矢量v0(v0x,v0y)和在右上顶点B处的运动矢量v1(v1x,v1y)。
然后，在与包括PU 31的图片的时间不同的时间处的参考图像中并且以与顶点A间隔运动矢量v0的点A’作为左上顶点且与顶点B间隔运动矢量v1的点B’作为右上顶点的块32经受基于运动矢量v0和运动矢量v1的仿射变换，从而生成PU 31的预测图像。
具体地，PU 31被划分成预定大小的块(在下文中称为运动补偿单元块)。然后，基于运动矢量v0(v0x,v0y)和运动矢量v1(v1x,v1y)，通过下面的表达式(1)获得每个运动补偿单元块的运动矢量v(vx,vy)。
[表达式1]
注意，W是PU 31在x方向上的大小，并且H是PU 31在y方向上的大小。因此，在PU 31是正方形的情况下，W和H彼此相等。此外，x和y分别是运动补偿单元块在x方向和y方向上的位置。根据表达式(1)，基于运动补偿单元块的位置确定运动补偿单元块的运动矢量v。
然后，参考图像中的与每个运动补偿单元块间隔运动矢量v的与运动补偿单元块相同大小的块经受基于运动矢量v进行的平移，从而生成每个运动补偿单元块的预测图像。
如上面描述的，在基于两个运动矢量执行运动补偿的帧间预测处理中，基于两个运动矢量对参考图像执行仿射变换。结果，可以生成其中形状的变化被补偿的预测图像，形状的变化例如不仅是画面之间的平移和旋转方向上的运动，而且还有缩放。因此，与基于一个运动矢量和旋转角度执行运动补偿的帧间预测处理中的精度相比，提高了预测图像的精度。此外，四个参数v0x、v0y、v1x和v1y用于帧间预测处理。在联合勘探模型(JEM)参考软件中采用这样的帧间预测处理。
注意，基于两个运动矢量的仿射变换是其前提是仿射变换之前和之后的块是矩形的仿射变换。为了甚至在仿射变换之前和之后的块是除矩形之外的四边形的情况下执行仿射变换，需要三个运动矢量。
(基于三个运动矢量执行运动补偿的帧间预测处理的描述)
图4是描述基于三个运动矢量执行运动补偿的帧间预测处理的图。
如图4所示，在基于三个运动矢量执行运动补偿的帧间预测处理中，针对待预测的PU 31不仅确定运动矢量v0(v0x,v0y)和运动矢量v1(v1x,v1y)，而且还确定左下顶点C的运动矢量v2(v2x,v2y)。
然后，在与包括PU 31的图片的时间不同的时间处的参考图像中并且以与顶点A间隔运动矢量v0的点A’作为左上顶点、与顶点B间隔运动矢量v1的点B’作为右上顶点并且与顶点C间隔运动矢量v2的点C’作为左下顶点的块42经受基于运动矢量v0至V2的仿射变换，从而生成PU31的预测图像。
换句话说，在基于三个运动矢量执行运动补偿的帧间预测处理中，基于三个运动矢量对参考图像执行仿射变换。结果，块42经受如图5的A所示的平移、经受如图5的B所示的偏斜、经受如图5的C所示的旋转，或者经受如图5的D所示的缩放。
结果，生成其中形状变化被补偿的预测图像，形状变化例如画面之间的平移、旋转方向上的运动、缩放和偏斜。注意，在图5中，仿射变换之前的块42由实线表示，并且仿射变换之后的块42由虚线表示。
另一方面，在基于参照图3描述的两个运动矢量执行运动补偿的帧间预测处理中，对于预测图像，可以补偿形状的变化，例如画面之间的平移、旋转方向上的运动和缩放，但是不能补偿偏斜。因此，在基于三个运动矢量执行运动补偿的帧间预测处理中，与基于两个运动矢量执行运动补偿的帧间预测处理中的精度相比，提高了预测图像的精度。
然而，在基于三个运动矢量执行运动补偿的帧间预测处理中，六个参数v0x、v0y、v1x、v1y、v2x和v2y用于帧间预测处理。因此，与基于一个运动矢量和旋转角度或者两个运动矢量执行运动补偿的帧间预测处理中的参数的数量相比，用于帧间预测处理的参数的数量增加。因此，在使用仿射变换的帧间预测处理的预测精度的提高与开销的抑制之间存在折衷关系。
因此，在JVET中，已经设计了以下技术：该技术用于通过控制信号来切换基于两个运动矢量执行运动补偿的帧间预测处理和基于三个运动矢量执行运动补偿的帧间预测处理。
(QTBT的描述)
在诸如移动图片专家组2(MPEG2)(ISO/IEC 13818-2)或AVC的传统图像编码格式中，在称为宏块的处理单元中执行编码处理。宏块是具有16×16像素的均匀大小的块。另一方面，在HEVC中，在称为CU的处理单元(编码单元)中执行编码处理。CU是通过递归划分作为最大编码单元的最大编码单元(LCU)而形成的具有可变大小的块。可以选择的CU的最大大小是64×64像素。可以选择的CU的最小大小是8×8像素。最小大小的CU被称为最小编码单元(SCU)。注意，CU的最大大小不限于64×64像素，并且可以是更大的块大小例如128×128像素或256×256像素。
如上所述，作为采用具有可变大小的CU的结果，在HEVC中，可以依赖于图像的内容自适应地调整图像质量和编码效率。在被称为PU的处理单元中执行用于预测编码的预测处理。通过使用若干划分模式中的一种划分模式划分CU来形成PU。此外，PU包括针对每个亮度(Y)和色差(Cb，Cr)的被称为预测块(PB)的处理单元。此外，在被称为变换单元(TU)的处理单元中执行正交变换处理。通过将CU或PU划分至特定深度来形成TU。此外，PU包括针对每个亮度(Y)和色差(Cb，Cr)的被称为变换块(TB)的处理单元(变换块)。
在下文中，存在通过使用“块”作为图像(图片)的部分区域或处理单元(不是处理部分的块)来进行描述的情况。这种情况下的“块”表示图片中的任意部分区域，并且其大小、形状、特性等不受限制。也就是说，这种情况下的“块”包括任意部分区域(处理单元)，例如TB、TU、PB、PU、SCU、CU、LCU(CTB)、子块、宏块、图块、片等。
图6是描述在JVET中采用的QTBT的图。
在HEVC中，通过在水平方向和竖直方向上划分，一个块可以仅被划分成四(＝2×2)个子块。另一方面，在QTBT中，通过仅在水平方向或竖直方向中的一个方向上划分，一个块不仅可以划分成四(＝2×2)个子块，而且还可以划分成两(＝1×2，2×1)个子块。换句话说，在QTBT中，通过递归重复将一个块划分成四个或两个子块来执行CU的形成，并且结果是，以四叉树(四叉树)或二叉树(二叉树)的形式形成树结构。注意，在以下描述中，假设PU和TU与CU相同。
(针对矩形PU的基于两个运动矢量的帧间预测处理的描述)
图7和图8是每个均描述针对矩形PU的基于两个运动矢量的帧间预测处理的图。
在图7的示例中，待预测的PU 61是纵向伸长的矩形，其中y方向上的尺寸H与x方向上的尺寸W相比较大。在这种情况下，类似于图3的情况，如果对PU 61执行基于两个运动矢量执行运动补偿的帧间预测处理，则如图7所示，在与包括PU 61的图片的时间不同的时间处的参考图像中的块62经受基于运动矢量v0和运动矢量v1进行的仿射变换，从而生成PU 61的预测图像。注意，块62是以与顶点A间隔运动矢量v0的点A’作为左上顶点并且与顶点B间隔运动矢量v1的点B’作为右上顶点的块。
此处，如图8所示，在运动矢量v0中发生误差e0并且在运动矢量v1中发生误差e1时，参考图像中的块71经受基于运动矢量v0+e0和运动矢量v1+e1进行的仿射变换，从而生成PU61的预测图像。注意，块71是以与顶点A间隔运动矢量v0+e0的点A”作为左上顶点并且与顶点B间隔运动矢量v1+e1的点B”作为右上顶点的块。
PU 61的每个运动补偿块的运动矢量v的误差受到用于计算运动矢量v的运动矢量v0的误差e0和运动矢量v1的误差e1的影响。此外，随着距对应于运动矢量v0的顶点A和对应于运动矢量v1的顶点B的距离增加，影响更大。
此外，在图7和图8的示例中，由于顶点A和顶点B被布置在作为PU 61的短边方向的x方向上，因此顶点A与面向顶点A的顶点C之间的距离以及顶点B与面向顶点B的顶点D之间的距离大。
因此，块62与块71之间的偏差变大。因此，预测图像的精度降低，并且PU 61与预测图像之间的残差增加。结果，在通过量化未使经受正交变换的残差为零的情况下，包括量化之后的残差的编码流的编码效率降低。此外，在通过量化使经受正交变换的残差为零的情况下，预测图像的精度劣化，使得解码图像的图像质量劣化。
(针对矩形PU的基于三个运动矢量的帧间预测处理的描述)
图9是描述针对矩形PU的基于三个运动矢量的帧间预测处理的图。
在与图4的情况类似地对纵向伸长的矩形PU 61执行基于三个运动矢量执行运动补偿的帧间预测处理时，如图9所示，在与包括PU 61的图片的时间不同的时间处的参考图像中的块72经受基于运动矢量v0至v2进行的仿射变换，从而生成PU 61的预测图像。注意，块72是以与顶点A间隔运动矢量v0的点A’作为左上顶点、与顶点B间隔运动矢量v1的点B’作为右上顶点并且与顶点C间隔运动矢量v2的点C’作为左下顶点的块。
此处，如图9所示，在运动矢量v0至v3中分别发生误差e1至e2时，参考图像中的块73经受基于运动矢量v0+e0、v1+e1和v2+e2进行的仿射变换，从而生成PU 61的预测图像。注意，块73是以与顶点A间隔运动矢量v0+e0的点A”作为左上顶点、与顶点B间隔运动矢量v1+e1的点B”作为右上顶点并且与顶点C间隔运动矢量v2+e2的点C”作为左下顶点的块。
在这种情况下，通过运动矢量v2+e2，可以防止PU 61中的下侧运动补偿块的运动矢量v的误差如在图8的情况下变大。
然而，如上面所描述的，在基于三个运动矢量的帧间预测处理中，由于参数的数量是六，所以开销增加并且编码效率降低。因此，在本公开内容中，基于尺寸H与尺寸W之间的大小关系来改变与两个运动矢量对应的顶点的位置，从而提高基于两个运动矢量的帧间预测处理的预测精度。
<第一实施方式>
(图像编码装置的配置示例)
图10是示出作为应用本公开内容的图像处理装置的图像编码装置的实施方式的配置示例的框图。图10的图像编码装置100是对图像与其预测图像之间的预测残差进行编码例如AVC和HEVC的装置。例如，图像编码装置100实现HEVC技术和由JVET设计的技术。
注意，在图10中，示出了主要处理部分和数据流，并且图10中所示的那些不一定是全部。也就是说，在图像编码装置100中，可以存在未示为图10中的块的处理部分或者未示为图10中的箭头等的处理或数据流。
图10的图像编码装置100包括控制单元101、计算单元111、变换单元112、量化单元113、编码单元114、逆量化单元115、逆变换单元116、计算单元117、帧存储器118和预测单元119。图像编码装置100对作为帧基输入移动图像的图片上的每个CU执行编码。
具体地，图像编码装置100的控制单元101基于来自外部的输入、速率-失真优化(RDO)等来设置编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。
头信息Hinfo包括诸如视频参数集(VPS)、序列参数集(SPS)、图片参数集(PPS)、片头(SH)等的信息。例如，头信息Hinfo包括限定图像大小(横向宽度PicWidth、纵向宽度PicHeight)、比特深度(亮度bitDepthY、色差bitDepthC)、CU大小的最大值MaxCUSize/最小值MinCUSize等的信息。当然，头信息Hinfo的内容是任意的，并且除了上述示例之外的任何信息都可以被包括在头信息Hinfo中。
预测信息Pinfo包括例如划分标志，划分标志指示在形成PU(CU)时在每个划分层级中在水平方向或竖直方向上存在或不存在划分。此外，预测信息Pinfo包括针对每个PU的模式信息pred_mode_flag，模式信息pred_mode_flag指示PU的预测处理是帧内预测处理还是帧间预测处理。
在模式信息pred_mode_flag指示帧间预测处理的情况下，预测信息Pinfo包括合并标志、仿射标志、运动矢量信息、指定参考图像的参考图像指定信息等。合并标志是指示帧间预测处理的模式是合并模式还是AMVP模式的信息。合并模式是基于预测矢量来执行帧间预测处理的模式，预测矢量选自包括基于与待处理的PU相邻的编码相邻PU的运动矢量而生成的运动矢量(在下文中称为相邻矢量)的候选。AMVP模式是基于待处理的PU的运动矢量来执行帧间预测处理的模式。在指示模式是合并模式的情况下将合并标志设置成1，并且在指示模式是AMVP模式的情况下将合并标志设置成0。
仿射标志是指示在帧间预测处理中是以仿射变换模式还是以平移模式执行运动补偿的信息。平移模式是通过基于一个运动矢量平移参考图像来执行运动补偿的模式。仿射变换模式是通过基于两个运动矢量对参考图像进行仿射变换来执行运动补偿的模式。在指示以仿射变换模式执行运动补偿的情况下将仿射标志(多个矢量预测信息)设置成1，并且在指示以平移模式执行运动补偿的情况下将仿射标志(多个矢量预测信息)设置成0。
在合并标志被设置成1的情况下，运动矢量信息是从包括相邻矢量的候选中指定预测矢量的预测矢量信息，并且在合并标志被设置成0的情况下，运动矢量信息是预测矢量信息以及预测矢量与待处理的PU的运动矢量之间的差。此外，在仿射标志被设置成1的情况下，在预测信息Pinfo中包括两条运动矢量信息，并且在仿射标志被设置成0的情况下，包括一个运动矢量信息。
在模式信息pred_mode_flag指示帧内预测处理的情况下，预测信息Pinfo包括帧内预测模式信息等，帧内预测模式信息指示作为帧内预测处理的模式的帧内预测模式。当然，预测信息Pinfo的内容是任意的，并且除了上述示例之外的任何信息都可以被包括在预测信息Pinfo中。
变换信息Tinfo包括指示TB的大小的TBSize等。当然，变换信息Tinfo的内容是任意的，并且除了上述示例之外的任何信息都可以被包括在变换信息Tinfo中。
计算单元111顺序地将输入图片设置为待编码的图片，并且针对待编码的图片基于预测信息Pinfo的划分标志设置待编码的CU(PU、TU)。计算单元111通过从待编码的PU的图像I(当前块)中减去从预测单元119提供的PU的预测图像P(预测块)来获得预测残差D，并将预测残差D提供给变换单元112。
基于从控制单元101提供的变换信息Tinfo，变换单元112对从计算单元111提供的预测残差D执行正交变换等，并得到变换系数Coeff。变换单元112将变换系数Coeff提供给量化单元113。
基于从控制单元101提供的变换信息Tinfo，量化单元113缩放(量化)从变换单元112提供的变换系数Coeff，并得到量化变换系数水平level。量化单元113将量化变换系数水平level提供给编码单元114和逆量化单元115。
编码单元114使用预定方法对从量化单元113提供的量化变换系数水平level等进行编码。例如，编码单元114根据语法表中的定义将从控制单元101提供的编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和从量化单元113提供的量化变换系数水平level变换成相应语法元素的语法值。然后，编码单元114对每个语法值进行编码(例如，执行诸如基于上下文的自适应二进制算术编码(CABAC)的算术编码)。
编码单元114复用例如作为由于编码而获得的每个语法元素的比特串的编码数据，并输出复用数据作为编码流。
基于从控制单元101提供的变换信息Tinfo，逆量化单元115缩放(逆量化)从量化单元113提供的量化变换系数水平level的值，并且得到逆量化之后的变换系数Coeff_IQ。逆量化单元115将变换系数Coeff_IQ提供给逆变换单元116。由逆量化单元115执行的逆量化是由量化单元113执行的量化的逆处理，并是类似于在稍后描述的图像解码装置中执行的逆量化的处理。
基于从控制单元101提供的变换信息Tinfo，逆变换单元116对从逆量化单元115提供的变换系数Coeff_IQ执行逆正交变换等，并得到预测残差D’。逆变换单元116将预测残差D’提供给计算单元117。由逆变换单元116执行的逆正交变换是由变换单元112执行的正交变换的逆处理，并是类似于在稍后描述的图像解码装置中执行的逆正交变换的处理。
计算单元117将从逆变换单元116提供的预测残差D’和从预测单元119提供的与预测残差D’对应的预测图像P相加，以得到局部解码图像Rec。计算单元117将局部解码图像Rec提供给帧存储器118。
帧存储器118通过使用从计算单元117提供的局部解码图像Rec来基于图片重构解码图像，并将解码图像存储在帧存储器118中的缓冲器中。帧存储器118从缓冲器读取由预测单元119指定为参考图像的解码图像，并且将图像提供给预测单元119。此外，帧存储器118可以将关于解码图像的生成的头信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器118中的缓冲器中。
基于预测信息Pinfo的模式信息pred_mode_flag，预测单元119获取存储在帧存储器118中的与待编码的CU的时间相同的时间处的解码图像作为参考图像。然后，使用参考图像，预测单元119以由帧内预测模式信息指示的帧内预测模式对待编码的PU执行帧内预测处理。
此外，基于预测信息Pinfo的模式信息pred_mode_flag和参考图像指定信息，预测单元119获取存储在帧存储器118中的与待编码的CU的时间不同的时间处的解码图像作为参考图像。基于合并标志、仿射标志和运动矢量信息，预测单元119以平移模式或仿射变换模式对参考图像执行运动补偿，并以合并模式或AMVP模式对参考图像执行帧间预测处理。
预测单元119将作为帧内预测处理或帧间预测处理的结果而生成的待编码的PU的预测图像P提供给计算单元111和计算单元117。
(两个运动矢量信息的描述)
图11是描述由控制单元101基于RDO设置的两个运动矢量信息的图。
如图11的A所示，在待预测的PU 121是其中x方向上的尺寸W与y方向上的尺寸H相比较大的横向伸长的矩形的情况下，控制单元101基于RDO设置PU 121的左上顶点A的运动矢量v0和右上顶点B的运动矢量v1的运动矢量信息。换句话说，基于RDO，控制单元101设置被布置在x方向上的两个顶点A和B的运动矢量v0和v1的运动矢量信息，x方向是具有尺寸H和尺寸W中的较大尺寸W的一侧的方向。
因此，预测单元119基于与所设置的两个运动矢量信息对应的运动矢量v0和运动矢量v1，对在与PU 121的时间不同的时间处的参考图像中的块122执行仿射变换，从而生成PU 121的预测图像。注意，块122是以与顶点A间隔运动矢量v0的点A’作为左上顶点并且与顶点B间隔运动矢量v1的点B’作为右上顶点的块。
此处，如图11的A所示，当在运动矢量v0中发生误差e0并且在运动矢量v1中发生误差e1时，预测单元119基于运动矢量v0+e0和运动矢量v1+e1对参考图像中的块123执行仿射变换，从而生成PU 121的预测图像。注意，块123是以与顶点A间隔运动矢量v0+e0的点A”作为左上顶点并且与顶点B间隔运动矢量v1+e1的点B”作为右上顶点的块。
PU 121的每个运动补偿块的运动矢量v的误差受到用于计算运动矢量v的运动矢量v0的误差e0和运动矢量v1的误差e1的影响。此外，随着距对应于运动矢量v0的顶点A和对应于运动矢量v1的顶点B的距离增加，影响更大。
然而，在图11的A中，由于顶点A和顶点B被布置在作为PU 121的长边方向的x方向上，因此顶点A与面向顶点A的顶点C之间的距离以及顶点B与面向顶点B的顶点D之间的距离小。因此，与基于被布置在PU 121的短边方向上的顶点A和C的运动矢量执行仿射变换的情况相比，块122与块123之间的偏差变小。
另一方面，如图11的B所示，在待预测的PU 131是其中y方向上的尺寸H与x方向上的尺寸W相比较大的纵向伸长的矩形的情况下，控制单元101基于RDO设置PU 131的左上顶点A的运动矢量v0和左下顶点C的运动矢量v2的运动矢量信息。换句话说，基于RDO，控制单元101设置被布置在y方向上的两个顶点A和B的运动矢量v0和v2的运动矢量信息，y方向是具有尺寸W和尺寸H中的较大尺寸H的一侧的方向。
因此，预测单元119基于与所设置的两个运动矢量信息对应的运动矢量v0和运动矢量v2，对在与PU 131的时间不同的时间处的参考图像中的块132执行仿射变换，从而生成PU 131的预测图像。注意，块132是以与顶点A间隔运动矢量v0的点A’作为左上顶点并且与顶点C间隔运动矢量v2的点C’作为左下顶点的块。
此处，如图11的B所示，当在运动矢量v0中发生误差e0并且在运动矢量v2中发生误差e2时，预测单元119基于运动矢量v0+e0和运动矢量v2+e2对参考图像中的块133执行仿射变换，从而生成PU 131的预测图像。注意，块133是以与顶点A间隔运动矢量v0+e0的点A”作为左上顶点并且与顶点C间隔运动矢量v2+e2的点C”作为左下顶点的块。
在这种情况下，通过下面的表达式(2)获得PU 131的每个运动补偿块的运动矢量v(vx,vy)，并且运动矢量v的误差受到用于计算运动矢量v的运动矢量v0的误差e0和的运动矢量v2的误差e2的影响。此外，随着距对应于运动矢量v0的顶点A和对应于运动矢量v2的顶点C的距离增加，影响更大。
[表达式2]
然而，在图11的B中，由于顶点A和顶点C被布置在作为PU 131的长边方向的y方向上，因此顶点A与面向顶点A的顶点C之间的距离以及顶点C与面向顶点C的顶点D之间的距离小。因此，与基于被布置在PU 131的短边方向上的顶点A和B的运动矢量执行仿射变换的情况相比，块132与块133之间的偏差变小。
注意，在运动矢量v0至v2中不发生误差的情况下，通过基于运动矢量v0和运动矢量v1进行的仿射变换生成的预测图像和通过基于运动矢量v0和运动矢量v2进行的仿射变换生成的预测图像彼此相同。
(相邻矢量的描述)
图12是描述作为预测矢量的候选的相邻矢量的图。
预测单元119基于以顶点A作为顶点的PU 151的左上的作为编码PU的块a的运动矢量、上侧的作为编码PU的块b的运动矢量或者左侧的作为编码PU的块c的运动矢量来生成相邻矢量，该相邻矢量将是图12的待预测的PU 151中的左上顶点A的运动矢量v0的预测矢量pv0的候选。
此外，预测单元119基于以顶点B作为顶点的PU 151的上侧的作为编码PU的块d或者右上侧的作为编码PU的块e来生成相邻矢量，该相邻矢量将是PU 151中的右上顶点B的运动矢量v1的预测矢量pv1的候选。
预测单元119基于以顶点C作为顶点的PU 151的左侧的作为编码PU的块f或者左下侧的作为编码PU的块g来生成相邻矢量，该相邻矢量将是顶点C的运动矢量v2的预测矢量pv2的候选。注意，块a至g中的运动矢量每一个均是用于预测单元119中保持的块的一个运动矢量。
作为上述结果，存在用于生成相邻矢量的运动矢量的候选的12(＝3×2×2)个组合，相邻矢量将是预测矢量pv0至pv2的候选。预测单元119选择12个候选组合中的其中通过下面的表达式(3)获得的DV变成最小的组合作为要用于生成相邻矢量的运动矢量的组合，相邻矢量将是预测矢量pv0至pv2的候选者。
[表达式3]
DV＝|(v1x’-v0x’)H-(v2y’-V0y’)W|+|(v1y’-v0y’)H-(V2x’-v0x’)W|…(3)
注意，要用于生成预测矢量pv0的块a至c中的任何一个的在x方向和y方向上的运动矢量分别由v0x’和v0y’表示。要用于生成预测矢量pv1的块d和e中的任何一个的在x方向和y方向上的运动矢量分别由v1x’和v1y’表示。要用于生成预测矢量pv2的块f和g中的任何一个的在x方向和y方向上的运动矢量分别是v2x’和v2y’。
根据表达式(3)，在通过基于运动矢量v0’(v0x’,v0y’)至v2’(v2x’,v2y’)进行的仿射变换来执行除了偏斜之外的情况下，DV变小，其中通过基于两个运动矢量进行的仿射变换，偏斜是不可能的。
(仿射标志的编码的描述)
图13是示出其仿射标志被设置成1的CU(PU)的区域的示例。
注意，在图13中，图像170中的白色矩形每个均表示其仿射标志被设置成0的CU(PU)，并且阴影矩形每个均表示其仿射标志被设置成1的CU(PU)。此外，在图13中，为了便于观看附图，仅示出了图像170中的一些CU。
如图13所示，假设图像170中的其仿射标志被设置成1的CU(PU)的区域171共同存在。
因此，例如，如图14的A所示，在存在其中尺寸W与尺寸H相比较大的横向伸长的PU191的情况下，在与PU 191的x方向上的上侧的顶点A和顶点B相邻的块a至e的仿射标志被设置成1时，PU 191的下侧是区域171的边界192的可能性高。因此，PU 191的仿射标志被设置成1的可能性很高。
此外，如图14的B所示，在与PU 191的x方向上的下侧的顶点C相邻的块f和g中的仿射标志被设置成1时，PU 191的上侧是边界192的可能性高。因此，PU 191的仿射标志被设置成1的可能性高。
另一方面，如图15的A所示，在存在其中尺寸H与尺寸W相比较大的纵向伸长的PU193的情况下，在与PU 193的y方向上的左侧的顶点A和顶点C相邻的块a至c、f和g的仿射标志被设置成1时，PU 193的右侧是区域171的边界194的可能性高。因此，PU 193的仿射标志被设置成1的可能性高。
此外，如图15的B所示，在与PU 193的y方向上的右侧的顶点B相邻的块d和e中的仿射标志被设置成1时，PU 193的左侧是边界194的可能性高。因此，PU 193的仿射标志被设置成1的可能性高。
因此，编码单元114基于相邻PU的仿射标志是否被设置成1来切换PU的仿射标志的CABAC的概率模型的上下文，该相邻PU与具有PU(CU)的x方向上的尺寸W和y方向上的尺寸H中的较大尺寸的一侧的方向上的一侧的顶点相邻。
具体地，在使用CABAC对横向伸长的PU 191的仿射标志进行编码的情况下，当块a至e中的或者块f和g中的等于或大于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性高的上下文作为概率模型的上下文。
另一方面，在块a至e中的或者块f和g中的小于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性低的上下文作为概率模型的上下文。
此外，在使用CABAC对纵向伸长的PU 193的仿射标志进行编码的情况下，当块a至c、f和g中的或者块d和e中的等于或大于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性高的上下文作为概率模型的上下文。
另一方面，在块a至c、f和g中的或者块d和e中的小于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性低的上下文作为概率模型的上下文。
此外，在PU是正方形的情况下，在块a至e中的等于或大于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性高的上下文作为概率模型的上下文。
另一方面，在块a至e中的小于预定数量的块中的仿射标志被设置成1时，编码单元114使用仿射标志被设置成1的可能性低的上下文作为概率模型的上下文。
然后，在通过使用仿射标志被设置成1的可能性高的上下文作为概率模型的上下文来利用CABAC对仿射标志进行编码的情况下，编码单元114通过设置CABAC的概率模型使得为1的概率变高来执行编码。结果，与仿射标志被设置成0的情况下的编码量相比，仿射标志被设置成1的情况下的编码量变小。
此外，在通过使用仿射标志被设置成1的可能性低的上下文作为上下文来通过CABAC对仿射标志进行编码的情况下，编码单元114编码CABAC的概率模型使得为0的概率变高。结果，与仿射标志被设置成1的情况下的编码量相比，仿射标志被设置成0的情况下的编码量变小。
结果，编码单元114可以减少作为开销的仿射标志的编码量，并且提高编码效率。
注意，可以通过仿射标志被设置成1的块的数量来切换上下文，而不是依赖于其仿射标志被设置成1的块的数量是否等于或大于预定数量来进行切换。在这种情况下，例如，在CABAC的概率模型中为1的概率依赖于其仿射标志被设置成1的块的数量来改变。
此外，编码单元114可以切换要分配给仿射标志的编码(比特串)，而不是基于块a至g的仿射标志来切换CABAC的概率模型的上下文。
在这种情况下，编码单元114将要分配给被设置成1的仿射标志的编码的编码长度(比特长度)设置成与要分配给被设置成0的仿射标志的编码长度相比较短，而不是设置CABAC的概率模型使得为1的概率变高。此外，编码单元114将要分配给被设置成0的仿射标志的编码的编码长度(比特长度)设置成与要分配给被设置成1的仿射标志的编码码长度相比较短，而不是设置CABAC的概率模型使得为0的概率变高。
(图像处理装置的处理的描述)
图16是描述图10的图像编码装置100中的图像编码处理的流程图。
在图16的步骤S11中，控制单元101基于来自外部的输入、RDO等设置编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)。控制单元101将设置的编码参数提供给每个块。
在步骤S12中，预测单元119确定预测信息Pinfo的模式信息pred_mode_flag是否指示帧间预测处理。在步骤S12中确定指示帧间预测处理的情况下，在步骤S13中，预测单元119确定预测信息Pinfo的合并标志是否被设置成1。
在步骤S13中确定合并标志被设置成1的情况下，在步骤S14中，预测单元119确定预测信息Pinfo的仿射标志是否被设置成1。在步骤S14中确定仿射标志被设置成1的情况下，处理进行到步骤S15。
在步骤S15中，预测单元119执行合并仿射变换模式编码处理，该合并仿射变换模式编码处理通过使用通过以仿射变换模式执行运动补偿而生成的预测图像P并且以合并模式执行帧间预测处理，来对待编码的图像I进行编码。将参照如稍后描述的图19描述合并仿射变换模式编码处理的细节。在完成合并仿射变换模式编码处理之后，图像编码处理完成。
另一方面，在步骤S14中确定仿射标志未被设置成1的情况下，换句话说，在仿射标志被设置成0的情况下，处理进行到步骤S16。
在步骤S16中，预测单元119执行合并模式编码处理，该合并模式编码处理通过使用通过以平移模式执行运动补偿而生成的预测图像P并且以合并模式执行帧间预测处理，来对待编码的图像I进行编码。在完成合并模式编码处理之后，图像编码处理完成。
此外，在步骤S13中确定合并标志未被设置成1的情况下，换句话说，在合并标志被设置成0的情况下，在步骤S17中，预测单元119确定预测信息Pinfo的仿射标志是否被设置成1。在步骤S17中确定仿射标志被设置成1的情况下，处理进行到步骤S18。
在步骤S18中，预测单元119执行AMVP仿射变换模式编码处理，该AMVP仿射变换模式编码处理通过使用通过以仿射变换模式执行运动补偿而生成的预测图像P并且以AMVP模式执行帧间预测处理，来对待编码的图像I进行编码。将参照如稍后描述的图20来描述AMVP仿射变换模式编码处理的细节。在完成AMVP仿射变换模式编码处理之后，图像编码处理完成。
另一方面，在步骤S17中确定仿射标志未被设置成1的情况下，换句话说，在仿射标志被设置成0的情况下，处理进行到步骤S19。
在步骤S19中，预测单元119执行AMVP模式编码处理，该AMVP模式编码处理通过使用通过以平移模式执行运动补偿而生成的预测图像P并且以AMVP模式执行帧间预测处理，来对待编码的图像I进行编码。在完成AMVP模式编码处理之后，图像编码处理完成。
此外，在步骤S12中确定未指示帧间预测处理的情况下，换句话说，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行到步骤S20。
在步骤S20中，预测单元119执行帧内编码处理，该帧内编码处理通过使用通过帧内预测处理生成的预测图像P来对待编码的图像I进行编码。然后，完成图像编码处理。
图17是描述图16的步骤S11中的处理中的设置合并标志和仿射标志的帧间预测处理模式设置处理的第一示例的流程图。例如，基于PU(CU)执行帧间预测处理模式设置处理。
在图17的步骤S41中，控制单元101控制每个块以针对除成为候选的合并标志和仿射标志之外的每个预测信息Pinfo对待处理的PU(CU)执行合并模式编码处理，并且计算RD成本JMRG。注意，RD成本的计算基于作为编码的结果而获得的生成比特量(编码量)、解码图像的误差平方和(SSE)等来执行。
在步骤S42中，控制单元101控制每个块以针对除成为候选的合并标志和仿射标志之外的每个预测信息Pinfo对待处理的PU(CU)执行AMVP模式编码处理，并且计算RD成本JAMVP。
在步骤S43中，控制单元101控制每个块以针对除成为候选的合并标志和仿射标志之外的每个预测信息Pinfo对待处理的PU(CU)执行合并仿射变换模式编码处理，并且计算RD成本JMRGAFFINE。
在步骤S44中，控制单元101控制每个块以针对除成为候选的合并标志和仿射标志之外的每个预测信息Pinfo对待处理的PU(CU)执行AMVP仿射变换模式编码处理，并且计算RD成本JAMVPAFFINE。
在步骤S45中，控制单元101确定RD成本JMRG是否是RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的。
在步骤S45中确定RD成本JMRG最小的情况下，在步骤S46中，控制单元101将待处理的PU的合并标志设置成1，并且将仿射标志设置成0。然后，帧间预测处理模式设置处理完成。
在步骤S45中确定RD成本JMRG不是最小的情况下，处理进行到步骤S47。在步骤S47中，控制单元101确定RD成本JAMVP是否是RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的。
在步骤S47中确定RD成本JAMVP最小的情况下，在步骤S48中，控制单元101将待处理的PU的合并标志和仿射标志设置成0，并且完成帧间预测处理模式设置处理。
另一方面，在步骤S47中确定RD成本JAMVP不是最小的情况下，处理进行到步骤S49。在步骤S49中，控制单元101确定RD成本JMRGAFFINE是否是RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的。
在步骤S49中确定RD成本JMRGAFFINE最小的情况下，在步骤S50中，控制单元101将待处理的PU的合并标志和仿射标志设置成1，并且完成帧间预测处理模式设置处理。
另一方面，在步骤S49中确定RD成本JMRGAFFINE不是最小的情况下，换句话说，在RD成本JAMVPAFFINE是RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的情况下，处理进行到步骤S51。在步骤S51中，控制单元101将待处理的PU的合并标志设置成0，并且将仿射标志设置成1。然后，帧间预测处理模式设置处理完成。
图18是描述图16的步骤S11中的处理中的设置合并标志和仿射标志的帧间预测处理模式设置处理的第二示例的流程图。例如，基于PU(CU)执行帧间预测处理模式设置处理。
由于图18的步骤S71和S72中的处理类似于图17的步骤S41和S42中的处理，因此将省略描述。
在步骤S73中，控制单元101确定待处理的PU的y方向上的尺寸H与x方向上的尺寸W相比是否较小。在步骤S73中确定尺寸H与尺寸W相比较小的情况下，换句话说，在待处理的PU的形状是横向伸长的矩形的情况下，处理进行到步骤S74。
在步骤S74中，控制单元101确定与待处理的PU相邻的块a至e中的或者块f和g中的等于或大于预定数量的块中的仿射标志是否被设置成1。
在步骤S74中确定块a至e中的或者块f和g中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性高，并且使处理前进到步骤S78。
另一方面，在步骤S73中确定尺寸H与尺寸W相比不小的情况下，处理进行到步骤S75。在步骤S75中，控制单元101确定待处理的PU的y方向上的尺寸H与x方向上的尺寸W相比是否较大。在步骤S75中确定尺寸H与尺寸W相比较大的情况下，换句话说，在待处理的PU的形状是纵向伸长的矩形的情况下，处理进行到步骤S76。
在步骤S76中，控制单元101确定与待处理的PU相邻的块a至c、f和g中的或者块d和e中的等于或大于预定数量的块中的仿射标志是否被设置成1。
在步骤S76中确定块a至c、f和g中的或者块d和e中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性高。然后，控制单元101使处理前进到步骤S78。
另一方面，在步骤S75中确定尺寸H与尺寸W相比不大的情况下，换句话说，在尺寸H和尺寸W彼此相同的情况下，处理进行到步骤S77。在步骤S77中，控制单元101确定与待处理的PU相邻的块a至g中的等于或大于预定数量的块中的仿射标志是否被设置成1。
在步骤S77中确定块a至g中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性高，并且使处理前进到步骤S78。
由于步骤S78和S79中的处理类似于图17的步骤S43和S44中的处理，因此将省略描述。在步骤S79的处理之后，处理进行到步骤S80。
在步骤S74中确定块a至e中的或者块f和g中的小于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性低。然后，控制单元101跳过步骤S78和S79，并使处理前进到步骤S80。
此外，在步骤S76中确定块a至c、f和g中的或者块d和e中的小于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性低。然后，控制单元101跳过步骤S78和S79，并使处理前进到步骤S80。
此外，在步骤S77中确定块a至g中的小于预定数量的块中的仿射标志被设置成1的情况下，控制单元101确定待处理的PU的仿射标志被设置成1的可能性低。然后，控制单元101跳过步骤S78和S79，并使处理前进到步骤S80。
在步骤S80中，控制单元101确定RD成本JMRG是否是所计算的RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的或者RD成本JMRG和JAMVP中最小的。
在步骤S80中确定RD成本JMRG最小的情况下，在步骤S81中，控制单元101将待处理的PU的合并标志设置成1，并且将仿射标志设置成0。然后，帧间预测处理模式设置处理完成。
在步骤S80中确定RD成本JMRG不是最小的情况下，处理进行到步骤S82。在步骤S82中，控制单元101确定RD成本JAMVP是否是所计算的RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的或者RD成本JMRG和JAMVP中最小的。
在步骤S82中确定RD成本JAMVP最小的情况下，在步骤S83中，控制单元101将待处理的PU的合并标志和仿射标志设置成0，并且完成帧间预测处理模式设置处理。
另一方面，在步骤S82中确定RD成本JAMVP不是最小的情况下，处理进行到步骤S84。在步骤S84中，控制单元101确定RD成本JMRGAFFINE是否是所计算的RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的或者RD成本JMRG和JAMVP中最小的。
在步骤S84中确定RD成本JMRGAFFINE最小的情况下，在步骤S85中，控制单元101将待处理的PU的合并标志和仿射标志设置成1，并且完成帧间预测处理模式设置处理。
另一方面，在步骤S84中确定RD成本JMRGAFFINE不是最小的情况下，换句话说，RD成本JAMVPAFFINE是所计算的RD成本JMRG、JAMVP、JMRGAFFINE和JAMVPAFFINE中最小的或者RD成本JMRG和JAMVP中最小的情况下，处理进行到步骤S86。在步骤S86中，控制单元101将待处理的PU的合并标志设置成0，并且将仿射标志设置成1。然后，帧间预测处理模式设置处理完成。
如上所描述的，在图18的帧间预测处理模式设置处理中，假设如参照图13描述的其仿射标志被设置成1的PU的区域共同存在于图像中，并且仅在等于或大于预定数量的与待处理的PU相邻的块中的仿射标志被设置成1的情况下，执行步骤S78和S79的处理。因此，与图17的帧间预测处理模式设置处理相比，可以减少计算量。
图19是描述合并仿射变换模式编码处理的流程图。例如，基于CU(PU)执行合并仿射变换模式编码处理。
在图19的步骤S101中，预测单元119确定待处理的PU的尺寸H与尺寸W相比是否较大。在步骤S101中确定待处理的PU的尺寸H与尺寸W相比较大的情况下，换句话说，在待处理的PU的形状是纵向伸长的矩形的情况下，处理进行到步骤S102。
在步骤S102中，预测单元119基于预测矢量信息确定预测矢量pv0和预测矢量pv2。具体地，在预测矢量信息是指定相邻矢量的信息的情况下，预测单元119基于保存的块a至g的运动矢量，来计算要用于生成相邻矢量以作为预测矢量pv0至pv2的运动矢量的所有组合的DV。然后，预测单元119通过使用其中DV变为最小的运动矢量的组合来确定预测矢量pv0和预测矢量pv2。然后，处理进行到步骤S104。
另一方面，在步骤S101中确定待处理的PU的尺寸H与尺寸W相比不大的情况下，换句话说，在待处理的PU的形状是正方形或横向伸长的矩形的情况下，处理进行到步骤S103。
在步骤S103中，预测单元119基于预测矢量信息确定预测矢量pv0和预测矢量pv1。具体地，在预测矢量信息是指定相邻矢量的信息的情况下，预测单元119基于保存的块a至g的运动矢量，来计算要用于生成相邻矢量以作为预测矢量pv0至pv2的运动矢量的所有组合的DV。然后，预测单元119通过使用其中DV变为最小的运动矢量的组合来确定预测矢量pv0和预测矢量pv1。然后，处理进行到步骤S104。
注意，在尺寸H与尺寸W相同的情况下，换句话说，在待处理的PU的形状是正方形的情况下，预测单元119可以执行步骤S102的处理，而不是步骤S103的处理。
在步骤S104中，预测单元119通过使用在步骤S102或S103中确定的每个预测矢量作为待处理的PU的运动矢量，来通过上述表达式(1)或(2)计算每个运动补偿块的运动矢量v。
具体地，在步骤S102中确定预测矢量pv0和预测矢量pv2的情况下，预测单元119使用预测矢量pv0作为运动矢量v0并且使用预测矢量pv2作为运动矢量v2，并且通过表达式(2)计算矢量v。
另一方面，在步骤S103中确定预测矢量pv0和预测矢量pv1的情况下，预测单元119使用预测矢量pv0作为运动矢量v0并且使用预测矢量pv1作为运动矢量v1，并且通过表达式(1)计算运动矢量v。
在步骤S105中，预测单元119针对每个运动补偿块基于运动矢量v来平移由存储在帧存储器118中的参考图像指定信息指定的参考图像的块，从而对参考图像执行仿射变换。预测单元119将经过通过仿射变换进行的运动补偿的参考图像作为预测图像P提供给计算单元111和计算单元117。
在步骤S106中，计算单元111计算图像I与预测图像P之间的差异作为预测残差D，并将该差异提供给变换单元112。与原始图像I相比，以这种方式获得的预测残差D的数据量减小。因此，与直接编码图像I的情况相比，可以压缩数据量。
在步骤S107中，变换单元112基于从控制单元101提供的变换信息Tinfo对从计算单元111提供的预测残差D执行正交变换等，并得到变换系数Coeff。变换单元112将变换系数Coeff提供给量化单元113。
在步骤S108中，量化单元113基于从控制单元101提供的变换信息Tinfo来缩放(量化)从变换单元112提供的变换系数Coeff，并得到量化变换系数水平level。量化单元113将量化变换系数水平level提供给编码单元114和逆量化单元115。
在步骤S109中，基于从控制单元101提供的变换信息Tinfo，逆量化单元115对从量化单元113提供的量化变换系数水平level进行逆量化，其量化特性对应于步骤S108中的量化的特性。逆量化单元115将得到的变换系数Coeff_IQ提供给逆变换单元116。
在步骤S110中，基于从控制单元101提供的变换信息Tinfo，逆变换单元116利用与步骤S107中的正交变换等对应的方法对从逆量化单元115提供的变换系数Coeff_IQ执行逆正交变换等，并得到预测残差D'。
在步骤S111中，计算单元117将通过步骤S110中的处理得到的预测残差D'与从预测单元119提供的预测图像P相加，从而生成局部解码图像Rec。
在步骤S112中，帧存储器118通过使用通过步骤S111中的处理获得的局部解码图像Rec来基于图片重构解码图像，并将解码图像存储在帧存储器118中的缓冲器中。
在步骤S113中，编码单元114利用预定方法对通过图16的步骤S11中的处理设置的编码参数和通过步骤S108中的处理获得的量化变换系数水平level进行编码。编码单元114对获得的编码数据进行复用，并将数据作为编码流输出到图像编码装置100的外部。例如，编码流经由传输线或记录介质传输到解码侧。
完成步骤S113中的处理后，合并仿射变换模式编码处理完成。
图20是描述AMVP仿射变换模式编码处理的流程图。例如，基于CU(PU)执行AMVP仿射变换模式编码处理。
由于图20的步骤S131至S133类似于图19的步骤S101至S103中的处理，因此将省略描述。
在步骤S134中，预测单元119将在步骤S132或S133中确定的每个预测矢量与对应于预测矢量的运动矢量信息中的差值相加在一起，并计算待处理的PU的运动矢量。
具体地，在步骤S132中确定预测矢量pv0和预测矢量pv2的情况下，预测单元119将预测矢量pv0和运动矢量信息中的预测矢量pv0与待处理的PU的运动矢量之间的差值dv0相加在一起。然后，预测单元119将作为相加结果而获得的运动矢量设置为待处理的PU的运动矢量v0。此外，预测单元119将预测矢量pv2和运动矢量信息中的预测矢量pv2与待处理的PU的运动矢量之间的差值dv2相加在一起，并且将获得的运动矢量设置为待处理的PU的运动矢量v2。
另一方面，在步骤S133中确定预测矢量pv0和预测矢量pv1的情况下，预测单元119将预测矢量pv0和差值dv0相加在一起，并且将获得的运动矢量设置为待处理的PU的运动矢量v0。此外，预测单元119将预测矢量pv1和运动矢量信息中的预测矢量pv1与待处理的PU的运动矢量之间的差值dv1相加在一起，并且将获得的运动矢量设置为待处理的PU的运动矢量v1。
在步骤S135中，预测单元119通过使用在步骤S134中计算的待处理的PU的运动矢量，来通过上述表达式(1)或(2)计算每个运动补偿块的运动矢量v。
具体地，在步骤S134中确定运动矢量v0和运动矢量v2的情况下，预测单元119通过使用运动矢量v0和运动矢量v2来通过表达式(2)计算运动矢量v。
另一方面，在步骤S134中确定运动矢量v0和运动矢量v1的情况下，预测单元119通过使用运动矢量v0和运动矢量v1来通过表达式(1)计算运动矢量v。
由于步骤S136至S144中的处理类似于图19的步骤S105至S113中的处理，因此将省略描述。
图21是描述图19的步骤S113和图20的步骤S144中的处理中的对仿射标志进行编码的仿射标志编码处理的流程图。
由于除了由编码单元114而不是预测单元119执行处理之外，图21的步骤S161和S162中的处理类似于图18的步骤S73和S74中的处理，因此将省略描述。
在步骤S162中确定块a至e中的或者块f和g中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性高。然后，编码单元114使处理前进到步骤S163。
在步骤S163中，编码单元114通过使用仿射标志被设置成1的可能性高的上下文作为概率模型的上下文来利用CABAC对仿射标志进行编码，并且完成仿射标志编码处理。
另一方面，在步骤S161中确定尺寸H不比尺寸W小的情况下，处理进行到步骤S164。由于除了由编码单元114而不是控制单元101执行处理之外，步骤S164至S166的处理类似于图18的步骤S75至S77，因此将省略描述。
在步骤S165中确定块a至c、f和g中的或者块d和e中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性高。然后，编码单元114使处理前进到步骤S163。
此外，在步骤S166中确定块a至g中的等于或大于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性高。然后，编码单元114使处理前进到步骤S163。
另一方面，在步骤S162中确定块a至e中的或者块f和g中的小于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性低。然后，编码单元114使处理前进到步骤S167。
此外，在步骤S165中确定块a至c、f和g中的或者块d和e中的小于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性低。然后，编码单元114使处理前进到步骤S167。
此外，在步骤S166中确定块a至g中的小于预定数量的块中的仿射标志被设置成1的情况下，编码单元114确定待处理的PU的仿射标志被设置成1的可能性低。然后，编码单元114使处理前进到步骤S167。
在步骤S167中，编码单元114通过使用仿射标志被设置成1的可能性低的上下文作为上下文来利用CABAC对仿射标志进行编码，并且完成仿射标志编码处理。
如上面描述的，在执行通过仿射变换进行的帧间预测处理的情况下，图像编码装置100基于被布置在具有PU的x方向上的尺寸W和y方向上的尺寸H中的较大尺寸的一侧的方向上的顶点的两个运动矢量，来生成PU的预测图像P。结果是，可以抑制在矩形PU的顶点的运动矢量中产生的误差对预测图像P的精度的影响。
结果是，可以高精度地生成矩形PU的预测图像P。因此，在量化变换系数水平level不为零的情况下，可以减少量化变换系数水平level的信息量，并且可以提高编码效率。此外，在量化变换系数水平level为零的情况下，可以提高解码图像的图像质量。
此外，由于图像编码装置100基于两个运动矢量执行仿射变换，因此与基于三个运动矢量执行仿射变换的情况相比，可以减少开销并且可以提高编码效率。
(图像解码装置的配置示例)
图22是示出作为应用本技术的图像处理装置的图像解码装置的实施方式的配置示例的框图，其对由图10的图像编码装置100生成的编码流进行解码。图22的解码装置200通过与图像编码装置100中的编码方法对应的解码方法来对由图像编码装置100生成的编码流进行解码。例如，图像解码装置200实现为HEVC设计的技术和由JVET设计的技术。
注意，在图22中，示出了主要处理部分、数据流等，并且图22中所示的那些不一定是全部。也就是说，在图像解码装置200中，可以存在未示为图22中的块的处理部分或者未示为图22中的箭头等的处理或数据流。
图22的图像解码装置200包括解码单元211、逆量化单元212、逆变换单元213、计算单元214、帧存储器215和预测单元216。针对每个CU，图像编码装置100对由图像解码装置100生成的编码流进行解码。
具体地，图像解码装置200的解码单元211利用与编码单元114中的编码方法对应的预定解码方法对由图像编码装置100生成的编码流进行解码。例如，解码单元211根据语法表中的定义对来自编码流的比特串的编码参数(头信息Hinfo、预测信息Pinfo、变换信息Tinfo等)和量化变换系数水平level进行解码。解码单元211基于编码参数中包括的划分标志来划分LCU，并且将与每个量化变换系数水平level对应的CU顺序地设置为待解码的CU(PU、TU)。
解码单元211将编码参数提供给每个块。例如，解码单元211将预测信息Pinfo提供给预测单元216，将变换信息Tinfo提供给逆量化单元212和逆变换单元213，并将头信息Hinfo提供给每个块。此外，解码单元211将量化变换系数水平level提供给逆量化单元212。
基于从解码单元211提供的变换信息Tinfo，逆量化单元212缩放(逆量化)从解码单元211提供的量化变换系数水平level的值，并且得到变换系数Coeff_IQ。逆量化是由图像编码装置100的量化单元113(图10)执行的量化的逆处理。注意，逆量化单元115(图10)执行类似于由逆量化单元212进行的逆量化的逆量化。逆量化单元212将获得的变换系数Coeff_IQ提供给逆变换单元213。
逆变换单元213基于从解码单元211提供的变换信息Tinfo等对从逆量化单元212提供的变换系数Coeff_IQ执行逆正交变换等，并得到预测残差D’。逆正交变换是由图像编码装置100的变换单元112(图10)执行的正交变换的逆处理。注意，逆变换单元116执行与由逆变换单元213进行的逆正交变换类似的逆正交变换。逆变换单元213将获得的预测残差D’提供给计算单元214。
计算单元214将从逆变换单元213提供的预测残差D’和与预测残差D’对应的预测图像P相加在一起，以得到局部解码图像Rec。计算单元214通过使用获得的局部解码图像Rec来针对每个图片重构解码图像，并且将获得的解码图像输出至图像解码装置200的外部。此外，计算单元214将局部解码图像Rec提供给帧存储器215。
帧存储器215通过使用从计算单元214提供的局部解码图像Rec来针对每个图片重构解码图像，并将解码图像存储在帧存储器215中的缓冲器中。帧存储器215从缓冲器中读取由预测单元216指定的解码图像作为参考图像，并将图像提供给预测单元216。此外，帧存储器215可以将关于解码图像的生成的头信息Hinfo、预测信息Pinfo、变换信息Tinfo等存储在帧存储器215中的缓冲器中。
基于预测信息Pinfo的模式信息pred_mode_flag，预测单元216获取存储在帧存储器215中的与待编码的CU的时间相同的时间处的解码图像作为参考图像。然后，使用参考图像，预测单元216以由帧内预测模式信息指示的帧内预测模式对待编码的PU执行帧内预测处理。
此外，基于预测信息Pinfo的模式信息pred_mode_flag和参考图像指定信息，预测单元216获取存储在帧存储器215中的与待编码的CU的时间不同的时间处的解码图像作为参考图像。类似于图10的预测单元119，基于合并标志、仿射标志和运动矢量信息，预测单元216对参考图像以平移模式或仿射变换模式执行运动补偿，并且以合并模式或AMVP模式执行帧间预测处理。预测单元216将作为帧内预测处理或帧间预测处理的结果而生成的预测图像P提供给计算单元214。
(图像解码装置的处理)
图23是描述图22的图像解码装置200中的图像解码处理的流程图。
在步骤S201中，解码单元211对提供给图像解码装置200的编码流进行解码，并获得编码参数和量化变换系数水平level。解码单元211将编码参数提供给每个块。此外，解码单元211将量化变换系数水平level提供给逆量化单元212。
在步骤202中，解码单元211基于编码参数中包括划分标志来划分LCU，并且将与每个量化变换系数水平level对应的CU设置为待解码的CU(PU、TU)。针对待解码的每个CU(PU、TU)执行稍后描述的步骤S203至S211中的处理。
由于除了由预测单元216而不是预测单元119执行处理之外，步骤S203至S205的处理类似于图16的步骤S12至S14的处理，因此将省略描述。
在步骤S205中确定仿射标志被设置成1的情况下，处理进行到步骤S206。在步骤S206中，预测单元216执行合并仿射变换模式解码处理，该合并仿射变换模式解码处理通过使用通过以仿射变换模式执行运动补偿而生成的预测图像P并且以合并模式执行帧间预测处理，来对待解码的图像进行解码。将参照如稍后描述的图24来描述合并仿射变换模式解码处理的细节。在完成合并仿射变换模式解码处理之后，图像解码码处理完成。
另一方面，在步骤S205中确定仿射标志未被设置成1的情况下，换句话说，在仿射标志被设置成0的情况下，处理进行到步骤S207。在步骤S207中，预测单元216执行合并模式解码处理，该合并模式解码处理通过使用通过以平移模式执行运动补偿而生成的预测图像P并且以合并模式执行帧间预测处理，来对待解码的图像进行解码。在完成合并模式解码处理之后，图像解码处理完成。
此外，在步骤S204中确定合并标志未被设置成1的情况下，换句话说，在合并标志被设置成0的情况下，在步骤S208中，预测单元216确定预测信息Pinfo的仿射标志是否被设置成1。在步骤S208中确定仿射标志被设置成1的情况下，处理进行到步骤S209。
在步骤S209中，预测单元216执行AMVP仿射变换模式解码处理，该AMVP仿射变换模式解码处理通过使用通过以仿射变换模式执行运动补偿而生成的预测图像P并且以AMVP模式执行帧间预测处理，来对待解码的图像进行解码。将参照如稍后描述的图25来描述AMVP仿射变换模式解码处理的细节。在完成AMVP仿射变换模式解码处理之后，图像解码处理完成。
另一方面，在步骤S208中确定仿射标志未被设置成1的情况下，换句话说，在仿射标志被设置成0的情况下，处理进行到步骤S210。
在步骤S210中，预测单元216执行AMVP模式解码处理，该AMVP模式解码处理通过使用通过以平移模式执行运动补偿而生成的预测图像P并且以AMVP模式执行帧间预测处理，来对待解码的图像进行解码。在完成AMVP模式解码处理之后，图像解码处理完成。
此外，在步骤S203中确定未指示帧间预测处理的情况下，换句话说，在模式信息pred_mode_flag指示帧内预测处理的情况下，处理进行到步骤S211。
在步骤S211中，预测单元216执行帧内解码处理，该帧内解码处理通过使用通过帧内预测处理生成的预测图像P来对待解码的图像进行解码。然后，完成图像解码处理。
图24是描述图23的步骤S206中的合并仿射变换模式解码处理的流程图。
在步骤S231中，逆量化单元212对通过图23的步骤S201中的处理而获得的量化变换系数水平level进行逆量化，以得到变换系数Coeff_IQ。逆量化是在图像编码处理的步骤S108(图19)中执行的量化的逆处理，并且是与在图像编码处理的步骤S109(图19)中执行的逆量化类似的处理。
在步骤S232中，逆变换单元213对在步骤S231的处理中获得的变换系数Coeff_IQ执行逆正交变换等，并得到预测残差D’。逆正交变换是在图像编码处理的步骤S107(图19)中执行的正交变换的逆处理，并且是与在图像编码处理的步骤S110(图19)中执行的逆正交变换类似的处理。
由于除了由预测单元216而不是预测单元119执行处理之外，步骤S233至S237的处理类似于图19的步骤S101至S105中的处理，因此将省略描述。
在步骤S238中，计算单元214将从逆变换单元213提供的预测残差D’与从预测单元216提供的预测图像P相加，并得到局部解码图像Rec。计算单元214通过使用获得的局部解码图像Rec来针对每个图片重构解码图像，并且将获得的解码图像输出至图像解码装置200的外部。此外，计算单元214将局部解码图像Rec提供给帧存储器215。
在步骤S239中，帧存储器215通过使用从计算单元214提供的局部解码图像Rec来针对每个图片重构解码图像，并将解码图像存储在帧存储器215中的缓冲器中。然后，处理返回到图23的步骤S206，并且完成图像解码处理。
图25是描述图23的步骤S209中的AMVP仿射变换模式解码处理的流程图。
由于图25的步骤S251和S252中的处理类似于图24的步骤S231和S232中的处理，因此将省略描述。
由于除了由预测单元216而不是预测单元119执行处理之外，步骤S253至S258中的处理类似于图20的步骤S131至S136中的处理，因此将省略描述。
由于步骤S259和S260中的处理类似于图24的步骤S238和S239中的处理，因此将省略描述。
如上面描述的，在执行通过仿射变换进行的帧间预测处理的情况下，图像解码装置200基于被布置在具有PU的x方向上的尺寸W和y方向上的尺寸H中的较大尺寸的一侧的方向上的顶点的两个运动矢量，来生成PU的预测图像P。因此，可以抑制在矩形PU的顶点的运动矢量中产生的误差对预测图像P的精度的影响。结果是，可以高精度地生成矩形PU的预测图像P。
注意，在图像编码装置100和图像解码装置200执行帧内-BC预测处理而不是帧内预测处理或帧间预测处理的情况下，可以与帧间预测处理中的运动补偿类似地执行帧内BC预测处理中的运动补偿。
<第二实施方式>
(应用本公开内容的计算机的描述)
上述一系列处理步骤可以通过硬件执行或者可以通过软件执行。在通过软件执行一系列处理步骤的情况下，在计算机中安装构成软件的程序。此处，计算机包括结合在专用硬件中的计算机，以及能够通过安装各种程序执行各种功能的计算机例如通用个人计算机等。
图26是示出通过程序执行上述一系列处理步骤的计算机的硬件的配置示例的框图。
在计算机800中，中央处理单元(CPU)801、只读存储器(ROM)802和随机存取存储器(RAM)803通过总线804彼此连接。
此外，输入/输出接口810连接至总线804。输入/输出接口810连接至输入单元811、输出单元812、存储单元813、通信单元814以及驱动器815。
输入单元811包括键盘、鼠标、麦克风等。输出单元812包括显示器、扬声器等。存储单元813包括硬盘、非易失性存储器等。通信单元814包括网络接口等。驱动器815驱动可移除介质821例如磁盘、光盘、磁光盘或半导体存储器。
在如上所述配置的计算机800中，例如，CPU 801经由输入/输出接口810和总线804将存储在存储单元813中的程序加载到RAM 803，以执行上述一系列处理步骤。
由计算机800(CPU 801)执行的程序可以通过例如将程序记录在作为封装介质的可移除介质821等中来提供。此外，可以经由有线或无线传输介质例如局域网、因特网或数字卫星广播来提供程序。
在计算机800中，可以通过将可移除介质821安装至驱动器815，经由输入/输出接口810将程序安装到存储单元813。此外，可以通过经由有线或无线传输介质利用通信单元814进行接收来将程序安装到存储单元813。此外，可以将程序预先安装到ROM 802和存储单元813。
注意，由计算机800执行的程序可以是通过其按照本文描述的顺序按时间序列来执行处理的程序，并且可以是通过其并行地或在必要的定时例如执行调用时执行处理的程序。
<第三实施方式>
图27示出了应用上述实施方式的电视装置的示意性配置的示例。电视装置900包括天线901、调谐器902、解复用器903、解码器904、视频信号处理单元905、显示单元906、音频信号处理单元907、扬声器908、外部接口(I/F)单元909、控制单元910、用户接口(I/F)单元911和总线912。
调谐器902从经由天线901接收到的广播信号提取期望信道的信号，并且对所提取的信号进行解调。然后，调谐器902将通过解调而获得的编码比特流输出至解复用器903。换句话说，调谐器902在电视装置900中扮演传输单元的角色，该传输单元接收其中图像被编码的编码流。
解复用器903从编码比特流中分离要观看的节目的视频流和音频流，并且将分离后的流输出至解码器904。此外，解复用器903从编码比特流中提取辅助数据例如电子节目指南(EPG)，并且将所提取的数据提供给控制单元910。注意，在编码比特流被加扰的情况下，解复用器903可以执行解扰。
解码器904对从解复用器903输入的视频流和音频流进行解码。然后，解码器904将通过解码处理生成的视频数据输出至视频信号处理单元905。此外，解码器904将通过解码处理生成的音频数据输出至音频信号处理单元907。
视频信号处理单元905再现从解码器904输入的视频数据，并且使显示单元906显示视频。此外，视频信号处理单元905可以使显示单元906显示经由网络提供的应用画面。此外，视频信号处理单元905可以根据设置对视频数据执行附加处理例如噪声去除等。此外，视频信号处理单元905可以生成诸如菜单、按钮、光标等的图形用户界面(GUI)的图像，并将生成的图像叠加在输出图像上。
显示单元906由从视频信号处理单元905提供的驱动信号驱动，并且将视频或图像显示在显示装置(例如，液晶显示器、等离子体显示器、或有机电致发光显示器(OELD)(有机EL显示器)等)的视频面上。
音频信号处理单元907对从解码器904输入的音频数据执行诸如D/A转换和放大的再现处理，并且从扬声器908输出音频。此外，音频信号处理单元907可以对音频数据执行另外的处理，例如噪声移除。
外部接口单元909是用于将电视装置900连接至外部装置或网络的接口。例如，经由外部接口单元909接收的视频流或音频流可以由解码器904进行解码。换句话说，外部接口单元909在电视装置900中也扮演传输单元的角色，该传输单元接收其中图像被编码的编码流。
控制单元910包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据、EPG数据、经由网络获取的数据等。例如，在激活电视装置900时由CPU读取并执行由存储器存储的程序。CPU执行程序，从而根据从例如用户接口单元911输入的操作信号来控制电视装置900的操作。
用户接口单元911连接至控制单元910。用户接口单元911包括例如用于用户操作电视装置900的按钮和开关、远程控制信号的接收单元等。用户接口单元911检测用户经由这些部件的操作、生成操作信号并将生成的操作信号输出至控制单元910。
总线912将调谐器902、解复用器903、解码器904、视频信号处理单元905、音频信号处理单元907、外部接口单元909以及控制单元910彼此连接。
在如上所述配置的电视装置900中，解码器904可以具有上述图像解码装置200的功能。也就是说，解码器904可以利用上述每个实施方式中描述的方法对编码数据进行解码。通过这样做，电视装置900可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
此外，在如上所述配置的电视装置900中，视频信号处理单元905可以对例如从解码器904提供的图像数据进行编码，并且所获得的编码数据可以经由外部接口单元909输出到电视装置900的外部。然后，视频信号处理单元905可以具有上述图像编码装置100的功能。也就是说，视频信号处理单元905可以使用在上述每个实施方式中描述的方法对从解码器904提供的图像数据进行编码。通过这样做，电视装置900可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
<第四实施方式>
图28示出了应用上述实施方式的移动电话的示意性配置的示例。移动电话920包括天线921、通信单元922、音频编解码器923、扬声器924、麦克风925、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930、控制单元931、操作单元932以及总线933。
天线921连接至通信单元922。扬声器924和麦克风925连接至音频编解码器923。操作单元932连接至控制单元931。总线933将通信单元922、音频编解码器923、摄像装置单元926、图像处理单元927、解复用单元928、记录/再现单元929、显示单元930和控制单元931彼此连接。
移动电话920在包括音频呼叫模式、数据通信模式、摄影模式和视频电话模式的各种操作模式下，执行诸如音频信号的发送/接收、电子邮件或图像数据的发送/接收、图像的成像和数据的记录的操作。
在音频呼叫模式下，将通过麦克风925生成的模拟音频信号提供给音频编解码器923。音频编解码器923将模拟音频信号转换成音频数据，并且对经转换的音频数据执行A/D转换，以及压缩数据。然后，音频编解码器923将经压缩的音频数据输出至通信单元922。通信单元922对音频数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，以获取接收信号。然后，通信单元922对接收信号进行解调和解码以生成音频数据，并且将生成的音频数据输出至音频编解码器923。音频编解码器923对音频数据执行解压缩和D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。
此外，在数据通信模式下，例如，控制单元931根据用户经由操作单元932的操作来生成构成电子邮件的字符数据。此外，控制单元931使显示单元930显示字符。此外，控制单元931响应于来自用户的经由操作单元932的发送指令生成电子邮件数据，并将生成的电子邮件数据输出到通信单元922。通信单元922对电子邮件数据进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，以获取接收信号。然后，通信单元922对接收信号进行解调和解码以恢复电子邮件数据，并将恢复的电子邮件数据输出至控制单元931。控制单元931使显示单元930显示电子邮件的内容，并且还将电子邮件数据提供给记录/再现单元929以将电子邮件数据写入其存储介质中。
记录/再现单元929包括任意可读且可写的存储介质。例如，存储介质可以是内置存储介质例如RAM和闪存，或者可以是外部储介质例如硬盘、磁盘、磁光盘、光盘、通用串行总线(USB)存储器和存储卡。
此外，在摄影模式下，例如，摄像装置单元926对对象进行成像以生成图像数据，并且将所生成的图像数据输出至图像处理单元927。图像处理单元927对从摄像装置单元926输入的图像数据进行编码，将编码流提供给记录/再现单元929以将编码流写入其存储介质中。
此外，在图像显示模式中下，记录/再现单元929读取记录在存储介质中的编码流，并且将该流输出至图像处理单元927。图像处理单元927对从记录/再现单元929输入的编码流进行解码，并且向显示单元930提供图像数据以显示图像。
此外，在视频电话模式下，例如，解复用单元928对通过图像处理单元927编码的视频流与从音频编解码器923输入的音频流进行复用，并且将复用的流输出至通信单元922。通信单元922对流进行编码和调制以生成发送信号。然后，通信单元922经由天线921将生成的发送信号发送至基站(未示出)。此外，通信单元922对经由天线921接收的无线电信号执行放大和频率转换，以获取接收信号。这些发送信号和接收信号可以包括编码比特流。然后，通信单元922对接收信号进行解调和解码以恢复流，并且将已恢复的流输出至解复用单元928。解复用单元928从输入的流中分离视频流和音频流，并且将视频流输出至图像处理单元927并且将音频流输出至音频编解码器923。图像处理单元927对视频流进行解码以生成视频数据。视频数据被提供给显示单元930，并且显示单元930显示一系列图像。音频编解码器923对音频流执行解压缩和D/A转换，以生成模拟音频信号。然后，音频编解码器923将所生成的音频信号提供给扬声器924以输出音频。
在如上所述配置的移动电话920中，例如，图像处理单元927可以具有上述图像编码装置100的功能。也就是说，图像处理单元927可以使用在上述每个实施方式中描述的方法对图像数据进行编码。通过这样做，移动电话920可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
此外，在如上所述配置的移动电话920中，例如，图像处理单元927可以具有上述图像解码装置200的功能。也就是说，图像处理单元927可以使用在上述每个实施方式中描述的方法对编码数据进行解码。通过这样做，移动电话920可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
<第五实施方式>
图29示出了应用了上述实施方式的记录/再现装置的示意性配置的示例。记录/再现装置940对例如接收到的广播节目的音频数据和视频数据进行编码，并且将编码数据记录在记录介质中。此外，记录/再现装置940可以对例如从另一装置获取的音频数据和视频数据进行编码，并将编码数据记录在记录介质中。此外，记录/再现装置940例如响应于来自用户的指令，在监视器和扬声器上再现记录在记录介质中的数据。此时，记录/再现装置940对音频数据和视频数据进行解码。
记录/再现装置940包括调谐器941、外部接口(I/F)单元942、编码器943、硬盘驱动器(HDD)单元944、盘驱动器945、选择器946、解码器947、屏幕上显示(OSD)单元948、控制单元949以及用户接口(I/F)单元950。
调谐器941从经由天线(未示出)接收到的广播信号中提取期望的信道的信号，并且对所提取的信号进行解调。然后，调谐器941将通过解调而获得的编码比特流输出至选择器946。换句话说，调谐器941在记录/再现装置940中扮演传输单元的角色。
外部接口单元942是用于将记录/再现装置940连接至外部装置或网络的接口。外部接口单元942可以是例如电气和电子工程师协会(IEEE)1394接口、网络接口、USB接口、闪存接口等。例如，经由外部接口单元942接收的视频数据和音频数据被输入至编码器943。换句话说，外部接口单元942在记录/再现装置940中扮演传输单元的角色。
在未对从外部接口单元942输入的视频数据和音频数据编码的情况下，编码器943对视频数据和音频数据进行编码。然后，编码器943将编码比特流输出至选择器946。
HDD单元944将编码比特流、各种程序和其他数据记录在内部硬盘中，在该编码比特流中诸如视频数据和音频数据的内容数据被压缩。此外，在再现视频和音频时，HDD单元944从硬盘读取这些数据。
盘驱动器945对安装的记录介质执行数据的记录和读取。安装在盘驱动器945上的记录介质可以是例如数字通用盘(DVD)盘(DVD-视频、DVD-随机存取存储器(DVD-RAM)、DVD-可记录(DVD-R)、DVD-可重写(DVD-RW)、DVD+可记录(DVD+R)、DVD+可重写(DVD+RW)等)或蓝光(注册商标)盘等。
在记录视频和音频时，选择器946选择从调谐器941或编码器943输入的编码比特流，并将所选择的编码比特流输出到HDD单元944或盘驱动器945。此外，在再现视频和音频时，选择器946将从HDD单元944或盘驱动器945输入的编码比特流输出到解码器947。
解码器947对编码比特流进行解码以生成视频数据和音频数据。然后，解码器947将生成的视频数据输出至OSD单元948。此外，解码器947将所生成的音频数据输出至外部扬声器。
OSD单元948再现从解码器947输入的视频数据并且显示视频。此外，OSD单元948可以在要显示的视频上叠加诸如菜单、按钮、光标等的GUI图像。
控制单元949包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在激活记录/再现装置940时，由CPU读取并执行由存储器存储的程序。CPU执行程序，从而根据从例如用户接口单元950输入的操作信号来控制记录/再现装置940的操作。
用户接口单元950连接至控制单元949。用户接口单元950包括例如用于用户操作记录/再现装置940的按钮和开关、远程控制信号的接收单元等。用户接口单元950检测用户经由这些部件的操作、生成操作信号并将生成的操作信号输出至控制单元949。
在如上所述配置的记录/再现装置940中，例如，编码器943可以具有上述图像编码装置100的功能。也就是说，编码器943可以通过在上述每个实施方式中描述的方法对图像数据进行编码。通过这样做，记录/再现装置940可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
此外，在如上所述配置的记录/再现装置940中，例如，解码器947可以具有上述图像解码装置200的功能。也就是说，解码器947可以利用上述每个实施方式中描述的方法对编码数据进行解码。通过这样做，记录/再现装置940可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
<第六实施方式>
图30示出了应用了上述实施方式的成像装置的示意性配置的示例。成像装置960对对象进行成像以生成图像，对图像数据进行编码，以及将编码的图像数据记录在记录介质中。
成像装置960包括光学块961、成像单元962、信号处理单元963、图像处理单元964、显示单元965、外部接口(I/F)单元966、存储器单元967、介质驱动器968、OSD单元969、控制单元970、用户接口(I/F)单元971以及总线972。
光学块961连接至成像单元962。成像单元962连接至信号处理单元963。显示单元965连接至图像处理单元964。用户接口单元971连接至控制单元970。总线972将图像处理单元964、外部接口单元966、存储器单元967、介质驱动器968、OSD单元969和控制单元970彼此互连。
光学块961包括聚焦透镜、光圈机构等。光学块961在成像单元962的成像面上形成对象的光学图像。成像单元962包括图像传感器例如电荷耦合器件(CCD)或互补金属氧化物半导体(CMOS)图像传感器，以及通过光电转换将形成在成像面上的光学图像转换成图像信号作为电信号。然后，成像单元962将该图像信号输出至信号处理单元963。
信号处理单元963对从成像单元962输入的图像信号执行各种类型的摄像装置信号处理，例如拐点校正、伽马校正和颜色校正。信号处理单元963将摄像装置信号处理之后的图像数据输出至图像处理单元964。
图像处理单元964对从信号处理单元963输入的图像数据进行编码以生成编码数据。然后，图像处理单元964将生成的编码数据输出至外部接口单元966或介质驱动器968。此外，图像处理单元964对从外部接口单元966或介质驱动器968输入的编码数据进行解码以生成图像数据。然后，图像处理单元964将生成的图像数据输出至显示单元965。此外，图像处理单元964可以将从信号处理单元963输入的图像数据输出至显示单元965以显示图像。此外，图像处理单元964可以将从OSD单元969获取的显示数据叠加到待输出至显示单元965的图像上。
OSD单元969生成诸如菜单、按钮或光标等的GUI图像，并且将所生成的图像输出至图像处理单元964。
外部接口单元966被配置为例如USB输入/输出端子。在打印图像时，外部接口单元966例如将成像装置960和打印机连接在一起。此外，根据需要将驱动器连接至外部接口单元966。例如，可移除介质例如磁盘或光盘被安装在驱动器中，并且从可移除介质读取的程序可以被安装在成像装置960中。此外，外部接口单元966可以被配置为连接至网络例如LAN或因特网的网络接口。换句话说，外部接口单元966在成像装置960中扮演传输单元的角色。
安装在介质驱动器968中的记录介质例如可以是任意可读写的可移除介质，例如磁盘、磁光盘、光盘、半导体存储器等。此外，记录介质可以固定地安装到介质驱动器968，并且例如，可以配置非便携式存储单元，例如内置硬盘驱动器或固态驱动器(SSD)。
控制单元970包括诸如CPU的处理器以及诸如RAM和ROM的存储器。存储器存储由CPU执行的程序、程序数据等。例如，在激活成像装置960时由CPU读取并执行由存储器存储的程序。CPU执行程序，从而根据从例如用户接口单元971输入的操作信号来控制成像装置960的操作。
用户接口单元971连接至控制单元970。用户接口单元971包括例如用于用户操作成像装置960的按钮、开关等。用户接口单元971检测用户经由这些部件的操作、生成操作信号并将生成的操作信号输出至控制单元970。
在如上所述配置的成像装置960中，例如，图像处理单元964可以具有上述图像编码装置100的功能。也就是说，图像处理单元964可以使用在上述每个实施方式中描述的方法对图像数据进行编码。通过这样做，成像装置960可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
此外，在如上所述配置的成像装置960中，例如，图像处理单元964可以具有上述图像解码装置200的功能。也就是说，图像处理单元964可以使用在上述每个实施方式中描述的方法对编码数据进行解码。通过这样做，成像装置960可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
<第七实施方式>
此外，本技术还可以被实现为要安装在构成任意装置或系统的装置上的任何配置，所述任意装置或系统例如作为系统大规模集成(LSI)等的处理器、使用多个处理器等的模块、使用多个模块等的单元、其中还向该单元添加其他功能的设备等(换句话说，装置的一部分的配置)。图31示出了应用本技术的视频设备的示意性配置的示例。
近年来，电子装置的多功能化已经取得进展，并且在电子装置的一部分的配置被实现为在电子装置的开发和制造中进行销售、提供等的情况下，不仅通常看到实现为具有一个功能的配置的情况，而且还通常看到通过组合相关功能实现为具有多个功能的一个设备的情况。
图31中所示的视频设备1300具有这样的多功能化配置，其中具有与图像的编码和解码相关的功能(该功能可以与编码和解码中的任一者或两者相关)的装置与具有与该功能相关的其他功能的装置结合。
如图31所示，视频设备1300包括模块组例如视频模块1311、外部存储器1312、电力管理模块1313和前端模块1314以及具有相关功能的装置例如连接器1321、摄像装置1322和传感器1323。
模块是具有联合功能的部件，其中彼此相关的若干功能的部件联合在一起。虽然具体的物理配置是任意的，但是例如，可以想到这样的配置：其中每个均具有功能的多个处理器、诸如电阻器和电容器的电子电路元件、另一装置等被布置在布线板等上以集成在一起。此外，还想到将模块与另一模块、处理器等组合以形成新模块。
在图31的示例的情况下，视频模块1311是具有与图像处理有关的功能的配置的组合，并且包括应用处理器、视频处理器、宽带调制解调器1333和RF模块1334。
处理器是例如其中每个均具有预定功能的配置通过片上系统(SoC)集成在半导体芯片上并且一些被称为系统大规模集成(LSI)等的部件。具有预定功能的配置可以是逻辑电路(硬件配置)，可以是CPU、ROM、RAM等以及使用它们执行的程序(软件配置)，或者可以是两者的组合。例如，处理器可以包括逻辑电路、CPU、ROM、RAM等，一些功能可以通过逻辑电路(硬件配置)来实现，并且其他功能可以通过在CPU中执行的程序(软件配置)来实现。
图31中的应用处理器1331是执行与图像处理有关的应用的处理器。为了实现预定功能，在应用处理器1331中执行的应用不仅可以执行算术处理，还可以根据需要执行对视频模块1311内部和外部的部件例如视频处理器1332等的控制。
视频处理器1332是具有与图像的编码和解码(中的一者或两者)相关的功能的处理器。
宽带调制解调器1333通过数字调制等对要通过经由诸如因特网或公共电话线网络等的宽带线路执行的有线或无线(或两者)宽带通信来传输的数据(数字信号)执行转换以转换成模拟信号，并且通过解调对通过宽带通信接收的模拟信号转换以转换成数据(数字信号)。宽带调制解调器1333处理任意信息，例如由视频处理器1332处理的图像数据、其中图像数据被编码的流、应用程序、设置数据等。
RF模块1334是对经由天线发送或接收的射频(RF)信号执行频率转换、调制/解调、放大、滤波处理等的模块。例如，RF模块1334对由宽带调制解调器1333生成的基带信号执行频率转换等以生成RF信号。此外，例如，RF模块1334对经由前端模块1314接收到的RF信号执行频率转换等以生成基带信号。
注意，如由图31中的虚线1341所指示的，可以将应用处理器1331和视频处理器1332集成以形成一个处理器。
外部存储器1312是被设置在视频模块1311的外部并且包括由视频模块1311使用的存储装置的模块。外部存储器1312的存储装置可以通过任何物理配置来实现，但是通常，存储装置通常是用于存储大容量数据例如基于帧的图像数据，使得期望存储装置由相对便宜且大容量的半导体存储器例如动态随机存取存储器(DRAM)来实现。
电力管理模块1313管理并控制向视频模块1311(视频模块1311中的每个部件)的电力供应。
前端模块1314是向RF模块1334提供前端功能(在天线侧的发送/接收端的电路)的模块。如图31所示，前端模块1314包括例如天线单元1351、滤波器1352以及放大单元1353。
天线单元1351包括发送和接收无线电信号的天线及其外围部件。天线单元1351将从放大单元1353提供的信号作为无线电信号进行发送，并将接收的无线电信号作为电信号(RF信号)提供给滤波器1352。滤波器1352对经由天线单元1351接收的RF信号执行滤波处理等，并且将处理后的RF信号提供给RF模块1334。放大单元1353放大从RF模块1334提供的RF信号，并且向天线单元1351提供信号。
连接器1321是具有关于与外部连接的功能的模块。连接器1321的物理配置是任意的。例如，连接部1321包括：具有除了由宽带调制解调器1333支持的通信标准之外的通信功能的部件；外部输入/输出端子等。
例如，连接器1321可以包括具有符合无线通信标准例如蓝牙(注册商标)、IEEE802.11(例如，无线保真(Wi-Fi)(注册商标))、近场通信(NFC)或红外数据关联(IrDA)的通信功能的模块；发送和接收符合该标准的信号的天线等。此外，例如，连接器1321可以包括：具有符合有线通信标准例如通用串行总线(USB)或高清晰度多媒体接口(HDMI)(注册商标)的通信功能的模块；或者符合标准的端子。此外，例如，连接器1321可以具有另外的数据(信号)传输功能，例如模拟输入/输出端子。
注意，连接器1321可以包括向其发送数据(信号)的装置。例如，连接器1321可以包括驱动器(不仅包括可移除介质驱动器，而且还包括硬盘、固态驱动器(SSD)、网络附加存储装置(NAS)等)，其从记录介质例如磁盘、光盘、磁光盘或半导体存储器读取数据并向该记录介质写入数据。此外，连接器1321可以包括图像和音频输出装置(监视器、扬声器等)。
摄像装置1322是具有对对象进行成像并获得对象的图像数据的功能的模块。例如，通过摄像装置1322进行成像而获得的图像数据被提供给视频处理器1332并被编码。
传感器1323是具有任意传感器功能的模块，任意传感器功能例如音频传感器、超声传感器、光学传感器、照度传感器、红外传感器、图像传感器、旋转传感器、角度传感器、角速度传感器、速度传感器、加速度传感器、倾斜度传感器、磁识别传感器、冲击传感器、温度传感器等。由传感器1323检测到的数据例如被提供给应用处理器1331，并由应用等使用。
在上面被描述为模块的部件可以被实现为处理器，或相反地，被描述为处理器的部件可以被实现为模块。
在如上所述配置的视频设备1300中，本技术可以应用于如稍后描述的视频处理器1332。因此，视频设备1300可以被实现为应用本技术的设备。
(视频处理器的配置示例)
图32示出了应用本技术的视频处理器1332(图31)的示意性配置的示例。
在图32中的示例的情况下，视频处理器1332包括：接收视频信号和音频信号的输入并且使用预定格式对这些信号进行编码的功能；以及对编码的视频数据和音频数据进行解码以再现和输出视频信号和音频信号的功能。
如图32所示，视频处理器1332包括视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404、帧存储器1405和存储器控制单元1406。此外，视频处理器1332包括编码和解码引擎1407、视频基本流(ES)缓冲器1408A和1408B以及音频ES缓冲器1409A和1409B。此外，视频处理器1332包括音频编码器1410、音频解码器1411、复用单元(复用器(MUX))1412、解复用单元(解复用器(DMUX))1413和流缓冲器1414。
视频输入处理单元1401获取从例如连接器1321(图31)等输入的视频信号，并且将该信号转换成数字图像数据。第一图像缩放单元1402对图像数据执行格式转换、图像缩放处理等。第二图像缩放单元1403对图像数据执行依赖于经由视频输出处理单元1404的输出目的地处的格式的图像缩放处理以及与由第一图像缩放单元1402进行的格式转换、图像缩放处理等类似的格式转换、图像缩放处理等。视频输出处理单元1404对图像数据执行格式转换以转换成模拟信号等，来产生再现视频信号并将该信号输出到例如连接器1321等。
帧存储器1405是用于以下图像数据的存储器：该图像数据由视频输入处理单元1401、第一图像缩放单元1402、第二图像缩放单元1403、视频输出处理单元1404以及编码和解码引擎1407共享。帧存储器1405例如被实现为诸如DRAM的半导体存储器。
存储器控制单元1406从编码和解码引擎1407接收同步信号，并且根据写在访问管理表1406A中的对帧存储器1405的访问调度来控制对帧存储器1405写入和读取的访问。存储器控制单元1406根据编码和解码引擎1407、第一图像缩放单元1402、第二图像缩放单元1403等执行的处理来更新访问管理表1406A。
编码和解码引擎1407执行图像数据的编码处理以及视频流的解码处理，视频流是其中图像数据被编码的数据。例如，编码和解码引擎1407对从帧存储器1405读取的图像数据进行编码，并且将经编码的图像数据作为视频流顺序地写入视频ES缓冲器1408A中。此外，例如，从视频ES缓冲器1408B顺序地读取视频流并对该视频流进行解码，并且将该视频流作为图像数据顺序地写入帧存储器1405中。在这些编码和解码中，编码和解码引擎1407使用帧存储器1405作为工作区。此外，编码和解码引擎1407例如在开始每个宏块的处理的定时向存储器控制单元1406输出同步信号。
视频ES缓冲器1408A对由编码和解码引擎1407生成的视频流进行缓冲，并将该视频流提供给复用单元(MUX)1412。视频ES缓冲器1408B对从解复用单元(DMUX)1413提供的视频流进行缓冲，并且将该视频流提供给编码和解码引擎1407。
音频ES缓冲器1409A对由音频编码器1410生成的音频流进行缓冲，并且将该音频流提供给复用单元(MUX)1412。音频ES缓冲器1409B对从解复用单元(DMUX)1413提供的音频流进行缓冲，并且将该音频流提供给音频解码器1411。
音频编码器1410例如对从例如连接器1321等输入的音频信号执行例如数字转换，并且以预定格式例如MPEG音频格式、音频码3号(AC3)格式等对音频信号进行编码。音频编码器1410顺序地将音频流写入音频ES缓冲器1409A中，所述音频流是其中音频信号被编码的数据。音频解码器1411对从音频ES缓冲器1409B提供的音频流进行解码，执行例如转换成模拟信号等，以产生再现的音频信号，并将该信号提供给例如连接器1321等。
复用单元(MUX)1412对视频流和音频流进行复用。复用方法(换句话说，通过复用生成的比特流的格式)是任意的。此外，在复用时，复用单元(MUX)1412可以将预定头信息等添加到比特流。即，复用单元(MUX)1412可以通过复用来转换流的格式。例如，复用单元(MUX)1412对视频流和音频流进行复用，从而执行转换成传输流，该传输流是用于传输的格式的比特流。此外，例如，复用单元(MUX)1412对视频流和音频流进行复用，从而执行转换成用于记录的文件格式的数据(文件数据)。
解复用单元(DMUX)1413利用与由复用单元(MUX)1412进行的复用对应的方法对比特流进行解复用，在该比特流中视频流和音频流被复用。也就是说，解复用单元(DMUX)1413从自流缓冲器1414读取的比特流中提取视频流和音频流(分离视频流和音频流)。也就是说，解复用单元(DMUX)1413可以通过逆复用(由复用单元(MUX)1412进行的转换的逆转换)来转换流的格式。例如，解复用单元(DMUX)1413经由例如流缓冲器1414获取从连接器1321、宽带调制解调器1333等提供的传输流，并且解复用传输流，从而能够执行转换成视频流和音频流。此外，例如，解复用单元(DMUX)1413经由流缓冲器1414获取由例如连接器1321从各种记录介质读取的文件数据，并且解复用文件数据，从而能够执行转换成视频流和音频流。
流缓冲器1414对比特流进行缓冲。例如，流缓冲器1414对从复用单元(MUX)1412提供的传输流进行缓冲，并且在预定定时或基于来自外部的请求等向例如连接器1321、宽带调制解调器1333等提供传输流。
此外，例如，流缓冲器1414对从复用单元(MUX)1412提供的文件数据进行缓冲，在预定定时或者基于来自外部的请求等向例如连接器1321等提供文件数据，并且将文件数据记录在各种记录介质中。
此外，流缓冲器1414对经由例如连接器1321、宽带调制解调器1333等获取的传输流进行缓冲，并且在预定定时或基于来自外部的请求等将传输流提供给解复用单元(DMUX)1413。
此外，流缓冲器1414对从例如连接器1321等中的各种记录介质读取的文件数据进行缓冲，并且在预定定时或者基于来自外部的请求等将文件数据提供给解复用单元(DMUX)1413。
接下来，将描述具有这样的配置的视频处理器1332的操作的示例。例如，从连接器1321等输入到视频处理器1332的视频信号在视频输入处理单元1401中被转换成预定格式例如4:2:2Y/Cb/Cr格式的数字图像数据，并且被顺序地写入帧存储器1405中。数字图像数据由第一图像缩放单元1402或第二图像缩放单元1403读取，并且经受格式转换成预定格式例如4:2:0Y/Cb/Cr格式以及缩放处理，并且再次被写入帧存储器1405中。编码和解码引擎1407对图像数据进行编码，并将其作为视频流写入视频ES缓冲器1408A中。
此外，从连接器1321等输入至视频处理器1332的音频信号由音频编码器1410进行编码并作为音频流被写入音频ES缓冲器1409A中。
视频ES缓冲器1408A的视频流和音频ES缓冲器1409A的音频流由复用单元(MUX)1412读取以进行复用，并且被转换成传输流、文件数据等。由复用单元(MUX)1412生成的传输流在流缓冲器1414中进行缓冲，并且然后经由例如连接器1321、宽带调制解调器1333等输出至外部网络。此外，由复用单元(MUX)1412生成的文件数据在流缓冲器1414中进行缓冲，并且然后输出到例如连接器1321等，并被记录在各种记录介质中。
此外，经由例如连接器1321、宽带调制解调器1333等从外部网络输入到视频处理器1332的传输流在流缓冲器1414中进行缓冲，并且然后由解复用单元(DMUX)1413解复用。此外，例如，从例如连接器1321等中的各种记录介质读取并输入到视频处理器1332的文件数据在流缓冲器1414中进行缓冲，并且然后由解复用单元(DMUX)1413解复用。也就是说，输入至视频处理器1332的传输流或文件数据被解复用单元(DMUX)1413分离成视频流和音频流。
音频流经由音频ES缓冲器1409B被提供给音频解码器1411以被解码，以及再现音频信号。此外，视频流被写入视频ES缓冲器1408B中，并且然后由编码和解码引擎1407顺序读取以被解码，并被写入帧存储器1405中。经解码的图像数据经受由第二图像缩放单元1403进行的缩放处理并被写入帧存储器1405中。然后，解码的图像数据由视频输出处理单元1404读取，经受格式转换成预定格式例如4:2:2Y/Cb/Cr格式，并进一步被转换成模拟信号，以及再现和输出视频信号。
在将本技术应用于如上所述配置的视频处理器1332的情况下，将根据每个上述实施方式的本技术应用于编码和解码引擎1407就足够了。也就是说，例如，编码和解码引擎1407可以具有上述图像编码装置100或图像解码装置200的功能或者两者的功能。通过这样做，视频处理器1332可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
注意，在编码和解码引擎1407中，本技术(换句话说，图像编码装置100的功能或图像解码装置200的功能或两者)可以通过硬件例如逻辑电路来实现，可以通过软件例如内置程序来实现，或者可以通过硬件和软件两者来实现。
(视频处理器的另一配置示例)
图33示出了应用本技术的视频处理器1332的示意性配置的另一示例。在图33的示例的情况下，视频处理器1332具有使用预定格式对视频数据进行编码和解码的功能。
具体地，如图33所示，视频处理器1332包括控制单元1511、显示接口1512、显示引擎1513、图像处理引擎1514以及内部存储器1515。此外，视频处理器1332包括编解码引擎1516、存储器接口1517、复用和解复用单元(MUX DMUX)1518、网络接口1519和视频接口1520。
控制单元1511控制视频处理器1332中的每个处理部分例如显示接口1512、显示引擎1513、图像处理引擎1514和编解码引擎1516的操作。
如图33所示，控制单元1511包括例如主CPU 1531、子CPU 1532以及系统控制器1533。主CPU 1531执行用于控制视频处理器1332中的每个处理部分的操作的程序等。主CPU1531根据程序等生成控制信号，并且将控制信号提供给每个处理部分(即，控制每个处理部分的操作)。子CPU 1532起到主CPU 1531的辅助作用。例如，子CPU 1532执行由主CPU 1531执行的程序等的子处理、子例程等。系统控制器1533控制主CPU 1531和子CPU 1532的操作，例如指定要由主CPU 1531和子CPU1532执行的程序。
在控制单元1511的控制下，显示接口1512将图像数据输出至例如连接器1321等。例如，显示接口1512将数字数据的图像数据转换成模拟信号以产生再现的视频信号，并将该信号或数字数据的图像数据按原样输出到连接器1321的监视器装置等。
在控制单元1511的控制下，显示引擎1513对图像数据执行各种类型的转换处理例如格式转换、大小转换和色域转换，使得图像数据符合显示图像的监视器装置等的硬件规格。
在控制单元1511的控制下，图像处理引擎1514对图像数据执行预定图像处理例如滤波处理以改善图像质量等。
内部存储器1515是设置在视频处理器1332内部并且由显示引擎1513、图像处理引擎1514以及编解码引擎1516共享的存储器。内部存储器1515用于在例如显示引擎1513、图像处理引擎1514和编解码引擎1516之间交换数据。例如，内部存储器1515存储从显示引擎1513、图像处理引擎1514或编解码引擎1516提供的数据，并且根据需要(例如，响应于请求)将数据输出至显示引擎1513、图像处理引擎1514或编解码引擎1516。内部存储器1515可以通过任何存储装置来实现，但是通常，内部存储器1515通常用于存储小容量数据例如基于块的图像数据和参数，使得期望内部存储器1515由容量相对小(例如，与外部存储器1312相比)但响应速度高的半导体存储器例如静态随机存取存储器(SRAM)来实现。
编解码引擎1516执行与图像数据的编码和解码有关的处理。编解码引擎1516支持的编码和解码格式是任意的，并且格式的数量可以是一个或多个。例如，编解码引擎1516可以具有多种编码和解码格式的编解码功能，并且可以使用从格式中选择的一种各种对图像数据进行编码或对编码数据进行解码。
在图33中所示的示例中，编解码引擎1516包括例如MPEG-2视频1541、AVC/H.2641542、HEVC/H.265 1543、HEVC/H.265(可缩放)1544、HEVC/H.265(多视图)1545和MPEG-DASH1551作为与编解码有关的处理的功能块。
MPEG-2视频1541是使用MPEG-2格式对图像数据进行编码和解码的功能块。AVC/H.264 1542是使用AVC格式对图像数据进行编码和解码的功能块。HEVC/H.265 1543是使用HEVC格式对图像数据进行编码和解码的功能块。HEVC/H.265(可缩放)1544是使用HEVC格式执行图像数据的可缩放编码和可缩放解码的功能块。HEVC/H.265(多视图)1545是使用HEVC格式执行图像数据的多视点编码和多视图解码的功能块。
MPEG-DASH 1551是使用通过HTTP的MPEG动态自适应流传输(MPEG-DASH)格式发送和接收图像数据的功能块。MPEG-DASH是一种通过使用超文本传输协议(HTTP)执行视频的流传输的技术，并且作为其特征之一，基于分段从预先准备的具有不同分辨率等的多个编码数据中选择和发送适当的一个编码数据。MPEG-DASH 1551执行符合标准的流的生成、流的传输控制等，并且MPEG-2视频1541至HEVC/H.265(多视图)1545用于图像数据的编码和解码。
存储器接口1517是用于外部存储器1312的接口。从图像处理引擎1514和编解码器引擎1516提供的数据经由存储器接口1517被提供给外部存储器1312。此外，从外部存储器1312读取的数据经由存储器接口1517被提供给视频处理器1332(图像处理引擎1514或编解码引擎1516)。
复用和解复用单元(MUX DMUX)1518执行与图像有关的各种数据例如编码数据的比特流、图像数据和视频信号的复用和解复用。复用和解复用的方法是任意的。例如，在复用时，复用和解复用单元(MUXDMUX)1518不仅可以将多个数据组合成一个，而且还可以将预定头信息等添加到数据。此外，在解复用时，复用和解复用单元(MUX DMUX)1518不仅可以将一个数据划分成多个数据，而且可以将预定头信息等添加到每个划分数据。也就是说，复用和解复用单元(MUX DMUX)1518可以通过复用和解复用来转换数据的格式。例如，复用和解复用单元(MUX DMUX)1518复用比特流，从而能够执行转换成传输流以及用于记录的文件格式的数据(文件数据)，传输流是用于传输的格式的比特流。当然，通过解复用也可以进行逆转换。
网络接口1519是用于例如宽带调制解调器1333、连接器1321等的接口。视频接口1520是用于例如连接器1321、摄像装置1322等的接口。
接下来，将描述视频处理器1332的操作的示例。例如，当经由连接器1321、宽带调制解调器1333等从外部网络接收到传输流时，传输流经由网络接口1519被提供给复用和解复用单元(MUX DMUX)1518以被解复用，并且由编解码引擎1516进行解码。通过由编解码引擎1516进行的解码而获得的图像数据例如经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，并且经由显示接口1512被提供给例如连接器1321等，并且在监视器上显示图像。此外，例如，通过由编解码引擎1516进行的解码而获得的图像数据由编解码引擎1516重新编码，由复用和解复用单元(MUX DMUX)1518复用以被转换成文件数据、经由视频接口1520输出到例如连接器1321等，并被记录在各种记录介质中。
此外，例如，通过连接器1321等从记录介质(未示出)读取的其中图像数据被编码的编码数据的文件数据经由视频接口1520被提供给复用和解复用单元(MUX DMUX)1518以被解复用，并且由编解码引擎1516解码。通过由编解码引擎1516进行的解码获得的图像数据经受由图像处理引擎1514进行的预定图像处理，经受由显示引擎1513进行的预定转换，并且经由显示接口1512被提供给例如连接器1321等，并且在监视器上显示图像。此外，例如，通过由编解码引擎1516进行的解码而获得的图像数据由编解码引擎1516重新编码，由复用和解复用单元(MUXDMUX)1518复用以被转换成传输流，经由网络接口1519被提供给例如连接器1321、宽带调制解调器1333等，并被发送到另一装置(未示出)。
注意，通过使用例如内部存储器1515和外部存储器1312在视频处理器1332中的处理部分之间交换图像数据和其他数据。此外，电力管理模块1313控制例如向控制单元1511的电力供应。
在将本技术应用于如上所述配置的视频处理器1332的情况下，将根据每个上述实施方式的本技术应用于编解码引擎1516就足够了。也就是说，例如，编解码引擎1516具有上述图像编码装置100或图像解码装置200的功能或两者的功能就足够了。通过这样做，视频处理器1332可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
注意，在编解码引擎1516中，本技术(换句话说，图像编码设备100的功能)可以通过硬件例如逻辑电路来实现，可以通过软件例如内置程序来实现，或者可以通过硬件和软件两者来实现。
上面已经描述了视频处理器1332的配置的两个示例；然而，视频处理器1332的配置是任意的，并且可以不同于上面两个示例。此外，视频处理器1332可以被配置为一个半导体芯片，但是可以被配置为多个半导体芯片。例如，可以使用其中多个半导体层叠的三维层状LSI。此外，视频处理器1332可以由多个LSI实现。
(装置的应用示例)
可以将视频设备1300结合在处理图像数据的各种装置中。例如，可以将视频设备1300结合在电视装置900(图27)、移动电话920(图28)、记录/再现装置940(图29)、成像装置960(图30)等中。通过将视频设备1300结合在装置中，该装置可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
注意，甚至上述视频设备1300的每个部件的一部分也可以被实现为应用本技术的配置，只要该部分包括视频处理器1332即可。例如，仅视频处理器1332就可以被实现为应用本技术的视频处理器。此外，例如，如上所述，由虚线1341指示的处理器、视频模块1311等可以被实现为应用本技术的处理器、模块等。此外，例如，视频模块1311、外部存储器1312、电力管理模块1313以及前端模块1314可以被组合并被实现为应用本技术的视频单元1361。甚至在配置中的任何配置的情况下，可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
也就是说，类似于视频设备1300的情况，只要配置包括视频处理器1332，则配置中的任何配置都可以结合在处理图像数据的各种装置中。例如，视频处理器1332、由虚线1341指示的处理器、视频模块1311或者视频单元1361可以结合在电视装置900(图27)、移动电话920(图28)、记录/再现装置940(图29)、成像装置960(图30)等中。然后，类似于视频设备1300的情况，通过结合应用本技术的任何配置，装置可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
<第八实施方式>
此外，本技术还可以应用于包括多个装置的网络系统。图34示出了应用本技术的网络系统的示意性配置的示例。
图34中所示的网络系统1600是其中装置经由网络交换关于图像(移动图像)的信息的系统。网络系统1600的云服务1601是为可通信地连接至云服务1601的终端例如计算机1611、视听(AV)装置1612、便携式信息处理终端1613以及物联网(IoT)装置1614提供与图像(移动图像)有关的服务的系统。例如，云服务1601向终端提供图像(移动图像)内容提供服务，例如所谓的移动图像分发(按需分发或实时分发)。此外，例如，云服务1601提供从终端接收和存储图像(移动图像)内容的备份服务。此外，例如，云服务1601提供调解终端之间的图像(移动图像)内容的交换的服务。
云服务1601的物理配置是任意的。例如，云服务1601可以包括各种服务器以及任意网络例如因特网和LAN，各种服务器例如存储和管理移动图像的服务器、向终端分发移动图像的服务器、从终端获取移动图像的服务器以及管理用户(终端)和收费的服务器。
计算机1611包括信息处理装置例如个人计算机、服务器、工作站等。AV装置1612包括图像处理装置，例如电视接收器、硬盘记录器、游戏装置、摄像装置等。便携式信息处理终端1613包括便携式信息处理装置，例如笔记本个人计算机、平板终端、移动电话、智能电话等。IoT装置1614包括执行与图像有关的处理的任意对象，例如机器、家用电器、家具、其他对象、IC标签、卡型装置等。这些终端中的每一个都具有通信功能，并且可以连接(建立会话)至云服务1601以与云服务1601交换信息(换句话说，通信)。此外，每个终端还可以与另一个终端通信。终端之间的通信可以经由云服务1601执行，或者可以在没有云服务1601的介入的情况下执行。
在将本技术应用于如上所描述的网络系统1600并且在终端之间或者在终端与云服务1601之间交换图像(移动图像)数据时，可以如上面在每个实施方式中描述的对图像数据进行编码和解码。也就是说，终端(计算机1611至IoT装置1614)和云服务1601可以每个均具有上述图像编码装置100和图像解码装置200的功能。通过这样做，交换图像数据的终端(计算机1611至IoT装置1614)和云服务1601可以获得类似于上面参照图10至图25描述的每个实施方式的效果。
注意，关于编码数据(比特流)的各种类型的信息可以被复用到编码数据中并被发送或记录，或者可以作为与编码数据相关联的单独数据被发送或记录，而不被复用到编码数据中。此处，术语“关联”意思是例如，当处理一个数据时，使其他数据可用(可链接)。也就是说，彼此相关联的数据可以被收集为一个数据或者可以是单独的数据。例如，可以在与针对编码数据(图像)的传输线路不同的传输线路上传输与编码数据(图像)相关联的信息。此外，例如，与编码数据(图像)相关联的信息可以记录在与针对编码数据(图像)的记录介质不同的记录介质中(或者记录在相同记录介质的不同记录区域中)。注意，该“关联”可以是数据的一部分，而不是整个数据。例如，图像和与该图像对应的信息可以以任意单位例如以多个帧、一个帧或帧内的一部分为单位彼此相关联。
此外，如上所述，在本说明书中，术语“组合”、“复用”、“添加”、“整合”、“包括”、“存储”、“放入”、“包围”、“插入”等意思是将多个对象组合成一个，例如将编码数据和元数据组合成一个，并且该术语表示上述“关联”的一种方法。
注意，本说明书中描述的有益效果仅是示例，并且本技术的有益效果不限于这些并且可以包括其他效果。
此外，本公开内容的实施方式不限于上面描述的实施方式，并且在不脱离本公开的主旨的情况下可以进行各种修改。
注意，本公开内容还可以采用以下配置。
(1)一种图像处理装置，包括：
预测单元，其基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
(2)根据(1)所述的图像处理装置，其中，
在基于被布置在相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述相邻块的预测图像的情况下，所述预测单元基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述块的预测图像，所述相邻块与所述块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的一侧的顶点相邻。
(3)根据(1)或(2)所述的图像处理装置，还包括：
编码单元，其对多个矢量预测信息进行编码，所述多个矢量预测信息指示基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
(4)根据(3)所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来对所述多个矢量预测信息进行编码，所述相邻块与所述块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的一侧的顶点相邻。
(5)根据(4)所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来切换在对所述多个矢量预测信息进行编码时的概率模型的上下文。
(6)根据(4)所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来切换所述多个矢量预测信息的编码。
(7)根据(4)至(6)中任一项所述的图像处理装置，其中，
所述编码单元对所述多个矢量预测信息进行编码，以使得与不基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像的情况相比，在基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述相邻块的预测图像的情况下，编码量变小。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中，
所述预测单元通过基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量执行所述块的参考图像的仿射变换，来生成所述块的预测图像。
(9)根据(1)至(8)中任一项所述的图像处理装置，其中，
通过递归地重复执行将一个块划分成水平方向和竖直方向中的至少一个方向的划分来生成所述块。
(10)一种图像处理方法，包括：
通过图像处理装置进行以下操作的步骤：
基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
附图标记列表
100 图像编码装置
114 编码单元
119 预测单元
121，131，191，193 PU
200 图像解码装置
216 预测单元

Claims (10)

1.一种图像处理装置，包括：
预测单元，其基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
2.根据权利要求1所述的图像处理装置，其中，
在基于被布置在相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述相邻块的预测图像的情况下，所述预测单元基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述块的预测图像，所述相邻块与所述块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的一侧的顶点相邻。
3.根据权利要求1所述的图像处理装置，还包括：
编码单元，其对多个矢量预测信息进行编码，所述多个矢量预测信息指示基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
4.根据权利要求3所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来对所述多个矢量预测信息进行编码，所述相邻块与所述块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的一侧的顶点相邻。
5.根据权利要求4所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来切换在对所述多个矢量预测信息进行编码时的概率模型的上下文。
6.根据权利要求4所述的图像处理装置，其中，
所述编码单元根据是否基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像，来切换所述多个矢量预测信息的编码。
7.根据权利要求4所述的图像处理装置，其中，
所述编码单元对所述多个矢量预测信息进行编码，以使得与不基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量生成所述相邻块的预测图像的情况相比，在基于被布置在所述相邻块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量来生成所述相邻块的预测图像的情况下，编码量变小。
8.根据权利要求1所述的图像处理装置，其中，
所述预测单元通过基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量执行所述块的参考图像的仿射变换，来生成所述块的预测图像。
9.根据权利要求1所述的图像处理装置，其中，
通过递归地重复执行将一个块划分成水平方向和竖直方向中的至少一个方向的划分来生成所述块。
10.一种图像处理方法，包括：
通过图像处理装置进行以下操作的步骤：
基于被布置在块的纵向方向上的尺寸和横向方向上的尺寸中的、具有较大尺寸的一侧的方向上的两个顶点的运动矢量，来生成所述块的预测图像。
CN201780082515.2A 2017-01-12 2017-12-28 图像处理装置和图像处理方法 Withdrawn CN110169071A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2017003465 2017-01-12
JP2017-003465 2017-01-12
PCT/JP2017/047373 WO2018131523A1 (ja) 2017-01-12 2017-12-28 画像処理装置および画像処理方法

Publications (1)

Publication Number Publication Date
CN110169071A true CN110169071A (zh) 2019-08-23

Family

ID=62840581

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780082515.2A Withdrawn CN110169071A (zh) 2017-01-12 2017-12-28 图像处理装置和图像处理方法

Country Status (10)

Country Link
US (1) US20190335191A1 (zh)
EP (1) EP3570547A4 (zh)
JP (1) JPWO2018131523A1 (zh)
KR (1) KR20190105572A (zh)
CN (1) CN110169071A (zh)
AU (1) AU2017393148A1 (zh)
BR (1) BR112019013978A2 (zh)
CA (1) CA3048569A1 (zh)
RU (1) RU2019120751A (zh)
WO (1) WO2018131523A1 (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10609384B2 (en) * 2017-09-21 2020-03-31 Futurewei Technologies, Inc. Restriction on sub-block size derivation for affine inter prediction
CN111602393B (zh) * 2018-01-15 2022-10-21 三星电子株式会社 编码方法及其设备以及解码方法及其设备
GB2577318B (en) * 2018-09-21 2021-03-10 Canon Kk Video coding and decoding
CN113170192B (zh) * 2018-11-15 2023-12-01 北京字节跳动网络技术有限公司 仿射的merge与mvd
CN113508593A (zh) * 2019-02-27 2021-10-15 北京字节跳动网络技术有限公司 基于回退的运动矢量场的基于子块运动矢量推导
EP3930327A4 (en) * 2019-03-08 2022-06-01 Guangdong Oppo Mobile Telecommunications Corp., Ltd. PREDICTION PROCESS, ENCODER, DECODER, AND COMPUTER STORAGE MEDIA
CN114175632A (zh) 2019-07-26 2022-03-11 北京字节跳动网络技术有限公司 对视频编解码模式的块尺寸相关使用
WO2021018084A1 (en) * 2019-07-26 2021-02-04 Beijing Bytedance Network Technology Co., Ltd. Interdependence of transform size and coding tree unit size in video coding

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5716437B2 (ja) * 2011-02-08 2015-05-13 株式会社Ｊｖｃケンウッド 画像符号化装置、画像符号化方法および画像符号化プログラム
US10560712B2 (en) * 2016-05-16 2020-02-11 Qualcomm Incorporated Affine motion prediction for video coding

Also Published As

Publication number Publication date
WO2018131523A1 (ja) 2018-07-19
EP3570547A1 (en) 2019-11-20
AU2017393148A1 (en) 2019-07-25
CA3048569A1 (en) 2018-07-19
BR112019013978A2 (pt) 2020-03-03
EP3570547A4 (en) 2020-02-12
KR20190105572A (ko) 2019-09-17
RU2019120751A (ru) 2021-01-13
US20190335191A1 (en) 2019-10-31
JPWO2018131523A1 (ja) 2019-11-07

Similar Documents

Publication Publication Date Title
CN110169071A (zh) 图像处理装置和图像处理方法
CN109691107A (zh) 图像处理装置和图像处理方法
CN109076222A (zh) 图像处理装置和方法
CN109644269A (zh) 图像处理设备、图像处理方法和程序
RU2669685C2 (ru) Устройство и способ декодирования изображения
CN104380739B (zh) 图像处理设备和图像处理方法
US20210243475A1 (en) Image processing apparatus and method
CN109076242A (zh) 图像处理设备和方法
CN110431843A (zh) 图像处理装置及方法
US20190313095A1 (en) Image processing apparatus and image processing method
CN105230017B (zh) 图像编码装置和方法以及图像解码装置和方法
CN104620586B (zh) 图像处理装置和方法
CN109804632A (zh) 图像处理装置和图像处理方法
CN110115039A (zh) 图像处理装置和图像处理方法
CN110169072A (zh) 图像处理装置和图像处理方法
CN109417621A (zh) 图像处理装置及方法
CN104380740A (zh) 编码装置、编码方法、解码装置和解码方法
US20190020877A1 (en) Image processing apparatus and method
CN107683606B (zh) 图像处理装置和图像处理方法
CN105874801B (zh) 解码设备和解码方法、以及编码设备和编码方法
CN109076217A (zh) 图像处理装置和图像处理方法
CN107113443A (zh) 影像处理设备和影像处理方法
CN109691100A (zh) 图像处理设备和图像处理方法
CN104854868B (zh) 图像处理设备和方法
CN109661818A (zh) 图像处理设备、图像处理方法和程序

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication

Application publication date: 20190823

WW01 Invention patent application withdrawn after publication