CN102823255A - 图像处理设备和图像处理方法 - Google Patents

Abstract

本发明公开了当产生预测运动矢量信息时可抑制处理量的增加并且提高编码效率的图像处理设备和图像处理方法。运动矢量信息编码器（76）通过使用提供的外围运动矢量信息来产生目标块的预测运动矢量信息，并且产生目标块的差分运动矢量信息，该差分运动矢量信息与目标块的运动矢量信息与预测运动矢量信息之间的差对应。另外，运动矢量信息编码器（76）产生目标块的二次差分运动矢量信息，该二次差分运动矢量信息与目标块的差分运动矢量信息和来自运动预测/补偿单元（75）的对应块的差分运动矢量信息之间的差对应。产生的目标块的差分运动矢量信息和二次差分运动矢量信息被提供给预测/补偿单元（75）。本发明可应用到用于使用基于H.264/AVC方法编码的图像编码装置。

Description

图像处理设备和图像处理方法

技术领域

本发明涉及图像处理设备和图像处理方法，尤其涉及当产生预测运动矢量信息时可抑制处理量的增加并且还可提高编码效率的图像处理设备和图像处理方法。

背景技术

近来一种设备变得越发普及，这种设备以数字形式处理图像信息并且通过使用用于基于例如离散余弦变换的正交变换和运动补偿通过使用图像信息特有的冗余执行压缩的编码系统压缩和编码图像从而发送和累积高效率的信息。这个编码系统包含MPEG（运动图像专家组）等等。

具体地讲，MPEG2（ISO/IEC 13818-2）被定义为通用图像编码系统，并且它是覆盖隔行扫描图像和逐行扫描图像、标清图像和高清图像二者的标准。例如，MPEG2当前已经广泛应用于宽范围的应用（例如，专业应用和消费应用）中。通过使用MPEG2压缩系统，4到8Mbps的编码量（比特率）被分配给例如具有720×480像素的标准分辨率的隔行扫描图像。另外，通过使用MPEG2压缩系统，18到22Mbps的编码量（比特率）被分配给具有1920×1088像素的高分辨率的隔行扫描图像。因此，可获得高压缩性能和优良的图像质量。

MPEG2主要针对适于广播的高图像质量编码，但不适于具有较低编码量（比特率）、即比MPEG1高的压缩性能的编码系统。由于蜂窝电话的普及期待，在未来对这种编码系统的需求日益增加，并且与之相关已经将MPEG4进行标准化。关于该图像编码系统，国际标准已经在1998年12月将该图像编码系统的规范批准为ISO/IEC 14496-2。

近来，针对用于电视会议的图像编码的目的，已经开始促进称作H.26L(ITU-T Q6/16VCEG)的标准的标准化。知道的是，由于编码和解码，所以与例如MPEG2和MPEG4的常规编码系统相比较，H.26L需要较大计算量，但可获得较高编码效率。然后，作为关于MPEG4的活动的例子，已经执行了用于通过并入不由H.26L支持的功能来获得较高编码效率的标准化作为基于这个H.26L的增强压缩视频编码的联合模型。作为标准化方案，在2003年3月它已经在国际上被标准化为H.264和MPEG-4Part 10（先进视频编码，下文称作H.264/AVC）。

另外，作为扩展已经在2005年2月完成了包含编码工具（例如，RGB、商业所需的4:2:2和4:4:4、在MPEG-2中定义的8×8DCT和量化矩阵）的FRExt（保真度范围扩展）的标准化。因此，该编码系统已经可以通过使用H.264/AVC优良地表达包含在电影中的平滑影片噪声，从而用于例如蓝光盘（商标）等等的广泛应用中。

然而，近来对较高压缩性能的编码的需求（例如，对压缩与高清电视图像的四倍对应的大约4000×2000像素的图像或者在诸如互联网等等的具有有限传输容量的环境中分布高清电视图像的需求）不断增加。因此，在上述的ITU-T的保护下的VCEG（视频编码专家组）的编码效率的提高得到持续关注。

例如，在MPEG2系统中通过线性内插处理执行1/2像素精度的运动预测/补偿处理。另一方面，在H.264/AVC系统中执行使用6抽头的FIR（有限脉冲响应滤波器）滤波器作为内插滤波器的1/4像素精度的预测/补偿处理。

图1是示出了H.264/AVC系统中的1/4像素精度的预测/补偿处理的图。在H.264/AVC系统中执行使用6抽头的FIR（有限脉冲响应滤波器）滤波器的1/4像素精度的预测/补偿处理。

在图1的例子中，位置A表示整数精度像素的位置，位置b、c和d表示1/2像素精度的位置，位置e1、e2和e3表示1/4像素精度的位置。在下面描述中，Clip()首先被定义为下面公式（1）。

[公式1]

当输入图像是8位精度时，max_pix的值等于255。

根据下面公式（2）通过使用6抽头的FIR滤波器产生位置b和d处的像素值。

[公式2]

F=A_-2-5·A_-1+20·A₀+20·A₁-5·A₂+A₃

b，d=Clip1((F+16)>>5).....(2)

根据下面的公式（3）通过在水平方向和垂直方向上应用6抽头的FIR滤波器产生位置c处的像素值。

[公式3]

F=b_-2-5·b_-1+20·b₀+20·b₁-5·b₂+b₃

或者

F=d_-2-5·d_-1+20·d₀+20·d₁-5·d₂+d₃

c=Clip1((F+512)>>10).....(3)

在水平方向和垂直方向二者中执行乘积和处理以后，最后仅仅执行一次Clip处理。

通过线性内插根据下面公式（4）产生位置e1到e3。

[公式4]

e₁=(A+b+1)>>1

e₂=(b+d+1)>>1

e₃=(b+c+1)>>1.....(4)

在MPEG2系统中，在帧运动补偿模式的情况下在16×16像素上以及在场运动补偿的模式下在第一场和第二场的每个上每16×8像素执行运动预测/补偿处理。

另一方面，在H.264/AVC系统的运动预测补偿中，宏块尺寸等于16×16像素，但在块尺寸变化的同时执行运动预测/补偿。

图2是示出了H.264/AVC系统中的运动预测/补偿的块尺寸的例子的图。

从图2的上部的左侧开始连续示出了由被分割成16×16像素、16×8像素、8×16像素和8×8像素的区块的16×16像素构造的宏块。从图2的下部的左侧开始连续示出了被分割成8×8像素、8×4像素、4×8像素和4×4像素的子区块的8×8像素的区块。

也就是说，在H.264/AVC系统中，一个宏块被分割成16×16像素、16×8像素、8×16像素或8×8像素的任何区块以具有每个独立运动矢量信息。另外，关于8×8像素的区块，它被分割成8×8像素、8×4像素、4×8像素或4×4像素的任何子区块以具有每个独立运动矢量信息。

另外，还在H.264/AVC系统中执行多参考帧的预测/补偿处理。

图3示出了H.264/AVC系统中的多参考帧的预测/补偿处理。在H.264/AVC系统中，定义了多参考帧（Multi-Reference Frame）的运动预测/补偿系统。

在图3的例子中示出了从现在起要进行编码的当前帧Fn和已经被编码的帧Fn-5、...、Fn-1。帧Fn-1是在时间轴上刚好在当前帧Fn之前的帧，帧Fn-2是在当前帧Fn的一帧之前的帧，帧Fn-3是在当前帧Fn的两帧之前的帧。另外，帧Fn-4是在当前帧Fn的三帧之前的帧，帧Fn-5是在当前帧Fn的四帧之前的帧。总之，在时间轴上一帧越靠近当前帧Fn，向该帧加入越小的参考画面编号（ref_id）。也就是说，帧Fn-1具有最小的参考画面编号，随后帧Fn-2、...、Fn-5的参考画面编号连续增大。

块A1和块A2在当前帧Fn上进行表示，并且在块A1与两帧前（在当前帧Fn的一帧之前）的帧Fn-2的块A1′相关的假设下搜索运动矢量V1。在块A2与四帧前（在当前帧Fn的三帧之前）的帧Fn-4的块A2′相关的假设下搜索运动矢量V2。

如上所述，在H.264/AVC系统中，多个参考帧可以存储在存储器中，并且对一帧（画面）可参考不同的参考帧。也就是说，例如，每个块可单独具有关于一个画面的独立参考帧信息（参考画面编号（ref_id）），从而使得块A1参考帧Fn-2并且块A2参考帧Fn-4。

这里，块表示参照图2描述的16×16像素、16×8像素、8×16像素和8×8像素的任何区块。8×8子块中的参考帧必须彼此相同。

如上所述，在H.264/AVC系统中执行参照图1描述的1/4像素精度的运动预测/补偿处理和以上参照图2和图3描述的运动预测/补偿处理以产生巨量的运动矢量信息。这使得直接编码巨量的运动矢量信息的编码效率降低了。另一方面，在H.264/AVC系统中，通过图4中所示的方法减少运动矢量编码信息。

图4示出了基于H.264/AVC系统产生运动矢量信息的方法。

在图4的例子中表达了从现在起要进行编码的当前块E（例如，16×16像素）和已经被编码并且与当前块E相邻的块A到D。

即，块D相邻于当前块E的左上侧，块B相邻于当前块E的上侧，块C相邻于当前块E的右上侧，块A相邻位于当前块E的左侧。块A到D彼此没有被分割，并且这表示这些块的每一个是由参照图2描述的16×16像素到4×4像素构造的块的任何一个。

例如，关于X（=A、B、C、D、E）的运动矢量信息由mv_X进行表示。首先，根据下面公式（5）基于中值预测通过使用关于块A、B和C的运动矢量信息产生关于当前块E的预测运动矢量信息pmv_E。

pmv_E=med(mv_A，mv_B，mv_C).....(5)

存在关于块C的运动矢量信息不可用（不可获得）的情况，这是因为块C位于画面帧的端部或者还没有被编码。在这种情况下，由关于块D的运动矢量信息替代关于块C的运动矢量信息。

根据下面公式（6）通过使用pmv_E产生要被加到压缩的图像的头部部分的数据mvd_E作为关于当前块E的运动矢量信息。

mvd_E=mv_E-pmv_E    .....(6)

实际上，在运动矢量信息的水平方向和垂直方向上的每一个分量上独立执行该处理。

如上所述，产生预测运动矢量信息，并且预测运动矢量信息与基于与相邻块的相关产生的运动矢量信息之间的差被加到压缩的图像的头部部分，从而减小运动矢量信息。

关于B画面的运动矢量信息的信息量巨大，但在H.264/AVC系统中准备称作直接模式的模式。在直接模式下，运动矢量信息不存储在压缩图像中。

也就是说，在解码侧，从当前块的外围的运动矢量信息或共置块（即参考画面中的具有与当前块相同坐标的块）的运动矢量信息提取当前块的运动矢量信息。因此，不需要向解码侧发送运动矢量信息。

作为直接模式存在空间直接模式（Spatial Direct Mode）和时间直接模式（Temporal Direct Mode）的两种类型的模式。空间直接模式是主要使用空间方向（画面中的水平和垂直方向的二维空间）上的运动信息的相关性的模式，并且总体对包含类似运动并且运动速度变化的图像有效。

另一方面，时间直接模式是主要使用时间方向上的运动信息的相关性的模式，并且总体对于包含不同运动并且运动速度固定的图像有效。

针对每个片段可切换使用空间直接模式和时间直接模式中的哪一个。

再参照图4，将描述基于H.264/AVC系统的空间直接模式。如上所述，在图4的例子中表示了从现在开始进行编码的当前块E（例如，16×16像素）和已经被编码并且与当前块E相邻的块A到D。例如，关于X（=A、B、C、D和E）的运动矢量信息由mvX进行表示。

根据上述公式（5）基于中值预测通过使用关于块A、B和C的运动矢量信息产生关于当前块E的预测运动矢量信息pmvE。在空间直接模式下关于当前块E的运动矢量信息mvE由下面公式（7）进行表示。

mvE=pmvE    .....(7)

也就是说，在空间直接模式下，基于中值预测产生的预测运动矢量信息被设置为当前块的运动矢量信息。也就是说，通过已经被编码的块的运动矢量信息产生当前块的运动矢量信息。因此，还可在解码侧产生基于空间直接模式的运动矢量，从而不需要发送运动矢量信息。

接下来，将参照图5描述H.264/AVC系统中的时间直接模式。

在图5的例子中，时间轴t表示时间流逝，并且从左侧连续表示L0（List0）参考画面、从现在进行编码的当前画面和L1（List1）参考画面。在H.264/AVC系统中，L0参考画面、当前画面和L1参考画面的布置不限于这个顺序。

例如，当前画面的当前块被包含在B片段中。因此，关于当前画面的当前块，为L0参考画面和L1参考画面计算基于空间直接模式的L0运动矢量信息mvL0和L1运动矢量信息mvL1。

另外，在L0参考画面中，基于L0参考画面和L1参考画面计算位于与从现在要进行编码的当前块相同的空间地址（坐标）处的共置块处的运动矢量信息mvcol。

这里，当前画面与L0参考画面之间在时间轴上的距离由TDB进行表示，并且L0参考画面与L1参考画面之间在时间轴上的距离由TDD进行表示。在这种情况下，可根据下面公式（8）计算当前画面中的L0运动矢量信息mvL0和当前画面中的L1运动矢量信息mvL1。

[公式5]

${\mathrm{mv}}_{L0}=\frac{{\mathrm{TD}}_B}{T{D}_D}m{v}_{\mathrm{col}}$

${\mathrm{mv}}_{L1}=\frac{{\mathrm{TD}}_D-{\mathrm{TD}}_B}{T{D}_D}m{v}_{\mathrm{col}}---\left(8\right)$

在H.264/AVC系统中，与在时间轴上相对于当前画面的距离TDB、TDD对应的信息不存在于压缩图像中。因此，POC（画面顺序计数）即表示画面的输出顺序的信息被用作距离TDB、TDD的实际值。

另外，在H.264/AVC系统中，可针对16×16像素的每个宏块或8×8像素的每个块定义直接模式。

参照图4描述的中值预测可不必需高效执行运动矢量的编码。因此，非专利文献1等等已经提出了不仅执行中值预测，而且根据外围运动矢量信息的值执行情况分类从而使得通过遵照情况分类的处理产生预测运动矢量信息。

上述的图形和公式任意应用于这个申请的说明中。

引用文献列表

非专利文献

非专利文献1：″A new method for improving motion vectorcoding″，VCEG-AJ14，ITU-TelecommunicationsStandardization Sector STUDY GROUP 16Ques tion 6，Oct2008.

发明内容

在图6的例子中表示了黑色椭圆对象在屏幕上相对于作为静态图像区域的背景以速度V向右移动的关注帧。如图6所示，关注块X位于椭圆运动对象与作为背景的静态图像之间的边界区域中。相邻置于关注块X的左侧、上侧和右上侧的相邻块A、B和C也位于边界区域中。

当MVK表示关于块K的运动矢量信息时，在图6的例子中由下面公式（9）表示相邻块A、B和C的每一个的运动矢量信息。

MVA=0;MVB=v；MVC=v；MVX=0    ...(9)

在这种情况下，根据下面公式（10）通过执行上述公式（5）的中值预测来表示块X的预测运动矢量信息。

Median(MVA,MVB,MVC)=Median(0,v,v)=v    ...(10)

由于这是与由公式（9）表示的实际MVX不同的值，所以编码效率被降低。

考虑采用在非专利文献1中提议的方法。然而，由于条件分支，在非专利文献1中提议的方法需要巨量的处理量。

鉴于这种情形获得本发明，并且当产生预测运动矢量信息时本发明可抑制处理量的增加并提高编码效率。

解决技术问题的技术方案

根据本发明的第一方面的图像处理设备，包括：用于产生编码目标帧中的编码目标块的差分运动矢量信息，所述差分运动矢量信息对应于为编码目标帧中的编码目标块搜索的运动矢量信息与编码目标块的预测运动矢量信息之间的差；以及二次差分运动矢量产生部件，用于产生二次差分运动矢量信息，所述二次差分运动矢量信息对应于由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息与对应块的差分运动矢量信息之间的差，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

还可提供预测运动矢量产生部件，用于根据编码目标帧中的中值预测产生编码目标块的预测运动矢量信息。

在对应块是帧内预测块时对应块的差分运动矢量信息设置被成零的情况下，二次差分运动矢量产生部件可以产生二次差分运动矢量信息。

还可提供：编码部件，用于对由二次差分运动矢量产生部件产生的二次差分运动矢量信息和编码目标块的图像进行编码；以及发送部件，用于发送已经由编码装置进行编码的二次差分运动矢量信息和编码目标块的图像。

还可提供：编码部件，用于选择由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息和由二次差分运动矢量产生部件产生的二次差分运动矢量信息中的任何一个，并且对选择的信息和编码目标块的图像进行编码；以及发送部件，用于发送已经由编码装置进行编码的编码信息和编码目标块的图像。

发送部件还可以发送关于编码目标块的差分运动矢量信息和二次差分运动矢量信息中的哪一个被选择和编码的标记信息。

编码部件可自适应选择编码目标块的差分运动矢量信息和二次差分运动矢量信息之一。

编码部件可以根据编码参数的属性（profile）选择编码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个。

根据本发明的第一方面的图像处理方法，在具有差分运动矢量产生部件和二次差分运动矢量产生部件的图像处理设备中，差分运动矢量产生部件产生编码目标帧中的编码目标块的差分运动矢量信息，该差分运动矢量信息对应于为编码目标帧中的编码目标块搜索的运动矢量信息与编码目标块的预测运动矢量信息之间的差；以及二次差分运动矢量产生部件产生二次差分运动矢量信息，所述二次差分运动矢量信息对应于由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息与对应块的差分运动矢量信息之间的差，其中对应块是参考帧的块并且位于与编码目标块对应的位置处。

根据本发明的第二方面的图像处理设备，包括：接收部件，用于接收解码目标帧中的解码目标块的图像和二次差分运动矢量信息；以及运动矢量产生部件，用于通过使用由接收部件接收的二次差分运动矢量信息、解码目标块的预测运动矢量信息以及对应块的差分运动矢量信息来产生解码目标块的运动矢量信息，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

还可提供预测运动矢量产生部件，用于根据解码目标帧中的中值预测来产生解码目标块的预测运动矢量信息。

在对应块是帧内预测块时对应块的差分运动矢量信息被设置成零的情况下，运动矢量产生部件可以产生解码目标块的运动矢量信息。

接收部件还可以接收关于解码目标块的差分运动矢量信息和二次差分运动矢量信息中的哪一个被编码的标记信息，并且当标记信息表示二次差分运动矢量信息已经被编码时接收二次差分运动矢量信息。

当标记信息表示解码目标块的差分运动矢量信息被编码时接收部件可接收差分运动矢量信息，以及运动矢量产生部件可通过使用由接收部件接收的解码目标块的差分运动矢量信息和由预测运动矢量产生部件产生的解码目标块的预测运动矢量信息来产生解码目标块的运动矢量信息。

解码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个被自适应性选择和编码。

根据编码参数的属性属性选择并编码解码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个。

根据本发明的第二方面的图像处理方法，在具有接收部件和运动矢量产生部件的图像处理设备中，由接收部件接收解码目标帧中的解码目标块的图像和二次差分运动矢量信息；以及运动矢量产生部件通过使用接收的二次差分运动矢量信息、解码目标块的预测运动矢量信息以及对应块的差分运动矢量信息，来产生解码目标块的运动矢量信息，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

在本发明的第一方面中，产生编码目标块的差分运动矢量信息，即为编码目标帧中的编码目标块搜索的运动矢量信息与编码目标块的预测运动矢量信息之间的差。产生二次差分运动矢量，即产生的编码目标块的差分运动矢量信息与作为参考帧的块并且位于与编码目标块对应的位置处的对应块的差分运动矢量信息之间的差。

在本发明的第二方面中，接收解码目标帧中的解码目标块的图像和二次差分运动矢量信息。通过使用接收的二次差分运动矢量信息、解码目标块的预测运动矢量信息和作为参考帧的块并且位于与编码目标块对应的位置处的对应块的差分运动矢量信息产生解码目标块的运动矢量信息。

上述的每个图像处理设备可以是组成一个图像编码装置或图像解码装置的独立设备或内部块。

发明的有益效果

根据本发明，当产生预测运动矢量信息时，可抑制处理量的增加并且可提高编码效率。

附图说明

图1是示出了1/4像素精度的运动预测/补偿处理的图。

图2是示出了可变块尺寸运动预测/补偿处理的图。

图3是示出了多参考帧的运动预测/补偿系统的图。

图4是示出了产生运动矢量信息的方法的例子的图。

图5是示出了时间直接模式的图。

图6是示出了产生预测运动矢量信息的方法的例子的图。

图7是示出应用本发明的图像编码装置的实施例的构造的框图。

图8是示出了当前块位于运动画面区域与静态图像区域之间的情况的图。

图9是示出了当前块位于静态图像区域之间的情况的图。

图10是示出图7的运动预测/补偿单元和运动矢量信息编码器的构造的框图。

图11是示出图7的图像编码装置的编码处理的流程图。

图12是示出图11的步骤S21的帧内预测处理的流程图。

图13是示出图11的步骤S22的帧间运动预测处理的流程图。

图14是示出图13的步骤S53的二次差分运动矢量信息产生处理的流程图。

图15是示出应用本发明的图像解码装置的实施例的构造的框图。

图16是示出图15的运动预测/补偿单元和运动矢量信息解码器的构造的框图。

图17是示出图15的图像解码装置的解码处理的流程图。

图18是示出图17的步骤S138的预测处理的流程图。

图19是示出了扩展的宏块的例子的图。

图20是示出计算机的硬件构造的例子的框图。

图21是示出应用本发明的电视接收器的主要构造的例子的框图。

图22是示出应用本发明的蜂窝电话的主要构造的例子的框图。

图23是示出应用本发明的硬盘记录器的主要构造的例子的框图。

图24是示出应用本发明的相机的主要构造的例子的框图。

具体实施方式

将在下文中参照附图描述根据本发明的实施例。

[图像编码装置的构造的例子]

图7示出了作为应用本发明的图像处理设备的图像编码装置的实施例的构造。

例如，图像编码装置51基于H.264和MPEG-4Part 10（先进视频编码）（下文称作264/AVC）系统对图像执行压缩编码。也就是说，在H.264/AVC系统中定义的运动补偿块模式被用于图像编码装置51中。

在图7的例子中，图像编码装置51由下述部件构造而成：A/D转换器61、屏幕重置缓冲器62、计算器63、正交变换器64、量化单元65、无损编码器66、累积缓冲器67、逆量化单元68、逆正交变换器69、计算器70、去块滤波器71、帧存储器72、开关73、帧内预测单元74、运动预测/补偿单元75、运动矢量信息编码器76、预测图像选择器77和速率控制器78。

A/D转换器61对输入图像进行A/D转换，并且将图像输出到屏幕重置缓冲器62以将图像存储在屏幕重置缓冲器62中。屏幕重置缓冲器62将存储的以显示顺序布置的帧的图像重置成根据GOP（画面组）的为编码布置的帧的图像。

计算器63从从屏幕重置缓冲器62读取的图像减去由预测图像选择器77选择的来自帧内预测单元74的预测图像或者来自运动预测/补偿单元75的预测图像，并且将它们之间的差分信息输出到正交变换器64。正交变换器64对来自计算器63的差分信息进行正交变换（例如，离散余弦变换或Karhunen-Loeve变换），并且输出它的变换系数。量化单元65对由正交变换器64输出的变换系数进行量化。

作为量化单元65的输出的量化的变换系数被输入到无损编码器66，并且经历诸如可变长度编码或算术编码的无损编码以被压缩。

无损编码器66从帧内预测单元74获得表示帧内预测的信息，并且从运动预测/补偿单元75获得表示帧间预测模式等等的信息。表示帧内预测的信息和表示帧间预测的信息在下文中还被称作帧内预测模式信息和帧间预测模式信息。

无损编码器66对量化的变换系数进行编码并且还对表示帧内预测的信息、表示帧间预测模式的信息等等进行编码以将它们设置为压缩的图像中的头部信息的一部分。无损编码器66向累积缓冲器67提供编码的数据并且将编码的数据累积在累积缓冲器67中。

例如，在无损编码器66中执行诸如可变长度编码或算术编码的无损编码处理。在H.264/AVC系统中定义的CAVLC（上下文自适应可变长度编码）等等已知为可变长度编码。CABAC（上下文自适应二进制算术编码）等等已知为算术编码。

累积缓冲器67将从无损编码器66提供的日期作为由H.264/AVC系统编码的压缩的图像输出到下一级的图像解码装置、记录装置、传输路径等等（未示出）。

从量化单元65输出的量化的变换系数还被输入到逆量化单元68以进行逆向量化，然后在正交变换器69中进行逆正交变换。逆正交变换输出通过计算器70与从预测图像选择器77提供的预测图像进行相加，并且变成局部解码的图像。在去除解码图像的块失真以后，去块滤波器71提供并将解码的图像累积在帧存储器72中。去块滤波器处理之前的图像也由去块滤波器71提供并累积在帧存储器72中。

开关73将累积在帧存储器72中的参考图像输出到运动预测/补偿单元75或帧内预测单元74。

在图像编码装置51中，来自屏幕重置缓冲器62的I画面、B画面和P画面作为要经历帧内预测（还称作帧内处理）的图像被提供给帧内预测单元74。另外，从屏幕重置缓冲器62读取的B画面和P画面作为要经历帧间预测（还称作帧间处理）的图像被提供给运动预测/补偿单元75。

帧内预测单元74基于从屏幕重置缓冲器62读取并且要经历帧内预测的图像和从帧存储器72提供的参考图像，执行作为候选的所有帧内预测模式的帧内预测处理，从而产生预测图像。此时，帧内预测单元74为作为候选的所有帧内预测模式计算开销函数值，并且选择开销函数值提供最小值的帧内预测模式作为最佳帧内预测模式。

帧内预测单元74将在最佳帧内预测模式下产生的预测图像及其开销函数值提供给预测图像选择器77。当由预测图像选择器77选择在最佳帧内预测模式中产生的预测图像时，帧内预测单元74将表示最佳帧内预测模式的信息提供给无损编码器66。无损编码器66对这个信息进行编码并且将该信息设置为压缩图像中的头部信息的一部分。

向运动预测/补偿单元75提供从屏幕重置缓冲器62读取并且要经历帧间处理的图像，还通过开关73向运动预测/补偿单元75提供来自帧存储器72的参考图像。运动预测/补偿单元75执行作为候选的所有帧间预测模式的运动搜索（预测），通过使用搜索的运动矢量对参考图像进行补偿处理，从而产生预测图像。

运动预测/补偿单元75向运动矢量信息编码器76提供搜索到的编码的当前块的运动矢量信息、当前块的外围块的运动矢量信息以及对应块（共置块）的差分运动矢量信息。通过使用来自运动矢量信息编码器76的二次差分运动矢量信息，运动预测/补偿单元75为作为候选的所有帧间预测模式计算开销函数值。

这里，对应块是与当前帧不同并且位于与当前块对应的位置处的编码的帧（位于之前或之后的帧）的块。

运动预测/补偿单元75确定作为候选的各个帧间预测模式中其开销函数值在各个块中提供最小值的帧间预测模式作为最佳帧间预测模式。运动预测/补偿单元75向预测图像选择器77提供在最佳帧间预测模式中产生的预测图像及其开销函数值。

当由预测图像选择器77选择在最佳帧间预测模式下产生的预测图像时，运动预测/补偿单元75将表示最佳帧间预测模式的信息（帧间预测模式信息）输出到无损编码器66。

此时，二次差分运动矢量信息等等被输出到无损编码器66。无损编码器66同样地对来自运动预测/补偿单元75的信息执行诸如可变长度编码或算术编码的无损编码处理，并且将处理后的信息插入到压缩的图像的头部部分中。

从运动预测/补偿单元75向运动矢量信息编码器76不仅提供当前块的运动矢量信息，还提供已经在当前块的外围块中获得的外围运动矢量信息以及对应块的差分运动矢量信息。外围块是不仅在空间上还在时空上沿四周而置的块，即，外围块包含位于在时间上刚好在当前帧之前的帧的空间外围上的块。

运动矢量信息编码器76通过使用提供的外围运动矢量信息根据上述公式（5）的中值预测等等产生当前块的预测运动矢量信息。另外，如上述公式（6），运动矢量信息编码器76产生与当前块的运动矢量信息与预测运动矢量信息之间的差对应的当前块的差分运动矢量信息。另外，运动矢量信息编码器76产生与当前块的差分运动矢量信息与来自运动预测/补偿单元75的对应块的差分运动矢量信息之间的差对应的当前块的二次差分运动矢量信息。产生的当前块的差分运动矢量信息和二次差分运动矢量信息被提供给运动预测/补偿单元75。

预测图像选择器77基于从帧内预测单元74或运动预测/补偿单元75输出的各个开销函数值从最佳帧内预测模式和最佳帧间预测模式确定最佳预测模式。预测图像选择器77选择确定的最佳预测模式的预测图像，并且将预测图像提供给计算器63和70。此时，预测图像选择器77将预测图像的选择信息提供给帧内预测单元74或运动预测/补偿单元75。

速率控制器78基于在累积缓冲器67中累积的压缩图像控制量化单元65的量化操作的速率从而使得既不会出现上溢也不会出现下溢。

处理目标帧和块分别被任意称作当前帧和当前块或者关注帧和关注块，并且它们具有相同意义。

[发明概要的描述]

接下来，将参照图8描述本发明的概要。在图8的例子中示出了参考帧和关注帧。关于图8中的参考帧和关注帧，帧的上半部分以速度v运动，帧的下半部分是静态图像区域。

在关注帧上示出了关注块X_C和相邻地位于关注块X_C的左侧、上侧和右上侧的相邻块A_C、B_C和C_C。另外，在参考帧上示出了关注块X_C的对应块（共置块）X_r和相邻地位于对应块X_r的左侧、上侧和右上侧的相邻块A_r、B_r和C_r。

当MVK表示关于块K的运动矢量信息时，图8的例子中的每个块的运动矢量信息由下面公式（11）表示。

MVX_c=MVX_r=0

MVA_c=MVA_r=0

MVB_c=MVB_r=MVC_c=MVC_r=v    ...(11)

此时，参考帧的对应块中的预测运动矢量信息pmv_r由下面公式（12）表示，并且与对应块中预测运动矢量信息与对应块中的运动矢量信息之间的差对应的差分运动矢量信息mvd_r由下面公式（13）表示。

pmv_r=Median(MVA_r，MVB_r，MVC_r)=Median(0，v，v)=v    ...(12)

mvd_r=MVX_r，pmv_r=0v=-v    ...(13)

另外，关注帧的关注块中的预测运动矢量信息pmv_c由下面公式（14）表示，并且与关注块中的预测运动矢量信息与关注块中的运动矢量信息之间的差对应的差分运动矢量信息mvd_c由下面公式（15）表示。

pmv_c=Median(MVA_c，MVB_c，MVC_c)=Median(0，v，v)=v    ...(14)

mvd_c=MVX_c pmv_c=0v=-v    ...(15)

如上所述，在图8的例子中，基于中值预测的效率在参考帧和关注帧二者中都不好。

另一方面，在图像编码装置51中，由下面公式（16）表示的二次差分运动矢量信息mvdd被编码为要被发送到解码侧的关注块中的运动矢量信息。

mvdd=mvd_c-mvd_r    ...(16)

在图8的例子的情况下，二次差分运动矢量信息mvdd由下面公式（17）进行表示。

mvdd=-v(-v)=0    ...(17)

因此，即使当关注块存在于运动区域与静态图像区域之间时（这与图8的例子的情况一样），与单纯中值预测相比仍可获得更高编码效率。

另外，即使当关于参考帧和关注帧二者在静态图像区域中存在关注块、对应块和各个相邻块时（这与图9的例子的情况一样），下面公式（18）仍被满足。

MVX_c=MVX_r=0

MVA_c=MVA_r=0

MVB_c=MVB_r=MVC_c=MVC_r=0    ...(18)

因此，参考帧的对应块中的预测运动矢量信息pmv_r由下面公式（19）表示，并且与预测运动矢量信息与对应块中的运动矢量信息之间的差对应的差分运动矢量信息mvd_r由下面公式（20）表示。

pmv_c=Median(MVA_c，MVB_c，MVC_c)=Median(0，0，0)=0    ...(19)

mvd_c=MVX_c pmv_c=00=0    ...(20)

另外，关注帧的关注块中的预测运动矢量信息pmv_c由下面公式（21）表示，并且与预测运动矢量信息与关注块中的运动矢量信息之间的差对应的差分运动矢量信息mvd_c由下面公式（22）表示。

pmv_c=Median(MVA_c，MVB_c，MVC_c)=Median(0，0，0)=0    ...(21)

mvd_c=MVX_c pmv_c=00=0    ...(22)

如上所述，在图9的例子中，仅仅通过单纯中值预测仍可获得高编码效率。在图9的例子的情况下，二次差分运动矢量信息mvdd由下面公式（23）表示。

mvdd=00=0    ...(23)

也就是说，即使当在图9的例子的情况下应用本发明的方法时，编码效率仍不会下降。

根据在非专利文献1中描述的建议，在如图8的例子的情况和如图9的例子的情况下执行情况分类处理，并且对这些情况执行不同处理。情况分类处理的执行需要条件分支并且由此需要巨量的计算。

另一方面，根据本发明，基于条件分支的情况分类处理没有被执行，并且在如图8的例子的情况下的运动矢量信息的编码效率能够被提高而不会降低在如图9的例子的情况下的运动矢量信息的编码效率。另外，在非专利文献1中描述的提议的情况下，需要根据上述的情况分类处理发送表示哪个处理被执行的标记信息。另一方面，根据本发明，由于情况分类处理没有被执行，所以不需要发送这个标记信息，并且由此能够避免由于标记信息的发送而导致压缩效率下降。

将更加详细地进行描述。

[运动预测/补偿单元和运动矢量信息编码器的构造的例子]

图10是示出运动预测/补偿单元75和运动矢量信息编码器76的详细构造的例子的框图。在图10中，省去了图7的开关73。

在图10的例子中，运动预测/补偿单元75由运动搜索单元81、开销函数计算器82、模式确定单元83、运动补偿器84、差分运动矢量信息缓冲器85和运动矢量信息缓冲器86构成。运动矢量信息编码器76由中值预测单元91、差分运动矢量产生器92和二次差分运动矢量产生器93构成。

来自屏幕重置缓冲器62的输入图像像素值和来自帧存储器72的参考图像像素值被输入到运动搜索单元81。运动搜索单元81对图2中所示的所有帧间预测模式执行运动搜索处理，并且通过使用搜索的运动矢量信息对参考图像执行补偿处理以产生预测图像。运动搜索单元81向开销函数计算器82提供为每个帧间预测模式搜索的运动矢量信息和产生的预测图像像素值。运动搜索单元81向差分运动矢量产生器92提供为每个帧间预测模式搜索的运动矢量信息。

向开销函数计算器82提供来自屏幕重置缓冲器62的输入图像像素值、来自运动搜索单元81的每个帧间预测模式的运动矢量信息和预测图像像素值、来自差分运动矢量产生器92的差分运动矢量信息和来自二次差分运动矢量产生器93的二次差分运动矢量信息。

开销函数计算器82通过使用提供的信息计算与每个帧间预测模式对应的开销函数值。二次差分运动矢量信息用作要在开销函数中进行编码的运动矢量信息。开销函数计算器82向模式确定单元83提供每个帧间预测模式的运动矢量信息、差分运动矢量信息、二次差分运动矢量信息和开销函数值。

模式确定单元83通过使用针对每个帧间预测模式的开销函数值确定最佳使用各个帧间预测模式中的哪一个。具有最小开销函数值的帧间预测模式被设置为最佳预测模式。模式确定单元83向运动补偿器84提供最佳预测模式信息、与最佳预测模式信息对应的运动矢量信息、差分运动矢量信息、二次差分运动矢量信息和开销函数值。

运动补偿器84通过使用与来自模式确定单元83的最佳预测模式对应的运动矢量补偿来自帧存储器72的参考图像，以产生最佳预测模式的预测图像。运动补偿器84将最佳预测模式的预测图像和开销函数值输出到预测图像选择器77。

当由预测图像选择器77选择最佳帧间模式的预测图像时，从预测图像选择器77提供表示它的信号。根据此，运动补偿器84将最佳帧间模式信息和关注模式的二次差分运动矢量信息提供给无损编码器66以将这些信息发送到解码侧。另外，运动补偿器84将差分运动矢量信息存储到差分运动矢量信息缓冲器85中，并且将运动矢量信息存储到运动矢量信息缓冲器86中。

当预测图像选择器77没有选择最佳帧间模式的预测图像时（即，当选择了帧内预测图像时），0矢量分别作为差分运动矢量信息和运动矢量信息被存储在差分运动矢量信息缓冲器85和运动矢量信息缓冲器86中。

最佳预测模式的每个块的差分运动矢量信息存储在差分运动矢量信息缓冲器85中。存储的差分运动矢量信息作为对应块差分运动矢量信息被提供给二次差分运动矢量产生器93以产生下一帧中的相同位置处的块的二次差分运动矢量。

最佳预测模式的每个块的运动矢量信息被存储在运动矢量信息缓冲器86中。存储的运动矢量信息作为外围运动矢量信息被提供给中值预测单元91以产生下一块的预测运动矢量信息。

中值预测单元91根据上述公式（5）的中值预测通过使用从运动矢量信息缓冲器86提供的与当前块空间相邻的外围块的运动矢量信息来产生预测运动矢量信息。中值预测单元91将产生的预测运动矢量信息提供给差分运动矢量产生器92。

差分运动矢量产生器92根据上述公式（6）通过使用来自运动搜索单元81的运动矢量信息和来自中值预测单元91的预测运动矢量信息来产生差分运动矢量信息。差分运动矢量产生器92将产生的差分运动矢量信息提供给开销函数计算器82和二次差分运动矢量产生器93。

如在上述的公式（16）中，二次差分运动矢量产生器93获得来自差分运动矢量产生器92的当前块的差分运动矢量信息与来自差分运动矢量信息缓冲器85的当前块的对应块的差分运动矢量信息之间的差。二次差分运动矢量产生器93向开销函数计算器82提供从差分结果得出的二次差分运动矢量信息。

[图像编码装置的编码处理的描述]

接下来，将参照图11的流程图描述图7的图像编码装置51的编码处理。

在步骤S11中，A/D转换器61对输入图像进行A/D转换。在步骤S12中，屏幕重置缓冲器62存储从A/D转换器61提供的图像，并且将图像从画面显示顺序重置成编码顺序。

在步骤S13中，计算器63计算在步骤S12中重置的图像与预测图像之间的差。当执行帧间预测时从运动预测/补偿单元75经由预测图像选择器77向计算器63提供预测图像，当执行帧内预测时从帧内预测单元74经由预测图像选择器77向计算器63提供预测图像。

与原始图像数据相比差分数据具有更小数据量。因此，与直接编码图像的情况相比可压缩数据量。

在步骤S14中，正交变换器64对从计算器63提供的差分信息执行正交变换。具体地讲，执行诸如离散余弦变换或Karhunen-Loeve变换的正交变换，并且输出变换系数。在步骤S15中，量化单元65对变换系数进行量化。关于这个量化，如参照以后描述的步骤S26的处理描述地控制速率。

如上所述量化的差分信息如下进行局部解码。即，在步骤S16中，逆量化单元68基于与量化单元65的特征对应的特征对由量化单元65量化的变换系数进行逆向量化。在步骤S17中，逆正交变换器69基于与正交变换器64的特征对应的特征对由逆量化单元68进行逆向量化的变换系数执行逆向正交变换。

在步骤S18中，计算器70将通过预测图像选择器77输入的预测图像加到局部解码的差分信息以产生局部解码的图像（与对计算器63的输入相对应的图像）。在步骤S19中，去块滤波器71对从计算器70输出的图像进行滤波，从而去除块失真。在步骤S20中，帧存储器72存储滤波的图像。没有由去块滤波器71执行滤波处理的图像也从计算器70提供给帧存储器72并且存储在帧存储器72中。

当从屏幕重置缓冲器62提供的处理目标图像是要受到帧内处理的块的图像时，从帧存储器72读取要被参考的解码图像，并且经由开关73将其提供给帧内预测单元74。

在步骤S21中，基于这些图像，帧内预测单元74在作为候选的所有帧内预测模式下对处理目标块的像素执行帧内预测。还没有由去块滤波器71进行去块滤波的像素用作要被参考的解码的像素。

将在以后参照图12描述步骤S21中的帧内预测处理的细节。通过这个处理在作为候选的所有帧内预测模式下执行帧内预测，并且针对作为候选的所有帧内预测模式计算开销函数值。基于计算的开销函数值选择最佳帧内预测模式，并且根据最佳帧内预测模式的帧内预测产生的预测图像及其开销函数值被提供给预测图像选择器77。

当从屏幕重置缓冲器62提供的处理目标图像是要受到帧间处理的图像时，从帧存储器72读取要被参考的图像并且经由开关73将其提供给运动预测/补偿单元75。在步骤S22中，运动预测/补偿单元75基于这些图像执行帧间运动预测处理。

将在以后参照图13描述步骤S22中的帧间运动预测处理的细节。通过这个处理，在作为候选的所有帧间预测模式下执行运动搜索处理，接连产生预测运动矢量信息、差分运动矢量信息和二次差分运动矢量信息，并且计算所有帧间预测模式的开销函数。然后，确定最佳帧间预测模式。在最佳帧间预测模式下产生的预测图像及其开销函数值被提供给预测图像选择器77。

在步骤S23中，预测图像选择器77基于由帧内预测单元74和运动预测/补偿单元75输出的每个开销函数值确定最佳帧内预测模式和最佳帧间预测模式之一作为最佳预测模式。预测图像选择器77选择确定的最佳预测模式的预测图像，并且将该预测图像提供给计算器63和70。这个预测图像用于如上所述的步骤S13和S18的计算。

这个预测图像的选择信息被提供给帧内预测单元74或运动预测/补偿单元75。当选择最佳帧内预测模式的预测图像时，帧内预测单元74向无损编码器66提供表示最佳帧内预测模式的信息（即，帧内预测模式信息）。

当选择最佳帧间预测模式的预测图像时，运动预测/补偿单元75向无损编码器66输出表示最佳帧间预测模式的信息以及作为偶尔需求的与最佳帧间预测模式关联的信息。可提供每个块的二次差分运动矢量信息、参考帧信息等等作为与最佳帧间预测模式关联的信息。此时，运动预测/补偿单元75的运动补偿器84将差分运动矢量信息存储到差分运动矢量信息缓冲器85中，并且将运动矢量信息存储到运动矢量信息缓冲器86中。

在步骤S24中，无损编码器66对由量化单元65输出的量化的变换系数进行编码。即，差分图像受到诸如可变长度编码、算术编码等等的无损编码而被压缩。此时，在上述的步骤S21中输入到无损编码器66的来自帧内预测单元74的帧内预测模式信息或者在步骤S22中与来自运动预测/补偿单元75的最佳帧间预测模式关联的信息也被编码，并且加到头部信息。

例如，针对每个宏块对表示帧间预测模式的信息进行编码。针对每个目标块对二次差分运动矢量信息和参考帧信息进行编码。

在步骤S25中，累积缓冲器67累积差分图像作为压缩图像。累积在累积缓冲器67中的压缩图像被任意读取并且通过传输路径发送到解码侧。

在步骤S26中，速率控制器78基于累积在累积缓冲器67中的压缩图像来控制量化单元65的量化操作的速率，从而既不会出现上溢也不会出现下溢。

[帧内预测处理的描述]

将参照图12的流程图描述图11的步骤S21中的帧内预测处理。在图12的例子中，将在亮度信号的情况下进行描述。

在步骤S41中，帧内预测单元74对4×4像素、8×8像素和16×16像素的帧内预测模式的每一个执行帧内预测。

提供9种4×4像素和8×8像素的基于块的预测模式和4种16×16像素的基于宏块的预测模式作为亮度信号的帧内预测模式。提供4种8×8像素的基于块的预测模式作为色差信号的帧内预测模式。色差信号的帧内预测模式可独立于亮度信号的帧内预测模式进行设置。关于亮度信号的4×4像素和8×8像素的帧内预测模式，为4×4像素和8×8像素的亮度信号的一个块定义一个帧内预测模式。关于亮度信号的16×16像素的帧内预测模式和色差信号的帧内预测模式，为一个宏块定义一个预测模式。

具体地讲，帧内预测单元74通过参考从帧存储器72读取并且经由开关73提供的解码图像，对处理目标块的像素执行帧内预测。在每个帧内预测模式下执行这个帧内预测处理，从而产生在每个帧内预测模式下的预测图像。没有由去块滤波器71执行去块滤波的像素用作要被参考的解码的像素。

在步骤S42中，帧内预测单元74为4×4像素、8×8像素和16×16像素的帧内预测模式的每一个计算开销函数值。这里，将在H.264/AVC系统中采取的开销函数用作如下所述计算开销函数值的开销函数。

例如，H.264/AVC系统使用选择在JM中确定的高复杂度模式和低复杂度模式的两个模式确定方法的方法。在这个方法中，在这两个方法中计算关于预测模式Mode的开销函数值，并且选择使开销函数值最小的预测模式作为针对从关注块到宏块的块的最佳模式。

可根据下面公式（24）计算高复杂度模式下的开销函数值。

Cost(Mode∈Ω)=D+λ×R    ...(24)

在公式（24）中，Ω表示对从关注块到宏块的块进行编码的候选模式的全集。另外，D表示当在关注的预测模式Mode下执行编码时的解码图像与输入图像之间的差分能量。另外，λ表示作为量化参数的函数给出的拉格朗日未定乘数。R表示当在关注的模式Mode下执行编码时的包含正交变换系数的总编码量。

也就是说，由于计算以上参数D和R以执行高复杂度模式下的编码，所以需要在所有候选模式Mode下执行一次时间编码处理，并且由此需要更高的计算量。

另一方面，可根据下面公式（25）计算低复杂度模式下的开销函数值。

Cost(Mode∈Ω)=D+QP2Quant(QP)×HeaderBit    ...(25)

在公式（25）中，与高复杂度模式的情况不同，D表示预测图像与输入图像之间的差分能量。给出QP2Quant（QP）作为量化参数QP的函数。另外，HeaderBit表示关于例如运动矢量和模式的属于头部的信息而没有包含正交变换系数的码量。

也就是说，在低复杂度模式下，需要针对每个候选模式Mode执行预测处理。然而，不要求解码的图像，并且由此不需要执行编码处理。因此，能够以比高复杂度模式要低的计算量执行预测处理。

在步骤S43中，帧内预测单元74为4×4像素、8×8像素和16×16像素的帧内预测模式的每一个确定最佳模式。即，如上所述，在帧内4×4预测模式和帧内8×8预测模式的情况下，存在9种预测模式，并且在帧内16×16预测模式的情况下，存在4种预测模式。因此，帧内预测单元74基于在步骤S42中计算的开销函数值从以上的预测模式确定最佳帧内4×4预测模式、最佳帧内8×8预测模式和最佳帧内16×16预测模式。

在步骤S44中，帧内预测单元74基于在步骤S42中计算的开销函数值，从为4×4像素、8×8像素和16×16像素的各个帧内预测模式确定的最佳模式选择最佳帧内预测模式。即，从为4×4像素、8×8像素和16×16像素确定的最佳模式选择开销函数值最小的模式作为最佳帧内预测模式。帧内预测单元74向预测图像选择器77提供在最佳帧内预测模式下产生的预测图像及其开销函数值。

[帧间运动预测处理的描述]

接下来，将参照图13的流程图描述图11的步骤S22的帧间运动预测处理。

在步骤S51中，运动搜索单元81为上述的图2的16×16像素到4×4像素的8种帧间预测模式的每一个确定运动矢量和参考图像。

在步骤S52中，运动搜索单元81基于确定的运动矢量关于每个帧间预测模式对参考图像执行补偿处理以产生预测图像。运动搜索单元81向开销函数计算器82提供为每个帧间预测模式搜索的运动矢量信息（MVX_C）和产生的预测图像像素值。运动搜索单元81向差分运动矢量产生器92提供为每个帧间预测模式搜索的运动矢量信息（MVX_C）。

在步骤S53中，运动矢量信息编码器76执行产生二次差分运动矢量信息的处理。将在以后参照图14描述产生二次差分运动矢量信息的处理的细节。

通过步骤S53的处理，产生每个帧间预测模式的每个块的预测运动矢量信息（pmv_c），产生差分运动矢量信息（mvd_c），并且还产生二次差分运动矢量信息（mvdd）。产生的差分运动矢量信息（mvd_c）和二次差分运动矢量信息（mvdd）被提供给开销函数计算器82。

向开销函数计算器82提供来自屏幕重置缓冲器62的输入图像像素值、来自运动搜索单元81的每个帧间预测模式的运动矢量信息（MVX_C）和预测图像像素值、来自差分运动矢量产生器92的差分运动矢量信息（mvd_c）和来自二次差分预测矢量产生器93的二次差分运动矢量信息（mvdd）。在步骤S54中，开销函数计算器82通过使用提供的信息根据上述公式（24）或（25）为每个帧间预测模式计算开销函数值。此时，二次差分运动矢量信息（mvdd）用作编码目标运动矢量信息。开销函数计算器82向模式确定单元83提供运动矢量信息（MVX_C）、差分运动矢量信息（mvd_c）、二次差分运动矢量信息（mvdd）和关于每个帧间预测模式的开销函数值。

在步骤S55中，模式确定单元83确定最佳帧间预测模式。即，模式确定单元83将作为候选的所有帧间预测模式的开销函数值进行比较，并且将提供最小开销函数值的帧间预测模式确定为最佳帧间预测模式。模式确定单元83向运动补偿器84提供最佳预测模式信息以及运动矢量信息（MVX_C）、差分运动矢量信息（mvd_c）、二次差分运动矢量信息（mvdd）和与最佳预测模式信息对应的开销函数值。

在步骤S56中，运动补偿器84基于最佳帧间预测模式的运动矢量对来自帧存储器72的参考图像执行补偿处理以产生预测图像。运动补偿器84将最佳预测模式的预测图像和开销函数值输出到预测图像选择器77。

[二次差分运动矢量信息产生处理的描述]

接下来，将参照图14的流程图描述图13的步骤S53的二次差分运动矢量信息产生处理。

在步骤S71中，中值预测单元91根据上述公式（5）的中值预测，通过使用从运动矢量信息缓冲器86提供的与关注块空间相邻的外围块的运动矢量信息，来产生预测运动矢量信息（pmv_c）。中值预测单元91将产生的预测运动矢量信息（pmv_c）提供给差分运动矢量产生器92。

在步骤S72中，差分运动矢量产生器92根据上述公式（6），通过使用来自运动搜索单元81的运动矢量信息和来自中值预测单元91的预测运动矢量信息产生关注块的差分运动矢量信息（mvd_c）。差分运动矢量产生器92将产生的差分运动矢量信息（mvd_c）提供给开销函数计算器82和二次差分运动矢量产生器93。

在步骤S73中，二次差分运动矢量产生器93从差分运动矢量信息缓冲器85提取对应块到关注块的差分运动矢量信息（mvd_r）。当对应块是帧内宏块时，对应块的差分运动矢量信息mvd_r被设置为零。

在步骤S74中，根据公式（16），二次差分运动矢量产生器93产生二次差分运动矢量信息（mvdd）作为对应块的差分运动矢量信息（mvd_r）与关注块的差分运动矢量信息（mvd_c）之间的差值。二次差分运动矢量产生器93将产生的二次差分运动矢量信息（mvdd）提供给开销函数计算器82。

如上所述，在图像编码装置51中，与关注块的差分运动矢量信息与对应块的差分运动矢量信息之间的差对应的二次差分运动矢量信息被编码为要被发送到解码侧的关注块的运动矢量信息。即，不仅使用空间相关性还使用空间-时间相关性。

因此，当产生预测运动矢量信息时，可抑制处理量的增加并且还可提高要被发送到解码侧的运动矢量信息的编码效率。

编码的压缩的图像经由预定传输路径进行发送并且由图像解码装置进行解码。

[图像解码装置的构造的例子]

图15示出了作为应用本发明的图像处理设备的图像解码装置的实施例的构造。

图像解码装置101由累积缓冲器111、无损解码器112、逆量化单元113、逆正交变换器114、计算器115、去块滤波器116、屏幕重置缓冲器117、D/A转换器118、帧存储器119、开关120、帧内预测单元121、运动预测/补偿单元122、运动矢量信息解码器123和开关124构成。

累积缓冲器111累积发送的压缩图像。根据与无损编码器66的编码系统对应的系统，无损解码器112对从累积缓冲器111提供并且由图7的无损编码器66进行编码的信息进行解码。逆量化单元113根据与图7的量化单元65的量化系统对应的系统对由无损解码器112解码的图像进行逆向量化。逆正交变换器114根据与图7的正交变换器64的正交变换系统对应的系统对逆量化单元113的输出执行逆向正交变换。

逆正交变换的输出由计算器115加到从开关124提供的预测图像并且被解码。在去块滤波器116去除解码的图像的块失真以后，去块滤波器116提供图像并且累积在帧存储器119中并且还将图像输出到屏幕重置缓冲器117。

屏幕重置缓冲器117对图像进行重置。即，针对编码顺序由图7的屏幕重置缓冲器62重置的帧的顺序被重置成原始显示顺序。D/A转换器118对从屏幕重置缓冲器117提供的图像进行D/A转换，并且将这些图像输出到显示器（未示出）以显示图像。

开关120从帧存储器119读取要受到帧间处理的图像和要被参考的图像，并且将这些图像输出到运动预测/补偿单元122。此外，开关120从帧存储器119读取用于帧内预测的图像并且将图像提供给帧内预测单元121。

通过解码头部信息获得的表示帧内预测模式的信息从无损解码器112提供给帧内预测单元121。帧内预测单元121基于此信息产生预测图像并且将产生的预测图像输出到开关124。

通过解码头部信息获得的信息之外的帧间预测模式信息、二次差分运动矢量信息、参考帧信息等等被从无损解码器112提供给运动预测/补偿单元122。针对每个宏块发送帧间预测模式信息。针对每个块发送二次差分运动矢量信息和参考帧信息。

运动预测/补偿单元122将从无损解码器112提供的当前块的二次差分运动矢量信息提供给运动矢量信息解码器123，并且获得由运动矢量信息解码器123根据提供的二次差分运动矢量信息产生的当前块的差分运动矢量信息和运动矢量信息。运动预测/补偿单元122通过使用来自运动矢量信息解码器123的运动矢量信息对来自帧存储器119的参考图像执行补偿处理，并且在由从无损解码器112提供的帧间预测模式信息表示的预测模式下为当前块产生预测图像的像素值。运动预测/补偿单元122累积来自运动矢量信息解码器123的差分运动矢量信息以产生下一个当前块的预测运动矢量信息。

当从运动预测/补偿单元122提供了当前块的二次差分运动矢量信息时，运动矢量信息解码器123从运动预测/补偿单元122获得外围块到当前块的运动矢量信息和对应块到当前块的差分运动矢量信息。

运动矢量信息解码器123通过使用获得的外围块的运动矢量信息产生预测运动矢量信息。运动矢量信息解码器123通过使用对应块的二次差分运动矢量信息和差分运动矢量信息产生当前块的差分运动矢量信息。另外，运动矢量信息解码器123通过使用产生的差分运动矢量信息和产生的预测运动矢量信息产生当前块的运动矢量信息。产生的当前块的运动矢量信息和差分运动矢量信息被存储在运动预测/补偿单元122中。

开关124选择由运动预测/补偿单元122或帧内预测单元121产生的预测图像，并且将预测图像提供给计算器115。

需要在图7的运动预测/补偿单元75中为模式确定为所有候选模式执行预测图像的产生和开销函数值med的计算。另一方面，在图15的运动预测/补偿单元122中，从压缩的图像的头部接收关于关注块的模式信息和二次差分运动矢量信息（mvdd），并且仅仅执行使用这些信息的运动补偿处理。

即，在图15的图像解码装置101中，接收二次差分运动矢量信息，并且根据上述公式（5）的中值预测从当前块的外围块的运动矢量信息产生预测运动矢量信息（pmv_c）。另外，从向运动预测/补偿单元122提供的缓冲器读取当前块的对应块中的差分运动矢量信息（mvd_r）。

因此，根据下面公式（26）计算当前块中的运动矢量信息mv。

mv=mvdd+pmv_c+mvd_r    ...(26)

在图像解码装置101中，通过使用这样计算的运动矢量信息执行运动补偿。

[运动预测/补偿单元和运动矢量信息解码器的构造的例子]

图16是示出运动预测/补偿单元122和运动矢量信息解码器123的详细构造的例子的框图。在图16中，省去了图15的开关120。

在图16的例子中，运动预测/补偿单元122由二次差分运动矢量信息缓冲器131、运动矢量信息缓冲器132、差分运动矢量信息缓冲器133和运动补偿器134构成。另外，运动矢量信息解码器123由中值预测单元141和运动矢量信息产生器142构成。

从无损解码器112向二次差分运动矢量信息缓冲器131提供每个块的二次差分运动矢量信息。二次差分运动矢量信息缓冲器131累积提供的二次差分运动矢量信息并且将它提供给运动矢量信息产生器142。

运动矢量信息缓冲器132存储来自运动补偿器134的每个块的运动矢量信息作为产生下一个块的预测运动矢量信息的外围运动矢量信息。差分运动矢量信息缓冲器133存储来自运动补偿器134的每个块的差分运动矢量信息作为对应块的差分运动矢量信息以产生下一帧的每个块的运动矢量信息。

运动补偿器134通过使用来自运动矢量信息产生器142的当前块的运动矢量信息对来自帧存储器119的参考图像像素值执行补偿处理以产生预测图像。运动补偿器134将预测图像像素值提供给开关124，并且还将当前块的运动矢量信息存储到运动矢量信息缓冲器132中。运动补偿器134将当前块的差分运动矢量信息存储到差分运动矢量信息缓冲器133中。

中值预测单元141从运动矢量信息缓冲器132获得外围块到当前块的运动矢量信息。中值预测单元141根据上述公式（5）的中值预测通过使用获得的外围块的运动矢量信息产生当前块的预测运动矢量信息，并且将产生的预测运动矢量信息提供给运动矢量信息产生器142。

当从二次差分运动矢量信息缓冲器131提供当前块的二次差分运动矢量信息时，运动矢量信息产生器142从差分运动矢量信息缓冲器133读取当前块的对应块中的差分运动矢量信息。另外，还从中值预测单元141向运动矢量信息产生器142提供当前块的预测运动矢量信息。

运动矢量信息产生器142根据上述公式（26）产生运动矢量信息。另外，运动矢量信息产生器142通过将二次差分运动矢量信息与对应块的差分运动矢量信息进行相加、即根据下面公式（27），来产生当前块的差分运动矢量信息。产生的当前块的运动矢量信息和差分运动矢量信息被提供给运动补偿器134。

mvd_c=mvdd+mvd_r    ...(27)

[图像解码装置的解码处理的描述]

接下来，将参照图17的流程图描述由图像解码装置101执行的解码处理。

在步骤S131中，累积缓冲器111累积所发送的图像。在步骤S132中，无损解码器112对从累积缓冲器111提供的压缩的图像进行解码。即，由图7的无损编码器66编码的I画面、P画面和B画面被解码。

此时，二次差分运动矢量信息、参考帧信息、预测模式信息（该信息表示帧内预测模式或帧间预测模式）等等也被解码。

即，当预测模式信息是帧内预测模式信息时，预测模式信息被提供给帧内预测单元121。当预测模式信息是帧间预测模式信息时，与预测模式信息对应的二次差分运动矢量信息和参考帧信息被提供给运动预测/补偿单元122。

在步骤S133中，逆量化单元113根据与图7的量化单元65的特征对应的特征对由无损解码器112解码的变换系数进行逆向量化。在步骤S134中，逆正交变换器114根据与图7的正交变换器64的特征对应的特征对由逆量化单元113进行逆向量化的变换系数执行逆向正交变换，从而与图7的正交变换器64的输入（计算器63的输出）对应的差分信息被解码。

在步骤S135中，计算器115将差分信息与通过以后描述的步骤S139的处理选择并且通过开关124输入的预测图像进行相加，从而对原始图像进行解码。在步骤S136中，去块滤波器116对从计算器115输出的图像进行滤波，从而块失真被去除。在步骤S137中，帧存储器119存储经滤波的图像。

在步骤S138中，帧内预测单元121或运动预测/补偿单元122根据从无损解码器112提供的预测模式信息对图像执行预测处理。

也就是说，当从无损解码器112提供帧内预测模式信息时，帧内预测单元121执行帧内预测模式的帧内预测处理。当从无损解码器112提供帧间预测模式信息时，运动预测/补偿单元122执行帧间预测模式的运动预测/补偿处理。此时，从来自无损解码器112的二次差分运动矢量信息和对应块的差分运动矢量信息产生当前块的差分运动矢量信息。另外，从所产生的当前块的差分运动矢量信息和从外围块的运动矢量信息所产生的预测运动矢量信息，产生当前块的运动矢量信息。使用产生的运动矢量信息，并且对参考图像执行补偿处理，从而产生帧间预测模式的预测图像。

将在以后参照图18描述步骤S138中的预测处理的细节，并且由帧内预测单元121产生的预测图像或由运动预测/补偿单元122产生的预测图像被提供给开关124。

在步骤S139中，开关124选择预测图像。即，提供由帧内预测单元121产生的预测图像或由运动预测/补偿单元122产生的预测图像。因此，提供的预测图像被选择并提供给计算器115，并且如上所述在步骤S135中与逆正交变换器114的输出进行相加。

在步骤S140中，屏幕重置缓冲器117执行重置。即，由图像编码装置51的屏幕重置缓冲器62针对编码进行重置的帧的顺序被重置成原始显示顺序。

在步骤S141中，D/A转换器118对来自屏幕重置缓冲器117的图像进行D/A转换。这个图像输出到显示器（未示出）并且图像在显示器上进行显示。

[图像解码装置的预测处理的描述]

接下来，将参照图18的流程图描述图17的步骤S138的预测处理。

在步骤S171中，帧内预测单元121确定当前块是否受到了帧内编码。当帧内预测模式信息从无损解码器112提供给帧内预测单元121时，在步骤S171中，帧内预测单元121确定当前块受到帧内编码，并且处理进入步骤S172。

在步骤S172中，帧内预测单元121获得帧内预测信息，并且在步骤S173中执行帧内预测。

即，当处理目标图像是要受到帧内处理的图像时，从帧存储器119读取所需图像并且经由开关120将其提供给帧内预测单元121。在步骤S173中，帧内预测单元121根据在步骤S172中获得的帧内预测模式信息来执行帧内预测以产生预测图像。产生的预测图像被输出到开关124。

另一方面，当在步骤S171中确定当前块还没有被帧内编码时，处理进入步骤S174。

当处理目标图像是要经历帧间处理的图像时，每个宏块的帧间预测模式信息和每个块的参考帧信息和二次差分运动矢量信息从无损解码器112提供给运动预测/补偿单元122。

在步骤S174中，运动预测/补偿单元122获得帧间预测模式信息、参考帧信息、二次差分运动矢量信息等等。获得的二次差分运动矢量信息被累积在二次差分运动矢量信息缓冲器131中并且被提供给运动矢量信息产生器142。帧间预测模式信息和参考帧信息被提供给运动补偿器134，尽管它们在图16的例子中没有示出。

在步骤S175中，中值预测单元141产生当前块的预测运动矢量信息。即，中值预测单元141从运动矢量信息缓冲器132获得外围块到当前块的运动矢量信息。中值预测单元141根据上述公式（5）的中值预测通过使用所获得的外围块的运动矢量信息产生当前块的预测运动矢量信息，并且将所产生的预测运动矢量信息提供给运动矢量信息产生器142。

当从二次差分运动矢量信息缓冲器131提供当前块的二次差分运动矢量信息时，在步骤S176中运动矢量信息产生器142从差分运动矢量信息缓冲器133获得当前块的对应块中的差分运动矢量信息。

在步骤S177中，运动矢量信息产生器142根据上述公式（26）重构当前块的运动矢量信息。即，运动矢量信息产生器142将二次差分运动矢量信息与对应块的差分运动矢量信息和当前块的预测运动矢量信息进行相加以产生当前块的运动矢量信息。另外，根据上述的公式（27），运动矢量信息产生器142产生当前块的差分运动矢量信息。产生的当前块的运动矢量信息和差分运动矢量信息被提供给运动补偿器134。

在步骤S178中，运动补偿器134通过使用来自运动矢量信息产生器142的当前块的运动矢量信息对来自帧存储器119的参考图像像素值执行补偿处理以产生预测图像。然后，运动补偿器134将预测图像像素值提供给开关124，并且将当前块的运动矢量信息存储到运动矢量信息缓冲器132中。运动补偿器134将当前块的差分运动矢量信息存储到差分运动矢量信息缓冲器133中。

如上所述，图像编码装置51编码并发送二次差分运动矢量信息，并且图像解码装置101接收编码的二次差分运动矢量信息，产生运动矢量信息并且执行运动补偿处理。即，在本发明中，使用当前帧与参考帧之间的差分运动矢量信息的相关性。

例如，在对基于正常中值预测的差分运动矢量信息进行编码的情况下，当比特率低时静态图像区域与运动画面区域之间的边界是弱点，并且可克服这个弱点。

如上所述，当产生预测运动矢量信息时，可抑制处理量的增加，并且可提高编码效率。

可自适应选择对根据上述公式（6）产生的基于正常中值预测的差分矢量信息进行编码的方法和根据本发明的对二次差分运动矢量信息进行编码的方法，并且针对每个运动预测块进行使用。计算并比较开销函数值等等的方法可用作这种情况下的选择方法。在这种情况下，针对每个块，将表示前者和后者方法的哪一个用于执行编码的标记信息添加到压缩的图像的头部并且将其发送到解码侧。任何信息可用作标记信息，只要它可识别哪一个方法用于编码即可。在解码侧，表示由前者方法执行编码的标记信息被参考，并且通过使用发送的基于正常中值预测的差分运动矢量信息和产生的预测运动矢量信息，来产生运动矢量信息。

另外，能够以比非专利文献1的提议少与未执行条件分支对应的计算量的较低计算处理量来执行根据本发明的运动矢量编码方法。然而，与在H.264/AVC系统中定义的中值预测处理相比需要更高计算量，这是因为差分运动矢量信息被存储在存储器等等中并且被参考。因此，根据属性，本发明的方法可仅仅应用到如H.264/AVC中的属性High Profile的情况一样的以更高计算处理量获得的属性。即，编码参数中的序列参数集中的属性profile_idc被参考，并且基于profile属性_idc确定是否应用本发明的方法。

在以上描述中，在使用运动矢量信息中的空间相关性以后使用时间相关性。这是因为在H.264/AVC中使用中值预测。然而，在图8和图9的例子中，可执行使用运动矢量信息的空间-时间相关性的编码处理和解码处理，其中，在使用时间相关性以后使用空间相关性。

关于编码侧处的处理，首先根据下面公式（28）计算diff_mvA、diff_mvB、diff_mvC和diff_mvX作为第一步骤。

diff_mvA=(mvA_c，mvA_r)

diff_mvB=(mvB_c，mvB_r)

diff_mvC=(mvC_c，mvC_r)

diff_mvX=(mvX_c，mvX_r)    ...(28)

作为第二步骤，根据下面公式（29）计算diff_pmv。

diff_pmv=Median(diff_mvA，diff_mvB，diff_mvC)    ...(29)

作为第三步骤，根据下面公式（30）计算要进行编码的运动矢量信息。计算的mvdd经历无损编码并且被发送。

mvdd=diff_mvX    diff_pmv    ...(30)

关于解码侧的处理，作为第一步骤，通过无损解码处理从压缩的图像提取mvdd。接下来，作为第二步骤，如在编码侧的情况下一样产生diff_pmv。作为第三步骤，从运动矢量缓冲器提取对应的（共置的）块中的运动矢量信息mvX_r。

结果，根据下面公式（31）计算针对当前块的运动矢量信息mvXc。

mvX_c=mvdd+mvX_r+diff_pmv    ...(31)

在以上描述中，宏块的尺寸等于16×16像素。然而，本发明可应用到扩展的宏块尺寸。

图19示出了扩展的宏块尺寸的例子。

从图19的上部的左侧开始连续示出了由被分割成32×32像素、32×16像素、16×32像素和16×16像素的块（区块）的32×32像素构造的宏块。从图19的中部的左侧开始连续示出了由被分割成16×16像素、16×8像素、8×16像素和8×8像素的块的16×16像素构造的块。另外，从图19的下部的左侧开始连续示出了被分割成8×8像素、8×4像素、4×8像素和4×4像素的块的8×8像素的块。

即，针对在图19的上部所示的32×32像素、32×16像素、16×32像素和16×16像素的块的处理可应用到32×32像素的宏块。

如在H.264/AVC系统的情况下一样，针对在中部描述的16×16像素、16×8像素、8×16像素和8×8像素的块的处理可应用到在上部的右侧所示的16×16像素的块。

另外，如在H.264/AVC系统的情况下一样，针对在下部描述的8×8像素、8×4像素、4×8像素和4×4像素的块的处理可应用到在中部的右侧所示的8×8像素的块。

通过采用这种分级结构，在扩展的宏块尺寸中，关于16×16像素或更小的块，更大块被定义为保持与H.264/AVC系统兼容的超集。

本发明可应用到如上所述提议的扩展的宏块尺寸。

在以上描述中，基于中值预测的空间预测运动矢量信息（空间预测器）用作预测运动矢量信息。时间预测运动矢量信息（时间预测器）和空间-时间预测运动矢量信息（空间-时间预测器）或其它预测运动矢量信息可用作预测运动矢量信息。

在以上实施例中，H.264/AVC系统基本用作编码系统，但本发明不限于这个类型。即，本发明可应用到使用差分处理执行运动矢量信息编码处理的另一种编码系统/解码系统。例如，如在MPEG-2的情况下一样，作为使用空间方向上的相关性的方法，可基于来自位于左侧的块的运动矢量信息的差分值执行该处理。

本发明可应用到在如下情况下使用的图像编码装置和图像解码装置：当如MPEG、H.26x等等的情况下一样通过卫星广播、有线电视、互联网或例如蜂窝电话的网络介质接收通过正交变换（例如离散余弦变换）和运动补偿压缩的图像信息（比特流）时。另外，本发明可应用到当在诸如光盘、磁盘或闪存的存储介质上执行处理时使用的图像编码装置和图像解码装置。另外，本发明可应用到包含在这些图像编码装置和图像解码装置中的运动预测补偿装置。

可通过硬件或软件执行上述的一系列处理。当通过软件执行这一系列处理时，组成软件的程序被安装在计算机中。这里，计算机包含安装在专用硬件中的计算机或者可通过在计算机中安装多种类型的程序执行多种功能的通用计算机。

[个人计算机的构造的例子]

图20是示出用于通过程序执行上述的一系列处理的计算机的硬件的构造的例子的框图。

在计算机中，CPU（中央处理单元）201、ROM（只读存储器）202和RAM（随机访问存储器）203经由总线204彼此进行互连。

输入/输出接口205连接到总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动器210连接到输入/输出接口205。

输入单元206包括键盘、鼠标、麦克风等等。输出单元207包括显示器、扬声器等等。存储单元208包括硬盘、非易失性存储器等等。通信单元209包括网络接口等等。驱动器210驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移动介质211。

在这样构造的计算机中，CPU 201通过输入/输出接口205和总线204将存储在存储单元208中的程序加载到RAM 203中并且执行该程序以执行上述的一系列处理。

例如，由计算机（CPU 201）执行的程序可被记录在例如套装介质等等的可移动介质211中进行提供。该程序可通过诸如局域网、互联网或数字广播的有线或无线传输介质进行提供。

在计算机中，可通过将可移动介质211安装到驱动器210中来经由输入/输出接口205将程序安装在存储单元208中。另外，可由通信单元209经由有线或无线传输介质接收程序并且将其安装到存储单元208中。或者，该程序可预先安装在ROM 202或存储单元208中。

由计算机执行的程序可以是按照时间序列沿在这个说明书中描述的顺序处理的程序或者并行或在如调用等等的所需定时处理的程序。

本发明的实施例不限于以上实施例，并且在不脱离本发明的主题的情况下可以实现多种变型。

例如，上述的图像编码装置51和图像解码装置101可应用到任何电子设备。将在下文描述它们的例子。

[电视接收器的构造的例子]

图21是示出使用应用本发明的图像解码装置的电视接收器的主要构造的例子的框图。

图21中所示的电视接收器300具有陆地调谐器313、视频解码器315、视频信号处理电路318、图形产生电路319、面板驱动电路320和显示面板321。

陆地调谐器313经由天线接收陆地模拟广播的广播信号，解码广播信号以获得视频信号，并且将视频信号提供给视频解码器315。视频解码器315对从陆地调谐器313提供的视频信号执行解码处理，并且将获得的数字成分信号提供给视频信号处理电路318。

视频信号处理电路318对从视频解码器315提供的视频数据执行诸如去噪等等的预定处理，并且将获得的视频数据提供给图形产生电路319。

图形产生电路319产生在显示面板321上显示的节目的视频数据、通过基于经由网络提供的应用的处理获得的图像数据，并且将产生的视频数据或图像数据提供给面板驱动电路320。图形产生电路319任意执行产生用于显示由用户通过选择项目等等使用的屏幕的视频数据（图形）的处理，并且向面板驱动电路320提供通过在节目的视频数据上叠加产生的视频数据获得的视频数据。

面板驱动电路320基于从图形产生电路319提供的数据驱动显示面板321以在显示面板321上显示上述的节目的画面和多种屏幕。

显示面板321由LCD（液晶显示器）等等进行构造，并且根据面板驱动电路320的控制显示节目的画面。

另外，电视接收器300还具有音频A/D（模拟/数字）转换电路314、音频信号处理电路322、回声消除/音频合成电路323、音频放大电路324和扬声器325。

陆地调谐器313对接收的广播信号进行解调以不仅获得视频信号还获得音频信号。陆地调谐器313将获得的音频信号提供给音频A/D转换电路314。

音频A/D转换电路314对从陆地调谐器313提供的音频信号执行A/D转换处理，并且将获得的数字音频信号提供给音频信号处理电路322。

音频信号处理电路322对从音频A/D转换电路314提供的音频数据执行例如去噪的预定处理，并且将获得的音频数据提供给回声消除/音频合成电路323。

回声消除/音频合成电路323将从音频信号处理电路322提供的音频数据提供给音频放大电路324。

音频放大电路324对从回声消除/音频合成电路232提供的音频数据执行D/A转换处理和放大处理从而将音量调整到预定音量，然后从扬声器325输出声音。

另外，电视接收器300具有数字调谐器316和MPEG解码器317。

数字调谐器316经由天线接收数字广播（陆地数字广播、BS（广播卫星）/CS（通信卫星）数字广播）的广播信号，解码广播信号以获得MPEG-TS（运动图像专家组-传输流），并且将MPEG-TS提供给MPEG解码器317。

MPEG解码器317释放应用到从数字调谐器316提供的MPEG-TS的扰码（scramble），并且提取包含节目的数据的流作为再现目标（观看目标）。MPEG解码器317解码组成提取的流的音频包，并且将获得的音频数据提供给音频信号处理电路322。此外，MPEG解码器317对组成流的视频包进行解码并且将获得的视频数据提供给视频信号处理电路318。MPEG解码器317经由路径（未示出）将从MEPG-TS提取的EPG（电子节目指南）数据提供给CPU 332。

电视接收器300使用上述的图像解码装置101作为上述的用于解码画面包的MPEG解码器317。因此，当如在图像解码装置101的情况下一样产生预测运动矢量信息时，MPEG解码器317抑制处理量的增加并且还提高编码效率。

如在从视频解码器315提供的视频数据的情况下一样，从MPEG解码器317提供的视频数据在视频信号处理电路318中受到预定处理。已经受到预定处理的视频数据由图形产生电路319任意叠加在产生的视频数据等等上并且经由面板驱动电路320提供给显示面板321以显示其图像。

如从音频A/D转换电路314提供的音频数据的情况下一样，从MPEG解码器317提供的音频数据在音频信号处理电路322中受到预定处理。已经受到预定处理的音频数据通过回声消除/音频合成电路323提供给音频放大电路324，并且受到D/A转换处理和放大处理。结果，被调整到预定音量的声音从扬声器325输出。

另外，电视接收器300还具有麦克风326和A/D转换电路327。

A/D转换电路327接收由设置到电视接收器300以进行语音通信的麦克风326获取的用户的语音。A/D转换电路327对接收的音频信号执行A/D转换处理，并且将获得的数字音频数据提供给回声消除/音频合成电路323。

当从A/D转换电路327提供电视接收器300的用户（用户A）的音频数据时，回声消除/音频合成电路323对用户A的音频数据执行回声消除。在回声消除以后，通过组合以上音频数据与其它音频数据等等获得的音频数据从扬声器325经由音频放大电路324由回声消除/音频合成电路323进行输出。

另外，电视接收器300具有音频编解码器328、内部总线329、SDRAM（同步动态随机存取存储器）330、闪存331、CPU 332、USB（通用串行总线）I/F 333和网络I/F 334。

A/D转换电路327接收由设置到电视接收器300以进行语音通信的麦克风326获取的用户的语音信号。A/D转换电路327对接收的音频信号执行A/D转换处理，并且将获得的数字数据提供给音频编解码器328。

音频编解码器328将从A/D转换电路327提供的音频数据转换成基于预定格式的数据以经由网络发送该数据，并且经由内部总线329将该数据提供给网络I/F 334。

网络I/F 334经由安装到网络端子335的线缆连接到网络。例如，网络I/F 334向连接到网络的另一个装置发送从音频编解码器328提供的音频数据。另外，网络I/F 334经由网络端子335接收从经由网络连接的另一个装置发送的音频数据，并且经由内部总线329将关注的音频数据提供给音频编解码器328。

音频编解码器328将从网络I/F 334提供的音频数据转换成预定格式的数据，并且将关注数据提供给回声消除/音频合成电路323。

回声消除/音频合成电路323对从音频编解码器328提供的目标音频数据执行回声消除，并且从扬声器325经由音频放大电路324输出通过组合以上音频数据与另一个音频数据等等获得的音频数据。

SDRAM 330存储CPU 332执行该处理所需的多种数据。

闪存331存储由CPU 332执行的程序。存储在闪存331中的程序由CPU 332在诸如电视接收器300的启动时间等等的预定定时进行读取。通过数字广播获得的EPG数据、经由网络从预定服务器获取的数据等等被存储在闪存331中。

例如，包含经由网络从预定服务器获得的内容数据的MPEG-TS在CPU332的控制之下存储在闪存331中。在CPU 332的控制之下，闪存331经由内部总线329将MPEG-TS提供给MPEG解码器317。

如从数字调谐器316提供MPEG-TS的情况下一样，MPEG解码器317处理MPEG-TS。如上所述，电视接收器300经由网络接收由画面、声音等等构造的内容数据并且通过使用MPEG解码器317对它们进行解码，从而可显示它们的画面或者可输出声音。

另外，电视接收器300具有光电检测器337，用于对从遥控器351发送的红外信号进行光电检测。

光电检测器337从遥控器351接收红外线，并且向CPU 332输出通过解码获得并且表示用户的操作的内容的控制码。

CPU 332执行存储在闪存331中的程序，并且根据从光电检测器337提供的控制码等等控制电视接收器300的整体操作。电视接收器300的各个部分经由路径（未示出）连接到CPU 332。

USB I/F 333从经由安装到USB端子336的USB线缆进行连接的电视接收器300的外部设备接收数据或者向其发送数据。网络I/F 334经由安装到网络端子335的线缆连接到网络，并且从连接到网络的多种装置接收音频数据之外的数据或者向其发送音频数据之外的数据。

通过使用图像解码装置101作为MPEG解码器317，电视接收器300可提高编码效率。结果，电视接收器300从经由天线接收的广播信号或经由网络获得的内容数据获得更高清晰度的解码图像，并且显示该解码图像。

[蜂窝电话的构造的例子]

图22是示出使用应用本发明的图像编码装置和图像解码装置的蜂窝电话的主要构造的例子的框图。

图22中所示的蜂窝电话400具有用于总体控制各个部分的主控制器450、电源电路单元451、操作输入控制器452、图像编码器453、相机I/F单元454、LCD控制器455、图像解码器456、多重分离单元457、记录/再现单元462、调制/解调电路单元458和音频编解码器459。这些经由总线460彼此连接。

蜂窝电话400具有操作键419、CCD（电荷耦合器件）相机416、液晶显示器418、存储单元423、发送/接收电路单元463、天线414、麦克风（mic）421和扬声器417。

当通过用户的操作将挂机和电源键设置成开启状态时，电源电路单元451从电池组向各个部分进行供电以启动蜂窝电话400从而蜂窝电话可进行工作。

在由CPU、ROM、RAM等等构造的主控制器450的控制之下，蜂窝电话400在诸如语音呼叫模式、数据通信模式等等的多种模式下之下，执行多种操作，例如音频信号的发送/接收、电邮和图像数据的发送/接收、拍摄图像、数据记录、等等。

例如，在语音呼叫模式下，蜂窝电话400通过音频编解码器459将由麦克风（mic）421收集的音频信号转换成数字音频数据，在调制/解调电路单元458中对数字音频数据执行扩频处理，并且在发送/接收电路单元463中对处理的数据执行数字模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传输信号发送到基站（未示出）。被发送到基站的传输信号（音频信号）经由公共电话网被提供给通信方的蜂窝电话。

另外，在音频呼叫模式下，蜂窝电话400通过发送/接收电路单元463对通过天线414接收的接收信号进行放大，对关注信号执行频率转换处理和模拟数字转换处理，在调制/解调电路单元458中对关注的处理信号执行逆扩谱处理，并且通过音频编解码器459将该信号转换成模拟音频信号。蜂窝电话400从扬声器417输出这样转换的模拟音频信号。

另外，例如当在数据通信模式下发送电邮时，蜂窝电话400通过操作输入控制器452接受经由操作键419的操作而输入的电邮的文本数据。蜂窝电话400在主控制器450中处理文本数据，并且经由LCD控制器455将文本数据作为图像在液晶显示器418上进行显示。

另外，蜂窝电话400在主控制器450中产生基于由操作输入控制器452接受的文本数据的电邮数据、用户的指令等等。蜂窝电话400在调制/解调电路单元458中对电邮数据执行扩频处理，并且在发送/接收电路单元463中对经处理的数据进行数字模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传输信号发送到基站（未示出）。被发送到基站的传输信号（电邮）经由网络、邮件服务器等等被提供给预定目的地。

另外，当在数据通信模式下接收电邮时，蜂窝电话400通过发送/接收电路单元463接收经由天线414从基站发送的信号，对该信号进行放大并且还对放大的信号执行频率转换处理和模拟数字转换处理。蜂窝电话400在调制/解调电路单元458中对接收信号执行逆扩谱处理，以恢复原始电邮数据。蜂窝电话400经由LCD控制器455在液晶显示器418上显示恢复的电邮数据。

蜂窝电话400可经由记录/再现单元462将接收的电邮数据记录（存储）到存储单元423。

这个存储单元423是任何可重写存储介质。存储单元423可以是诸如RAM或内置型闪存的半导体存储器、硬盘、或者诸如磁盘、磁光盘、USB存储器或记忆卡的可移动介质。无需讲的是，存储单元可以是以上材料之外的任何存储介质。

另外，例如，当在通信模式下发送图像数据时，蜂窝电话400通过采用CCD相机416拍摄图像来产生图像数据。CCD相机416具有诸如透镜和光圈的光学装置和例如光电转换元件的CCD，拍摄对象的图像并且将光电检测到的光的强度转换成电信号以产生主题的图像的图像数据。通过图像编码器453经由相机I/F单元454对图像数据执行依据诸如MPEG2或MPEG4的预定编码系统的压缩编码，由此图像数据被转换成编码的图像数据。

蜂窝电话400使用上述的图像编码装置51作为如上所述用于执行该处理的图像编码器453。因此，当如在图像编码装置51的情况下一样产生预测运动矢量信息时，图像编码器453可抑制处理量的增加并且提高编码效率。

与此同时，蜂窝电话400在CCD相机416的成像操作期间在音频编解码器459中对由麦克风（mic）421收集的声音执行模拟数字转换，并且还对处理的声音进行编码。

蜂窝电话400在多重分离单元457中以预定格式对从图像编码器453提供的编码的图像数据和从音频编解码器459提供的数字音频数据进行多路复用。蜂窝电话400在调制/解调电路单元458中对合成的多路复用的数据执行扩频处理，并且在发送/接收电路单元463中对处理的数据执行数字模拟转换处理和频率转换处理。蜂窝电话400经由天线414将通过转换处理获得的传输信号发送到基站（未示出）。被发送到基站的传输信号（图像数据）经由网络等等被提供给通信方。

当没有图像数据被发送时，蜂窝电话400可以不通过图像编码器453而通过LCD控制器455在液晶显示器418上显示由CCD相机416产生的图像数据。

另外，在数据通信模式下，当接收链接到简单主页等等的运动画面文件的数据时，蜂窝电话400通过发送/接收电路单元463接收经由天线414从基站发送的信号，对处理的信号进行放大并且还对放大的信号执行频率转换处理和模拟数字转换处理。蜂窝电话400在调制/解调电路单元458中对接收信号执行逆扩谱处理，以恢复原始的多路复用数据。蜂窝电话400在多重分离单元457中将多路复用的数据分离成编码的图像数据和音频数据。

蜂窝电话400在图像解码器456中根据与诸如MPEG2或MPEG4的预定编码系统对应的解码系统，对编码的图像数据进行解码，从而产生再现的运动画面数据，并且经由LCD控制器455在液晶显示器418上显示再现的运动图像数据。因此，包含在链接到简单主页的运动画面文件中的运动画面数据在液晶显示器418上被显示。

蜂窝电话400使用以上的图像解码装置101作为如上所述用于执行该处理的图像解码器456。因此，当如在图像解码装置101的情况下一样产生预测运动矢量信息时，图像解码器456可抑制处理量的增加并且还提高编码效率。

此时，蜂窝电话400同时在音频编解码器459中将数字音频数据转换成模拟音频信号，并且从扬声器417输出该模拟音频信号。因此，例如，包含在链接到简单主页的运动画面文件中的音频数据被再现。

如在电邮的情况下一样，蜂窝电话400可以经由记录/再现单元462将链接到简单主页等等的接收到的数据记录（存储）到存储单元423中。

另外，蜂窝电话400可在主控制器450中分析由CCD相机416成像并获得的二维码，并且获得记录在二维码中的信息。

另外，通过红外通信单元481，线蜂窝电话400可以通过红外线与外部设备进行通信。

蜂窝电话400可以通过使用图像编码装置51作为图像编码器453来提高编码效率。结果，蜂窝电话400可以向另一个装置提供具有高编码效率的编码的数据（图像数据）。

另外，通过使用图像解码装置101作为图像解码器456，蜂窝电话400可提高编码效率。结果，蜂窝电话400可从链接到简单主页的运动图像文件获得更高清晰度的解码的图像并且显示该图像。

在上述描述中，蜂窝电话400使用CCD相机416。然而，可使用利用CMOS（互补金属氧化物半导体）的图像传感器（CMOS图像传感器）替代CCD相机416。在这种情况下，如在CCD相机416的情况下一样，蜂窝电话400可以拍摄对象的图像并且产生对象的图像的图像数据。

蜂窝电话400用于上述描述中。然而，如在蜂窝电话400的情况下一样，图像编码装置51和图像解码装置101可应用到诸如PDA（个人数字助手）、智能电话、UMPC（超级移动个人计算机）、上网本、笔记本个人计算机等等的任何装置，只要该装置具有与蜂窝电话400相同的成像功能和通信功能即可。

[硬盘记录器的构造的例子]

图23是示出使用应用本发明的图像编码装置和图像解码装置的硬盘记录器的主要构造的例子的框图。

图23中所示的硬盘记录器（HDD记录器）500是用于将包含在广播信号（电视信号）中的广播节目的音频数据和视频数据存储到内置硬盘中并且在由用户指令的定时向用户提供存储的数据的装置，其中该广播信号由调谐器接收并且从卫星或陆地天线等等发送。

例如，硬盘记录器500可从广播信号提取音频数据和视频数据，对音频数据和视频数据任意进行解码并且将这些数据存储到内置硬盘中。另外，硬盘记录器500还可经由网络从另一个装置获得音频数据和视频数据，将这些数据任意进行解码并且将数据存储到内置硬盘中。

另外，例如，硬盘记录器500对存储在内置硬盘中的音频数据和视频数据进行解码，将数据提供给监视器560并且在监视器560的屏幕上显示其图像。硬盘记录器500可从监视器560的扬声器输出其声音。

硬盘记录器500对从通过调谐器获得的广播信号中提取的音频数据和视频数据或者经由网络从另一个装置获得的音频数据和视频数据进行解码，并且将这些数据提供给监视器560以在监视器560的屏幕上显示其图像。另外，硬盘记录器500可以从监视器560的扬声器输出数据的声音。

当然，可执行其它操作。

如图23中所示，硬盘记录器500具有接收器521、解调器522、解多路复用器523、音频解码器524、视频解码器525和记录器控制器526。硬盘记录器500还具有EPG数据存储器527、程序存储器528、工作存储器529、显示转换器530、OSD（同屏显示）控制器531、显示控制器532、记录/再现单元533、D/A转换器534和通信单元535。

显示转换器530具有视频编码器541。记录/再现单元533具有编码器551和解码器552。

接收器521从遥控器（未示出）接收红外信号，将该信号转换成电信号并且将电信号输出到记录器控制器526。记录器控制器526由微处理器等等构造成，并且根据存储在程序存储器528中的程序执行多种处理。此时，作为偶尔需求，记录器控制器526使用工作存储器529。

通信单元535连接到网络并且经由网络与另一个装置进行通信处理。例如，通信单元535由记录器控制器526进行控制以与调谐器（未示出）进行通信并且主要向调谐器输出调谐控制信号。

解调器522对从调谐器提供的信号进行解码并且将解码的信号输出到解多路复用器523。解多路复用器523将从解调器522提供的数据分离成音频数据、视频数据和EPG数据，并且将这些数据输出到音频解码器524、视频解码器525或记录器控制器526。

音频解码器524例如根据MPEG系统对输入音频数据进行解码，并且将解码的音频数据输出到记录/再现单元533。视频解码器525例如根据MPEG系统对输入视频数据进行解码，并且将解码的视频数据输出到显示转换器530。记录器控制器526将输入EPG数据提供并存储到EPG数据存储器527中。

显示转换器530通过视频编码器541将从视频解码器525或记录器控制器526提供的视频数据编码成基于例如NTSC（国家电视标准委员会）系统的视频数据，将编码的数据输出到记录/再现单元533。另外，显示转换器530将从视频解码器525或记录器控制器526提供的视频数据的屏幕尺寸转换成与监视器560的尺寸对应的尺寸。显示转换器530还通过视频编码器541将屏幕尺寸转换的视频数据转换成NTSC系统的视频数据，将这样转换的NTSC系统的视频信号转换成模拟信号，并且将模拟信号输出到显示控制器532。

在记录器控制器526的控制之下，显示控制器532将从OSD（同屏显示）控制器531输出的OSD信号叠加在从显示转换器530输入的视频信号上，并且将叠加的信号输出到监视器560的显示器，以在该显示器上显示信号。

从音频解码器524输出的音频数据由D/A转换器534转换成模拟信号并且提供给监视器560。监视器560从内置扬声器输出这个音频信号。

记录/再现单元533具有硬盘作为用于记录视频数据、音频数据等等的记录介质。

例如，记录/再现单元533通过编码器551根据MPEG系统对从音频解码器524提供的音频数据进行编码。另外，记录/再现单元533通过编码器551根据MPEG系统对从显示转换器530的视频编码器541提供的视频数据进行编码。记录/再现单元533通过多路复用器将音频数据的编码的数据与视频数据的编码的数据进行组合。记录/再现单元533对关注的合成数据执行信道编码和放大，并且经由记录头将数据写入硬盘中。

记录/再现单元533通过再现头对记录在硬盘中的数据进行再现，放大数据并且通过解多路复用器将数据分离成音频数据和视频数据。记录/再现单元533通过解码器552根据MPEG系统对音频数据和视频数据进行解码。记录/再现单元533对解码的音频数据进行D/A转换，并且将音频数据输出到监视器560的扬声器。另外，记录/再现单元533将解码的视频数据进行D/A转换，并且将视频数据输出到监视器560的显示器。

记录器控制器526基于由经由接收器521接收的来自遥控器的红外信号所表示的用户指令从EPG数据存储器527读取最新EPG数据，并且将最新EPG数据提供给OSD控制器531。OSD控制器531产生与输入EPG数据对应的图像数据，并且将图像数据输出到显示控制器532。显示控制器532将从OSD控制器531输入的视频数据输出到监视器560的显示器以显示视频数据。因此，在监视器560的显示器上显示EPG（电子节目指南）。

另外，硬盘记录器500可获得经由例如互联网的网络从另一个装置提供的诸如视频数据、音频数据和EPG数据的各种数据。

通信单元535由记录器控制器526进行控制，获得经由网络从另一个装置发送的诸如视频数据、音频数据和EPG数据的编码的数据，并且将这些数据提供给记录器控制器526。记录器控制器526将获得的视频数据和音频数据的编码数据提供给记录/再现单元533，以将这些数据存储到硬盘中。此时，作为偶尔需求，记录器控制器526和记录/再现单元533可执行诸如重新编码的处理。

另外，记录器控制器526对获得的视频数据和音频数据的编码数据进行解码，并且将获得的视频数据提供给显示转换器530。如在从视频解码器525提供的视频数据的情况下，显示转换器530对从记录器控制器526提供的视频数据进行处理，并且通过显示控制器532将经处理的视频数据提供给监视器560以显示其图像。

与这个图像显示进行组合，记录器控制器526可经由D/A转换器534将解码的音频数据提供给监视器560，并且从扬声器输出其声音。

另外，记录器控制器526对获得的EPG数据的编码数据进行解码，并且将解码的EPG数据提供给EPG数据存储器527。

如上所述的硬盘记录器500使用图像解码装置101作为视频解码器525、解码器552和包含在记录器控制器526中的的解码器。因此，如在图像解码装置101的情况下一样，当产生预测运动矢量信息时,视频解码器525、解码器552和包含在记录器控制器526中的解码器可抑制处理量的增加并且提高编码效率。

因此，硬盘记录器500可产生高精度的预测图像。结果，硬盘记录器500从经由调谐器接收的视频数据的编码数据、从记录/再现单元533的硬盘读取的视频数据的编码数据和经由网络获得的视频数据的编码数据，获得更高清晰度的解码图像，并且在监视器560上显示这些数据。

硬盘记录器500使用图像编码装置51作为编码器551。因此，如在图像编码装置51的情况下一样，当产生预测运动矢量信息时编码器551可抑制处理量的增加并且提高编码效率。

因此，例如，硬盘记录器500可提高记录在硬盘中的编码数据的编码效率。结果，硬盘记录器500可更加有效地使用硬盘的存储区域。

以上描述了用于在硬盘中记录视频数据和音频数据的硬盘记录器500。当然，可使用任何记录介质。例如，如上述的硬盘记录器500的情况下一样，图像编码装置51和图像解码装置101甚至可应用到采用除硬盘之外的例如闪存、光盘或录像带的记录介质的记录器。

[相机的构造的例子]

图24是示出使用应用本发明的图像解码装置和图像编码装置的相机的主要构造的例子的框图。

图24中所示的相机600对对象进行成像，在LCD 616上显示对象的图像并且在记录介质633中记录其图像数据。

透镜块611将光（即，对象的图像）入射到CCD/CMOS 612上。CCD/CMOS612是使用CCD或CMOS的图像传感器，并且它将接收到的光的强度转换成电信号并且将电信号提供给相机信号处理器613。

相机信号处理器613将从CCD/CMOS 612提供的电信号转换成色差信号Y、Cr和Cb，并且将色差信号提供给图像信号处理器614。在控制器621的控制之下，图像信号处理器614对从相机信号处理器613提供的图像信号执行预定图像处理，并且通过编码器641、例如根据MPEG系统对图像信号进行编码。图像信号处理器614对图像信号进行编码，并且将产生的编码数据提供给解码器615。另外，图像信号处理器614获得在同屏显示器（OSD）620中产生的显示数据，并且将显示数据提供给解码器615。

在以上处理中，相机信号处理器613任意使用经由总线617与其连接的DRAM（动态随机访问存储器）618，并且作为偶尔需求使得DRAM 618保持图像数据、通过对关注的图像数据进行编码获得的编码数据等等。

解码器615对从图像信号处理器614提供的编码数据进行解码，并且将获得的图像数据（解码的图像数据）提供给LCD 616。另外，解码器615向LCD 616提供从图像信号处理器614提供的显示数据。LCD 616任意组合从解码器615提供的解码的图像数据的图像与显示数据的图像，并且显示关注的合成图像。

在控制器621的控制之下，同屏显示器620经由总线617向图像信号处理器614输出诸如包含符号、字符或数字的菜单屏幕和图标的显示数据。

控制器621基于表示由用户通过操作单元622进行指令的内容的信号执行多种处理，并且通过总线617控制图像信号处理器614、DRAM 618、外部接口619、同屏显示器620、介质驱动器623、等等。控制器621执行多种处理所需的程序、数据等等被存储在闪存ROM 624中。

例如，控制器621可对存储在DRAM 618中的图像数据进行编码并且替代图像信号处理器614和解码器615对存储在DRAM 618中的编码数据进行解码。此时，控制器621可根据与图像信号处理器614或解码器615的编码/解码系统相同的系统执行编码/解码处理，或者根据图像信号处理器614和解码器615对其不适应的系统执行编码/解码处理。

例如，当从操作单元622指令图像打印的启动时，控制器621从DRAM618读取图像数据，并且经由总线617将图像数据提供给连接到外部接口619的打印机634以打印图像数据。

另外，例如当从操作单元622指令图像记录时，控制器621从DRAM 618读取编码数据，并且经由总线617将编码的数据提供给安装在介质驱动器623中的记录介质633。

记录介质633是任何可读和可写可移动介质（例如，磁盘、磁光盘、光盘或半导体存储器）。记录介质633可以是任何类型的可移动介质、卡带装置、盘或存储卡。无需讲的是，记录介质633可以是非接触IC卡等等。

另外，例如，介质驱动器623可与记录介质633彼此集成，并且由诸如内置硬盘驱动器或SSD（固态驱动器）的非便携式存储介质进行构造。

外部接口619例如由USB输入/输出端子等等进行构造，并且当打印图像时它连接到打印机634。作为偶尔需求，驱动器631连接到外部接口619，并且诸如磁盘、光盘或磁光盘的可移动介质632被任意安装在外部接口619中。作为偶尔需求从可移动介质632读取的计算机程序被安装到闪存ROM 624中。

另外，外部接口619具有连接到诸如LAN或互联网的预定网络的网络接口。控制器621例如可根据来自操作单元622的指令从DRAM 618读取编码数据，并且将编码的数据从外部接口619提供给经由网络连接的另一个装置。另外，控制器621可通过外部接口619获得经由网络从另一个装置提供的编码数据或图像数据，并且使得DRAM 618保持这些数据或者将这些数据提供给图像信号处理器614。

如上所述的相机600使用图像解码装置101作为解码器615。因此，如在图像解码装置101的情况下一样，当产生预测运动矢量信息时，解码器615可抑制处理量的增加并且提高编码效率。

因此，相机600可产生高精度的预测图像。结果，相机600可从在CCD/CMOS 612中产生的图像数据、从DRAM 618或记录介质633读取的视频数据的编码数据或者经由网络获得的视频数据的编码数据获得更高清晰度的解码图像，并且将解码图像在LCD 616上进行显示。

另外，相机600使用图像编码装置51作为编码器641。因此，如在图像编码装置51的情况下一样，当产生预测运动矢量信息时，编码器641可抑制处理量的增加并且提高编码效率。

因此，例如，相机600可提高记录在硬盘中的编码数据的编码效率。结果，相机600可更加有效地使用DRAM 618或记录介质633的存储区域。

图像解码装置101的解码方法可应用到由控制器621执行的解码处理。类似的是，图像编码装置51的编码方法可应用到由控制器621执行的编码处理。

另外，由相机600拍摄的图像数据可是运动画面或静态图像。

无需讲的是，图像编码装置51图像解码装置101可应用到上述装置之外的其他装置和系统。

标号列表

51  图像编码装置

66  无损编码器

74  帧内预测单元

75  运动预测/补偿单元

76  运动矢量信息编码器

81  运动搜索单元

82  开销函数计算器

83  模式确定单元

84  运动补偿单元

91  中值预测单元

92  差分运动矢量产生器

93  二次差分运动矢量产生器

101 图像解码装置

112 无损解码器

121 帧内预测单元

122 运动补偿单元

123 运动矢量信息解码器

131 二次差分运动矢量信息缓冲器

132 运动矢量信息缓冲器

133 运动补偿单元

141 中值预测单元

142 运动矢量信息产生器

Claims (17)

1.一种图像处理设备，包括：

差分运动矢量产生部件，用于产生编码目标帧中的编码目标块的差分运动矢量信息，所述差分运动矢量信息对应于为编码目标帧中的编码目标块搜索的运动矢量信息与编码目标块的预测运动矢量信息之间的差；以及

二次差分运动矢量产生部件，用于产生二次差分运动矢量信息，所述二次差分运动矢量信息对应于由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息与对应块的差分运动矢量信息之间的差，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

2.根据权利要求1所述的图像处理设备，还包括预测运动矢量产生部件，用于根据编码目标帧中的中值预测产生编码目标块的预测运动矢量信息。

3.根据权利要求1所述的图像处理设备，其中，在对应块是帧内预测块时对应块的差分运动矢量信息被设置成零的情况下，二次差分运动矢量产生部件产生二次差分运动矢量信息。

4.根据权利要求1所述的图像处理设备，还包括：

编码部件，用于对由二次差分运动矢量产生部件产生的二次差分运动矢量信息和编码目标块的图像进行编码；以及

发送部件，用于发送已经由编码装置进行编码的二次差分运动矢量信息和编码目标块的图像。

5.根据权利要求1所述的图像处理设备，还包括：

编码部件，用于选择由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息和由二次差分运动矢量产生部件产生的二次差分运动矢量信息中的任何一个，并且对选择的信息和编码目标块的图像进行编码；以及

发送部件，用于发送已经由编码装置进行编码的信息和编码目标块的图像。

6.根据权利要求5所述的图像处理设备，其中，发送部件还发送关于编码目标块的差分运动矢量信息和二次差分运动矢量信息中的哪一个已被选择和编码的标记信息。

7.根据权利要求5所述的图像处理设备，其中，编码部件自适应选择编码目标块的差分运动矢量信息和二次差分运动矢量信息之一。

8.根据权利要求5所述的图像处理设备，其中，编码部件根据编码参数的属性选择编码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个。

9.一种由具有差分运动矢量产生部件和二次差分运动矢量产生部件的图像处理设备执行的图像处理方法，所述方法包括：

由差分运动矢量产生部件产生编码目标帧中的编码目标块的差分运动矢量信息，所述差分运动矢量信息对应于为编码目标帧中的编码目标块搜索的运动矢量信息与编码目标块的预测运动矢量信息之间的差；以及

由二次差分运动矢量产生部件产生二次差分运动矢量信息，所述二次差分运动矢量信息对应于由差分运动矢量产生部件产生的编码目标块的差分运动矢量信息与对应块的差分运动矢量信息之间的差，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

10.一种图像处理设备，包括：

接收部件，用于接收解码目标帧中的解码目标块的图像和二次差分运动矢量信息；以及

运动矢量产生部件，用于通过使用由接收部件接收的二次差分运动矢量信息、解码目标块的预测运动矢量信息以及对应块的差分运动矢量信息来产生解码目标块的运动矢量信息，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

11.根据权利要求10的图像处理设备，还包括预测运动矢量产生部件，用于根据解码目标帧中的中值预测产生解码目标块的预测运动矢量信息。

12.根据权利要求10所述的图像处理设备，其中，在对应块是帧内预测块时对应块的差分运动矢量信息被设置成零的情况下，运动矢量产生部件产生解码目标块的运动矢量信息。

13.根据权利要求10所述的图像处理设备，其中，接收部件还接收关于解码目标块的差分运动矢量信息和二次差分运动矢量信息中的哪一个已被编码的标记信息，并且当标记信息表示二次差分运动矢量信息已经被编码时接收二次差分运动矢量信息。

14.根据权利要求13所述的图像处理设备，其中，当标记信息表示解码目标块的差分运动矢量信息被编码时接收部件接收差分运动矢量信息，以及

运动矢量产生部件通过使用由接收部件接收的解码目标块的差分运动矢量信息和由预测运动矢量产生部件产生的解码目标块的预测运动矢量信息来产生解码目标块的运动矢量信息。

15.根据权利要求13所述的图像处理设备，其中，解码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个被自适应性选择和编码。

16.根据权利要求13所述的图像处理设备，其中，根据编码参数的属性选择并编码解码目标块的差分运动矢量信息和二次差分运动矢量信息中的任何一个。

17.一种由具有接收部件和运动矢量产生部件的图像处理设备执行的图像处理方法，所述方法包括：

由接收部件接收解码目标帧中的解码目标块的图像和二次差分运动矢量信息；以及

由运动矢量产生部件通过使用接收的二次差分运动矢量信息、解码目标块的预测运动矢量信息以及对应块的差分运动矢量信息，来产生解码目标块的运动矢量信息，其中所述对应块是参考帧的块并且位于与编码目标块对应的位置处。

Images