CN102084657A - 动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像再编码装置、动态图像再编码方法、动态图像再编码程序 - Google Patents

Abstract

第一超分辨率放大部(103)通过对基准分辨率的输入动态图像进行超分辨率放大处理，包含在输入动态图像中潜在地包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，第一分辨率变换部(104)使该超分辨率放大后信号返回到基准分辨率，第二编码部(107)对该返回到基准分辨率的超分辨率放大后信号进行编码。第一编码部(102)对基准分辨率的输入动态图像进行编码，复用部(109)对来自第一编码部(102)的编码位串和来自第二编码部(107)的编码位串等进行复用。另外，第二编码部(107)可以把第一编码部(102)中的局部解码信号或对其进行加工后的信号作为参照信号来使用。

Description

动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像再编码装置、动态图像再编码方法、动态图像再编码程序

技术领域

本发明涉及对动态图像列进行超分辨率放大处理等的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像解码装置、动态图像解码方法、动态图像解码程序、动态图像再编码装置、动态图像再编码方法、以及动态图像再编码程序。

背景技术

作为实现影像(Video)的空间分辨率可缩放性的现有技术，例如公知的有如下技术：在基层和增强层的两层的分层编码装置中，在将与增强层相同的空间分辨率的输入影像信号缩小(抽选)处理为基层的空间分辨率后，通过基层进行编码，并对该基层编码时的解码信号进行空间插补(插值)，在变换为与增强层相同的空间分辨率的信号和与增强层相同的空间分辨率的输入影像信号之间进行使用了相关性的预测，对该预测误差信号进行编码，并将由此而得到的编码位流和通过基层编码所获得的位流进行复用而得的位流传送到解码装置，在解码装置对该进行了复用后的编码位流相反地进行解码(参照专利文献1)。

【专利文献1】日本特开平7-162870号公报

发明内容

但是，在以在ISO/IEC SC29WG11中标准化的MPEG-1、-2、-4/AVC/SVC等为代表的动态图像编码中，将通过局部解码(local decode)获得的解码图像作为参照图像来使用，通过变动推定生成变动矢量信息，并使用通过变动补偿所生成的变动矢量信息，生成具有与成为编码对象的对象图像最接近的图像品质的预测图像，然后求出对象图像和预测图像之间的残差信息，对该残差信息进行预定的编码处理，使用时间方向的相关性的大小，来实现高编码效率。即，能够通过提高预测图像的图像品质，提高与对象图像的相关性，期待进一步提高解码效率。但是，如果无法分配充分的编码量，则变动矢量信息的精度就变得不足，或无法充分获得作为局部解码结果的参照图像的图像品质，由此预测图像的图像品质变得低下，结果导致编码效率降低。

另外，即使上述的专利文献1或MPEG-4SVC等代表的动态图像的分层编码，也根据比当前要进行编码的阶层低的阶层的参照图像生成预测图像或预测块，在与当前阶层的对象图像或对象块之间进行阶层间预测，由此利用不同空间分辨率间的相关性的大小，实现更高的编码效率。但是，与利用时间方向的相关性的大小一样，在利用阶层间的相关性的大小时，当无法分配足够的编码量，预测图像或预测块的图像品质会降低，结果产生编码效率降低的问题。

另外，对作为编码对象而输入的动态图像进行预定的分辨率变换处理，生成比所输入的动态图像具有的空间分辨率(以下称为基准分辨率)低的空间分辨率(以下称为低分辨率)的动态图像，至少对两层的动态图像利用层间的相关性的大小，进行分层编码。但是，在这样的分层编码中，即使假设在进行了可逆的编码处理时，由于输入动态图像的基准分辨率，对能够表现的空间方向的空间频率成分信息施加了带宽限制，并且在进行分层编码时，对通过分层编码的局部解码、或对通过分层编码获得的编码位流进行解码而获得的解码图像进行编码处理，以便对于输入动态图像，在编码条件下最近接输入动态图像的图像品质，所以即使能够利用层间的相关性推定新的空间频率成分信息，也会产生无法编码并传送比通过基准分辨率能够表现的空间频率成分信息多的空间频率成分信息的问题。

因此，本发明的目的在于提供一种能够编码并传送比通过输入动态图像的分辨率表现的空间频率成分信息多的空间频率成分信息的动态图像编码装置、动态图像编码方法、以及动态图像编码程序。另外，本发明的目的在于提供一种能够取得并解码通过本发明的动态图像编码装置、动态图像编码方法、以及动态图像编码程序生成的编码位串的动态图像解码装置、动态图像解码方法、以及动态图像解码程序。本发明的目的还在于提供一种能够在解码之后，再次编码并传送的动态图像再编码装置、动态图像再编码方法以及动态图像再编码程序。

为了解决所述课题，本发明的动态图像编码装置，例如如图9所示那样，具有：第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成所述基准分辨率的第一编码位串及基准分辨率的解码图像；第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；第一分辨率变换部，其对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及第二编码部，其将来自所述第一分辨率变换部的所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

在此，例如如图7所示，所述第二编码部还可以将来自所述第一编码部的所述解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串。

另外，例如如图1及图8所示，也可以具有：第二超分辨率放大部，其从所述第一编码部取得所述基准分辨率的解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；以及第二分辨率变换部，其对所述超分辨率放大解码图像进行第二分辨率变换处理，生成具有基准分辨率的超分辨率放大变换解码图像，所述第二编码部还将来自所述第二分辨率变换部的所述超分辨率放大变换解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串。

另外，例如如图4(a)所示，所述第一超分辨率放大部，可以具有：位置匹配器，其根据成为进行超分辨率放大处理时的基准的基准图像和至少一个观测图像，进行向希望的高分辨率的像素位置的位置匹配，生成按照非等间隔进行采样后的非均等高分辨率图像；插补器，其对所述位置匹配器生成的非均等高分辨率图像进行预定的非均等插补处理，生成具有希望的高分辨率的插补图像；推定图像生成器，其取得所述插补器生成的所述插补图像，进行预定的复原处理，生成具有希望的分辨率的推定图像；以及重复判定器，其从所述位置匹配器取得所述非均等高分辨率图像，并且从所述推定图像生成器取得所述非均等推定图像，使用取得的各图像，按照预定的判定方法来判定是否需要重复进行超分辨率放大处理，当该判定结果为需要重复时，对所述插补器提供用于继续处理的控制信息，另一方面，当不需要重复时，对所述推定图像生成器输出控制信息，该控制信息用于输出作为超分辨率放大结果的高分辨率的推定图像。

另外，例如如图1等所示，还可以具有复用部，其根据预定的语法结构，复用来自所述第一编码部的所述第一编码位串、来自所述第二编码部的所述第二编码位串、以及在所述第一编码部的编码和所述第二编码部的编码时使用的各种编码参数信息。

另外，例如如图10所示，也可以进一步具有：第一积蓄缓冲器，其设置在所述第一编码部及所述第一超分辨率放大部的前级，用于积蓄基准分辨率的所述动态图像列；第二积蓄缓冲器，其设置在所述第一编码部和所述第二编码部之间，用于积蓄来自所述第一编码部的所述解码图像；积蓄控制部，其检测所述第一积蓄缓冲器、所述第二积蓄缓冲器、所述第一编码部以及所述第二编码部中的各缓冲器积蓄量，对各缓冲器积蓄量进行控制；以及编码量控制部，其根据所述积蓄控制部中的所述各缓冲器积蓄量，进行所述第一编码部和所述第二编码部中的编码量控制。

另外，本发明的动态图像编码装置，例如如图13所示那样，具有：第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像，将来自所述第二超分辨率放大部的所述超分辨率放大解码图像和来自所述第三超分辨率放大部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

另外，本发明的动态图像编码装置，例如如图16所示那样，具有：第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第三分辨率变换部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

另外，本发明的动态图像编码装置，例如如图17所示那样，具有：第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；以及第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第二超分辨率放大部的所述超分辨率放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

另外，本发明的动态图像编码装置，例如如图19所示那样，具有：第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；第一分辨率变换部，其对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；第二分辨率变换部，其对来自所述第二超分辨率放大部的所述超分辨率放大解码图像进行第二分辨率变换处理，生成具有基准分辨率的超分辨率放大变换解码图像；第二编码部，其将来自所述第一分辨率变换部的所述超分辨率放大变换图像作为编码对象图像、将来自所述第一编码部的所述解码图像和来自所述第二分辨率变换部的具有基准分辨率的超分辨率放大变换解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串；第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第二超分辨率放大部的所述超分辨率放大解码图像和来自所述第三分辨率变换部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

另外，本发明的动态图像编码方法具有如下步骤：对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及将所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

另外，本发明的动态图像编码程序使计算机执行如下处理步骤：对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及将所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

另外，本发明的动态图像解码装置，例如如图26所示那样，具有：复用分离部，其对输入的编码位串进行预定的复用分离处理，输出基准分辨率的编码位串；

第一解码部，通过取得所述复用分离部获得的基准分辨率的编码位串，进行预定的解码处理，由此生成基准分辨率的解码图像列；第一超分辨率放大部，其通过取得所述第一解码部生成的基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；第一分辨率变换部，其通过取得所述第一超分辨率放大部生成的超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；第二解码部，其通过取得所述复用分离部获得的基准分辨率扩展编码位串、所述第一解码部生成的基准分辨率的解码图像列以及所述第一分辨率变换部生成的基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列。

在此，例如如图23所示，动态图像解码装置可以进一步具有：第二分辨率变换部，其通过从所述解码部取得基准分辨率的解码图像列，进行预定的分辨率变换处理，由此生成具有比基准分辨率高的分辨率的高分辨率的放大解码图像列；第三解码部，其通过取得所述复用分离部获得的所述高分辨率扩展编码位串、所述超分辨率放大部生成的超分辨率放大解码图像列以及来自所述第二分辨率变换部的高分辨率的放大解码图像列，进行预定的预测处理以及预定的解码处理，由此生成解码后的超分辨率放大图像列。

另外，本发明的动态图像再编码装置，例如如图27所示那样，具有：复用分离部，其对输入的编码位串进行预定的复用分离处理，输出基准分辨率的编码位串；解码部，其通过取得通过所述复用分离部获得的基准分辨率的编码位串，进行预定的解码处理，生成基准分辨率的解码图像列；第一超分辨率放大部，其通过取得所述解码部生成的基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；第一分辨率变换部，其通过取得所述第一超分辨率放大部生成的超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；第二解码部，其通过取得所述复用分离部获得的基准分辨率扩展编码位串、所述解码部生成的基准分辨率的解码图像列、以及所述第一分辨率变换部生成的基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列；再编码部，其通过从所述解码部取得解码过程中的正交变换系数信息、以及从所述第二解码部取得解码过程中的、基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，由此生成再编码后的编码位串；以及复用部，其取得通过所述再编码部进行再编码后的编码位串，在根据预定的语法结构插入用于确定在编码中使用的各种参数信息或编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

在此，也可以为这样的动态图像再编码装置：所述再编码部还取得来自所述解码部的基准分辨率的解码图像列、来自第一分辨率变换部的基准分辨率的超分辨率解码图像列、以及来自所述第二解码部的基准分辨率的超分辨率图像列，进行预定的编码处理，由此生成再编码后的编码位串。

另外，本发明的动态图像解码方法具有如下步骤：对输入的编码位串进行预定的复用分离处理，输出基准分辨率的编码位串；通过取得通过预定的复用分离处理获得的所述基准分辨率的编码位串，进行预定的解码处理，由此生成基准分辨率的解码图像列；通过取得通过预定的解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；以及通过取得通过预定的复用分离处理获得的所述基准分辨率扩展编码位串、通过预定的解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，生成解码后的基准分辨率的超分辨率图像列。

在此，本发明的动态图像解码方法还可以具有如下步骤：通过取得通过预定的解码处理生成的所述基准分辨率的解码图像列，进行预定的分辨率变换处理，由此生成具有比基准分辨率高的分辨率的高分辨率的放大解码图像列；以及通过取得通过预定的复用分离处理获得的所述高分辨率扩展编码位串、通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列、以及通过预定的分辨率变换处理生成的所述高分辨率的放大解码图像列，进行预定的预测处理及预定的解码处理，由此生成解码后的超分辨率放大图像列。

另外，本发明的动态图像再编码方法具有如下步骤：对输入的编码位串进行预定的复用分离处理；通过取得通过预定的复用分离处理获得的所述基准分辨率的编码位串，进行预定的解码处理，生成基准分辨率的解码图像列；通过取得通过预定的解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，生成超分辨率放大解码图像列；通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，生成基准分辨率的超分辨率解码图像列；通过取得通过预定的复用分离处理获得的所述基准分辨率扩展编码位串、通过预定的解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的所述基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，生成解码后的基准分辨率的超分辨率图像列；通过取得预定的解码处理的解码过程中的正交变换系数信息、以及作为预定的基准分辨率的扩展解码的第二解码处理的解码过程中的基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，生成再编码后的编码位串；以及取得再编码后的所述编码位串，在根据预定的语法结构，插入用于确定在编码中使用的各种参数信息或编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

此外，本发明的动态图像解码程序使计算机执行如下处理步骤：对输入的编码位串进行预定的复用分离处理，输出基准分辨率的编码位串；通过取得通过预定的复用分离处理获得的所述基准分辨率的编码位串，进行预定的解码处理，由此生成基准分辨率的解码图像列；通过取得通过预定的解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；以及通过取得通过预定的复用分离处理所获得的所述基准分辨率扩展编码位串、通过预定的解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列。

另外，本发明的动态图像再编码程序使计算机执行如下处理步骤：对输入的编码位串进行预定的复用分离处理；通过取得通过预定的复用分离处理获得的所述基准分辨率的编码位串，进行预定的解码处理，由此生成基准分辨率的解码图像列；通过取得通过预定的解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；通过取得通过预定的复用分离处理获得的基准分辨率扩展编码位串、通过预定的解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的所述基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列；通过取得预定的解码处理的解码过程中的正交变换系数信息、以及作为预定的基准分辨率的扩展解码的第二解码处理的解码过程中的基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，由此生成再编码后的编码位串；以及取得再编码后的所述编码位串，在根据预定的语法结构，插入用于确定在编码中使用的各种参数信息或编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

通过本发明的动态图像编码装置，第一编码部对基准分辨率的输入动态图像进行编码，另一方面，第一超分辨率放大部对基准分辨率的输入动态图像进行超分辨率放大处理，由此包含在输入动态图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，然后在通过第一分辨率变换部进行预定的分辨率变换处理等之后，通过第二编码部进行编码，因此，产生能够在第二编码部中进行基于比基准分辨率的输入动态图像具有的信息量多的信息量的动态图像编码这样的效果。在此，能够在第二编码部中，把在第一编码部中的解码信号、对该解码信息进行第二超分辨率放大处理及第二分辨率变换处理等加工后的信号作为参照信号来使用，进行编码。

另外，通过本发明的动态图像编码装置等，第一编码部对基准分辨率的输入动态图像进行编码，另一方面，第一超分辨率放大部对基准分辨率的输入动态图像进行超分辨率放大处理，由此包含在输入动态图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，然后通过第三编码部对该信号进行编码，因此，产生能够在第三编码部中进行基于比基准分辨率的输入动态图像具有的信息量多的信息量的动态图像编码这样的效果。在此，能够在第三编码部中把对第一编码部中的解码信号进行第二超分辨率放大处理、第三分辨率变换处理等加工，高分辨率化为与第一超分辨率放大信号具有相同分辨率的信号作为参照信号，进行编码。另外，根据本发明的动态图像解码装置等，可以输入如此进行动态图像编码后的动态图像进行解码，另外，根据本发明的动态图像再编码装置等，可以输入如此进行动态图像编码后的动态图像进行解码然后再编码。

附图说明

图1是表示应用了本发明实施方式1的动态图像编码装置的基本结构的例子的框图。

图2是表示实施方式1的动态图像编码装置的动作的流程图。

图3是表示实施方式1的复用部109生成的复用位串的结构的一个例子的数据结构图。

图4是表示实施方式1的第一超分辨率放大部103的详细结构例的框图，以及表示通过第一超分辨率放大部103进行的预定的超分辨率放大处理的一个例子的概念图。

图5是表示实施方式1的第一超分辨率放大部103的动作的流程图。

图6是表示实施方式1的第一分辨率变换部104的详细结构例的框图，以及表示通过第一分辨率变换部104进行的预定的分辨率变换处理的一个例子的概念图。

图7是表示实施方式2的动态图像编码装置的结构例的框图。

图8是表示实施方式2的动态图像编码装置的其它的结构例的框图。

图9是表示实施方式2的动态图像编码装置的另一的结构例的框图。

图10是表示实施方式3的动态图像编码装置的结构例的框图。

图11是表示实施方式3中的第一编码器403的结构例的框图。

图12是表示实施方式3中的第一解码器404的结构例的框图。

图13是表示实施方式4的动态图像编码装置的结构例的框图。

图14是表示实施方式4的动态图像编码装置的动作例的流程图。

图15是表示实施方式4的复用部109生成的复用位串的结构的一个例子的数据结构图。

图16是表示实施方式5的动态图像编码装置的结构例的框图。

图17是表示实施方式5的动态图像编码装置的其它的结构例的框图。

图18是表示实施方式6的动态图像编码装置的结构例的框图。

图19是表示实施方式7的动态图像编码装置的结构例的框图。

图20是表示实施方式7的动态图像编码装置的动作例的流程图。

图21是表示实施方式7的复用部109生成的复用位串的结构的一个例子的数据结构图。

图22是表示实施方式8的动态图像编码装置的结构例的框图。

图23是表示实施方式9的动态图像解码装置的结构例的框图。

图24是表示实施方式9的动态图像解码装置的动作例的流程图。

图25是表示图24的步骤S602的基准分辨率的解码处理的动作步骤的一个例子的流程图。

图26是表示实施方式10的动态图像解码装置的结构例的框图。

图27是表示实施方式11的动态图像再编码装置的结构例的框图。

图28是表示实施方式11的动态图像再编码装置的动作例的流程图。

符号说明：

101、第一积蓄缓冲器；102、第一编码部；103、第一超分辨率放大部；104、第一分辨率变换部；105、第二超分辨率放大部；106、第二分辨率变换部；107、第二编码部；108、第三编码部；109、复用部；110、第三分辨率变换部；1801、复用分离部；1802、第一解码部；1803、第一超分辨率放大部；1804、第一分辨率变换部；1805、第二解码部；1806、第二分辨率变换部；1807、第三解码部；1808、再编码部；1809、复用部

具体实施方式

(实施方式1)

图1是表示本发明实施方式1的动态图像编码装置的结构例的框图。

在图1中，实施方式1的动态图像编码装置具有：第一积蓄缓冲器101、第一编码部102、第一超分辨率放大部103、第一分辨率变换部104、第二超分辨率放大部105、第二分辨率变换部106、第二编码部107以及复用部109。

第一积蓄缓冲器101具有如下功能：存储对作为输入而输入的动态图像进行后述的预定的超分辨率前编码及第一超分辨率放大处理时需要的至少两个图像，并对第一编码部102、第一超分辨率放大部103等提供各自需要的图像。

第一编码部102具有如下功能：从第一积蓄缓冲器101取得预定的编码处理所需要的、具有基准分辨率的图像，然后对所取得的具有基准分辨率的图像进行预定的编码处理(以后称为超分辨率前编码处理)，生成第一编码位串，并将所生成的第一编码位串提供给复用部109。此外，第一编码部102还具有进行预定的解码处理并将解码图像提供给第二超分辨率放大部105及第二编码部107的功能。还期望第一编码部102具有用于临时存储解码图像的功能。在此，预定的解码处理可以对所生成的第一编码位串进行解码处理，生成解码图像。另外，也可以通过在预定的编码处理中包含的局部解码处理，根据局部解码结果生成解码图像。

第一超分辨率放大部103具有如下功能：从第一积蓄缓冲器101取得预定的超分辨率放大处理所需要的、至少两个具有基准分辨率的图像，对所取得的具有基准分辨率的图像进行预定的超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像，并将所生成的超分辨率放大图像提供给第一分辨率变换部104。在此，也可以具有将进行预定的超分辨率放大处理时的放大率设定为预定的放大率信息，或从外部用户等取得设定的放大率信息的功能，并根据所取得的放大率信息确定放大率，进行预定的超分辨率放大处理。另外，关于预定的放大率信息，如果构成为通过进行未图示的预定的熵编码处理生成放大率信息位串，并提供给复用部109，传送到解码装置一侧则更理想。在这点上，第二超分辨率放大部105也是一样。另外，后面将在图4中阐述第一超分辨率放大部103及第二超分辨率放大部105的详细结构例及动作例。

第一分辨率变换部104具有如下功能：从第一超分辨率放大部103取得超分辨率放大图像，并对所取得的超分辨率放大图像进行预定的分辨率变换处理，从具有比基准分辨率高的分辨率的超分辨率放大图像，例如生成具有基准分辨率等的超分辨率图像(超分辨率放大变换图像)，提供给第二编码部107。

第二超分辨率放大部105具有如下功能：从第一编码部102取得预定的超分辨率放大处理所需要的、至少两个具有基准分辨率的解码图像，并对所取得的基准分辨率的解码图像进行预定的超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像，并将所生成的超分辨率放大解码图像提供给第二分辨率变换部106。在此，也可以与第一超分辨率放大部103一样，具有把进行预定的超分辨率放大处理时的放大率设定为预定的放大率信息，或从外部用户等取得设定的放大率信息的功能，可以根据所取得的放大率信息确定放大率，进行预定的超分辨率放大处。另外，第二超分辨率放大部105中的放大后的分辨率可以与第一超分辨率放大部103中的放大后的分辨率相同，也可以不同，哪种都行。

第二分辨率变换部106具有如下功能：从第二超分辨率放大部105取得超分辨率放大解码图像，对所取得的超分辨率放大解码图像进行预定的分辨率变换处理，从具有比基准分辨率高的分辨率的超分辨率放大解码图像，例如生成具有基准分辨率的超分辨率解码图像(超分辨率放大变换解码图像)，提供给第二编码部107。在此，也可以具有把进行预定的分辨率变换处理时的分辨率变换率设定为预定的分辨率变换率信息，或从外部用户等取得设定的分辨率变换率信息的功能，可以根据所取得的分辨率变换率信息确定分辨率变换率，进行预定的分辨率变换处理。在此，关于分辨率变换率信息，如果进行未图示的预定的熵编码处理，生成分辨率变换率信息位串，并提供给复用部109则更理想。

第二编码部107具有如下功能：把来自第一分辨率变换部104的基准分辨率的输入图像的超分辨率放大变换信号作为编码对象图像，把来自第一编码部102的所述解码图像作为第一参照图像，以及把来自第二分辨率变换部106的基准分辨率的解码图像的超分辨率放大变换解码信号作为第二参照图像，进行预定的预测处理及第二编码处理，生成第二编码位串，并将所生成的第二编码位串提供给复用部109。

在此，关于进行第二编码部107中的预定的预测处理时使用的参照图像，可以使用从编码图像获得的第一参照图像和从超分辨率放大变换解码图像获得的第二参照图像中的某一个，生成预测图像，并从对象图像中减去预测图像，生成残差信息。

另外，也可以包含这样的结构：第一参照图像及第二参照图像的哪一个都不使用，而是作为残差信号生成对象图像。

另外，第二编码部107可以为了针对各图像、或每个预定的图像数量来控制参照图像的选择，生成用于确定使用第一参照图像和第二参照图像中的哪一个的参照图像选择信息，通过未图示的预定的熵编码部进行熵编码处理，生成参照图像选择信息的编码位串，提供给复用部109。另外，如后述那样，将参照图像信息的编码位串复用为复用位串300的编码参数信息位串310。另外，可以把对象图像分别无间隙地划分为每个具有预定大小的区域，还将第一参照图像和第二参照图像同样地无间隙地划分为每个具有预定大小的区域，在针对每个对应的区域确定使用第一参照图像和第二参照图像的哪一个的同时，生成预测图像，通过从对象图像中减去预测图像，生成残差信息。在此，针对每个具有预定大小的区域，把用于确定使用哪个参照图像的信息作为参照图像选择信息，通过未图示的预定的熵编码部进行熵编码处理，将所生成的参照图像选择信息的编码位串提供给复用部109。在此，期望具有预定大小的区域的形状是预定的矩形区域、或者是通过预定的区域划分获得的任意形状区域。

另外，第二编码部107可以具有如下功能：把从编码对象图像中减去作为预测图像的第一参照图像所获得的残差信息作为第一残差信息，进行预定的第二编码处理，生成第一的第二编码位串，并且把从编码对象图像中减去作为预测图像的第二参照图像所获得的残差信息作为第二残差信息，进行预定的第二编码处理，生成第二的第二编码位串，另外，第一参照图像及第二参照图像的哪一个都不使用，仅从对象图像生成残差信息，作为第三残差信息进行预定的第二编码处理，生成第三的第二编码位串，并将所生成的第一至第三的第二编码位串提供给复用部109。在此，也可以将以上的各种参照图像的选择方法及编码方法作为参照图像选择方式信息及第二编码的编码方式信息，通过未图示的预定的熵编码部进行熵编码处理，提供给复用部109。

另外，第二编码部107，例如也可以执行MPEG-4SVC中的CGS(CoarseGrain Scalability)层的编码，并且在与第一编码部102的基准分辨率的动态图像列的空间分辨率之间的空间分辨率相同时，根据与MPEG以及ITU-T为同组的JVT(Joint Video Team)中的AVC重写(rewriting)所示的、满足能够容易地从SVC变换为AVC的控制条件的预定的语法结构，进行第二编码，生成第二编码位串。如此，关于通过第二编码部107生成的第二编码位串，可以生成无需进行完全的解码和编码那样的再编码，能够从作为分层编码的SVC的编码形式变换为作为单层编码的AVC的编码形式的编码位串。

复用部109具有如下功能：从第一编码部102取得第一编码位串，并且从第二编码部107取得第二编码位串，根据预定的语法结构，插入针对编码时所使用的变动矢量信息、量化参数信息、以及上述的参照图像选择信息等各种编码参数、编码方式等，经由未图示的熵编码部获得的各编码位串和用于确定各编码位串的识别信息，进行第一编码位串和第二编码位串的复用处理，生成后述的图3所示的复用位串。另外，复用部109也可以具有如下功能：针对第二编码部107生成的参照图像选择方式信息以及参照图像选择信息，还取得未图示的预定的熵编码后的编码位串，通过同样的复用处理生成复用位串。

作为本实施方式，至少具有以上的结构，并且通过使用针对输入的动态图像进行预定的超分辨率放大处理及预定的分辨率变换处理所生成的基准分辨率的输入图像的超分辨率放大变换信号，可以进行基于比输入动态图像具有的信息量多的信息量的动态图像编码。在此，第一超分辨率放大部103、第二超分辨率放大部105使用的放大率不必是相同的放大率。同样，第一分辨率变换部104、第二分辨率变换部106使用的分辨率变换率也不必是相同的分辨率变换率。但是，在图1中，通过第一分辨率变换部104及第二分辨率变换部106的分辨率变换部处理后的空间分辨率是成为基准分辨率的分辨率变换率。

接下来，参照图2的流程图说明图1所示的实施方式1的动态图像编码装置的动作。

首先，在第一积蓄缓冲器101中存储输入的动态图像、第一超分辨率放大部103的第一超分辨率放大处理所需要的图像数量的图像(步骤S201)。

第一超分辨率放大部103从第一积蓄缓冲器101中取得进行预定的超分辨率放大处理时需要的至少两个图像，进行预定的第一超分辨率放大处理(步骤S202)。由此，生成具有比输入的动态图像具有的作为空间分辨率的基准分辨率高的分辨率的、超分辨率放大图像，并提供给第一分辨率变换部104。另外，关于第一超分辨率放大部103的具体结构及超分辨率处理的内容，后面将进行阐述。

然后，第一分辨率变换部104从第一超分辨率放大部103取得超分辨率放大图像，进行预定的分辨率变换处理(步骤S203)。由此生成基准分辨率的输入图像的超分辨率放大变换信号，并将所生成的基准分辨率的输入图像的超分辨率放大变换信号提供给第二编码部107。

然后，第二编码部107从第一分辨率变换部104取得基准分辨率的输入图像的超分辨率放大变换信号，并存储到用于临时存储的预定的缓冲器中(步骤S204)。

另一方面，第一编码部102从第一积蓄缓冲器101取得进行预定的超分辨率前编码处理时需要的基准分辨率的动态图像列，进行基准分辨率的编码、解码处理(步骤S205)。由此，生成作为编码处理结果的基准分辨率的第一编码位串和作为解码结果的基准分辨率的解码图像。然后，第一编码部102将所生成的第一编码位串提供给复用部109、将所生成的基准分辨率的解码图像提供给第二超分辨率放大部105以及第二编码部107。

然后，第二编码部107从第一编码部102取得所述解码图像，存储到用于临时存储的预定的缓冲器中(步骤S206)。

然后，第二超分辨率放大部105与第一超分辨率放大部103一样，从第一编码部102取得所述解码图像，进行预定的超分辨率放大处理(步骤S207)。由此生成具有比基准分辨率高的分辨率的超分辨率放大解码图像，并提供给第二分辨率变换部106。

然后，第二分辨率变换部106从第二超分辨率放大部105取得超分辨率放大解码图像，进行预定的分辨率变换处理(步骤S208)。由此生成基准分辨率的解码图像的超分辨率放大变换解码信号，并提供给第二编码部107。

然后，第二编码部107从第二分辨率变换部106取得基准分辨率的解码图像的超分辨率放大变换解码信号，存储到用于临时存储的预定的缓冲器中(步骤S209)。

另外，可以并行执行步骤202～204的处理和步骤205～209的处理，也可以先执行某一方。

当步骤202～209的处理完成时，第二编码部107将通过第一超分辨率放大部103及第一分辨率变换部104对输入图像进行第一超分辨率放大以及分辨率变换后的输入图像的超分辨率放大变换信号作为编码对象图像，将通过第一编码部102对输入图像直接进行编码及解码后的解码图像作为第一参照图像、以及将通过第二超分辨率放大部105及第二分辨率变换部106对该解码图像进行第二超分辨率放大以及分辨率变换后的解码图像的超分辨率放大变换解码信号作为第二参照图像，进行预定的第二预测处理(步骤S210)。由此，第二编码部107生成基准分辨率的残差信息。然后，对所生成的残差信息进行作为预定的第二编码的第二编码处理(步骤S211)。由此，生成第二编码位串，并提供给复用部109。

然后，复用部109从第一编码部102取得第一编码位串，从第二编码部107取得第二编码位串。根据预定的语法结构，插入针对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息、编码参数信息等，经由未图示的熵编码部获得的各编码位串以及在后面连续的用于识别编码位串的组的识别信息等的同时，进行第一编码位串、第二编码位串的复用处理(步骤S212)，生成复用位串。通过经过以上的步骤，本实施方式的一系列动作完成。

通过执行这样的步骤使本发明的动态图像编码装置进行动作，能够生成所希望的编码位串。

图3表示复用部109输出的复用位串300的一个例子。

在图3所示的复用位串300中，至少将编码参数信息位串310、来自第一编码部102的第一编码位串320以及来自第二编码部107的第二编码位串330进行了复用。

在此，在编码参数信息位串310中存储与第一编码部102和第二编码部107在各自的编码时所使用的变动矢量信息、量化参数信息、各种编码方式信息、上述的参照图像选择方式信息以及参照图像选择信息等各种编码参数相关的编码位串，并且在该复用编码位串300中插入表示将第一编码位串320和第二编码位串330进行了复用的识别信息位串311。这样的复用位串300的结构只不过是一个例子，作为其它的结构，也可以把在整个编码中所需要的信息存储在编码参数信息位串310中，把第一编码部102使用的、第一编码部102固有的信息存储在第一编码位串320中、以及把第二编码部107所使用的第二编码部107固有的信息存储在第二编码位串330中。

另外，通过多个并行处理说明了本实施方式的动作，但是，也可以连续地处理该并行处理部分来使本实施方式的动态图像编码装置进行动作。

另外，在本实施方式的动作中，也可以使第一超分辨率放大部103、第一分辨率变换部104不起作用，而是把第一积蓄缓冲器101中存储的基准分辨率的输入图像作为基准分辨率的输入图像的超分辨率放大变换信号提供给第二编码部107，在第二编码部107中进行预定的第二编码处理，如此使本实施方式的动态图像编码装置进行动作。

如此，因为具有第一超分辨率放大部103及第二超分辨率放大部105，并且具有第一分辨率变换部104及第二分辨率变换部106，所以能够通过第一分辨率变换处理，对与输入图像具有相同的基准分辨率、但通过第一超分辨率放大处理放大了空间方向以及时间方向的频率成分信息的超分辨率放大图像，直到希望的频率成分为止限制频带，由此生成基准分辨率的输入图像的超分辨率放大变换信号。

另外，关于这样生成的基准分辨率的输入图像的超分辨率放大变换信号，因为能够在基准分辨率的输入图像的超分辨率放大变换信号中包含从生成的具有比输入动态图像具有的频率成分信息的信息量多的信息量的超分辨率放大图像到通过基准分辨率的空间频率能够表现的最大的频带为止的频率成分信息，所以能够在如此扩展输入动态图像具有的频率成分信息的信息量的基础上进行动态图像编码处理，生成基准分辨率的第一编码位串及基准分辨率的第二编码位串，由此能够进行基于比输入动态图像具有的信息量多的信息量的动态图像编码。

另外，通过对所输入的基准分辨率的动态图像进行预定的编码及解码处理，能够生成基准分辨率的解码图像。通过对该基准分辨率的解码图像进行预定的第二超分辨率放大处理，生成放大了空间方向及时间方向的频率成分信息的、具有比基准分辨率高的分辨率的超分辨率放大解码图像，通过对该生成的超分辨率放大解码图像进行预定的第二分辨率变换处理生成基准分辨率的解码图像的超分辨率放大变换解码信号。并且，能够将该生成的基准分辨率的解码图像的超分辨率放大变换解码信号作为基准分辨率的参照图像，在与基准分辨率的输入图像的超分辨率放大变换信号之间进行预定的预测处理后，进行预定的第二编码处理，生成第二编码位串。如此，能够将基准分辨率的解码图像的超分辨率放大变换解码信号作为参照图像来使用，在与基准分辨率的输入图像的超分辨率放大变换信号之间进行使用了同一分辨率之间的空间分辨率的相关性的分层解码，进行基于比输入动态图像具有的信息量多的信息量的动态图像编码。

另外，第二编码部107能够在生成预测图像时，把通过第一编码部102对输入图像直接进行编码及解码后的解码图像作为第一参照图像，另一方面，把通过第二超分辨率放大部105及第二分辨率变换部106对该解码图像进行第二超分辨率放大及分辨率变换后的解码图像的超分辨率放大变换解码信号作为第二参照图像，使用第一参照图像和第二参照图像中的某一方，生成预测图像，进行编码处理，可以根据要求，进行使用了基准分辨率的输入图像的超分辨率放大变换信号和解码图像之间的空间分辨率的相关性时的分层编码、以及使用了基准分辨率的输入图像的超分辨率放大变换信号和超分辨率放大变换解码信号之间的空间分辨率的相关性时的分层编码，生成不同的复用位串，向解码一侧提供、存储或者传送。

另外，在生成预测图像时，通过针对各图像、或每个预定的图像数量控制参照图像的选择，能够根据解码图像的图像品质适当地生成预测图像，结果能够提高编码效率。

另外，通过生成用于确定使用了第一及第二参照图像的哪一个的参照图像选择信息，提供给复用部109，复用为复用位串300，能够容易地确定编码时所使用的参照图像。

另外，如果将编码对象图像无间隙地划分为每个具有预定大小的区域，并将第一参照图像和第二参照图像也同样地无间地划分为每个具有预定大小的区域，在针对每个对应的区域确定使用第一参照图像和第二参照图像的哪一个的同时生成预测图像，则能够根据解码图像的图像品质适当地生成预测图像，结果能够提高编码效率。

另外，能够对所输入的基准分辨率的动态图像进行预定的编码及解码处理，生成基准分辨率的第一编码位串，并且进行第二编码处理生成第二编码位串，针对这些编码位串，根据预定的语法结构插入与编码时使用的变动矢量信息、量化参数信息、参照图像选择信息、编码方式信息等编码参数信息有关的编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行预定的复用处理生成复用位串。通过生成这样的复用位串，能够把针对原来输入图像的编码结果以及针对与通过超分辨率图像放大后的频率成分信息的预测误差的编码结果作为单一的编码位串，该超分辨率图像通过超分辨率放大处理及分辨率变换处理获得，把该单一的编码位串传送到未图示的外部存储装置之后，记录到预定的记录介质中，或通过未图示的外部通信装置进行网络发布，由此通过本实施方式的动态图像编码装置能够高效率地对具有大量信息量的动态图像进行编码、存储、及传送。

另外，通过取得来自第一编码部102的第一编码位串和来自第二编码部107的第二编码位串，根据编码方式信息进行预定的复用处理，生成复用位串，能够生成多种编码位串，并且能够在解码侧进行选择性的解码。

另外，在本实施方式的动作中，可以使第一超分辨率放大部103、第一分辨率变换部104不起作用，而是将第一积蓄缓冲器101中存储的基准分辨率的输入图像作为基准分辨率的输入图像的超分辨率放大变换信息，提供给第二编码部107，在第二编码部107中，进行预定的第二编码处理，使本实施方式的动态图像编码装置进行动作，由此，能够将输入的基准分辨率的动态图像作为第二编码部107中的编码对象，在第二编码部107中，使用比一般的阶层间的预测处理效率更好的参照图像生成预测图像，由此能够通过减少生成的残差信息的信息量，提高第二编码位串的编码效率，能够进行接近原基准分辨率的动态图像的编码处理。

接下来，对本发明及本实施方式使用的预定的超分辨率放大处理进行说明。

通常，根据只是具有位置偏差等的图像间的相关性较高的多个低分辨率图像，推定一个高分辨率图像，来进行基于超分辨率放大处理的图像的高分辨率化，近年来在很多研究中进行了报告。例如，具有“Sung C.P.Min K.P.共著、Super-Resolution Image Reconstruction：A Technical Overview，IEEE SignalProc.Magazine，第26卷，第3号，p.21-36，2003年”等。

另外，提出了在“B.C.Tom，A.k.Katsaggelos共著、Reconstruction of ahigh-resolution image by simultaneous registration，restoration，and interpolation oflow-resolution images，Proc.IEEE Int.Conf.Image Processing，第2卷，p.539-542，1995年”中公开的ML(Maximum-likelihood)方法。在该ML方法中，把从高分辨率图像中推定出的低分辨率图像的像素值与实际观察到的像素值的二乘误差作为评价函数，把使评价函数最小化的高分辨率图像作为推定图像。该方法是根据最大似然估计原理进行超分辨率处理的方法。

另外，提出了在“R.R.Schulz，R.L.Stevenson共著，Extraction ofhigh-resolution frames from video sequences，IEEE Trans.Image Processing，第5卷，p.996-1011，1996年”中公开的MAP(Maximum A Posterior)方法。在MAP方法中，进行使对二乘误差附加了高分辨率图像的概率信息的评价函数最小化的高分辨率图像的推定。该方法是使用针对高分辨率图像的某些预测信息，作为使事后概率最大化的最佳化课题，进行高分辨率图像的推定的超分辨率处理方法。

另外，提出了“H.Stark，P.Oskoui共著，High resolution image recovery formimage-plane arrays，using convex projections，J.Opt.Soc.Am.A，第6卷，p.1715-1726，1989年”中公开的POCS(Projection Onto Convex Sets)方法。该POCS方法是关于高分辨率图像和低分辨率图像的像素值建立联立方程式，依次对该方程式求解，由此获得高分辨率图像的超分辨率处理方法。

本实施方式中的预定的超分辨率放大处理例如是应用了上述的超分辨率处理的方法。

下面，参照图4及图5，对本发明及本实施方式中使用的超分辨率放大处理的基本结构例进行说明。

图4(a)是表示本发明实施方式1中的第一超分辨率放大部103的详细结构的框图，图4(b)是表示超分辨率处理的概念图，图5是表示超分辨率处理的动作例子的流程图。

在图4(a)中，本实施方式1的第一超分辨率放大部103具有位置匹配器1031、插补器1032、推定图像生成器1033以及重复判定器1034。另外，第二超分辨率放大部105也具有同样的结构。

位置匹配器1031取得如图4(b)的(I)所示那样的、成为进行超分辨率处理时的基准的基准图像和至少一个观测图像。在此，取得图4(b)的(I)所示的基准图像、观测图像1和观测图像2。位置匹配器1031具有如下功能：如图4(b)的(II)所示那样，进行向比取得的基准图像和观测图像1、2的分辨率高的高分辨率的像素位置的位置匹配，生成非等间隔采样的非均等高分辨率图像。另外，具有将生成的非均等高分辨率图像提供给插补器1032、重复判定器1034的功能。在此，关于所生成的非均等高分辨率图像，例如期望如图4(b)的(II)所示那样，将基准图像的各像素作为基准，进行观测图像的位置匹配，配置在与基准图像间的相关最高的位置上。另外，关于在位置匹配中采用的分辨率，期望通过比超分辨率处理后获得的分辨率高的分辨率进行位置匹配。另外，关于图4(c)，将在后面与图6(b)进行对比来阐述。

插补器1032具有如下功能：取得通过位置匹配器1031所生成的非均等高分辨率图像，另外从所取得的非均等高分辨率图像进行预定的非均等插补处理，生成具有希望的高分辨率的插补图像，并提供给推定图像生成器1033。另外，插补器1032从重复判定器1034取得用于继续处理的控制信息。在此，可以在用于继续处理的控制信息中包含通过推定图像生成器1033生成的非均等推定图像则更理想。另外，插补器1032也可以在根据控制信息进行重复处理时，根据预定的更新方法使用非均等推定图像，更新从位置匹配器1031取得的非均等高分辨率图像，并修正各个插补像素。

推定图像生成器1033具有如下功能：取得通过插补器1032生成的插补图像，考虑从预定的照相机模型获得的点扩散函数(PSF函数)，进行预定的复原处理，如果需要进行预定的去噪音处理，生成图4(b)的(III)所示的具有希望的分辨率的推定图像。另外具有如下功能：对推定图像进行再采样处理，生成与非均等高分辨率的各像素对应的非均等推定图像，并提供给重复判定器1034。还具有如下功能：从重复判定器1034取得控制信息，并根据控制信息，将生成的具有希望的分辨率的推定图像作为高分辨率图像对外部进行输出。

重复判定器1034具有如下功能：从位置匹配器1031取得非均等高分辨率图像，并从推定图像生成器1033取得非均等推定图像，使用所取得的各图像，根据预定的判定方法，判定是否有必要重复进行超分辨率放大处理，在判定的结果是有必要重复时，对插补器1032供给用于继续处理的控制信息，另一方面，在没有必要重复时，对推定图像生成器1033供给用于输出超分辨率放大处理结果的高分辨率的推定图像的控制信息。

在此，当有必要进行更高速的超分辨率放大处理时，例如当把日本特开3837575号公开的超分辨率处理的高速化方法应用到本发明的图像处理装置中，则能够实现更好的结构。

接下来，参照图5的流程图来说明图4(a)所示的超分辨率放大部103的动作。

首先，位置匹配器1031取得成为进行超分辨率放大处理时的基准的基准图像和至少一个观测图像(S500)。然后，根据比希望的分辨率高的分辨率，进行取得的各个图像的位置匹配(S510)。此时，在将基准图像的各像素配置到对应的位置之后，配置观测图像的各像素，以便与该基准图像的相关变为最高，由此生成非等间隔采样的非均等高分辨率图像。

然后，插补器1032取得生成的非均等高分辨率图像，进行预定的非均等插补处理，进行像素的插补(S520)。由此，生成具有希望的高分辨率的插补图像。

接下来，推定图像生成器1033取得插补图像，进行预定的复原处理，如果有必要则进行预定的去噪音处理，生成具有希望的分辨率的推定图像(S530)。另外，对推定图像进行再采样处理，生成与非均等分辨率图像的各像素对应的非均等推定图像。

接下来，重复判定器1034从位置匹配器1031取得非均等分辨率图像，并从推定图像生成器1033取得非均等推定图像。使用所取得的各个图像，根据预定的判定方法，判定是否有重复进行超分辨率放大处理的必要(S540)。

在判定为有必要重复超分辨率放大处理时，(S540“是”)，对插补器1032供给用于继续处理的控制信息。另外，在判定为没有必要重复超分辨率放大处理时(S540“否”)，对推定图像生成器1033供给用于输出作为超分辨率放大处理结果的高分辨率的推定图像的控制信息，推定图像生成器1033根据控制信息，将生成的具有希望的分辨率的推定图像作为通过超分辨率放大处理获得的高分辨率图像进行输出(S550)。由此，本实施方式1的超分辨率放大处理完成。

接下来，对第一分辨率变换部104以及第二分辨率变换部106中的预定的分辨率变换处理的一个例子进行说明。

图6(a)是表示第一分辨率变换部104的结构例的框图。

在图6(a)中，第一分辨率变换部104具有像素插入器1041、滤波处理器1042、以及像素抽取器1043。另外，第二分辨率变换部106及后述的其它的实施方式的第三分辨率变换部110也具有同样结构。

像素插入器1041放大输入的图像的分辨率，为了扩展能够处理的空间频带，在像素间插入新的像素，由此生成输入图像的上采样(upsample)图像，并提供给滤波处理器1042。

滤波处理器1042从像素插入器1041取得上采样图像，使用预定的低通滤波器进行滤波处理，生成带宽限制图像，并提供给像素抽取器1043。在此，关于使用了预定的低通滤波器的滤波处理，只要使用能够在分辨率变换部最终输出的图像的空间分辨率能够表现的空间频带的范围内、进行频带限制及插补的低通滤波器，进行针对上采样图像的滤波处理即可，关于使用的滤波器，例如可以使用基于sinc函数或Lanczos函数的滤波器、设计为频率应答遍及整个频带，具有平坦且急剧的切断频率特性的FIR及IIR滤波器。另外，也可以使用基于Nearest-neighbor法、Bilinear法、Bicubic法、Spline法等的滤波器来减轻处理。

像素抽取器1043从滤波处理器1042取得频带限制图像，为了与分辨率变换部最终输出的图像的分辨率相匹配，进行预定的像素抽取处理，生成输出图像。

图6(b)是表示通过第一分辨率变换部104那样的分辨率变换部的分辨率变换，进行图像的放大处理之后，在进行缩小处理时，图像内的信号成分进行怎样变化的概念图。

如图6(b)的(I)所示，当设在输入图像中原本包含的空间频率成分直到fa为止时，在分辨率变换部中的分辨率变换处理中，即使假设为了扩大能够处理的空间频率成分而提高分辨率，进行图像的放大处理，虽然图像的像素数增大，但无法增加包含的空间频率成分本身。因此，成为图6(b)的(II)那样的仅包含原来的空间频率成分，然后，即使通过低通滤波处理直到fmax为止进行频带限制，直到具有原来的空间分辨率的像素数为止进行像素抽取处理，也只是生成包含原来的空间频率成分的图像。

对此，图4(c)表示在进行第一超分辨率放大部103那样的超分辨率放大部的超分辨率放大处理之后，进行缩小处理时，图像内的信号成分怎样进行变化的概念图。

如图4(c)的(I)所示，当设输入图像中本来包含的空间频率成分直到fa为止时，在超分辨率放大部的超分辨率放大处理中，根据图4(b)那样的处理，包含的空间频率成分本身得到增加。假设通过这样的处理，如图4(c)的(II)所示那样，将包含的空间频率成分扩展到fb，之后通过低通滤波处理直到fmax为止进行频带限制时，生成在到空间频率fmax为止能够表现的图像内包含了本来所包含的到fa为止的空间频率成分以上的成分的图像。

因此，在第一超分辨率放大部103通过进行这样的超分辨率放大处理，即使是相同分辨率的图像，也能够生成并使用补偿了本来应该包含的图像成分的图像这一点上，与第一分辨率变换部104中的分辨率变换处理具有很大的不同。这在第二超分辨率放大部105和第三分辨率变换部等的关系中也同样。

在此，可以具有将进行预定的分辨率变换处理时的分辨率变换率设定为预定的分辨率变换率信息、或者从外部用户等取得设定的分辨率变换率信息的功能，根据所取得的分辨率变换率信息确定分辨率变换率，进行预定的分辨率变换处理。

例如，当如图6(a)所示那样构成第一分辨率变换部104、第二分辨率变换部106时，在从成为比基准分辨率高的分辨率的超分辨率放大图像进行图像的缩小处理，成为基准分辨率的超分辨率放大变换图像时，根据分辨率变换率来设定像素插入器1041中的在像素间插入新的像素的比例和像素抽取器1043中的进行像素抽取的比例。

在此，分辨率变换率表示为：分辨率变换率＝像素插入率/像素抽取率，像素插入率表示为：像素插入率＝输入像素/输出像素，像素抽取率表示为：像素抽取率＝输入像素/输出像素。

例如，当考虑通过分辨率变换率2从基准分辨率生成超分辨率放大图像时，因为用于返回到基准分辨率的分辨率变换率为1/2，所以在像素插入器1041中，设定输入像素∶输出像素＝1∶1，即将输入图像直接作为上采样图像提供给滤波处理器1042。在像素抽取器1043中，输入像素∶输出像素＝2∶1，即进行每2个像素抽取1个像素处理，生成输出图像。

另外，在使用图6(a)所示的第一分辨率变换部104的结构进行图像的放大处理时，例如当考虑通过分辨率变换率2＝2/1来生成基准分辨率的2倍的放大图像时，在像素插入器1041中设定输入像素∶输出像素＝1∶2，即对每一个像素插入一个像素，生成上采样图像，提供给滤波处理器1042。在像素抽取器1043中，设定输入像素∶输出像素＝1∶1，即不进行抽取处理，直接作为输出图像进行输出。

另外，图6(a)所示的第一分辨率变换部104的结构终究是一个例子，在需要向更自由的分辨率进行图像的放大/缩小处理的情况下，也能够通过使用Spline方法等，以实数的位置精度从输入图像生成自由的位置的像素，生成具有希望的分辨率的图像。

因此，通过本实施方式1的动态图像编码装置，产生如下效果：将输入动态图像具有的空间分辨率作为基准分辨率，根据第一超分辨率放大部103的预定的超分辨率处理，将输入动态图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息进行复原后，通过比基准分辨率高的分辨率来进行表现，并且在生成将输入动态图像具有的频率成分信息的信息量扩展后的超分辨率放大图像之后，进行动态图像编码处理，能够进行基于比输入动态图像具有的信息多的信息量的动态图像编码。

另外，在本实施方式1的动态图像编码装置中，产生如下效果：通过第一分辨率变换部104对通过第一超分辨率放大部103生成的超分辨率放大图像进行预定的分辨率变换处理，生成基准分辨率所表现的超分辨率放大变换图像，因此生成在输入动态图像中潜在包含的、但是基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，将本来没有包含的频率成分信息限制在基准分辨率能够表现的频率成分信息的范围内之后包含在超分辨率图像中，由此把在输入动态图像中无法表现的频率成分信息反映在超分辨率图像中，并且根据该超分辨率图像，进行动态图像编码处理，能够进行基于比输入动态图像具有的信息量多的信息量的动态图像编码。

另外，在本实施方式1的动态图像编码装置中，产生如下效果：通过第二超分辨率放大部105及第二分辨率变换部106，对通过第一编码部102进行编码及解码所生成的基准分辨率的解码图像进行预定的超分辨率处理及分辨率变换处理，生成超分辨率放大解码图像及基准分辨率的解码图像的超分辨率放大变换解码信号，第二编码部107将通过第一超分辨率放大部103及第一分辨率变换部104对输入图像进行第一超分辨率放大及分辨率变换而得的输入图像的超分辨率放大变换信号作为编码对象图像，将通过第一编码部102对输入图像直接进行编码及解码而得的解码图像作为第一参照图像，将通过第二超分辨率放大部105及第二分辨率变换部106对该解码图像进行第二超分辨率放大及分辨率变换而得的解码图像的超分辨率放大变换解码信号作为第二参照图像，进行预定的第二预测处理来进行编码，能够获得比通过现有的动态图像编码获得的预测图像或预测块的图像品质好的图像品质的预测图像或预测块，结果提高编码效率。

(实施方式2)

在上述实施方式1中，说明了如图1所示，向第二编码部107输入2个参照图像，即输入通过第一编码部102对输入图像直接进行编码及解码而得的作为解码图像的第一参照图像、和通过第二超分辨率放大部105及第二分辨率变换部106对该解码图像进行第二超分辨率放大及分辨率变换而得的作为解码图像的超分辨率放大变换解码信号的第二参照图像，使用预测效率高的参照图像，生成预测图像，但是，例如也可以如图7所示那样，仅将通过第一编码部102对输入图像直接进行编码及解码而得的作为解码图像的第一参照图像输入到第二编码部107中，或者如图8所示那样，仅将通过第二超分辨率放大部105及第二分辨率变换部106对来自第一编码部102的解码图像进行第二超分辨率放大及分辨率变换而得的作为解码图像的超分辨率放大变换解码信号的第二参照图像输入到第二编码部107中，第二编码部107仅使用第一或第二参照图像，将第一超分辨率放大及分辨率变换后的输入图像的超分辨率放大变换信号作为编码对象图像，进行预测编码。

另外，也可以如图9所示那样，2个参照图像，即通过第一编码部102将输入图像直接进行编码及解码而得的作为解码图像的第一参照图像、和通过第二超分辨率放大部105及第二分辨率变换部106将该解码图像进行第二超分辨率放大及分辨率变换而得的作为解码图像的超分辨率放大变换解码信号的第二参照图像都不输入到第二编码部107，第二编码部107把第一超分辨率放大及分辨率变换后的输入图像的超分辨率放大变换信号作为编码对象图像，进行预测编码。

(实施方式3)

接下来，对本发明实施方式3的动态图像编码装置进行说明。

图10是表示实施方式3的动态图像编码装置的结构例的框图。

图10所示的实施方式3的动态图像编码装置是将图1所示的实施方式1的动态图像编码装置的结构进一步详细化，并且新追加了积蓄控制部412、第二积蓄缓冲器416、第二参照图像缓冲器418以及编码量控制部423。

另外，在图10中具有第一编码部102、第一预测器402、第一编码器403、第一解码器404、内部预测器405、第一预测图像缓冲器406、第一参照图像缓冲器407、变动推定器408、变动补偿器409、加法器410以及分块器411。由此，能够实现与在一般的动态图像编码的ISO/IEC SC29WG11中规格标准化的MPEG-4AVC同等的功能。但是，此处的第一编码部102的详细结构是一个例子，也可以是能够实现第一编码部102的功能的其它的不同的结构。例如可以是数字广播等使用的MPEG-2、MPEG-4AVC的可伸缩的扩展的MPEG-4SVC。另外也可以采用JPEG2000所代表的基于小波(wavelet)变换的超分辨率前编码器。

另外，在图10中，第二编码部107具有第三积蓄缓冲器415、第二预测器420以及第二编码器421。

接下来，对图10所示的实施方式3的动态图像编码装置中具有与图1所示的实施方式1的结构要素不同的功能或新的功能的结构要素进行说明。

第一预测器402具有如下功能：从第一积蓄缓冲器101取得预定的编码处理所需的、具有基准分辨率的图像，并从第一预测图像缓冲器406取得存储的预测图像或预测块，第一预测器402对所取得的图像及预测图像进行预定的处理，生成残差信息，并提供给第一编码器403。在此，第一预测器402中的预测处理也可以为这样的处理：将取得的具有基准分辨率的图像的各图像作为编码对象图像，从对象图像中减去所取得的预测图像或预测块，生成残差信息，并提供给第一编码器403。

第一编码器403具有如下功能：从第一预测器402取得预测处理后的残差信息，通过预定的编码处理生成所述基准分辨率的第一编码位串，并提供给第一解码器404及复用部109。在此，第一编码器403也可以如图11(a)所示那样对第一解码器404供给第一编码位串，还可以如图11(b)所示那样在预定的编码处理过程中生成量化后信息，提供给第一解码器404。另外，第一编码器403具有根据来自编码量控制部423的控制信息，使通过编码处理要生成的第一编码位串的编码量变动的功能。

第一解码器404具有如下功能：根据如图11(a)、(b)所示的第一编码器403的输出，如图12(a)所示那样从第一编码器403取得第一编码位串，或如图12(b)所示那样从第一编码器403取得量化后信息，对第一编码位串或量化后信息进行预定的解码处理，生成解码残差信息，提供给加法器410。

内部预测器405具有如下功能：取得在进行预定的内部预测处理时需要的已解码的图像信息，进行预定的内部预测处理，生成内部预测信息，并提供给第一预测图像缓冲器406。在此，关于内部预测器405生成的内部预测信息，希望是成为预测对象的块的周围的块，并且是根据预定的内部预测处理从已解码的块生成的内部预测块。

第一预测图像缓冲器406具有如下功能：从内部预测器405取得内部预测信息，从变动补偿器409取得变动补偿预测信息，作为预测图像或预测块进行积蓄，将预测图像或预测块提供给第一预测器402及加法器410。在此，第一预测图像缓冲器406也可以从积蓄控制器412取得积蓄控制信息，并根据该积蓄控制信息来控制预测图像或预测块的取得、积蓄及供给。

第一参照图像缓冲器407具有如下功能：从分块器411取得分块处理后的解码图像或解码块、从加法器410取得解码图像或解码块，作为参照图像或参照块进行积蓄，根据要求将所积蓄的参照图像或参照块至少提供给内部预测器405、变动推定器408、变动补偿器409、第二积蓄缓冲器416。在此，第一参照图像缓冲器407也可以从积蓄控制器412取得积蓄控制信息，并根据该积蓄控制信息来控制参照图像或参照块的取得、积蓄及供给。

变动推定器408具有如下功能：从第一积蓄缓冲器101取得编码对象图像，以及从第一参照图像缓冲器407取得参照图像，进行预定的变动推定，生成变动矢量信息。变动推定器408将生成的变动矢量信息至少提供给变动补偿器409。在此，如果通过未图示的熵编码器对变动推定器408生成的变动矢量信息进行预定的熵编码处理，然后将其提供给复用部109则更好。

变动补偿器409具有如下功能：从第一参照图像缓冲器407取得存储图像、并从变动推定器408取得变动矢量信息，根据所取得的参照图像和变动矢量信息，进行预定的变动补偿，生成预测图像，提供给第一预测图像缓冲器406。

加法器410具有如下功能：从第一解码器404取得解码残差信息，从第一预测图像缓冲器406取得预测图像或预测块然后将它们进行相加，生成解码图像，将其提供给第一参照图像缓冲器407及分块器411。

分块器411具有如下功能：从加法器410取得解码图像，进行预定的分组处理，生成分组后的解码图像并提供给第一参照图像缓冲器407。

图11(a)、(b)表示实施方式3的第一编码器403的结构例。

第一编码器403，例如具有正交变换器4031、量化器4032以及熵编码器4033。

正交变换器4031具有如下功能：取得残差信息，进行预定的正交变换处理，生成正交变换系数信息，并提供给量化器。

量化器4032具有如下功能：从正交变换器4031取得正交变换系数信息，进行预定的量化处理，生成量化后信息，并提供给熵编码器4033。在此，可以在第一解码器404中不对编码位串进行熵解码，而是取得作为局部解码结果的量化后信息，进行预定的解码处理的情况下，如图11(b)所示那样，量化器4032将量化后信息提供给第一解码器404。

熵编码器4033具有如下功能：从量化器4032取得量化后信息，进行预定的熵编码处理，生成第一编码位串，并提供给复用部109。另外，也可以在第一解码器404中对第一编码位串进行熵解码取得量化后信息，进行预定的解码处理的情况下，如图11(a)所示那样，熵编码器4033生成第一编码位串，提供给第一解码器404。

图12(a)、(b)表示实施方式3的第一解码器404的结构例。

第一解码器404为了进行局部解码处理，至少如图12(a)、(b)所示那样，具有逆量化器4042和逆正交变换器4043。另外，如果是取得第一编码位串，进行完全的解码处理的结构，也可以如图12(a)那样还具备熵解码器4041。

熵解码器4041具有如下功能：从第一编码器403取得第一编码位串，进行预定的熵解码处理，生成量化后信息，并提供给逆量化器4042。

逆量化器4042具有如下功能：从熵解码器4041或量化器4032取得量化后信息，进行预定的逆量化处理，生成逆量化后的正交变换系数信息，并提供给逆正交变换器4043。

逆正交变换器4043具有如下功能：从逆量化器4042取得逆量化后的正交变换系数信息，进行预定的正交变换处理，生成解码残差信息，并提供给加法器410。

返回到图10，实施方式3的第二解码部107具有第三积蓄缓冲器415、第二预测器420及第二编码器421。

第三积蓄缓冲器415具有如下功能：从第一分辨率变换部104取得基准分辨率的输入图像的超分辨率放大变换信号进行积蓄，并提供给第二预测器420。第三积蓄缓冲器415还具有如下功能：从积蓄控制部412取得积蓄控制信息，并根据该积蓄控制信息控制所述基准分辨率的输入图像的超分辨率放大变换信号的取得、积蓄及供给。

第二预测器420具有如下功能：从第三积蓄缓冲器415取得基准分辨率的输入图像的超分辨率放大变换信号，从第二积蓄缓冲器416取得基准分辨率的解码图像，以及从第二分辨率变换部106取得基准分辨率的解码图像的超分辨率放大变换解码信号，将输入图像的超分辨率放大变换信号作为编码对象图像，将来自第一编码部102的解码图像作为第一参照图像，将基准分辨率的解码图像的超分辨率放大变换解码信号的各超分辨率放大变换解码图像作为第二参照图像，然后进行预定的预测处理，生成预测图像，从对象图像中减去预测图像，由此生成残差信息，并提供给第二编码器421。

第二编码器421具有如下功能：从第二预测器420取得残差信息，进行预定的编码处理，生成所述第二编码位串，提供给复用部109，并根据来自编码量控制部423的控制信息，使通过编码处理生成的第二编码位串的编码量变动。

积蓄控制部412具有如下功能：通过对各积蓄缓冲器供给积蓄控制信息，来控制各积蓄缓冲器的积蓄状态、图像取得和供给的定时。

第二积蓄缓冲器416具有如下功能：从第一参照图像缓冲器407取得所述解码图像，然后将所取得的基准分辨率的解码图像提供给第二超分辨率放大部105及第二预测器420。

另外，第二积蓄缓冲器416具有如下功能：从存储控制部412取得积蓄控制信息，并根据该积蓄控制信息控制所述解码图像的取得、存储及供给。

第二参照图像缓冲器418具有如下功能：从第二超分辨率放大部105取得超分辨率放大解码图像并进行积蓄，将所取得的超分辨率放大解码图像提供给第二分辨率变换部106。此时，第二参照图像缓冲器418从积蓄控制部412取得积蓄控制信息，并根据该积蓄控制信息控制所述基准分辨率的输入图像的超分辨率放大变换信号的取得、积蓄及供给。

编码量控制部423具有如下功能：监视各编码器生成的编码位串的编码量，为使其收缩为预定范围的编码量，控制各编码器的动作，并根据编码量的状态、从积蓄控制部412获得的各积蓄缓冲器的状态，控制积蓄控制器412来变更各积蓄缓冲器的动作。在此，编码量控制部423在控制各编码器的动作来进行编码量的控制时，通过变更各编码器的量化参数信息，进行编码量的控制。另外，如果根据需要，根据各编码器的残差信息的信号振幅的状态、能够确定在各预测器中使用了哪个参照图像的参照图像选择信息，判定针对解码图像的超分辨率放大处理有效还是无效，当为无效时，在积蓄控制部412中对第二积蓄缓冲器416指示停止对第二超分辨率放大部105供给解码图像，并且切换为使用与超分辨率放大处理为有效时所使用的量化参数信息不同的、根据第一参照图像生成的预测残差信息用量化存储信息，由此能够控制编码量，则更理想。

因此，通过本实施方式3的动态图像编码装置，能够获得与图1所示的实施方式1的动态图像编码装置同样的效果，并且具有积蓄控制部412和编码量控制部423等，进行各缓冲器中的积蓄控制、第一编码部102和第二编码部107中的编码量控制，因此能够执行考虑了第一编码部102和第二编码部107中的编码量、各缓冲器中的积蓄量的编码。

另外，在本实施方式3中进行了如下说明：对图1所示的实施方式1的动态图像编码装置设置积蓄量控制部412和编码量控制部423等，进行各缓冲器中的积蓄量控制、第一编码部102和第二编码部107中的编码量控制，但是也可以对图7、图8、图9所示的实施方式2的动态图像编码装置设置积蓄量控制部412和编码量控制部423等，同样地进行积蓄量控制和编码量控制。

(实施方式4)

接下来，对实施方式4的动态图像编码装置进行说明。

图13是表示实施方式4的动态图像编码装置的结构例的框图。

在图13中，实施方式4的动态图像编码装置具有第一积蓄缓冲器101、第一编码部102、第一超分辨率放大部103、第二超分辨率放大部105、第三分辨率变换部110、第三编码部108以及复用部109。

因为第一积蓄缓冲器101具有与图1中的实施方式同等的功能，因此在此省略说明。

第一编码部102具有与图1中的实施方式同等的功能。在此，在实施方式4中，将生成的解码图像提供给第二超分辨率放大部105及第三分辨率变换部110。

第一超分辨率放大部103具有与图1的实施方式同等的功能。在此，实施方式4的第一超分辨率放大部103具有将生成的具有比基准分辨率高的分辨率的超分辨率放大图像提供给第三编码部108的功能。

第二超分辨率放大部105具有与图1中的实施方式同等的功能。在此，实施方式4的第二超分辨率放大部105具有将生成的比基准分辨率高的分辨率的超分辨率放大解码图像提供给第三编码部108的功能。

第三分辨率变换部110具有如下功能：从第一编码部102取得基准分辨率的解码图像，并对所取得的基准分辨率的解码图像进行预定的分辨率变换处理，生成具有与第一超分辨率放大部103生成的超分辨率放大图像、以及第二超分辨率放大部105生成的超分辨率放大解码图像的空间分辨率相同的分辨率的、作为高分辨率的放大解码图像的分辨率变换放大解码图像，并提供给第三编码部108。在此，也可以具有将进行预定的分辨率变换处理时的分辨率变换率设定为预定的分辨率变换率信息、或从外部用户等取得所设定的分辨率变换率信息的功能，并根据所取得的分辨率变换率信息确定分辨率变换率，进行预定的分辨率变换处理。

第三编码部108具有如下功能：从第一超分辨率放大部103取得超分辨率放大图像，并从第三分辨率变换部110取得高分辨率的分辨率变换放大解码图像，从第二超分辨率放大部105取得高分辨率的超分辨率放大解码图像，将取得的超分辨率放大图像作为编码对象图像，将来自第三分辨率变换部110的分辨率变换放大解码图像作为第一参照图像，将来自第二超分辨率放大部105的超分辨率放大解码图像作为第二参照图像，进行预定的预测处理及编码处理，生成第三编码位串，并将生成的第三编码位串提供给复用部109。

在此，关于进行第三编码部108中的预定的预测处理时使用的参照图像，使用从分辨率变换放大解码图像获得第一参照图像和从超分辨率放大解码图像获得的第二参照图像中的某一方，来生成预测图像，从对象图像中减去预测图像，由此生成残差信息。

另外，也可以包含这样的结构：第一参照图像及第二参照图像都不使用，作为残差信息生成对象图像。

另外，第三编码部108可以为了针对每个图像、或每个预定的图像数，控制参照图像的选择，生成用于确定使用了第一参照图像和第二参照图像中的哪一个图像的参照图像选择信息，通过未图示的预定的熵编码部对参照图像选择信息进行熵编码处理，生成参照图像选择信息的编码位串，提供给复用部109。

另外，也可以将对象图像分别无间隙地划分为每个具有预定大小的区域、将第一参照图像和第二参照图像也同样无间隙地划分为每个具有预定大小的区域，在针对每个对应的区域确定使用第一参照图像和第二参照图像中的哪一个的同时，生成预测图像，从对象图像中减去预测图像，由此生成残差信息。在此，也可以把用于识别确定针对每个具有预定大小的区域使用了哪个参照图像的信息作为参照图像选择信息，通过未图示的预定的熵编码部进行熵编码处理，并将所生成的参照图像选择信息的编码位串提供给复用部109。在此，希望具有预定大小的区域的形状为预定矩形区域，或通过预定的区域划分获得的任意形状区域。

第三编码部108可以具有如下功能：把从编码对象图像中减去作为预测图像的第一参照图像获得的残差信息作为第一残差信息，进行预定的第三编码处理，生成第一的第三编码位串，并且把从对象图像中减去作为预测图像的第二参照图像获得的残差信息作为第二残差信息，进行预定的第三编码处理，生成第二的第三编码位串，另外，第一参照图像及第二参照图像的哪一个都不使用，而是仅从对象图像中生成残差信息，作为第三残差信息，进行预定的第三编码处理，生成第三的第三编码位串，将所生成的第一到第三的第三编码位串提供给复用部109。在此，也可以将以上各种参照图像的选择方法及编码方法作为参照图像选择方式信息及第三编码的编码方式信息，通过未图示的预定的熵编码部进行熵编码处理，提供给复用部109。

复用部109具有如下功能：从第一编码部102取得第一编码位串，并从第三编码部108取得第三编码位串，根据预定的语法结构，插入针对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息、编码参数信息等通过未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，进行第一编码位串、第三编码位串的复用处理，生成作为输出的复用位串。另外，如果复用部109可以具有如下功能：进一步取得针对第三编码部108生成的参照图像选择方式以及参照图像选择信息进行未图示的预定的熵编码而得的编码位串，通过同样的复用处理生成复用位串。

另外，复用部109可以取得来自第一编码部102的第一编码位串、从第三编码部108取得第一及第二的第三编码位串。在此，复用部109也可以复制所取得的基准分辨率的第一编码位串，生成基准分辨率的从第一到第三的第一编码位串。复用部109可以根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时对基准分辨率的第一的第一编码位串和第一的第三编码位串、基准分辨率的第二的第一编码位串和第二的第三编码位串、基准分辨率的第三的第一编码位串和第三的第三编码位串进行复用处理，生成作为输出的复用后的第一～第三的编码位串。在此，复用部109可以根据来自编码方式信息等的要求，选择性地生成复用后的第一～第三的编码位串。另外，可以在此处使用的编码方式信息中至少包含用于控制复用的信息。

本实施方式4的动态图像编码装置具有以上的功能，并能够通过使用对输入的动态图像进行预定的超分辨率放大处理及预定的分辨率变换处理生成的超分辨率放大图像、超分辨率放大变换图像，进行基于具有比输入动态图像具有的信息量多的信息量的动态图像编码。另外，在图13的结构中，希望第一超分辨率放大部103、第二超分辨率放大部105使用的放大率为相同的放大率，但也可以不是相同的放大率。另外，希望第三分辨率变换部110使用的分辨率变换率是成为与第一超分辨率放大部103生成的超分辨率放大图像以及第二超分辨率放大部105生成的超分辨率放大解码图像具有的空间分辨率相同的分辨率的分辨率变换率，但是也可以不是相同的放大率。

接下来，参照图14的流程图对图13所示的实施方式4的动态图像编码装置的动作进行说明。

图14是表示实施方式4的动态图像编码装置的动作的流程图。

首先，在图13所示的实施方式4的动态图像编码装置中，从输入的动态图像中将第一超分辨率放大部103中的第一超分辨率放大处理需要的图像数量的图像存储到第一积蓄缓冲器101中(S1401)。

第一超分辨率放大部103从第一积蓄缓冲器101取得进行预定的超分辨率放大处理时需要的至少两个图像，进行预定的第一超分辨率放大处理(S1402)。由此，生成具有比输入的动态图像具有的作为空间分辨率的基准分辨率高的分辨率的超分辨率放大图像，并提供给第三编码部108。

第三编码部108从第一超分辨率放大部103取得超分辨率放大图像，存储到用于临时存储的预定的缓冲器中(S1403)。

另外，第一编码部102从第一积蓄缓冲器101取得进行预定的超分辨率前编码处理时需要的基准分辨率的动态图像列，进行基准分辨率的编码、解码处理(S1404)。由此，生成作为编码处理结果的基准分辨率的第一编码位串和作为解码结果的基准分辨率的解码图像。

然后，第一编码部102将生成的第一编码位串提供给复用部109，并将生成的基准分辨率的解码图像存储到用于临时存储的预定的缓冲器中(S1405)。

第二超分辨率放大部105从第一编码部102取得所述解码图像，进行预定的超分辨率放大处理(S1406)。由此生成具有比基准分辨率高的分辨率的超分辨率放大解码图像，并提供给第三编码部108。

然后，第三编码部108从第二超分辨率放大部105取得超分辨率放大解码图像，并存储到用于临时存储的预定的缓冲器中(S1407)。

另外，第三分辨率变换部110从第一编码部102取得所述解码图像，进行预定的分辨率变换处理(S1408)。由此，生成具有比基准分辨率高的分辨率的高分辨率的作为放大解码图像的分辨率变换放大解码图像，并提供给第三编码部108。

然后，第三编码部108从第三分辨率变换部110取得高分辨率的分辨率变换放大解码图像，并存储到用于临时存储的预定的的缓冲器中(S1409)。

另外，S1402～S1402的处理、S1404～S1407的处理以及S1402～S1402的处理可以为并行处理，也可以按顺序进行处理。

如果以上的处理结束，则第三编码部108把从第一超分辨率放大部103取得的超分辨率放大图像作为编码对象图像，把从第三分辨率变换部110取得的分辨率变换放大解码图像作为第一参照图像，把从第二超分辨率放大部105所取得的超分辨率放大解码图像作为第二参照图像，进行预定的第三预测处理(S1410)。由此生成高分辨率的残差信息。然后，对生成的残差信息进行作为预定的第三编码的第三编码处理(S1411)。由此，生成第三编码位串，并提供给复用部109。

然后，复用部109从第一编码部102取得第一编码位串、从第三编码部108取得第三编码位串，根据预定的语法结构，插入针对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行复用处理(S1412)，生成图15所示的复用位串。通过经过以上的步骤，本实施方式的一系列的动作结束。

图15是表示实施方式4的复用部109生成的复用位串300的结构的一个例子的数据结构图。

在复用位串300中，复用编码参数信息位串310、来自第一编码部102的第一编码位串320以及来自第三编码部108的第三编码位串340。

另外，通过多个并行处理说明了本实施方式4的动作，但是也可以连续地处理该并行处理部分，使本实施方式的动态图像编码装置动作。

因此，通过本实施方式4的动态图像编码装置，与上述实施方式1等同样地通过第一超分辨率放大部103及第二超分辨率放大部105进行第一及第二超分辨率放大处理，由此将输入动态图像具有的空间分辨率作为基准分辨率，通过第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像。

结果，通过该第一超分辨率放大处理，根据预定的超分辨率处理，从输入图像中复原在输入图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息后，可以通过比基准分辨率高的分辨率来表现。

另外，能够对输入的基准分辨率的动态图像，进行预定的编码及解码处理，生成基准分辨率的解码图像，通过对该解码图像进行预定的第二超分辨率放大处理，生成空间方向及时间方向的频率成分信息被放大的、具有比基准分辨率高的分辨率的超分辨率放大解码图像，将该生成的超分辨率放大解码图像作为高分辨率的参照图像，在与超分辨率放大图像之间进行预定的预测处理之后，进行预定的第三编码处理，生成第三编码位串。如此，能够把超分辨率放大解码图像用作参照图像，在与超分辨率放大图像之间进行使用了空间分辨率的相关性的分层编码，进行基于比所输入的动态图像具有的信息量多的信息量的动态图像编码。

即，在本实施方式4中重点在于，与上述实施方式1等相同，为了使用在图像本身中潜在包含的相关性，复原只能在所输入的、通过本来的基准分辨率的空间分辨率能够表现的范围内表现的图像的频率成分信息，进行预定的超分辨率放大处理，将新产生的只能用比基准分辨率高的空间分辨率表现的频率成分信息作为超分辨率放大图像进行反映，通过本发明能够编码及传送如此生成的作为新的最终的编码对象的超分辨率放大图像和本来的基准分辨率的动态图像列各自包含的空间分辨率的频率成分信息的不同。假设即使具有仅进行第二超分辨率放大处理，生成超分辨率放大解码图像，输出到外部的显示装置这样的动态图像编码装置，在对成为解码对象的基准分辨率的第一编码位串进行预定的解码处理所生成的基准分辨率的解码图像中包含不少编码时的恶化，即使对该解码图像进行预定的第二超分辨率放大处理，因为对包含了编码劣化的状态的基准分辨率的解码图像进行超分辨率放大处理，因此，虽然获得一定的效果，但是未必能够进行正确的超分辨率放大处理。如此，针对未必充足的超分辨率放大解码图像，通过预定的扩展编码处理，编码以及传送与在原本恰当的超分辨率放大图像中包含的频率成分信息的不同，由此，在本发明中能够更多并且正确地向解码一侧提供超分辨率放大图像中包含的频率成分信息。

另外，在本实施方式4中，在生成预测图像时，使用来自第三分辨率变换部110的第一参照图像和来自第二超分辨率放大部105的第二参照图像中的某一方，进行作为第三编码的第三编码处理，在根据要求使用了超分辨率放大图像和作为第一参照图像的分辨率变换放大解码图像之间的空间分辨率的相关性时，进行使用了超分辨率放大图像和作为第二参照图像的超分辨率放大解码图像之间的空间分辨率的相关性时的分层编码，能够生成不同的复用位串，向解码侧供给、存储，或传送。

另外，在本实施方式4中，通过在生成预测图像时，按照每个图像、或每个预定的图像数量来控制参照图像的选择，能够根据解码图像的图像品质适当地生成预测图像，结果能够提高编码效率。

另外，在本实施方式4中，通过生成用于确定使用了第一及第二参照图像中的哪一个的参照图像选择信息，并提供给复用部109，可以容易地确定在本发明的编码时所使用的参照图像。

另外，在本实施方式4中，将编码对象图像分别无间隙地划分为每个具有预定大小的区域，将第一参照图像和第二参照图像也同样地无间隙地划分为每个具有预定大小的区域，针对每个对应的区域确定使用第一参照图像和第二参照图像中的哪一个，同时生成预测图像，由此，通过根据解码图像的图像品质能够适当地生成预测图像，结果能够提高编码效率。

另外，能够对输入的基准分辨率的动态图像，进行预定的编码及解码处理，生成基准分辨率的第一编码位串，并且进行第三编码处理，生成高分辨率的第三编码位串，对于这些编码位串根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行预定的复用处理，由此生成复用编码位串。通过生成这样的复用位串，能够把针对原来输入图像的编码结果以及针对与通过超分辨率放大图像放大后的频率成分信息的预测误差的编码结果作为单一的编码位串，该超分辨率放大图像通过超分辨率放大处理获得，把该单一的编码位串传送到未图示的外部积蓄装置之后，记录到预定的记录介质中，或通过未图示的外部通信装置进行网络发布，由此通过本实施方式的动态图像编码装置能够高效率地对具有大量信息量的动态图像进行编码、存储、及传送。

另外，能够通过取得第一、第二的第三编码位串，根据编码方式信息确定复用的编码位串的组合，对所确定的多个编码位串进行预定的复用处理，生成复用位串，生成各种编码位串，并能够在解码侧进行选择的解码。

(实施方式5)

在上述实施方式4中，进行了如下说明：如图13所示那样，在第三编码部108中将两个参照图像，即将通过第三分辨率变换部110对来自第一编码部102的解码图像进行第三分辨率变换处理而得的分辨率变换放大解码图像作为第一参照图像，将通过第二超分辨率放大部105对来自第一编码部102的解码图像进行第二超分辨率放大处理而得的超分辨率放大解码图像作为第二参照图像输入，将预测效率高的参照图像作为预测图像使用，但是也可以例如图16所示那样，仅将来自第三分辨率变换部110的分辨率变换放大解码图像作为参照图像进行输入、或者例如如图17所示那样，仅将来自第二超分辨率放大部105的超分辨率放大解码图像作为参照图像进行输入，将来自第一超分辨率放大部103的超分辨率放大图像作为编码对象图像，进行预测编码。

(实施方式6)

接下来，对本发明实施方式6的动态图像编码装置进行说明。

图18是表示实施方式6的动态图像编码装置的结构例的框图。

图18所示的实施方式6的动态图像编码装置是将图13所示的实施方式4的动态图像编码装置的结构进行详细化，另外新追加了积蓄控制部412、第二积蓄缓冲器416、第二参照图像缓冲器418以及编码量控制部423。

以下，对在图18中具有的与图13所示的实施方式4的结构要素不同的功能或新的功能的结构要素进行说明。

第四积蓄缓冲器501具有如下功能：从第一超分辨率放大部103取得超分辨率放大图像后进行积蓄，并将所积蓄的超分辨率放大图像提供给第三预测器502。另外，第四积蓄缓冲器501可以从积蓄控制部412取得积蓄控制信息，并根据该积蓄控制信息控制超分辨率放大图像的取得、积蓄及供给。

第三预测器502如果具有如下功能则更理想：从第四积蓄缓冲器501取得超分辨率放大图像，从第二参照图像缓冲器418取得超分辨率放大解码图像，从第三分辨率变换部110取得分辨率变换放大解码图像，第三预测器502将所取得的超分辨率放大图像的各超分辨率放大图像作为编码对象图像，将从分辨率变换放大解码图像获得的各分辨率变换放大解码图像作为从分辨率变换放大解码图像获得的第一参照图像，将超分辨率放大解码图像的各超分辨率放大解码图像作为从超分辨率放大解码图像获得的第二参照图像之后，进行预定的预测处理，生成预测图像，并从编码对象图像中减去预测图像，由此生成残差信息，并提供给第三编码器503。

第三编码器503具有如下功能：从第三预测器502中取得残差信息，进行预定的编码处理，生成第三编码位串，并提供给复用部109。还期望第三编码器503具有根据来自编码量控制部423的控制信息来变动通过编码处理生成的第三编码位串的编码量的功能。

第三分辨率变换部110具有如下功能：从第二积蓄缓冲器416取得所述解码图像，进行预定的分辨率变换处理，生成作为高分辨率的放大解码图像的分辨率变换放大解码图像，并提供给第三预测器502。在此，可以在第三分辨率变换部110中进行预定的分辨率变换处理，使得高分辨率的分辨率变换放大解码图像成为具有与第一超分辨率放大部103生成的超分辨率放大图像及第二超分辨率放大部105生成的超分辨率放大解码图像具有的空间分辨率相同的分辨率。

另外，以下对积蓄控制部412、第二积蓄缓冲器416、第二参照图像缓冲器418、编码量控制部423进行说明。

积蓄控制部412具备的功能只要与图10中的实施方式3的积蓄控制部412具备的功能同等即可，因此在此省略说明。

第二积蓄缓冲器416具备的功能只要与图10中的实施方式3的第二积蓄缓冲器416具备的功能同等即可，因此在此省略说明。

第二参照图像缓冲器418还具有将从第二超分辨率放大部105取得的超分辨率放大解码图像提供给第三预测器502的功能。

编码量控制部423具备的功能与图10中的实施方式3的编码量控制部423具备的功能同等。

如此，图18所示的本实施方式6的动作与图10所示的实施方式4的动作相同，因此在此省略说明。

因此，通过本实施方式6的动态图像编码装置，能够获得与图13所示的实施方式4的动态图像编码装置相同的效果，并且与图10所示的实施方式3同样，还具有积蓄量控制部412和编码量控制部423等，并进行各缓冲器中的积蓄量控制、第一编码部102和第三编码部108中的编码量控制，因此，能够执行考虑了第一编码部102和第三编码部108中的编码量、各缓冲器中的积蓄量的编码。

另外，在本实施方式6中进行了如下说明：对图13所示的实施方式4的动态图像编码装置设置积蓄量控制部412和编码量控制部423等，并进行各缓冲器中的积蓄量控制、第一编码部102和第三编码部108中的编码量控制，但是也可以对图16或图17所示的实施方式5的动态图像编码装置设置积蓄量控制部412和编码量控制部423等，同样进行积蓄量控制、编码量控制。

(实施方式7)

接下来对本发明实施方式7的动态图像编码装置进行说明。

图19是表示实施方式7的动态图像编码装置的结构例的框图。

图19所示的实施方式7的动态图像编码装置是将图1所示的实施方式1的动态图像编码装置和图13所示的实施方式4的动态图像编码装置合并而得的结构，在各结构要素的基本功能中，关于相同的部分省略说明，以下对不同的部分进行说明。

复用部109还具有如下功能：取得来自第一编码部102的第一编码位串，并且从第二编码部107取得第二编码位串、从第三编码部108取得第三编码位串，并根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择方式信息及参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行第一编码位串、第二编码位串及第三编码位串的复用处理，生成复用位串。在此，复用部109也可以复制从第一编码部102取得的基准分辨率的第一编码位串，作为第一编码位串和第二编码位串，根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择方式信息及参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行复制的基准分辨率的第一的第一编码位串和取得的第二编码位串的复用处理，生成作为输出的复用后的编码位串。此外，复用部109也可以根据预定的语法结构，插入对编码时使用的变动矢量信息、量化参数信息、参照图像选择方式信息及参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，进行复制的基准分辨率的第二的第一编码位串和取得的第三编码位串的复用处理，生成作为输出的复用后的第二编码位串。

另外，复用部109还可以从第二编码部107取得第一及第二的第二编码位串，从第三编码部108取得第一及第二的第三编码位串。在此基础上，如果复用部109具有如下功能则更理想：复制取得的基准分辨率的第一编码位串，生成基准分辨率的第一至第六的第一编码位串，并根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择方式信息及参照图像选择信息、编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续用于识别编码位串的组的识别信息等，进行基准分辨率的第一的第一编码位串和第一的第二编码位串、基准分辨率的第二的第一编码位串和第二的第二编码位串、基准分辨率的第三的第一编码位串和第三的第二编码位串、基准分辨率的第四的第一编码位串和第一的第三编码位串、基准分辨率的第五的第一编码位串和第二的第三编码位串、以及基准分辨率的第六的第一编码位串和第三的第三编码位串的复用处理，生成复用后的第一至第六的编码位串，根据要求进行输出。在此，复用部109也可以根据要求选择性地生成复用后的第一至第六的编码位串。

本实施方式7至少具有以上的功能，通过使用对于输入的动态图像进行预定的超分辨率放大处理及预定的分辨率变换处理生成的基准分辨率的输入图像的超分辨率放大信号、超分辨率放大变换信号，可以进行基于比输入动态图像具有的信息量多的信息的动态图像编码。在此，在图19中，期望第一超分辨率放大部103、第二超分辨率放大部105使用的放大率是相同的放大率，但是，也可以为不同的放大率。另外，期望在第一分辨率变换部104、第二分辨率变换部106中使用的分辨率变换率为相同的分辨率变换率，并且分辨率变换处理后的空间分辨率成为基准分辨率的分辨率变换率，但是也可以为不同的放大率。还期望在第三分辨率变换部110中使用的分辨率变换率为：成为与第一超分辨率放大部103生成的超分辨率放大图像及第二超分辨率放大部105生成的超分辨率放大解码图像具有的空间分辨率相同的分辨率的分辨率变换率，但是也可以为不同的放大率。

接下来参照图20的流程图对图19所示的实施方式7的动作进行说明。

首先，把输入的动态图像、在第一超分辨率放大部103的第一超分辨率放大处理中需要的图像数量的图像存储到第一积蓄缓冲器101中(S1901)。

第一超分辨率放大部103从第一积蓄缓冲器101取得进行预定的超分辨率放大处理时所需要的至少两个图像，并进行预定的超分辨率放大处理(S1902)。由此生成具有比输入的动态图像具有的作为空间分辨率的基准分辨率高的分辨率的超分辨率放大图像，并提供给第一分辨率变换部104及第三编码部108。

然后，第三编码部108从第一超分辨率放大部103取得超分辨率放大图像，并存储到用于临时积蓄的预定的缓冲器中(S1903)。

然后，第一分辨率变换部104从第一超分辨率放大部103取得超分辨率放大图像并进行预定的超分辨率变换处理(S1904)。由此，生成基准分辨率的输入图像的超分辨率放大变换信号，并将所生成的基准分辨率的输入图像的超分辨率放大变换信号提供给第二编码部107。

然后，第二编码部107从第一分辨率变换部104取得基准分辨率的输入图像的超分辨率放大变换信号，并存储到用于临时存储的预定的缓冲器中(S1905)。

另一方面，第一编码部102从第一积蓄缓冲器101取得进行预定的超分辨率前编码处理时所需要的基准分辨率的动态图像列，并进行基准分辨率的编码、解码处理(S1906)。由此生成作为编码处理结果的基准分辨率的第一编码位串和作为解码结果的基准分辨率的解码图像。然后，第一编码部102将所生成的第一编码位串提供给复用部109、将所生成的基准分辨率的解码图像提供给第二超分辨率放大部105、第二编码部107及第三分辨率变换部110。

接着，第二编码部107从第一编码部102取得所述解码图像，并存储到用于临时积蓄的预定的缓冲器中(S1907)。

另外，第二超分辨率放大部105从第一编码部102取得基准分辨率的解码图像，并进行预定的超分辨率放大处理(S1908)。由此，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像，并提供给第二分辨率变换部106及第三编码部108。

于是，第三编码部108从第二超分辨率放大部105取得超分辨率放大解码图像，并存储到用于临时积蓄的预定缓冲器中(S1909)。

另外，第二分辨率变换部106从第二超分辨率放大部105取得超分辨率放大解码图像，并进行预定的分辨率变换处理(S1901)。由此生成基准分辨率的超分辨率放大变换解码信号，并提供给第二编码部107。

然后，第二编码部107从第二分辨率变换部106取得基准分辨率的超分辨率放大变换解码信号，并存储到用于临时积蓄的预定缓冲器中(S1911)。

另外，第三分辨率变换部110从第一编码部102取得所述解码图像，并进行预定的分辨率变换处理(S1912)。由此，生成作为高分辨率的放大解码图像的分辨率变换放大解码图像，并提供给第三编码部108。

然后，第三编码部108从第三分辨率变换部110取得高分辨率的分辨率变换放大解码图像，并存储到用于临时积蓄的预定缓冲器中(S1913)。

另外，可以并行处理S1902～S1905的处理、S1906～S1911的处理以及S1912～S1913的处理，也可以按顺序处理，哪种都可以。

另外，当以上的处理结束时，第二编码部107将从第一分辨率变换部104取得的输入图像的超分辨率放大变换图像作为编码对象图像、将从第一编码部102取得的解码图像作为第一参照图像、把从第二分辨率变换部106取得的超分辨率放大变换解码图像作为第二参照图像，进行预定的第二预测处理，生成基准分辨率的残差信息(S1914)，并对生成的残差信息进行作为预定的第二编码的第二编码处理(S1915)。由此，生成第二编码位串，并提供给复用部109。

另外，第三编码部108把从第一超分辨率放大部103取得的输入图像的超分辨率放大图像作为编码对象图像、把从第三分辨率变换部110取得的分辨率变换放大解码图像作为第一参照图像、把从第二超分辨率放大部105取得的超分辨率放大解码图像作为第二参照图像，进行预定的第三预测处理，生成高分辨率的残差信息(S1916)，并对生成的残差信息进行作为预定的第三编码的第三编码处理(S1917)。由此生成第三编码位串，并提供给复用部109。然后进行待机直到其它的并行处理结束。

然后，复用部109从第一编码部102取得第一编码位串、从第二编码部107取得第二编码位串、及从第三编码部108取得第三编码位串，并根据预定的语法结构，插入对编码时所使用的变动矢量信息、量化参数信息、参照图像选择信息及编码参数信息等经由未图示的熵编码部获得的各编码位串、以及后续的用于识别编码位串的组的识别信息等，同时进行第一编码位串、第二编码位串以及第三编码位串的复用处理(S1918)，生成复用位串。通过经过以上的步骤，本实施方式的一系列动作结束。

图21是表示实施方式7的复用部109生成的复用位串300的结构的一个例子的数据结构图。

在复用位串300中复用编码参数信息位串310、来自第一编码部102的第一编码位串320、来自第二编码部107的第二编码位串330以及来自第三编码部108的第三编码位串340。

另外，通过多个并行处理对本实施方式的动作进行了说明，但是也可以连续地处理该并行处理部分，使本实施方式的结构进行动作。

因此，在本实施方式7中能够通过图19所示的结构，同时获得分别通过图1所示的实施方式1和图12所示的实施方式4的结构获得的效果。

另外，在本实施方式7中，第一编码部102对所输入的基准分辨率的动态图像进行预定的编码及解码处理，生成基准分辨率的第一编码位串，第二编码部107进行第二编码处理，生成基准分辨率的第二编码位串，第三编码部108进行第三编码处理，生成高分辨率的第三编码位串，对这些第一～第三的编码位串进行预定的复用处理，由此生成复用编码位串，由此能够通过单一的编码位串流，高效地积蓄或传送针对原来输入动态图像的编码结果以及针对与通过超分辨率放大图像和超分辨率放大变换图像放大后的频率成分信息的预测误差的编码结果，该超分辨率放大图像和超分辨率放大变换图像通过超分辨率放大处理及分辨率变换处理获得，并且可以在解码一侧进行选择性的解码。

另外，在本实施方式7中，作为第二编码部107进行预定的预测处理时使用的参照图像，第二编码部107使用从基准分辨率的解码图像获得的第一参照图像和从基准分辨率的解码图像的超分辨率放大变换解码信号获得的第二参照图像的某一方，生成预测图像，使从基准分辨率的输入图像的超分辨率放大变换信号获得的编码对象图像减去预测图像，由此生成残差信息，对该残差信息进行预定的编码处理，生成第二编码位串，作为进行预定的预测处理时使用的参照图像，第三编码部108使用从高分辨率的分辨率变换放大解码图像获得的第一参照图像和从超分辨率放大解码图像获得的第二参照图像中的某一方，生成预测图像，并使从超分辨率放大图像获得的编码对象图像减去预测图像，由此生成残差信息，对该残差信息进行预定的编码处理，生成第三编码位串，由此能够根据要求，进行使用了基准分辨率的输入图像的超分辨率放大变换信号和解码图像之间的空间分辨率的相关性时、以及使用了基准分辨率的输入图像的超分辨率放大变换信号和超分辨率放大变换解码信号之间的空间分辨率的相关性时的分层编码，并且能够进行使用了超分辨率放大图像和分辨率变换放大解码图像之间的空间分辨率的相关性时、以及使用了超分辨率放大图像和超分辨率放大解码图像之间的空间分辨率的相关性时的分层编码，生成不同的复用位串，向解码侧供给、积蓄或传送。

另外，能够通过生成用于确定使用了第一及第二参照图像的哪一个的参照图像选择信息、及参照图像选择信息，并提供给复用部109，容易地确定本实施方式7的进行编码时所使用的参照图像。

另外，在本实施方式7中，能够通过对从第一编码部102获得的基准分辨率的第一编码位串、从第二编码部107获得的第一至第三的第二编码位串、从第三编码部108获得的第一至第三的第三编码位串进行复用处理，并根据要求生成复用后的第一至第六的编码位串，生成多种编码位串。另外，能够通过传送到未图示的外部的积蓄装置后，记录到预定的记录介质或通过未图示的外部的通信装置进行网络发布，通过本实施方式的动态图像编码装置高效率地对具有大量信息量的动态图像进行编码、积蓄及传送，并能够在解码侧进行选择性的解码。

另外，想图19表示的实施方式7的动态图像编码装置中是将图1所示的实施方式1的动态图像编码装置和图13所示的实施方式4的动态图像编码装置合并而得的结构，但是也可以将图7、图8、图9所示的实施方式2的动态图像编码装置和图16、图17所示的实施方式5的动态图像编码装置进行合并，或者还可以将图1所示的实施方式1的动态图像编码装置和图16、图17所示的实施方式5的动态图像编码装置合并，或将图7、图8、图9所示的实施方式2的动态图像编码装置和图13所示的实施方式4的动态图像编码装置合并。

(实施方式8)

接下来对本发明实施方式8的动态图像编码装置进行说明。

图22是表示实施方式8的动态图像编码装置的结构例的框图。

图22表示的实施方式8中的结构要素是将图13表示的实施方式4和图18所示的实施方式6合并而得的。因此，实施方式8的动作也成为将实施方式4的动作和实施方式6的动作组合而成的动作，因此省略说明。

因此，通过本实施方式8的动态图像编码装置能够获得与图19所示的实施方式7的动态图像编码装置同样的效果，并且与图10所示的实施方式3或图18所示的实施方式6一样，还具有积蓄量控制部412和编码量控制部423，进行各缓冲器中的积蓄量控制、第一编码部102和第三编码部108中的编码量控制，因此能够执行考虑了第一编码部102和第三编码部108中的编码量、各缓冲器中的积蓄量的编码。

另外，在上述实施方式1～8的说明中，通过框图图示了动态图像编码装置，通过硬件构成动态图像编码装置，但是在本发明中并不局限于此，也可以通过CPU和在存储器、HDD中所存储的动态图像编码程序、通过软件处理来完成上述实施方式1～8的功能。另外，关于本发明的动态图像编码装置、动态图像编码方法以及动态图像编码程序适用的范围，只要是对动态图像进行编码的装置、方法、程序以及系统等即可，并没有特别的限制。本发明，例如可以应用在以TV为代表的广播装置、便携式电话、电视会议装置、监视装置、DVD-R/RW或BD-R/RW、HDD、SD(商标或注册商标)、全息照相存储器等使用了能够补写及重写的记录介质的录像再生装置、及摄像机这样的摄像记录再生装置、写作(authoring)等记录编辑装置、动态图像的发送装置等。

(实施方式9)

接下来，从实施方式9开始，对本发明的动态图像解码装置的实施方式进行说明。

图23是表示实施方式9的动态图像解码装置的结构例的框图。

在图23中实施方式9的动态图像编码装置至少具有复用分离部1801、第一解码部1802、第一超分辨率放大部1803、第一分辨率变换部1804、第二解码部1805、第二分辨率变换部1806以及第三解码部1807。

复用分离部1801具有如下功能：取得作为输入输入的复用后的编码位串，根据语法结构确定用于确定在编码中使用的各种参数信息、编码方式信息的识别信息，进行复用分离，由此从复用后的编码位串中取得通过第一编码部1802编码的第一编码位串、通过第二解码部1805解码的第二编码位串、通过第三解码部1807解码的第三编码位串。另外，复用分离部1801如果能够从复用后的编码位串取得，也可以具有如下功能：进一步取得并提供放大率信息位串、分辨率变换率信息位串、在第二解码处理中使用的参照图像选择方式信息以及参照图像选择信息的编码位串、在第三解码处理中使用的参照图像选择方式信息以及参照图像选择信息的编码位串复用分离部1801至少具有分别将所取得的第一编码位串提供给第一解码部1802、将第二编码位串提供给第二解码部1805、将第三编码位串提供给第三解码部1807的功能。另外，复用分离部1801如果能够从复用后的编码位串中取得，则可以具有如下功能：取得变动矢量信息的编码位串，并提供给第一解码部1802。

第一解码部1802具有如下功能：通过从复用分离部1801取得基准分辨率的第一编码位串，进行预定的第一解码处理，生成基准分辨率的解码图像列。另外，如果第一解码部1802能够取得，则可以具有以下的功能：取得经由未图示的熵解码部进行预定的熵解码处理获得的变动矢量信息，进行预定的解码处理。第一解码部1802具有将所述生成的基准分辨率的解码图像列提供给第一超分辨率放大部1803、第二解码部1805以及第二分辨率变换部1806的功能。希望第一解码部1802具有用于临时存储解码图像列的功能。另外，第一解码部1802可以具有根据要求将所生成的基准分辨率的解码图像列提供给外部的未图示的显示装置，由此可以输出显示基准分辨率的解码图像列。

第一超分辨率放大部1803具有如下功能：从第一解码部1802取得基准分辨率的解码图像，取得预定的超分辨率放大处理所需要的至少两个具有基准分辨率的解码图像列，并对所取得的基准分辨率的解码图像列进行预定的超分辨率放大处理，生成并输出具有比基准分辨率高的分辨率的超分辨率放大解码图像列。在此，具有将进行预定的超分辨率放大处理时的放大率设定为预定的放大率信息或取得通过复用分离部1801取得，并经由未图示的熵解码部进行预定的熵解码处理获得的放大率信息的功能，并根据所取得的放大率信息确定放大率，进行预定的超分辨率放大处理。另外，第一超分辨率放大部1803具有向第一分辨率变换部1804提供生成的超分辨率放大解码图像列的功能。并且，第一超分辨率放大部1803具有根据要求将所生成的超分辨率放大解码图像列提供给外部的未图示的显示装置的功能，由此可以输出显示具有比基准分辨率高的分辨率的超分辨率放大解码图像列。

第一分辨率变换部1804具有如下功能：从第一超分辨率放大部1803取得超分辨率放大解码图像列，并对所取得的超分辨率放大解码图像列进行预定的分辨率变换处理，从具有比基准分辨率高的分辨率的超分辨率放大解码图像列生成具有基准分辨率的超分辨率解码图像列，并提供给第二解码部1805。在此，可以具有以下的功能：关于进行预定的分辨率变换处理时的分辨率变换率，可以设定为预定的分辨率变换率信息，或在能够取得从复用分离部1801经由未图示的熵解码部进行预定的熵解码处理获得的分辨率变换率信息时，根据该取得的分辨率变换率信息来确定分辨率变换率进行预定的分辨率变换处理。另外，第一分辨率变换部1804可以具有以下功能：根据要求将所生成的基准分辨率的超分辨率解码图像列提供给外部未图示的显示装置，由此可以输出显示基准分辨率的超分辨率解码图像列。

第二解码部1805具有如下功能：从复用分离部1801取得基准分辨率的第二编码位串、从第一解码部1802取得基准分辨率的解码图像列、从第一分辨率变换部1804取得基准分辨率的超分辨率解码图像列，并对所取得的第二编码位串进行作为预定的基准分辨率的的扩展解码的第二解码处理，由此生成基准分辨率的解码残差信息。在此，期望第二解码部1805具有临时存储所取得图像列的功能。

另外，第二解码部1805具有如下功能：将解码图像列中的各解码图像作为第一参照图像、将超分辨率解码图像列中的各超分辨率解码图像作为第二参照图像，进行预定的预测处理，由此生成基准分辨率的预测图像。在此，第二解码部1805可以具有如下功能：在能够取得从复用分离部1801经由未图示的熵解码部，进行预定的熵解码处理获得的参照图像选择方式信息、及参照图像信息时，根据该参照图像选择方式信息及参照图像选择信息进行预定的预测处理，生成基准分辨率的预测图像。在此，预定的预测处理可以根据所取得的参照图像选择方式信息及参照图像选择信息，确定成为解码对象的第二编码位串是在怎样的编码方式下，使用哪个参照图像生成了预测图像，生成与编码时同等的预测图像。例如，第二解码部1805当根据参照图像选择方式信息确定为使用第一参照图像和第二参照图像中的某一方进行预测处理的编码方式时，使用所确定的参照图像进行预定的预测处理，生成预测图像。另外，例如第二解码部1805当根据参照图像选择方式信息确定为不使用第一参照图像和第二参照图像中的任何一方进行预测处理的编码方式时，则哪个参照图像都不使用地进行预定的预测处理，生成预测图像。另外，例如第二编码部1805当根据参照图像选择方式信息，确定为针对各图像、或每个预定的图像数量控制参照图像的选择，进行预测处理的编码方式时，使用参照图像选择信息依次确定使用了第一参照图像和第二参照图像的哪一个，使用所确定的参照图像进行的预定的预测处理，生成预测图像。另外，第二解码部1805如果根据参照图像选择方式信息，确定为如下的编码方式：将对象图像分别无间隙地划分为每个具有预定大小的区域，对第一参照图像和第二参照图像也同样地无间隙地划分为每个具有预定大小的区域，并针对每个对应的区域控制使用第一参照图像和第二参照图像的哪一个，进行预测处理，则使用参照图像选择信息，依次确定针对每个对应的区域使用第一参照图像和第二参照图像的哪一个，并使用所确定的各区域的参照图像，进行预定的预测处理生成预测图像。

另外，第二解码部1805具有如下功能：将生成的基准分辨率的解码残差信息和基准分辨率的预测图像相加，生成解码后的基准分辨率的超分辨率图像列。另外，第二解码部1805可以具有根据要求将生成的解码后的基准分辨率的超分辨率图像列提供给外部未图示的显示装置的功能，由此可以输出显示基准分辨率的超分辨率图像列。

第二分辨率变换部1806具有如下功能：从第一解码部1802取得基准分辨率的解码图像列，并对取得的基准分辨率的解码图像列进行预定的分辨率变换处理，生成具有与第一超分辨率放大部1803生成的超分辨率放大解码图像列的空间分辨率相同的分辨率的高分辨率的放大解码图像列，提供给第三编码部1807。在此，可以具有以下的功能：关于进行预定的分辨率变换处理时的分辨率变换率，设定为预定的分辨率变换率信息，或者在能够取得从复用分离部1801经由未图示的熵解码部进行预定的熵解码处理而获得的分辨率变换率信息时，根据该取得的分辨率变换率信息确定分辨率变换率来进行预定的分辨率变换处理。另外，第二分辨率变换部1806可以具有根据要求将所生成的高分辨率的放大解码图像列提供给外部的未图示的显示装置的功能，由此可以输出显示高分辨率的放大解码图像列。

第三解码部1807具有如下功能：从复用分离部1801取得高分辨率的第三编码位串、从第二分辨率变换部1806取得高分辨率的放大解码图像列、从第一超分辨率放大部1803取得高分辨率的超分辨率放大解码图像列，并对所取得的第三编码位串进行作为预定的高分辨率的扩展解码的第三解码处理，由此生成高分辨率的解码残差信息。在此，期望第三解码部1807具有临时存储所取得的图像列的功能。

第三解码部1807还具有如下功能：将放大解码图像列中的各放大解码图像作为从放大解码图像列得到的第一参照图像、将超分辨率放大解码图像列中的各超分辨率放大解码图像作为第二参照图像，进行预定的预测处理，生成高分辨率的预测图像。在此，第三解码部1807可以具有以下的功能：在能够取得从复用分离部1801经由未图示的熵解码部进行预定的熵解码处理获得的参照图像选择方式信息、及参照图像选择信息时，根据该参照图像选择方式信息、及参照图像选择信息进行预定的预测处理，生成高分辨率的预测图像。在此，预定的预测处理可以根据所取得的参照图像选择方式信息及参照图像选择信息，确定成为解码对象的第三编码位串在怎样的解码方式下、使用怎样的参照图像生成了预测图像，并生成与编码时同等的预测图像。例如，第三解码部1807当根据参照图像选择方式信息确定为使用第一参照图像和第二参照图像中的某一方进行预测处理的编码方式时，使用所确定的参照图像进行预定的预测处理，生成预测图像。另外，例如第三解码部1807当根据参照图像选择方式信息确定为不使用第一参照图像和第二参照图像中的任何一方进行预测处理的编码方式时，则哪个参照图像都不使用地进行预定的预测处理，生成预测图像。另外，例如第三解码部1807当根据参照图像选择方式信息，确定为针对各图像、或每个预定的图像数量控制参照图像的选择，进行预测处理的编码方式时，使用参照图像选择信息依次确定使用了第一参照图像和第二参照图像的哪一个，使用所确定的参照图像进行的预定的预测处理，生成预测图像。另外，第三解码部1807如果根据参照图像选择方式信息，确定为如下的编码方式：将对象图像分别无间隙地划分为每个具有预定大小的区域，对第一参照图像和第二参照图像也同样地无间隙地划分为每个具有预定大小的区域，并针对每个对应的区域控制使用第一参照图像和第二参照图像的哪一个，进行预测处理，则使用参照图像选择信息，依次确定针对每个对应的区域使用第一参照图像和第二参照图像的哪一个，并使用所确定的各区域的参照图像，进行预定的预测处理生成预测图像。

第三解码部1807还具有通过将所生成的高分辨率的解码残差信息和高分辨率的预测图像相加，生成解码后的高分辨率的超分辨率放大图像列的功能。例如，可以具有根据要求将所生成的解码后的高分辨率的超分辨率放大图像列提供给外部的未图示的显示装置，由此可以输出显示高分辨率的超分辨率放大图像列。

通过以上那样构成动态图像解码装置，输入通过上述实施方式1～8的动态图像编码装置等所生成的复用后的编码位串，通过与编码的步骤相反地进行解码，获得基准分辨率的解码图像列、放大解码图像列、超分辨率放大解码图像列、超分辨率解码图像列、解码后的超分辨率图像列以及解码后的超分辨率放大图像列这样的、比以往品质高且具有多种的空间分辨率或频率成分的解码图像列。另外，能够根据要求，针对未图示的显示装置，选择性地输出这些多种的编码图像列。例如能够在用户使用便携式终端等、无法显示高分辨率的显示装置时，有选择地要求将基准分辨率的解码图像列、基准分辨率的超分辨率解码图像列以及解码后的基准分辨率的超分辨率图像列作为输出，进行欣赏。另外，例如能够在用户使用高清晰度的电视等、能够显示高分辨率的显示装置时，有选择地要求将高分辨率的放大解码图像、高分辨率的超分辨率放大解码图像列以及解码后的超分辨率放大图像列作为输出，进行视听。

接着，参照图24的流程图对图23所示的实施方式9的动态图像解码装置的动作进行说明。

首先，复用分离部1801取得输入的复用后的编码位串，根据预定的语法结构，确定用于确定在编码中所使用的各种参数信息、编码方式信息的识别信息，并进行复用分离处理(步骤S601)，取得基准分辨率的第一编码位串、基准分辨率的第二编码位串以及高分辨率的第三编码位串，并将第一编码位串提供给第一解码部1802、将第二编码位串提供给第二解码部1805、将第三编码位串提供给第三解码部1807。另外，复用分离部1801如果能够从复用后的编码位串取得，则取得变动矢量信息，并提供给第一解码部1802。

然后，分歧为第一并行处理(步骤S602、S603)、第二并行处理(步骤S604)以及第三并行处理(步骤S605)，并行进行动作。

即，在第一并行处理中，第一解码部1802从复用分离部1801取得第一编码位串，如果可能则取得变动矢量信息，进行基准分辨率的第一解码处理(步骤S602)，由此生成基准分辨率的解码图像列，提供给第二解码部1805。

然后，第二解码部1805取得通过第一解码部1802所生成的基准分辨率的解码图像列，并存储到用于临时存储的预定的缓冲器中(步骤S603)。然后进行待机，直到其它的并行处理结束。

在第二并行处理中，第二解码部1805通过从复用分离部1801取得基准分辨率的第二编码位串，并进行预定的第二解码处理(步骤S604)，生成基准分辨率的解码残差信息。然后，进行待机直到其它的并行处理结束。

在第三并行处理中，第三解码部1807通过从复用分离部1801取得高分辨率的第三编码位串，进行预定的第三解码处理(步骤S605)，生成高分辨率的解码残差信息。然后，进行待机直到其它的并行处理结束。

当第一～第三的并行处理结束时，分歧为第四并行处理(步骤S606、S607、S608、S609)、和第五并行处理(步骤S610、S611)，并行进行动作。

在第四并行处理中，第一超分辨率放大部1803从第一解码部1802取得基准分辨率的解码图像列，进行预定的超分辨率放大处理(步骤S606)，由此生成具有比基准分辨率高的分辨率的高分辨率的超分辨率放大解码图像列，提供给第一分辨率变换部1804及第三解码部1807。

然后，第三解码部1807取得通过第一超分辨率放大部1803生成的高分辨率的超分辨率放大解码图像列，存储到用于临时积蓄的预定的缓冲器中(步骤S607)。

然后，第一分辨率变换部1804通过从第一超分辨率放大部1803取得高分辨率的超分辨率放大解码图像列，进行预定的分辨率变换处理(步骤S608)，从具有比基准分辨率高的分辨率的超分辨率放大解码图像列生成具有基准分辨率的超分辨率解码图像列，提供给第二解码部1805。

然后，第二解码部1805取得通过第一分辨率变换部1804生成的基准分辨率的超分辨率解码图像列，存储到用于临时积蓄的预定的缓冲器中(步骤S609)。然后，进行待机直到其它的并行处理结束。

在第五并行处理中，第二分辨率变换部1806通过从第一解码部1802取得基准分辨率的解码图像列，进行预定的分辨率变换处理(步骤S610)，由此生成高分辨率的放大解码图像列，提供给第三解码部1807。

然后，第三解码部1807取得第二分辨率变换部1806所生成的高分辨率的放大解码图像列，存储到用于临时积蓄的预定的缓冲器中(步骤S611)。然后，进行待机直到其它的并行处理结束。

当以上的并行处理结束时，则分歧为第六并行处理(步骤S612)及第七并行处理(步骤S613)，并行进行动作。

在第六并行处理中，第二解码部1805通过进行预定的预测处理(步骤S612)，生成基准分辨率的预测图像，并将生成的基准分辨率的解码残差信息和基准分辨率的预测图像相加，由此生成解码后的基准分辨率的超分辨率图像列。然后，进行待机直到其它的并行处理结束。

在第七并行处理中，第三解码部1807通过进行预定的预测处理(步骤S613)，生成高分辨率的预测图像，将生成的高分辨率的解码残差信息和高分辨率的预测图像相加，由此生成解码后的高分辨率的超分辨率放大图像列。然后，进行待机直到其它的并行处理结束。

当并行处理结束时，则第一解码部1802、第一超分辨率放大部1803、第一分辨率变换部1804、第二解码部1805、第二分辨率变换部1806以及第三解码部1807根据要求将生成的解码后的各分辨率的图像列提供给外部的未图示的显示装置，根据要求输出显示多种的解码结果(步骤S614)。通过经过以上的一系列步骤，本实施方式的一系列动作结束。

能够通过这样的步骤，使实施方式9的动态图像解码装置进行动作，由此生成所希望的解码后的图像列。

另外，通过多个并行处理对本实施方式9的动态图像解码装置进行了说明，但是要注意也可以连续地处理该并行处理部分，使本实施方式的结构进行动作。

图25是表示图24的步骤S602的基准分辨率的解码处理的动作步骤的一个例子的流程图。

在图25中，第一解码部1802根据预定的熵解码部、逆量化部、逆正交变换部、内部预测部以及变动补偿部进行预定的解码处理。

首先，第一解码部1802当为了进行当前的解码对象区域的解码从复用分离部1802取得基准分辨率的第一解码位串时，通过熵解码部进行预定的熵解码处理，生成解码后的量化后信息，然后通过逆量化部对量化后信息进行预定的逆量化处理，生成解码后的正交变换系数信息，通过逆正交变换部对正交变换系数信息进行预定的逆正交变换处理，生成解码残差信息，由此进行第一解码(步骤S701)。

接着，内部预测部为了生成当前的解码对象区域中的预测信息，根据与当前的解码对象区域相邻的已经解码的区域的信息，进行预定的内部预测处理(步骤S702)，生成预测信息，并通过将所生成的解码对象区域的解码残差信息和预测信息相加，生成解码对象区域的解码信息。

然后，判断是否生成面内的各区域的全部解码信息得到了解码图像，判定内部解码是否完成(步骤S703)。

当内部解码完成时(步骤S703：“是”)，当存在应该解码的编码位串时，继续进行处理，并前进到步骤S704。当不存在应该解码的编码位串，则结束一系列的解码处理。

当内部解码未结束时(步骤S703：“否”)，确定下一个解码对象区域，返回到步骤S701，由此继续进行处理。

当内部解码结束时，接下来为了进行交解码(inter decode)，第一解码部1802与内部解码同样地进行第一解码(步骤S704)，生成解码残差信息。

另外，变动补偿部将生成的解码图像作为参照图像，从复用分离部1801取得变动矢量信息，根据变动矢量信息使用参照图像，同时进行预定的变动补偿(步骤S705)，由此生成预测图像，通过将生成的解码残差信息和预测图像相加，生成解码图像。

然后，根据解码方式信息等判定交解码是否已完成(步骤S706)。

当下一个解码是交解码(步骤S706“否”)，为了继续交解码，返回到步骤S704，由此继续进行处理。

当下一个解码不是交解码(步骤S706“是”)，结束交解码处理。在此，当存在应该解码的编码位串，并且下一个解码是内部解码时，返回到步骤S701，由此重复一系列的解码处理。另外，如果不存在应该解码的编码位串，则结束一系列解码处理。

另外，说明了通过框图，以硬件方式构成本实施方式9，但是也可以与上述实施方式1～8同样地通过CPU和程序以软件方式执行图23所示的动态图像解码装置的功能。

(实施方式10)

接下来对实施方式10的动态图像解码装置的实施方式进行说明。

图26是表示实施方式10的动态图像解码装置的结构例的框图。

图26所示的实施方式10的动态图像解码装置是从图23所示的本发明的动态图像解码装置中省略第二分辨率变换部1806、第三解码部1807或使其不起作用而构成的，因此图26的各结构要素的功能与图23所示的同等，为避免重复省略说明。

通过构成这样的动态图像解码装置，能够取得通过与本发明成为一对的动态图像编码装置、动态图像编码方法、动态图像编码程序、动态图像再编码装置、动态图像再编码方法、动态图像再编码程序所生成的复用后的编码位串，通过本发明的动态图像解码装置正确地进行解码，由此获得基准分辨率的解码图像列、超分辨率放大解码图像列、超分辨率解码图像列、解码后的超分辨率图像列这样的、比以往品质高且具有多种的空间分辨率、频率成分的解码图像列。另外，能够根据要求针对未图示的显示装置，选择性地输出这些多种的解码图像列。

另外，说明了通过框图，以硬件方式构成本实施方式10，但是也可以与上述实施方式1～9同样地通过CPU和程序以软件方式执行图26所示的动态图像解码装置的功能。

(实施方式11)

接下来，对本发明实施方式11的再编码装置进行说明。

图27是表示实施方式11的再编码装置的结构例的框图。

图27所示的实施方式11的再编码装置通过对图26所示的实施方式10的动态图像解码装置新追加再编码部1808及复用部1809，进行从某种特定的编码形式变换为其它的不同的编码形式的再编码处理(编码转换)。

也可以使图27所示的实施方式11中的再编码处理成为，例如基于再编码为AVC重写(或AVC编码转换)，即再编码为AVC的编码形式的处理的结构。另外，也可以对图23所示的实施方式9的动态图像解码装置新追加再编码部1808及复用部1809。

在此，在本实施方式11中，通过复用分离部1801获得的基准分辨率的第二编码位串，例如可以是MPEG-4SVC中的CGS(Coarse Grain Scalability)层的结构。这在进一步进行编码使得成为基层的基准分辨率的图像列和成为参照基层的扩展层的基准分辨率的超分辨率图像列之间的空间分辨率相同时，可以根据在与MPEG及ITU-T为共同组的JVT(Joint Video Team)中的AVC重写相关的奇书(与AVC Rewriting相关的文献文件JVT-U043，http://ftp3.itu.ch/av-arch/jvt-site/2006_10_Hangzhou/JVT-U043.zip，及JVT-V035，http://ftp3.itu.ch/av-arch/jvt-site/2007_01_Marrakech/JVT-V035.zip)中所示的、满足用于能够容易地从SVC变换为AVC的抑制条件的预定的语法结构，进行编码，生成编码位串。在本实施方式中，取得如此生成的编码位串，无需从处理本发明的CGS层所构成的扩展层的编码形式向作为单层编码的AVC的编码形式，进行完全解码和编码那样的再编码，可以生成能够进行转换的编码位串。

另外，可以针对没有进行用于这样的AVC重写的编码的编码位串，使用通过对基准分辨率的编码位串及基准分辨率的第二编码位串进行解码获得的超分辨率图像列，和对基准分辨率的编码位串进行解码时所获得的各种编码模式信息、变动矢量信息等，同时根据单一阶层的AVC的编码形式，进行再编码，由此生成编码位串。

因此，构成图27所示的本实施方式11的再编码装置的各要素可以具备以下所示的功能。

即，第一解码部1802还具有如下功能：通过进行预定的熵编码解码处理及逆量化处理，对所取得的基准分辨率的编码位串不完全进行解码，而是进行解码直到基准分辨率的基层的正交变换系数信息的状态为止。另外，第一解码部1802可以具有如下功能：在判断出能够进行AVC重写时，在判断出需要对解码过程中的正交变换系数信息进行再编码的情况下，将基准分辨率的解码图像列提供给再编码部1808。另外，第一解码部1802可以具有将解码时获得的各种参数信息及编码方式信息提供给再编码部1808的功能。

第一分辨率变换部1804还具有在判断为有必要进行再编码时，将基准分辨率的超分辨率解码图像列提供给再编码部1808的功能。

另外，第二解码部1805具有如下功能：通过进行预定的熵解码处理及逆量化处理，对所取得的基准分辨率扩展编码位串不完全解码，而是进行解码直到基准分辨率的扩展层中的正交变换系数信息的状态为止，并且具有在判断出可能进行AVC重写时，在判断出需要对解码过程中的基准分辨率的扩展层中的正交变换系数信息进行再编码的情况下，将解码后的基准分辨率的超分辨率图像列提供给再编码部1808。

再编码部1808具有如下功能：在判断出能够进行AVC重写时，从第一解码部1802取得解码过程中的正交变换系数信息，以及从第二编码部1805取得解码过程中的基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，由此生成再编码后的编码位串，并提供给复用部1809。再编码部1808还具有如下功能：当判断出需要进行再编码时，根据要求从第一解码部1802取得基准分辨率的解码图像列、从第一分辨率变换部1804取得基准分辨率的超分辨率解码图像列，以及从第二编码部1805取得基准分辨率的超分辨率图像列，并进行预定的编码处理，由此生成再编码后的编码位串，提供给复用部1809。

复用部1809具有如下功能：取得所取得的再编码后的编码位串，根据预定的语法结构，插入用于确定在编码中使用的各种参数信息、编码方式信息的识别信息，同时进行复用处理，生成作为输出的复用后的编码位串。

通过如此构成动态图像再编码装置，取得通过上述实施方式1～8的动态图像编码装置等生成的复用后的编码位串，并通过本发明的动态图像再编码装置，从第一解码部1802取得解码过程中的正交变换系数信息，及从第二解码部1805取得解码过程中的基准分辨率的扩展层中的正交变换系数信息，将各个正交变换系数信息合成后，再度进行熵编码处理及复用处理，由此可以生成再编码后的编码位串，因此，无需完全进行解码生成解码图像列，并且无需花费很多运算量地，可以容易地对与以往相比品质高并且具有多种空间分辨率、频率成分的解码成分进行再编码。

另外，能够构成通过生成再编码后的编码位串，变换为不同的编码形式，生成适合于成为对象的编码形式的编码位串。

能够获得基准分辨率的解码图像列、超分辨率解码图像列、解码后的超分辨率图像列这样的、与以往相比品质高且具有多种空间分辨率、频率成分的解码图像列。另外，通过对这些多种解码图像列进行再编码，能够生成单一阶层的编码位串。

因此，例如像便携式终端显示装置等那样，在搭载的动态图像解码装置由于运算量或耗电量等的制约，仅对应能够以低运算量、消电量、低解码传输率进行解码的编码形式的情况下，通过本发明的动态图像再编码装置进行再编码，能够生成适合于成为对象的编码形式的编码位串。

另外，通过如此构成动态图像再编码装置，能够取得上述实施方式1～8的动态图像再编码装置等生成的复用后的编码位串，通过本发明的动态图像再编码装置进行正确地解码，获得基准分辨率的解码图像列、超分辨率解码图像列、解码后的超分辨率图像列这样的、与以往相比品质高且具有多种空间分辨率、频率成分的解码图像列。

另外，通过对这些多种解码图像列进行再编码，能够生成单一阶层的编码位串。因此，例如像便携式终端显示装置等那样，在搭载的动态图像解码装置由于运算量或耗电量等的制约，仅对应能够以低运算量、消电量、低解码传输率进行解码的编码形式的情况下，通过本发明的动态图像再编码装置进行再编码，能够转换为不同的形式，生成适合于成为对象的编码形式的编码位串。

接着，参照图28的流程图对图27所示的再编码装置的动作进行说明。

首先，复用分离部1801取得作为输入而输入的复用后的编码位串，根据预定的语法结构，确定用于确定在编码中使用的各种参数信息、编码方式信息的识别信息，同时进行复用分离(步骤S701)，从复用后的编码位串取得基准分辨率的第一编码位串、基准分辨率的第二编码位串，另一方面，如果能够从复用后的编码位串取得，则还取得放大率信息位串、分辨率变换率信息位串、基准分辨率扩展预测信息的编码位串。然后，复用分离部1801分别将所取得的第一编码位串提供给第一解码部1802、将第二编码位串提供给第二解码部1805，另外如果能够从复用后的编码位串取得，则取得变动矢量信息，提供给第一解码部1802。

然后，复用分离部1801判定是否能够进行AVC重写(步骤S702)。该判定可以根据在复用后的编码位串内包含的、用于判定是否能够进行AVC重写的判定信息来进行。

当能够进行AVC重写时(步骤S702“是”)，在本装置中，分歧为第一并行处理(步骤S703)和第二并行处理(步骤S704)，并行来进行之后的动作。

与此相对，当无法进行AVC重写时(步骤S702“否”)，在本装置中，作为需要再编码，分歧为第三并行处理(步骤S707、步骤S708)和第四并行处理(步骤S709)，并行来进行之后的动作。

当能够进行AVC重写时，进行以下处理：

即，在第一并行处理中，第一解码部1802取得第一编码位串进行预定的熵解码处理(步骤S703)及逆量化处理，生成解码过程中的基层的正交变换系数信息，并提供给再编码部1808。然后进行待机直到第二并行处理结束。

在第二并行处理中，第二解码部1805取得第二编码位串进行预定的熵解码处理(步骤S704)及逆量化处理，生成解码过程中的扩展层的正交变换系数信息，并提供给再编码部1808。然后进行待机直到第一并行处理结束。

当第一及第二并行处理结束时，再编码部1808从第一解码部1802取得解码过程中的基层的正交变换系数信息、从第二解码部1805取得解码过程中的扩展层的正交变换系数信息，然后根据预定的合成处理进行合成(步骤S705)，并对合成结果进行预定的熵编码(步骤S706)，由此生成再编码后的编码位串，并提供给复用部1809。到此为止的处理是能够进行AVC重写时的处理。

接着，在无法进行AVC重写时，即在需要再编码时进行以下处理。

在第三并行处理中，第一解码部1802从复用分离部1801取得基准分辨率的编码位串，如果能够取得，则取得变动矢量信息，进行基准分辨率的解码处理(步骤S707)，由此，生成基准分辨率的解码图像列，提供给第二解码部1805并根据需要提供给再编码部1808。

然后，第二解码部1805取得通过第一解码部1802生成的基准分辨率的解码图像列，存储到用于临时积蓄的预定的缓冲器中(步骤S708)。然后进行待机，直到第四并行处理结束。

在第四并行处理中，第二解码部1805从复用分离部1801取得第二编码位串进行预定的解码处理(步骤S709)，由此生成基准分辨率的解码残差信息。然后进行待机，直到第三并行处理结束。

当第三及第四并行处理结束时，第一超分辨率放大部1803从第一解码部1802取得基准分辨率的解码图像列进行预定的超分辨率放大处理(步骤S710)，由此生成具有比基准分辨率高的分辨率的高分辨率的超分辨率放大解码图像列，提供给第一分辨率变换部1804。

然后，第一分辨率变换部1804从第一超分辨率放大部1803取得高分辨率的超分辨率放大解码图像列进行预定的分辨率变换处理(步骤S711)，由此从具有比基准分辨率高的分辨率的超分辨率放大解码图像列生成具有基准分辨率的超分辨率解码图像列，提供给第二解码部1805，并根据需要提供给再编码部1808。

然后，第二解码部1805取得通过第一分辨率变换部1804生成的基准分辨率的超分辨率解码图像列，存储到用于临时积蓄的预定的缓冲器中(步骤S712)。

第二解码部1805通过进行预定的预测处理(步骤S713)生成基准分辨率的预测图像，并通过将所生成的基准分辨率的解码残差信息和基准分辨率的预测图像相加，生成解码后的基准分辨率的超分辨率图像列，并根据需要提供给再编码部1808。

再编码部1808根据需要从第一解码部1802取得基准分辨率的解码图像列、从第一分辨率变换部1804取得基准分辨率的超分辨率解码图像列、以及从第二解码部1805取得基准分辨率的超分辨率图像列，通过预定的编码处理进行再编码(步骤S714)，由此生成编码位串，提供给复用部1809。

复用部1809取得所取得的再编码后的编码位串，根据预定的语法结构，插入用于确定在编码中使用的各种参数信息、编码方式信息的识别信息，同时进行复用处理，生成并输出作为输出的复用后的编码位串(步骤S715)。通过经过以上的步骤，本实施方式的一系列动作结束。

通过执行这样的步骤，使本实施方式的动态图像再编码装置进行动作，由此生成再编码后的编码位串。通过多个并行处理对本实施方式的动作进行了说明，但是注意也可以连续地处理该并行处理部分，使本实施方式的动态图像再编码装置动作。

另外，说明了通过框图，以硬件方式构成本实施方式11，但是也可以与上述实施方式1～10同样地通过CPU和程序以软件方式执行图27所示的再编码装置的功能。

另外，关于本发明的动态图像解码装置、动态图像解码方法、以及动态图像解码程序，以及本发明的动态图像再编码装置、动态图像再编码方法、以及动态图像再编码程序的适用范围，只要是对动态图像进行编码、解码的装置、方法、程序以及系统等即可，并没有特别的限制。例如，本发明也可以适用于以TV为代表的接收图像装置、便携式电话、电视会议装置、监视装置、使用了CD、DVD、Blu-ray Disc(注册商标)等记录介质的再生装置、使用了DVD-R/RW或BD-R/RW、HDD、SD等能够追写及重写的记录介质的录像再生装置，及摄像机这样的摄像记录再生装置、写作等记录编辑装置、动态图像的发送装置等。

通过本发明的动态图像编码装置，第一编码部对基准分辨率的输入动态图像进行编码，另一方面，第一超分辨率放大部对基准分辨率的输入动态图像进行超分辨率放大处理，由此包含在输入动态图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，然后在通过第一分辨率变换部进行预定的分辨率变换处理等之后，通过第二编码部进行编码，因此，产生能够在第二编码部中进行基于比基准分辨率的输入动态图像具有的信息量多的信息量的动态图像编码这样的效果。在此，能够在第二编码部中，把在第一编码部中的解码信号、对该解码信息进行第二超分辨率放大处理及第二分辨率变换处理等加工后的信号作为参照信号来使用，进行编码。

另外，通过本发明的动态图像编码装置，第一编码部对基准分辨率的输入动态图像进行编码，另一方面，第一超分辨率放大部对基准分辨率的输入动态图像进行超分辨率放大处理，由此包含在输入动态图像中潜在包含的、但通过基准分辨率无法充分表现的空间方向及时间方向的频率成分信息，然后通过第三编码部对该信号进行编码，因此，产生能够在第三编码部中进行基于比基准分辨率的输入动态图像具有的信息量多的信息量的动态图像编码这样的效果。在此，能够在第三编码部中把对第一编码部中的解码信号进行第二超分辨率放大处理、第三分辨率变换处理等加工，高分辨率化为与第一超分辨率放大信号具有相同分辨率的信号作为参照信号，进行编码。另外，根据本发明的动态图像解码装置等，可以输入如此进行动态图像编码后的动态图像进行解码，另外，根据本发明的动态图像再编码装置等，可以输入如此进行动态图像编码后的动态图像进行解码然后再编码。

Claims (21)

1.一种动态图像编码装置，其特征在于，具备：

第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

第一分辨率变换部，其对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及

第二编码部，其将来自所述第一分辨率变换部的所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

2.根据权利要求1所述的动态图像编码装置，其特征在于，

所述第二编码部还将来自所述第一编码部的所述解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串。

3.根据权利要求1或2所述的动态图像编码装置，其特征在于，具备：

第二超分辨率放大部，其从所述第一编码部取得基准分辨率的所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；以及

第二分辨率变换部，其对所述超分辨率放大解码图像进行第二分辨率变换处理，生成具有基准分辨率的超分辨率放大变换解码图像，

所述第二编码部还将来自所述第二分辨率变换部的所述超分辨率放大变换解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串。

4.根据权利要求1～3所述的动态图像编码装置，其特征在于，

所述第一超分辨率放大部，具有：

位置匹配器，其根据成为进行超分辨率放大处理时的基准的基准图像和至少一个观测图像，进行向希望的高分辨率的像素位置的位置匹配，生成按照非等间隔进行采样后的非均等高分辨率图像；

插补器，其对所述位置匹配器生成的非均等高分辨率图像进行预定的非均等插补处理，生成具有希望的高分辨率的插补图像；

推定图像生成器，其取得所述插补器生成的所述插补图像，进行预定的复原处理，生成具有希望的分辨率的推定图像；以及

重复判定器，其从所述位置匹配器取得所述非均等高分辨率图像，并且从所述推定图像生成器取得所述非均等推定图像，使用取得的各图像，按照预定的判定方法来判定是否需要重复进行超分辨率放大处理，当该判定结果为需要重复时，对所述插补器提供用于继续处理的控制信息，另一方面，当不需要重复时，对所述推定图像生成器输出控制信息，该控制信息用于输出作为超分辨率放大结果的高分辨率的推定图像。

5.根据权利要求1～4的任意一项所述的动态图像编码装置，其特征在于，

还具有复用部，其根据预定的语法结构，复用来自所述第一编码部的所述第一编码位串、来自所述第二编码部的所述第二编码位串、以及在所述第一编码部的编码和所述第二编码部的编码时使用的各种编码参数信息。

6.根据权利要求2～5的任意一项所述的动态图像编码装置，其特征在于，还具备：

第一积蓄缓冲器，其设置在所述第一编码部及所述第一超分辨率放大部的前级，用于积蓄基准分辨率的所述动态图像列；

第二积蓄缓冲器，其设置在所述第一编码部和所述第二编码部之间，用于积蓄来自所述第一编码部的所述解码图像；

积蓄控制部，其检测所述第一积蓄缓冲器、所述第二积蓄缓冲器、所述第一编码部以及所述第二编码部中的各缓冲器积蓄量，对各缓冲器积蓄量进行控制；以及

编码量控制部，其根据所述积蓄控制部中的所述各缓冲器积蓄量，进行所述第一编码部和所述第二编码部中的编码量控制。

7.一种动态图像编码装置，其特征在于，具备：

第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；

第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及

第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第二超分辨率放大部的所述超分辨率放大解码图像和来自所述第三超分辨率放大部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

8.一种动态图像编码装置，其特征在于，具备：

第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及

第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第三分辨率变换部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

9.一种动态图像编码装置，其特征在于，具备：

第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；以及

第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第二超分辨率放大部的所述超分辨率放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

10.一种动态图像编码装置，其特征在于，具备：

第一编码部，其对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

第一超分辨率放大部，其对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

第一分辨率变换部，其对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；

第二超分辨率放大部，其从所述第一编码部取得所述解码图像，进行第二超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大解码图像；

第二分辨率变换部，其对来自所述第二超分辨率放大部的所述超分辨率放大解码图像进行第二分辨率变换处理，生成具有基准分辨率的超分辨率放大变换解码图像；

第二编码部，其将来自所述第一分辨率变换部的所述超分辨率放大变换图像作为编码对象图像、将来自所述第一编码部的所述解码图像和来自所述第二分辨率变换部的具有基准分辨率的超分辨率放大变换解码图像作为参照图像，进行第二预测处理及编码处理，生成第二编码位串；

第三分辨率变换部，其从所述第一编码部取得所述解码图像，进行第三分辨率变换处理，生成具有比基准分辨率高的分辨率的分辨率变换放大解码图像；以及

第三编码部，其将来自所述第一超分辨率放大部的所述超分辨率放大图像作为编码对象图像、将来自所述第二超分辨率放大部的所述超分辨率放大解码图像和来自所述第三分辨率变换部的所述分辨率变换放大解码图像作为参照图像来使用，进行第三预测处理及编码处理，生成第三编码位串。

11.一种动态图像编码方法，其特征在于，具备如下步骤：

对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及

将所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

12.一种动态图像编码程序，其特征在于，使计算机执行如下处理步骤：

对基准分辨率的动态图像列进行第一编码及解码处理，生成基准分辨率的第一编码位串及解码图像；

对基准分辨率的所述动态图像列进行第一超分辨率放大处理，生成具有比基准分辨率高的分辨率的超分辨率放大图像；

对所述超分辨率放大图像进行第一分辨率变换处理，生成具有基准分辨率的超分辨率放大变换图像；以及

将所述超分辨率放大变换图像作为编码对象图像，进行第二预测处理及编码处理，生成第二编码位串。

13.一种动态图像解码装置，其特征在于，具备：

复用分离部，其对输入的编码位串进行预定的复用分离处理，输出至少第一及第二编码位串；

第一解码部，通过取得所述复用分离部获得的基准分辨率的第一编码位串，进行预定的第一解码处理，由此生成基准分辨率的解码图像列；

第一超分辨率放大部，其通过取得所述第一解码部生成的基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；

第一分辨率变换部，其通过取得所述第一超分辨率放大部生成的超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；

第二解码部，其通过取得所述复用分离部获得的基准分辨率的第二编码位串、所述第一解码部生成的基准分辨率的解码图像列以及所述第一分辨率变换部生成的基准分辨率的超分辨率解码图像列，进行预定的预测处理以及作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列。

14.根据权利要求13所述的动态图像解码装置，其特征在于，

所述多重分离部对输入的编码位串进行预定的复用分离处理，还输出第三编码位串，

具备：

第二分辨率变换部，其通过从所述第一解码部取得基准分辨率的解码图像列，进行预定的分辨率变换处理，由此生成具有比基准分辨率高的分辨率的高分辨率的放大解码图像列；

第三解码部，其通过取得所述复用分离部获得的高分辨率的第三编码位串、所述第一超分辨率放大部生成的超分辨率放大解码图像列以及来自所述第二分辨率变换部的高分辨率的放大解码图像列，进行预定的预测处理以及作为预定的高分辨率的扩展解码的第三解码处理，由此生成解码后的超分辨率放大图像列。

15.一种动态图像再编码装置，其特征在于，具备：

复用分离部，其对输入的编码位串进行预定的复用分离处理，输出至少第一及第二编码位串；

第一解码部，其通过取得通过所述复用分离部获得的基准分辨率的第一编码位串，进行预定的第一解码处理，生成基准分辨率的解码图像列；

第一超分辨率放大部，其通过取得所述第一解码部所生成的基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；

第一分辨率变换部，其通过取得所述第一超分辨率放大部所生成的超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；

第二解码部，其通过取得所述复用分离部获得的基准分辨率的第二编码位串、所述第一解码部生成的基准分辨率的解码图像列、以及所述第一分辨率变换部生成的基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列；

再编码部，其通过从所述第一解码部取得解码过程中的正交变换系数信息、及从所述第二解码部取得解码过程中的、基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，由此生成再编码后的编码位串；以及

复用部，其取得通过所述再编码部进行再编码后的编码位串，在根据预定的语法结构插入用于确定在编码中使用的各种参数信息、编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

16.根据权利要求15所述的动态图像再编码装置，其特征在于，

所述再编码部还通过取得来自所述第一解码部的基准分辨率的解码图像列、来自第一分辨率变换部的基准分辨率的超分辨率解码图像列、以及来自所述第二解码部的基准分辨率的超分辨率图像列，进行预定的编码处理，由此生成再编码后的编码位串。

17.一种动态图像解码方法，其特征在于，具备如下步骤：

对输入的编码位串进行预定的复用分离处理，输出至少第一及第二编码位串；

通过取得通过预定的复用分离处理获得的所述基准分辨率的第一编码位串，进行预定的第一解码处理，由此生成基准分辨率的解码图像列；

通过取得通过预定的第一解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；

通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；以及

通过取得通过预定的复用分离处理获得的所述基准分辨率的第二编码位串、通过预定的第一解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的基准分辨率的超分辨率解码图像列，进行预定的预测处理及作为预定的基准分辨率的扩展解码的第二解码处理，生成解码后的基准分辨率的超分辨率图像列。

18.根据权利要求17所述的动态图像解码方法，其特征在于，具备如下步骤：

对输入的编码位串进行预定的复用分离处理，输出第三编码位串；

通过取得通过预定的第一解码处理生成的所述基准分辨率的解码图像列，进行预定的分辨率变换处理，由此生成具有比基准分辨率高的分辨率的高分辨率的放大解码图像列；以及

通过取得通过预定的复用分离处理获得的高分辨率的第三编码位串、通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列、以及通过预定的分辨率变换处理生成的所述高分辨率的放大解码图像列，进行预定的预测处理及作为预定的高分辨率的扩展解码的第三解码处理，由此生成解码后的超分辨率放大图像列。

19.一种动态图像的再编码方法，其特征在于，具备如下步骤：

对输入的编码位串进行预定的复用分离处理；

通过取得通过预定的复用分离处理获得的所述基准分辨率的第一编码位串，进行预定的第一解码处理，生成基准分辨率的解码图像列；

通过取得通过预定的第一解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，生成超分辨率放大解码图像列；

通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，生成基准分辨率的超分辨率解码图像列；

通过取得通过预定的复用分离处理获得的基准分辨率的第二编码位串、通过预定的第一解码处理生成的所述基准分辨率的解码图像列、以及通过预定的第一分辨率变换处理生成的所述基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，生成解码后的基准分辨率的超分辨率图像列；

通过取得预定的第一解码处理的解码过程中的正交变换系数信息、以及作为预定的基准分辨率的扩展解码的第二解码处理的解码过程中的基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，生成再编码后的编码位串；以及

取得再编码后的所述编码位串，在根据预定的语法结构，插入用于确定在编码中使用的各种参数信息、编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

20.一种动态图像解码程序，其特征在于，使计算机执行如下处理步骤：

对输入的编码位串进行预定的复用分离处理，输出至少第一及第二编码位串；

通过取得通过预定的复用分离处理获得的所述基准分辨率的第一编码位串，进行预定的第一解码处理，由此生成基准分辨率的解码图像列；

通过取得通过预定的第一解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；

通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；以及

通过取得通过预定的复用分离处理所获得的所述基准分辨率的第二编码位串、通过预定的第一解码处理生成的所述基准分辨率的解码图像列、以及通过预定的分辨率变换处理生成的基准分辨率的超分辨率解码图像列，进行预定的预测处理及作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列。

21.一种动态图像再编码程序，其特征在于，使计算机执行如下处理步骤：

对输入的编码位串进行预定的复用分离处理；

通过取得通过预定的复用分离处理获得的所述基准分辨率的第一编码位串，进行预定的第一解码处理，由此生成基准分辨率的解码图像列；

通过取得通过预定的第一解码处理生成的所述基准分辨率的解码图像列，进行预定的超分辨率放大处理，由此生成超分辨率放大解码图像列；

通过取得通过预定的超分辨率放大处理生成的所述超分辨率放大解码图像列，进行预定的分辨率变换处理，由此生成基准分辨率的超分辨率解码图像列；

通过取得通过预定的复用分离处理获得的基准分辨率的第二编码位串、通过预定的第一解码处理生成的所述基准分辨率的解码图像列、以及通过预定的第一分辨率变换处理生成的所述基准分辨率的超分辨率解码图像列，进行作为预定的基准分辨率的扩展解码的第二解码处理，由此生成解码后的基准分辨率的超分辨率图像列；

通过取得预定的第一解码处理的解码过程中的正交变换系数信息、以及作为预定的基准分辨率的扩展解码的第二解码处理的解码过程中的基准分辨率的扩展层中的正交变换系数信息，在将各个正交变换系数信息合成后，进行预定的熵编码处理，由此生成再编码后的编码位串；以及

取得再编码后的所述编码位串，在根据预定的语法结构，插入用于确定在编码中使用的各种参数信息、编码方式信息的识别信息的同时，进行复用处理，生成复用后的编码位串。

Images