CN101584210A - 图像处理设备、动态画面再现设备及其处理方法和程序 - Google Patents

Abstract

对象图像变换信息计算部分(190)基于相对关系信息和变换信息，计算在形成第一动态画面的先头图像被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于对象图像的变换的对象图像变换信息。图像变换部分(150)基于对象图像变换信息和所述变换信息对对象图像进行顺次变换，并且基于所述变换信息对形成第一动态画面的图像进行顺次变换。图像合成部分(240)将基准图像存储在图像存储器(250)的存储区域的预定位置并且在图像存储器(250)上合成变换后的图像以形成合成的图像，然后将合成的图像作为新的历史图像存储到图像存储器(250)中。显示控制部分(280)使这些合成的图像被顺次显示。通过所描述的配置，当由图像拍摄设备拍摄的多个动态画面被再现时，能够掌握多个动态画面的关系。

Description

图像处理设备、动态画面再现设备及其处理方法和程序

技术领域

本发明涉及图像处理设备，具体地讲，涉及一种能够再现动态画面的图像处理设备和动态画面再现设备以及用于它们的处理方法和使得计算机执行该方法的程序。

背景技术

近年来，数字视频摄像机已经普及。因此，例如，当家庭在旅行时，通过数字视频摄像机频繁地拍摄旅途的样子的图像。另外，例如，在多个家庭在旅行的情况下，有时候通过多个数字视频摄像机记录同一风景作为多个动态画面。

例如，能够在家中利用动态画面再现设备在该动态画面再现设备的显示单元上再现以这种方式拍摄的动态画面。另外，例如，在同时拍摄同一风景的多个动态画面的情况下，由于同时观看不同图像拍摄方向上的同一风景的动态画面，所以要求在同一显示单元上按照定时关系同时再现这些动态画面。

例如，提出了一种再现设备，在该再现设备中，在一个显示设备上同时再现多个动态画面图像(例如参考日本特开平05-292490(图3))。

发明内容

根据上述的现有技术，由于能够在同一显示设备上同时观看针对同一风景拍摄的多个动态画面，所以与再现一个动态画面的情况相比，能够在不同的图像拍摄方向上观看包括同一风景图像的动态画面。

然而，对于上述的现有技术，在通过一个显示设备同时再现多个动态画面的情况下，由于在该显示设备上的与各个动态画面的图像拍摄方向无关的位置处对这些动态画面进行再现，所以有时候不容易掌握这些动态画面中的一个与其它动态画面的关系。例如，在对当多个家庭旅行时所拍摄的多个动态画面进行再现的情况下，可能会难以掌握包括在这些动态画面之一中的风景图像与包括在其它动态画面中的另一个风景图像的关系。在以这种方式难以掌握多个动态画面的图像之间的关系的情况下，尽管同时再现从同一风景拍摄的多个动态画面，但是再现多个动态画面的兴趣会下降。因此，考虑到例如当同时拍摄同一风景的多个动态画面时，如果能够在容易地掌握多个动态画面的关系的同时观看这些动态画面，则当观看动态画面时再现多个动态画面的兴趣会进一步增大。

因此，本发明的目的是使得当对通过图像拍摄设备拍摄的多个动态画面进行再现时可以掌握多个动态画面的关系。

已作出本发明来解决上述的问题，根据本发明的第一方面，提供了一种图像处理设备和该图像处理设备的图像处理方法以及使计算机执行该方法的程序，该图像处理设备包括：动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；图像存储装置，用于存储历史图像；输出装置，用于输出第一动态画面和第二动态画面中的至少一个；对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和控制装置，用于控制输出装置顺次输出合成的图像。这带来下面的操作。具体地讲，基于相对关系信息、第一变换信息和第二变换信息计算要用于对象图像的变换的对象图像变换信息。然后，基于对象图像变换信息和第二变换信息，对与第二变换信息关联的对象图像进行顺次变换，并且基于第一变换信息，对与第一变换信息关联的形成第一动态画面的图像进行顺次变换。然后，将基准图像存储到存储区域中的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成。然后，这样合成的图像被存储作为新的历史图像，并且顺次输出这些历史图像。

另外，根据该第一方面，所述相对关系信息存储装置可存储每个均包括形成第一动态画面的一个图像和形成第二动态画面的一个图像的多个组合的相对关系信息，所述图像处理设备还包括校正值计算装置，该校正值计算装置用于基于多个相对关系信息、第一变换信息和第二变换信息来计算用于对第一变换信息和第二变换信息中的至少一个进行校正的校正值，所述变换装置利用计算出的校正值对第一变换信息和第二变换信息中的至少一个进行校正，从而利用校正后的变换信息执行变换。这带来下面的操作。具体地讲，基于多个相对关系信息、第一变换信息和第二变换信息计算用于校正第一变换信息和第二变换信息中的至少一个的校正值。然后，将这个计算出的校正值用于校正第一变换信息和第二变换信息中的至少一个，并且将该校正后的变换信息用于执行变换。

另外，根据第一方面，该图像处理设备还可以包括：操作接收装置，用于接收在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上指定位置的指定操作；选择装置，用于选择第一图像和第二图像的被指定的位置作为第一图像和第二图像的一致点；相对关系信息计算装置，用于基于所选择的一致点计算关于第一图像和第二图像的相对关系信息；以及记录控制装置，用于与第一动态画面和第二动态画面以及第一图像和第二图像相关联地将计算出的相对关系信息记录到相对关系信息存储装置中。这带来了下面的操作。具体地讲，当接收到在第一图像和第二图像上指定位置的指定操作时，第一图像和第二图像的被指定的位置被选择为第一图像和第二图像的一致点。然后，基于选择的一致点，计算关于第一图像和第二图像的相对关系信息，并且与第一动态画面和第二动态画面以及第一图像和第二图像相关联地记录计算出的相对关系信息。

另外，根据第一方面，该图像处理设备还可以包括：一致点搜索装置，用于在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上搜索一致点；相对关系信息计算装置，用于基于搜索到的一致点计算关于第一图像和第二图像的相对关系信息；以及记录控制装置，用于与第一动态画面和第二动态画面以及第一图像和第二图像相关联地将计算出的相对关系信息记录到相对关系信息存储装置中。这带来下面的操作。具体地讲，搜索第一图像和第二图像上的一致点，并且基于搜索到的一致点计算关于第一图像和第二图像的相对关系信息。然后，与第一动态画面和第二动态画面以及第一图像和第二图像相关联地记录计算出的相对关系信息。

另外，根据第一方面，图像处理设备还可以包括输出区域提取装置，该输出区域提取装置用于从存储在图像存储装置中的新的历史图像中提取包括在输出区域中的图像作为输出图像，所述输出区域是成为所述输出装置输出的对象的区域；所述图像合成装置通过在所述输出图像上进行覆写来合成变换后的图像以生成新的输出图像；所述控制装置控制所述输出装置顺次输出该新的输出图像。这带来下面的操作。具体地讲，从新的历史图像提取出包括在作为输出对象的输出区域中的图像作为输出图像，并且顺次输出这些新的输出图像。

同时，根据本发明的第二方面，提供了一种图像处理设备和该图像处理设备的图像处理方法以及使计算机执行该方法的程序，该图像处理设备包括：动态画面输入装置，用于输入作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息计算装置，用于基于形成所述动态画面的图像计算第一变换信息和第二变换信息，其中，第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；一致点搜索装置，用于在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上搜索一致点；相对关系信息计算装置，用于基于搜索到的一致点计算表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；图像存储装置，用于存储历史图像；输出装置，用于输出第一动态画面和第二动态画面中的至少一个；对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息相关的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息相关的形成第一动态画面的图像进行顺次变换；图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和控制装置，用于控制输出装置顺次输出合成的图像。这带来了下面的操作。具体地讲，如果输入了第一动态画面和第二动态画面，则基于图像计算第一变换信息和第二变换信息，并且搜索第一图像和第二图像上的一致点。然后，基于搜索到的一致点计算关于第一图像和第二图像的相对关系信息，并且基于相对关系信息、第一变换信息和第二变换信息计算要用于对象图像的变换的对象图像变换信息。然后，基于对象图像变换信息和第二变换信息对关于第二变换信息的对象图像进行顺次变换，并且基于第一变换信息对关于第一变换信息的形成第一动态画面的图像进行顺次变换。然后，将基准图像存储到存储区域中的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成。然后，将合成的图像存储作为新的历史图像，并且顺次输出这些合成的图像。

另外，根据第二方面，该变换信息计算装置可以针对形成第一动态画面和第二动态画面的每个帧，顺次计算第一变换信息和第二变换信息；所述图像变换装置针对每个帧对形成第一动态画面和第二动态画面的图像进行变换；所述图像合成装置针对每个帧顺次合成变换后的图像；所述控制装置针对每个帧使合成的图像顺次输出。这带来下面的操作。具体地讲，针对形成第一动态画面和第二动态画面的每个帧顺次计算第一变换信息和第二变换信息，并且对形成第一动态画面和第二动态画面的图像进行顺次变换。然后，针对每个帧顺次合成变换后的图像，并且针对每个帧顺次输出这些合成的图像。

另外，根据第二方面，该变换信息计算装置可以包括：特征点提取装置，用于基于形成所述图像的像素提取所述图像的特征点；移动量计算装置，用于基于所提取的特征点计算关于各个所述图像的移动量；和变换参数计算装置，用于基于计算出的移动量来计算预定的变换参数以计算第一变换信息和第二变换信息。这带来了下面的操作。具体地讲，基于形成图像的每个像素提取每个图像的特征点，并且基于提取的特征点计算关于每个图像的移动量。另外，基于计算出的移动量计算预定的变换参数以计算变换信息。

另外，根据第二方面，该特征点提取装置可以由多核处理器形成，并且该多核处理器可以通过SIMD数学运算针对形成图像的像素执行并行处理以提取图像的特征量。这带来如下操作：多核处理器通过SIMD数学运算针对形成图像的像素执行并行处理以提取图像的特征量。

另外，根据第二方面，该移动量计算装置可以由多核处理器形成，并且该多核处理器可以通过SIMD数学运算针对所提取的特征点执行并行处理以计算图像的移动量。这带来如下操作：多核处理器通过SIMD数学运算针对提取的特征点执行并行处理以计算关于图像的移动量。

同时，根据本发明的第三方面，提供了一种图像处理设备和该图像处理设备的图像处理方法以及使计算机执行该方法的程序，该图像处理设备包括：动态画面获取装置，用于获取作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面，其中，以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换的第一变换信息和以第二动态画面的图像中的一个为基准对第二动态画面的其它图像进行变换的第二变换信息分别针对每个图像被相关联地记录，并且表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中至少一个的相对位置关系的相对关系信息被相关联地记录；图像存储装置，用于存储历史图像；输出装置，用于输出第一动态画面和第二动态画面中的至少一个；对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和控制装置，用于控制输出装置顺次输出合成的图像。这带来了下面的操作。具体地讲，当获取了第一动态画面和第二动态画面时，基于相对关系信息、第一变换信息和第二变换信息计算要用于对象图像的变换的对象图像变换信息。然后，基于对象图像变换信息和第二变换信息，对关于第二变换信息的对象图像进行顺次变换，并且基于第一变换信息，对形成关于第一变换信息的第一动态画面的图像进行顺次变换。然后，将基准图像存储到存储区域中的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成。然后，将合成的图像存储作为新的历史图像，并且顺次输出这些合成的图像。

另外，根据本发明的第四方面，提供了一种图像处理设备和该图像处理设备的图像处理方法以及使得计算机执行该方法的程序，该图像处理设备包括：动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换，并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；图像存储装置，用于存储变换后的图像；和控制装置，用于使输出装置顺次输出最后存储在图像存储装置中的第一动态画面和第二动态画面的图像。这带来了下面的操作。具体地讲，基于相对关系信息、第一变换信息和第二变换信息计算要用于对象图像的变换的对象图像变换信息，并且基于对象图像变换信息和第二变换信息对对象图像进行顺次变换。另外，基于第一变换信息对形成第一动态画面的图像进行顺次变换，并且存储变换后的图像。然后，对输出装置进行控制以顺次输出最后存储的第一动态画面和第二动态画面。

另外，根据本发明的第五方面，提供了一种图像处理设备和该图像处理设备的图像处理方法以及使计算机执行该方法的程序，该图像处理设备包括：图像合成装置，用于基于图像拍摄时的图像拍摄设备的第一移动信息对形成拍摄的动态画面的第一图像进行合成以形成第一合成图像，并且基于图像拍摄时的图像拍摄设备的第二移动信息对形成拍摄的动态画面的第二图像进行合成以形成第二合成图像；相对位置信息装置，用于以包括在第一合成图像中的图像中的至少一个为基准计算表示第二移动信息相对于第一移动信息的相对位置关系的相对位置信息；所述图像合成装置基于所述相对位置信息将第一合成图像和第二合成图像进行合成。这带来了下面的操作。具体地讲，基于图像拍摄时的图像拍摄设备的第一移动信息来合成第一图像以形成第一合成图像，并且基于图像拍摄时的图像拍摄设备的第二移动信息来合成形成拍摄的动态画面的第二图像以形成第二合成图像。然后，以包括在第一合成图像中的图像的至少一个为基准计算表示第二移动信息相对于第一移动信息的相对位置关系的相对位置信息，并且基于该相对位置信息将第一合成图像和第二合成图像进行合成。

另外，根据本发明的第六方面，提供了一种动态画面再现设备和该图像处理设备的图像处理方法以及使计算机执行该方法的程序，该动态画面再现设备包括：动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；图像存储装置，用于存储历史图像；显示装置，用于显示第一动态画面和第二动态画面中的至少一个；对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和控制装置，用于控制输出装置顺次输出合成的图像。这带来了下面的操作。具体地讲，基于相对关系信息、第一变换信息和第二变换信息计算要用于对象图像的变换的对象图像变换信息，并且基于这个对象图像变换信息和第二变换信息，对与第二变换信息关联的对象图像进行顺次变换。另外，基于第一变换信息，对与第一变换信息关联的形成第一动态画面的图像进行顺次变换，并且将基准图像存储到存储区域中的预定位置。然后，将变换后的图像与基准图像和历史图像中的至少一个进行合成，并且顺次显示这些合成的图像。

根据本发明，能够实现如下的优异效果：在要对图像拍摄设备拍摄的多个动态画面进行再现的情况下，仍可以掌握这多个动态画面的关系。

附图说明

图1是示出了根据本发明实施例的图像处理设备100的功能结构示例的框图。

图2是示出了本发明的实施例中的摄像机工作检测部分120的功能结构示例的框图。

图3是示出了本发明实施例中的一致点搜索部分340的功能结构示例的框图。

图4是示意性示出了记录在本发明的实施例中的动态画面存储部分200和元数据存储部分210中的文件的图。

图5是示意性示出了记录在本发明的实施例中的动态画面存储部分200和相对关系信息存储部分220中的文件的图。

图6是示出了与形成动态画面的帧对应的图像示例的图。

图7是示出了通过从与形成动态画面的帧对应的图像中省去背景等而简化的图像的图。

图8是示出了本发明实施例的图像处理设备100执行的仿射变换参数检测处理的处理过程的流程图。

图9是示意性示出了通过选择包括在图像中的一致点计算关于两个图像的仿射变换参数的仿射变换参数计算方法以及基于选择的一致点的这两个图像的合成的图。

图10是示意性示出了通过选择包括在图像中的一致点计算关于两个图像的仿射变换参数的仿射变换参数计算方法的图。

图11是示出了摄像机拍摄的动态画面的迁移示例的图。

图12是以虚线示出了与关于图11所示的图像的直接前帧对应的图像并且示出了检测到的光流的图。

图13是示出了对包括图11所示的图像401到403的动态画面进行再现的情况下的显示图像示例的图。

图14是示出了摄像机拍摄的动态画面的迁移示例的图。

图15是以虚线示出了与关于图14所示的图像的直接前帧对应的图像并且示出了检测到的光流的图。

图16是示出了在对包括图14所示的图像421到423的动态画面进行再现的情况下的显示图像示例的图。

图17是示出了摄像机拍摄的动态画面的迁移示例的图。

图18是以虚线形式示出了与关于图17所示的图像的直接前帧对应的图像并且示出了检测到的光流的图。

图19是示出了在对包括图17所示的图像441到443的动态画面进行再现的情况下的显示图像示例的图。

图20是示意性示出了存储在本发明实施例中的动态画面存储部分200中的动态图像文件的帧和显示区域之间的关系的图。

图21是示意性示出了本发明实施例中的存储在动态画面存储部分200中的动态画面文件的帧流的图。

图22是示出了在对摄像机拍摄的动态画面进行再现并且对图像480的当前图像482之前的图像484进行仿射变换的情况下的显示示例(图像480)的图。

图23是示出了在以放大比例显示图22所示的被框483包围的图像区域的情况下的图像485和在仿射变换后的当前图像被存储到图像存储器250中的状态下存储在显示存储器270中的图像487的图。

图24是示意性示出了在对两个动态画面进行合成的情况下的合成示例的图。

图25是示意性示出了在对两个动态画面进行合成的情况下的合成示例的图。

图26是示出了在图25所示的合成图像被显示在显示部分290上的情况下的显示示例的图。

图27是示意性示出了本发明实施例中的记录在动态画面存储部分200和相对关系信息存储部分220中的文件的图。

图28是示意性示出了形成图27所示的动态画面文件(#10)600和(#11)610的图像以及基于包括在这些图像中的图像拍摄对象合成的图像的图。

图29是示出了利用与图像A1(601)和另一个图像B1(611)关联的相对关系信息对动态画面文件(#10)600和(#11)610进行仿射变换的同时对它们进行合成的合成示例的图。

图30是示出了在基于表示位移的误差矩阵计算插值矩阵的情况下的计算方法的概要的图。

图31是示出了在利用插值矩阵Int1到Int8对图像A2(602)到A9(609)进行变换的情况下的合成示例的图。

图32是示出了摄像机拍摄的多个动态画面的迁移示例的图。

图33是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图34是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图35是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图36是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图37是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图38是示出了摄像机拍摄的多个动态画面的另一迁移示例的图。

图39是示意性示出了本发明实施例中的记录在动态画面存储部分200和相对关系信息存储部分220中的文件的图。

图40是示出了在选择包括在关于三个动态画面的图像中的一致点的情况下的图像的图。

图41是示出了基于在关于三个动态画面的图像上选择的一致点而合成三个图像的情况下的示例的图。

图42是示意性示出了在合成三个动态画面的情况下的合成示例的图。

图43是示出了在对静止画面和多个动态画面进行合成的情况下的示例的图。

图44是示出了在本发明的实施例中的响应于手动操作由图像处理设备100执行的一致点选择过程的处理过程的流程图。

图45是示出本发明实施例中的图像处理设备100的一致点搜索过程的处理过程的流程图。

图46是示出本发明实施例中的图像处理设备100执行的多个动态画面的合成再现处理的处理过程的流程图。

图47是示出本发明实施例中的图像处理设备100执行的多个动态画面的合成再现处理的处理过程的流程图。

图48是示出了本发明实施例中的多核处理器800的结构示例的图。

图49是示出了本发明实施例中的控制处理器核801的结构示例的图。

图50是示出了本发明实施例中的数学运算处理器核(#1)811的结构示例的图。

图51是示意性示出了本发明实施例中的多核处理器800的数学运算方法的图。

图52是示意性示出了本发明实施例中的多核处理器800执行数学运算的情况下的程序和数据的流的图。

图53是示出了根据单独的指令执行对多个数据的处理的数学运算方法的概要和根据一个指令执行对多个数据的处理的SIMD数学运算的概要的图。

图54是示出了本发明实施例中的控制处理器核801或者数学运算处理器核(#1)811执行的程序的结构示例的图。

图55是示意性示出了在利用索贝尔(Sobel)滤波830执行滤波处理的情况下的存储在本发明实施例中的主存储器781中的图像数据的数据结构和处理流的图。

图56是示意性示出了利用索贝尔滤波830针对存储在本发明实施例中的主存储器781中的图像数据执行SIMD数学运算的情况下的数据流的图。

图57是示意性示出了在本发明实施例中利用索贝尔滤波830执行滤波处理的情况下从存储在第一缓冲器831中的图像数据生成九个矢量的矢量生成方法的图。

图58是示意性示出了在本发明的实施例中利用索贝尔滤波830执行滤波处理的情况下关于矢量数据841到849利用SIMD指令执行矢量数学运算的矢量数学运算方法的图。

图59是按照时间序列示意性示出了本发明实施例中的摄像机工作参数计算处理的流程的图。

图60是示意性示出了作为记录介质的示例的蓝光盘880、记录在蓝光盘880上的数据881到884以及能够再现蓝光盘880的蓝光再现机器890的内部结构的图。

具体实施方式

在下文中，参照附图详细描述本发明的实施例。

图1是示出了根据本发明实施例的图像处理设备100的功能结构示例的框图。图像处理设备100包括动态画面输入部分110、摄像机工作检测部分120、记录控制部分130、文件获取部分140、图像变换部分150、操作接收部分160、一致点选择部分170、相对关系信息计算部分180、对象图像变换信息计算部分190、动态画面存储部分200、元数据存储部分210、相对关系信息存储部分220、校正值计算部分230、图像合成部分240、图像存储器250、显示区域提取部分260、显示存储器270、显示控制部分280、显示部分290和一致点搜索部分340。图像处理设备100可通过个人计算机实现，该个人计算机能够从由例如数字视频摄像机的图像拍摄设备拍摄的动态画面中通过图像分析提取特征量，并且利用提取的特征量执行各种图像处理。

动态画面输入部分110是被配置为输入由诸如数字视频摄像机的图像拍摄设备(下文中仅称作“摄像机”)拍摄的动态画面并且将所输入的动态画面输出到摄像机工作检测部分120的动态画面输入部分。

摄像机工作检测部分120对从动态画面输入部分110输出的动态画面进行分析以检测在图像拍摄时摄像机的移动信息(摄像机工作)，并且将基于摄像机的移动信息计算的仿射变换参数(摄像机工作参数)输出到记录控制部分130。具体地讲，摄像机工作检测部分120从形成动态画面的每个图像提取特征点并且提取关于每个特征点的光流(运动矢量)。然后，摄像机工作检测部分120对提取的关于特征点的光流进行分析以选择指示支配性移动的那些特征点，并且基于关于指示支配性移动的特征点的光流来估计摄像机的移动。这里，支配性移动是指由关于多个特征点的光流之中的相对较大数目的光流指示的规则移动。要注意，参照图2详细描述摄像机工作检测部分120。

记录控制部分130将从动态画面输入部分110输出的动态画面作为动态画面文件记录到动态画面存储部分200中，并且将从摄像机工作检测部分120输出的仿射变换参数作为元数据文件与对应的动态画面和帧相关联地记录到元数据存储部分210中。另外，记录控制部分130将从相对位置信息计算部分180输出的仿射变换参数与对应于该仿射变换参数的动态画面和帧相关联地记录到相对关系信息存储部分220中。

动态画面存储部分200在记录控制部分130的控制下存储从动态画面输入部分110输出的动态画面作为动态画面文件。另外，动态画面存储部分200将与来自文件获取部分140的请求对应的动态画面文件提供给文件获取部分140，并且将与来自一致点搜索部分340的请求对应的至少两个动态画面文件提供给一致点搜索部分340。要注意，在下文中参照图4和图5描述存储在动态画面存储部分200中的动态画面文件。

元数据存储部分210在记录控制部分130的控制下存储从摄像机工作检测部分120输出的仿射变换参数作为元数据文件。另外，元数据存储部分210根据来自文件获取部分140的请求向文件获取部分140提供元数据文件。要注意，在下文中参照图4详细描述存储在元数据存储部分210中的元数据文件。

相对关系信息存储部分220在记录控制部分130的控制下将从相对关系信息计算部分180输出的仿射变换参数与对应的动态画面及帧相互关联地存储作为相对关系元数据文件。另外，相对关系信息存储部分220根据来自文件获取部分140的请求向文件获取部分140提供相对关系元数据文件。要注意，在下文中参照图5详细描述存储在相对关系信息存储部分220中的相对关系元数据文件。

文件获取部分140获取存储在动态画面存储部分200中的至少一个或多个动态画面文件、与每个所述动态画面文件相关联地存储在元数据存储部分210中的元数据文件、以及与所述动态画面文件共同关联地存储在相对关系信息存储部分220中的相对关系元数据文件，并且响应于由操作接收部分160接收的操作输入而向各个部分提供获取的文件的信息。具体地讲，当操作接收部分160接收到用于通常的动态画面再现的操作输入时，文件获取部分140获取存储在动态画面存储部分200中的一个或多个动态画面文件并且向一致点选择部分170和显示存储器270连续输出获取的动态画面文件的动态画面。当正在执行通常的动态画面再现时，如果操作接收部分160接收到停止动态画面再现的操作输入，则文件获取部分140停止动态画面的输出。另外，当操作接收部分160接收到指定多动态画面合成再现模式(在该模式中，在对多个动态画面进行合成的同时对它们进行再现)的操作输入时，文件获取部分140获取存储在动态画面存储部分200中的多个动态画面文件、分别与各动态画面文件相关联地存储在元数据存储部分210中的元数据文件、以及与动态画面文件共同关联地存储在相对关系信息存储部分220中的相对关系元数据文件，并且向图像变换部分150输出获取的动态画面文件的动态画面和获取的元数据文件的仿射变换参数。另外，文件获取部分140向对象图像变换信息计算部分190和校正值计算部分230输出获取的元数据文件和相对关系元数据文件的内容。

对于形成从文件获取部分140输出的动态画面文件的动态画面的图像，图像变换部分150针对每帧利用与这些图像对应的仿射变换数据执行仿射变换，并且向图像合成部分240输出仿射变换后的图像。这里，在指定了多动态画面合成再现模式的情况下，图像变换部分150确定再现对象的多个动态画面之一作为基准动态画面并且针对每帧利用与形成基准动态画面的图像对应的仿射变换参数来执行基准动态画面的仿射变换。同时，关于作为再现对象的多个动态画面之中的基准动态画面以外的其它动态画面，图像变换部分150针对每帧利用由对象图像变换信息计算部分190计算出的对象图像变换信息(仿射变换参数)和与形成动态画面的图像对应的仿射变换参数来执行仿射变换。另外，在从校正值计算部分230输出了校正值的情况下，图像变换部分150基于校正值对仿射变换参数的值进行校正并且利用校正后的仿射变换参数执行仿射变换。要注意，参照图11到图21等详细描述这种图像变换。另外，在下文中参照图24等详细描述用于其它动态画面的变换方法。另外，参照图28到图31详细描述利用校正值对仿射变换参数进行的校正。

操作接收部分160包括包含各种输入键的键盘和鼠标(定点装置)，并且在接收到来自鼠标等的操作输入的情况下将接收的操作输入的内容输出到文件获取部分140、一致点选择部分170、图像合成部分240、显示区域提取部分260或者一致点搜索部分340。例如，在操作接收部分160上设置有：用于从存储在动态画面存储部分200中的一个或多个动态画面文件中选择期望的动态画面的操作选择键、用于指定通常的动态画面再现的再现指示键、用于停止正在再现的动态画面的停止键、用于指定动态画面的显示倍率的显示倍率指定键、用于设置多动态画面合成再现模式的多动态画面合成再现设置键等。要注意，关于上述的键，多个功能可以分配给一个键。另外，操作接收部分160的至少一部分和显示部分290可被一体地形成为触摸面板。要注意，作为鼠标的操作，例如，“左击”是指按下鼠标的左侧按钮仅一次，“右击”是指按下鼠标的右侧按钮仅一次。

当操作接收部分160接收到指定一致点的指定操作的操作输入时，一致点选择部分170选择形成从文件获取部分140输出的动态画面文件的动态画面的图像的一致点。在针对一个图像选择了至少三个一致点的情况下，一致点选择部分170将选择的一致点的位置和选择顺序以及选择对象的图像输出到相对位置信息计算部分180。可以针对多个图像同时执行一致点的选择操作或者可以针对每一个动态画面连续执行一致点的选择操作。

在操作接收部分160接收到针对存储在动态画面存储部分200中的多个动态文件中的至少两个动态画面生成相对关系信息的操作输入的情况下，一致点搜索部分340针对形成指定多个动态画面的图像搜索至少三个一致点，并且将包括搜索到的一致点的位置的图像输出到相对关系信息计算部分180。例如，可以通过利用不管图像的尺寸如何都能够识别包括在图像中的物体的一般对象识别等的技术(例如，参考日本专利公报No.2002-65399)来实现一致点的搜索。另外，参照图3详细描述一致点搜索部分340。

相对关系信息计算部分180基于从一致点选择部分170或者一致点搜索部分340输出的至少两个图像和这些图像的至少三个一致点来计算仿射变换参数作为关于所述图像的相对关系信息，并且将计算出的仿射变换参数和用于计算仿射变换参数的动态画面ID和图像的帧号输出到记录控制部分130。要注意，参照图9和图10详细描述关于图像的仿射变换参数的计算。另外，尽管在本发明的实施例中描述了将仿射变换参数用作相对关系信息的示例，但是还可以使用诸如投影变换参数的一些其它图像变换信息。要注意，通过利用三个点的矢量的计算能够确定仿射变换参数，并且通过利用四个点的矢量的计算能够确定投影变换参数。

当指定了多动态画面合成再现模式时，在形成再现对象的多个动态画面中的一个动态画面的至少一个图像被确定为基准图像并且形成其它动态画面的图像被确定为对象图像的情况下，对象图像变换信息计算部分190基于从文件获取部分140输出的元数据文件和相对关系元数据文件的仿射变换参数，计算要用于对象图像的变换的对象图像变换信息。然后，对象图像变换信息计算部分190将计算出的对象图像变换信息输出到图像变换部分150。作为一个动态画面的基准图像，例如，可以利用形成一个动态画面的图像之中的与先头帧对应的图像。另外，对象图像变换信息例如是用于针对基准图像对对象图像进行变换的仿射变换参数。要注意，参照图24等详细描述对象图像变换信息的计算。

当指定了多动态画面合成再现模式时，在至少两个仿射变换参数被置于从文件获取部分140输出的相对关系元数据文件中的情况下，校正值计算部分230计算用于校正由于仿射变换导致的图像位置位移的校正值。具体地讲，校正值计算部分230基于从文件获取部分140输出的元数据文件和相对关系元数据文件的仿射变换参数，计算用于校正与存储在相对关系元数据文件中的仿射变换参数对应的帧之间的变换位置的校正值，并且将计算出的校正值输出到图像变换部分150。作为该校正值，例如，可以使用执行线性插值的校正值。要注意，参照图28到图31详细描述校正值的计算。

图像合成部分240通过在与直到保持在图像存储器250中的直接前帧的各帧对应的合成图像上覆写经过图像变换部分150的仿射变换后的图像来合成图像，并且将合成的新合成图像存储在图像存储器250中。另外，在指定了多动态画面合成再现模式的情况下，图像合成部分240通过在与直到保持在图像存储器250中的直接前帧的各帧对应的合成图像上覆写通过图像变换部分150以基准图像为基准进行仿射变换后的图像来合成图像，并且将合成的新合成图像存储在图像存储器250中。要注意，图像合成部分240基于从显示区域提取部分260输出的显示区域中的当前图像的位置，通过在保持在显示存储器270中的合成图像上覆写通过图像变换部分150的仿射变换后的当前图像来合成图像。另外，在指定了多动态画面合成再现模式的情况下，图像合成部分240基于从显示区域提取部分260输出的显示区域中的当前图像的位置，通过在保持在显示存储器270中的合成图像上覆写通过图像变换部分150的仿射变换后的各个当前图像，相似地合成图像。这里，基于显示倍率的值确定在显示存储器270中合成的当前图像的尺寸。要注意，参照图21等详细描述显示存储器270中的当前图像的合成。要注意，响应于来自操作接收部分160的操作输入，可以分别确定多个动态画面的再现开始位置。要注意，参照图11到图26等详细描述这种图像合成。

图像存储器250是用于保持由图像合成部分240合成的合成图像的工作缓冲器并且向图像合成部分240或者显示区域提取部分260提供保持的合成图像。换言之，图像存储器250是用于保持历史图像的图像存储器。

显示区域提取部分260从保持在图像存储器250中的合成图像提取存在于显示区域(其是显示对象的区域)的范围中的图像并将提取的图像存储在显示存储器270中。要注意，参照图20和图21详细描述包括在显示区域的范围中的图像的提取，并且参照图21详细描述显示区域中的当前图像的位置的计算。

显示存储器270是用于保持由显示区域提取部分260从图像存储器250提取的图像的显示缓冲器，并且保持在显示存储器270中的图像显示在显示部分290上。要注意，参照图21到图23等详细描述保持在显示存储器270中的图像。

显示控制部分280控制显示部分290以针对每个帧连续显示保持在显示存储器720中的合成图像。

显示部分290在显示控制部分280的控制下显示存储在显示存储器270中的合成图像。例如，显示部分290可由个人计算机或电视机的显示单元实现。要注意，参照图32到图36等详细描述合成图像的显示示例。这里，在选择了形成动态画面的图像的一致点的情况下，响应于鼠标的移动而移动的光标(鼠标指针)被显示在显示部分290上显示的屏幕图像中，如图9的(a)和(b)所示。

图2是示出了本发明的实施例中的摄像机工作检测部分120的功能结构示例的框图。摄像机工作检测部分120包括特征点提取单元121、光流计算单元122和摄像机工作参数计算单元123。

特征点提取单元121从与形成从动态画面输入部分110输出的动态画面的帧对应的图像中提取特征点，并且将提取的特征点输出到光流计算单元122。这里，对于形成从动态画面输入部分110输出的动态画面的帧中的先头帧，特征点提取单元21从整个图像提取特征点，但是对于先头帧以外的帧，从与直接前帧对应的图像相比新拍摄的区域部分提取特征点。要注意，作为特征点，例如，可以提取在垂直方向或水平方向的边缘上梯度高的点(该点一般称作“角点”。在下面的描述中，该点称作“角点”)。该角点是对于光流的计算而言困难的特征点，并且能够利用边缘检测来确定。要注意，参照图6和图7详细描述角点的提取。另外，在这个示例中，尽管特征点提取单元121针对先头帧从整个图像提取特征点并且针对先头帧以外的帧从与直接前一图像相比新拍摄的区域部分提取特征点，但是对于先头帧以外的帧，也可以从整个图像提取特征点。

光流计算单元122针对从特征点提取单元121输出的每个特征点计算光流，并且将通过计算确定的光流输出到摄像机工作参数计算单元123。具体地讲，光流计算单元122将形成从动态画面输入部分110输出的动态画面的两个连续帧(当前帧和直接前帧)进行相互比较，以确定与对应于直接前帧的图像的各个特征点对应的光流，作为当前帧的光流。另外，针对形成动态画面的每一帧确定光流。要注意，作为检测光流的检测方法，可以使用诸如坡度法和块匹配法的检测方法。要注意，参照图6和图7详细描述光流的计算。

摄像机工作参数计算单元123利用从光流计算单元122输出的与特征点对应的光流执行计算摄像机工作参数的摄像机工作参数计算处理，并且将计算出的摄像机工作参数输出到记录控制部分130。这里，在本发明的实施例中，根据摄像机的移动，对再现对象的多个动态画面的图像进行变换和显示。为了执行图像的变换，利用通过光流计算单元122计算出的光流提取摄像机的移动，并且基于提取的移动，计算摄像机工作参数(变换参数)。要注意，在本发明的实施例中，描述了一个示例，其中，作为对形成再现对象的动态画面的图像进行变换的图像变换方法，使用仿射变换。另外，描述了一个示例，其中，作为摄像机工作参数，利用与基于光流计算出的仿射变换参数的矩阵的逆矩阵对应的仿射变换参数。具体地讲，在本发明的实施例中，要用作变换信息的仿射变换参数被定义为这样的仿射变换参数，该仿射变换参数不对应于表示连续图像之间的特征点的移动的仿射矩阵，而是对应于表示在连续图像之一被确定为基准图像的情况下基准图像的下一图像移动到哪里的仿射矩阵。另外，尽管描述了将仿射变换参数用作摄像机工作参数的示例，但是可以利用诸如投影变换的一些其它图像变换方法。要注意，可以通过利用三个点的矢量的计算来确定仿射变换参数。同时，可以通过利用四个点的矢量的计算来确定投影变换参数。这里，摄像机工作参数是利用形成拍摄的动态画面的拍摄图像中的至少一个作为基准对其它的拍摄图像进行变换的变换信息，并且至少包括根据摄像机的坐标系而描述的位置信息和姿势信息。换言之，摄像机工作参数包括与在图像拍摄人员进行图像拍摄的情况下摄像机的位置和姿势有关的信息。另外，能够基于由摄像机工作参数计算单元123确定的仿射变换参数来估计通过图像拍摄人员的操作(例如，放大、缩小、平移、倾斜或旋转)导致的摄像机的移动。要注意，参照图6和图7详细描述仿射变换参数的计算。

图3是示出了本发明实施例中的一致点搜索部分340的功能结构示例的框图。一致点搜索部分340包括动态画面获取单元141、多重分辨率生成单元341、特征点提取单元342、特征量提取单元343、模型字典登记单元344、多重分辨率生成单元345、特征点提取单元346、特征量提取单元347、kd树构建单元348和特征量比较单元349。一致点搜索部分340计算形成多个动态画面的帧之间的局部一致度，并且基于计算出的一致度将这多个动态画面自动彼此关联。

动态画面获取单元141响应于来自操作接收部分160的对于动态画面获取的操作输入，获取存储在动态画面存储部分200中的两个动态画面文件，并且将形成获取的动态画面文件之一的图像逐帧地输出到多重分辨率生成单元341。另外，动态画面获取单元141将形成其它动态画面文件的图像逐帧地输出到多重分辨率生成单元345。

多重分辨率生成单元341按照预先确定的比率降低从动态画面获取单元141输出的图像的分辨率从而以比识别时更精细的精度生成由多个不同分辨率的图像形成的多重分辨率图像，并且将生成的多重分辨率图像输出到特征点提取单元342。

特征点提取单元342从自多重分辨率生成单元341输出的多重分辨率图像中的不同分辨率的图像提取特征点并且将提取的特征点输出到特征量提取单元343。针对特征点的提取方法，例如，可使用与由图2所示的特征点提取单元121的特征点提取方法相似的方法。

特征量提取单元343在从特征点提取单元342输出的特征点提取至少两个局部特征量，并且将提取的特征量登记在模型字典登记单元344中。这里，由特征量提取单元343提取的两个局部特征量包括提取为第一类型特征量的特征点附近的浓度梯度的方向直方图和提取为第二类型特征量的维数缩退浓度梯度矢量。

模型字典登记单元344登记从特征量提取单元343输出的特征量并且将登记的特征量提供给kd树构建单元348。

多重分辨率生成单元345按照预先确定的比率降低从动态画面获取单元141输出的图像的分辨率从而以比学习时更粗略的精度生成由不同分辨率的多个图像形成的多重分辨率图像并且将生成的多重分辨率图像输出到特征点提取单元346。

特征点提取单元346从自多重分辨率生成单元345输出的多重分辨率图像中的不同分辨率的每个图像提取特征点，并且将提取的特征点输出到特征量提取单元343。针对该特征点提取方法，例如，可使用与特征点提取单元342的方法相似的方法。

特征量提取单元347在从特征点提取单元342输出的特征点提取至少两个局部特征量，并且将提取的特征量输出到特征量比较单元349。针对特征量提取，例如，可使用与特征量提取单元343的方法相似的方法。

kd树构建单元348基于登记在模型字典登记单元344中的特征量构建用于供特征量比较单元349比较特征量的kd树，并且将构建的kd树输出到特征量比较单元349。这里，在通过特征量比较单元349比较特征量的情况下，特征量比较单元349将从特征量提取单元347提取的特征点特征量与登记在模型字典登记单元344中的特征点特征量进行相互比较，以搜索从特征量提取单元347提取的特征点特征量与登记在模型字典登记单元344中的相似特征点特征量的组合。作为特征量比较方法的最简单方法是全检查。具体地讲，执行从特征量提取单元347提取的每个特征点特征量与登记在模型字典登记单元344中的特征点特征量的特征量相似度的计算并且基于计算出的相似度选择相似的特征点特征量的组合的方法是最简单的方法。然而，依靠全检查的方法需要的处理时间长。因此，在本发明的实施例中，为了从大量数据群中高速搜索数据，描述了利用使用称作kd树的数据结构的树搜索方法的示例(J.H.Friedman，J.L.Bentley，R.A.Finkel：“An algorithm for finding bestmatches in logarithmic expected time，”ACM Transaction onMathematical Software，Vol.3，No.3，pp.2009-226，September 1977)。kd树是具有k维树结构的树。要注意，在本发明的实施例中，构建了类型1的特征量的36d树(k＝36)和类型2的特征量的18d树(k＝18)。在构建的树的每个叶子(终端结点)中，一个特征点特征量与用于针对以下问题进行参照的标签等的信息保持在一起：特征量是哪个特征点的、特征点是从哪一个标度(scale)提取的、标度是多重分辨率图像群中的哪一个图像的、以及多重分辨率图像是哪个帧的。

特征量比较单元349将从特征量提取单元347提取的特征点特征量与表示为由kd树构建单元348构建的Kd树的特征点特征量进行相互比较以执行k-NN(k Nearest Neighbor(最近邻居))搜索，来计算相似度以搜索相似的特征点特征量的组合，并且将与搜索到的特征点特征量的组合对应的特征点的位置作为一致点输出到相对关系信息计算部分180。这里，关于一个或多个动态画面的特征量可以预先登记在模型字典登记单元344中，从而使动态画面获取单元141连续获取存储在动态画面存储部分200中的其它动态画面文件以连续搜索登记的动态画面与其它动态画面之间的一致点。或者，一致点搜索部分340可以连续获取存储在动态画面存储部分200中的动态画面文件以自动且连续地搜索关于存储在动态画面存储部分200中的动态画面文件的一致点。要注意，参照图10详细描述搜索对象的一致点。

图4是示意性示出了记录在本发明实施例中的动态画面存储部分200和元数据存储部分210中的文件的图。在图4的(a)中，示出了存储在动态画面存储部分200中的动态画面文件201到204以及与动态画面文件201到204相关联地存储在元数据存储部分210中的元数据文件211到213。这里，假定对每个动态画面文件施加动态画面ID，该动态画面ID是用于识别存储在动态画面存储部分200中的各动态画面文件的识别信息。例如，“#1”被应用于动态画面文件201；“#2”被应用于动态画面文件202；“#n”被应用于动态画面文件204。

图4的(b)是示意性示出了存储在动态画面存储部分200中的动态画面文件201和与动态画面文件201相关联地存储在元数据存储部分210中的元数据文件211的图。这里，动态画面文件201是由n个帧形成的动态画面的文件，这n个帧被表示为帧“1”205到帧“n”208。

同时，动态画面ID 214、帧号215和仿射变换参数216彼此关联地存储在元数据文件211中。

动态画面ID 214是应用于对应的动态画面文件的动态画面ID，例如，应用于动态画面文件201的“#1”存储在动态画面ID 214中。

帧号215是形成对应的动态画面文件的动态画面的每个帧的序号，例如，与形成动态画面文件201的动态画面的帧“1”205到“n”208对应的“1”到“n”被置于帧号215中。

仿射变换参数216是针对与帧号215对应的动态画面的每帧计算出的仿射变换参数。要注意，与帧号215的“1”对应的仿射变换参数216“a1、b1、c1、d1、e1、f1”是单位矩阵的仿射变换参数。另外，与帧号215的“m(m是大于等于2的整数)”对应的仿射变换参数216的“am、bm、cm、dm、em、fm”是帧“m”的直接前帧“m-1”的仿射变换参数。

图5是示意性示出了记录在本发明实施例中的动态画面存储部分200和相对关系信息存储部分220中的文件的图。在本示例中，示意性示出了存储在动态画面存储部分200中的动态画面文件201到204以及与动态画面文件201到204相关联地存储在相对关系信息存储部分220中的相对关系元数据文件221到223。在本示例中，描述了一个示例，其中，形成动态画面文件(#1)201的帧“5”361和“8”362、形成动态画面文件(#2)202的帧“7”363和“9”364以及形成动态画面文件(#3)203的帧“3”365和“10”366与相对关系信息存储部分220中存储的相对关系元数据文件221到223相关联地存储。要注意，由于存储在动态画面存储部分200中的动态画面文件与图4所示的动态画面文件相同，所以这里省去了对它们的描述。

动态画面ID 224、帧号225和仿射变换参数226彼此相互关联地存储在相对关系元数据文件221到223中。

动态画面ID 224是应用于与分别包括至少三个一致点的两个图像对应的两个动态画面文件的动态画面ID，例如，应用于动态画面文件201的“#1”和应用于动态画面文件202的“#2”存储在相对关系元数据文件221中。

帧号225是与包括至少三个一致点的两个图像对应的两个帧的序号，例如，在相对关系元数据文件221中安置了形成动态画面文件201的动态画面的帧的帧号“5”和形成动态画面文件202的动态画面的帧的帧号“7”。

仿射变换参数226是指针对与动态画面ID 224和帧号225对应的至少两个图像计算的仿射变换参数，例如，在相对关系元数据文件221中，安置了“ao、bo、co、do、eo、fo”作为与形成动态画面文件201的动态画面的帧“5”和形成动态画面文件202的动态画面的帧“7”对应的仿射变换参数。要注意，在本发明的实施例中，仿射变换参数226是指在与对应的动态画面ID 224与帧号225之中的图5所示的下侧的帧号对应的图像被确定为基准图像并且上侧的另一个帧号被确定为对象图像的情况下的仿射变换参数。例如，置于相对关系元数据文件221中的仿射变换参数226是指形成动态画面文件(#1)201的动态画面的帧“5”361的形成动态画面文件(#2)202的动态画面的帧“7”363的仿射变换参数。

现在，参照附图详细描述检测要用于图像变换的仿射变换参数的检测方法。

图6的(a)到(c)是示出了与形成动态画面的帧对应的图像的示例的图。图7的(a)是示出了通过从与对应于图6示出的图像300的帧的前一帧对应的图像中省去背景等而简化的图像的图。同时，图7的(b)和(c)是示出了通过从图6示出的图像300省去背景等而简化的图像的图。

图6和图7所示的图像300、320和330包括有人骑着的马的图像301、321和331以及位于马的图像301、321和331的前方的蛇的图像302、322和332。另外，如图6所示，在图像的背景上存在旗帜、椅子等，并且旗帜迎风招展。

图7的(a)所示的图像320是通过简化与对应于图6的(a)到(c)以及图7的(b)和(c)所示的图像300、330的帧的前一帧对应的图像而获得的图像。另外，与两个连续帧对应的图像320和330是表示屏幕图像中的图像拍摄对象的尺寸逐渐增大的情况下的迁移的图像。具体地讲，当对图像进行图像拍摄时，执行放大操作，放大操作是使屏幕图像中的图像拍摄对象逐渐变大的操作。

在下文中采用一种方法作为示例描述本发明的实施例，在这种方法中，从形成动态画面的图像检测特征点并且将与这些特征点对应的光流用来计算仿射变换参数。另外，针对角点被用作特征点的情况描述了本示例。

这里，在图7的(a)到(c)中，采用将与从图像320和330检测到的三个角点对应的光流用来计算仿射变换参数的方法作为示例进行描述。

例如，假定：在图7的(a)中所示的图像320中，检测到了马的图像321的嘴附近的角点323、马的图像321的人的臀部附近的另一个角点324和蛇的图像322的嘴附近的又一个角点325。在这种情况下，通过坡度法、块匹配法等从图7的(b)中所示的图像330中检测图像320的角点323、324和325的光流337、338和339。然后，基于检测到的光流337、338和339，检测与图像320的角点323、324和325对应的角点333、334和335。

这里，例如，由于包括在图7的(a)和(b)所示的图像320和330中的马的图像321和331以及蛇的图像322和332没有独立于摄像机的移动而进行移动，这是因为它们被置于地面上。因此，基于针对从马的图像321和331或者蛇的图像322和332检测到的角点而确定的光流，能够准确地估计摄像机的移动。例如，能够估计出图像330是通过关于位于点336的中心扩大图像320而获得的图像。因此，能够决定在对图像330进行图像拍摄时摄像机的移动是以点336为中心的放大操作。按照这种方式，如果针对不是独立于摄像机的移动而进行移动的物体检测到角点，则基于针对这些角点确定的光流能够准确地检测到具有固定规则性的摄像机的移动。因此，可以利用针对角点确定的光流通过计算确定仿射变换参数。

然而，考虑到图像有时候包括独立于摄像机的移动而进行移动的物体，例如迎风招展的旗帜。例如，图6所示的图像300包括迎风招展的旗帜。如果以这种方式从独立于摄像机的移动而进行移动的物体(例如迎风招展的旗帜)检测到角点并且针对这些角点确定的光流被用于估计摄像机的移动，则不能够准确地估计摄像机的移动。

例如，从图6的(b)中所示的图像300检测到的每个光流由箭头标记指示，从光流检测到的角点由箭头标记末端处的空心圆标记指示。这里，角点303到305是与图7的(b)和(c)中所示的角点333到335对应的角点。同时，角点306到311是针对存在于马的图像301的背景上的旗帜检测到的角点。然后，由于旗帜迎风招展，所以检测受到风的影响的旗帜的移动作为光流。具体地讲，针对独立于摄像机的移动而进行移动的旗帜检测与角点306到311对应的光流。因此，如果用于计算仿射变换参数的三个光流包括与角点306到311之中的至少一个角点对应的光流，则不能够检测到准确的摄像机的移动。在这种情况下，不能够计算出准确的仿射变换参数。

如上所述，例如，有时候从拍摄的图像中检测到关于独立于摄像机的移动而进行移动的物体的光流(与图6的(b)所示的角点306到311对应的光流)和与摄像机的移动的关系具有固定规则性的光流(图6的(b)所示的角点306到311对应的光流以外的光流)。

因此，在本发明的实施例中，描述如下示例：基于三个光流计算仿射变换参数的仿射变换参数计算处理被执行几次以确定多个仿射变换参数并且从这多个仿射变换参数之中选择最佳仿射变换参数。要注意，在这个示例中，假定包括在形成动态画面的每个图像中的移动物体的尺寸对于图像的面积而言相对较小。

这里，简短地描述仿射变换。在二维系统上的移动源的位置用(x，y)表示，并且二维系统上的仿射变换后的移动目的地的位置用(x′，y′)表示，仿射变换的行列式可由下面的表达式1表示：

[表达式1]

$\left[\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right]=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\left[\begin{array}{ccc}a& d& 0\\ b& e& 0\\ c& f& 1\end{array}\right]$ ......(表达式1)

这里，a到f是仿射变换参数。另外，能够通过下式确定取决于仿射变换参数的仿射矩阵AM。在这种情况下，通过下面的表达式能够分别确定X方向的缩放分量XZ、Y方向的缩放分量YZ、X方向的平动分量XT、Y方向的平动分量YT和旋转分量R。要注意，在单位矩阵的情况下，a＝e＝1，b＝c＝d＝f＝0。

[表达式2]

$\mathrm{AM}=\left[\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right]$

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+e^2}$

XT＝c                        YT＝f

$R={\tan }^{-1}\left[\frac{d}{a}\right]$

现在，描述仿射变换参数的计算方法。

首先，从在与作为形成动画画面的帧之一的当前帧对应的图像中检测到光流的多个特征点之中选择三个特征点。例如，从自图6的(b)中所示的图像300检测到的(由空心圆标记指示的)多个角点之中随机选择三个角点。要注意，在将投影变换参数用作摄像机工作参数的情况下，随机选择四个特征点。

然后，利用与选择的三个特征点对应的三个光流计算仿射变换参数。例如，利用与从图6的(b)所示的图像300的(由空心圆标记指示的)角点之中选择的三个角点对应的(由与空心圆标记相连的箭头标记指示的)光流计算仿射变换参数。能够利用表达式1确定仿射变换参数。

然后，基于所确定的仿射变换参数，计算仿射变换参数的得分。具体地讲，利用所确定的仿射变换参数确定与当前帧的直接前帧对应的图像的所有特征点的移动目的地的位置。然后，将利用仿射变换参数确定的特征点的位置与从当前帧检测到的特征点的位置相互比较，以针对每个特征点计算彼此对应的两个特征点的位置的差值。作为该差值，例如，计算彼此对应的两个特征点的位置之间的绝对距离。然后，针对每个特征点将计算出的差值与预先设置的阈值相互比较，以确定差值低于阈值的特征点的数目作为仿射变换参数的得分。以这种方式，从检测到其光流的特征点之中随机选择三个特征点并且以这种方式基于与这些特征点对应的光流计算仿射变换参数的得分的处理被重复预定次数，以计算多个仿射变换参数的得分。可以响应于比较对象的图像类型、图像处理设备100的处理能力等适宜地设置预定次数，或者可以使用固定值。作为所述预定次数，例如，考虑到图像处理设备100的处理能力，可以设置大约20次。

例如，考虑从自图6的(b)所示的图像300检测到的角点之中选择了角点306到311以外的三个角点的情况。如果利用与以这种方式选择的三个角点对应的三个光流计算仿射变换参数，则由于如上文所述这三个光流具有固定规则性，所以确定了用来根据固定规则对与直接前帧对应的图像进行变换的仿射变换参数。因此，针对不同于角点306到311的角点在利用仿射变换参数确定的角点的位置与从当前帧检测到的角点的位置之间确定的差值具有比较低的值。因此，仿射变换参数的得分具有比较高的值。

另一方面，考虑从自图6的(b)所示的图像300检测到的角点之中选择包括角点306到311中的至少一个的三个角点的另一情况。如果利用与以这种方式选择的三个角点对应的三个光流计算仿射变换参数，则由于这三个光流包括不具有固定规则性的光流，所以确定了用来根据固定规则对与直接前帧对应的图像进行变换的仿射变换参数。因此，在利用仿射变换参数确定的角点的位置与从当前帧检测到的角点的位置之间确定的差值在任意角点表现出比较高的值。因此，仿射变换参数的得分表现出低值。

然后，表现出确定的多个仿射变换参数的得分之中的最高得分值的仿射变换参数被选择为代表性仿射变换参数。然后，将选择的代表性仿射变换参数与当前帧相关联地记录到动态画面存储部分200中。结果，当对形成动态画面的图像进行仿射变换时，能够利用最佳仿射变换参数对它进行仿射变换。

如上所述，即使在形成动态画面的每个图像包括诸如人或汽车的移动中的物体(移动物体)的情况下，在该移动物体的尺寸相对于图像的面积较小的情况下，仍能够不受移动物体的影响地提取摄像机的移动。

另外，通过提取摄像机的移动，可以对诸如放大、缩小、平移、倾斜或旋转的被认为是由图像拍摄人员有意导致的移动进行估计。

现在，参照附图描述根据本发明实施例的图像处理设备100的操作。

图8是示出了根据本发明实施例的图像处理设备100的仿射变换参数检测处理的处理过程的流程图。

首先，动态画面文件被输入到动态画面输入部分110(步骤S900)。然后，对输入到动态画面输入部分110的动态画面文件进行解码，并且按照时间序列的顺序获取一帧的图像(步骤S901)。然后，判断所获取的一帧是否是输入到动态画面输入部分110的动态画面文件的先头帧(步骤S902)。如果所获取的一帧是先头帧(步骤S902)，则从与先头帧对应的整个图像提取特征点(步骤S903)。例如，如图6的(b)所示，提取图像的多个角点。然后，选择单位矩阵的仿射变换参数作为仿射变换参数(步骤S904)，之后该处理前进到步骤S904。

另一方面，如果所获取的一帧不是先头帧(步骤S902)，则从以与直接前帧对应的图像未基准新拍摄的区域提取特征点(步骤S905)。具体地讲，由于能够从与已经从对应于直接前帧的图像提取的特征点对应的光流确定这些特征点，所以不从与当前帧对应的图像提取这些特征点。

然后，计算关于从与直接前帧对应的图像提取的特征点的光流(步骤S906)。具体地讲，如图6的(b)所示，计算关于角点的光流。

然后，将变量i初始化为“1”(步骤S907)。然后，从已被检测了光流的特征点之中选择M个特征点(步骤S908)。例如，在仿射变换参数用作摄像机工作参数的情况下，随机选择三个特征点。另一方面，如果投影变换参数用作摄像机工作参数，则随机选择四个特征点。然后，基于对应于选择的M个特征点计算出的M个光流，计算仿射变换参数(步骤S909)。

然后，基于通过计算确定的仿射变换参数，计算仿射变换参数的得分(步骤S910)。具体地讲，将通过计算确定的仿射变换参数用于确定与直接前帧对应的图像中所有特征点的移动目的地的位置。然后，将利用仿射变换参数确定的特征点的位置与在步骤S906中当计算光流时确定的与当前帧对应的图像的特征点的位置相互比较，以针对每个特征点计算每两个对应的特征点的位置之间的差值。作为该差值，例如，计算每两个对应位置之间的绝对距离。然后，针对每个特征点将计算出的差值与预先设置的阈值相互比较，并且将差值低于阈值的那些特征点的数目确定为仿射变换参数的得分。

然后，将变量i加“1”(步骤S911)，并且判断变量i是否高于常量N(步骤S912)。如果变量i低于常量N(步骤S912)，则处理返回到步骤S908以重复仿射变换参数的得分计算处理(步骤S908到S910)。例如，可将20用作常量N。

另一方面，如果变量i高于常量N(步骤S912)，则得分具有确定的仿射变换参数的得分之中的最高值的那些仿射变换参数被选择作为代表性仿射变换参数(步骤S913)。然后，将选择的代表性仿射变换参数的矩阵的逆矩阵的仿射变换参数与当前帧相关联地记录在动态画面存储部分200中(步骤S914)。要注意，如果当前帧是先头帧，则将选择的单位矩阵的仿射变换参数与先头帧相关联地记录到动态画面存储部分200中。然后，通过覆写存储与当前帧对应的图像和图像的特征点(步骤S915)。

然后，判断当前帧是否是输入到动态画面输入部分110的动态画面文件的最后帧(步骤S916)。如果当前帧不是最后帧(步骤S916)，则处理返回到步骤S901以重复仿射变换参数检测处理(步骤S901到S915)。另一方面，如果当前帧是最后帧(步骤S916)，则仿射变换参数检测处理结束。

尽管在本发明的实施例中，作为摄像机工作参数的检测，描述了基于从形成动态画面的图像检测到的光流来检测仿射变换参数的示例，但是可以设置诸如加速度传感器或者陀螺传感器的传感器或者当执行缩放操作时利用的缩放按钮，从而通过传感器或缩放按钮检测在图像拍摄时摄像机的移动量并且基于摄像机的移动量确定摄像机工作参数。要注意，在图像拍摄时检测到的摄像机的移动量可被用于判断由摄像机工作参数计算单元123确定的摄像机工作参数是否正确。另外，摄像机工作参数计算单元123可以检测多个摄像机工作参数从而基于在图像拍摄时检测到的摄像机的移动量来利用这多个摄像机工作参数之一。

图9是示意性示出了通过选择包括在图像中的一致点计算关于两个图像的仿射变换参数的仿射变换参数计算方法以及基于选择的一致点对这两个图像进行的合成的图。图9的(a)示出了图像370，图像370是形成用作基准的一个动态画面的基准图像的示例；图9的(b)示出了图像376，图像376是形成用作比较对象的另一个动态画面的比较对象图像的示例。图9的(a)和(b)所示的图像370和376示出了在在显示部分290上进行再现期间停止了包括图像370和图像376之一的两个动态画面的状态。在本示例中，示意性示出了一种选择方法，其中，在在显示部分290上停止动态画面的状态下，手动指定当动态画面停止时显示的图像上的一致点。图9的(c)示出了当在图370和376上选择的一致点被用于计算仿射变换参数时利用的光流的检测示例。同时，图9的(d)示出了基于在图像370和376上选择的一致点来合成图像370和376的示例。

假定图9的(a)和(b)所示的图像370和376包括作为同一对象的房子371。这里，在通过用户的手动操作生成关于包括图像370的动态画面和包括图像376的动态画面的相对关系元数据文件的情况下，用户将通过手动操作再现这两个动态画面，从而使包括同一对象的图像显示在显示部分290上。例如，包括作为同一对象的房子371的图像370和376显示在显示部分290上。在这种情况下，图像370和376这两个图像可以显示在显示部分290的同一屏幕上，或者可以顺次显示一个图像。

例如，在图9的(a)所示的图像370显示在显示部分290上的状态下，用户将在操作接收部分160上执行操作输入以利用光标375指定房子371的屋顶的上部372和房子371的下侧的角部分373和374。例如，通过在光标375叠加在要指定的部分的状态下执行左击操作，能够指定期望的部分。在以这种方式执行指定操作的情况下，例如，圆标记可被应用于执行了指定操作的部分，如图9的(a)所示，从而用户能够识别该部分。此外，类似地在图9的(b)所示的图像376上指定房子371的屋顶的上部377和房子371的下侧的角部分378和379。当执行了指定操作时，一致点选择部分170在图像上选择被指定位置作为一致点，并且将选择的一致点的位置和这种指定的顺序与图像一起输出到相对关系信息计算部分180。

如图9的(a)和(b)所示，当在两个图像370和376上分别选择了三个一致点的情况下，相对关系信息计算部分180基于一致点计算矢量并且利用计算出的矢量计算仿射变换参数。计算每个矢量，例如作为基于被指定的一致点的顺序在这两个图像上选择的对应一致点的组合。例如，如果按照图像370的房子371的屋顶的上部372和房子371的下侧的角部分373和374的顺序执行指定操作，并且然后按照图像376的房子371的屋顶的上部377和房子371的下侧的角部分378和379的顺序执行指定操作，则针对图像370的上部372和图像376的上部377计算矢量，然后针对图像370的角部分373和图像376的角部分378计算矢量，然后针对图像370的角部分374和图像376的角部分379计算矢量。以这种方式，基于在图像370和376上选择的一致点而计算的矢量由图9的(c)中的箭头标记381到383指示。要注意，在图9的(c)所示的图像380上，包括在图9的(a)所示的图像370中的线用虚线指示，包括在图9的(b)所示的图像376中的线用实线指示。以这种方式计算出的矢量被用于计算仿射变换参数。仿射变换参数的计算方法与图6和图7所示的计算方法相似。要注意，在本发明的实施例中，描述了将与利用一致点计算出的仿射变换参数的矩阵的逆矩阵对应的仿射变换参数用作相对关系参数的示例。换言之，要用作相对关系元数据的仿射变换参数被定义为这样的仿射变换参数，该仿射变换参数不与由确定了一致点的两个图像之间的矢量表示的仿射变换矩阵对应，而是与表示在两个图像之一被确定为基准图像的情况下另一个图像所移动到的位置的仿射矩阵对应。

要注意，相对关系信息计算部分180可以在不使用指定顺序的情况下计算仿射变换参数。例如，针对在图像上选择为一致点的三个点的每种组合计算矢量。当在两个图像上分别选择了三个一致点的情况下，作为图像的一致点的组合，有六种组合。然后，针对这六种组合计算出的矢量被用于计算六个仿射变换参数。然后，将这两个图像中的一个确定为基准图像，同时将另一个图像确定为比较对象图像，这六个计算出的仿射变换参数被用于对比较对象图像进行连续仿射变换。结果，生成了一个基准图像和六个仿射变换后的比较对象图像。然后，将顶点位于基准图像的三个一致点的三角形内部存在的像素与顶点位于仿射变换后的比较对象图像的三个一致点的三角形内部存在的像素相互比较，以顺次计算存在于这些三角形内部的像素之间的亮度值的差值。结果，计算出与六个仿射变换参数对应的六个差值的平方值的总值。然后，从这样计算出的六个差值中选择表现出最低差值的那个仿射变换参数，并且将选择的仿射变换参数确定为关于已经执行了一致点指定操作的两个图像的仿射变换参数。

另外，例如，在基于在图像370和376上选择的一致点计算出的仿射变换参数被用于对图像370进行仿射变换并且将图像370覆写在图像376上的情况下，生成图9的(d)所示的图像384。通过以这种方式利用计算出的仿射变换参数合成图像370和376，生成了合成图像，在该合成图像中，在宽于图像的背景的范围上包括了房子371周围的背景。

图10是示意性示出了通过选择包括在图像中的一致点计算关于两个图像的仿射变换参数的仿射变换参数计算方法的图。这里，描述如下的示例：通过图1和图3所示的一致点搜索部分340搜索包括在图像中的一致点，并且将搜索到的一致点用于计算关于两个图像的仿射变换参数。要注意，除了通过一致点搜索部分340搜索到的每个特征点用圆形标记指示以外，图10的(a)到(c)所示的图像370、376和380与图9的(a)到(c)所示的图像370、376和380相同。如上所述，一致点搜索部340计算形成动态画面的帧之间的局部一致度并且基于这种计算出的一致度将多个图像自动彼此关联。在执行两个动态画面之间的一致点搜索的情况下，例如，特征点801到810和372到374被提取作为图像370的特征点，特征点811到823和377到379被提取作为图像376的特征点。然后，从提取的特征点之中选择图像的相似特征点的组合。例如，在图像370和376上，选择特征点805到810和372到374以及特征点818到823和377到379。在图10的(a)和(b)中，匹配特征点由粗圆形标记指示。从以这种方式选择的特征点之中，搜索要用于计算仿射变换参数的三个特征点作为一致点。例如，在图370和376上，搜索出特征点372到374和特征点377到379作为一致点。对一致点的搜索选择例如表现出相似度的最高得分的特征点的组合。然后，基于搜索到的一致点计算矢量，并且基于矢量计算仿射变换参数。要注意，通过与图9所示的计算方向相似的方法执行仿射变换参数的计算。

现在，参照附图详细描述利用通过摄像机工作检测部分120计算出的仿射变换参数再现并显示一个动态画面的情况。要注意，为了进行说明而简化了图11到图19所示的图像并且以扩大的方式示出了两个连续帧之间的移动量。

首先，描述如下的情况：当摄像机进行图像拍摄时，尽管倍率没有改变，但是摄像机的镜头的方向从由摄像机的位置设置的中心在向上、向下、向左和向右方向之一的方向上移动。

图11是示出了由摄像机拍摄的动画画面的迁移示例的图。图11是示出了在山的背景下拍摄人400的图像的情况下与包括在动画画面中的连续帧对应的图像401到403的图。在这个示例中，示出了在摄像机的镜头的方向向右和向上移动的同时图像拍摄人员进行图像拍摄的情况。在这种情况下，包括在由摄像机拍摄的动态画面中的人400在形成动画画面的图像上从右侧移动到左侧并且移动到下侧。

图12是由虚线指示与直接前帧对应的图像的图并且示出了检测到的光流的示例。图12的(a)所示的图像401与图11的(a)所示的图像401相同。同时，图12的(b)所示的图像402的实现部分与图11的(b)所示的图像402的实线部分相同，并且图12的(b)所示的图像402的虚线部分与图12的(a)所示的图像401的实现部分相同。另外，图12的(b)所示的图像402上的箭头标记404到406示出了从图像402检测到的光流的示例。相似地，图12的(c)所示的图像403的实线部分与图11的(c)所示的图像403的实线部分相同，并且图像403的虚线部分与图12的(b)所示的图像402的实线部分相同。另外，图12的(c)所示的图像403上的箭头标记407到409示出了从图像403检测到的光流的示例。

如图12的(b)和(c)所示，包括在图像中的人400和背景的山与摄像机的移动一致地移动。基于从该移动检测到的光流，能够针对每帧确定仿射变换参数。

图13是示出了在对包括图11所示的图像401到403的动态画面进行再现同时进行合成的情况下的图像合成的示例的图。要注意，在本发明的实施例中，由于对形成两个动态画面的图像进行合成，所以随着再现时间流逝，显示在显示部分290上的图像变得大于普通图像。因此，以与显示部分290的显示区域的尺寸相比较小的尺寸显示首先被显示的图像。要注意，要首先显示的图像的尺寸、位置等可以由用户指定。

如图13的(a)所示，首先仅显示与第一帧对应的图像401。这里，在与图像401对应的仿射变换参数的矩阵(3行×3列的矩阵)用A1表示的情况下，确定A1的值，并且以先头帧的图像401的位置和大小为基准利用所确定的A1的矩阵对图像401进行仿射变换。这里，由于A是单位矩阵，不对图像401的位置和大小进行变换。然后，在要显示与下一帧对应的图像402的情况下，利用与该帧相关联的仿射变换参数对图像402进行仿射变换。具体地讲，在与图像402对应的仿射变换参数的矩阵由A2表示并且与图像401对应的仿射变换参数的矩阵由A1表示的情况下，确定A1×A2的值，并且基于所确定的A1×A2矩阵以先头帧的图像401的位置和尺寸为基准对图像402进行仿射变换。在图13的(b)所示的图像中，仅对图像402的位置进行变换。然后，对利用仿射变换参数进行了仿射变换的图像402进行覆写，从而使它与对应于直接前帧的图像401重叠。具体地讲，在与图像402重叠的区域410中，图像402被覆写。另外，在图像401的没有与图像402重叠的区域中，对图像401的图像进行合成。具体地讲，在显示与第二帧对应的图像402的情况下，如图13的(b)所示，显示将图像402的整个部分与图像401的对应于区域411的部分合成的图像。另外，可以使表示其内部的图像是显示的图像中的最新图像的图像框显示在与当前帧对应的图像周围。在图13的(b)中，图像框被显示在图像402上。另外，通过图像402的仿射变换获得的仿射变换参数被存储到图像变换部分150中。

然后，在要显示与后续帧对应的图像403的情况下，将与该帧相关联的仿射变换参数用于对图像403进行仿射变换。具体地讲，用利用与图像403对应的仿射变换参数的矩阵和用于进行直接前一仿射变换的与图像402对应的仿射变换参数的矩阵所确定的仿射变换参数，对图像403进行仿射变换。具体地讲，在与图像403对应的仿射变换参数的矩阵由A3表示并且与图像402对应的仿射变换参数的矩阵由A2表示同时与图像401对应的仿射变换参数的矩阵由A1表示的情况下，确定A1×A2×A3的值，并且利用确定的A1×A2×A3的矩阵以先头帧的图像401的位置和尺寸为基准对图像403进行仿射变换。在图像13的(c)所示的图像中，仅对图像403的位置进行变换。然后，将利用仿射变换参数进行了仿射变换的图像403覆写从而使之与对应于在前帧的图像401和402的合成图像重叠。具体地讲，在图像401和402的合成图像的区域中的与图像403重叠的区域413和414中，图像403的图像被覆写。另一方面，在图像401和402的合成图像的区域中的没有与图像403重叠的区域411和412中，图像401和402的合成图像被合成。具体地讲，在要显示与第三帧对应的图像403的情况下，显示将图像403的整个部分、图像401的与区域411对应的部分和图像402的与区域412对应的部分进行了合成的图像。另外，在表示它内部的图像是显示的图像中的最新图像的图像框要显示在与当前帧对应的图像周围的情况下，图像框显示在图13的(c)所示的图像403上。另外，通过图像403的仿射变换获得的仿射变换参数被存储在图像变换部分150中。换言之，通过将与图像402和403对应的仿射变换参数的矩阵相乘而确定的仿射变换参数被存储到图像变换部分150中。这样，当要对与当前帧对应的图像进行仿射变换时，用利用与当前帧对应的仿射变换参数的矩阵和与一直到直接前帧的各帧对应的仿射变换参数的矩阵所确定的仿射变换参数进行仿射变换。在该仿射变换时确定的仿射变换参数被存储到图像变换部分150中并且用于下一仿射变换。这还相似地适用于图16和图19的情况。

现在，描述虽然摄像机的镜头的方向没有移动但是在摄像机进行图像拍摄时倍率改变的情况。

图14是示出了通过摄像机拍摄的动态画面的迁移示例的图。图14是示出了当在山的背景下拍摄人420的图像的情况下与包括在动态画面中的连续帧对应的图像421到423的图。在本示例中，描述了在连续提高摄像机的镜头的倍率的同时图像拍摄人员执行图像拍摄的情况。在这种情况下，包括在由摄像机拍摄的动态画面中的人420在形成动态画面的图像中逐渐变大。要注意，尽管在提高倍率时摄像机的位置有时候会稍微移动，但是在本示例中，不考虑摄像机的位置的移动而进行描述。

图15是用虚线指示图14所示的图像中的与直接前帧对应的图像并且显示了检测到的光流的示例的图。图15的(a)所示的图像421与图14的(a)所示的图像421相同。同时，图15的(b)所示的图像422的实线部分与图14的(b)所示的图像422的实线部分相同，而图15的(b)所示的图像422的虚线部分与图14的(a)所示的图像421的实线部分相同。另外，图15的(b)所示的图像422上的箭头标记424到426指示从图像422检测到的光流的示例。相似地，图15的(c)所示的图像423的实线部分与图14的(c)所示的图像423的实线部分相同，而图15的(c)所示的图像423的虚线部分与图14的(b)所示的图像422的实线部分相同。另外，图15的(c)所示的图像423上的箭头标记427到429指示从图像423检测到的光流的示例。

如图15的(b)和(c)所示，包括在图像中的人420和背景的山的尺寸根据倍率的变化而变化。能够基于通过变化检测到的光流针对每帧确定仿射变换参数。

图16是示出了在再现包括图14所示的图像421到423的动态画面的情况下的显示示例的图。

如图16的(a)所示，首先仅显示与先头帧对应的图像421。然后，在要显示与后续帧对应的图像422的情况下，利用与该帧关联的仿射变换参数对图像422进行仿射变换。在图16的(b)所示的图像的情况下，仅对图像422的尺寸进行变换。然后，将利用仿射变换参数进行了仿射变换的图像422进行覆写从而使之与对应于直接前帧的图像421重叠。具体地讲，在图像421的区域中的与图像422重叠的区域中，图像422的图像被覆写。在这种情况下，由于图像421与图像422的整个区域重叠，所以整个图像422被覆写在图像421上。另一方面，在图像421的区域中的没有与图像422重叠的区域431中，对图像421的图像进行合成。具体地讲，当要显示与第二帧对应的图像422时，如图16的(b)所示显示对图像422的整个部分和图像421的与区域431对应的部分进行了合成的图像。另外，能够在与当前帧对应的图像的周围显示指示它内部的图像是显示图像中的最新图像的图像框。在图16的(b)中，图像框显示在图像422上。另外，通过图像422的仿射变换获得的仿射变换参数被存储到图像变换部分150中。

然后，在要显示与下一帧对应的图像423的情况下，利用与该帧关联的仿射变换参数对图像423进行仿射变换。具体地讲，利用通过将与图像423对应的仿射变换参数的矩阵与用于直接前一仿射变换的与图像422对应的仿射变换参数的矩阵相乘所确定的仿射变换参数，对图像423进行仿射变换。在图16的(c)所示的图像中，仅对图像423的尺寸进行变换。然后，将仿射变换后的图像423覆写，从而使之与对应于在前帧的图像421和图像422的合成图像重叠。具体地讲，在图像421和422的合成图像的区域中的与图像423重叠的区域中，图像423的图像被覆写。在这种情况下，由于图像423与图像421和422的整个区域重叠，所以图像423的整个图像被覆写在图像421和422的合成图像上。另一方面，在图像421和422的合成图像的区域中的没有与图像423重叠的区域432和433中，对图像421和422的合成图像进行合成。具体地讲，在要显示与第三帧对应的图像423的情况下，如图16的(c)所示，显示对图像423的整个部分、图像421的与区域432对应的部分和图像422的与区域433对应的部分进行了合成的图像。另一方面，在指示它内部的图像是显示的图像中的最新图像的图像框要显示在与当前帧对应的图像周围的情况下，图像框显示在图16的(c)所示的图像423上。另外，用于图像423的仿射变换的仿射变换参数被存储到图像变换部分150中。换言之，利用与图像422和423对应的仿射变换参数确定的仿射变换参数被存储到图像变换部分150中。

现在，描述如下的情况：当摄像机进行图像拍摄时，尽管摄像机的镜头的方向或倍率没有变化，但是摄像机围绕图像拍摄方向旋转。

图17是示出了通过摄像机拍摄的动态画面的迁移示例的图。图17是示出了当在山的背景下拍摄人440的图像的情况下与包括在动态画面中的连续帧对应的图像441到443的图。在这个示例中，示出了图像拍摄人员在围绕图像拍摄方向旋转摄像机的同时执行图像拍摄的情况。在这种情况下，包括在由摄像机拍摄的动态画面中的人440在形成动态画面的图像上连续旋转。要注意，尽管由于摄像机的旋转使摄像机的位置有时候会稍微移动，但是不考虑摄像机的位置的移动而描述这个示例。

图18是用虚线指示图17所示的图像中的与直接前帧对应的图像并且示出了检测到的光流的示例的图。图18的(a)所示的图像441与图17的(a)所示的图像441相同。同时，图18的(b)所示的图像442的实线部分与图17的(b)所示的图像442的实线部分相同，而图18的(b)所示的图像442的虚线部分与图17的(a)所示的图像441的实线部分相同。另外，图18的(b)所示的图像442上的箭头标记444到446指示从图像442检测到的光流的示例。相似地，图18的(c)所示的图像443的实线部分与图17的(c)所示的图像443的实线部分相同，而图18的(c)所示的图像443的虚线部分与图17的(b)所示的图像442的实线部分相同。另外，图18的(c)所示的图像443上的箭头标记447到449指示从图像443检测到的光流的示例。

如图18的(b)和(c)所示，包括在图像中的人440和背景的山与摄像机的旋转一致地旋转移动。能够基于通过旋转移动检测到的光流针对每帧确定仿射变换参数。

图19是示出了在再现包括图17所示的图像441到443的动态画面的情况下的显示示例的图。

如图19的(a)所示，首先仅显示与先头帧对应的图像441。然后，在要显示与下一帧对应的图像442的情况下，利用与该帧关联的仿射变换参数对图像442进行仿射变换。在图19的(b)所示的图像中，仅对图像442的角度进行变换。然后，对利用仿射变换参数进行了仿射变换的图像442进行覆写，从而使之与对应于直接前帧的图像441重叠。具体地讲，在图像441的区域中的与图像442重叠的区域450中，图像442的图像被覆写。同时，在图像441的区域中的没有与图像442重叠的区域451和452中，对图像441的图像进行合成。具体地讲，在要显示与第二帧对应的图像442的情况下，显示对图像442的整个部分和图像441的与区域451和452对应的部分进行了合成的图像。另外，可以在与当前帧对应的图像周围显示图像框，该图像框表示它内部的图像是显示的图像中的最新图像。在图19的(b)中，图像框显示在图像442上。另外，通过图像442的仿射变换获得的仿射变换参数被存储到图像变换部分150中。

然后，在要显示与下一帧对应的图像443的情况下，利用与该帧关联的仿射变换参数对图像443进行仿射变换。换言之，利用与图像443对应的仿射变换参数的矩阵和用于直接前一仿射变换的与图像442对应的仿射变换参数的矩阵，对图像443进行仿射变换。在图19的(c)所示的图像中，仅对图像443的角度进行变换。然后，对仿射变换后的图像443进行覆写，从而使之与对应于在前帧的图像441和442的合成图像重叠。具体地讲，在图像441和442的合成图像的区域中的与图像443重叠的区域453到457中，图像443的图像被覆写。另一方面，在图像441和442的合成图像的区域中的没有与图像443重叠的区域458到461中，进一步对图像441和442的合成图像进行合成。具体地讲，在要显示与第三帧对应的图像443的情况下，显示如图19的(c)所示显示图像443的整个部分、图像441的与区域459对应的部分和图像442的与区域458和460对应的部分的图像。另一方面，在表示它内部的图像是显示的图像中的最新图像的图像框要显示在与当前帧对应的图像周围的情况下，图像框显示在图19的(c)所示的图像443上。另外，用于图像443的仿射变换参数被存储在图像变换部分150中。换言之，利用与图像442和443对应的仿射变换参数确定的仿射变换参数被存储到图像变换部分150中。

图20是示意性示出了存储在本发明实施例中的动态画面存储部分200中的动态图像文件的帧和显示区域之间的关系的图。这里，仅显示了操作接收部分160、元数据存储部分210和图像存储器250，而省去了这些部件以外的部件的显示。另外，采用如下情况作为示例进行描述：针对如图4的(b)所示的形成动态画面文件201的帧“1”到“3”，利用存储在元数据文件211中的仿射变换参数216，在图像存储器250中生成合成图像。要注意，在图20中，示出了一个动态画面被存储在图像存储器250中的情况作为示例，另外在多个动态画面要存储到图像存储器250中的情况下，执行相似的合成。

图20的(a)示出了作为图4的(b)所示的形成动态画面文件201的帧中的第一帧的帧1(205)被存储到图像存储器250中的情况。例如，如图20的(a)所示，与动态画面文件201的帧1(205)对应的图像471被存储到图像存储器250中。这里，作为图像存储器250的存储与第一帧对应的图像471的位置，图像471可以被存储到预先设置的位置或者可以被存储到由用户通过操作接收部分160指定的位置。或者，例如，可以利用与形成再现对象的多个动态画面相关联的元数据文件或者相对关系元数据的仿射变换参数，从而计算要从多个动态画面的帧生成的合成图像的尺寸并且基于该计算确定要存储图像471的位置。要注意，假定位于图像存储器250上的图像471的左上的位置被确定为原点并且水平方向(横轴)是x轴而垂直方向(纵轴)是y轴而进行下面的描述。

如图20的(a)所示，在图像471位于图像存储器250上的情况下的显示区域被确定为显示区域470。可以基于从多个动态画面生成的合成图像的位置和尺寸，响应于由操作接收部分160接收到的显示倍率的值而确定显示区域470。要注意，能够从仿射变换参数确定图像471上的显示区域470的位置。具体地讲，在指定了用于将当前图像缩小的“0.5倍”的显示倍率的情况下，将用来把x方向和y方向上的缩放分量加倍的那些仿射变换参数用于设置显示区域。另外，针对显示区域平行移动或者关于当前图像旋转的情况，能够利用仿射变换参数确定显示区域的位置和范围。

图20的(b)示出了图4的(b)所示的形成动态画面文件201的帧中的帧2(206)被存储到图像存储器250中的情况。在这种情况下，利用与如上所述的帧号215的“1”和“2”相关联地存储在元数据文件211中的仿射变换参数216，对与帧2(206)对应的图像472进行变换，并且通过覆写将图像472与图像471合成。这里，在当前图像从目前的显示区域的范围内突出的情况下，显示区域可以改变从而使当前图像完全地包括在目前的显示区域的范围。

图20的(c)示出了图4的(b)所示的形成动态画面文件201的帧中的帧3被存储到图像存储器250中的情况。另外，在这种情况下，如上所述，利用与帧号215“1”到“3”相关联地存储在元数据文件211中的仿射变换参数216对与帧3对应的图像473进行变换，并且通过覆写将图像473与图像471和352合成。

如上所述，通过显示存在于位于图像存储器250上的显示区域的范围内的图像，能够连续显示再现期间的合成图像。这里，当对当前图像进行仿射变换并且将它合成到图像存储器684中时，有时候执行诸如用于转换到低分辨率的分辨率转换处理、压缩处理等的画质转换。因此，在要提升显示倍率从而以放大的比例显示当前图像的情况下，包括当前图像的合成图像可能会变模糊。因此，在本示例中，针对当前正在再现的当前图像，将合成到图像存储器250中之前的图像用于显示合成图像。在下文中，参照附图详细描述该显示方法。

图21是示意性示出了本发明实施例中的动态画面存储部分200中存储的动态画面文件的帧流的图。这里，仅示出操作接收部分160、动态画面存储部分200、元数据存储部分210、图像存储器250和显示存储器270的关系，但省去了其它结构的图示。要注意，尽管图21示出了一个动态画面被显示在显示部分290上的情况作为示例，但是在多个动态画面要显示在显示部分290上的情况下，相似地对它们进行合成。

图21的(a)以简化形式示出了图4的(b)所示的动态画面文件201和元数据文件211。在下文中，描述显示了与形成动态画面文件201的帧i(207)对应的图像的示例。换言之，假定针对与形成动态画面文件201的帧1到“i-1”对应的图像，已经生成了合成图像。

图21的(b)示意性示出了图像存储器250，在图像存储器250中存储有合成了与形成动态画面文件201的帧对应的图像的合成图像。如图20的(b)所示，与形成动态画面文件201的帧1(661)对应的图像471首先被存储到图像存储器250中。然后，在图像471被存储到图像存储器250中后，利用与帧2到“i-1”相关联地存储在元数据文件211中的仿射变换参数216的值，对与形成动态画面文件201的帧2到“i-1”对应的图像连续地进行仿射变换，并且通过覆写将仿射变换后的图像连续存储到图像存储器250中。然后，通过显示区域提取部分260针对每帧从存储在图像存储器250中的合成图像中提取响应于来自操作接收部分160的用于指定显示倍率的操作输入等而确定的显示区域中存在的图像。

在与帧1到“i-1”对应的图像的合成图像被存储在图像存储器250中的状态下，利用与帧1到“i”相关联地存储在元数据文件211中的仿射变换参数216，对与形成动态画面文件201的帧i(207)对应的图像进行仿射变换，并且通过覆写将仿射变换后的当前图像474存储到图像存储器250中。然后，通过显示区域提取部分260从存储在图像存储器250中的合成图像提取显示区域470中存在的图像，并且提取的图像例如被存储到如图21的(c)所示的显示存储器270中。

图21的(c)示意性示出了存储有由显示区域提取部分260提取的图像的显示存储器270。这里，针对通过显示区域提取部分260提取的图像之中的与当前帧对应的当前图像475，不使用通过显示区域提取部分260从图像存储器250提取的当前图像474，而是使用从动态画面存储部分200获取并且通过图像变换部分150进行了仿射变换的图像。这里，能够基于图像存储器250中的当前图像474的位置和尺寸以及图像存储器250中的显示区域470的位置和尺寸，确定显示存储器270中的当前图像475的存储位置。例如，在与帧号215的“1”到“i”相关联地存储在元数据文件211中的仿射变换参数的矩阵由A1、...、Ai表示并且用于确定显示区域470的仿射变换参数的矩阵(例如，以图像存储器250为基准的矩阵)由C表示的情况下，能够以图像471的位置为基准利用Inv(C)×A1×...×Ai来确定显示存储器270中的当前图像475的存储位置。

如图21的(c)所示，通过显示区域提取部分260提取的图像被存储到显示存储器270中，并且从动态画面存储部分200获取并且通过图像变换部分150进行了仿射变换的图像通过覆写被存储在由显示区域提取部分260提取的图像上。然后，存储在显示存储器270中的图像显示在显示部分290上。以这种方式，关于当前帧，通过利用在仿射变换后且在对图像进行诸如缩小的处理并被存储到图像存储器250前的状态下的图像，能够显示比较清楚的当前图像。另外，同样在通过用户的操作执行扩大等的情况下，能够以清楚的状态显示当前图像。

如上所述，由于对于当前图像能够利用从动态画面存储部分200获取以后进行仿射变换的图像替代存储在图像存储器250中的合成图像，所以能够看到比较清楚的图像。参照图22和图23详细描述该显示示例。

图22的(a)是示出了在再现通过摄像机拍摄的动态画面的情况下的显示示例的图。在这个示例中，在摄像机主要在左右方向上移动的同时拍摄在大建筑耸立的草地的空地上玩耍的母子的图像的情况下的动态画面的再现过程中的图像480。这里，在图像480中，以全景方式形成从与形成动态画面的各帧对应的图像合成的图像481。另外，与图像480中的当前帧对应的图像是当前图像482。

这里，描述了以放大比例显示由框483包围的图像区域的情况。在显示在显示部分290上的图像将要按放大或缩小比例进行显示的情况下，用户能够操作操作接收部分160上的显示倍率指定键以指定期望的显示倍率。例如，在如图22的(a)所示在显示部分290上显示图像480的情况下，如果由框483包围的图像区域将要以放大比例进行显示，则用户能够操作操作接收部分160上的显示倍率指定键以指定显示倍率并指定位置，从而以放大比例显示由框483包围的图像区域。

图22的(b)是示出了在对图像480中的当前图像482进行仿射变换前的状态下的图像484的图。

图23的(a)是示出了由图22的(a)所示的框483包围的图像区域以放大比例进行显示的情况下的图像485的图。图23的(a)所示的图像485是在仿射变换后的当前图像被存储到图像存储器250前的状态下在显示存储器270中合成的图像。这样，在当前图像486的区域中，在存储到图像存储器250前的状态下的比较清晰的图像被显示在当前图像486的区域中。因此，在将当前图像486与该区域以外的区域相互比较的情况下，能够观察到要比其它区域中更清楚的当前图像486。同时，图23的(b)所示的图像487是在仿射变换后的当前帧被存储在图像存储器250中的状态下存储在显示存储器270中的图像。在以这种方式显示图像487的情况下，在当前图像488的区域中，还显示与其它区域中的图像同程度的图像。具体地讲，对于本发明的实施例，当合成并显示图像时，尽管有时候对存储在显示存储器270中的历史图像进行压缩，但是针对目前的图像(当前图像)，能够利用非压缩图像或者分辨率高于历史图像的图像，因此，能够实现高画质的图像合成显示。

尽管采用将形成一个动态画面的图像彼此合成的情况作为示例进行以上描述，但是在下面的描述中，参照附图详细描述在对两个动态画面的图像进行合成的情况下的合成示例。

图24是示意性示出了在对两个动态画面进行合成的情况下的合成示例。在这个示例中，描述了对形成动态画面500的图像501到514和形成动态画面520的图像521到527进行合成的情况。另外，假定由所应用的斜线指示的图像508和524是与包括在关于动态画面500和520的相对关系元数据中的帧号对应的图像。

在图24的(a)中，示出了如下的情况：利用与各个帧相关联地存储的仿射变换参数对形成动态画面500的图像501到514连续进行仿射变换并且将它们合成在图像存储器250上。例如，与先头帧对应的图像501首先被存储到图像存储器250中。然后，以图像501为基准对图像502到514连续进行仿射变换并且在图像存储器250中进行合成。由仿射变换导致的当前图像的流由箭头标记515指示。换言之，沿着箭头标记515连续合成图像501到514。

在图24的(b)中，示出了如下的情况：利用与各个帧相关联地存储的仿射变换参数对形成动态画面520的图像521到527连续进行仿射变换并且在图像存储器250上进行合成。同时，在图24的(c)中，示出了在利用包括在关于动态画面500和520的相对关系元数据中的仿射变换参数以图像501为基准对图像524进行仿射变换的情况下的图像508和图像524的相对关系位置。这里，图24的(b)所示的合成图像显示了以图24的(c)所示的图像508和图像524的相对关系位置为基准从图像521到527合成的图像。在这种情况下由仿射变换导致的当前图像的流由箭头标记528指示。具体地讲，沿着箭头标记528连续合成图像521到527。图24的(d)示出了在以图24的(c)所示的图像508和图像524的相对关系位置为基准对图24的(a)所示的合成图像与图24的(b)所示的合成图像进行合成的情况下的合成示例。要注意，在图24的(d)所示的示例中，示出了同时再现图像508和524并且通过在动态画面500上覆写动态画面520对同时再现的图像进行合成的示例。

这里，描述了关于各个动态画面的存储位置的特定计算方法。首先，确定形成多个动态画面之一的至少一个动态画面的位置。例如，确定与形成动态画面500的先头帧对应的图像501的位置。这样确定的位置可以由用户通过操作接收部分160指定或者可以利用通过上述的计算计算出的位置进行确定。然后，计算形成其它动态画面的至少一个图像的存储位置。例如，与对应于图像501到514的各个帧关联的仿射变换参数的矩阵由A1到A14表示。同时，与对应于图像521到527的帧关联的仿射变换参数的矩阵由B1到B7表示。另外，与动态画面500和520相关联地存储的相对关系元数据的仿射变换参数的矩阵由C1表示。这里，基准图像是图像501。在图像存储器250上的图像501的存储位置被确定为基准的情况下，通过将A1到A8相乘计算图像508的存储位置。换言之，利用A1×...×A8计算图像508的存储位置。同时，在图像存储器250上的图像501的存储位置被确定为基准的情况下，通过将A1到A8和C1相乘计算图像524的存储位置。换言之，利用A1×...×A8×C1计算图像501的存储位置。这里，例如，在要计算与动态画面520的先头帧对应的图像521的存储位置的情况下，能够通过将A1到A8和C1以及B1到B4的逆矩阵相乘来进行计算。换言之，能够利用“A1×...×A8×C1×Inv(B1×...×B4)”计算图像521的存储位置。此外，能够利用A1到A8和C1以及B1到B4的逆矩阵或B5到B7计算形成动态画面520的任何其它图像的存储位置。

另一方面，在要对形成与包括基准图像的动态画面不同的动态画面的图像进行仿射变换的情况下，利用用于计算与先头帧对应的图像的存储位置的矩阵和与该图像关联的仿射变换参数来执行。例如，在要对动态画面520的图像522进行仿射变换的情况下，利用与图像522对应的矩阵B2，用“A1×...×A8×C1×Inv(B3×B4)”的矩阵进行变换。此外，例如在要对动态画面520的图像523进行仿射变换的情况下，相似地用“A1×...×A8×C1×Inv(B4)”的矩阵进行变换。相似地对动态画面520的每个图像进行变换。

这样，在要对多个动态画面进行合成和再现的情况下，在确定图像存储器250上的动态画面之一的基准图像的位置和尺寸后，能够利用分别与各动态画面关联的元数据文件和与各动态画面关联的相对关系元数据文件，计算每个图像的位置和尺寸。因此，在要对多个动态画面进行合成和再现的情况下，可以从任何位置再现动态画面。例如，在图24的(d)中示出在图像存储器250上对形成动态画面500的图像501到504进行合成后对形成动态画面520的图像521进行合成的示例。具体地讲，同时对图像505和521进行合成，然后同时对图像506和522进行合成。然后，相似地执行合成。要注意，尽管这个示例示出了通过在动态画面500上覆写动态画面520对同时再现的图像进行合成的示例，但是要进行覆写的动态画面可以通过操作接收部分160进行指定。

图25是示意性示出了在对两个动态画面进行合成的情况下的合成示例的图。在图25的(a)中，示出了形成动态画面530的图像531到537的迁移，在图25的(b)中，示出了形成另一动态画面540的图像541到547的迁移，而图25的(c)示出了作为合成了动态画面530和540的合成图像的图像551到557的迁移。要注意，假定动态画面530和540是在时刻t1到时刻t7记录的动态画面。另外，假定时刻t3的图像533和543是与图9所示的图像370和376对应的图像，并且针对图像533和543已执行了图9所示的一致点的选择操作。另外，假定利用通过选择操作计算出的相对关系元数据对动态画面530和540进行合成。

图26是示出了在图25所示的合成图像显示在显示部分290上的情况下的显示示例的图。图像561到567是表示从动态画面530和540合成的合成图像的迁移的图像，并且实线指示当前图像而虚线指示当前图像之前的每个图像的区域。如图26所示，图9所示的房子371周围的背景以从房子371扩张的方式进行显示。在以这种方式同时再现利用不同摄像机在基本相同的位置拍摄的动态画面530和540的情况下，通过对动态画面530和540进行合成，能够在观看背景等的同时再现并欣赏这两个动态画面，这在普通的动态画面上通常是无法观察到的。另外，通过对动态画面530和540进行合成，能够容易地掌握动态画面530和540的图像拍摄位置的相对关系。尽管这个示例示出了关于同时进行拍摄的图像通过在形成动态画面530的图像上覆写来合成形成动态画面540的图像的示例，但是可以响应于来自操作接收部分160的操作输入选择应该覆写哪个图像。另外，尽管描述了根据时间对相同图像拍摄时刻的图像进行合成的示例，但是可以从与来自操作接收部分160的操作输入对应的位置对不同时间点的图像连续进行合成。

在以上描述中，利用与两个动态画面关联的相对关系元数据中的一个仿射变换参数对两个动态画面进行合成和再现。在下文中，参照附图详细描述如下的示例：在两个或更多仿射变换参数位于与两个动态画面关联的相对关系元数据中的情况下，这两个或更多仿射变换参数被用于合成并再现两个动态画面。在这个示例中，参照附图详细描述一种在对两个动态画面进行合成并再现的情况下利用两个或更多仿射变换参数对动态画面之间的位置关系的位移进行插值的线性插值方法。

图27是示意性示出了本发明实施例中的记录在动态画面存储部分200和相对关系信息存储部分220中的文件的图。在这个示例中，图27是示意性示出了存储在动态画面存储部分200中的动态画面文件(#10)600和(#11)610以及与动态画面文件(#10)600和(#11)610相关联地存储在相对关系信息存储部分220中的相对关系元数据文件630的图。在这种情况下，描述了如下的示例：形成动态画面文件(#10)600和(#11)610的帧“1”601和另一帧“9”609以及形成动态画面文件(#11)610的另一帧“1”611和另一帧“9”619与存储在相对关系信息存储部分220中的相对关系元数据文件630相关联地存储。要注意，这里省去了对存储在动态画面存储部分200中的动态画面文件的结构的描述，因为它与图4和图5所示的动态画面文件的结构相同。另外，这里省去了对存储在相对关系信息存储部分220中的相对关系元数据文件的结构的描述，因为除了两个仿射变换参数存储在一个相对关系元数据文件中以外，它与图5所示的相对关系元数据文件的结构相似。

在相对关系元数据文件630中，动态画面ID 224、帧号225和仿射变换参数226相互关联地存储。另外，关于形成动态画面文件(#10)600和(#11)610的图像之中的两个图像的相对关系的仿射变换参数被存储在相对关系元数据文件630中。要注意，尽管在这个示例中描述了存储有两个仿射变换参数的示例，但是也可适用于存储有三个或更多仿射变换参数的其它情况。

图28是示意性示出了形成图27所示的动态画面文件(#10)600和(#11)610的图像以及基于包括在这些图像中的图像拍摄对象而合成的图像的图。图28的(a)示出了形成动态画面文件(#10)600的图像A1(601)到A9(609)和形成动态画面文件(#11)610的图像B1(611)到B9(619)。另外，图28的(b)是示出了基于包括在图像A1(601)到A9(609)和B1(611)到B9(619)中的图像拍摄对象从这些图像合成的图像720。要注意，在图28中，省去了一些图像。

在图28的(a)和(b)中，假定在图像A1(601)和图像B1(611)以及图像A9(609)和图像B9(619)中包括一致图像拍摄对象。包括图像A1(601)和图像B1(611)中的一致图像拍摄对象的区域分别被定义为区域721和722，并且包括图像A9(609)和图像B9(619)中的一致图像拍摄对象的区域分别被定义为区域723和724。

这里，考虑如下的情况：例如，利用与图像A1(601)和图像B1(611)相关联地存储在相对关系元数据文件630中的仿射变换参数“ar、br、cr、dr、er、fr”来再现动态画面。在这种情况下，以图像B1(611)的位置为基准对图像A1(601)进行仿射变换。然后，对图像A2(602)和后续图像连续地进行仿射变换，并且对图像B2(612)和后续图像连续地进行仿射变换。结果，图像A9(609)的区域723与图像B9(619)的区域724彼此重叠的、图像A9(609)和图像B9(619)之间的位置关系应该表现出正确的位置关系。然而，在通过多个仿射变换操作将由摄像机工作检测部分120计算出的仿射变换参数的误差累积为比较高的值的情况下，本来应该在准确位置彼此重叠的图像A9(609)和图像B9(619)可能不会彼此重叠，例如，如图29的(a)所示。

图29的(a)是示出了在在利用与图像A1(601)和图像B1(611)关联的仿射变换参数“ar、br、cr、dr、er、fr”对动态图像文件(#10)600和(#11)610进行仿射变换的同时对它们进行合成的情况下的合成示例的图。在图29的(a)所示的示例中，示出了如下的示例：对与各个帧关联的仿射变换参数的误差进行累积从而对图像A1(601)到图像A9(609)进行单独变换以向上进行位移。

在如图28的(b)所示本来应该在准确位置彼此重叠的图像A9(609)和图像B9(619)如图29的(a)所示没有彼此重叠的情况下，尽管图像A9(609)的区域723和图像B9(619)的区域724包括相同对象，但是该相同对象显示在不同的位置。在这种情况下，准确地再现图像拍摄对象可能会变得困难。另外，当在对后续图像进行仿射变换的同时对它们进行合成的情况下，仿射变换参数的误差的累积增大，导致可能会无法准确地再现图像拍摄对象。

因此，作为一个可行的主意，例如，可以利用与图像A9(609)和图像B9(619)相关联地存储在相对关系元数据文件630中的仿射变换参数“as、bs、cs、ds、es、fs”如图29的(b)所示对图像A9(609)的位置进行校正。例如，可以以图像B9(619)为基准利用仿射变换参数“as、bs、cs、ds、es、fs”对图像A9(609)进行仿射变换，从而如箭头标记625所示将图像A9(609)移动到准确位置。然而，在这种情况下，由于图像A8(608)和图像A9(609)的位置彼此远离，所以当显示图像A9(609)时，显示了不自然的图像。因此，在这个示例中，描述了基于与图像A9(609)和图像B9(619)关联的仿射变换参数“as、bs、cs、ds、es、fs”对图像A1(601)到图像A9(609)进行线性插值的示例。

这里，能够以图像B1(611)的位置为基准利用仿射变换参数“ar、br、cr、dr、er、fr”计算图像A1(601)的位置。同时，能够利用与各个帧对应的仿射变换参数计算图像A2(602)到A9(609)的位置。另外，能够以图像B9(619)的位置为基准利用仿射变换参数“as、bs、cs、ds、es、fs”计算图像A9(609)的位置。

因此，确定了基于与图像A1(601)和图像B1(611)关联的仿射变换参数“ar、br、cr、dr、er、fr”和与图像A1(601)到图像A9(609)关联的仿射变换参数计算出的图像A9(609)的位置与以图像B9(619)为基准利用仿射变换参数“ar、br、cr、dr、er、fr”计算出的图像A9(609)的位置之间的位移，并且生成了相等地分配该位移的矩阵。然后，通过利用基于该位移计算出的矩阵校正与图像A2(602)到图像A9(609)关联的仿射变换参数，能够执行图像A2(602)到图像A9(609)的插值。藉此，随图像A2(602)到图像A8(608)出现的位移能够用于对准确位置进行校正。

这里，描述了用于校正与每个图像关联的仿射变换参数的插值矩阵的计算方法。对应于与图像A1(601)到图像A9(609)关联的仿射变换参数的矩阵分别由Ca1到Ca9表示；对应于与图像B1(611)到图像B9(619)关联的仿射变换参数的矩阵分别由Cb1到Cb9表示；对应于与图像A1(601)到图像B1(611)关联的仿射变换参数“ar、br、cr、dr、er、fr”的矩阵由AM1表示；对应于与图像A9(609)和图像B9(619)相关联地存储在相对关系元数据文件630中的仿射变换参数“as、bs、cs、ds、es、fs”的矩阵由AM2表示。

在图像B1(611)被确定为基准的情况下用于计算图像A9(601)的位置的矩阵Pa9由下面的表达式3表示：

Pa9＝Cb1×Cb2×...×Cb9×AM2     ...(表达式3)

同时，在图像B1(611)被确定为基准的情况下用于计算图像A9(601)的位置的矩阵P′a9也可由下面的表达式4表示：

P′a9＝AM1×Ca1×Ca2×...×Ca9   ...(表达式4)

这里，由于矩阵Pa9和P′a9是在图像B1(611)被确定为基准的情况下用于计算图像A9(601)的位置的矩阵，所以它们应该彼此相同。然而，如上所述，矩阵Pa9和P′a9有时候会有位移。因此，在表示矩阵Pa9和P′a9之间的位移的矩阵被表示为误差矩阵Ea9的情况下，由于Ea9×P′a9＝Pa9，所以误差矩阵Ea9可通过下面的表达式5计算：

Ea9＝Pa9×Inv(P′a9)    ...(表达式5)

现在，参照附图详细描述基于表示位移的误差矩阵计算插值矩阵的插值矩阵计算方法。

图30是示出了在基于表示位移的误差矩阵计算插值矩阵的情况下的计算方法的概要的图。在该图中，示出了在横坐标轴是x轴并且纵坐标轴是y轴的情况下的曲线图。另外，在这个示例中，描述了基于误差矩阵Ea9计算三个插值矩阵的示例。

首先，在该图所示的曲线图上，布置有三角形570，它的三个顶点位于坐标(0，0)、(1，0)和(0，1)处。然后，将三角形570与误差矩阵Ea9相乘以计算移动目的地的三角形。例如，移动目标的三角形被设置为三角形571。在这种情况下，计算将三角形570和571的顶点互连的三个运动矢量572到574。

然后，将计算出的运动矢量划分成多个部分，其数目等于要计算的插值矩阵的数目。然后，划分成插值矩阵的数目的运动矢量的划分点被用于形成三角形。例如，运动矢量572到574中的每个被划分成三部分，并且生成了顶点位于划分点的三角形575和576。

然后，从首先布置的三角形570计算用于对新生成的三角形575、576和571进行仿射变换的仿射矩阵。然后，将以这种方式计算出的仿射矩阵确定为插值矩阵。例如，在该图中，计算三个插值矩阵。要注意，三个插值矩阵之一是误差矩阵Ea9。

如上所述，能够基于误差矩阵Ea9计算预定数目的插值矩阵。因此，通过在该图中所示的插值矩阵计算方法基于误差矩阵Ea9计算八个插值矩阵，并且将这些插值矩阵指示为插值矩阵Int(Interporate：插值)1到Int8。这里，插值矩阵Int1对图像A2(602)的仿射变换参数进行校正，并且插值矩阵Int2对图像A3(603)的仿射变换参数进行校正。其它插值矩阵相似地对仿射变换参数进行校正，并且插值矩阵Int8对图像A9(609)的仿射变换参数进行校正。另外，Int8＝Ea9。

图31是示出了在上述的插值矩阵Int1到Int9被用于对图像A2(602)到A9(609)进行变换的情况下的合成示例的图。在图31的(a)中，图像A2(602)到A9(609)由虚线指示，并且校正后的图像A2(602)到A9(609)由实线指示，并且它们的迁移由箭头标记指示。在图31的(b)中，示出了校正后的图像A1(601)到A9(609)和图像A1(601)到A9(609)。

通过利用以如上所述的方式确定的插值矩阵Int1到Int8对图像A2(602)到A9(609)连续进行变换，能够消除随图像A2(602)到A8(608)发生的位移从而将它们校正到如图所示的各个准确位置。例如，在矩阵Int1到Int8被用于对图像A2(602)到A9(609)进行变换的情况下，在要对图像A2(602)进行仿射变换的情况下，利用矩阵(AM1×Ca1×Ca2×Int1)进行仿射变换。另外，在要对图像A3(603)进行仿射变换的情况下，利用矩阵(AM1×Ca1×Ca2×Ca3×Int2)进行仿射变换。这相似地适用于其它图像的仿射变换，并且在要对图像A9(609)进行仿射变换的情况下，利用矩阵(AM1×Ca1×Ca2×...×Ca9×Int8)进行仿射变换。

要注意，替代对所有的图像A2(602)到A8(608)进行校正，例如，可以仅对位于这些图像的中间的图像A5(605)进行校正或者可以仅对交替的图像A3(603)、A5(605)和图像A7(607)进行校正。在这种情况下，基于形成校正对象的图像的数目计算插值矩阵int。

要注意，在针对比较大数目的图像通过利用插值矩阵执行校正而对多个动态画面进行合成的同时进行再现的情况下，关于动态画面的合成可以进行平滑定位。因此，用户能够容易地观察到形成动态画面的图像的迁移。要注意，尽管在这个示例中描述了将两个动态画面之一确定为基准动态画面并且对该基准动态画面以外的其它动态画面进行线性插值的示例，但是该插值矩阵计算方法还可以相似地应用于针对两个动态画面执行线性插值的另一情况。

现在，描述在对通过摄像机实际拍摄的多个动态画面进行合成和再现的情况下的显示示例。在下面描述的显示示例中，描述了如下的示例：仅在显示部分290的显示区域内的显示与形成多个动态画面中的至少一个的当前帧和前一帧对应的图像的区域中显示合成图像，而其它区域显示为黑暗。另外，在与当前帧对应的图像周围显示框。换言之，显示了形成再现对象的动态画面的数目的框。要注意，在下面描述的显示示例中，示出了从两个动态画面的再现过程的中途开始的显示示例。另外，尽管在该图中实际上针对每个帧连续显示了合成图像，但是在图中示出了每预定数目的帧间隔的显示示例，而省去了在这些帧之间显示的合成图像的显示。因此，以扩大的方式在附图中示出了与当前帧对应的框的移动。

图32到36是示出了通过摄像机拍摄的多个动态画面的迁移示例的图。在这些附图中，示出了形成在两个摄像机移动的同时由这两个摄像机同时连续拍摄在公园的空地上游戏的一个家庭的成员的图像的情况下的动态画面的图像730到744。在这个示例中，尽管描述了同时再现相同图像拍摄时刻的动态画面的示例，但是可以与图像拍摄时刻无关地在动态画面之间的再现时刻有位移的情况下对这些动态画面进行再现。

在附图所示的图像730到744中，与当前帧对应的图像是图像750和751。要注意，在附图所示的图像730到744中，即使当前图像的合成图像彼此不同，也用相同的附图标号750和751表示当前图像。如附图所示，包括在拍摄的图像中的图像拍摄对象物(公园的空地等)被固定在屏幕上，并且与当前帧对应的图像750和751根据每个摄像机的移动在屏幕上移动。通过利用这种显示，与当前帧对应的两个图像能够向访问人员进行显示，从而它们能够根据两个摄像机的移动在显示部分290上显示为黑暗的显示区域上移动。另外，由于利用相对关系信息对这两个动态画面相关联地合成，所以从这两个动态画面生成的合成图像被显示为好像它是由一个动态画面形成的。另外，在当前图像在合成图像上移动的情况下，它以将合成图像上的位置和当前图像上的位置彼此合成的方式移动。

图37和38是示出了通过摄像机拍摄的动态画面的迁移示例的图。在这些图中，示出了对图32到图36所示的两个动态画面逐个进行再现的情况。图37和图38所示的图像760到765是与图34所示的图像736到738基本相同时刻的图像。要注意，在图37和38所示的图像760到765中，在与当前帧对应的图像周围添加框。这样，在将图32到36所示的图像730到744与图37和38所示的图像760到765相互比较的情况下，在图32到36所示的图像730到744中的比较大的区域上生成合成图像。因此，观众能够更容易地观察合成图像。

尽管在上述说明中描述了利用存储有关于两个动态画面的仿射变换参数的相对关系元数据文件在对这两个动态画面进行再现的同时对它们进行再现的示例，但是可以将关于三个或更多动态画面的仿射变换参数存储到一个相对关系元数据文件中并且利用这些仿射变换参数在对三个或更多动态画面进行合成的同时对它们进行再现。在下文中，参照附图详细描述在对三个或更多动态画面进行合成的同时对它们进行再现的示例。

图39是示意性示出了本发明实施例中的记录在动态画面存储部分200和相对关系信息存储部分220中的文件的图。在这个示例中，图39是示意性示出了存储在动态画面存储部分200中的动态画面文件(#12)651到(#14)653以及与动态画面文件(#12)651到(#14)653相关联地存储在相对关系信息存储部分220中的相对关系元数据文件660的图。在这个示例中，描述了关于三个动态画面文件(#12)651到(#14)653的仿射变换参数被存储到这个相对关系元数据文件660中的示例。要注意，这里省去了存储在动态画面存储部分200中的动态画面文件的结构的描述，因为这种结构与图4和图5等所示的动态画面文件的结构相似。另外，这里省去了存储在相对关系信息存储部分220中的相对关系元数据文件的结构的描述，因为除了关于三个或更多动态画面的仿射变换参数存储在这个相对关系元数据文件中以外，该结构与图5所示的相对关系元数据文件的结构相似。

动态画面ID 224、帧号225和仿射变换参数226相互关联地存储在相对关系元数据文件660中。另外，关于形成动态画面文件(#12)651到(#14)653的图像之中的每两个图像的相对关系的仿射变换参数被存储在相对关系元数据文件630中。具体地讲，在形成动态画面文件(#12)651的帧“2”654被确定为基准的情况下用于计算形成动态画面文件(#13)652的帧“5”656的位置的仿射变换参数“at、bt、ct、dt、et、ft”以及在形成动态画面文件(#12)651的帧“9”655被确定为基准的情况下用于计算形成动态画面文件(#14)653的帧“6”657的位置的仿射变换参数“au、bu、cu、du、eu、fu”被存储在相对关系元数据文件630中。因此，在在对三个动态画面进行合成的同时对它们进行再现的情况下，能够考虑这三个动态画面的相对关系来再现这些动态画面。

图40是示出了在选择了包括在关于三个动态画面的图像中的一致点的情况下的图像的图。要注意，图40的(a)和(b)所示的图像370和376与图9的(a)和(b)所示的图像370和376相同，并且假定选择了一致点372到374以及377到379。另外，假定在图40的(b)所示的图像376中，作为一致点377到379以外的一致点，选择位于房子371的右侧的电线杆的上部671到673。假定在图40的(c)所示的图像674中，选择了电线杆的上部675到677。要注意，这里省去了对图40的(a)到(c)所示的图像上一致点的选择以及仿射变换参数的计算的描述，这是因为它们与图9所示的方法相似。

图41是示出了基于在关于三个动态画面的图像上选择的一致点来合成三个图像的情况的示例的图。图41显示了利用基于在图40的(a)到(c)所示的图像370、376和674上选择的一致点计算出的仿射变换参数，通过图像370、376和674的仿射变换而合成的合成图像680。通过以这种方式利用计算出的仿射变换参数对三个动态画面进行合成，产生了合成图像680，在合成图像680中在比每个图像中的背景的范围更大的范围上包括房子371周围的背景。

图42是示意性示出了在对三个动态画面进行合成的情况下的合成示例的图。在这个示例中，描述对形成动态画面500的图像501到514、形成另一个动态画面520的图像521到527以及形成另一个动态画面690的图像691到697进行合成的情况。要注意，这里省去了对形成动态画面500的图像501到514以及形成动态画面520的图像521到527的描述，因为它们与图4所示的相同。另外，假定由施加于内部的斜线指示的图像508和524是与包括在关于动态画面500和520的相对关系元数据中的帧号对应的图像，相似地，由施加于内部的斜线指示的图像510和694是与包括在关于动态画面500和690的相对关系元数据中的帧号对应的图像。除了图像510由施加于其内部的斜线指示以外，图42的(a)所示的动态画面500与图24所示的动态画面500相似。

图42的(b)示出了如下的情况：利用与各个帧相关联地存储的仿射变换参数对形成动态画面690的图像691到697连续进行仿射变换，然后在图像存储器250上进行合成。这里，图42的(b)所示的合成图像是在以图像510和图像694的相对关系位置为基准对图像691到697进行合成的情况下的合成图像。在这种情况下通过仿射变换导致的当前图像的流由箭头标记698指示。换言之，沿着箭头标记698连续地合成图像691到697。在图42的(c)中显示了在以图像510和图像694的相对关系位置为基准以这种方式对图42的(a)所示的合成图像、图42的(b)所示的合成图像和图24的(b)所示的合成图像进行合成的情况下的合成示例。要注意，在图42的(c)所示的示例中，示出了同时再现图像508和524并且同时再现图像510和694的示例，并且示出了对同时再现的图像进行合成从而使动态画面520覆写在动态画面500上并且使动态画面690覆写在动态画面500上的示例。要注意，针对关于动态画面的特定存储位置的计算方法，能够利用与图24所示的计算方法相似的计算方法。要注意，即使在关于形成再现对象的多个动态画面的相对关系元数据不存在的情况下，仍可以利用关于其它动态画面的相对关系元数据来合成并再现作为再现对象的多个动态画面。例如，在对图42的(c)所示的动态画面500、动态画面520和动态画面690之中的动态画面520和动态画面690进行合成的情况下，可以使用关于动态画面500和520的相对关系元数据和关于动态画面500和690的相对关系元数据来计算在动态画面520和动态画面690之一被确定为基准动态画面的情况下这两者中的另一动态画面的位置。例如，在动态画面520被确定为基准动态画面的情况下，能够利用图像508和图像524的相对关系位置计算形成动态画面500的图像508的位置。另外，能够基于图像508计算图像510的位置。然后，能够利用图像510和图像694的相对关系位置计算在图像510被确定为基准的情况下形成动态画面690的图像的位置。以这种方式，还能够通过动态画面500对没有共同的相对关系元数据的动态画面520和动态画面690进行合成和再现。这还可以相似地应用于通过两个或更多动态画面对多个动态画面进行合成和再现的情况。

图43是示出了在对静止画面和多个动态画面进行合成的情况下的示例的图。图43的(a)是示出了作为静止画面的图像701到718被存储在图像存储器250中的情况的图，图43的(b)是示出了通过在存储在图像存储器250上的图像701到718上进行覆写对动态画面500、520和690进行合成的情况的图。在该图中，图像701到718的框线由粗线指示。如图中所示，能够与多个动态画面一起合成静止画面。在这种情况下，关于静止画面与形成动态画面的至少一个图像之间的相对关系的仿射变换参数被存储作为相对关系元数据文件，并且这个相对关系元数据文件用于执行合成。另外，可以在形成动态画面的图像之间合成静止画面，或者可以在动态画面上合成静止画面。

另外，根据本发明实施例的图像处理设备100可以连接到诸如互联网的网络，从而可以与经由网络接收到的图像或动态画面相结合地再现动态画面。例如，图像处理设备能够经由互联网接收预定公园的风景图像，然后在作为接收到的公园的风景图像的背景图像上对拍摄了孩子的图像的动态画面进行合成的同时再现该动态画面。藉此，能够提供孩子在公园中移动的这种人造再现图像。

现在，参照附图描述根据本发明实施例的图像处理设备100的操作。

图44是示出了根据本发明的实施例的图像处理设备100通过手动操作进行的一致点选择处理的处理过程的流程图。

首先，判断操作接收部分160是否接收到再现存储在动态画面存储部分200中的动态画面的指令(步骤S921)。如果操作接收部分160没有接收到再现动态画面的指令(步骤S921)，则处理前进到步骤S923。如果操作接收部分160接收到再现动态画面的指令(步骤S921)，则文件获取部分140获取指定的动态画面文件，并且获取的动态画面文件的动态画面显示在显示部分290上(步骤S922)。

然后，判断操作接收部分160是否接收到由显示部分290正在再现的动态画面的停止指令(步骤S923)。如果操作接收部分160没有接收到正在再现的动态画面的停止指令(步骤S923)，则处理前进到步骤S925。如果操作接收部分160接收到正在再现的动态画面的停止指令(步骤S923)，则停止指令的对象的动态画面的再现操作停止并且建立了当接收到停止指令时的动态画面的图像保持显示在显示部分290上的状态(步骤S924)。

然后，一致点选择部分170选择由用户在显示在显示部分290上的图像上指定的位置作为一致点。然后，判断是否在同一图像上指定了三个点的位置(步骤S925)。如果在同一图像上没有指定三个点的位置(步骤S925)，则处理返回到步骤S921，从而重复一致点选择处理(步骤S921到S924)。另一方面，如果在同一图像上指定了三个点的位置(步骤S925)，则一致点选择部分170判断操作接收部分160是否接收到基于指定的位置计算相对关系信息的指令(步骤S926)。

如果没有接收到计算相对关系信息的指令(步骤S926)，则处理返回到步骤S921以重复一致点选择处理。另一方面，如果接收到计算相对关系信息的指令时(步骤S926)，则一致点选择部分170判断是否在形成至少两个动态画面的每个相同图像上选择了三个一致点(步骤S927)。

如果没有在形成至少两个动态画面的每个相同图像上选择三个一致点(步骤S927)，则处理返回到步骤S921以重复一致点选择处理。另一方面，如果在形成至少两个动态画面的每个相同图像上选择了三个一致点(步骤S927)，则一致点选择部分170将选择的一致点在图像上的位置与对应图像和动态画面相关联地输出到相对关系信息计算部分180(步骤S928)。

然后，相对关系信息计算部分180基于至少从一致点选择部分170输出的两个图像上的一致点的位置，计算仿射变换参数(步骤S928)。然后，记录控制部分130将计算出的仿射变换参数和与计算出的仿射变换参数对应的动态画面的动态画面ID以及图像的帧号相互关联地存储到相对关系信息存储部分220中(步骤S929)。

图45是示出根据本发明实施例中的图像处理设备100的一致点搜索处理的处理过程的流程图。在这个示例中，描述了将特征量预先登记在模型字典登记单元344中并且利用这些特征量执行对一致点的搜索的示例。

首先，判断操作接收部分160是否接收到针对动态画面选择的操作输入(步骤S931)。如果操作接收部分160没有接收到针对动态画面选择的操作输入(步骤S931)，则等待接收针对动态画面选择的操作输入。另一方面，如果操作接收部分160接收到到针对动态画面选择的操作输入(步骤S931)，则动态画面获取单元141响应于来自操作接收部分160的针对动态画面选择的操作输入获取存储在动态画面存储部分200中的动态画面文件(步骤S932)。

然后，多重分辨率生成单元345生成形成获取的动态画面的多重分辨率图像(步骤S933)。然后，特征点提取单元346提取关于多重分辨率图像的不同分辨率的图像的特征点(步骤S934)。然后，特征量提取单元347提取所提取的特征点的至少两个局部特征量(步骤S935)。

然后，特征量比较单元349将提取的特征点特征量与登记在模型字典登记单元344中并且表示为由kd树构建单元348构建的kd树的特征点特征量相互比较，以计算相似度(步骤S936)。然后，特征量比较单元349选择指示通过计算确定的相似度的最高值的特征点的组合作为一致点(步骤S937)。

然后，相对关系信息计算部分180基于每个选择的一致点的位置计算仿射变换参数(步骤S938)。然后，记录控制部分130将计算出的仿射变换参数以及关于该仿射变换参数的计算的对象的两个图像的动态画面ID和帧号记录在相对关系信息存储部分220中(步骤S939)。

图46是示出根据本发明实施例的图像处理设备100进行的多个动态画面的合成再现处理的处理过程的流程图。

首先，判断操作接收部分160是否接收到从存储在动态画面存储部分200中的多个动态画面文件中选择至少两个动态画面文件的选择操作(步骤S961)。如果没有接收到选择至少两个动态画面文件的选择操作(步骤S961)，则处理返回到步骤S961。另一方面，如果接收到选择至少两个动态画面文件的选择操作(步骤S961)，则判断操作接收部分160是否接收到指定多动态画面合成再现模式的指定操作(步骤S962)。

如果接收到指定多动态画面合成再现模式的指定操作(步骤S962)，则判断在相对关系信息存储部分220中是否存在与每个选择的动态画面文件关联的相对关系元数据文件(步骤S963)。如果存在与每个选择的动态画面文件关联的相对关系元数据文件(步骤S963)，则执行多动态画面合成再现处理(步骤S970)。参照图47详细描述该多动态画面合成再现处理。

另一方面，如果没有接收到指定多动态画面合成再现模式的指定操作(步骤S962)或者如果不存在与每个选择的动态画面文件关联的相对关系元数据文件(步骤S963)，则再现并显示每个选择的动态画面文件(步骤S964)。作为这种再现显示，执行多个动态画面的通常再现。

图47是示出根据本发明实施例的图像处理设备100进行的多动态画面合成再现处理的处理过程(图46所示的步骤S970中的处理过程)的流程图。在这个示例中，描述了利用与形成一个动态画面的图像中的先头帧对应的图像作为这个动态画面的基准图像。

首先，在图像存储器250中确保尺寸大于形成动态画面的图像的尺寸的工作缓冲器(步骤S971)。然后，文件获取部分140从动态画面存储部分200获取由操作接收部分160选择的多个动态画面文件并且从元数据存储部分210或者相对关系信息存储部分220获取与该动态画面文件关联的元数据文件和相对关系元数据文件(步骤S972)。

然后，对象图像变换信息计算部分190基于元数据文件和相对关系元数据文件的仿射变换参数，计算用于在将形成成为再现对象的多个动态画面中的一个动态画面的至少一个图像确定为基准图像并且将形成其它动态画面的图像确定为对象图像的情况下的对象图像的变换的仿射变换参数(对象图像变换信息)(步骤S973)。然后，校正值计算部分230基于元数据文件和相对关系元数据文件的仿射变换参数，基于存储在相对关系元数据文件中的至少两个仿射变换参数以及元数据文件的仿射变换参数，计算用于校正由于仿射变换导致的图像位置的位移的校正值(步骤S974)。

然后，文件获取部分140对动态画面文件进行解码以关于这些动态画面文件获取作为形成每个动态画面文件的一帧的当前帧(步骤S975)。然后，文件获取部分140从元数据文件获取与获取的当前帧对应的仿射变换参数(步骤S976)。这里，在当前帧是先头帧的情况下，获取单位矩阵的仿射变换参数。

然后，图像变换部分150利用仿射变换参数对与当前帧对应的图像进行仿射变换(步骤S977)。这里，利用对象图像变换信息(仿射变换参数)和与形成动态画面的图像对应的仿射变换参数，对成为再现对象的多个动态画面之中的与基准动态画面不同的其它动态画面进行仿射变换。另外，在通过校正值计算部分230计算校正值的情况下，当要对成为校正对象的图像进行变换时，使用计算出的校正值来校正仿射变换参数的值并且将校正后的仿射变换参数用于对与当前帧对应的图像进行仿射变换。要注意，在当前帧是先头帧的情况下，当对基准图像进行变换时，由于使用单位矩阵执行仿射变换，所以实际图像没有被变换。另外，在对基准动态画面以外的任何其它动态画面的图像进行变换的情况下，使用仿射变换参数(对象图像变换信息)对与先头帧对应的图像进行变换。换言之，除了基准图像以外，与形成动态画面的先头帧对应的图像以仿射变换后的状态存储在图像存储器250中。

然后，图像合成部分240通过在与当前帧之前的帧对应的图像的合成图像上进行覆写来合成与当前帧对应的仿射变换后的图像，并且将合成有与当前图像对应的图像的图像存储到图像存储器250中(步骤S978)。这里，在与先头帧对应的图像是基准图像的情况下，将该图像以非仿射变换的状态存储到图像存储器250中。另外，如果与先头帧对应的图像不是基准图像，则基于通过对象图像变换信息计算部分190计算出的仿射变换参数进行了仿射变换的图像被存储到图像存储器250中。另外，在与两个动态画面对应的两个当前图像彼此重叠的情况下，将它们中的一个通过覆写进行合成。用户可以通过操作接收部分160选择要进行覆写的动态画面，或者可以预先将形成与基准图像对应的动态画面的图像和形成与对象图像对应的动态画面的图像中的一个确定为要进行覆写的动态画面。或者，在合成再现期间，可以通过操作接收部分160改变要进行覆写的动态画面。

然后，显示区域提取部分260利用与指定的显示倍率和位置对应的仿射变换参数，确定显示区域的位置和尺寸(步骤S979)。然后，显示区域提取部分260从图像存储器250提取包括在该显示区域中的合成图像(步骤S980)。然后，显示区域提取部分260将从图像存储器250提取的合成图像存储到显示存储器270中(步骤S981)。

然后，显示区域提取部分260利用用于当前图像的变换中的仿射变换参数的矩阵和用于确定显示区域的仿射变换参数的矩阵的逆矩阵，确定显示存储器270中的当前图像的位置(步骤S982)。在这种情况下，确定了关于两个当前图像的位置。然后，图像合成部分240通过在存储在显示存储器270中的合成图像上进行覆写，对两个仿射变换后的当前图像进行合成(步骤S983)。然后，存储在显示存储器270中的合成图像显示在显示部分290上(步骤S984)。

然后，判断形成输入的动态画面文件的帧中的每个当前帧是否是最后帧(步骤S985)。如果当前帧不是最后帧(步骤S985)，则处理返回到步骤S975以重复合成图像显示处理(步骤S975到S984)。另一方面，如果当前帧是最后帧(步骤S985)，则释放所确保的工作缓冲器(步骤S986)，并且动态画面再现处理结束。

现在，参照附图详细描述在本发明的实施例中通过多核处理器执行特征点提取处理和光流计算处理的情况。

图48是示出了本发明的实施例中的多核处理器800的结构示例的图。多核处理器800是不同类型的多个处理器核被包括在一个CPU(中央处理单元)封装中的处理器。具体地讲，为了保持每个处理器核的处理性能并且实现简单结构，多核处理器800包括两个不同类型的多个处理器核，包括：与所有用途(应用)对应的一种类型的核；以及针对预定应用进行了一定程度的优化的另一种类型的核。

多核处理器800包括控制处理器核801、数学运算处理器核(#1)811到(#8)818和总线802，并且连接到主存储器781。此外，多核处理器800连接到其它装置，例如图形装置782和I/O装置783。作为多核处理器800，例如，能够采用“Cell(赛尔：Cell BroadbandEngine)”(本发明的受让人开发的微处理器)等。

控制处理器核801是主要执行操作系统的频繁线程切换等的控制处理器核。要注意，参照图49详细描述控制处理器核801。

数学运算处理器核(#1)811到(#8)818是擅于多媒体类型的处理的简单的小型数学运算处理器核。要注意，参照图50详细描述数学运算处理器核(#1)811到(#8)818。

总线802是称作EIB(Element Interconnect Bus，部件互连总线)的高速总线，并且控制处理器核801和数学运算处理器核(#1)811到(#8)818通过总线802彼此连接从而通过总线802执行每个处理器核的数据访问。

主存储器781连接到总线802并且是存储要加载到处理器核中的各种程序和处理器核的处理所需的数据并且存储由处理器核处理过的数据的主存储器。

图形装置782是连接到总线802的图形装置，并且I/O装置783是连接到总线802的外部输入/输出装置。

图49是示出了本发明的实施例中的控制处理器核801的结构示例的图。控制处理器核801包括控制处理器单元803和控制处理器存储系统806。

控制处理器单元803是用作执行控制处理器核801的数学运算处理的核的单元并且包括基于微处理器的架构的指令集，并且指令高速缓冲存储器804和数据高速缓冲存储器805作为一级高速缓冲存储器包括在控制处理器单元803中。指令高速缓冲存储器804是例如32KB的指令高速缓冲存储器，并且数据高速缓冲存储器805是例如32KB的数据高速缓冲存储器。

控制处理器存储系统806是用于控制从控制处理器单元803到主存储器781的数据访问的单元，并且512KB的二级高速缓冲存储器807被包括在控制处理器存储系统806中以加速控制处理器单元803的存储器访问。

图50是示出了本发明的实施例中的数学运算处理器核(#1)811的结构示例的图。数学运算处理器核(#1)811包括数学运算处理器单元820和存储流控制器822。要注意，这里省去了数学运算处理器核(#2)812到(#8)818的描述，这是因为它们的结构与数学运算处理器核(#1)811的结构相似。

数学运算处理器单元820是用作执行数学运算处理器核(#1)811的数学运算处理的核的单元，并且包括不同于控制处理器核801的控制处理器单元803的独特的指令集。另外，本地存储器(LS：LocalStore)821被包括在数学运算处理单元820中。

本地存储器821是专用于数学运算处理器单元820的存储器并且是能够从数学运算处理器单元820直接参照的唯一一个存储器。作为本地存储器821，例如，能够利用容量例如是256K字节的存储器。要注意，为了使数学运算处理器单元820访问主存储器781或者其它数学运算处理器核(数学运算处理器(#2)812到(#8)818)的本地存储器，需要利用存储流控制器822。

存储流控制器822是用于在主存储器781、其它数学运算处理器核等之间进行数据传送的单元并且是称作MFC(Memory FlowController，存储流控制器)的单元。这里，数学运算处理器单元820通过称作通道的接口向存储流控制器822发出进行数据传送等的请求。

作为上述的多核处理器800的编程模型，已经提出了各种编程模型。作为这些编程模型中的最基本模型，已知一种在控制处理器核801上执行主程序并且在数学运算处理器核(#1)811到(#8)818上执行副程序的模型。在本发明的实施例中，参照附图详细描述使用该模型的多核处理器800的数学运算方法。

图51是示意性示出了本发明实施例中的多核处理器800的数学运算方法的图。在该示例中，作为示例描述如下的情况：在控制处理器核801利用数据785执行任务784的情况下，它利用任务786(任务784的一部分)的处理所需的数据787(数据785的一部分)。

如图中所示，在控制处理器核801利用数据785执行任务784的情况下，它使数学运算处理器核利用任务786(任务784的一部分)的处理所需的数据787(数据785的一部分)执行任务786。在本发明的实施例中，通过每个数学运算处理器核针对形成动态画面的每个帧执行数学运算处理。

在多核处理器800以这种方式如图所示执行数学运算的情况下，通过并行利用数学运算处理器核(#1)811到(#8)818能够在比较短时间内执行大量的数学运算，并且通过利用数学运算处理器核(#1)811到(#8)818上的SIMD(Single Instruction/Multiple Data：单指令/多数据)数学运算进一步减少指令的数目，能够执行比较大数目的数学运算处理。要注意，参照图55到58等详细描述SIMD数学运算。

图52是示意性示出了本发明的实施例中的多核处理器800执行数学运算的情况下的程序和数据的流的图。这里，尽管采用数学运算处理器核(#1)811到(#8)818中的数学运算处理器核(#1)811作为示例进行描述，但是数学运算处理器核(#2)812到(#8)818也可以相似地执行上述的这种数学运算。

首先，控制处理器核801向数学运算处理器核(#1)811发送将存储在主存储器781中的数学运算处理器核程序823加载到数学运算处理器核(#1)811的本地存储器821中的指令。结果，数学运算处理器核(#1)811将存储在主存储器781中的数学运算处理器核程序823加载到本地存储器821中。

然后，控制处理器核801向数学运算处理器核(#1)811发出执行存储在本地存储器821中的数学运算处理器核程序825的指令。

然后，数学运算处理器核(#1)811将存储在本地存储器821中的数学运算处理器核程序825的执行处理所需的数据824从主存储器781传送到本地存储器821。

然后，数学运算处理器核(#1)811基于存储在本地存储器821中的数学运算处理器核程序825对从主存储器进行传送的数据826进行加工，根据条件执行过程，并且将处理的结果存储到本地存储器821中。

然后，数学运算处理器核(#1)811将基于存储在本地存储器821中的数学运算处理器核程序825执行的处理的结果从本地存储器821传送到主存储器781。

然后，数学运算处理器核(#1)811向控制处理器核801发出数学运算处理结束的通知。

现在，参照附图详细描述利用多核处理器800执行的SIMD数学运算。这里，SIMD数学运算是一种通过一个指令执行对多个数据的处理的数学运算方法。

图53的(a)是示意性示出了通过对每个数据的运算执行针对多个数据的指令的数学运算方法的概要的图。图53的(a)所示的数学运算方法是普通数学运算方法并且例如称作标量数学运算。例如，通过将数据“A1”与数据“B1”相加的指令确定数据“C1”的处理结果。此外，针对其它的三个数学运算，相似地针对每个处理执行将同一行中的数据“A2”、“A3”和“A4”与数据“B2”、“B3”和“B4”相加的指令，并且通过这个指令，对各个行中的值进行加法处理并且将处理的结果确定为数据“C2”、“C3”和“C4”。以这种方式，在标量数学运算中，关于多个数据的处理，需要针对它们中的每个执行一个指令。

图53的(b)是示意性示出了SIMD数学运算的概要的图，SIMD数学运算是通过一个指令执行对多个数据的处理的数学运算方法。这里，针对SIMD数学运算而聚到一起的数据(由虚线827和828中的每个包围的数据)有时候称作矢量数据。另外，利用这种矢量数据执行的SIMD数学运算有时候称作矢量数学运算。

例如，通过将由虚线827包围的矢量数据“A1”、“A2”、“A3”和“A4”与由虚线828包围的矢量数据“B1”、“B2”、“B3”和“B4”相加的一个指令，确定了“C1”、“C2”、“C3”和“C4”(由另一个虚线829包围的数据)的处理结果。由于在SIMD数学运算中以这种方式通过一个指令执行对多个数据的处理，所以能够迅速执行数学运算处理。另外，关于SIMD数学运算的指令由多核处理器800的控制处理器核801发出，并且通过数学运算处理器核(#1)811到(#8)818并行地执行对应于该指令的多个数据的数学运算处理。

另一方面，例如，不能够通过SIMD数学运算执行将数据“A1”和“B1”相加、将数据“A2”和“B2”相减、将数据“A3”和“B3”相乘以及将数据“A4”和“B4”相除的处理。换言之，在要针对多个数据单独执行不同处理的情况下，不能够执行SIMD数学运算的处理。

现在，参照附图详细描述在执行特征点提取处理和光流计算处理的情况下的SIMD数学运算的具体数学运算方法。

图54是示出了通过本发明实施例中的控制处理器核801或者数学运算处理器核(#1)811执行的程序的结构示例的图。尽管这里仅示出了数学运算处理器核(#1)811的处理，但是数学运算处理器核(#2)812到(#8)818也可以执行的相似处理。

控制处理器核801执行作为解码851的解码852、交错(interlace)853和调整大小854。解码852是对动态画面文件进行解码的处理。交错853是对解码的帧进行去交错的处理。调整大小854是缩小去交错后的帧的处理。

另外，控制处理器核801执行作为数学运算处理器核管理856的指令发送857和859以及结束通知接收858和860。指令发送857和859是向数学运算处理器核(#1)811到(#8)818发送SIMD数学运算的执行指令的处理，并且结束通知接收858和860是响应于上述指令从数学运算处理器核(#1)811到(#8)818接收SIMD数学运算的结束通知的处理。另外，控制处理器核801执行作为摄像机工作检测861的摄像机工作参数计算处理862。摄像机工作参数计算处理862是基于由数学运算处理器核(#1)811到(#8)818通过SIMD数学运算计算出的光流针对每帧计算仿射变换参数的处理。

数学运算处理器核(#1)811执行作为特征点提取处理863的索贝尔滤波(Sobel Filter)处理864、二阶矩矩阵(Second MomentMatrix)处理865、可分离滤波(Separable Filter)处理866、哈里斯角点提取(Calc Harris)处理867、膨胀(Dilation)处理868和重新排列部分(Sort)869。

索贝尔滤波处理864是计算利用P2的滤波器(x方向)获得的x方向的值dx和利用Y方向的滤波器获得的y方向的值dy的处理。要注意，参照图55到58详细描述x方向的值dx的计算。

二阶矩矩阵处理865是利用通过索贝尔滤波处理864计算出的dx和dy来计算值dx2、dy2和dx·dy的处理。

可分离滤波处理866是对通过二阶矩矩阵处理865计算出的dx2、dy2和dx·dy的图像应用高斯滤波(阴影处理)的处理。

哈里斯角点提取处理867是利用通过可分离滤波处理866执行了阴影处理的dx2、dy2和dx·dy的值来计算哈里斯角的得分的处理。例如，根据下面的表达式计算哈里斯角的得分S：

S＝(dx2×dy2-dx·dy×dx·dy)/(dx2+dy2+ε)

膨胀处理868是对利用通过哈里斯角点提取处理867计算出的哈里斯角的得分构成的图像执行阴影处理的处理。

重新排列处理869是按照通过哈里斯角点提取处理867计算出的哈里斯角的降序排列像素、挑选具有比较高得分的预定数目的像素并且提取挑选的点作为特征点的处理。

数学运算处理器核(#1)811执行作为光流(Optical Flow)数学运算处理870的棱锥图像(Make Pyramid Image)处理871和光流计算(Calc Optical Flow)处理872。

棱锥图像处理871是连续生成从当用摄像机进行图像拍摄时的画面尺寸减小到预定数目的等级的图像的处理，并且生成的图像被称作多重分辨率图像。

光流计算处理872是计算关于由棱锥图像处理871生成的多重分辨率图像中的最小图像的光流并且利用计算结果再次关于分辨率高一个等级的图像计算光流的处理，并且重复执行这一系列处理直到到达最大图像。

这样，例如，关于由图2等所示的特征点提取单元121执行的特征点提取处理和由光流计算单元122执行的光流计算处理，利用多核处理器800通过借助SIMD数学运算的并行处理能够确定处理结果。要注意，图54所示的特征点提取处理和光流计算处理等是一个示例，并且可以利用由用于形成动态画面的图像的各种滤波处理、阈值处理等构成的一些其它处理来执行多核处理器800的SIMD数学运算。

图55是示意性示出了本发明实施例中的利用索贝尔滤波830针对存储在主存储器781中的图像数据(与形成摄像机拍摄的动态画面的一帧对应的图像数据)执行滤波处理的情况下的数据结构和处理流程的图。要注意，在该图中，以简化形式示出了存储在主存储器781中的图像数据，其中，水平方向上的像素的数目是32。另外，索贝尔滤波830是3×3边缘提取滤波。如图中所示，针对存储在主存储器781中的图像数据执行利用索贝尔滤波830的滤波处理，并且输出滤波处理的结果。在该示例中，描述了利用SIMD数学运算一次获得四个滤波结果的示例。

图56是示意性示出了本发明实施例中的利用索贝尔滤波830针对存储在主存储器781中的图像数据执行SIMD数学运算的情况下的数据流的图。首先，包括存储在主存储器781中的图像数据的第一行的预定数目的行(例如，三行)以DMA(直接存储器访问)方式传送到设置在数学运算处理器核的本地存储器821中的第一缓冲器831，并且将从以DMA方式传送给第一缓冲器831的各行向下移位一行的预定数目的行以DMA方式传送给第二缓冲器832。通过以这种方式使用双缓冲器，能够掩盖由于DMA传送导致的延迟。

图57是示意性示出了本发明实施例中的索贝尔滤波830被用于执行滤波处理的情况下从存储在第一缓冲器831中的图像数据生成九个矢量的矢量生成方法的图。在如图56所示执行了DMA传送以后，从存储在第一缓冲器831中的图像数据生成九个矢量。具体地讲，从存储在第一缓冲器831中的图像数据的一行中的左角起的四个数据生成矢量数据841，并且从相对于这四个数据向右移位一个数据的四个数据生成矢量数据842。相似地，从相对于后者四个数据向右移位一个数据的四个数据生成矢量数据843。此外，在第二行和第三行中，相似地从每四个数据生成矢量数据844到849。

图58是示意性示出了在本发明的实施例中利用索贝尔滤波830执行滤波处理的情况下关于矢量数据841到849利用SIMD指令执行矢量数学运算的矢量数学运算方法的图。具体地讲，针对矢量数据841到843连续执行SIMD数学运算以确定矢量A。在这个SIMD数学运算中，首先执行“-1”ד矢量数据841”的SIMD数学运算。然后，执行“0”ד矢量数据842”的SIMD数学运算，然后执行“1”ד矢量数据843”的SIMD数学运算。这里，能够省去“0”ד矢量数据842”，因为判断出该数学运算的结果是“0”。另外，能够省去“1”ד矢量数据843”，因为判断出该数学运算的结果具有与“矢量数据843”的值相同的值。

然后，通过SIMD数学运算执行“-1”ד矢量数据841”的数学运算的结果与“0”ד矢量数据842”的数学运算的结果的加法处理，然后通过SIMD数学运算执行该加法处理的结果与“1”ד矢量数据843”的数学运算的结果的加法处理。这里，能够通过SIMD数学运算执行例如“矢量数据1”ד矢量数据2”+“矢量数据3”的数据结构的数学运算。因此，在矢量A的数学运算中，例如可以省去“0”ד矢量数据842”和“1”ד矢量数据843”的SIMD数学运算，而通过SIMD数学运算的一次运算执行“-1”ד矢量数据841”+“矢量数据843”。

相似地，针对矢量数据844到846执行SIMD数学运算以确定矢量B，并且针对矢量数据847到849执行SIMD数学运算以确定矢量C。

然后，针对通过SIMD数学运算确定的矢量A到C执行SIMD数学运算以确定矢量D。以这种方式，通过执行SIMD数学运算，能够一次获得与矢量分量的数目(在该示例中是四个数据)相等的数目的结果。

在计算出矢量D后，在将如图56所示要从存储第一缓冲器831中的图像数据之中提取的数据的位置连续向右移动一个数据的同时重复执行相似处理，以连续执行矢量D的计算。然后，如果该处理进行到存储在图56所示的第一缓冲器831中的图像数据的右端，则将该处理的结果以DMA方式传送到主存储器781。

然后，存储在主存储器781中的图像数据之中的相对于以DMA方式传送到第二缓冲器832的行移位了一行的预定数目的行被以DMA方式传送给第一缓冲器831，并且针对存储在第二缓冲器832中的图像数据重复执行上述处理。然后，重复执行相似处理，直到到达存储在主存储器781中的图像数据的行之中的下端行。

相似地，通过利用SIMD数学运算执行大部分处理能够实现特定点提取和光流计算的处理的加速。

图59是按时间序列示意性示出了本发明实施例中的摄像机工作参数计算处理的流程的图。例如，通过如上所述利用多核处理器800执行SIMD数学运算，能够并行地执行关于动态画面的解码和分析处理。因此，与解码时间相比，可以减少对于形成动态画面的一帧的分析时间。

例如，在该图中，t1表示通过控制处理器核801进行的对形成动态画面的一帧的解码处理所需的时间段；t2表示通过数学运算处理器核(#1)811到(#8)818进行的对形成动态画面的一帧的特征点提取处理所需的时间段；t3表示通过数学运算处理器核(#1)811到(#8)818进行的对形成动态画面的一帧的光流计算处理所需的时间段；t4表示通过控制处理器核801进行的对形成动态画面的一帧的摄像机工作检测处理所需的时间段。要注意，t5表示通过控制处理器核801和数学运算处理器核(#1)811到(#8)818进行的对形成动态画面的一帧的摄像机工作检测处理所需的时间段。另外，t6表示通过控制处理器核801进行的管理数学运算处理器核(#1)811到(#8)818的处理所需的时间段。例如，t1可被设置为“25.0ms”，t2可被设置为“7.9ms”，t3可被设置为“6.7ms”，t4可被设置为“1.2ms”，t5可被设置为“15.8ms”。

现在，参照附图详细描述对利用本发明实施例中的数据文件的动态画面内容进行再现的情况。

图60的(a)是示意性示出作为记录介质的示例的蓝光盘(Blue-ray Disc(注册商标))880的俯视图，图60的(b)是示意性示出了记录在蓝光盘880上的数据881到884的图。在蓝光盘880上，例如记录有：作为摄像机等拍摄的动态画面的动态画面内容882、动态画面内容882的字幕883、通过分析动态画面内容882获得的元数据884(例如，图4的(b)所示的元数据文件和图5所示的相对关系元数据文件)、本发明实施例中的用于动态画面再现的Java(注册商标)程序881。

图60的(c)是示意性示出了能够再现蓝光盘880的蓝光再现机器(蓝光盘播放器)890的内部结构的图。这里，由于能够再现蓝光盘的蓝光盘再现机器890包括Java(注册商标)VM(Java(注册商标)虚拟机)和作为标准函数的库893以及CPU 891和OS 892，所以它能够执行Java(注册商标)程序。因此，如果蓝光盘880被装入到蓝光再现机器890中，则蓝光再现机器890能够加载并执行Java(注册商标)程序881。因此，在蓝光再现机器890再现动态画面内容882的情况下，元数据884能够用于执行本发明实施例中的动态画面再现。换言之，不需要利用专用的PC软件就可以在所有蓝光再现机器上实现本发明实施例中的动态画面再现。

如上所述，在本发明的实施例中，当再现多个动态画面时，由于与当前显示的图像之前的帧对应的图像在与当前图像进行合成的同时被显示，所以能够容易地访问位于图像拍摄的中心的对象以及在至少部分时间带内拍摄的背景等。因此，例如，如果期望再次观看在至少部分时间带内拍摄的背景等，则即使没有执行倒退操作、搜索操作等，也能够与当前显示的图像同时地观看背景等。另外，当访问摄像机拍摄的动态画面时，能够容易地掌握动态画面的内容。另外，在动态画面包括同一对象的情况下，由于在对象的位置处多个动态画面重叠地显示，所以能够容易地掌握这多个动态画面的相对关系。另外，由于与前一帧对应的图像是固定的，所以访问人员能够容易地识别空间扩展。

具体地，利用过去的帧，能够在空间上展开和欣赏多个动态画面。因此，由于能够提供例如在再现多个动态画面的同时完成全景图像的这种欣赏方法，所以访问人员会更有兴趣欣赏动态画面。另外，由于关于当前图像能够连续显示在当前图像存储到图像存储器250中之前的状态下的图像，所以能够显示比较清楚的图像。

另外，尽管在本发明的实施例的说明中描述了预先检测到的仿射变换参数被用于执行再现和显示的示例，但是当再现时可以计算仿射变换参数从而将计算出的仿射变换参数用于再现和显示。例如，通过利用多核处理器通过SIMD数学运算计算仿射变换参数，可以在一帧的解码处理时间内计算一帧的仿射变换参数。因此，即使在要对没有计算出仿射变换参数的动态画面进行再现的情况下，也可以在计算仿射变换参数的同时执行动态画面再现，因此，能够快速执行动态画面的空间展开的欣赏。

另外，在本发明的实施例的说明中，描述了如下的示例，其中，多个动态画面文件被存储到动态画面存储部分200中并且与动态画面对应的仿射变换参数作为元数据文件与对应的动态画面和帧相关联地存储到元数据存储部分210中，并且此外，关于这多个动态画面的相对关系信息被存储到相对关系信息存储部分220中，动态画面、与动态画面对应的仿射变换参数和关于动态画面的相对关系信息相互关联地作为动态画面文件被存储到动态画面存储部分中，从而当进行再现时从动态画面文件提取并利用信息。

另外，例如，当在高清TV(电视)接收器上欣赏以SD(标清)画质拍摄的动态画面或者利用数字摄像机或便携式电话机等的动态画面存储功能拍摄的动态画面的情况下，如果以原始图像尺寸的状态显示动态画面，则有时候不能够尽多利用高清TV系统的像素数。另外，如果执行放大显示，则图像的粗糙度常常是显著的。因此，如果利用在本发明的实施例的说明中描述的显示，则图像的粗糙度不显著并且能够实现利用高清TV系统的像素数的欣赏。

要注意，通过图像合成部分240合成的合成图像可以记录在记录介质等上，从而被用于其它再现或显示。另外，尽管在本发明的实施例的说明中描述了显示与当前帧之前的帧对应的合成图像的示例，但是随着时间流逝，这些合成图像可以被顺次地擦掉。在这种情况下，可以应用诸如擦掉留下残像的合成图像的这种布置。另外，可以应用诸如彩色显示与当前帧对应的图像但是将与当前帧之前的帧对应的合成图像显示成随着时间流逝该合成图像的显示从彩色显示逐渐改变到深褐色显示的这种布置。

另外，尽管在本发明的实施例的说明中，采用在显示部分上显示通过图像合成部分合成的图像的图像处理设备作为示例进行了描述，但是本发明的实施例可应用于包括用于输出允许图像合成部分合成的图像显示在另一个图像显示设备上的图像信息的图像输出装置的图像处理设备。另外，本发明的实施例能够应用于能够再现动态画面的动态画面再现设备、诸如能够再现拍摄的动态画面的数字视频摄像机的图像拍摄设备等。

另外，尽管在本发明的实施例的说明中描述了摄像机拍摄的动态画面，但是本发明的实施例例如还能够应用于在对摄像机拍摄的动态画面进行编辑的情况下的编辑后的动态画面、合成了动画等的动态画面等。另外，尽管在本发明的实施例的说明中描述了显示一些或所有的历史图像的示例，但是可以仅显示多个变换后的当前图像。换言之，可以仅连续显示最后存储到图像存储器中的多个当前图像。

要注意，本发明的实施例指示执行本发明的示例并且与指定下面描述的权利要求中的事物的发明具有对应关系。然而，本发明不限于此，在不脱离本发明的主题的情况下可以进行各种修改。

具体地讲，在权利要求1中，动态画面存储装置例如对应于动态画面存储部分200。同时，变换信息存储装置例如对应于元数据存储部分210。另外，相对关系信息存储装置例如对应于相对关系信息存储部分220。另外，图像存储装置例如对应于图像存储器250。另外，输出装置例如对应于显示部分290。另外，对象图像变换信息计算装置例如对应于对象图像变换信息计算部分190。另外，图像变换装置例如对应于图像变换部分150。另外，图像合成装置例如对应于图像合成部分240。另外，控制装置例如对应与显示控制部分280。

另外，在权利要求2中，校正值计算装置例如对应于校正值计算部分230。

另外，在权利要求3中，操作接收装置例如对应于操作接收部分160。另外，选择装置例如对应于一致点选择部分170。另外，相对关系信息计算装置例如对应于相对关系信息计算部分180。另外，记录控制装置例如对应于记录控制部分130。

另外，在权利要求4中，一致点搜索装置例如对应于一致点搜索部分340。另外，相对关系信息计算装置例如对应于相对关系信息计算部分180。另外，记录控制装置例如对应于记录控制部分130。

另外，在权利要求5中，输出区域提取装置例如对应于显示区域提取部分260。

另外，在权利要求6中，动态画面输入装置例如对应于动态画面输入部分110。另外，变换信息计算装置例如对应于摄像机工作检测部分120。另外，一致点搜索装置例如对应于一致点搜索部分340。另外，相对关系信息计算装置例如对应于相对关系信息计算部分180。另外，图像存储装置例如对应于图像存储器250。另外，输出装置例如对应于显示部分290。另外，对象图像变换信息计算装置例如对应于对象图像变换信息计算部分190。另外，图像变换装置例如对应于图像变换部分150。另外，图像合成装置例如对应于图像合成部分240。另外，控制装置例如对应于显示控制部分280。

另外，在权利要求8中，特征点提取装置例如对应于特征点提取单元121。另外，移动量计算装置例如对应于光流计算单元122。另外，变换参数计算装置例如对应于摄像机工作参数计算单元123。

另外，在权利要求11中，动态画面获取装置例如对应于文件获取部分140。另外，图像存储装置例如对应于图像存储器250。另外，输出装置例如对应于显示部分290。另外，对象图像变换信息计算装置例如对应于对象图像变换信息计算部分190。另外，图像变换装置例如对应于图像变换部分150。另外，图像合成装置例如对应于图像合成部分240。另外，控制装置例如对应于显示控制部分280。

另外，在权利要求12中，动态画面存储装置例如对应于动态画面存储部分200。另外，变换信息存储装置例如对应于元数据存储部分210。另外，相对关系信息存储装置例如对应于相对关系信息存储部分220。另外，对象图像变换信息计算装置例如对应于对象图像变换信息计算部分190。另外，图像变换装置例如对应于图像变换部分150。另外，图像存储装置例如对应于图像存储器250。另外，控制装置例如对应于显示控制部分280。

另外，在权利要求13中，图像合成装置例如对应于图像合成部分240。另外，相对位置信息装置例如对应于对象图像变换信息计算部分190和图像变换部分150。

另外，在权利要求14中，动态画面存储装置例如对应于动态画面存储部分200。另外，变换信息存储装置例如对应于元数据存储部分210。另外，相对关系信息存储装置例如对应于相对关系信息存储部分220。另外，图像存储装置例如对应于图像存储器250。另外，显示装置例如对应于显示部分290。另外，对象图像变换信息计算装置例如对应于对象图像变换信息计算部分190。另外，图像变换装置例如对应于图像变换部分150。另外，图像合成装置例如对应于图像合成部分240。另外，控制装置例如对应于显示控制部分280。

另外，在权利要求15或16中，对象图像变换信息计算步骤例如对应于步骤S973。另外，图像变换步骤例如对应于步骤S977。另外，图像合成步骤例如对应于步骤S978。另外，控制步骤例如对应于步骤S984。

要注意，在本发明的实施例的说明中描述的处理过程可被理解为具有上述一系列的步骤的方法或者可被理解为使计算机执行这一系列步骤的程序或者存储有该程序的记录介质。

Claims (16)

1.一种图像处理设备，包括：

动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；

变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；

相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；

图像存储装置，用于存储历史图像；

输出装置，用于输出第一动态画面和第二动态画面中的至少一个；

对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制装置，用于控制输出装置顺次输出合成的图像。

2.如权利要求1所述的图像处理设备，其中，所述相对关系信息存储装置存储每个均包括形成第一动态画面的一个图像和形成第二动态画面的一个图像的多个组合的相对关系信息；

所述图像处理设备还包括校正值计算装置，该校正值计算装置用于基于多个相对关系信息、第一变换信息和第二变换信息来计算用于对第一变换信息和第二变换信息中的至少一个进行校正的校正值；

所述变换装置利用计算出的校正值对第一变换信息和第二变换信息中的至少一个进行校正，从而利用校正后的变换信息执行变换。

3.如权利要求1所述的图像处理设备，还包括：

操作接收装置，用于接收在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上指定位置的指定操作；

选择装置，用于选择第一图像和第二图像的被指定的位置作为第一图像和第二图像的一致点；

相对关系信息计算装置，用于基于所选择的一致点计算关于第一图像和第二图像的相对关系信息；以及

记录控制装置，用于与第一动态画面和第二动态画面以及第一图像和第二图像相关联地将计算出的相对关系信息记录到相对关系信息存储装置中。

4.如权利要求1所述的图像处理设备，还包括：

一致点搜索装置，用于在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上搜索一致点；

相对关系信息计算装置，用于基于搜索到的一致点计算关于第一图像和第二图像的相对关系信息；以及

记录控制装置，用于与第一动态画面和第二动态画面以及第一图像和第二图像相关联地将计算出的相对关系信息记录到相对关系信息存储装置中。

5.如权利要求1所述的图像处理设备，还包括输出区域提取装置，该输出区域提取装置用于从存储在图像存储装置中的新的历史图像中提取包括在输出区域中的图像作为输出图像，所述输出区域是成为所述输出装置输出的对象的区域；

所述图像合成装置通过在所述输出图像上进行覆写来合成变换后的图像以生成新的输出图像；

所述控制装置控制所述输出装置顺次输出该新的输出图像。

6.一种图像处理设备，包括：

动态画面输入装置，用于输入作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；

变换信息计算装置，用于基于形成所述动态画面的图像计算第一变换信息和第二变换信息，其中，第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；

一致点搜索装置，用于在作为形成第一动态画面的图像的第一图像和作为形成第二动态画面的图像的第二图像上搜索一致点；

相对关系信息计算装置，用于基于搜索到的一致点计算表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；

图像存储装置，用于存储历史图像；

输出装置，用于输出第一动态画面和第二动态画面中的至少一个；

对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息相关的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息相关的形成第一动态画面的图像进行顺次变换；

图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制装置，用于控制输出装置顺次输出合成的图像。

7.如权利要求6所述的图像处理设备，其中，所述变换信息计算装置针对形成第一动态画面和第二动态画面的每个帧，顺次计算第一变换信息和第二变换信息；

所述图像变换装置逐帧地对形成第一动态画面和第二动态画面的图像进行变换；

所述图像合成装置逐帧地顺次合成变换后的图像；

所述控制装置使合成的图像逐帧地顺次输出。

8.如权利要求6所述的图像处理设备，其中，所述变换信息计算装置包括：

特征点提取装置，用于基于形成所述图像的像素提取所述图像的特征点；

移动量计算装置，用于基于所提取的特征点计算关于各个所述图像的移动量；和

变换参数计算装置，用于基于计算出的移动量来计算预定的变换参数以计算第一变换信息和第二变换信息。

9.如权利要求8所述的图像处理设备，其中，所述特征点提取装置由多核处理器形成，并且

所述多核处理器通过SIMD数学运算针对形成所述图像的像素执行并行处理以提取所述图像的特征量。

10.如权利要求8所述的图像处理设备，其中，所述移动量计算装置由多核处理器形成，并且

所述多核处理器通过SIMD数学运算针对所提取的特征点执行并行处理以计算关于所述图像的移动量。

11.一种图像处理设备，包括：

动态画面获取装置，用于获取作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面，其中，以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换的第一变换信息和以第二动态画面的图像中的一个为基准对第二动态画面的其它图像进行变换的第二变换信息分别针对每个图像被相关联地记录，并且表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中至少一个的相对位置关系的相对关系信息被相关联地记录；

图像存储装置，用于存储历史图像；

输出装置，用于输出第一动态画面和第二动态画面中的至少一个；

对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制装置，用于控制输出装置顺次输出合成的图像。

12.一种图像处理设备，包括：

动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；

变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；

相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；

对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换，并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像存储装置，用于存储变换后的图像；和

控制装置，用于使输出装置顺次输出最后存储在图像存储装置中的第一动态画面和第二动态画面的图像。

13.一种图像处理设备，包括：

图像合成装置，用于基于图像拍摄时的图像拍摄设备的第一移动信息对形成拍摄的动态画面的第一图像进行合成以形成第一合成图像，并且基于图像拍摄时的图像拍摄设备的第二移动信息对形成拍摄的动态画面的第二图像进行合成以形成第二合成图像；

相对位置信息装置，用于以包括在第一合成图像中的图像中的至少一个为基准计算表示第二移动信息相对于第一移动信息的相对位置关系的相对位置信息；

所述图像合成装置基于所述相对位置信息将第一合成图像和第二合成图像进行合成。

14.一种动态画面再现设备，包括：

动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；

变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；

相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；

图像存储装置，用于存储历史图像；

显示装置，用于显示第一动态画面和第二动态画面中的至少一个；

对象图像变换信息计算装置，用于基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换装置，用于基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像合成装置，用于将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制装置，用于控制输出装置顺次输出合成的图像。

15.一种用于图像处理设备的图像处理方法，所述图像处理设备包括：动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；图像存储装置，用于存储历史图像；和输出装置，用于输出第一动态画面和第二动态画面中的至少一个，所述图像处理方法包括如下步骤：

对象图像变换信息计算步骤，基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换步骤，基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像合成步骤，将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制步骤，控制输出装置顺次输出合成的图像。

16.一种用于图像处理设备的程序，所述图像处理设备包括：动态画面存储装置，用于存储作为由图像拍摄设备拍摄的动态画面的第一动态画面和第二动态画面；变换信息存储装置，用于与各个图像相关联地存储第一变换信息和第二变换信息，其中，所述第一变换信息用于以形成第一动态画面的一个图像为基准对第一动态画面的其它图像进行变换，所述第二变换信息用于以形成第二动态画面的一个图像为基准对第二动态画面的其它图像进行变换；相对关系信息存储装置，用于存储表示形成第一动态画面的图像中的至少一个与形成第二动态画面的图像中的至少一个之间的相对位置关系的相对关系信息；图像存储装置，用于存储历史图像；和输出装置，用于输出第一动态画面和第二动态画面中的至少一个，所述程序使得计算机执行：

对象图像变换信息计算步骤，基于所述相对关系信息、第一变换信息和第二变换信息，计算在形成第一动态画面的图像中的至少一个被确定为基准图像并且形成第二动态画面的图像被确定为对象图像的情况下要用于所述对象图像的变换的对象图像变换信息；

图像变换步骤，基于所述对象图像变换信息和第二变换信息对与第二变换信息关联的对象图像进行顺次变换并且基于第一变换信息对与第一变换信息关联的形成第一动态画面的图像进行顺次变换；

图像合成步骤，将所述基准图像存储在图像存储装置的存储区域的预定位置，并且将变换后的图像与基准图像和历史图像中的至少一个进行合成，然后将合成的图像作为新的历史图像存储到图像存储装置中；和

控制步骤，控制输出装置顺次输出合成的图像。

Images