CN101627623A - 图像处理设备、运动图像播放设备及其处理方法和程序 - Google Patents

Abstract

光流计算单元(122)检测图像捕获设备拍摄被拍摄运动图像时的移动量。摄影操作参数计算单元(123)基于移动量计算变换参数。图像变换单元160基于变换参数对被捕获图像进行变换。图像合成单元(180)将经变换的被捕获图像与历史图像进行合成。显示单元(260)显示由图像合成单元(180)从被捕获图像中一定数量的图像产生的历史图像作为代表图像。当对所显示的代表图像中的位置进行选择的选择操作被接受时，选择单元(240)基于所选择的位置选择运动图像的记录位置。显示控制单元(250)从与运动图像被选择的记录位置开始播放运动图像。因此当观看所捕获的运动图像时，可以迅速检索到期望的运动图像。并且可以从所检索到的运动图像中迅速找到期望的帧。

Description

图像处理设备、运动图像播放设备及其处理方法和程序

技术领域

本发明涉及图像处理设备，更具体而言，涉及能够对运动图像执行图像处理的图像处理设备、运动图像播放设备及其处理方法，以及用于使计算机执行该方法的程序。

背景技术

近年，数字视频摄像机已广泛流行。因此，例如在孩子们参与的幼儿园的事件中，父母等经常使用数字视频摄像机拍下关于事件情况的图像。当在这样的事件中由父母等完成图像拍摄时，尽管主要是拍摄关于他们的孩子们的图像，但是通常按照需要也拍摄关于事件的场景等的图像，使得事件看起来如何可以被理解。并且，当在幼儿园的每次事件中都进行图像拍摄时，所拍摄的运动图像的数目增大。

例如，在家中，可以使用运动图像播放设备在其显示器上播放以这种方式拍摄的运动图像。在使用以上运动图像播放设备进行播放的情况中，例如，当从头开始播放在多个事件中拍摄的全体运动图像时，播放时间变得很长。因此，可以考虑，如果观看者可以从全体运动图像中搜索到所期望的部分并且顺序地播放所检索出的部分，则观看者可以高效率地享受运动图像。

为此，已经提出了用于产生运动图像各个部分的缩略图并且使用所产生的缩略图从所期望的记录位置开始播放该运动图像的技术。例如，提出了这样一种播放设备，该播放设备产生多个示出记录介质上所记录的运动图像的多个场景中的各个场景的画面缩略图，并且显示这些缩略图。通过从所显示的缩略图中选出所期望的缩略图，该播放设备从与所选择的缩略图相对应的场景的前头开始播放运动图像(例如，参见日本专利文献特开平11-289517号公报(图7))。

发明内容

根据上述传统技术，在要观看在幼儿园等的多个事件中被拍摄的运动图像的情况中，可以使用针对这些运动图像而显示的缩略图从期望场景的开头开始运动图像的回放。

这里，例如，在要观看在幼儿园的多个事件中主要以某个人自己的孩子为中心而拍摄的运动图像的情况中，考虑到，尽管事件不同，但是主要包括这个孩子的许多类似的场景要被播放。在这种情况中，要产生的缩略图常常是相似的。另外，当拍摄的运动图像的数目很大时，要产生的缩略图的数目也会增大。考虑到：当如上类似的缩略图被显示或者当许多缩略图被显示时，不能迅速进行恰当的搜索。

例如，即使是在作为拍摄对象的人相同的情况下，根据运动图像被拍摄的场所、周围氛围等也可以容易地确定运动图像是否是搜索目标。因此，例如，在要观看在幼儿园的多个事件中被拍摄的运动图像的情况中，如果可以容易地参考这些事件发生的场所、周围氛围等，则可以容易地理解运动图像的详细内容。因此，考虑到可以迅速检索到所期望的图像。

因此，本发明的一个目标是容易地理解由图像捕获设备拍摄的运动图像的详细内容。

为了解决以上问题已经做出了本发明，并且本发明的第一方面在于图像处理设备、用于图像处理设备的处理方法和用于使计算机执行所述方法的程序。图像处理设备的特征在于包括：运动图像存储装置，用于存储由图像捕获设备捕获的被捕获运动图像；图像保存装置，用于保存构成被捕获运动图像的被捕获图像作为历史图像；变换信息计算装置，用于参考构成被捕获图像中至少一个被捕获图像计算用于对另一被捕获图像进行变换的变换信息；图像变换装置，用于基于所计算出的变换信息对该被捕获图像进行变换；图像合成装置，用于将经过变换的被捕获图像与历史图像合成以产生新的历史图像，并且使图像保存装置保存该新的历史图像；图像位置获取装置，用于获取经过变换的被捕获图像在通过合成产生的历史图像中的坐标位置；图像位置存储装置，用于将所获得的坐标位置和被捕获图像彼此相关联地进行存储；显示装置，用于显示该历史图像作为代表被捕获运动图像的代表图像；操作接受装置，用于接受对被显示的代表图像中的位置进行选择的选择操作；以及显示控制装置，用于根据代表图像中所选择的位置，从与所选择的位置相对应的被捕获图像开始播放运动图像存储装置中所存储的被捕获运动图像。因此，以下操作被实现：参考构成被捕获运动图像的被捕获图像中的至少一个被捕获图像算出用于对另一被捕获图像进行变换的变换信息；基于所计算出的变换信息对被捕获图像进行变换；将经过变换的被捕获图像与历史图像进行合成以产生新的历史图像并且使得新的历史图像被保存；获得经过变换的被捕获图像在历史图像中的坐标位置并且将其与被捕获图像相关联地存储；显示历史图像作为代表被捕获运动图像的代表图像；以及，当对所显示的代表图像中的位置进行选择的选择操作被接受时，从与所选择的位置相对应的被捕获图像开始播放被捕获运动图像。并且在这种情况中，变换信息计算装置可以包括：特征点提取装置，用于基于构成构成了被捕获运动图像的第一被捕获图像和第二被捕获图像的各个像素提取第一被捕获图像和第二被捕获图像中的特征点；移动量计算装置，用于基于所提取出的各个特征点计算与第一被捕获图像和第二被捕获图像相关的移动量；和变换参数计算装置，用于通过基于所计算出的移动量计算预定变换参数来计算变换信息。并且在这种情况中，特征点提取装置可以由多核处理器实现。多核处理器可以通过使用SIMD运算对构成第一被捕获图像和第二被捕获图像的各个像素执行并行处理来提取第一被捕获图像和第二被捕获图像中的特征量。并且在这种情况中，移动量计算装置可以由多核处理器实现。多核处理器可以通过使用SIMD运算对所提取出的各个特征点执行并行处理来计算与第一被捕获图像和第二被捕获图像相关的移动量。

并且，在第一方面中，图像位置获取装置可以获取经过变换的被捕获图像的中心位置作为坐标位置；图像位置存储装置可以将所获得中心位置和被捕获图像彼此相关联地存储；以及图像处理设备还包括选择装置，选择装置用于通过从图像位置存储装置中所存储的中心位置中选择与代表图像中所选择的位置最接近的中心位置而选择与所选择的位置相对应的被捕获图像。因此，以下操作被实现：获得经过变换的被捕获图像的中心位置作为坐标位置；将所获得的中心位置和被捕获图像彼此相关联地存储；通过从所存储的中心位置中选择与代表图像中所选择的位置最接近的中心位置而选择与所选择的位置相对应的被捕获图像。

并且，在第一方面中，图像位置获取装置可以获取经过变换的被捕获图像的中心位置和大小作为坐标位置；图像位置存储装置可以将所获得的中心位置和大小与被捕获图像彼此相关联地进行存储；以及当在图像位置存储装置中所存储的中心位置中，最接近代表图像中所选择的位置的多个中心位置被检测到时，选择装置通过对与这多个被检测到的中心位置相对应的大小进行比较来选择与所选择的位置相对应的被捕获图像。因此，以下操作被实现：获取经过变换的被捕获图像的中心位置和大小作为坐标位置，并且将其与被捕获图像彼此相关联地进行存储；并且，当在所存储的中心位置中，与代表图像中所选择的位置最接近的多个中心位置被检测到时，通过对与这多个被检测到的中心位置相对应的大小进行比较来选择与所选择的位置相对应的被捕获图像。

并且，在第一方面中，变换信息计算装置可以针对构成被捕获运动图像的各帧顺序地计算变换信息；图像变换装置可以针对各帧顺序地对被捕获图像进行变换；图像合成装置可以针对各帧顺序地将进过变换的被捕获图像与历史图像进行合成并且产生新的历史图像；图像保存装置可以针对各帧顺序地保存新的历史图像，以及图像处理设备还可以包括代表图像存储装置，代表图像存储装置用于将通过对与构成被捕获运动图像的帧中的至少一定数量的帧相对应的图像进行合成而产生的历史图像存储作为代表图像。因此，以下操作被实现：针对构成被捕获运动图像的各帧顺序地计算变换信息；针对各帧顺序地对被捕获图像进行变换；针对各帧，顺序地将经过变换的被捕获图像与历史图像进行合成并且产生新的历史图像并且顺序地保存新的历史图像；以及，将通过对与构成被捕获运动图像的帧中的至少一定数量的帧相对应的图像进行合成而产生的历史图像存储作为代表图像。

并且，在第一方面中，图像合成装置产生代表图像的缩小图像；图像处理设备还包括用于将代表图像和缩小图像彼此相关联地进行存储的代表图像存储装置；以及显示控制装置将代表图像存储装置中所存储的缩小图像显示为可选择的列表图像。因此，以下操作被实现：产生代表图像的缩小图像，并且将代表图像的缩小图像与代表图像相关联地存储；并且将代表图像存储装置中所存储的缩小图像显示为可选择的列表图像。

并且，本发明的第二方面在于图像处理设备、用于图像处理设备的处理方法和用于使计算机执行该方法的程序。图像处理设备的特征在于包括：运动图像输入装置，用于接收由图像捕获设备捕获的运动图像作为被捕获运动图像；变换信息计算装置，用于参考构成被捕获运动图像的被捕获图像中至少一个被捕获图像计算用于对另一被捕获图像进行变换的变换信息；图像变换装置，用于基于所计算出的变换信息对该被捕获图像进行变换；索引图像存储装置，索引图像存储装置用于将被捕获图像和经过变换的被捕获图像中的至少一个视为被捕获运动图像的索引图像并且对在由变换信息定义的图像捕获空间中的索引图像的坐标位置和大小进行存储；以及索引图像提取装置，用于基于经过变换的被捕获图像、索引图像的坐标位置和大小从被捕获运动图像提取索引图像，并且坐标位置和大小被存储在索引图像存储装置中。因此，以下操作被实现：当被捕获运动图像被输入时，参考构成被捕获运动图像的被捕获图像中至少一个被捕获图像计算用于对另一被捕获图像进行变换的变换信息；基于所计算出的变换信息对该被捕获图像进行变换；以及基于经过变换的被捕获图像、索引图像存储装置中所存储的索引图像的坐标位置和大小从被捕获运动图像提取索引图像。

并且，在第二方面中，索引图像提取装置计算经过变换的被捕获图像和索引图像存储装置中所存储的索引图像之间的重叠率并且基于所计算出的重叠率提取索引图像。因此，以下操作被实现：计算出经过变换的被捕获图像和索引图像存储装置中所存储的索引图像之间的重叠率，并且基于所计算出的重叠率提取出索引图像。

并且，在第二方面中，索引图像提取装置将所提取出的索引图像的坐标位置和大小顺序地存储在索引图像存储装置中。因此，以下操作被实现：所提取出的索引图像的坐标位置和大小被顺序地存储在索引图像存储装置中。

并且，在第二方面中，索引图像提取装置将所提取出的索引图像的坐标位置和大小和所提取出的索引图像彼此相关联地存储在索引图像存储装置中。因此，以下操作被实现：所提取出的索引图像的坐标位置和大小和所提取出的索引图像被彼此相关联地存储在索引图像存储装置中。

并且，在第二方面中，图像处理设备还包括显示控制装置，显示控制装置用于基于索引图像的坐标位置和大小将索引图像配置在二维空间中，并且显示索引图像，坐标位置和大小被存储在索引图像存储装置中。因此，以下操作被实现：基于索引图像存储装置中所存储的索引图像的坐标位置和大小，索引图像被配置在二维空间中并且被显示。

并且，在第二方面中，索引图像提取装置将所提取的索引图像的坐标位置和大小、所提取的索引图像和关于被捕获运动图像中的所提取的索引图像的时间信息彼此相关联地存储在索引图像存储装置中，以及图像处理设备还包括显示控制装置，显示控制装置用于基于索引图像的时间信息、坐标位置和大小将索引图像虚拟地配置在三维空间中，并且将索引图像投影到平面上，并且显示索引图像，时间信息、坐标位置和大小被存储在索引图像存储装置中。因此，以下操作被实现：所提取出的索引图像的坐标位置和大小、索引图像、关于索引图像的时间信息被彼此关联地顺序记录在索引图像存储装置中；并且，基于索引图像的时间信息、坐标位置和大小，索引图像被虚拟地配置在三维空间中，被投影到平面上，并且被显示，时间信息、坐标位置和大小被存储在索引图像存储装置中。

并且，在第二方面中，图像处理设备还可以包括：运动图像存储装置，用于存储被捕获运动图像；操作接受装置，用于接受对被配置在三维空间中的索引图像进行选择的选择操作；以及选择装置，用于基于所选择的索引图像选择索引图像存储装置中所存储的时间信息。显示控制装置可以从与所选择的时间信息相对应的被捕获图像开始播放运动图像存储装置中所存储的被捕获运动图像。因此，以下操作被实现：当对被配置在三维空间中的索引图像进行选择的选择操作被接受时，基于所选择的索引图像选择时间信息，并且从与所选择的时间信息相对应的被捕获图像开始播放运动图像。

并且，在第二方面中，图像处理设备还包括：图像保存装置，用于保存历史图像；图像合成装置，用于将预定的标记添加到与所提取出的索引图像相对应的经过变换的被捕获图像，将经过变换的被捕获图像与历史图像进行合成以产生新的历史图像，并且使得图像保存装置保存新的历史图像；以及代表图像存储装置，用于将历史图像存储作为代表被捕获运动图像的代表图像。因此，以下操作被实现：将预定标记添加到与所提取出的索引图像相对应的被捕获图像；将经过变换的被捕获图像与历史图像进行合成以产生新的历史图像，并且使得新的历史图像被保存；将该历史图像存储作为代表图像。

并且，在第二方面中，图像处理设备还包括：运动图像存储装置，用于存储被捕获运动图像；显示装置，用于显示被存储在代表图像存储装置中的代表图像；操作接受装置，用于接受对所显示的代表图像中的位置进行选择的选择操作；选择装置，用于基于代表图像中所选择的位置选择所提取出的索引图像；以及显示控制装置，用于从与所选择的索引图像相对应的被捕获图像开始播放被存储在运动图像存储装置中的被捕获运动图像。因此，以下操作被实现：当对在所显示的代表图像中的位置进行选择的选择操作被接受时，基于代表图像中所选择的位置选择索引图像；并且运动图像从与所选择的索引图像相对应的被捕获图像开始被播放。

并且，本发明的第三方面在于运动图像播放设备、用于运动图像播放设备的方法和使得计算机执行该方法的程序。运动图像播放设备的特征在于包括：运动图像存储装置，于存储由图像捕获设备捕获的被捕获运动图像；图像保存装置，用于保存构成被捕获运动图像的被捕获图像作为历史图像；变换信息计算装置，用于参考被捕获图像中的至少一个被捕获图像计算用于对另一被捕获图像进行变换的变换信息；图像变换装置，用于基于所计算出的变换信息对被捕获图像进行变换；图像合成装置，用于将经过变换的被捕获图像与历史图像进行合成以产生新的历史图像并且使得图像保存装置保存新的历史图像；图像位置获取装置，用于获取在通过合成产生的历史图像中经过变换的被捕获图像的坐标位置；图像位置存储装置，用于将所获得的坐标位置和被捕获图像彼此相关联地进行存储；显示装置，用于显示历史图像作为代表被捕获运动图像的代表图像；操作接受装置，用于接受对所显示的代表图像中的位置进行选择的选择操作；以及显示控制装置，用于基于代表图像中所选择的位置从与所选择的位置相对应的被捕获图像开始播放被存储在运动图像存储装置中的被捕获运动图像。因此，以下操作被实现：参考被捕获图像中的至少一个被捕获图像计算用于对另一被捕获图像进行变换的变换信息；基于所计算出的变换信息对被捕获图像进行变换；将经过变换的被捕获图像与历史图像进行合成以产生新的历史图像，并且使得新的历史图像被保存；获得该历史图像中经过变换的被捕获图像的坐标位置并且将其与被捕获图像相关联地存储；将历史图像显示作为代表被捕获运动图像的代表图像；以及，当对所显示的代表图像中的位置进行选择的选择操作被接受时，从与代表图像中所选择的位置相对应的被捕获图像开始播放被捕获运动图像。

附图说明

图1是示出在本发明实施例中图像处理设备100的功能结构示例的框图。

图2是示意性地示出在本发明实施例中图像位置存储单元210中所存储的详细内容的示图。

图3是示意性地示出在本发明实施例中代表图像存储单元220中所存储的详细内容的示图。

图4包括示出与运动图像中所包括的帧相对应的图像的示例的示图。

图5包括示出通过省略与该运动图像中所包括的该帧相对应的图像的背景等获得的经简化的图像的示图。

图6是示出由本发明实施例中的图像处理设备100执行的仿射变换(affine transformation)参数检测处理的处理过程的流程图。

图7包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图8包括通过虚线指示在图7中所示的各个图像中与紧接的前一帧相对应的图像并且还示出示例性的检测到的光流的示图。

图9包括示出在通过合成产生包括图7中所示的图像401至403的运动图像的情况中的图像合成示例的示图。

图10包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图11包括由虚线指明在图10中所示的各个图像中与紧接的前一帧相对应的图像并且还示出示例性的检测到的光流的示图。

图12包括示出在通过合成产生包括图10中所示的图像421至423的运动图像的情况中的图像合成示例的示图。

图13包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图14包括通过虚线指示在图13中所示的各个图像中与紧接的前一帧相对应的图像并且还示出示例性的检测到的光流的示图。

图15包括示出在通过合成产生包括图13中所示的图像441至443的运动图像的情况中的图像合成示例的示图。

图16包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图17包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图18包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图19包括示出由摄像机拍摄的运动图像中的转变的示例的示图。

图20是示出通过使用图像合成单元180在由摄像机拍摄的运动图像上执行的合成而产生的全景图的示例的示图。

图21是示出在本发明实施例中的显示单元260上显示的全景图列表画面的显示示例的示图。

图22包括示出在本发明实施例中的显示单元260上显示的全景图显示画面的显示示例的示图和示意性地示出运动图像以及构成该运动图像的帧中的某些帧的示图。

图23是示出本发明实施例中由图像处理设备100执行的全景图产生处理的处理过程的流程图。

图24是示出由本发明实施例中由图像处理设备100执行的运动图像播放处理的处理过程的流程图。

图25是示出本发明实施例中的图像处理设备101的功能结构示例的框图。

图26是示意性地示出本发明实施例中的索引图像存储单元280中所存储的详细内容的示图。

图27是示意性地示出本发明实施例中的在提取索引图像的情况中的提取方法的示例的示图。

图28包括示出全景图的示例的示图和示出运动图像中所包括的与全景图相对应的帧与索引图像之间的关系的示图

图29是示出由本发明实施例中的图像处理设备101执行的全景图产生处理的处理过程的流程图。

图30是示出由本发明实施例中的图像处理设备101执行的运动图像播放处理的处理过程的流程图。

图31包括示意性地示出在本发明实施例中索引图像存储单元280中所存储的索引图像被虚拟地配置在三维空间中的情况的示图。

图32包括示意性地示出在本发明实施例中索引图像存储单元280中所存储的索引图像被虚拟地配置在三维空间中的情况的示图。

图33包括示出被虚拟地配置在三维空间中的索引图像701至708的显示示例的示图。

图34包括示出被虚拟地配置在三维空间中的索引图像701至708的显示示例的示图。

图35是示出本发明实施例中图像处理设备650的功能结构示例的框图。

图36包括示意性地示出在本发明实施例中被存储在运动图像存储单元660和元数据存储单元670中的各个文件的示图。

图37是示出本发明实施例中多核处理器800的结构示例的示图。

图38是示出本发明实施例中控制处理器核801的结构示例的图。

图39是示出本发明实施例中运算处理器核(#1)811的结构示例的示图。

图40是示意性地示出本发明实施例中多核处理器800的运算方法的示图。

图41是示意性地示出本发明实施例中在由多核处理器800执行操作的情况中的程序和数据流的示图。

图42包括示意性地示出使用各个命令执行对多条数据的处理的运算方案的概要的示图和示出使用单个命令对多条数据执行处理的SIMD运算的概要的示图。

图43是示出在本实施例中由控制处理器核801或运算处理器核(#1)811执行的程序的结构示例的示图。

图44包括示意性地示出在本实施例中在使用Sobel滤波器830对主存储器781中所存储的图像数据执行滤波处理的情况中的处理的数据结构和流程的示图。

图45是示意性地示出本发明实施例中在使用Sobel滤波器830对主存储器781中所存储的图像数据执行SIMD运算的情况中的数据流的示图。

图46是示意性地示出本发明实施例中在使用滤波器830执行滤波处理的情况中从第一缓冲器831中所存储的图像数据产生9个向量的向量产生方法的示图。

图47是示意性地示出本发明实施例中在使用滤波器830执行滤波处理的情况中的使用SIMD命令对向量数据841至849执行向量运算的向量运算方法的示图。

图48是以时间序列示意性地示出本发明实施例中摄影操作参数计算处理的流程的示图。

图49包括示意性地示出作为记录介质的示例的蓝光光盘(Blue-rayDisc)880，示意性地示出蓝光光盘880上所记录的多条数据881至884，和示意性地示出可以播放蓝光光盘880的蓝光播放器890的内部结构。

具体实施方式

接下来将参考附图详细描述本发明的实施例。

图1是示出本发明实施例中的图像处理设备100的功能结构示例的框图。图像处理设备100包括：运动图像输入单元110、摄影操作检测单元120、记录控制单元130、运动图像获取单元140、摄影操作参数提取单元150、图像变换单元160、图像存储器170、图像合成单元180、图像位置获取单元190、运动图像存储单元200、图像位置存储单元210、代表图像存储单元220、操作接受单元230、选择单元240、显示控制单元250和显示单元260。图像处理设备100例如可以由这样的个人计算机来实现：所述个人计算机能够通过执行视频图像分析提取由诸如数字视频摄像机之类的图像捕获设备拍摄的运动图像的特征量，并且使用所提取的特征量应用各种图像处理。

运动图像输入单元110是接收由诸如数字视频摄像机之类的图像捕获设备(以下简称为“摄像机”)捕获的运动图像的运动图像输入单元，并且将输入的运动图像输出给摄影操作检测单元120。

摄影操作检测单元120被配置为通过分析从运动图像输入单元110输出的运动图像来检测图像捕获时刻的摄像机移动信息(摄影操作)。摄影操作检测单元120包括特征点提取单元121、光流(optical flow)计算单元122和摄影操作参数计算单元123。即，摄影操作检测单元120从构成运动图像的每一个图像提取特征点，并且提取与所述特征点相对应的光流(运动向量)，通过对与所提取的特征点相对应的光流进行分析选择示出支配性运动(dominant motion)的特征点，并且根据与示出支配性运动的特征点相对应的光流估计摄像机移动。在此，支配性运动是指由与多个特征点相对应的光流中相对多数的光流所指示的规则运动。

特征点提取单元121被配置为从与构成从运动图像输入单元110输出的运动图像的帧相对应的图像中提取特征点，并且将所提取出的特征点输出给光流计算单元122。在此，特征点提取单元121针对构成从运动图像输入单元110输出的运动图像的帧中的头帧(head frame)，从整个图像提取特征点，并且针对头帧以外的其它帧，从其图像与对应于紧接的前一帧的图像相比较是被新拍摄的区域部分提取特征点。注意，例如，可以提取在垂直方向或水平方向具有较陡峭的边缘梯度的点(通常称为“角点”；以下称为“角点”)作为特征点。角点是在计算光流中很强的并且可以通过使用边缘检测获取的特征点。注意，将参考图4和图5详细描述角点的提取。并且，在本示例中，特征点提取单元121针对头帧从整个图像提取特征点，并且，针对除了在头部的帧以外的帧，从其图像与紧接的前一图像相比较是被新拍摄的区域部分提取特征点。然而，根据处理性能等，针对除了在头部的帧以外的帧，特征点提取单元121也可以从整个图像提取特征点。

光流计算单元122被配置为计算与从特征点提取单元121输出的各个特征点相对应的光流，并且将通过计算获得的光流输出给摄影操作参数计算单元123。具体而言，光流计算单元122通过对分别与从运动图像输入单元110输出的运动图像中所包括的连续两帧(当前帧和紧接的前一帧)相对应的图像进行比较，来获取与对应于紧接的前一帧的图像中的各个特征点相对应的光流作为当前帧的光流。并且，针对构成运动图像的每一帧获取光流。注意，诸如梯度法和块匹配方法之类的检测方法可以用作检测光流的方法。注意，将参考图4和图5详细描述光流的计算方法。

摄影操作参数计算单元123被配置为执行摄影操作参数计算处理，摄影操作参数计算处理用于使用从光流计算单元122输出的与各个特征点相对应的光流提取摄影操作参数，并且将所计算出的摄影操作参数输出给记录控制单元130。这里，在本发明实施例中，构成要被播放的运动图像的图像根据摄像机移动被进行变换并且被显示。为了执行图像变换，使用由光流计算单元122计算出的光流提取摄像机移动，并且，根据所提取的移动，计算摄影操作参数(变换参数)。注意，在本发明实施例中，将描述仿射变换被用作对构成要被播放的运动图像的图像进行变换的方法的示例。并且，将描述与根据光流计算出的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数被用作摄影操作参数的示例。即，在本发明实施例中，被用作变换信息的仿射变换参数被定义为是与指示当连续图像之一被用作参考图像时图像随参考图像之后移动的情况的仿射矩阵相对应，而非与表示连续图像之间的特征点的运动的仿射矩阵相对应的仿射变换参数。注意，可以使用诸如投影变换之类的其它图像变换方法。注意，通过使用三个点的向量的计算可以获取仿射变换参数。并且可以通过使用四个点的向量的计算获取投影变换参数。这里，摄影操作参数是用于参考构成捕获到的运动图像的被捕获图像中的至少一个被图像，对另一个被捕获图像进行变换的变换信息，并且至少包括摄像机坐标系统中所描述的位置信息和姿势(posture)信息。即，在摄像者正在拍摄图像的情况中，摄影操作参数包括关于摄像机的位置和姿势的信息。并且，根据由摄影操作参数计算单元123获取的仿射变换参数，可以对响应于摄像者输入的操作的摄像机移动进行估计，所述操作例如是放大、缩小、摇镜(panning)、俯仰(tilting)和旋转。注意，将参考图4和图5详细描述仿射变换参数的计算。

记录控制单元130被配置为通过将相对应的帧和仿射变换参数彼此进行关联而将从运动图像输入单元110输出的运动图像和从摄影操作参数计算单元123输出的仿射变换参数作为运动图像文件记录在运动图像存储单元200中。

运动图像存储单元200被配置为存储运动图像文件，在运动图像文件中，彼此相对应的帧和仿射变换参数被彼此关联。并且，运动图像存储单元200响应于来自运动图像获取单元140的请求将运动图像文件提供给运动图像获取单元140。

运动图像获取单元140被配置为获取运动图像存储单元200中所存储的运动图像文件，并且将所获取的运动图像文件输出给摄影操作参数提取单元150和图像变换单元160。

摄影操作参数提取单元150被配置为在一帧一帧的基础上提取被与从运动图像获取单元140输出的运动图像文件相关联而记录的仿射变换参数，并且将所提取的仿射变换参数输出给图像变换单元160。

图像变换单元160被配置为在一帧一帧的基础上使用从摄影操作参数提取单元150输出的仿射变换参数将仿射信息应用于构成从运动图像获取单元140输出的运动图像文件中的运动图像的图像，并且将经过仿射变换的图像输出给图像合成单元180和图像位置获取单元190。具体而言，图像变换单元160使用从摄影操作参数提取单元150输出的仿射变换参数，对与从运动图像获取单元140输出的当前帧相对应的图像执行仿射变换。注意，将参考图7至图15等详细描述图像变换。

图像存储器170包括保存通过由图像合成单元180执行的合成产生的合成图像的工作缓冲器。图像存储器170被配置为将所保存的合成图像提供给图像合成单元180和图像位置获取单元190。即，图像存储器170是保存历史图像的图像存储器。

图像合成单元180被配置为将从图像变换单元160输出的经变换的图像与图像存储器170中所保存的合成图像进行合成，并且将通过合成产生的合成图像输出给图像存储器170。具体而言，图像合成单元180通过将用由图像变换单元160获得的经过仿射变换的图像覆写在图像存储器170中所保存的与直到紧接的前一帧的每一帧相对应的合成图像之上对图像合成。此外，当针对一个运动图像的从头帧到最后一帧的图像合成完成时，图像合成单元180产生图像存储器170中所保存的合成图像的缩小图像，并且将所产生的缩小图像和作为全景图被保存在图像存储器170中的合成图像输出给代表图像存储单元220，使得该缩小图像和该合成图像将被记录。该全景图是代表从运动图像输入单元110输入的运动图像的代表图像，并且是被产生以包括该运动图像中所包括的各个图像拍摄空间的主要部分的图像。注意，将参考图7至图15等详细描述图像合成。

图像位置获取单元190被配置为基于从图像变换单元160输出的经过变换的图像和图像存储器170中所保存的合成图像，来获得从图像变换单元160输出的经过变换的图像的中心位置和图像存储器170的工作缓冲器中的图像的大小(面积)，并且将所获得的经过变换的图像的中心位置和该图像的大小连同与经过变换的图像相对应的帧号一起输出给图像位置存储单元210。即，图像位置获取单元190从由图像合成单元180产生的全景图(代表图)中获得从图像变换单元160输出的经过变换的图像的坐标位置。注意，将参考图2详细描述该图像的中心位置和该图像的大小。

图像位置存储单元210被配置为对从图像位置获取单元190输出的彼此关联的图像的帧号和图像的大小进行存储，并且将所存储的图像的帧号和所存储的图像的中心位置和大小输出给选择单元240。注意，将参考图2详细描述图像位置存储单元210中所存储的各条信息。

代表图像存储单元220被配置为将从图像合成单元180输出的合成图像存储作为关于运动图像存储单元200中所存储的运动图像的全景图，并且还将从图像合成单元180输出的缩小图像存储作为关于运动图像存储单元200中所存储的运动图像的全景缩小图像，并且将所存储的全景图输出给显示控制单元250。

操作接受单元230包括各种操作键等并且被配置为在接受使用这些键输入的操作之后，将所接受的操作输入的详细内容输出给选择单元240或显示控制单元250。操作接受单元230例如包括鼠标(点击装置)。根据使用鼠标输入的操作输入而移动的光标(鼠标指针)被显示在显示单元260上。光标是用来在显示单元260上所显示的画面上指示指令或操作的鼠标指针。

选择单元240被配置为当在全景图上输入由操作接受单元230接受的位置选择操作时，基于图像位置存储单元210中所存储的图像的中心位置和大小，从图像位置存储单元210中所存储的帧号中选择帧号，并且将所选出的帧号和与之对应的运动图像ID输出给显示控制单元250。注意，将参考图22详细描述该选择。

显示控制单元250被配置为响应于操作接受单元230的操作输入，对代表图像存储单元220中所存储的全景图或运动图像存储单元200中所存储的运动图像在显示单元260上的显示进行控制。并且，当从选择单元240输入了帧号和运动图像ID时，显示控制单元250搜索运动图像存储单元200，找出与运动图像ID相对应的运动图像，并且还开始从与帧号相对应的位置对检索出的运动图像的播放。

显示单元260被配置为在显示控制单元250的控制下显示代表图像存储单元220中所存储的全景图或运动图像存储单元200中所存储的运动图像。例如，显示单元260可以由个人计算机或电视的显示器实现。注意，将参考图20等详细描述合成图像的显示示例。

图2是示意性地示出本发明实施例中图像位置存储单元210中所存储的详细内容的示图。

在图像位置存储单元210中，在一帧一帧的基础上以时间序列存储有关通过由图像变换单元160执行的仿射变换和由图像合成单元180执行的合成所得到的图像的信息。具体而言，运动图像ID 211、帧号212、中心位置213和图像大小214彼此关联地存储在图像位置存储单元210中。

运动图像ID 211是与运动图像存储单元200中所存储的各个运动图像相对应的ID。

帧号212是运动图像存储单元200中所存储的运动图像中所包括的帧的标识号。例如，假定头帧的帧号是“1”，并且第二个帧的帧号是“2”。类似地，将帧号给予第三帧和之后的帧。如上，针对构成由运动图像获取单元140获得的运动图像的每一帧，在帧号212中以时间序列记录与由图像变换单元160获得的经过仿射变换的图像相对应的帧的帧号。

中心位置213是指示图像存储器170的工作缓冲器中由图像变换单元160获得的经过仿射变换的图像的中心位置的信息。例如，当图像存储器170的工作缓冲器具有xy坐标时，记录与由图像变换单元160获得的经过仿射变换的图像的中心位置相对应的坐标值。

图像大小214是指示图像存储器170的工作缓冲器中由图像变换单元160获得的经过仿射变换的图像的大小的图像大小。例如，将由图像变换单元160获得的经过仿射变换的图像的面积记录为图像大小。注意，在本发明实施例中，将描述中心位置和图像大小被用作由图像变换单元160获得的经过仿射变换的图像的位置信息的示例。然而，诸如与图像的四个顶点相对应的坐标之类的其它位置信息可以被用作经过仿射变换的图像的位置信息。

图3是示意性地示出本发明实施例中的代表图像存储单元220中所存储的详细内容的示图。

在代表图像存储单元220中，针对运动图像存储单元200中所存储的每个运动图像，将由图像合成单元180产生的合成图像和缩小图像存储为全景图和全景缩小图像。具体而言，运动图像ID 221、全景图222和全景缩小图像223被彼此关联地存储在代表图像存储单元220中。例如，针对一个运动图像存储一个全景图和一个全景缩小图像。

运动图像ID 221是与运动图像存储单元200中所存储的运动图像相对应的ID。

全景图222是针对运动图像存储单元200中所存储的每个运动图像、通过由图像合成单元180执行的合成产生的合成图像。注意，在图3中，代表图像存储单元220中所存储的全景图被省略示为“A1”、“B1”和“C1”。

全景缩小图像223是针对运动图像存储单元200中所存储的每个运动图像、通过减小由图像合成单元180产生的合成图像的大小而产生的缩小图像，其是通过减小全景图222中所存储的全景图的大小获得的。注意，在图3中，代表图像存储单元220中所存储的各个全景缩小图像被省略示为“A11”、“B11”和“C11”。

接着，将参考图详细描述图像变换中所使用的检测仿射变换参数的检测方法。

图4的(a)到(c)包括示出与运动图像中所包括的帧相对应的图像的示例的示图。图5的(a)是示出通过省略与对应于图4中所示出的图像300的帧之前的一帧相对应的图像的背景等获得的简化图像的示图。并且图5的(b)和(c)包括示出通过省略图4中所示出的图像300等的背景获得的简化图像的示图。

图4和图5中示出的图像300、320和330包括马的图像301、321和331，马上装配了一个人，并且蛇的图像302、322和332刚好在马的图像301、321和331之前。并且如图4中所示，旗帜、椅子等存在于这些图像的背景中，并且旗帜在风中飘扬。

图5的(a)中所示的图像320是与在对应于图4的(a)到(c)和图5的(b)和(c)中所示出的图像300和330的帧之前的一帧相对应图像的简化图像。并且，与两个连续的帧相对应的图像320和330是示出在画面上的对象逐渐变大的情况中的转变的图像。即，在该图像被捕获时，执行了用于逐渐增大画面上的对象的大小的放大操作。

在本发明实施例中，将通过示例方式描述检测构成运动图像的各个图像中的特征点并且使用与特征点相对应的光流计算仿射变换参数的方法。并且，在这个示例中，将描述角点被用作特征点的情况。

这里，在图5的(a)到(c)中，将通过示例方式描述使用与图像320和330中检测出的三个角点相对应的光流计算仿射变换参数的方法。

例如，在图5的(a)所示的图像320中，假定检测出在马的图像321的嘴巴附近的角点323、在马的图像321的臀附近的角点324和蛇的图像322的嘴巴附近的角点325作为特征点。在这种情况中，在图5的(b)所示的图像330中，使用梯度法、块匹配法等等检测出图像320中与角点323、324和325相对应的光流337、338和339。根据检测出的光流337、338和339，检测出图像320中与角点323、324和325相对应的角点333、334和335。

在此，例如，在图5的(a)和(b)中所示的图像320和330中所包括的马的图像321和331和蛇的图像322和332中被安置在地面上，因此，不会独立于摄像机移动而移动。因此，基于针对马的图像321和331和蛇的图像322和332而获得的光学流可以精确地估计摄像机移动。例如，如图5的(c)所示，基于图像330中检测到的三个光学流337到339，可以估计出图像330是通过用点336作为中心放大图像320获得的。因此，可以确定拍摄图像330时的摄像机移动是用点336作为中心被执行的放大操作。如上，检测出不独立于摄像机移动而移动的对象中的角点并且基于针对这些角点获得的光流，可以精确检测出具有一定的规则的摄像机移动。因此，使用针对这些角点获得的光流而计算并获得仿射变换参数。

但是，在如旗帜在风中飘扬等的情况中，可以设想到图像中包括独立于摄像机移动而移动的对象。例如，图4中所示的图像300包括在风中飘扬的旗帜。在检测出独立于摄像机移动而移动的对象中的角点并且使用针对这些角点获得的光流估计摄像机移动的情况中，不能精确估计摄像机移动。

例如，图4的(b)中所示的图像300中检测出的光流以箭头示出，并且从这些光流检测出的角点由箭头的尖端处的空心圆指示。这里，角点303至305是与图5的(b)和(c)中所示的角点333至335相对应的角点。并且，角点306至311是在马的图像301的背景中存在的旗帜中检测出的角点。由于这些旗帜在风中飘扬，所以由风的效果引起的旗帜移动被检测出作为光流。即，在独立于摄像机移动而移动的旗帜中检测出分别与角点306至311相对应的光流。因此，当计算仿射变换参数的情况中使用的三个光流包括与角点306至311中的至少一个角点相对应的光流时，不能检测出精确的摄像机移动。在这种情况中，不能计算出仿射变换参数。

如上所述，例如，存在这样的情况：在拍摄图像中，检测出与独立于摄像机移动而移动的对象相对应的光流(分别与图4的(b)中所示的角点306至311相对应的光流)和关于摄像机移动具有一定的规则的光流(除了分别与图4的(b)中所示的角点306至311相对应的光流之外的光流)。

因此在本发明实施例中，描述了这样的示例：基于三个光流多次执行用于计算仿射变换参数的仿射变换参数计算处理从而获得多个仿射变换参数，并且从这些仿射变换参数中选出最优的仿射变换参数。注意，在本示例中，构成运动图像的各个图像中所包括的运动对象的大小相对于该图像的面积相对小。

这里，将简要描述仿射变换。在两个维度上，当移动源的位置是(x，y)而仿射变换后的移动目的地位置是(x′，y′)时，仿射变换的矩阵可以由等式1表示。

【等式1】

$\left[\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right]=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\left[\begin{array}{ccc}a& d& 0\\ b& e& 0\\ c& f& 1\end{array}\right]$ …(等式1)

这里，a至f是仿射变换参数。并且可以由以下等式表示包括这些仿射变换参数的仿射矩阵AM。在这种情况中，可以通过以下等式分别获得：X方向上的缩放成分XZ和Y方向的缩放成分YZ，X方向上的平移成分(translation component)XT和Y方向上的平移成分YT。注意，在单位矩阵的情况中，a＝e＝1并且b＝c＝d＝f＝0。

【等式2】

$\mathrm{AM}=\left[\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right]$

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+e^2}$

XT＝c                 YT＝f

$R={\tan }^{-1}\left[\frac{d}{a}\right]$

接着，将描述仿射变换参数计算方法。

首先，在与作为构成运动图像的帧中的一帧的当前帧相对应的图像中，从基于其检测出光流的特征点中选出三个特征点。例如，三个角点是从图4的(b)中所示的图像300中检测出的角点(由空心圆表示)中随机选出的。注意，当投影变换参数被用作摄影操作参数时，随机选出四个特征点。

然后，使用与所选出的三个特征点相对应的光流计算仿射变换参数。例如，使用与从图4的(b)中所示的图像300中的角点(由空心圆表示)中选出的三个角点相对应的光流(由连接到空心圆的箭头指示)计算仿射变换参数。使用等式1可以获得仿射变换参数。

然后，基于所获得的仿射变换参数，计算仿射变换参数的分数。具体而言，使用所获得的仿射变换参数，获得与当前帧紧接的前一帧相对应的图像中的所有特征点的移动目的地的位置。通过将使用仿射变换参数获得的一个特征的位置与在当前帧中检测出的另一特征点的位置进行比较，来在一个特征点一个特征点的基础上，计算两个相应的特征点的位置之间的差值。例如计算两个相应的特征点的位置之间的绝对距离作为所述差值。然后，在一个特征点一个特征点的基础上，将计算出的差值与预设阈值进行比较，并且获得差值比阈值小的特征点的个数作为仿射变换参数的分数。如上，从基于其检测出光流的特征点中随机地选出三个特征点。基于与这三个特征点相对应的光流，重复用于计算仿射变换参数的分数的处理预定的次数，从而计算出多个仿射变换参数的分数。需要时可以根据要被比较的图像的类型、图像处理设备100的处理性能等设置预定的次数。或者，固定值可以被用作预定次数。例如，考虑图像处理设备100的处理性能可以将约20次设置为预定次数。

例如，考虑这样的情况：从图4的(b)中所示的图像300中检测出的角点中选出除角点306至311以外的三个角点。当如上所述使用与以上选出的三个角点相对应的光流计算出仿射变换参数时，由于这三个光流具有一定的规则，所以获得根据一定的规则对与紧接的前一帧相对应的图像进行变换的仿射变换参数。因此，考虑使用仿射变换参数获得的角点的位置和当前帧中检测出的角点的位置，计算出除角点306至311之外的角点获得的差值作为相对小的值。因此，仿射变换参数的分数变成大的值。

另一方面，考虑这样的情况：从图4的(b)中所示的图像300中检测出的角点中选出至少包括角点306至311中的一个点的三个角点。当如上所述使用与以上选出的三个角点相对应的光流计算出仿射变换参数时，由于这三个光流包括不具有一定规则的光流，所以获得了并非根据一定的规则对与紧接的前一帧相对应的图像进行变换的仿射变换参数。因此，计算出针对使用仿射变换参数获得的角点的位置和当前帧中检测出的角点的位置获得的差值作为任意角点处相对大的值。因此，仿射变换参数的分数变成小的值。

然后，在所获得的多个仿射变换参数的分数中，选出分数具有最大值的仿射变换参数作为代表仿射变换参数。与所选出的仿射变换参数的矩阵相对应的逆矩阵的仿射变换参数被与当前帧相关联地记录在运动图像存储单元200中。以这种方式，在要对构成运动图像的图像执行仿射变换的情况中，可以使用最优的仿射变换参数来执行仿射变换。

如上所述，即使是在构成运动图像的各个图像包括诸如人或车之类的移动的对象(移动对象)时，如果移动对象的大小相对于图像的面积小，则可以提取摄像机移动而不会受移动对象的影响。

并且，可以通过提取摄像机移动估计被认为是由摄像者有意造成的移动，例如，放大、缩小、摇镜、俯仰和旋转。

接着，将参考图描述本发明实施例中图像处理设备100的操作。

图6是示出在本发明实施例中由图像处理设备100执行的仿射变换参数检测处理的处理过程的流程图。

首先，向运动图像输入单元110输入运动图像文件(步骤S900)。然后，对输入运动图像输入单元110的运动图像文件进行解码并且按时间序列的顺序获得一帧的图像(步骤S901)。然后，确定所获得这一帧是否是被输入到运动图像输入单元110的运动图像文件的头帧(步骤S902)。当所获得的这一帧是头帧时(步骤S902)，从与该头帧相对应的整个图像提取特征点(步骤S903)。例如，如图4的(b)所示，从该图像中提取多个角点。然后，选择单位矩阵中的仿射变换参数作为仿射变换参数(步骤S904)，并且流程进行到步骤S914。

另一方面，当所获得的这一帧不是头帧时(步骤S902)，参考，从对照与紧接的前一帧相对应的图像，图像是被新拍摄的区域提取特征点(步骤S905)。即，由于已经被从与紧接的前一帧相对应的图像中提取出的特征点可以通过与这些特征点相对应的光流获得，所以，这些特征点不是从与当前帧相对应的图像中提取出的。

然后，计算与从与紧接的前一帧相对应的图像中提取的各个特征点相对应的光流(步骤S906)。即，如图4的(b)所示，计算与各个角点相对应的光流。

然后，变量i被初始化为“1”(步骤S907)。然后，从已经基于其检测出了光流的特征点中选出M个特征点(步骤S908)。例如，当仿射变换参数被用作摄影操作参数时，随机地选择3个特征点。并且，当投影变换参数被用作摄影操作参数时，随机地选出4个特征点。然后，基于与所选出的M个特征点相对应地计算出的M个光流来计算仿射变换参数(步骤S909)。

然后，基于通过计算获得的仿射变换参数，计算仿射变换参数的分数(步骤S910)。具体而言，使用通过计算获得的仿射变换参数，获得在与紧接的前一帧相对应的图像中的所有特征点的移动目的地的位置。在一个特征点一个特征点的基础上，通过将使用仿射变换参数获得的一个特征点的位置与在步骤S906中计算光流时获得的与当前帧相对应的图像中的另一特征点的位置进行比较，来计算两个相应特征点的位置之间的差值。例如，计算两个相应的位置之间的绝对距离作为差值。然后，在一个特征点一个特征点的基础上，将所计算出的差值与预设阈值进行比较，并且获得差值比阈值小的特征点的个数作为仿射变换参数的分数。

然后，给变量i加“1”(步骤S911)，并且确定变量i是否比常量N大(步骤S912)。当变量i小于等于常量N时(步骤S912)，流程返回步骤S908，并且重复仿射变换参数分数计算处理(步骤S908至步骤S910)。例如，20可以被用作常量N。

另一方面，当变量i比常量N大时(步骤S912)，从所获得的仿射变换参数的分数中选出分数具有最大值的仿射变换参数作为代表仿射变换参数(步骤S913)。然后，与所选出的代表仿射变换参数的矩阵相对应的逆矩阵的仿射变换参数被与当前帧相关联地记录在运动图像存储单元200中(步骤S914)。注意，当当前帧是头帧时，单位矩阵的被选出的仿射变换参数被与头帧相关联地记录在运动图像存储单元200中。然后，与当前帧相对应的图像和该图像中的特征点被覆写并且被保存(步骤S915)。

然后，确定当前帧是否是被输入运动图像输入单元110的运动图像文件的组后一帧(步骤S916)。当当前帧不是最后一帧时(步骤S916)，流程返回步骤S901，并且重复仿射变换参数检测处理(步骤S901至步骤S915)。另一方面，当当前帧是最后一帧时(步骤S916)，结束仿射变换参数检测处理。

在本发明实施例中，已经描述了基于在构成运动图像的图像中检测出的光流来检测仿射变换参数作为摄影操作参数检测的示例。或者，可以在摄像机上提供诸如加速传感器或陀螺传感器之类的传感器或在执行缩放操作时使用的缩放按钮。使用传感器或缩放按钮可以检测拍摄图像时的摄像机移动量，并且基于摄像机移动量，可以获得摄影操作参数。注意，在确定由摄影操作参数计算单元123获得的摄影操作参数是否正确时可以使用所检测出的在拍摄时的摄像机移动量。并且，由摄影操作参数计算单元123可以检测出多个摄影操作参数，并且基于所检测出的拍摄图像时的摄像机移动量，一个摄影操作参数可以从所述多个摄影操作参数被选出。

接着，将参考图详细描述通过使用上述仿射变换参数进行合成而产生运动图像的情况。注意，为了便于描述，简化了图7至图15中示出的各个图像，并且放大示出了两个连续帧之间的移动量。

首先，将描述这样的情况：在使用摄像机拍摄图像时，尽管放大倍数保持不变，但是摄像机的镜头以摄像机的位置作为中心在上下左右任一方向上移动。

图7包括示出由摄像机拍摄的运动图像中的转变的示例的示图。在图7中，所述示图示出在拍摄了人400和背景中的山的图像的情况中，与运动图像中所包括的连续帧相对应的图像401至403。在本示例中，图示了摄像者在左右方向上移动镜头的同时拍摄图像的情况。在本示例中，由摄像机拍摄的运动图像中所包括的人400从右侧向左侧移动，并且还在构成运动图像的图像中向下移动。

图8包括这样的示图：在图7中所示的各个图像中，用虚线指示与紧接的前一帧相对应的图像，并且还示出示例性的检测到的光流。图8的(a)中示出的图像401和图7的(a)中示出的图像401一样。并且，图像8的(b)中示出的图像402中由实线指示的部分和图7的(b)中示出的图像402一样，并且图8的(b)中示出的图像402中由虚线指示的部分和图8的(a)中示出的图像401中由实线指示的部分一样。并且，图8的(b)中示出的图像402中的箭头404至406图示了图402中检测出的示例性光流。类似地，图像8的(c)中示出的图像403中由实线指示的部分和图7的(c)中示出的图像403一样，并且图8的(c)中示出的图像403中由虚线指示的部分和图8的(b)中示出的图像402中由实线指示的部分一样。并且，图8的(c)中示出的图像403中的箭头407至409图示了图403中检测出的示例性光流。

如图8的(b)和(c)所示，图像中所包括的人400和背景中的山随摄像机移动而移动。基于从这个移动检测到的光流，可以在一帧一帧的基础上获得仿射变换参数。

图9包括示出在通过合成产生包括图7中示出的图像401至403的运动图像的情况中的图像合成示例的示图。

如图9的(a)所示，首先，由于只有与头帧相对应的帧401，所以不执行合成。这里，当与图像401相对应的仿射变换参数矩阵(3×3矩阵)为A1时，获得A1的值，并且参考头帧的图像401的位置和大小，使用获得的A1矩阵对图像401进行仿射变换。这里，由于A1是单位矩阵，所以不对图像401的位置和大小进行变换。然后，当与下一帧相对应的图像402要被合成时，使用与该帧关联的仿射变换参数对图像402进行仿射变换。具体而言，当与图像402相对应的仿射变换参数的矩阵是A2并且与图像401相对应的仿射变换参数的矩阵是A1时，获得A1×A2的值，并且，参考头帧的图像401的位置和大小，使用所获得的A1×A2矩阵对图像402进行仿射变换。在图9的(b)中所示的图像中，只有图像402的位置被变换。已经被使用仿射变换参数进行了仿射变换的图像402被写上以覆盖与紧接的前一帧相对应的图像401。即，在图像401的区域内，图像402的图像被写在覆盖图像402的区域410之上。并且，在图像401的区域内，图像401的图像被合成进不覆盖图像420的区域411中。即，当与第二帧相对应的图像402要被合成时，如图9的(b)所示，图像402的整个部分和图像401中与区域411相对应的部分被合成。并且，用来对图像402进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像403要被合成时，使用与该帧相关联的仿射变换参数对图像403进行仿射变换。即，使用通过使用与图像403相对应的仿射变换参数矩阵和在紧接的前一帧仿射变换中使用的与图像402相对应的仿射变换参数矩阵而获得的仿射变换参数，对图像403进行仿射变换。具体而言，当与图像403相对应的仿射变换参数矩阵是A3、与图像402相对应的仿射变换参数矩阵是A2并且与图像401相对应的仿射变换参数矩阵是A1时，获得A1×A2×A3的值，并且参考头帧的图像401的位置和大小，使用所获得的A1×A2×A3矩阵对图像403进行变换。在图9的(c)中所示的图像中，只有图像403的位置被变换了。已经使用仿射变换参数进行了仿射变换的图像403被写上以覆盖与之前的帧相对应的帧401和402的合成图像。即，在图像401和402的合成图像的区域内，图像403的图像被写在覆盖图像403的区域413和414之上。并且，在图像401和402的合成图像的区域内，图像401和402的合成图像被合成进不覆盖图像403的区域411和412中。即，当与第三帧相对应的图像403要被合成时，如图9的(c)所示，图像403的整个部分、图像401的与区域411相对应的部分和图像420的与区域412相对应的部分被合成。并且，用来对图像403进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过将分别与图像402和403相对应的仿射变换参数相乘获得的仿射变换参数被保存在图像变换单元160中。如上，当与当前帧相对应的图像要被进行仿射变换时，使用通过使用与当前帧相对应的仿射变换参数矩阵和与当前帧之前的各个帧相对应的仿射变换参数矩阵获得的仿射变换参数，对与当前帧相对应的图像进行仿射变换。在仿射变换时获得的仿射变换参数被保存在图像变换单元160中，并且在下一个仿射变换中被使用。并且，与经过仿射变换的图像的中心位置相对应的坐标值和指示图像存储器170的工作缓冲器中的图像的大小的图像大小被记录在图像位置存储单元210中。并且，同样的也使用图12和图15的情况。

接着描述了这样的情况：在使用摄像机拍摄图像时，尽管摄像机的镜头方向仍然不变，但是放大倍数被改变。

图10包括示出由摄像机拍摄的运动图像中的转变的示例。在图10中，示图示出了在拍摄了人420和背景中的山的图像的情况中与运动图像中所包括的连续图像相对应的图421至423。在本示例中，示出摄像者在增大摄像机镜头的放大倍数的同时拍摄图像的情况。在这种情况中，由摄像机拍摄的运动图像中包括的人420在构成运动图像的图像中逐渐变大。注意，在这个示例中，将不考虑摄像机位置的移动，尽管摄像机位置在增大放大倍数时可能轻微地移动。

图11包括这样的示图：在图10所示的各个图像中，由虚线指示与紧接的前一帧相对应的图像，并且还示出示例性的检测到的光流。图11的(a)中所示的图像421和图10的(a)中所示的图像421一样。并且，图像11的(b)中示出的图像422中由实线指示的部分和图10的(b)中示出的图像422一样，并且图11的(b)中示出的图像422中由虚线指示的部分和图10的(a)中示出的图像421中由实线指示的部分一样。并且，图11的(b)中示出的图像422中的箭头424至426图示了图422中检测出的示例性光流。类似地，图像11的(c)中示出的图像423中由实线指示的部分和图10的(c)中示出的图像423一样，并且图11的(c)中示出的图像423中由虚线指示的部分和图10的(b)中示出的图像422中由实线指示的部分一样。并且，图11的(c)中示出的图像423中的箭头427至429图示了图423中检测出的示例性光流。

如图11的(b)和(c)所示，图像中所包括的人420和背景中的山的大小随放大倍数改变而改变。基于从这个改变检测到的光流，可以在一帧一帧的基础上获得仿射变换参数。

图12包括示出在通过合成产生包括图10中示出的图像421至423的运动图像的情况中的合成示例的示图。

如图12的(a)所示，首先，由于只有与头帧相对应的图像421，所以不执行合成。然后，当与下一帧相对应的图像422要被合成时，使用与该帧相关联的仿射变换参数对图像422进行仿射变换。在图12的(b)中所示的图像中，只有图像422的大小被变换。已经被使用仿射变换参数进行了仿射变换的图像422被写上以覆盖与紧接的前一帧相对应的图像421。即，在图像421的区域内，图像422的图像被写在覆盖图像422的区域之上。在这种情况中，由于图像421覆盖图像422的整个区域，图像422的整个图像被写在图像421之上。并且，在图像421的区域内，图像421的图像被合成进不覆盖图像422的区域431。即，当与第二帧相对应的图像422要被合成时，如图12的(b)所示，图像422的整个部分和图像421的与区域431相对应的部分被合成。并且，用来对图像422进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像423要被合成时，使用与该帧相关联的仿射变换参数对图像423进行仿射变换。即，使用通过使用与图像423相对应的仿射变换参数矩阵和在紧接的前一帧仿射变换中使用的、与图像422相对应的仿射变换参数矩阵获得的仿射变换参数对图像423进行变换。在图12的(c)中，只有图像423的大小被变换。经过仿射变换的图像423被写上以覆盖与之前的帧相对应的图像421和422的合成图像。即，在图像421和422的合成图像的区域内，图像423的图像被写在覆盖图像423的区域之上。在这种情况中，由于图像423覆盖图像421和422的整个区域，图像423的整个图像被写在图像421和422的合成图像之上。并且，在图像421和422的合成图像的区域内，图像421和422的合成图像被合成进不覆盖图像423的区域432和433中。即，当与第三帧相对应的图像423要被合成时，如图12的(c)所示，图像423的整个部分、图像421的与区域432相对应的部分和图像422的与区域433相对应的部分被合成。并且，用来对图像423进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过使用分别与图像422和423相对应的仿射变换参数获得的仿射变换参数被保存在图像变换单元160中。

接着，将描述这样的情况：在使用摄像机拍摄图像时，尽管摄像机的镜头方向和放大倍数保持不变，但是摄像机绕用作旋转中心的图像拍摄方向旋转。

图13包括示出由摄像机拍摄的运动图像中的转变的示例的示图。在图13中，示图示出在已经拍摄了人440和背景中的山的图像的情况中与运动图像中所包括的连续帧相对应的图像441至443。在本示例中，图示了在摄像者在绕作为旋转中心的图像拍摄方向旋转的同时拍摄图像的情况。在这种情况中，由摄像机拍摄的运动图像中所包括的人440在构成运动图像的图像中旋转。注意，在本示例中，不考虑摄像机位置的移动，尽管摄像机位置可能由于摄像机的旋转而轻微地移动。

图14包括这样的示图：在图13中示出的各个图像中，由虚线指示与紧接的前一帧相对应的图像，并且还示出示例性的检测到的光流。图14的(a)中示出的图像441和图13的(a)中示出的图像441一样。并且，图像14的(b)中示出的图像442中由实线指示的部分和图13的(b)中示出的图像442一样，并且图14的(b)中示出的图像442中由虚线指示的部分和图13的(a)中示出的图像441中由实线指示的部分一样。并且，图14的(b)中示出的图像442中的箭头444至446图示了图442中检测出的示例性光流。类似地，图像14的(c)中示出的图像443中由实线指示的部分和图13的(c)中示出的图像443一样，并且图14的(c)中示出的图像443中由虚线指示的部分和图13的(b)中示出的图像442中由实线指示的部分一样。并且，图14的(c)中示出的图像443中的箭头447至449图示了图443中检测出的示例性光流。

如图14的(b)和(c)所示，图像中所包括的人440和背景中的山随摄像机的旋转而旋转。基于从这个旋转移动检测到的光流，可以在一帧一帧的基础上获得仿射变换参数。

图15包括示出在通过合成产生包括图13中示出的图像441至443的运动图像的情况中的合成示例的示图。

如图15的(a)所示，首先，由于只有与头帧相对应的图像441，所以不执行合成。然后，当与下一帧相对应的图像442要被合成时，使用与该帧相对应的仿射变换参数对图像442进行变换。在图15的(b)中所示的图像中，只有图像442的角度被变换。已经被使用仿射变换参数进行了仿射变换的图像442被写上以覆盖与紧接的前一帧相对应的图像441。即，在图像441的区域内，图像442的图像被写在覆盖图像442的区域450之上。并且，在图像441的区域内，图像441的图像被合成进不覆盖图像442的区域451和452中。即，当与第二帧相对应的图像442要被显示时，如图15的(b)所示，图像442的整个部分和图像441的与区域451和452相对应的部分被合成。并且用来对图像442进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像443要被合成时，使用与该帧相关联的仿射变换参数对图像443进行变换。即，使用通过使用与图像443相对应的仿射变换参数矩阵和在紧接的前一帧仿射变换中使用的、与图像442相对应的仿射变换参数矩阵获得的仿射变换参数对图像443进行变换。在图15的(c)中所示的图像中，只有图像443的角度被变换。经过仿射变换的图像443被写上以覆盖与之前的帧相对应的图像441和442的合成图像。即，在图像441和442的合成图像的区域内，图像443的图像被写在覆盖图像443的区域453至457之上。并且，在图像441和442的合成图像的区域内，图像441和442的合成图像还被合成进不覆盖图像443的区域458和461中。即，当与第三帧相对应的图像443要被合成时，如图15的(c)所示，图像443的整个部分、图像441的与区域459相对应的部分和图像442的与区域458和460相对应的部分被合成。并且，用来对图像443进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过使用分别与图像442和443相对应的仿射变换参数获得的仿射变换参数被保存在图像变换单元160中。

已经描述了构成运动图像的各个图像的位置、放大倍数和角度相继改变的情况。然而，该实施例同样适用于这些改变被组合的情况。

接着，将图示通过合成产生实际由摄像机拍摄的运动图像的情况中的显示示例。在以下示出的图像合成示例中，只在被合成了与当前帧和之前的帧相对应的图像的区域中显示合成图像，并且其它区域以黑色显示。并且，边界被添加到与当前帧相对应的图像的外围。并且，在以下所示的图像合成示例中，通过示例的方式图示当前正在产生的合成图像。

图16至图19包括示出由摄像机拍摄的运动图像中的转变的示例的示图。图16和图17是示出构成在移动摄像机时拍摄公寓内广场上的亲子游戏的图像的情况下的运动图像的图像500至505的示图。

在图16和图17示出的图像500至505中，与当前帧相对应的图像是图像506至511。并且，作为与之前各帧相对应的通过合成产生的图像的合成图像是图像512至517。如图16和图17所示，拍摄图像中包括的被拍摄的目标(公寓内的广场等)对于画面是固定的，并且与当前帧相对应的图像506至511与摄像机移动相一致地在画面上移动。

图18和图19是示出构成在执行放大操作时拍摄公寓内广场上的亲子游戏的图像的情况下的运动图像的图像520至525的示图。

在图18至图19中所示的图像520至525中，与当前帧相对应的图像是图像526至531。并且，作为与之前各帧相对应的通过合成产生的图像的合成图像是图像532至537。如图18和图19所示，拍摄图像中包括的被拍摄的目标(公寓内的广场等)对于画面是固定的，并且与当前帧相对应的图像526至531与摄像机移动相一致地在画面上移动。

如上，在图16至图19所示的图像合成示例中，与当前帧相对应的图像随着大小的扩大和缩小在显示器上移动，从而产生宽大的图像。

图20是示出通过使用图像合成单元180在由摄像机拍摄的运动图像上执行的合成而产生的全景图的示例的示图。图20中所示的全景图540是从主要以公寓内的广场上的亲子游戏为中心而拍摄的运动图像产生的全景图。如图20中所示，拍摄所需的诸如公寓内的广场之类的背景和作为拍摄图像的中心主题的亲子一起被包括在全景图540中。因此，可以容易地理解运动图像的详细内容。并且，可以迅速理解图像被拍摄的空间。

接着，将详细描述使用全景图播放运动图像的情况。

图21是示出本实施例中的在显示单元260上显示的全景图列表画面的显示示例的示图。全景图列表画面是在当运动图像存储单元200中所存储的运动图像要被播放时，例如选择要被播放的所期望的运动图像的情况下要被显示的全景图列表画面。注意，图21中所示的各个全景图分别被省略示为“A11”、“B11”和“C11”，如在图3中所示的代表图像存储单元220的全景缩小图像223中所存储的全景缩小图像一样。注意，全景图列表画面响应于由用户输入的、来自操作接受单元230的操作输入而被显示在显示单元260上。

在全景图列表画面600上，分别显示出在代表图像存储单元220的全景缩小图像223中所记录的全景缩小图像601至603(“A11”、“B11”和“C11”)，并且还显示出用于执行选择操作的光标604。如上，当运动图像存储单元200中所存储的运动图像要被显示时，由于与各个运动图像相对应的全景缩小图像已经被显示在全景图列表画面600上，所以可以很容易地理解各个图像的详细内容，并且因此可以很容易地选择运动图像。因此，可以高效地选择要被播放的运动图像。

在此，将描述选择要被播放的运动图像的选择方法。如图21中所示，当全景缩小图像601至603被显示在全景图列表画面600上时，用户通过从操作接受单元230输入操作输入来操作光标604并且从全景缩小图像601至603中选择所期望的全景缩小图像。例如，使用鼠标双击所期望的全景缩小图像。例如，如图22的(a)中所示，与通过这个选择操作选择的全景缩小图像相对应的全景图被放大显示在显示单元260上。

图22的(a)是示出在本发明实施例中的在显示单元260上显示的全景图显示画面的显示示例的示图。在全景图显示画面610上，全屏显示与在全景图列表画面600上选择的全景缩小图像相对应的全景图620，并且还显示光标629。这里，为了描述方便添加全景图620内由虚线指示的边界621至628，边界621至628不被实际显示。并且，边界621至628示出构成与全景图620相对应的运动图像的图像中的某些图像。

图22的(b)是示意性地示出与全景图620相对应的运动图像630的示图，并且帧631至638是构成运动图像630的帧中的某些帧。这里，假定运动图像630中所包括的帧以时间序列排列，从箭头639指示的“0”开始。并且，假定帧631至638分别与图22的(a)中所示的边界621至628相对应。

这里，将描述使用全景图显示画面610上显示的全景图620播放运动图像630的播放方法。在全景图显示画面610上显示的全景图620中，用户通过从操作接受单元230输入操作输入来操作光标629并且选择全景图620中所期望的部分。例如，使用鼠标双击全景图620中所期望的部分。基于通过这一选择操作所选择的位置，从预定位置开始运动图像630的回放。具体而言，在与运动图像630相对应的被记录在图像位置存储单元210的中心位置213中的坐标中，在离全景图620中通过选择操作被选出的位置的最小距离以内存在的坐标点被检测出，并且与该坐标点相对应的帧号212和运动图像ID 211被检测出。当所选择的帧号212和运动图像ID 211被输出给显示控制单元250时，显示控制单元250搜索运动图像存储单元200找到与运动图像ID 211相对应的运动图像，并且还开始从与帧号212相对应的位置开始播放检索出的运动图像。运动图像从该位置开始被显示在显示单元260上。注意，在图像位置存储单元210的中心位置213中所记录的坐标中，如果检测出在离全景图620中通过选择操作被选出的位置的最小距离以内存在多个坐标点，则例如以图像大小214记录的具有大的面积的图像被选择。或者，具有大的帧号的图像被选择。注意，可以基于其它评价函数选择恰当的帧号和运动图像ID。

例如，在图22的(a)中所示的全景图620中，如果光标存在于边界628的中心附近，则当双击被使用鼠标执行时，与边界628内的图像相对应的帧的帧号被从图像位置存储单元210中选出，并且与全景图620相对应的运动图像ID也被从图像位置存储单元210中选出。基于所选择的运动图像ID和帧号，从帧638的位置开始回放运动图像630。

接着，将参考图描述本发明实施例中的图像处理设备100的操作。

图23是示出本发明实施例中由图像处理设备100执行的全景图产生处理的处理过程的流程图。

首先，在图像存储器170中确保比构成运动图像的图像的大小更大的工作缓冲器(步骤S921)。然后，从运动图像存储单元200获得运动图像文件(步骤S922)。然后，对所获得的运动图像文件进行解码并且获得当前帧(一帧)(步骤S923)。

然后，从运动图像文件提取与当前帧相对应的仿射变换参数(步骤S924)。这里，当当前帧是头帧时，提取单位矩阵的仿射变换参数。然后，使用所获得的仿射变换参数对与当前帧相对应的图像进行仿射变换(步骤S925)。这里，当当前帧是头帧时，使用单位矩阵的仿射变换参数执行仿射变换。因此，实际的图像未被变换。然后，经过仿射变换的图像被写上并且和与当前帧之前的帧相对应的各个图像的合成图像进行合成，并且被合成了与当前帧相对应的图像的合成图像被保存在图像存储器170中(步骤S926)。这里，当当前帧是头帧时，与头帧相对应的图像被保存在图像存储器170中。然后，与图像存储器170的工作缓冲器中的当前帧相对应的经过仿射变换的图像的中心位置和图像大小与当前帧的帧号一起被记录在图像位置存储单元210中(步骤S927)。这里，当当前帧是头帧时，与图像存储器170的工作缓冲器中的当前帧相对应的经过仿射变换的图像的中心位置和图像大小与当前帧的帧号“1”一起被记录在图像位置存储单元210中。

然后，判断在构成输入运动图像文件的帧中，当前帧是否是最后一帧(步骤S928)。当当前帧不是最后一帧时(步骤S928)，流程返回步骤S923，并且重复合成图像生成处理(步骤S923至S927)。

另一方面，当当前帧是最后一帧时(步骤S928)，图像存储器170中所保存的合成图像被输出给代表图像存储单元220并且被记录在代表图像存储单元220中(步骤S929)。在这种情况中，产生图像存储器170中所保存的合成图像的缩小图像，并且缩小图像被输出给代表图像存储单元220并且被记录在代表图像存储单元220中。然后，释放确保的工作缓冲器(步骤S930)，并且全景图产生处理结束。

图24是示出由本发明实施例中的图像处理设备100执行的运动图像播放处理的处理过程的流程图。在这个处理过程中，将通过示例的方式描述这样的情况：使用代表图像存储单元220中所存储的全景图从所期望的位置开始播放运动图像存储单元200中所存储的运动图像。

首先，确定用于显示全景图列表画面的操作输入是否被操作接受单元230接受(步骤S941)。当用于显示全景图列表画面的操作输入被接受时(步骤S941)，全景图列表画面被显示在显示单元260上(步骤S942)。例如，如图21中所示，全景图列表画面600被显示。另一方面，当用于显示全景图列表画面的操作输入未被接受时(步骤S941)，判断全景图列表画面是否被显示在显示单元260上(步骤S948)。当全景图列表画面被显示时(步骤S948)，流程进行到步骤S943。当全景图列表画面未被显示时(步骤S948)，流程进行到步骤S949。

然后，判断用于从显示单元260上所显示的全景图列表画面中选择一个全景帧的操作输入是否被操作接受单元230接受(步骤S943)。当用于选择全景图的操作输入被接受时(步骤S943)，在整个全景图列表画面上显示所选择的全景图的全景图列表画面被显示在显示单元260上(步骤S944)。例如，如图22的(a)中所示，全景图显示画面610被显示。另一方面，当用于选择全景图的操作输入未被接受时(步骤S943)，运动图像显示处理结束。

当用于显示全景图列表画面的操作输入未被接受时(步骤S941)，并且当全景图列表画面未被显示时(步骤S948)，判断全景图显示画面是否被显示在显示单元260上(步骤S949)。当全景图显示画面被显示时(步骤S949)，流程进行到步骤S945。当全景图显示画面未被显示时(步骤S949)，运动图像播放处理结束。

然后，判断用于选择显示单元260上所显示的全景图显示画面中所包括的全景图的一部分的操作输入是否被操作接受单元230接受(步骤S945)。例如，如图22的(a)中所示，使用光标629选择全景图620的一部分。当用于选择全景图显示画面中所包括的全景图的一部分的操作输入被接受时(步骤S945)，基于全景图中所选择的位置，帧号和运动图像ID从图像位置存储单元210中被选出(步骤S946)。然后，与所选择的运动图像ID相对应的运动图像从运动图像存储单元200中被检索出，并且从与所选择的帧号相对应的位置开始回放检索出的运动图像(步骤S947)。另一方面，当用于选择全景图显示画面中所包括的全景图的一部分的操作输入未被接受时(步骤S945)，运动图像播放处理结束。

如上，已经描述了通过选择全景图中的任意位置从期望的位置开始播放运动图像的示例。并且，可以从运动图像中提取作为运动图像中所包括的代表图像的索引图像，并且可以在全景图上显示索引图像。通过选择全景图上的索引图像之一，运动图像可以从期望位置被播放。以下将参考图详细描述这一示例。

图25是示出本发明实施例中的图像处理设备101的功能结构示例的框图。这里，图像处理设备101是通过修改图1中示出的图像处理设备100获得的设备。图像处理设备101是这样的图像处理设备，其提供了图像合成单元181、索引图像提取单元270、代表图像存储单元225、索引图像存储单元280、选择单元240和显示控制单元251取代图像处理设备100的图像合成单元180、图像位置获取单元190、代表图像存储单元220、图像位置存储单元210和显示控制单元250。注意，除了图像合成单元181、索引图像提取单元270、代表图像存储单元225、索引图像存储单元280、选择单元241和显示控制单元251之外的结构与图1中所示的图像处理设备100的结构类似，并且因此省略对这些结构的描述。

索引图像提取单元270被配置为：基于从图像变换单元160输出的经过变换的图像和索引图像存储单元280中所存储的索引图像，从构成在从运动图像获取单元140中输出的运动图像文件中的运动图像的各个图像提取索引图像，并且将所提取的索引图像连同与所提取的索引图像相应的帧号和位置信息输出给索引图像存储单元280。具体而言，索引图像提取单元270基于索引图像存储单元280中所存储的每个索引图像和与当前帧相对应的经过仿射变换的图像之间的重叠率提取索引图像。并且，当索引图像提取单元270经提取出了索引图像时，索引图像提取单元270将指示与当前帧相对应的图像是索引图像的信息输出给图像合成单元181。注意，将参考图27详细描述索引图像提取方法。

索引图像存储单元280被配置为将自索引图像提取单元270输入的索引图像与其帧号和位置信息相关联地存储。索引图像存储单元280将所存储的索引图像输出给显示控制单元251，并且还将帧号和位置信息输出给选择单元241。并且，索引图像存储单元280将所存储的位置信息输出给索引图像提取单元270。注意，将参考图26详细描述索引图像存储单元280中所存储的各条信息。

当指示与当前帧相对应的图像是索引图像的信息从索引图像提取单元270被输入时，图像合成单元181将指示这个图像是索引图像的索引图像标记添加到与当前帧相对应的图像的外围。例如，如图28的(a)中的索引图像551至558所指示，添加索引图像标记。注意，因为除了以上所述之外的图像合成等和图像合成单元180的类似，所以省略了对其的详细描述。

代表图像存储单元225被配置为存储从图像合成单元181输出的合成图像作为关于运动图像存储单元200中所存储的运动图像的全景图，并且将所存储的全景图提供给显示控制单元251。

选择单元241被配置为：当被操作接受单元230接受的、在全景图上的索引图像选择操作被输入时，基于索引图像存储单元280中所存储的索引图像的位置信息从索引图像存储单元280中所存储的帧号中选择帧号，并且将所选择的帧号和与此对应的运动图像ID输出给显示控制单元251。注意，将参考图28详细描述该选择。

显示控制单元251被配置为响应于操作接受单元230的操作输入对索引图像存储单元280中所存储的索引图像的列表、代表图像存储单元225中所存储的全景图，或运动图像存储单元200中所存储的运动图像在显示单元260上的显示进行控制。并且，当帧号和运动图像ID从选择单元241被输入时，显示控制单元251搜索运动图像存储单元200找到与运动图像ID相对应的运动图像，并且还从与该帧号相对应的位置开始播放检索到的运动图像。

图26是示意性地示出本发明实施例中索引图像存储单元280中所存储的详细内容的示图。

在索引图像存储单元280中，在一帧一帧的基础上，以时间序列存储关于由索引图像提取单元270提取的索引图像的各条信息。具体而言，运动图像ID 281、帧号282、位置信息283和索引图像284被彼此关联地存储在索引图像存储单元280中。

运动图像ID 281是与运动图像存储单元200中所存储的各个运动图像相对应的ID。

帧号282是与由索引图像提取单元270提取的索引图像相对应的帧的标识号。

位置信息283是指示在图像存储器170的工作缓冲器中由索引图像提取单元270提取的索引图像的位置的信息。例如，当图像存储器170的工作缓冲器具有xy坐标时，与由索引图像提取单元270提取的索引图像的四个顶点相对应的坐标值被记录。即，由捕获被捕获运动图像时的摄像机移动信息所定义的图像捕获空间中的坐标位置被记录，作为由索引图像提取单元270提取的索引图像的位置。这个图像捕获空间例如是与由图像合成单元181使用基于在捕获从运动图像输入单元110输入的被捕获运动图像时的摄像机移动量计算出的仿射变换参数产生的代表图像相对应的图像空间。注意，在本发明实施例中，将描述与由索引图像提取单元270获得的四个顶点相对应的坐标值被用作索引图像的位置信息的示例。然而，可以使用诸如图像的中心位置和大小之类的其他位置信息作为索引图像的位置信息。

索引图像284是由索引图像提取单元270提取的索引图像。

图27是示意性地示出本发明实施例中在提取索引图像的情况中的提取方法的示例的示图。图27中所示的合成图像640被示为当前正由图像合成单元180产生的简化的合成图像。在这个示例中，在合成图像640中，图像641和643被提取作为索引图像。

在索引图像要被提取的情况中，基于在索引图像存储单元280中所存储的每个图像(已被提取作为索引图像的图像)和与当前帧相对应的经过仿射变换的图像之间的重叠率进行判决。具体而言，计算出被存储在索引图像存储单元280中的每个图像和与当前帧相对应的经过仿射变换的图像之间的重叠率。例如，假定图27中示出的图像644是与当前帧相对应的经过仿射变换的图像。在这种情况中，计算图像644和索引图像641至643中的每个图像之间的重叠率。图像644与图像641至643重叠的区域为：只与图像641重叠的重叠区域645、与图像641和图像642重叠的重叠区域646、只与图像642重叠的重叠区域647。在图27中，重叠区域645至647由斜线指示。将重叠区域645至647的面积相加。相加得到的面积(重叠区域645至647的总面积)与预设阈值比较，并且，当重叠率的值(重叠区域645至647的总面积占整个图像644的面积的比例)小于等于阈值时，它是与其它索引图像较少重叠的图像。如上，与其它索引图像较少重叠的图像被提取作为索引图像。与所提取的索引图像相对应的帧号、与索引图像的四个顶点相对应的坐标值和索引图像被与运动图像ID相关联地存储在索引图像存储单元280中。

如上，当索引图像被提取出时，索引图像提取单元270将指示与当前帧相对应的图像是索引图像的信息输出给图像合成单元181。指示与当前帧相对应的图像是索引图像的索引图像标记被添加到在通过由图像合成单元181执行的合成产生的合成图像中与当前帧相对应的图像的外围。例如，如图27中所示，加粗的边界被添加到合成图像640中的图像644的外围。注意，当多个索引图像重叠时，具有最近的图像拍摄时间的索引图像标记被写在其它索引图像标记之上。例如，图像644的索引图像标记被写在索引图像641至643的索引图像标记之上。并且，例如，如图28的(a)中所示，图像551至558的索引图像标记按照图像拍摄时间被覆写。在本发明实施例中，将描述基于已被提取作为索引图像的所有图像和与当前帧相对应的经过仿射变换的图像之间的重叠率来提取新的索引图像的示例。然而，例如，可以基于在当前帧紧接的前一提取的一个或者预定数目的索引图像和与当前帧相对应的经过仿射变换的图像之间的重叠率来提取新的索引图像。如上，通过使用在当前帧紧前提取的一个或者预定数目的索引图像作为比较目标，对于在图像捕获空间中相对近的位置处存在的图像，可以提取具有相对较早的图像拍摄时间的图像和具有相对较晚的图像拍摄时间的图像作为索引图像。

图28的(a)是示出通过使用图像合成单元181对由摄像机拍摄的运动图像执行合成所产生的全景图的示例的示图。对于与图28的(a)中所示的全景图550相对应的运动图像，索引图像551至558被提取出。并且，全景图550是针对和图20中示出的全景图540一样的运动图像产生的全景图。全景图550与全景图540的不同之处在于索引图像标记被添加到索引图像551至558的外围。注意，由于显示全景图550的方法和参考图21和图22描述的全景图显示方法相似，所以在此省略了对该方法的描述。

图28的(b)是示出图28的(a)中所示的全景图550所对应的运动图像570中所包括的帧571至578与索引图像561至568之间的关系的图。注意，索引图像561至568是与图28的(a)中所示的索引图像551至558相对应的图像，并被存储在索引图像存储单元280中。并且，帧571至578和列表图像561至568之间的对应关系由箭头表示。这里，假设运动图像570中所包括的帧从“0”开始按照由箭头579所示的时间序列排列。

接着，将该参考图详细描述使用被添加了索引图像标记的全景图播放运动图像的情况。

在此，将描述这样的情况：在图28的(a)中所示的全景图550被显示在显示单元260上的情况中，运动图像570将被播放。在被显示在显示单元260上的全景图550中，用户通过从操作接受单元230输入操作输入来操作光标(图中未示出)并且选择全景图550中所包括的索引图像551至558的任何一部分。例如，使用鼠标双击全景图550中所包括的索引图像551至558的任何一部分。基于通过这一选择操作选择的位置，从预定位置开始回放运动图像570。具体而言，在全景图550中，包括了通过对索引图像551至558的任何索引图像执行选择操作而选择的位置的长方形在与运动图像570相对应的、由被记录在索引图像存储单元280的位置信息283中的四个顶点的坐标定义的长方形中被检测到，并且与这个长方形(四个顶点的坐标)相对应的帧号282和运动图像ID 281被选出。当被选出的帧号282和运动图像ID 281被输出给显示控制单元251时，显示控制单元251搜索运动图像存储单元200找到与运动图像ID 281相对应的运动图像，并且还从与帧号282相对应的位置开始播放检索到的运动图像。注意，当多个索引图像重叠的重叠部分从全景图550中所包括的图像551至558中被选出时，具有最近拍摄时间的索引图像被选出。即，具有最大帧号的索引图像被选出。如上，与被显示的索引图像标记环绕的区域一致的索引图像被选出。

或者，索引图像存储单元280中所存储的索引图像可以被显示为列表图像，并且运动图像可以使用列表图像被播放。例如，如图28的(b)中所示，在一个运动图像一个运动图像的基础上，索引图像可以根据图像拍摄时间来排列。通过从以这种方式排列的索引图像中选择一个索引图像，运动图像可以如上所述被播放。并且，例如，添加了索引图像标记的全景图的显示和根据图像拍摄时间以时间序列排列的索引图像的显示可以通过使用鼠标执行点击操作被切换。在这种情况中，例如，切换时的索引图像的轨迹可以使用动画来显示。

接着，将参考图描述本发明实施例中的图像处理设备101的操作。

图29是示出在本发明实施例中由图像处理设备101执行的全景图产生处理的处理过程的流程图。注意，在图29中示出的处理过程中，由于步骤S921至S925和步骤S928至S930与图23中所示的处理过程类似，所以省略对其的描述。

判断步骤S923中所获得的当前帧是否是构成运动图像的帧中的头帧(步骤S950)。当当前帧是头帧时(步骤S950)，获得与图像存储器170工作缓冲器中的当前帧相对应的图像的位置信息，并且位置信息和帧号“1”被记录在索引图像存储单元280中(步骤S955)。然后，与当前帧相对应的图像被保存在图像存储器170中(步骤S956)。另一方面，当当前帧不是头帧时(步骤S950)，流程进行到步骤S924。

对在步骤S925中已经使用仿射变换参数进行了仿射变换的、与当前帧相对应的图像和索引图像存储单元280中所存储的各个索引图像之间的重叠率进行计算(步骤S951)。然后，判断通过计算获得的重叠率是否大于等于阈值(步骤S952)。当通过计算获得的重叠率的值大于阈值时(步骤S952)，流程进行到步骤S954。另一方面，当通过计算获得的重叠率的值小于等于阈值时(步骤S952)，获得与图像存储器170的工作缓冲器中的当前帧相对应的图像的位置信息，并且位置信息和帧号被记录在索引图像存储单元280中(步骤S953)。然后，与当前帧相对应的经过仿射变换的图像被写上，并且和与在当前帧之前的帧相对应的各个图像的合成图像合成，并且合成了与当前帧相对应的合成图像被保存在图像存储器170中(步骤S954)。在这种情况中，索引图像标记被添加到与当前帧相对应的图像的外围。

图30是示出本发明实施例中由图像处理设备101执行的运动图像播放处理的处理过程的流程图。在这个处理过程中，将通过示例的方式描述使用被存储在代表图像存储单元225中的全景图中所包括的索引图像从期望位置开始播放运动图像存储单元200中所存储的运动图像的情况。注意，在图30中示出的处理过程中，由于步骤S941至S944和步骤S947至S949和图24中示出的处理过程类似，所以在此省略对其的描述。

在全景图显示画面在显示单元260上被显示的情况中(步骤S944至步骤S949)，判断用于选择全景图显示画面上的全景图中所包括的索引图像的操作输入是否被操作接受单元230接受(步骤S961)。当用于选择全景图中所包括的索引图像的操作输入被接受时(步骤S962)，与所选择的索引图像相对应的被存储在索引图像存储单元280中的运动图像ID被选出(步骤S962)。另一方面，当用于选择全景图中所包括的索引图像的操作输入未被接受时(步骤S961)，运动图像播放处理结束。

如上，关于所提取的索引图像，已经通过示例方式描述了通过将索引图像标记添加到全景图而显示索引图像的情况或索引图像被以时间序列排列并被显示的情况。这里，将参考附图详细描述使用索引图像存储单元280中所存储的帧号和位置信息，索引图像被虚拟地配置在三维空间并且三维空间中的索引图像被显示的示例。即，被虚拟地配置在三维空间中的索引图像被投影到平面上并且在显示单元260上被显示为三维图像。这里，本发明实施例中的三维空间是由与被捕获的图像相对应的二维空间(平面)和与时间轴相对应的一维空间构成的空间。

图31和图32包括示意性地示出本发明实施例中被存储在索引图像存储单元280中的索引图像被虚拟地配置在三维空间中的情况。在图31和图32中，示出索引图像701至708被配置在由x轴、y轴和t轴定义的三维空间中的情况。这里，x轴是指示与构成已拍摄的运动图像的图像相关的水平方向的轴。并且，y轴是指示与构成已拍摄的运动图像的图像相关的垂直方向的轴。并且，t轴是与构成已拍摄的运动图像的图像相关的时间轴。

图31的(a)和图32的(a)是示出在t轴方向从前侧观察被配置在三维空间中的索引图像701至708的示图。注意，图31的(a)和图32的(a)是相同的示图。图31的(b)是示出在y轴方向从上侧观察被配置在三维空间中的索引图像701至708的示图。并且，图32的(b)是示出在x轴方向从左侧观察被配置在三维空间中的索引图像701至708的示图。这里，在图31至图34中，通过示意性地将索引图像701至708示出为长方形给出描述，并且还将字符“H1”至“H8”添加到指示各个图像的长方形的内侧。

如图31和图32所示，基于与各个索引图像相关联地存储的帧号关于t轴以时间序列配置索引图像701至708。并且基于与各个索引图像相关联地存储的位置信息，关于x轴和y轴将索引图像701至708配置在图像拍摄空间中的位置。

如上，被虚拟地配置在三维空间中的索引图像701至708被投影在平面上并且在显示单元260上被显示为三维图像。

图33包括了示出被虚拟地配置在三维空间中的索引图像701至708的显示示例的图。在图33的(a)中，示出显示索引图像701至708的上面侧的索引图像显示画面710。注意，索引图像显示画面710中所包括的索引图像701至708的配置构成与图31的(b)中所示的配置构成类似。在图33的(b)中，示出显示索引图像701至708的侧面(lateral)侧的索引图像显示画面720。注意，索引图像显示画面720中所包括的索引图像701至708的配置构成与图32的(b)中所示的配置构成类似。注意，例如可以使用与每个索引图像的大小相对应的长方形来示意性地显示每个索引图像的上面侧和侧面侧。

这里，只示出被虚拟地配置在三维空间中的索引图像701至708的上面侧和侧面侧的显示示例。然而，除了这些显示，被虚拟地配置在三维空间中的索引图像还可以被显示使得它们可以根据用户输入的操作输入从各个方向被观察。例如，各个索引图像可以被显示使得它们可以从正面的斜上方被观察。

如上，当各个索引图像被显示时，如上所述，通过从显示出的索引图像中选择所期望的索引图像，可以从与被选出的索引图像相对应的位置开始回放运动图像。例如，可以使用图33的(a)中所示的光标711和图33的(b)中所示的光标721选择所期望的索引图像。

如上，通过显示被虚拟地配置在三维空间中的索引图像，可以容易地从视觉上理解运动图像被拍摄的空间，并且可以容易地从视觉上理解运动图像被拍摄的时间。因此，可以容易地从视觉上理解拍摄运动图像时的空间和时间信息。并且，可以基于这些信息迅速理解运动图像拍摄的详细内容。并且，在运动图像要被播放的情况下可以容易地进行检索。

已经描述了通过从显示的各个索引图像中选择索引图像而从期望的部分开始回放运动图像的示例。这里，将参考图详细描述这样的情况：当被虚拟地配置在三维空间中的索引图像被显示时，通过从显示出的索引图像选择多个索引图像，运动图像从与所选择的索引图像从与每一个所选择的图像相对应的位置开始被播放。

图34包括示出被虚拟地配置在三维空间中的索引图像701至708的显示示例的示图。在图34的(a)中，示出显示索引图像701至708的正面侧的索引图像显示画面730。注意，索引图像显示画面730中所包括的索引图像701至708与图31的(a)和图32的(a)中所示的配置构成类似。在图34的(b)中，示出显示索引图像701至708的上侧的索引图像显示画面740。注意，索引图像显示画面740中所包括的索引图像701至708的配置构成与索引图像显示画面720类似。

在本示例中，当索引图像显示画面730或740被显示时，多个索引图像从索引图像显示画面730或740中所包括的各个索引图像中选出。例如，在索引图像显示画面730上，索引图像701、702、707和708从索引图像701至708中被选出。作为用于以上的选择方法，例如，可以通过使用光标731执行拖拽操作以限定包围要所选择的索引图像的区域而做出选择。在图34的(a)中，由点线指示使用光标731限定的区域。在这种情况中，例如，只有四个交都被包围的索引图像可以被选出，或者四个角的中心位置被包围的索引图像可以被选出。并且，这同样适用图34的(b)，并且可以使用光标741选择多个索引图像。

如上，当锁个索引图像被选择时，运动图像从与所选择的索引图像相对应的位置开始。例如，从所选择的各个索引图像中，运动图像从与对应最小帧号的索引图像相对应的位置开始。按照相应帧号的顺序，运动图像从与各个索引图像相对应的位置开始。即，按照图像拍摄时间以升序开始回放运动图像。如上，当运动图像的回放从与所选择的各个索引图像相对应的位置开始时，在预定时间过去之后，回放可以从下一个位置开始。并且，与其它索引图像相对应的帧号连同与所选择的索引图像相对应的帧号一起可以被输出给显示控制单元251，并且运动图像可以从与所选择的索引图像相对应的位置到与下一个帧号相对应的位置被顺序播放。

注意，多个索引图像的选择可以与被施加到图28中所示的全景图类似。并且，索引图像可以被配置在二维空间中并且被显示。并且，与各个帧相对应的图像或预定间隔的图像可以被配置在三维空间中并且被显示。

如上，当被虚拟地配置在三维空间中的索引图像被显示时，多个索引图像可以被选出并且被顺序播放。因此，即使空间上彼此邻近的场景是在时间上远离的点被拍摄时，这些空间上彼此临近的场景也可以作为一组被播放。并且，用于其的选择操作很容易。

已经描述了仿射变换参数被记录在运动图像文件中的示例。然而，仿射变换参数还可以针对构成运动图像的各个帧被记录为不同于运动图像文件的格式的附属信息(即，元数据)。以下，将参考图详细描述仿射变换参数被记录在作为与运动图像文件不同的格式的附属信息的元数据文件中的示例。

图35是示出本发明实施例中的图像处理设备650的功能结构示例的框图。这里，图像处理设备650是通过修改图1中所示的图像处理设备100的部分而获得的设备。图像处理设备650是这样的图像处理设备，其提供记录控制单元651、运动图像存储单元660、元数据存储单元670和文件获取单元652替换图像处理设备100的记录控制单元130、运动图像存储单元200、运动图像获取单元140和摄影操作参数提取单元150。注意，除了记录控制单元651、运动图像存储单元660、元数据存储单元670和文件获取单元652之外的结构与图1中所示的图像处理设备100的类似，并且因此省略对这些其它结构的描述。

记录控制单元651被配置为将从运动图像输入单元110中输出的运动图像作为运动图像文件存储在运动图像存储单元660中，并且还将从摄影操作参数计算单元123中输出的仿射变换参数作为与相应的运动图像和帧相关联的元数据文件记录在元数据存储单元670中。

运动图像存储单元660被配置为记录从运动图像输入单元110输出的运动图像作为运动图像文件。并且，运动图像存储单元660响应于来自文件获取单元652的请求将运动图像文件提供给文件获取单元652。注意，将参考图36详细描述运动图像存储单元660中所存储的运动图像文件。

元数据存储单元670被配置为记录从摄影操作参数计算单元123输出的仿射变换参数存储作为元数据文件。并且元数据存储单元670响应于来自文件获取单元652的请求将元数据文件提供给文件获取单元652。注意，将参考图36详细描述元数据存储单元670中所存储的元数据文件。

文件获取单元652被配置为获得运动图像存储单元660中所存储的运动图像文件和被与运动图像文件相关联地存储在元数据存储单元670中的元数据文件，并且将所获得的运动图像文件中的运动图像和元数据文件中的仿射变换参数输出给图像变换单元160。

图36包括示意性地示出在本发明实施例中被记录在运动图像存储单元660和元数据存储单元670中的各个文件的示图。在图36的(a)中，示出被存储在运动图像存储单元660中的运动图像文件661至663和被与运动图像文件661至663相关联地存储在元数据存储单元670中的元数据文件671至673。这里，假定给予各个运动图像文件一个运动图像ID，运动图像ID是用于标识运动图像存储单元660中所存储的各个运动图像文件的标识信息。例如，“#1”被给予运动图像文件661；“#2”被给予运动图像文件662；“#n”被给予运动图像文件663；

在图36的(b)中，示意性地示出：被存储在运动图像存储单元660中的运动图像文件661，被与运动图像文件661相关联地存储在元数据存储单元670中的元数据文件671。这里，运动图像文件661是包含由n个帧构成的运动图像的文件，并且这n个帧被示为帧1(664)至帧n(667)。

并且，运动图像ID 674、帧号675和仿射变换参数676被彼此相关联地存储在元数据文件671中。

运动图像ID 674是给予相应运动图像文件的运动图像ID。例如，给予运动图像文件661的“#1”被存储。

帧号675是构成相应运动图像文件中的运动图像的各个帧的序号。例如，与构成相应运动图像文件661中的运动图像的帧1(664)至帧n(667)相对应的“1”至“n”被存储。

仿射变换参数676是针对运动图像的各帧计算的仿射变换参数，与帧号675相对应。注意，与帧号675“1”相对应的仿射变换参数676“a1，b1，c1，d1，e1，f1”是单位矩阵的仿射变换参数。并且，与帧号675“m”(m是大于等于2的整数)相对应的仿射变换参数676“am，bm，cm，dm，em，fm”是与帧“m”紧接的前一帧“m-1”相对应的仿射变换参数。

以上已经描述了通过修改图1中所示的图像处理设备100获得的图像处理设备650作为在原数据文件中记录仿射变换参数的示例。同样的技术也适用图24中所示的图像处理设备101。

接着，将参考图详细描述用多核处理器执行本发明实施例中的特征点提取处理和光流计算处理。

图37是示出本发明实施例中的多核处理器800的结构示例的示图。多核处理器800是多个不同类型的处理器核被装配在单个CPU(中央处理单元)包上的处理器。即，为了维持每个处理器核的处理性能并且还使得配置简单，在多核处理器800中装配了多个处理器核，所述多个处理器核包括两种处理器核：一种与所有的应用相对应，而另一种针对预定的应用被优化到一定程度。

多核处理器800包括控制处理器核801、运算处理器核(#1)811至(#8)818和总线802，并且被连接到主存储器781。并且，多核处理器800被连接到其它装置，例如，图形装置782和I/O装置783。例如，可以采用作为由本申请的申请人所采用的微处理器的“Cell(Cell宽带引擎，Cell Broadband Engine)”等作为多核处理器800。

控制处理器核801是和在操作系统中一样主要执行频繁的线程切换的控制处理器核。注意，将参考图38详细描述控制处理器核801。

运算处理器核(#1)811至(#8)818是擅长多媒体处理的简单的小型运算处理器核。注意，将参考图39详细描述运算处理器核(#1)811至(#8)818。

总线802是被称为EIB(元件互连总线，Element Interconnect Bus)的高速总线。控制处理器核801和运算处理器核(#1)811至(#8)818分别被连接到总线802。每个处理器核经由总线802存取数据。

主存储器781是被连接到总线802的主存储器。主存储器781存储要被加载到各个处理器核的各种程序和用于由各个处理器核执行处理所需要的数据。并且，主存储器781存储被各个处理器核处理过的数据。

图形装置782是被连接到总线802的图形装置。I/O装置783是被连接到总线802的外部输入/输出装置。

图38是示出本发明实施例中的控制处理器核801的结构示例的图。控制处理器核801包括控制处理器单元803和控制处理器存储系统806。

控制处理器单元803是用作执行由控制处理器核801执行的运算处理的核心并且包括基于微处理器体系架构的命令集的单元。命令缓存804和数据缓存805作为主要的缓存被装配。命令缓存804例如是32-KB命令缓存。数据缓存805例如是32KB数据缓存。

控制处理器存储系统806是对从控制处理器单元803到主存储器781的数据存取进行控制的单元。为了增大从控制处理器单元803的存储器存取速度，装配了512KB的辅助缓存(secondary cache)807。

图39是示出本发明实施例中的运算处理器核(#1)811的结构示例的示图。运算处理器核(#1)811包括运算处理器单元820和存储器流控制器822。注意，由于运算处理器核(#2)812至(#8)818具有和运算处理器核(#1)811类似的结构，所以这里省略了对其的描述。

运算处理器单元820用作执行由运算处理器核(#1)811执行的运算处理的核心并且包括与控制处理器核801中的控制处理器单元803的命令集不同的独特的命令集。并且，在运算处理器单元820上装配本地存储装置(LS：Local store)821。

本地存储装置821是运算处理器单元820的专用存储器，并且，同时是唯一可以从运算处理器单元820直接参照的存储器。例如，可以使用容量为256KB的存储器作为本地存储装置821。注意，为了让运算处理器单元820可以访问主存储器781和其它运算处理器核(运算处理器核(#2)812至(#8)818)中的本地存储装置，有必要使用存储器流控制器822。

存储器流控制器822用于在主存储器781和其它运算处理器核等之间交换数据并且被称为MFC(存储器流控制器，Memory FlowController)。这里，例如，运算处理器单元820经由被称为信道的接口请求存储器流控制器822传送数据。

已经提出了各种编程模型作为上述多核处理器800的编程模型。在这些编程模型中，在控制处理器核801上执行主程序并且在运算处理器核(#1)811至(#8)818上执行子程序的模型是最基本的模型。在本发明实施例中，将参考图详细描述使用这一模型的多核处理器800的运算方法。

图40是示意性地示出本发明实施例中的多核处理器800的运算方法的示图。在这个示例中，将通过示例的方式说明这样的情况：控制处理器核801使用数据785执行任务784，控制处理器核801使用对作为任务784的一部分的任务786进行处理所需要的数据787(数据785的一部分)并且使得各个运算处理器核执行任务786。

如示图中所示，当控制处理器核801使用数据785执行任务784时，控制处理器核801使用用于对任务786(任务784的一部分)进行处理所需要的数据787(数据785的一部分)，并且使得各个运算处理器核执行任务786。在本发明实施例中，由各个运算处理器核针对构成运动图像的各个帧执行运算处理。

如示图中所示，当多核处理器800执行操作时，运算处理器核(#1)811至(#8)818可以被并行使用并且许多操作可以在相对短的时间内被执行。或者，通过在运算处理器核(#1)811至(#8)818上使用SIMD(单指令/多数据，Single Instruction/Multiple Data)操作可以用较少数的命令执行相对多的运算处理。注意，将参考图44至47等详细描述SIMD运算。

图41是示意性地示出在本发明实施例中由多核处理器800执行操作的情况中的程序和数据流的示图。这里，描述通过示例的方式关注运算处理器核(#1)811至(#8)818中的运算处理器核(#1)811。然而，可以使用运算处理器核(#2)812至(#8)818类似地执行所述操作。

首先，控制处理器核801将用于将主存储器781中存储的运算处理器核程序823加载到运算处理器核(#1)811的本地存储装置821的指令发送给运算处理器核(#1)811。因此，运算处理器核(#1)811将将主存储器781中存储的运算处理器核程序823加载到本地存储装置821。

然后，控制处理器核801命令运算处理器核(#1)811执行本地存储装置821中所存储的运算处理器核程序825。

然后，运算处理器核(#1)811将用于执行并且处理本地存储装置821中所存储的运算处理器核程序825所需要的数据824从主存储器781传送到本地存储装置821。

然后，基于本地存储装置821中所存储的运算处理器核程序825，运算处理器核(#1)811对从主存储器781被传送的数据826进行处理，执行与条件一致的处理，并且将处理结果存储在本地存储装置821中。

然后，运算处理器核(#1)811将基于本地存储装置821中所存储的运算处理器核程序825而执行的处理的处理结果从本地存储装置821传送到主存储器781。

然后，运算处理器核(#1)811通知控制处理器核801：运算处理结束。

接着，将参考图详细描述使用多核处理器800执行的SIMD运算。这里，SIMD运算是使用单个命令对多条数据执行处理的运算方案。

图42的(a)是示意性地示出使用单个命令对多条数据执行处理的运算方案的概要的示图。图42的(a)中所示的运算方案例如被称为标量(scalar)操作。例如，例如用于将数据“A1”和数据“B1”相加的命令给出数据“C1”的处理结果。并且，可以类似地执行其它三个操作。在每个处理中执行将数据“A2”、“A3”、“A4”和同一行中的数据“B2”、“B3”、“B4”相加的命令。用这个命令，对每一行中的值进行相加和处理，并且获得处理结果为“C2”、“C3”和“C4”。如上，在标量操作中，对于多条数据的处理，需要执行用于对各条数据进行处理的命令。

图42的(b)是示意性地示出SIMD运算的概要的示图，SIMD运算是使用单个命令对多条数据执行处理的运算方案。这里，用于SIMD运算的各组数据(由点线827和828包围的各条数据)可以被称为各条向量数据。并且使用这样的向量数据执行的SIMD运算可以被称为向量运算。

例如，用于将由点线827包围的向量数据(“A1”、“A2”、“A3”、“A4”)和由点线828包围的向量数据(“B1”、“B1”、“B1”、“B1”)相加的命令给出处理结果“C1”、“C2”、“C3”和“C4”(由点线829包围的一条数据)。如上，由于在SIMD运算中可以使用单个命令执行对多条数据的处理，所以可以快速执行运算处理。并且，用于这些SIMD运算的命令被多核处理器800中的控制处理器核801执行，并且，对于响应于该命令的对各条数据的运算处理，运算处理器核(#1)811至(#8)818执行并行处理。

另一方面，例如，用于执行数据“A1”和“B1”的相加、数据“A2”和“B2”的相减、数据“A3”和“B3”的相乘以及数据“A4”和“B4”的相除的处理不能通过SIMD运算来执行。即，当要对多条数据执行不同处理时，不能通过SIMD运算来执行处理。

接着，将参考图详细描述在特征点提取处理和光流计算处理被执行的情况中的SIMD运算的具体运算方法。

图43是示出在本实施例中由控制处理器核801或运算处理器核(#1)811执行的程序的结构示例的示图。这里，只示出了运算处理器核(#1)811。然而，同样的处理也由运算处理器核(#2)812至(#8)818执行。

控制处理器核801执行解码851、解码852、交织853、缩放854。解码852是解码运动图像文件的处理。交织853是对每个解码出的帧进行去交织的处理。缩放854是减小每个经过去交织的帧的大小的处理。

控制处理器核801执行运算处理器核管理856、命令发送857和859以及结束通知接收858和860。命令发送857和859是将用于执行SIMD运算的命令发送给运算处理器核(#1)811至(#8)818的处理。结束通知接收858和860是响应于上述命令从运算处理器核(#1)811至(#8)818接收SIMD运算结束通知的处理。并且，控制处理器核801执行摄影操作检测861、摄影操作参数计算处理862。摄影操作参数计算处理862是基于通过由运算处理器核(#1)811至(#8)818执行的SIMD运算计算出的光流在一帧一帧的基础上计算仿射变换参数的处理。

运算处理器核(#1)811执行特征点提取处理863、Sobel滤波器处理864、二阶矩阵(Second Moment Matrix)处理865、可分离滤波器(Separable Filter)处理866、Harris角点提取(Calc Harris)处理867、膨胀处理868和分选(sorting)处理869。

Sobel滤波器处理864是用于计算通过使用P2滤波器(x方向)获得的在x方向上的值dx，和在y方向中使用滤波器获得的在y方向上的值dy。注意，将参考图44至图47详细描述对在x方向上的值dx的计算。

二阶矩阵处理865是通过使用通过Sobel滤波器处理864计算出的dx和dy分别计算dx2、dy2和dx·dy的值的过程。

可分离滤波器处理866是对通过二阶矩阵处理865获得的dx2、dy2和dx·dy应用高斯滤波器(模糊处理，blurring process)的过程。

Harris角点提取处理867是用于使用已经通过可分离滤波器处理866被应用了模糊处理的各个值dx2、dy2和dx·dy计算Harris角的分数的处理。例如通过以下等式计算Harris角的分数：

S＝(dx²×dy²-dx·dy×dx·dy)/(dx²×dy²+ε)

膨胀处理868是对由通过Harris角点提取处理867计算出的Harris角的分数构成的图像执行模糊处理的过程。

分选处理869是这样的处理：以通过Harris角点提取处理867被计算出的Harris角的分数的降序分选像素，从最高分数开始选出预定的数目，并且提取出被选出的点作为特征点。

运算处理器核(#1)811执行光流计算处理870、多分辨率图像产生(Make Pyramid Image)处理871和光流计算(Calc光流)处理872。

多分辨率图像生成处理871是顺序产生通过在使用摄像机捕获图像时以多个级别缩小图像的图像大小而获得的缩小图像的处理。所产生的图像被称为多分辨率图像。

光流计算处理872是这样的处理：计算通过多分辨率图像生成处理871产生的多分辨率图像中具有最低分辨率的图像中的光流，并且使用所计算出的结果计算下一个更高分辨率的图像中的光流。在到达具有最高分辨率的图像之前这系列处理被重复执行。

如上，例如，对于由图1中所示的特征点提取单元121执行的特征点提取处理等和由光流计算单元122执行的光流计算处理，通过使用执行并行处理的多核处理器800执行SIMD运算可以获得处理结果。注意，图43中所示的特征点提取处理和光流计算处理等仅仅是示例性的。可以使用执行其它处理的多核处理器800来执行SIMD运算，所述其它处理由对构成运动图像的图像执行的各种滤波处理、阈值处理等实现。

图44包括示意性地示出在本实施例中的使用Sobel滤波器830对主存储器781中所存储的图像数据(与由摄像机拍摄的运动图像中所包括的一帧相对应的图像数据)执行滤波处理的情况中的处理的数据结构和流的示图。注意，图中所示出的被存储在主存储器781中的图像数据经过了简化并且被示为具有32个水平像素。并且，Sobel滤波器830是3×3边缘提取滤波器。如图中所示，使用Sobel滤波器830执行对被存储在主存储器781中的图像数据的滤波处理，并且滤波处理的结果被输出。在本示例中，将描述在使用SIMD运算时获得四个滤波结果的示例。

图45是示意性地示出在本发明实施例中的使用Sobel滤波器830对主存储器781中所存储的图像数据执行SIMD运算的情况中的数据流的示图。首先，主存储器781中所存储的图像数据的包括第一行的预定数目的行(例如，三行)被DMA(直接存储器存取，Direct Memory Access)传送给运算处理器核的本地存储装置821中所包括的第一缓冲器831。此外，已经被DMA传送给第一缓冲器831的行被下移一行，并且接下来的预定数目的行被DMA传送给第二缓冲器832。如上，通过使用双缓冲器可以消除由DMA传送引起的延迟。

图46是示意性地示出在本发明实施例中的使用滤波器830执行滤波处理的情况中的从第一缓冲器831中所存储的图像数据产生9个向量的向量产生方法的示图。如图45中所示，在DMA传送被执行之后，从第一缓冲器831中所存储的图像数据产生9个向量。具体而言，向量数据841是从第一缓冲器831中所存储的一行图像数据中从左边角落开始的四条数据产生的。这四条数据被右移一条数据，并且向量数据842从接下来四条数据产生。类似地，这四条数据被右移一条数据，并且向量数据843从接下来四条数据产生。并且向量数据844和849类似地分别从第二行和第三行的四条数据产生。

图47是示意性地示出在本发明实施例中的使用Sobel滤波器830执行滤波处理的情况中的使用SIMD命令对向量数据841至849执行向量运算的向量运算方法的示图。具体而言对向量数据841至843执行SIMD运算，并且获得向量A。在SIMD运算中，首先执行“‘-1’ב向量数据841’”的SIMD运算。然后执行“‘0’ב向量数据842’”的SIMD运算，并且执行“‘1’ב向量数据843’”的SIMD运算。这里，由于已经确定“‘0’ב向量数据842’”的运算结果是0，所以可以省略这一操作。并且，由于已经确定“‘1’ב向量数据843’”的运算结果和“向量数据843”的值相同，所以可以省略这一操作。

然后，使用SIMD运算执行对“‘-1’ב向量数据841’”的运算结果和“‘0’ב向量数据842’”的运算结果的相加处理。然后，使用SIMD运算执行对该相加处理的结果和“‘1’ב向量数据843’”的运算结果的相加处理。这里，例如，可以使用SIMD运算执行对数据结构“向量数据1”ד向量数据2”+“向量数据3”的运算。因此，对于用于向量A的运算，可以省略“‘0’ב向量数据842’”和“‘1’ב向量数据843’”的SIMD运算，并且可以使用单个的SIMD运算执行“‘-1’ב向量数据841’+‘向量数据843’”。

并且，类似地，对向量数据844至846执行SIMD运算，并且获得向量B。对向量数据847至849执行SIMD运算并且获得向量C。

然后，对通过SIMD运算获得向量A和C执行SIMD运算，并且获得向量C。如上，通过执行SIMD运算同时可以获得其数目是向量的要素的数目(本示例中的4条数据)的结果。

在向量D被计算出之后，在图45中所示的第一缓冲器831中所存储的图像数据中，要被取出的数据的位置被向右移一个位置，并且类似地处理被重复执行，从而顺序地计算各个向量D。当对图45中所示的第一缓冲器831中所存储的图像数据的右端处的数据的处理被完成时，处理结果被DMA传送给主存储器781。

然后，在被存储在主存储器781中的图像数据中，被DMA传送给第二缓冲器832被下移一行，并且接下来的预定数目的行被DMA传送给第一缓冲器831。另外，对存储在第二缓冲器832中的图像数据重复执行上述过程。在到达主存储器781中所存储的各行图像数据中位于底部的行之前，重复执行类似过程。

类似地，使用SIMD运算执行特征点提取和光流计算的处理的主要部分，从而实现速度的增加。

图48是以时间序列示意性地示出在本发明实施例中的摄影操作参数计算处理的流程的示图。如上所述，例如，通过使用多核处理器800执行SIMD运算可以并行执行对运动图像的解码处理和分析处理。因此，运动图像中所包括的一帧的分析时间被减少到短于解码时间。

例如，在示图中，t1表示控制处理器核801对运动图像中所包括的一帧执行解码处理所需要的时间；t2表示运算处理器核(#1)811至(#8)818对运动图像中所包括的一帧执行特征点提取处理所需要的时间t3表示运算处理器核(#1)811至(#8)818对运动图像中所包括的一帧执行光流计算处理所需要的时间；并且t4表示控制处理器核801对运动图像中所包括的一帧执行摄影操作检测处理所需要的时间。注意，t5表示控制处理器核801和运算处理器核(#1)811至(#8)818对运动图像中所包括的一帧执行摄影操作检测处理所需要的时间。并且，t6表示控制处理器核801执行用于管理运算处理器核(#1)811至(#8)818的处理所需要的时间。例如，t1可以被设置为“25.0ms”，t2可以被设置为“7.9ms”，t3可以被设置为“6.7ms”，t4可以被设置为“1.2ms”，并且t5可以被设置为“15.8ms”。

接着，将参考图详细描述在本发明实施例中使用元数据文件播放运动图像内容的情况。

图49的(a)是示意性地示出作为记录介质的示例的蓝光光盘(注册商标)880的顶视图，并且图49的(b)是示意性地示出蓝光光盘880上所记录的多条数据881至884的示图。在蓝光光盘880上，例如记录了：作为由摄像机等捕获的运动图像的运动图像内容882、运动图像内容882的字幕883、通过分析运动图像内容882获得的元数据(例如，图2、图3、图26和图36的(b)中示出的各条信息)884、与本发明实施例中的运动图像的回放相关的Java(注册商标)程序881。

图49的(c)是示意性地示出能够播放蓝光光盘880的蓝光播放器(Blue-ray Disc Player)890的内部结构的示图。这里，由于能够播放蓝光光盘的蓝光播放器890除了包括CPU 891和OS 892之外，还包括作为标准的Java(注册商标)VM(Java(注册商标)虚拟机)和库(library)893，所以蓝光播放器890能够执行Java(注册商标)程序。因此，通过将蓝光光盘880装配到蓝光播放器890中，蓝光播放器890可以加载并且执行Java(注册商标)程序881。并且，当播放运动图像内容882时，蓝光播放器890可以显示本发明实施例中的与运动图像相对应的全景图，使用元数据884从多个运动图像中检索运动图像，等等。即，可以在不使用专用PC软件等的情况下在所有蓝光播放器上实现本发明实施例中的运动图像的回放。

如上所述，根据本发明实施例，当要观看由图像捕获设备捕获的运动图像时，与运动图像相对应的全景图可以被显示，从而可以容易地理解各个运动图像的详细内容。并且，当要从多个运动图像中检索出所期望的运动图像时，可以通过参考全景缩小图像进行搜索，从而快速检测到所期望的运动图像。此外，由于可以通过选择全景图上的任意位置从所期望的位置播放运动图像，所以可以快速执行运动图像内的搜索。

并且，当要从运动图像中提取索引图像时，可以基于空间位置提取索引图像，从而可以提取出基于其运动图像的详细内容可以被轻易理解的索引图像。并且，通过在全景图上空间配置从运动图像中提取出的索引图像可以更容易得限定运动图像回放的位置。如上，由于可以使用索引图像进行搜索，所以可以指定并且迅速检测出运动图像中所期望的帧的图像拍摄空间中的场所。

并且，通过将索引图像虚拟地配置在三维空间中可以容易地从视觉上理解拍摄运动图像时的空间信息和时间信息，从而基于这些信息可以迅速理解拍摄运动图像的详细内容。并且，在播放运动图像的情况中可以容易地进行搜索。

即，利用使用过去的帧从空间上扩展运动图像的全景图或索引图像将有趣地鉴赏运动图像。因此，例如，观看者可以在看被配置在三维空间中的全景图或索引图像的同时播放运动图像，从而观看者可以更有趣地观赏运动图像。

并且，根据本发明实施例，通过使用多核处理器、使用SIMD运算计算仿射变换参数，可以在一帧的解码处理时间内计算出一帧的仿射变换参数。因此，可以快速执行全景图的产生、索引图像的提取等。

通过步骤S926、S954中的合成等产生的合成图像可以被记录在记录介质等上使得合成图像可以被用于其他类型的回放和显示。并且，在本发明实施例中，已经描述了使用预先计算出的仿射变换参数合成图像的示例。然而，可以在合成图像时计算出仿射变换参数，并且可以使用所计算出的仿射变换参数合成图像。

并且，在本发明实施例中，已经描述了通过对构成输入运动图像文件的所有帧重复执行合成图像生成处理产生合成图像的示例。然而，可以通过对构成输入运动图像文件的帧中至少一定数量的帧重复执行合成图像生成处理产生合成图像，并且合成图像可以被记录在代表图像存储单元220中。并且，在本发明实施例中，已经描述了通过从运动图像中所包括的头帧开始重复执行合成图像生成处理产生合成图像的示例。然而，例如，可以通过从朝向头帧的最后一帧开始重复执行合成图像生成处理产生合成图像。

并且，在本发明实施例中，已经描述了这样的情况：在移动物体的大小相对运动图像中所包括的图像的面积小的情况中获得摄像机移动，并且使用摄像机移动播放运动图像。然而，本发明实施例还适用移动图像的大小相对于运动图像中所包括的面积大的情况。例如，当从站台离开的火车的图像被捕获到时，将火车用作图像的中心物体，使得火车相对于图像面积的比例变大，如果上述仿射变换参数被计算出，则该火车的移动被计算出。在这种情况中，使用火车的移动，可以通过上述合成图像产生方法产生合成图像。如上，关于在捕获图像时摄像机的移动量相对于对象的移动量的移动信息可以被计算出并且被用作用于对构成运动图像的图像进行变换的变换信息。

并且，在本发明实施例中，已经通过示例的方式描述了在显示单元上显示合成图像或索引图像的图像处理设备。然而，本发明实施例适用于这样的图像处理设备，其具有用于输出用于将合成图像或索引图像显示在另一些图像显示设备上的图像信息的图像输出装置。此外，本发明实施例适用于能够播放运动图像的运动图像播放设备、能够播放拍摄的运动图像的诸如数字视频摄像机之类的图像捕获设备，等等。

并且，在本发明实施例中，已经通过示例的方式描述了图像处理设备。然而，本发明实施例适用于能够播放运动图像的运动图像播放设备等。并且，在本发明实施例中，已经描述了由摄像机捕获的运动图像。然而，例如，本发明实施例适用于在由摄像机捕获的运动图像被编辑的情况中的经过编辑的运动图像、被部分地添加了动画等的运动图像等等。

注意，以示例的方式说明用于实现本发明的本发明实施例。尽管在实施例和权利要求的特征之间存在对应(将在以下描述)，但是本发明不限于此，并且在不偏离本发明的要旨的情况下可以进行各种修改。

即，在权利要求1至15中，运动图像存储装置例如与运动图像存储单元200或660相对应。并且，图像保存装置例如与图像存储器170相对应。并且，变换信息计算装置例如与摄影操作检测单元120相对应。并且，图像变换装置例如与图像变换单元160相对应。并且，图像合成装置例如与图像合成单元180相对应。并且，图像位置获取装置例如与图像位置获取单元190相对应。并且，图像位置存储装置例如与图像位置存储单元210相对应。并且，显示装置例如与显示单元260相对应。并且，操作接受装置例如与操作接受单元230相对应。并且，显示控制装置例如与显示控制单元250相对应。

并且，在权利要求2中，选择装置例如与选择单元240相对应。

并且，在权利要求4或5中，代表图像存储装置例如与代表图像存储单元220相对应。

并且，在全利要求6中，运动图像输入装置例如与动画输入单元110相对应。并且，变换信息计算装置例如与摄影操作检测单元120相对应。并且，图像变换装置例如与图像变换单元160相对应。并且，索引图像装置例如与索引图像存储单元280相对应。并且，索引图像提取装置例如与索引图像提取单元270相对应。

并且，在权利要求10或11中，显示控制装置例如与显示控制单元251相对应。

并且，在权利要求12中，运动图像装置例如与动画存储单元200相对应。并且，操作接受装置例如与操作接受单元230相对应。并且，选择装置例如与选择单元241相对应。

并且，在权利要求13中，图像保存装置例如与图像存储器170相对应。并且，图像合成装置例如与图像合成单元181相对应。并且，代表图像存储装置例如与代表图像存储单元225相对应。

并且，在权利要求14中，运动图像存储装置例如与动画存储单元200相对应。并且，显示装置例如与显示单元260相对应。并且，操作接受装置例如与操作接受单元230相对应。并且，选择装置例如与选择单元241相对应。并且，显示控制装置例如与显示控制单元251相对应。

并且，在权利要求16或17中，变换信息计算步骤例如与步骤S903至S913相对应。并且，图像变换步骤例如与步骤S925相对应。并且，图像合成步骤例如与步骤S926和S954相对应。并且，图像位置获取步骤例如与步骤S927相对应。并且，存储进图像位置存储装置中的步骤例如与步骤S927相对应。并且，显示步骤例如与步骤S942相对应。并且，操作接受步骤例如与步骤S945相对应。并且，显示控制步骤例如与步骤S947相对应。

注意，本发明实施例中所描述的处理过程可以被认为是具有一系列过程的方法，或者被认为是用于使得计算机能够执行这一系列过程的程序，或者被认为是其上记录了该程序的记录介质。

根据本发明，可以实现明显的优点：由图像捕获设备拍摄的运动图像的详细内容可以容易地被理解。

Claims (17)

1.一种图像处理设备，其特征在于包括：

运动图像存储装置，用于存储由图像捕获设备捕获的被捕获运动图像；

图像保存装置，用于保存构成所述被捕获运动图像的被捕获图像作为历史图像；

变换信息计算装置，用于计算用于参考所述被捕获图像中的至少一个被捕获图像来对另一被捕获图像进行变换的变换信息；

图像变换装置，用于根据所计算出的变换信息，对被捕获图像进行变换；

图像合成装置，用于将经过变换的被捕获图像与所述历史图像合成以产生新的历史图像，并且使所述图像保存装置保存该新的历史图像；

图像位置获取装置，用于获取所述经过变换的被捕获图像在通过合成而产生的所述历史图像中的坐标位置；

图像位置存储装置，用于将所获得的坐标位置和所述被捕获图像彼此相关联地进行存储；

显示装置，用于显示所述历史图像作为代表所述被捕获运动图像的代表图像；

操作接受装置，用于接受对被显示的代表图像中的位置进行选择的选择操作；以及

显示控制装置，用于根据所述代表图像中所选择的位置，从与所选择的位置相对应的被捕获图像开始，播放所述运动图像存储装置中所存储的被捕获运动图像。

2.根据权利要求1所述的图像处理设备，其特征在于，所述图像位置获取装置获取所述经过变换的被捕获图像的中心位置作为所述坐标位置，

所述图像位置存储装置将所获得的中心位置和所述被捕获图像彼此相关联地存储，并且

所述图像处理设备还包括选择装置，所述选择装置用于通过从所述图像位置存储装置中所存储的中心位置中选择与所述代表图像中所选择的位置最接近的中心位置，从而选择与所述所选择的位置相对应的被捕获图像。

3.根据权利要求2所述的图像处理设备，其特征在于，所述图像位置获取装置获取所述经过变换的被捕获图像的中心位置和大小作为所述坐标位置，

所述图像位置存储装置将所获得的中心位置和大小与所述被捕获图像彼此相关联地进行存储，并且

当在所述图像位置存储装置中所存储的中心位置当中，多个最接近所述代表图像中所选择的位置的多个中心位置被检测到时，所述选择装置通过比较与被检测到的所述多个中心位置相对应的大小，来选择与所述所选择的位置相对应的被捕获图像。

4.根据权利要求1所述的图像处理设备，其特征在于，所述变换信息计算装置针对构成所述被捕获运动图像的每个帧，顺序地计算所述变换信息，

所述图像变换装置针对所述每个帧，顺序地对所述被捕获图像进行变换；

所述图像合成装置针对所述每个帧，顺序地将所述经过变换的被捕获图像与所述历史图像进行合成且产生新的历史图像，

所述图像保存装置针对所述每个帧，顺序地保存所述新的历史图像，并且

所述图像处理设备还包括代表图像存储装置，所述代表图像存储装置用于存储通过对与构成所述被捕获运动图像的帧当中的至少一定数量的帧相对应的图像进行合成而产生的历史图像，作为所述代表图像。

5.根据权利要求1所述的图像处理设备，其特征在于，所述图像合成装置产生所述代表图像的缩小图像，

所述图像处理设备还包括代表图像存储装置，所述代表图像存储装置用于将所述代表图像和所述缩小图像彼此相关联地进行存储，并且

所述显示控制装置将所述代表图像存储装置中所存储的缩小图像显示为可选择的列表图像。

6.一种图像处理设备，其特征在于包括：

运动图像输入装置，用于接收由图像捕获设备捕获的运动图像作为被捕获运动图像；

变换信息计算装置，用于计算用于参考构成所述被捕获运动图像的被捕获图像中的至少一个被捕获图像来对另一被捕获图像进行变换的变换信息；

图像变换装置，用于根据所计算出的变换信息对该被捕获图像进行变换；

索引图像存储装置，用于将所述被捕获图像和经过变换的被捕获图像中的至少一个当做所述被捕获运动图像的索引图像，并且存储由所述变换信息定义的图像捕获空间中的所述索引图像的坐标位置和大小；以及

索引图像提取装置，用于基于所述经过变换的被捕获图像、存储在所述索引图像存储装置中的索引图像的坐标位置和大小，从所述被捕获运动图像提取索引图像。

7.根据权利要求6所述的图像处理设备，其特征在于，所述索引图像提取装置计算所述经过变换的被捕获图像和所述索引图像存储装置中所存储的索引图像之间的重叠率，并且基于所计算出的重叠率提取所述索引图像。

8.根据权利要求6所述的图像处理设备，其特征在于，所述索引图像提取装置将所提取出的索引图像的所述坐标位置和大小顺序地存储在所述索引图像存储装置中。

9.根据权利要求6所述的图像处理设备，其特征在于，所述索引图像提取装置将所提取出的索引图像的所述坐标位置和大小与所提取出的索引图像彼此相关联地存储在所述索引图像存储装置中。

10.根据权利要求9所述的图像处理设备，其特征在于，所述图像处理设备还包括显示控制装置，所述显示控制装置用于基于存储在所述索引图像存储装置中的索引图像的所述坐标位置和大小，将所述索引图像排列在二维空间中，并且显示所述索引图像。

11.根据权利要求6所述的图像处理设备，其特征在于，所述索引图像提取装置将所提取的索引图像的所述坐标位置和大小、所述提取的索引图像、关于所述被捕获运动图像中的所述提取的索引图像的时间信息彼此相关联地顺序存储在所述索引图像存储装置中，以及

所述图像处理设备还包括显示控制装置，所述显示控制装置用于基于存储在所述索引图像存储装置中的索引图像的时间信息、坐标位置和大小，将所述索引图像虚拟地排列在三维空间中，将所述索引图像投影到平面上，并且显示所述索引图像。

12.根据权利要求11所述的图像处理设备，其特征在于，所述图像处理设备还包括：

运动图像存储装置，用于存储所述被捕获运动图像；

操作接受装置，用于接受对排列在所述三维空间中的所述索引图像进行选择的选择操作；以及

选择装置，用于基于所选择的索引图像，选择所述索引图像存储装置中所存储的所述时间信息，

其中，所述显示控制装置从与所选择的时间信息相对应的被捕获图像开始，播放所述运动图像存储装置中所存储的被捕获运动图像。

13.根据权利要求6所述的图像处理设备，其特征在于，所述图像处理设备还包括：

图像保存装置，用于保存历史图像；

图像合成装置，用于将预定的标记添加到与所提取出的索引图像相对应的所述经过变换的被捕获图像，将所述经过变换的被捕获图像与所述历史图像进行合成以产生新的历史图像，并且使得所述图像保存装置保存所述新的历史图像；以及

代表图像存储装置，用于将所述历史图像存储作为代表所述被捕获运动图像的代表图像。

14.根据权利要求13所述的图像处理设备，其特征在于，所述图像处理设备还包括：

运动图像存储装置，用于存储所述被捕获运动图像；

显示装置，用于显示被存储在所述代表图像存储装置中的代表图像；

操作接受装置，用于接受对所显示的代表图像中的位置进行选择的选择操作；

选择装置，用于基于代表图像中的所选择的位置，选择所提取出的索引图像；以及

显示控制装置，用于从与所选择的索引图像相对应的被捕获图像开始，播放被存储在所述运动图像存储装置中的所述被捕获运动图像。

15.一种运动图像播放设备，其特征在于包括：

运动图像存储装置，用于存储由图像捕获设备捕获的被捕获运动图像；

图像保存装置，用于保存构成所述被捕获运动图像的被捕获图像作为历史图像；

变换信息计算装置，用于计算用于参考所述被捕获图像中的至少一个被捕获图像来对另一被捕获图像进行变换的变换信息；

图像变换装置，用于基于所计算出的变换信息，对该被捕获图像进行变换；

图像合成装置，用于将经过变换的被捕获图像与所述历史图像合成以产生新的历史图像，并且使得所述图像保存装置保存该新的历史图像；

图像位置获取装置，用于获取所述经过变换的被捕获图像在通过合成而产生的所述历史图像中的坐标位置；

图像位置存储装置，用于将所获得的坐标位置和所述被捕获图像彼此相关联地进行存储；

显示装置，用于显示所述历史图像作为代表所述被捕获运动图像的代表图像；

操作接受装置，用于接受对所显示的代表图像中的位置进行选择的选择操作；以及

显示控制装置，用于基于所述代表图像中所选择的位置，从与所选择的位置相对应的被捕获图像开始，播放所述运动图像存储装置中所存储的被捕获运动图像。

16.一种图像处理设备中的图像处理方法，所述图像处理设备包括用于存储由图像捕获设备捕获的被捕获运动图像的运动图像存储装置和用于作为历史图像保存构成所述被捕获运动图像的被捕获图像的图像保存装置，其特征在于，所述图像处理方法包括：

变换信息计算步骤，所述变换信息计算步骤计算用于参考所述被捕获图像中的至少一个被捕获图像来对另一被捕获图像进行变换的变换信息；

图像变换步骤，所述图像变换步骤基于所计算出的变换信息，对被捕获图像进行变换；

图像合成步骤，所述图像合成步骤将所述经过变换的被捕获图像与所述历史图像进行合成以产生新的历史图像，并且使得所述图像保存装置保存所述新的历史图像；

图像位置获取步骤，所述图像位置获取步骤获取所述经过变换的被捕获图像在通过合成而产生的所述历史图像中的坐标位置；

将所获得的坐标位置和所述被捕获图像彼此相关联地进行存储的步骤；

显示步骤，所述显示步骤显示所述历史图像作为代表所述被捕获运动图像的代表图像；

操作接受步骤，所述操作接受步骤接受对所显示的代表图像中的位置进行选择的选择操作；以及

显示控制步骤，所述显示控制步骤基于所述代表图像中所选择的位置，从与所述所选择的位置相对应的被捕获图像开始，播放被存储在所述运动图像存储装置中的被捕获运动图像。

17.一种图像处理设备中的程序，所述图像处理设备包括用于存储由图像捕获设备捕获的被捕获运动图像的运动图像存储装置和用于作为历史图像保存构成所述被捕获运动图像的被捕获图像的图像保存装置，其特征在于，所述程序使得计算机执行：

变换信息计算步骤，所述变换信息计算步骤计算用于参考所述被捕获图像中的至少一个被捕获图像来对另一被捕获图像进行变换的变换信息；

图像变换步骤，所述图像变换步骤基于所计算出的变换信息，对被捕获图像进行变换；

图像合成步骤，所述图像合成步骤将所述经过变换的被捕获图像与所述历史图像进行合成以产生新的历史图像，并且使得所述图像保存装置保存所述新的历史图像；

图像位置获取步骤，所述图像位置获取步骤获取所述经过变换的被捕获图像的在通过合成产生的所述历史图像中坐标位置；

将所获得的坐标位置和所述被捕获图像彼此相关联地进行存储的步骤；

显示步骤，所述显示步骤显示所述历史图像作为代表所述被捕获运动图像的代表图像；

操作接受步骤，所述操作接受步骤接受对所显示的代表图像中的位置进行选择的选择操作；以及

显示控制步骤，所述显示控制步骤基于所述代表图像中所选择的位置，从与所述所选择的位置相对应的被捕获图像开始，播放被存储在所述运动图像存储装置中的被捕获运动图像。

Images