CN101617531A - 图像处理装置、运动图像播放装置及其处理方法和程序 - Google Patents

Abstract

为了允许观看者在浏览运动图像的情况中容易了解由图像捕获装置拍摄的运动图像的细节。相机操作检测单元(120)检测在拍摄从运动图像输入单元(110)输入的运动图像时，图像捕获装置的运动量，并且基于图像捕获装置的运动量，逐帧地计算用于变换图像的仿射变换参数。图像变换单元(160)基于计算出的仿射变换参数对保存在图像存储器(170)中的历史图像和捕获图像中的至少一个执行仿射变换。图像组合单元(180)逐帧地将其中至少一个经变换的捕获图像和历史图像相组合，并且使得图像存储器(170)保存合成图像。由图像组合单元(180)生成的合成图像被显示在显示单元(191)上。

Description

图像处理装置、运动图像播放装置及其处理方法和程序

技术领域

本发明涉及图像处理器装置，并且更具体地涉及能够播放运动图像的图像处理装置、运动图像播放装置、其处理方法，以及使计算机执行该方法的程序。

背景技术

近年来，数码摄像机已广泛普及。因此，例如，在幼儿园孩子参加的活动中，家长等通常利用数码摄像机拍摄活动场面(appearance)的图像。当家长等在这种活动中进行图像拍摄时，虽然主要拍摄他们孩子的图像，然而通常在需要时拍摄活动的场景等的图像，以使得可以了解活动是如何开展的。

可以在家中例如利用运动图像播放装置在其显示器上播放以这种方式拍摄的运动图像。例如，在家长将浏览其孩子作为主要对象的运动图像的情况中，主要包括该家长的孩子的运动图像被播放。但是，当观看者在较长回放时间中持续浏览同一目标的运动图像时，观看者可能随着回放时间的过去变得对所播放的运动图像不太感兴趣。因此，为了使观看者更感兴趣，可想像显示与当前显示的图像有关的其它图像等。

例如，已提出了一种图像显示方法，用于根据运动图像的前进与运动图像一起滚动显示(scroll-displaying)视频索引(video index)(静态图像)(例如参见日本未实审专利申请公报No.11-289517(图7))。

根据上述传统技术，参考运动图像的过去、当前和将来的静态图像被显示为视频索引。这允许与当前显示的运动图像一起浏览过去、当前和将来的静态图像。因此，例如，在家长正浏览在孩子所参加的幼儿园的活动中拍摄的运动图像的情况中，甚至在该家长孩子的图像正被显示为当前运动图像的情况中，例如与当前运动图像有关的活动场景可以被显示为过去或将来的静态图像。在此情况中，家长可以观看其孩子的样子并观看活动的场景等。这有助于了解活动场面并且使得观看者更感兴趣。

但是，利用上述传统技术，在家长的孩子的图像正被显示为当前运动图像的情况中，活动的场景等可能不被显示，并且其细节基本上与当前运动图像相同的图像可能被显示为过去或将来的静态图像。在这种情况中，保持观看者对运动图像的兴趣是很重要的。因此，考虑如果观看者在浏览中心人物等的同时可以适当地了解作为所拍摄图像的对象的中心人物周围的事物是怎样的，那么观看者可以容易地了解运动图像的细节，由此观看者可以变得对运动图像更感兴趣。

因此，本发明的一个目的是在浏览运动图像的情况中使得容易了解利用图像捕获装置拍摄的运动图像的细节。

发明内容

为了解决前面的问题而作出了本发明，并且本发明的第一方面在于图像处理装置、其处理方法和使得计算机执行该方法的程序。信息处理装置的特征在于包括：运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；变换信息计算装置，用于基于包括在捕获运动图像中的第一捕获图像以及沿着捕获运动图像的时间轴位于第一捕获图像之后的第二捕获图像，计算与第一捕获图像和第二捕获图像有关的变换信息；图像保存装置，用于将包括第一捕获图像在内的并且沿着捕获运动图像的时间轴位于第二捕获图像之前的各个图像保存为历史图像；图像变换装置，用于基于计算出的变换信息对历史图像和第二捕获图像中的至少一个进行变换；操作接受装置，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；图像组合装置，用于将响应于所接受的选择操作其中至少一个由图像变换装置进行了变换的历史图像和第二捕获图像相组合，以生成合成图像；输出装置，用于输出合成图像；以及控制装置，用于使输出装置顺序地输出合成图像。因此，实现了下面的操作：基于第一捕获图像和第二捕获图像计算出变换信息；基于计算出的变换信息，对历史图像和第二捕获图像中的至少一个进行变换；将响应于所接受的选择操作对其中至少一个进行了变换的历史图像和第二捕获图像进行组合以生成合成图像；并且顺序地输出合成图像。

而且，在第一方面中，图像组合装置可以通过将其中至少一个由图像变换装置进行了变换的第二捕获图像和历史图像中的第二捕获图像写在历史图像上来将历史图像和第二捕获图像相组合以生成合成图像，并且使得图像保存装置将合成图像保存为新的历史图像。因此，实现了下面的操作：通过将其中至少一个由图像变换装置进行了变换的历史图像和第二捕获图像中的第二捕获图像写在历史图像上来将历史图像和第二捕获图像相组合以生成合成图像，并且将合成图像保存为新的历史图像。

而且，在第一方面中，图像组合装置可以通过将经由图像变换装置变换的并根据所述历史图像对经变换的第二捕获图像的图像质量进行变换而获得的第二捕获图像写在历史图像上，来将第二捕获图像与历史图像组合。因此，实现了下面的操作：通过根据历史图像对经变换的第二捕获图像的图像质量进行变换，来将第二捕获图像写在历史图像上并与历史图像相组合。

而且，在第一方面中，图像组合装置可以将经由图像变换装置变换的、存在于图像质量变换之前的第二捕获图像写在新的历史图像上来生成新的合成图像，并且控制装置可以使输出装置顺序地输出新的合成图像。因此，实现了下面的操作：存在于图像质量变换之前的第二捕获图像被写在新的历史图像上来生成新的合成图像，并且新的合成图像被顺序输出。

而且，在第一方面中，图像处理装置还可以包括：输出图像提取装置，用于从保存在图像保存装置中的新的历史图像中提取将由输出装置输出的输出图像。图像组合装置可以通过将经由图像变换装置变换的、存在于图像质量变换之前的第二捕获图像写在输出图像上，来将第二捕获图像与输出图像相组合以生成新的输出图像，并且控制装置可以使输出装置顺序地输出新的输出图像。因此，实现了下面的操作：从保存在图像保存装置中的新的历史图像中提取输出图像；将存在于图像质量变换之前的第二捕获图像写在输出图像上来与输出图像相组合从而生成新的输出图像；并且顺序输出新的输出图像。

而且，在第一方面中，输出图像提取装置可以基于经变换的第二捕获图像在图像保存装置的保存区域中的位置和大小以及输出图像在保存区域中的位置和大小，计算经由图像变换装置变换的、存在于图像质量变换之前的第二捕获图像被写在输出图像上的位置以及第二捕获图像的大小；并且图像组合装置可以基于计算出的位置和大小将经由图像变换装置变换的、存在于图像质量变换之前的第二捕获图像写在输出图像上，从而将第二捕获图像与输出图像相组合。因此，实现了下面的操作：基于保存区域中的第二捕获图像的位置和大小以及保存区域中的输出图像的位置和大小，计算存在于图像质量变换之前的第二捕获图像被写在输出图像上的位置以及第二捕获图像的大小；并且将存在于图像质量变换之前的第二捕获图像写在输出图像上来与输出图像相组合。

而且，在第一方面中，当包括在新的历史图像中的经变换的第二捕获图像的至少一部分从输出区域(即用于提取输出图像的区域)突出来时，输出图像提取装置可以在突出图像部分的方向上移动输出区域，并且从新的历史图像提取输出图像。因此，实现了下面的操作：当包括在新的历史图像中的第二捕获图像的至少一部分从输出区域突出来时，输出区域在突出图像部分的方向上被移动，并且输出图像被提取。

而且，在第一方面中，图像质量可以是分辨率和压缩比中的至少一个。因此，实现了下面的操作：通过根据历史图像对经变换的第二捕获图像的分辨率和压缩比中的至少一个进行变换，来将第二捕获图像写在历史图像上并与历史图像相组合。

而且，在第一方面中，图像处理装置还可以包括：输出图像提取装置，用于从保存在图像保存装置中的新的历史图像中提取包括在基于计算出的变换信息而计算得到的区域中的图像，作为将由输出装置输出的输出图像。图像组合装置可以将存在于由图像变换装置执行变换之前的第二捕获图像写在输出图像上，从而将第二捕获图像与输出图像相组合来生成新的输出图像，并且控制装置可以使输出装置顺序地输出新的输出图像。因此，实现了下面的操作：从新的历史图像中提取包括在基于变换信息而计算出的区域中的图像作为输出图像；将存在于变换之前的第二捕获图像写在输出图像上来与输出图像相组合以生成新的输出图像；并且使得输出装置顺序输出新的输出图像。

而且，在第一方面中，输出图像提取装置可以基于计算出的变换信息，在与图像变换装置对第二捕获图像进行变换的方向相反的方向上对输出图像进行变换；并且图像组合装置可以将存在于由图像变换装置执行变换之前的第二捕获图像写在经变换的输出图像上，从而将第二捕获图像与经变换的输出图像相组合来生成新的输出图像。因此，实现了下面的操作：基于变换信息，输出图像在与第二捕获图像被变换的方向相反的方向上被变换；并且存在于变换之前的第二捕获图像被写在经变换的输出图像上来与其相组合以生成新的输出图像。

而且，在第一方面中，图像变换装置可以基于计算出的变换信息在与第二捕获图像被变换的方向相反的方向上对历史图像进行变换。因此，实现了下面的操作：基于变换信息，历史图像在与第二捕获图像被变换的方向相反的方向上被变换。

而且，在第一方面中，变换信息可以包括与放大/缩小、移动和旋转有关的要素；并且图像变换装置可以基于包括在计算出的变换信息中的与移动和旋转有关的要素对第二捕获图像进行变换，并且基于包括在计算出的变换信息中的与放大/缩小有关的要素对历史图像进行变换。因此，实现了下面的操作：基于包括在变换信息中的与移动和旋转有关的要素对第二捕获图像进行变换，并且基于包括变换信息中的与放大/缩小有关的要素对历史图像进行变换。

而且，在第一方面中，图像变换装置可以在与第二捕获图像被变换的方向相反的方向上对历史图像进行变换。因此，实现了下面的操作：在与第二捕获图像被变换的方向相反的方向上对历史图像进行变换。

而且，在第一方面中，变换信息计算装置可以顺序地计算构成捕获运动图像的每个帧的变换信息；图像变换装置可以针对每个帧变换历史图像和第二捕获图像中的至少一个；图像组合装置可以针对每个帧顺序地将其中至少一个经由图像变换装置进行了变换的历史图像和第二捕获图像相组合；并且控制装置可以针对每个帧使合成图像顺序地被输出。因此，实现了下面的操作：针对构成捕获运动图像的每个帧顺序地计算变换信息；针对每个帧变换历史图像和第二捕获图像中的至少一个；针对每个帧顺序地将其中至少一个经过了变换的历史图像和第二捕获图像相组合来生成合成图像；并且针对每个帧顺序地输出合成图像。

而且，在第一方面中，第一捕获图像和第二捕获图像可以是与包括在捕获运动图像中的两个连续帧相对应的图像。因此，实现了下面的操作：利用与包括在捕获运动图像中的两个连续帧相对应的图像，来执行变换信息的计算、捕获图像的组合以及合成图像的输出。

而且，在第一方面中，变换信息可以是在第一捕获图像或第二捕获图像被捕获时图像捕获装置的运动信息；并且变换信息计算装置可以通过将第一捕获图像与第二捕获图像相比较来计算变换信息。因此，实现了下面的操作：通过将第一捕获图像与第二捕获图像相比较，计算出了在第一捕获图像或第二捕获图像被捕获时图像捕获装置的运动信息。

而且，在第一方面中，变换信息可以是与在第一捕获图像或第二捕获图像被捕获时图像捕获装置与摄影对象的相对运动量有关的运动信息；并且变换信息计算装置可以通过将第一捕获图像与第二捕获图像相比较来计算变换信息。因此，实现了下面的操作：通过将第一捕获图像与第二捕获图像相比较，计算出了与在第一捕获图像或第二捕获图像被捕获时图像捕获装置与摄影对象的相对运动量有关的运动信息。

而且，在第一方面中，变换信息计算装置可以包括：特征点提取装置，用于基于构成第一捕获图像和第二捕获图像的各个像素，提取第一捕获图像和第二捕获图像中的特征点；运动量计算装置，用于基于提取出来的各个特征点计算与第一捕获图像和第二捕获图像有关的运动量；以及变换参数计算装置，用于通过基于计算出的运动量计算预定变换参数来计算变换信息。因此，实现了下面的操作：基于构成第一捕获图像和第二捕获图像的各个像素，提取第一捕获图像和第二捕获图像中的特征点；基于提取出来的各个特征点，计算与第一捕获图像和第二捕获图像有关的运动量；以及基于计算出的运动量，计算预定变换参数，由此计算变换信息。

而且，在第一方面中，特征点提取装置可由多核处理器构成。多核处理器可以通过利用SIMD操作对构成第一捕获图像和第二捕获图像的各个像素执行并行处理，来提取第一捕获图像和第二捕获图像中的特征量。因此，实现了下面的操作：通过使用多核处理器利用SIMD操作对构成第一捕获图像和第二捕获图像的各个像素执行并行处理，提取出了第一捕获图像和第二捕获图像中的特征量。

而且，在第一方面中，运动量计算装置可由多核处理器构成。多核处理器可以通过利用SIMD操作对提取出来的各个特征点执行并行处理来计算与第一捕获图像和第二捕获图像有关的运动量。因此，实现了下面的操作：通过使用多核处理器利用SIMD操作对提取出来的各个特征点执行并行处理，计算出了与第一捕获图像和第二捕获图像有关的运动量。

而且，在第一方面中，图像处理装置还可以包括：压缩装置，用于压缩捕获图像。输出合成图像时的历史图像可以是压缩图像，并且第二捕获图像可以是非压缩图像或具有比压缩历史图像高的分辨率的捕获图像。因此，实现了下面的操作：输出合成图像时的历史图像是压缩图像；并且第二捕获图像是非压缩图像或具有比压缩历史图像高的分辨率的捕获图像。

而且，本发明的第二方面在于图像处理装置，用于其的处理方法，以及使得计算机执行方法的程序。图像处理装置的特征在于包括：运动图像获取装置，用于获取捕获运动图像，用于对包括在所述捕获运动图像中的第一捕获图像和第二捕获图像中的至少一个进行变换的变换信息被与捕获运动图像相关联并被记录，捕获运动图像是由图像捕获装置捕获的；变换信息提取装置，用于从获取的捕获运动图像中提取变换信息；图像保存装置，用于将包括第一捕获图像在内的并且沿着捕获运动图像的时间轴位于第二捕获图像之前的各个图像保存为历史图像；图像变换装置，用于基于提取出的变换信息对历史图像和第二捕获图像中的至少一个进行变换；操作接受装置，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；图像组合装置，用于将响应于所接受的选择操作其中至少一个由图像变换装置进行了变换的历史图像和第二捕获图像相组合，以生成合成图像；输出装置，用于输出合成图像；以及控制装置，用于使输出装置顺序地输出合成图像。因此，实现了下面的操作：基于提取出的变换信息对历史图像和第二捕获图像中的至少一个进行变换；响应于所接受的选择操作对其中至少一个进行了变换的历史图像和第二捕获图像被组合以生成合成图像；并且合成图像被顺序输出。

而且，本发明的第三方面在于图像处理装置、用于其的处理方法以及使计算机执行方法的程序。图像处理装置的特征在于包括：变换信息存储装置，用于将用于对包括在由图像捕获装置所捕获的捕获运动图像中的第一捕获图像和第二捕获图像中的至少一个进行变换的变换信息与构成捕获运动图像的每个帧相关联地进行存储；运动图像获取装置，用于获取捕获运动图像；变换信息获取装置，用于获取与所获取的捕获运动图像相关联地存储在变换信息存储装置中的变换信息；图像保存装置，用于将包括第一捕获图像在内的并且沿着捕获运动图像的时间轴位于第二捕获图像之前的各个图像保存为历史图像；图像变换装置，用于基于所获取的变换信息对历史图像和第二捕获图像中的至少一个进行变换；操作接受装置，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；图像组合装置，用于将响应于所接受的选择操作其中至少一个由图像变换装置进行了变换的历史图像和第二捕获图像相组合，以生成合成图像；输出装置，用于输出合成图像；以及控制装置，用于使输出装置顺序地输出合成图像。因此，实现了下面的操作：基于获取的变换信息对历史图像和第二捕获图像中的至少一个进行变换；响应于所接受的选择操作对其中至少一个进行了变换的历史图像和第二捕获图像被组合以生成合成图像；并且合成图像被顺序输出。

而且，本发明的第四方面在于图像处理装置、用于其的处理方法以及使计算机执行方法的程序。运动图像处理装置的特征在于包括：运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；变换信息计算装置，用于针对构成捕获运动图像的捕获图像的每个，计算用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；图像变换装置，用于基于参考构成捕获运动图像的捕获图像中的至少一个捕获图像作为基准图像而计算出的变换信息，来对与变换信息相对应的捕获图像进行变换；图像保存装置，用于保存经变换的捕获图像；以及控制装置，用于使得输出装置顺序地输出最后保存在图像保存装置中的捕获图像。因此，实现了下面的操作：针对每个捕获图像计算用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；基于变换信息，参考捕获图像中的至少一个捕获图像作为基准图像来对捕获图像进行变换；并且保存经变换的捕获图像；并且顺序输出最后保存的捕获图像。

而且，本发明的第五方面在于运动图像处理装置、用于其的处理方法以及使计算机执行方法的程序。运动图像处理装置的特征在于包括：运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；变换信息计算装置，用于基于包括在捕获运动图像中的第一捕获图像以及沿着捕获运动图像的时间轴位于第一捕获图像之后的第二捕获图像，计算与第一捕获图像和第二捕获图像有关的变换信息；图像保存装置，用于将包括第一捕获图像在内的并且沿着捕获运动图像的时间轴位于第二捕获图像之前的各个图像保存为历史图像；图像变换装置，用于基于计算出的变换信息对历史图像和第二捕获图像中的至少一个进行变换；操作接受装置，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；图像组合装置，用于将响应于所接受的选择操作其中至少一个由图像变换装置进行了变换的历史图像和第二捕获图像相组合，以生成合成图像；显示装置，用于显示合成图像；以及控制装置，用于使显示装置顺序地显示合成图像。因此，实现了下面的操作：基于第一捕获图像和第二捕获图像计算变换信息；基于计算出的变换信息，对历史图像和第二捕获图像中的至少一个进行变换；响应于所接受的选择操作而对其中至少一个进行了变换的历史图像和第二捕获图像被组合以生成合成图像；并且合成图像被顺序显示。

而且，本发明的第六方面在于图像处理装置、用于其的处理方法以及使计算机执行方法的程序。图像处理装置的特征在于包括：运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；捕获运动图像存储装置，用于存储捕获运动图像；变换信息计算装置，用于针对构成捕获运动图像的每个帧，计算用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；以及记录控制装置，用于将计算出的变换信息与每个帧相关联地记录在捕获运动图像存储装置中。因此，实现了下面的操作：针对每个帧计算出了用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像对另一捕获图像进行变换的变换信息；并且计算出的变换信息与每个帧相关联地被记录。

而且，本发明的第七方面在于图像处理装置、用于其的处理方法以及使计算机执行方法的程序。图像处理装置的特征在于包括：运动图像输入装置，用于接收由图像捕获装置所捕获的运动图像作为捕获运动图像；元数据存储装置，用于存储与捕获运动图像有关的元数据；变换信息计算装置，用于针对构成捕获运动图像的每个帧，计算用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；以及记录控制装置，用于将计算出的变换信息与捕获运动图像以及帧相关联地记录在元数据存储装置中作为元数据。因此，实现了下面的操作：针对每个帧计算出了用于参考构成捕获运动图像的捕获图像中的至少一个捕获图像对另一捕获图像进行变换的变换信息；并且计算出的变换信息与捕获运动图像和帧相关联地被记录为元数据。

而且，在第七方面中，元数据至少可以包括在图像捕获装置的坐标系统中描述的位置信息和姿势信息。因此，实现了下面的操作：至少包括在图像捕获装置的坐标系统中描述的位置信息和姿势信息的元数据被记录。

根据本发明，可以获得如下重大优点：在浏览运动图像的情况中，可以容易地了解由图像捕获装置拍摄的运动图像的细节。

附图说明

[图1]图1是示出本发明一个实施例中的图像处理装置100的功能结构示例的框图。

[图2]图2包括示出与包括在运动图像中的帧相对应的图像的示例的示图。

[图3]图3包括示出了通过省略与包括在运动图像中的帧相对应的图像的背景等而获得的简化图像的示图。

[图4]图4是示出了由本发明实施例中的图像处理装置100执行的仿射变换参数检测处理的处理过程的流程图。

[图5]图5包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图6]图6包括在图5所示的各个图像中与紧邻的在前帧相对应的图像由虚线表示并且还示出了示例性检测到的光流的示图。

[图7]图7包括示出了播放包括图5所示的图像401至403的运动图像的情况中的显示示例的示图。

[图8]图8包括示出了播放包括图5所示的图像401至403的运动图像的情况中的显示示例的示图。

[图9]图9包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图10]图10包括在图9所示的各个图像中与紧邻的在前帧相对应的图像由虚线表示并且还示出了示例性检测到的光流的示图。

[图11]图11包括示出了播放包括图9所示的图像421至423的运动图像的情况中的显示示例的示图。

[图12]图12包括示出了播放包括图9所示的图像421至423的运动图像的情况中的显示示例的示图。

[图13]图13包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图14]图14包括在图13所示的各个图像中与紧邻的在前帧相对应的图像由虚线表示并且还示出了示例性检测到的光流的示图。

[图15]图15包括示出了播放包括图13所示的图像441至443的运动图像的情况中的显示示例的示图。

[图16]图16包括示出了播放包括图13所示的图像441至443的运动图像的情况中的显示示例的示图。

[图17]图17包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图18]图18包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图19]图19包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图20]图20包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图21]图21包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图22]图22包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图23]图23包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图24]图24包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图25]图25是示出了由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。

[图26]图26是示出由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。

[图27]图27是示出由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。

[图28]图28包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图29]图29包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图30]图30包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图31]图31包括示出了相机所拍摄的运动图像中的转变的示例的示图。

[图32]图32是示出本发明实施例中的图像处理装置650的功能结构示例的框图。

[图33]图33包括示意性地示出了记录在本发明实施例中的运动图像存储单元660以及元数据存储单元670中的各个文件的示图。

[图34]图34是示出本发明实施例中的图像处理装置680的功能结构示例的框图。

[图35]图35包括示意性地示出了存储在本发明实施例中的运动图像存储单元660中的运动图像文件的各个帧与显示区域之间的关系的示图。

[图36]图36包括示意性地示出了当前图像从显示区域突出来的情况中的显示区域移动方法的示图。

[图37]图37包括示出了利用图36所示的移动方法移动显示区域的情况中的转变的示例的示图。

[图38]图38包括示意性地示出了存储在本发明实施例中的运动图像存储单元660中的运动图像文件的各个帧与显示区域之间的关系的示图。

[图39]图39包括示出了在指定将当前图像固定在显示单元689上的显示模式时，放大并显示在显示单元689上显示的运动图像的情况中的放大方法的概况的示图。

[图40]图40包括示意性地示出了存储在本发明实施例中的运动图像存储单元660中的运动图像文件的各个帧的流的示图。

[图41]图41包括示意性地示出了存储在本发明实施例中的运动图像存储单元660中的运动图像文件的各个帧的流的示图。

[图42]图42包括示出了在播放相机所拍摄的运动图像的情况中的显示示例(图像750)的示图，以及示出了在对图像750中的当前图像752执行仿射变换之前的状态中的图像754的示图。

[图43]图43包括示出了图42所示的由边界753围绕的图像区域被放大并显示的情况中的图像755的示图，以及示出了在经仿射变换的当前图像被保存在图像存储器684中的状态中保存在显示存储器686中的图像757的示图。

[图44]图44是示出由本发明实施例中的图像处理装置680执行的运动图像播放处理的处理过程的流程图。

[图45]图45是示出由本发明实施例中的图像处理装置680执行的运动图像播放处理的处理过程的流程图。

[图46]图46是示出本发明实施例中的多核处理器800的结构示例的示图。

[图47]图47是示出本发明实施例中的控制处理器核801的结构示例的示图。

[图48]图48是示出本发明实施例中的运算处理器核811(#1)的结构示例的示图。

[图49]图49是示意性地示出本发明实施例中的多核处理器800的运算方法的示图。

[图50]图50是示意性地示出在本发明的实施例中由多核处理器800执行操作的情况中的程序和数据流的示图。

[图51]图51包括示意性地示出了利用各个命令对多个数据项执行处理的运算方案的概况的示图，以及示出了利用单条命令对多个数据项执行处理的SIMD(单指令多数据)操作的概况的示图。

[图52]图52是示出了由本发明实施例中的控制处理器核801或运算处理器核811(#1)执行的程序的结构示例的示图。

[图53]图53是示意性地示出了本发明实施例中利用Sobel(索贝尔)滤波器830对存储在主存储器781中的图像数据执行滤波处理的情况中的处理流程和数据结构的示图。

[图54]图54是示意性地示出了本发明实施例中利用Sobel滤波器830对存储在主存储器781中的图像数据执行SIMD操作的情况中的数据流的示图。

[图55]图55是示意性地示出了本发明实施例中在利用Sobel滤波器830执行滤波处理的情况中从存储在第一缓冲器831中的图像数据生成9个向量的向量生成方法的示图。

[图56]图56是示意性地示出了本发明实施例中在利用Sobel滤波器830执行滤波处理的情况中利用SIMD命令对向量数据项841至849执行向量操作的向量操作方法的示图。

[图57]图57是示意性地示出了本发明实施例中按时序进行的相机操作参数计算处理的流程的示图。

[图58]图58包括示意性地示出了作为记录介质的示例的蓝光碟(Blu-ray Disc)880的示图，示意性地示出了记录在蓝光碟880上的数据项881至884的示图，以及示意性地示出了可以播放蓝光碟880的蓝光播放器890的内部结构的示图。

具体实施方式

接下来，现在将在此参考附图详细描述本发明的实施例。

图1是示出本发明一个实施例中的图像处理装置100的功能结构示例的框图。图像处理装置100包括运动图像输入单元110、相机操作(camerawork)检测单元120、记录控制单元130、运动图像存储单元200、运动图像获取单元140、相机操作参数提取单元150、图像变换单元160、图像存储器170、图像组合单元180、显示控制单元190、显示单元191以及操作接受单元195。图像处理装置100例如可由下述个人计算机来实现，该个人计算机可以通过执行视频图像分析提取由诸如数码摄像机之类的图像捕获装置拍摄的运动图像的特征量，并且利用所提取的特征量来应用各种类型的图像处理。

运动图像输入单元110是接收由诸如数码摄像机(此后简称为相机)之类的图像捕获装置所捕获的运动图像并且将所接收的运动图像输出到相机操作检测单元120中的运动图像输入单元。

相机操作检测单元120被配置为通过分析从运动图像输入单元110输出的运动图像来检测拍摄图像时的相机运动信息(相机操作)。相机操作检测单元120包括特征点提取单元121、光流计算单元122以及相机操作参数计算单元123。即，相机操作检测单元120从构成运动图像的每个图像提取特征点，还提取与特征点相对应的光流(运动向量)，通过分析对应于所提取的特征点的光流来选择表明了主导运动(dominant motion)的特征点，并且基于与表明了主导运动的特征点相对应的光流来推测相机运动。这里，主导运动指在对应于多个特征点的光流中由相对大量的光流所指示的规则运动。

特征点提取单元121被配置为从与构成自运动图像输入单元110输出的运动图像的帧相对应的图像提取特征点，并且将所提取的特征点输出到光流计算单元122。这里，特征点提取单元121针对构成了自运动图像输入单元110输出的运动图像的帧中的头帧(head frame)从整体图像中提取特征点，并且针对除了头帧之外的帧从区域部分提取特征点，该区域部分的图像与对应于紧邻的在前帧的图像相比而言是新近拍摄的。注意，例如，在垂直方向或水平方向上具有更陡的边缘梯度的点(一般称为“角点”；此后称为“角点”)可以被提取为特征点。角点是在计算光流中较强的特征点并且可以利用边缘检测来获得。注意，将参考图2和图3来详细描述角点的提取。而且，在此示例中，特征点提取单元121针对头帧从整体图像提取特征点，并且针对除了在头部以外的帧从区域部分提取特征点，该区域部分的图像与紧邻的在前图像相比而言是新近拍摄的。但是，根据处理能力等，特征点提取单元121可以针对除了在头部以外的每个帧从整体图像提取特征点。

光流计算单元122被配置为计算与从特征点提取单元121输出的每个特征点相对应的光流，并且将通过计算获得的光流输出到相机操作参数计算单元123。具体地，光流计算单元122通过单独比较与包括在从运动图像输入单元110输出的运动图像中的两个连续帧(当前帧和紧邻的在前帧)相对应的图像，来获取与在对应于紧邻的在前帧的图像中的各个特征点相对应的光流，作为当前帧的光流。而且，针对构成运动图像的每个帧来获取光流。注意，诸如梯度方法和块匹配方法之类的检测方法可以用作检测光流的检测方法。注意，将参考图2和图3详细描述光流的计算。

相机操作参数计算单元123被配置为执行如下相机操作参数计算处理，即利用从光流计算单元122输出的对应于各个特征点的光流来计算相机操作参数，并且将计算出的相机操作参数输出到记录控制单元130。这里，在本发明的实施例中，构成了将播放的运动图像的图像根据相机运动而被变换并且被显示。为了执行对图像的变换，利用由光流计算单元122计算出的光流来提取相机运动，并且基于提取出的运动，计算相机操作参数(变换参数)。注意，在本发明的实施例中，将描述这样的一个示例，其中，仿射变换(affine transformation)被用作对构成将被播放的运动图像的图像进行变换的图像变换方法。而且，将描述这样的一个示例，其中，与基于光流计算出的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数被用作相机操作参数。即，在本发明的实施例中，用作变换信息的仿射变换参数被定义为这样的仿射变换参数，其不与表示连续图像之间的特征点运动的仿射矩阵相对应，而与指示当连续图像之一被用作参考图像时该参考图像之后的图像移动的位置的仿射矩阵相对应。此外，虽然将描述仿射变换参数被用作相机操作参数的示例，然而，也可以使用诸如投影变换(projective transformation)之类的其它图像变换方法。注意，可以通过利用三点向量进行计算来获得仿射变换参数。此外，可以通过利用四点向量进行计算来获得投影变换参数。这里，相机操作参数是用于参考构成所捕获运动图像的捕获图像中的至少一个捕获图像来变换另一捕获图像的变换信息，并且至少包括在相机坐标系统中描述的位置信息和姿势信息。即，相机操作参数包括与在摄影师拍摄图像的情况中相机的位置和姿势有关的信息。此外，基于由相机操作参数计算单元123获得的仿射变换参数，可以对响应于摄影师输入的操作(例如，推近、拉远、摇摄、倾斜和旋转)的相机运动进行推测。注意，将参考图2和图3详细描述仿射变换参数的计算。

记录控制单元130被配置为通过将对应的帧与仿射变换参数彼此相关联，来将从运动图像输入单元110输出的运动图像与从相机操作参数计算单元123输出的仿射变换参数作为运动图像文件记录在运动图像存储单元200中。

运动图像存储单元200被配置为存储其中彼此相对应的帧与仿射变换参数被彼此相关联的运动图像文件。此外，运动图像存储单元200响应于来自运动图像获取单元140的请求而将运动图像文件提供给运动图像获取单元140。

运动图像获取单元140被配置为响应于来自操作接受单元195的、与获取运动图像有关的操作输入，获取存储在运动图像存储单元200中的运动图像文件，并且将获取的运动图像文件输出到相机操作参数提取单元150、图像变换单元160和图像组合单元180。

相机操作参数提取单元150被配置为逐帧提取与从运动图像获取单元140输出的运动图像文件相关联地记录的仿射变换参数，并且将提取出的仿射变换参数输出到图像变换单元160。

图像变换单元160被配置为利用从相机操作参数提取单元150输出的仿射变换参数，对构成从运动图像获取单元140输出的运动图像文件中的运动图像的图像或者保存在图像存储器170中的图像逐帧地应用仿射变换，并且将经仿射变换的图像输出到图像组合单元180。具体地，在固定通过组合对应于当前帧前面的各个帧的图像而生成的合成图像(compositeimage)的同时播放并显示运动图像的情况中，图像变换单元160利用从相机操作参数提取单元150输出的仿射变换参数对从运动图像获取单元140输出的与当前帧相对应的图像执行仿射变换。相反，在固定对应于当前帧的图像的同时播放并显示运动图像的情况中，图像变换单元160利用从相机操作参数提取单元150输出的仿射变换参数，对保存在图像存储器170中的通过组合与各个在前帧相对应的图像而生成的合成图像执行仿射变换。此外，在固定与当前帧相对应的图像的显示放大倍率(magnification)时播放并显示运动图像的情况中，图像变换单元160将从相机操作参数提取单元150输出的仿射变换参数分离为关于放大/缩小的要素(变焦分量)以及除了放大/缩小之外的要素(关于移动或旋转的要素)。图像变换单元160利用关于放大/缩小的要素对保持在图像存储器170中的与各个在前帧相对应的合成图像应用与仿射变换参数的方向相反的方向上的仿射变换，并且利用关于移动或旋转的要素对与从运动图像获取单元140输出的当前帧相对应的图像应用仿射变换。这些变换是根据来自操作接受单元195的与回放指令有关的操作输入而被执行的。注意，将参考图5至图16等详细描述这些图像变换。

图像存储器170是保存通过图像组合单元180执行的组合而生成的合成图像的工作缓冲器。图像存储器170被配置为将所保存的合成图像提供给图像变换单元160或图像组合单元180。即，图像存储器170是保存历史图像的图像存储器。

图像组合单元180被配置为对从图像变换单元160输出的图像、保存在图像存储器170中的合成图像，或者从运动图像获取单元140输出的图像进行组合，并且将通过组合生成的合成图像输出到图像存储器170和显示单元191。具体地，当固定通过组合与当前帧前面的各个帧相对应的图像而生成的合成图像的同时播放并显示运动图像时，图像组合单元180将由图像变换单元160生成的经仿射变换的图像写在保存在图像存储器170中的与各个在前帧相对应的合成图像之上，由此来对图像进行组合。相反，当固定对应于当前帧的图像的同时播放并显示运动图像时，图像组合单元180将从运动图像获取单元140输出的对应于当前帧的图像写在通过图像变换单元160对保存在图像存储器170中的与各个在前帧相对应的合成图像执行仿射变换而生成的图像之上，由此来对图像进行组合。或者，当固定对应于当前帧的图像的显示放大倍率的同时来播放并显示运动图像时，图像组合单元180将由图像变换单元160生成的与当前帧相对应的经仿射变换的图像写在由图像变换单元160生成的与各个在前帧相对应的经仿射变换的合成图像之上，由此来对图像进行组合。这些组合操作是根据来自操作接受单元195的与回放指令有关的操作输入而被执行的。注意，将参考图5至图16等详细描述这些图像组合操作。

显示控制单元190被配置为在显示单元191上逐帧地顺序显示通过图像组合单元180执行的组合而生成的合成图像。

显示单元191被配置为在显示控制单元190的控制下显示通过图像组合单元180执行的组合而生成的合成图像。例如，可以由个人计算机的显示器或者电视机来实现显示单元191。注意，将参考图17至图24、图28至图31等详细描述合成图像的显示示例。

操作接受单元195包括各种操作键等，并且被配置为当接受了利用这些键输入的操作输入时，就将所接受的操作输入的细节输出给运动图像获取单元140、图像变换单元160或者图像组合单元180。操作接受单元195例如包括用于在播放运动图像的情况中设置显示模式的设置键。作为其显示模式，例如，存在这样的显示模式：其中，对与当前帧相对应的图像应用仿射变换，并且通过将经仿射变换的图像与对应于各个在前帧的合成图像相组合来生成合成图像并对该合成图像进行显示，或者存在这样的显示模式：其中，在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像应用仿射变换，并且通过将经仿射变换的合成图像与对应于当前帧的图像相组合来生成合成图像并对该合成图像进行显示。即，根据本发明的实施例，可以通过在如下方法之间任意地切换来执行显示：在固定当前图像显示边界的同时变换过去的历史图像的图像组合/显示方法，以及基于相机操作移动当前图像显示边界的图像组合/显示方法。

接下来，将参考附图详细描述检测用在图像变换中的仿射变换参数的检测方法。

图2的部分(a)至(c)是示出与包括在运动图像中的帧相对应的图像的一个示例的示图。图3的部分(a)是示出通过省略与下述帧相对应的图像的背景等而获得的简化图像的示图，所述帧是与图2所示的图像300相对应的帧之前的一帧。此外，图3的部分(b)和(c)是示出通过省略图2所示的图像300的背景等而获得的简化图像的示图。

图2和图3所示的图像300、320和330包括人所乘骑的马的图像301、321和331，以及正位于马的图像301、321和331前面的蛇的图像302、322和332。此外，如图2所示，旗帜、椅子等存在于这些图像的背景中，并且旗帜在风中飘动。

图3的部分(a)所示的图像320是对应于下述帧的图像的简化图像，所述帧是与图2的部分(a)至(c)以及图3的部分(b)和(c)所示的图像300和330相对应的帧之前的一帧。此外，与两个连续帧相对应的图像320和330是示出了在画面中的对象逐渐变大的情况中的转变的图像。即，在拍摄此图像时，执行了推近操作，推近操作是用于逐渐增大画面中的对象的大小的操作。

在本发明的实施例中，将通过示例来描述检测构成运动图像的每个图像中的特征点以及利用对应于特征点的光流计算仿射变换参数的方法。此外，在此示例中，将描述角点被用作特征点的情况。

这里，在图3的部分(a)至(c)中，将通过示例描述利用与在图像320和330中检测到的三个角点相对应的光流计算仿射变换参数的方法。

例如，假设在图3的部分(a)所示的图像320中，马的图像321的嘴部附近的角点323、在马的图像321中的人的臀部附近的角点324以及在蛇的图像322的嘴部附近的角点325被检测作为特征点。在此情况中，在图3的部分(b)所示的图像330中，利用梯度方法、块匹配方法等来检测与图像320中的角点323、324和325相对应的光流337、338和339。基于检测到的光流337、338和339，来检测与图像320中的角点323、324和325相对应的角点333、334和335。

这里，例如，包括在图3的部分(a)和(b)所示的图像320和330中的马的图像321和331以及蛇的图像322和332被置于地上，因此，不会与相机运动无关地运动。因此，可以基于针对在马的图像321和331以及蛇的图像322和332中检测到的角点而获得的光流，来精确地推测相机运动。例如，如图3的部分(c)所示，基于在图像330中检测到的三个光流337至339，可以推测出图像330是通过以点336为中心放大图像320而获得。因此，可以将拍摄图像330时的相机运动确定为以点336为中心执行的推近操作。如上，不会与相机运动无关地运动的物体中的角点被检测到，并且基于针对这些角点而获得的光流，具有一定规律性的相机运动可以精确地被检测到。因此，可以利用针对这些角点获得的光流来计算并获得仿射变换参数。

然而，如旗帜在风中飘动等的情况一样，可想象出图像中包括与相机运动无关地进行运动的物体的情况。例如，图2所示的图像300包括在风中飘动的旗帜。在检测到与相机运动无关地进行运动的这种物体中的角点，并且利用针对这些角点而获得的光流来推测相机运动的情况下，不能精确地推测相机运动。

例如，在图2的部分(b)所示的图像300中检测到的光流用箭头来表示，另外，从光流检测到的角点用箭头末端的空心圆圈表示。这里，角点303至305是与图3的部分(b)和(c)所示的角点333至335相对应的角点。此外，角点306至311是在存在于马的图像301的背景中的旗帜中检测到的角点。由于这些旗帜在风中飘动，因此，因风的作用引起的旗帜运动被检测为光流。即，在与相机运动无关地进行运动的旗帜中检测到分别对应于角点306至311的光流。因此，当在计算仿射变换参数的情况中所使用的三个光流包括与角点306至311中的至少一个角点相对应的光流时，不能检测到精确的相机运动。在此情况中，不能计算精确的仿射变换参数。

如上所示，例如，存在这样的实例：在所拍摄的图像中，检测到与相机运动无关地进行运动的物体所对应的光流(分别对应于图2的部分(b)所示的角点306至311的光流)以及相对于相机运动具有一定规律性的光流(除了对应于图2的部分(b)所示的角点306至311的光流以外的光流)。

因此，在本发明的实施例中，将描述这样的示例，其中，基于三个光流多次执行计算仿射变换参数的仿射变换参数计算处理，由此获得多个仿射变换参数，并且从这些仿射变换参数中选择最佳的仿射变换参数。注意，在此示例中，包括在构成运动图像的每个图像中的运动物体的大小相对于图像面积来说相对较小。

这里，将简要描述仿射变换。在二维中，当运动源的位置为(x，y)并且仿射变换之后的运动目的地的位置为(x′，y′)时，仿射变换的矩阵可由等式1表达。

[等式1]

这里，a至f是仿射变换参数。此外，包括这些仿射变换参数的仿射矩阵AM可由下面的等式来表达。在此情况中，X方向上的变焦分量XZ、Y方向上的变焦分量YZ、X方向上的平移(translation)分量XT、Y方向上的平移分量YT、以及旋转分量R可以通过下面的等式分别获得。注意，在单位矩阵的情况中，a＝e＝1并且b＝c＝d＝f＝0。

[等式2]

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+e^2}$

XT＝c    YT＝f

接下来，将描述仿射变换参数计算方法。

首先，在对应于当前帧(其是构成运动图像的帧中的一帧)的图像中，从基于其检测到光流的特征点中选择三个特征点。例如，从在图2的部分(b)所示的图像300中检测到的角点(由空心圆圈表示)中随机选择三个角点。注意，当投影变换参数被用作相机操作参数时，随机选择四个特征点。

然后，利用与所选三个特征点相对应的三个光流来计算仿射变换参数。例如，利用与从在图2的部分(b)所示的图像300中的角点(由空心圆圈表示)中选出的三个角点相对应的光流(由连接到空心圆圈的箭头表示)来计算仿射变换参数。可以利用等式1获得仿射变换参数。

然后，基于所获得的仿射变换参数，计算仿射变换参数的得分(score)。具体地，利用所获得的仿射变换参数，获得与紧邻当前帧之前的帧相对应的图像中的所有特征点的运动目的地的位置。通过将利用仿射变换参数获得的一个特征点的位置与在当前帧中检测到的另一特征点的位置相比较，来逐特征点地计算两个相对应特征点的位置之间的差值。例如，将两个相对应特征点的位置之间的绝对距离计算作为差值。然后，逐特征点地将计算出的差值与预设阈值进行比较，并且获得差值小于阈值的特征点的数目作为仿射变换参数的得分。如上，从基于其检测光流的特征点中随机地选择三个特征点。基于与这些特征点相对应的光流，将计算仿射变换参数的得分的处理重复预定次数，由此计算出多个仿射变换参数的得分。可以根据要比较的图像类型、图像处理装置100的处理能力等，按照需要来设置该预定次数。或者，可以将固定值用作预定次数。例如，可以考虑到图像处理装置100的处理能力而将大约20次设置为预定次数。

例如，考虑从在图2的部分(b)所示的图像300中检测到的角点中选择除了角点306至311之外的三个角点的情况。当利用与上面选出的三个角点相对应的光流计算仿射变换参数时，如上所述，由于三个光流具有一定的规律性，因此，获得了根据一定的规律性来变换与紧邻的在前帧相对应的图像的仿射变换参数。因此，对于利用仿射变换参数获得的角点的位置和在当前帧中检测到的角点的位置，针对除了角点306至311之外的角点获得的差值被计算为相对小的值。因此，仿射变换参数的得分变为较大值。

相反，考虑从在图2的部分(b)所示的图像300中检测到的角点中选择至少包括角点306至311之一的三个角点的情况。当利用与上面选出的三个角点相对应的光流计算仿射变换参数时，如上所述，由于三个光流包括不具有一定规律性的光流，因此，获得了不根据一定规律性来变换与紧邻的在前帧相对应的图像的仿射变换参数。因此，在任意角点处，针对利用仿射变换参数获得的角点的位置和在当前帧中检测到的角点的位置而获得的差值被计算为相对大的值。因此，仿射变换参数的得分变为较小值。

然后，在所获得的多个仿射变换参数的得分中，其得分具有最大值的仿射变换参数被选为代表性仿射变换参数。所选择的代表性仿射变换参数与当前帧相关联地被记录在运动图像存储单元200中。以这种方式，在要对构成运动图像的图像执行仿射变换的情况中，可以利用最佳仿射变换参数来执行仿射变换。

如上所示，即使当构成运动图像的每个图像都包括诸如人或车之类的在运动的物体(运动物体)时，如果该运动物体的大小相对于图像面积相对较小，则相机运动可被提取而不受运动物体影响。

此外，可以通过提取相机运动来推测被认为是由摄影师有意引起的诸如推近、拉远、摇摄、倾斜和旋转之类的运动。

接下来，将参考附图描述本发明实施例中的图像处理装置100的操作。

图4是示出由本发明实施例中的图像处理装置100执行的仿射变换参数检测处理的处理过程的流程图。

首先，将运动图像文件输入到运动图像输入单元110(步骤S900)。然后，对输入到运动图像输入单元110的运动图像文件解码，并且按照时序顺序获得一帧的图像(步骤S901)。然后，判断所获得的一帧是否是输入到运动图像输入单元110的运动图像文件的头帧(步骤S902)。当所获得的一帧是头帧时(步骤S902)，从与头帧相对应的整体图像中提取特征点(步骤S903)。例如，如图2的部分(b)所示，在图像中提取出多个角点。然后，将单位矩阵中的仿射变换参数选为仿射变换参数(步骤S904)，然后流程前进到步骤S914。

相反，当所获得的一帧不是头帧时(步骤S902)，则参考与紧邻的在前帧相对应的图像从图像新近被拍摄的区域中提取特征点(步骤S905)。即，由于已经在与紧邻的在前帧相对应的图像中提取出的特征点可以通过与这些特征点相对应的光流来获得，因此，不在与当前帧相对应的图像中提取这些特征点。

然后，计算与从紧邻的在前帧所对应的图像提取出的各个特征点相对应的光流(步骤S906)。即，如图2的部分(b)所示，与各个角点相对应的光流被计算。

然后，变量i被初始化为“1”(步骤S907)。然后，从基于其检测光流的特征点中选出M个特征点(步骤S908)。例如，当将仿射变换参数用作相机操作参数时，随机选出三个特征点。此外，当将投影变换参数用作相机操作参数时，随机选出四个特征点。然后，基于与所选M个特征点相对应地计算出的M个光流来计算仿射变换参数(步骤S909)。

然后，基于通过计算获得的仿射变换参数，计算仿射变换参数的得分(步骤S910)。具体地，利用通过计算获得的仿射变换参数，来获得与紧邻的在前帧相对应的图像中的所有特征点的运动目的地的位置。通过将利用仿射变换参数获得的一个特征点的位置与对应于当前帧的图像中的另一特征点的位置(其已在步骤S906中计算光流时被获得)相比较，来逐特征点地计算两个相对应特征点的位置之间的差值。例如，将两个相对应位置之间的绝对距离计算作为差值。然后，逐特征点地将计算出的差值与预设阈值相比较，并且差值小于阈值的特征点的数目被获得作为仿射变换参数的得分。

然后，将变量i加“1”(步骤S911)，并且判断变量i是否大于常数N(步骤S912)。当变量i小于或等于常数N时(步骤S912)，流程返回步骤S908，并且重复仿射变换参数的得分计算处理(步骤S908至S910)。例如，可以将20用作常数N。

相反，当变量i大于常数N时(步骤S912)，在所获得的仿射变换参数的得分中，其得分具有最大值的仿射变换参数被选为代表性仿射变换参数(步骤S913)。然后，将与所选代表性仿射变换参数的矩阵相对应的逆矩阵的仿射变换参数与当前帧相关联地记录在运动图像存储单元200中(步骤S914)。注意，当当前帧是头帧时，单位矩阵的所选仿射变换参数被与头帧相关联地记录在运动图像存储单元200中。然后，对应于当前帧的图像以及该图像中的特征点被重写(write over)并被储存(步骤S915)。

然后，判断当前帧是否是输入到运动图像输入单元110中的运动图像文件中的最后一帧(步骤S916)。在当前帧不是最后一帧时(步骤S916)，流程返回步骤S901，并且重复仿射变换参数检测处理(步骤S901至S915)。相反，在当前帧是最后一帧时(步骤S916)，终止仿射变换参数检测处理。

在本发明的本实施例中，描述了这样的示例，其中，作为对相机操作参数的检测，基于在构成运动图像的图像中检测到的光流来检测仿射变换参数。然而，可以将在执行变焦操作时使用的诸如加速度传感器或陀螺仪传感器之类的传感器或变焦按钮设置在相机上。可以利用传感器或变焦按钮来检测拍摄图像时的相机运动量，并且基于相机运动量，可以获得相机操作参数。注意，在拍摄图像时检测到的相机运动量可以在判断由相机操作参数计算单元123获得的相机操作参数是否正确时使用。此外，可以由相机操作参数计算单元123检测出多个相机操作参数，并且基于在拍摄图像时检测到的相机运动量，可以从多个相机操作参数中选出一个相机操作参数。

接下来，将参考附图详细描述利用上述仿射变换参数来播放并显示运动图像的情况。注意，为了便于描述，图5至图16所示的各个图像被简化，并且另外，两个连续帧之间的运动量被放大并示出。

首先，将描述这样的情况，其中，在使用相机拍摄图像时，虽然放大倍率保持不变，然而相机的镜头以相机位置为中心在向上、向下、向左和向右中的任一方向被移动。

图5包括示出了相机拍摄的运动图像的转变的一个示例的示图。在图5中，示图示出了在背景中有山的人400的图像被拍摄的情况中，与包括在运动图像中的连续帧相对应的图像401至403。在此示例中，图示出了这样的情况：摄影师在向右和向上的方向上移动相机镜头的同时对图像进行拍摄。在此情况中，包括在由相机拍摄的运动图像中的人400从右侧向左侧移动，并且另外在构成运动图像的图像中向下移动。

图6包括这样的示图，其中，在图5所示的各个图像中，与紧邻的在前帧相对应的图像由虚线表示，并且另外示出了示例性检测到的光流。图6的部分(a)所示的图像401与图5的部分(a)所示的图像401相同。此外，在图6的部分(b)所示的图像402中由实线指示的部分与图5的部分(b)所示的图像402相同，并且图6的部分(b)所示的图像402中由虚线指示的部分与图6的部分(a)所示的图像401中由实线指示的部分相同。此外，图6的部分(b)所示的图像402中的箭头404至406图示出了在图像402中检测到的示例性光流。类似地，图6的部分(c)所示的图像403中由实线指示的部分与图5的部分(c)所示的图像403相同，并且图6的部分(c)所示的图像403中由虚线指示的部分图6的部分(b)所示的图像402中由实线指示的部分相同。此外，图6的部分(c)所示的图像403中的箭头407至409图示出了在图像403中检测到的示例性光流。

如图6的部分(b)和(c)所示，包括在图像中的人400以及背景中的山根据相机运动而运动。基于从此运动中检测到的光流，可以逐帧地获得仿射变换参数。

图7包括示出了在播放包括图5所示的图像401至403的运动图像的情况中的显示示例的示图。注意，在本发明的本实施例中，由于将构成运动图像的各个图像组合，因此，随着回放时间的过去，显示在显示单元191上的图像变得大于正常图像。因此，与显示单元191的显示区域的大小相比而言，首先被显示的图像被显示为相对小的图像。注意，可由用户指定首先被显示的图像的大小、位置等。

如图7的部分(a)所示，首先，仅仅与头帧相对应的图像401被显示。这里，当与图像401相对应的仿射变换参数的矩阵(3×3矩阵)为A1时，A1的值被获得，并且，参考头帧的图像401的位置和大小，利用所获得的A1矩阵来对图像401进行仿射变换。这里，由于A1是单位矩阵，因此，图像401的位置和大小未被变换。然后，当与下一帧相对应的图像402将被显示时，利用与该帧相关联的仿射变换参数来对图像402进行仿射变换。具体地，当与图像402相对应的仿射变换参数的矩阵为A2并且与图像401相对应的仿射变换参数的矩阵为A1时，A1×A2的值被获得，并且，参考头帧的图像401的位置和大小，利用所获得的A1×A2矩阵来对图像402进行仿射变换。在图7的部分(b)所示的图像中，仅图像402的位置被变换。利用仿射变换参数进行了仿射变换的图像402被重写以便与对应于紧邻的在前帧的图像401相重叠。即，在图像401的区域内，图像402的图像被写在与图像402重叠的区域410上。此外，在图像401的区域内，图像401的图像在未与图像402相重叠的区域411中被组合。即，当对应于第二帧的图像402将被显示时，如图7的部分(b)所示，通过将图像402的整体部分与图像401的对应于区域411的部分相组合而生成的合成图像被显示。此外，指示这是所显示图像中的最新图像的图像边界可以被显示在与当前帧相对应的图像的周围。在图7的部分(b)中，图像边界被显示在图像402的周围。而且，用来对图像402进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像403将被显示时，利用与该帧相关联的仿射变换参数来对图像403进行仿射变换。即，利用通过使用与图像403相对应的仿射变换参数矩阵以及在紧邻的在前仿射变换中使用的与图像402相对应的仿射变换参数矩阵而获得的仿射变换参数来对图像403进行仿射变换。具体地，当与图像403相对应的仿射变换参数矩阵为A3，与图像402相对应的仿射变换参数矩阵为A2，并且与图像401相对应的仿射变换参数矩阵为A1时，A1×A2×A3的值被获得，并且，参考头帧的图像401的位置和大小，利用所获得的A1×A2×A3矩阵来对图像403进行仿射变换。在图7的部分(c)所示的图像中，仅图像403的位置被变换。利用仿射变换参数进行了仿射变换的图像403被重写以便与对应于在前帧的图像401和402的合成图像相重叠。即，在图像401和402的合成图像的区域中，图像403的图像被写在与图像403重叠的区域413和414上。此外，在图像401和402的合成图像的区域中，图像401和402的合成图像在未与图像403重叠的区域411和412中被组合。即，当与第三帧相对应的图像403将被显示时，如图7的部分(c)所示，通过组合图像403的整体部分、图像401的对应于区域411的部分以及图像402的对应于区域412的部分而生成的合成图像被显示。此外，当指示出这是所显示图像中的最新图像的图像边界将被显示在与当前帧相对应的图像周围时，图像边界被显示在图7的部分(c)所示的图像403周围。此外，用来对图像403进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过将分别对应于图像402和403的仿射变换参数矩阵相乘而获得的仿射变换参数被保存在图像变换单元160中。如上，当要对与当前帧相对应的图像进行仿射变换时，利用通过使用与当前帧相对应的仿射变换参数矩阵以及与在当前帧之前的每个帧相对应的仿射变换参数矩阵而获得的仿射变换参数来对与当前帧相对应的图像进行仿射变换。在仿射变换时获得的仿射变换参数被保存在图像变换单元160中，并且用于下一仿射变换。此外，这同样适用于图11和图15中的情况。

图8包括示出了在播放包括图5所示的图像401至403的运动图像的情况中的显示示例的示图。在图7所示的显示示例中，与在当前帧之前的各个帧相对应的合成图像(开始时是一个图像)被固定，与当前帧相对应的经仿射变换的图像被重写并与合成图像组合，并且通过组合生成的图像被显示。相反，在图8所示的显示示例中，与当前帧相对应的图像的位置被固定，与在当前帧之前的各个帧相对应的合成图像在与仿射变换参数的方向相反的方向上被仿射变换，与当前帧相对应的图像被重写并与经仿射变换的合成图像组合，并且通过组合而生成的图像被显示。即，在图7和图8所示的显示示例中，虽然在固定位置处显示的图像与将被仿射变换的图像不同，然而，其它部分是共同的。因此，与图7的部分共同的部分被给予共同的标号并被描述。

如图8的部分(a)所示，首先，仅与头帧相对应的图像401被显示。这里，由于图像401是头帧，因此没有在前帧存在。然后，当与下一帧相对应的图像402将被显示时，利用与此帧相关联的仿射变换参数来对作为紧邻的在前图像的图像401进行仿射变换。具体地，当与图像402相对应的仿射变换参数矩阵为A2并且与图像401相对应的仿射变换参数矩阵为A1时，Inv(A1×A2)的值被获得，并且利用所获得的Inv(A1×A2)矩阵来对图像401进行仿射变换。这里，Inv A(A是矩阵)表示A的逆矩阵。在图8的部分(b)所示的图像中，仅图像401的位置被变换。与当前帧相对应的图像402被重写以便与经仿射变换的图像401重叠。注意，通过将图像402写在图像401上而生成的合成图像与图7的部分(b)所示的合成图像相同，因此，这里省略对其的描述。

然后，当与下一帧相对应的图像403将被显示时，利用与该帧相关联的仿射变换参数，与在前帧相对应的图像401和图像402的合成图像在与仿射变换参数的方向相反的方向上被仿射变换。具体地，当与图像403相对应的仿射变换参数矩阵为A3，与图像402相对应的仿射变换参数矩阵为A2并且与图像401相对应的仿射变换参数矩阵为A1时，Inv(A1×A2×A3)的值被获得，并且利用Inv(A1×A2×A3)矩阵来对图像401和402的合成图像进行仿射变换。在图8的部分(c)所示的图像中，仅图像401和图像402的合成图像的位置被变换。与当前帧相对应的图像403被重写以便与经仿射变换的图像401和402的合成图像相重叠。注意，通过将图像403写在图像401和402上而生成的合成图像与图7的部分(c)所示的合成图像相同，因此，这里省略对其的描述。

接下来，将描述这样的情况：在利用相机拍摄图像时，虽然相机的镜头方向保持不变，然而，放大倍率被改变。

图9包括示出了相机所拍摄的运动图像中的转变的一个示例的示图。在图9中，示图示出了在背景中有山的人420的图像被拍摄的情况中，与包括在运动图像中的连续帧相对应的图像421至423。在此示例中，图示出了摄影师在增加相机镜头的放大倍率的同时对图像进行拍摄的情况。在此情况中，包括在由相机拍摄的运动图像中的人420在构成运动图像的图像中逐渐变大。注意，虽然在增加放大倍率时相机位置可能轻微移动，然而此示例的描述不考虑相机位置的移动。

图10包括这样的示图，其中，在图9所示的各个图像中，与紧邻的在前帧相对应的图像由虚线表示，并且另外，示出了示例性的检测到的光流。图10的部分(a)所示的图像421与图9的部分(a)所示的图像421相同。此外，图10的部分(b)所示的图像422中由实线指示的部分与图9的部分(b)所示的图像422相同，并且图10的部分(b)所示的图像422中由虚线指示的部分与图9的部分(a)所示的图像421中由实线指示的部分相同。此外，图10的部分(b)所示的图像422中的箭头424至426图示出了在图像422中检测到的示例性光流。类似地，图10的部分(c)所示的图像423中由实线指示的部分与图9的部分(c)所示的图像423相同，并且图10的部分(c)所示的图像423中由虚线指示的部分与图9的部分(b)所示的图像422中由实线指示的部分相同。此外，图10的部分(c)所示的图像423中的箭头427至429图示出了在图像423中检测到的示例性光流。

如图10的部分(b)和(c)所示，包括在图像中的人420以及背景中的山的大小随着放大倍率改变而改变。基于从此改变检测到的光流，可以逐帧地获得仿射变换参数。

图11包括示出了在播放包括图9所示的图像421至423在内的运动图像的情况中的显示示例的示图。

如图11的部分(a)所示，首先，仅与头帧相对应的图像421被显示。然后，当与下一帧相对应的图像422将被显示时，利用与该帧相关联的仿射变换参数来对图像422进行仿射变换。在图11的部分(b)所示的图像中，仅图像422的大小被变换。利用仿射变换参数进行了仿射变换的图像422被重写以便与对应于紧邻的在前帧的图像421相重叠。即，在图像421的区域内，图像422的图像被写在与图像422重叠的区域上。在此情况中，由于图像421与图像422的整体区域相重叠，因此，图像422的整体图像被写在图像421上。此外，在图像421的区域内，图像421在未与图像422相重叠的区域431中的图像被组合。即，当与第二帧相对应的图像422将被显示时，如图11的部分(b)所示，通过组合图像422的整体图像与图像421的对应于区域431的部分而生成的合成图像被显示。此外，指示出这是所显示图像中的最新图像的图像边界可以被显示在与当前帧相对应的图像周围。在图11的部分(b)中，图像边界显示在图像422的周围。此外，用来对图像422进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像423将被显示时，利用与该帧相关联的仿射变换参数对图像423进行仿射变换。即，利用通过使用与图像423相对应的仿射变换参数矩阵以及在紧邻的在前仿射变换中使用的与图像422相对应的仿射变换参数矩阵而获得仿射变换参数来对图像423进行仿射变换。在图11的部分(c)所示的图像中，仅图像423的大小被变换。经仿射变换的图像423被重写以便与对应于在前帧的图像421和422的合成图像相重叠。即，在图像421和422的合成图像的区域内，图像423的图像被写在与图像423重叠的区域上。在此情况中，由于图像423与图像421和422的整体区域相重叠，因此，图像423的整体图像被写在图像421和422的合成图像上。此外，在图像421和422的合成图像的区域内，图像421和422的合成图像在未与图像423重叠的区域432和433中被组合。即，当与第三帧相对应的图像423将被显示时，如图11的部分(c)所示，通过组合图像423的整体区域、图像421的与区域432相对应的部分以及图像422的与区域433相对应的部分而生成的合成图像被显示。此外，当指示出这是所显示图像中的最新图像的图像边界要被显示在与当前帧相对应的图像周围时，图像边界被显示在图11的部分(c)所示的图像423的周围。此外，用来对图像423进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过使用分别与图像422和423相对应的仿射变换参数而获得的仿射变换参数被保存在图像变换单元160中。

图12包括示出了在播放包括图9所示的图像421至423在内的运动图像的情况中的显示示例的示图。图11和图12所示的显示示例之间的差异与图7和图8所示的显示示例之间的差异类似。虽然在固定位置处显示的图像与将被仿射变换的图像不同，然而，其它部分是共同的。因此，与图11中的部分共同的部分被给予共同的标号并被描述。

如图12的部分(a)所示，首先，仅与头帧相对应的图像421被显示。然后，当与下一帧相对应的图像422将被显示时，利用与该帧相关联的仿射变换参数在与仿射变换参数的方向相反的方向上对作为紧邻的在前图像的图像421进行仿射变换。在图12的部分(b)所示的图像中，仅图像421的大小被变换。与当前帧相对应的图像422被重写以便与经仿射变换的图像421相重叠。注意，虽然通过将图像422写在图像421上而生成的合成图像具有与图11的部分(b)所示的合成图像不同的大小，然而，其它方面与图11的部分(b)所示的合成图像的其它方面相同，因此，这里省略对其的描述。

然后，当与下一帧相对应的图像423将被显示时，利用与该帧相关联的仿射变换参数在与仿射变换参数的方向相反的方向上对与在前帧相对应的图像421和图像422的合成图像进行仿射变换。在图12的部分(c)所示的图像中，仅图像421和图像422的合成图像的大小被变换。与当前帧相对应的图像423被重写以便与经仿射变换的图像421和422的合成图像相重叠。注意，虽然通过将图像423写在图像421和图像422的合成图像上而生成的合成图像具有与图11的部分(c)所示的合成图像不同的大小，然而，其它方面与图11的部分(c)所示的合成图像的其它方面相同，因此，这里省略对其的描述。

接下来，将描述这样的情况：在使用相机拍摄图像时，虽然相机的镜头方向和放大倍率保持不变，然而，相机围绕作为旋转中心的图像拍摄方向而旋转。

图13包括示出了相机所拍摄的运动图像中的转变的一个示例的示图。在图13中，示图示出了在背景中有山的人440的图像被拍摄的情况中与包括在运动图像中的连续帧相对应的图像441至443。在此示例中，图示出了摄影师在围绕作为旋转中心的图像拍摄方向旋转相机的同时对图像进行拍摄的情况。在此情况中，包括在由相机拍摄的运动图像中的人440在构成运动图像的图像中旋转。注意，虽然由于相机旋转可能使相机位置轻微移动，然而此示例的描述不考虑相机位置的移动。

图14包括这样的示图，其中，在图13所示的各个图像中，与紧邻的在前帧相对应的图像由虚线表示，并且另外，示出了示例性的检测到的光流。图14的部分(a)所示的图像441与图13的部分(a)所示的图像441相同。此外，图14的部分(b)所示的图像442中由实线指示的部分与图13的部分(b)所示的图像442相同，并且图14的部分(b)所示的图像442中由虚线指示的部分与图13的部分(a)所示的图像441中由实线指示的部分相同。此外，图14的部分(b)所示的图像442中的箭头444至446图示出了在图像442中检测到的示例性光流。类似地，图14的部分(c)所示的图像443中由实线指示的部分与图13的部分(c)所示的图像443相同，并且图14的部分(c)所示的图像443中由虚线指示的部分与图13的部分(b)所示的图像442中由实线指示的部分相同。此外，图14的部分(c)所示的图像443中的箭头447至449图示出了在图像443中检测到的示例性光流。

如图14的部分(b)和(c)所示，包括在图像中的人440以及背景中的山随着相机的旋转而旋转。基于从此旋转运动检测到的光流，可以逐帧地获得仿射变换参数。

图15包括示出了在播放包括图13所示的图像441至443在内的运动图像的情况中的显示示例的示图。

如图15的部分(a)所示，首先，仅与头帧相对应的图像441被显示。然后，当与下一帧相对应的图像442将被显示时，利用与该帧相关联的仿射变换参数来对图像442进行仿射变换。在图15的部分(b)所示的图像中，仅图像442的角度被变换。经过仿射变换的图像442被重写以便与对应于紧邻的在前帧的图像441相重叠。即，在图像441的区域内，图像442的图像被写在与图像442重叠的区域450上。此外，在图像441的区域内，图像441的图像在未与图像442相重叠的区域451和452中被组合。即，当与第二帧相对应的图像442将被显示时，如图15的部分(b)所示，通过组合图像442的整体部分与图像441的对应于区域451和452的部分而生成的合成图像被显示。此外，指示出这是所显示图像中的最新图像的图像边界可以被显示在与当前帧相对应的图像周围。在图15的部分(b)中，图像边界显示在图像442的周围。此外，用来对图像442进行仿射变换的仿射变换参数被保存在图像变换单元160中。

然后，当与下一帧相对应的图像443将被显示时，利用与该帧相关联的仿射变换参数对图像443进行仿射变换。即，利用通过使用与图像443相对应的仿射变换参数矩阵以及在紧邻的在前仿射变换中使用的与图像442相对应的仿射变换参数矩阵而获得仿射变换参数来对图像443进行仿射变换。在图15的部分(c)所示的图像中，仅图像443的角度被变换。经仿射变换的图像443被重写以便与对应于在前帧的图像441和442的合成图像相重叠。即，在图像441和442的合成图像的区域内，图像443的图像被写在与图像443重叠的区域453至457上。此外，在图像441和442的合成图像的区域内，图像441和442的合成图像还在未与图像443重叠的区域458至461中被组合。即，当与第三帧相对应的图像443将被显示时，如图15的部分(c)所示，通过组合图像443的整体区域、图像441的与区域459相对应的部分以及图像442的与区域458和460相对应的部分而生成的合成图像被显示。此外，当指示这是所显示图像中的最新图像的图像边界要被显示在与当前帧相对应的图像周围时，图像边界被显示在图15的部分(c)所示的图像443的周围。此外，用来对图像443进行仿射变换的仿射变换参数被保存在图像变换单元160中。即，通过使用分别与图像442和443相对应的仿射变换参数而获得的仿射变换参数被保存在图像变换单元160中。

图16包括示出了在播放包括图13所示的图像441至443在内的运动图像的情况中的显示示例的示图。图15和图16所示的显示示例之间的差异与图7和图8所示的显示示例之间的差异类似。虽然在固定位置处显示的图像与将被仿射变换的图像不同，然而，其它部分是共同的。因此，与图15中的部分共同的部分被给予共同的标号并被描述。

如图16的部分(a)所示，首先，仅与头帧相对应的图像441被显示。然后，当与下一帧相对应的图像442将被显示时，利用与该帧相关联的仿射变换参数在与仿射变换参数的方向相反的方向上对作为紧邻的在前图像的图像441进行仿射变换。在图16的部分(b)所示的图像中，仅图像441的角度被变换。与当前帧相对应的图像442被重写以便与经仿射变换的图像441相重叠。注意，虽然通过将图像442写在图像441上而生成的合成图像具有与图15的部分(b)所示的合成图像不同的角度，然而，其它方面与图15的部分(b)所示的合成图像的其它方面相同，因此，这里省略对其的描述。

然后，当与下一帧相对应的图像443将被显示时，利用与该帧相关联的仿射变换参数在与仿射变换参数的方向相反的方向上来对与在前帧相对应的图像441和图像442的合成图像进行仿射变换。在图16的部分(c)所示的图像中，仅图像441和图像442的合成图像的角度被变换。与当前帧相对应的图像443被重写以便与经仿射变换的图像441和442的合成图像相重叠。注意，虽然通过将图像443写在图像441和442的合成图像上而生成的合成图像具有与图15的部分(c)所示的合成图像不同的角度，然而，其它方面与图15的部分(c)所示的合成图像的其它方面相同，因此，这里省略对其的描述。

上面已描述了构成运动图像的每个图像的位置、放大倍率和角度顺序被改变的情况。然而，实施例类似地适用于这些改变被组合的情况。

接下来，将图示在播放由相机实际拍摄的运动图像的情况中的显示示例。在下面所示的显示示例中，在显示单元191的显示区域内，仅在与当前帧和在前帧相对应的图像被显示的区域中显示合成图像，而其它区域被示为黑色。此外，边界显示在与当前帧相对应的图像周围。此外，在下面所示的显示示例中，将例示说明从中间播放运动图像的显示示例。

图17至图24包括示出了由相机拍摄的运动图像中的转变的示例的示图。图17和图18是示出在移动相机时对在寓所内的广场上玩耍的家长和孩子的图像进行拍摄的情况中构成了运动图像的图像500至505的示图。在此示例中，将例示说明与当前帧相对应的图像被仿射变换并且经仿射变换的图像被写在与各个在前帧相对应的合成图像上的情况。

在图17和图18所示的图像500至505中，与当前帧相对应的图像是图像506至511。此外，合成图像是图像512至517，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图17和图18所示，包括在所拍摄的图像中的被拍摄对象(寓所内的广场等)被固定在画面上，并且与当前帧相对应的图像506至511根据相机的移动而在画面上移动。通过以这种方式显示图像，可以以如下方式向观看者示出图像：对应于当前帧的图像似乎在显示单元191上显示为黑色的显示区域中根据相机的移动正向前进。

图19和图20是示出在执行推近操作的同时对在寓所内的广场上玩耍的家长和孩子的图像进行拍摄的情况中与构成了运动图像的帧相对应的图像520至525的示图。在此示例中，将例示说明与当前帧相对应的图像被仿射变换并且经仿射变换的图像被写在与各个在前帧相对应的合成图像上的情况。

在图19和图20所示的图像520至525中，与当前帧相对应的图像是图像526至531。此外，合成图像是图像532至537，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图19和图20所示，包括在所拍摄的图像中的被拍摄对象(寓所内的广场等)被固定在画面上，并且与当前帧相对应的图像526至531根据相机的运动而在画面上移动。通过以这种方式显示图像，观看者可以容易地在整体空间中识别出作为变焦对象的人。

如上，在图17至图20所示的显示示例中，与当前帧相对应的图像在显示器上移动同时涉及大小的放大/缩小，由此，生成了较宽的图像。此外，在顺序生成的合成图像中，仅包括在与当前帧相对应的图像中的物体移动，并且在与当前帧相对应的图像外面的部分中，以静止状态来显示过去显示的物体。

图21和图22是示出在移动相机的同时对在寓所内的广场上玩耍的家长和孩子的图像进行拍摄的情况中与构成运动图像的帧相对应的图像540至545。在此示例中，将例示说明与各个在前帧相对应的合成图像在与仿射变换参数的方向相反的方向上被仿射变换并且与当前帧相对应的图像被写在经仿射变换的合成图像上的情况。

在图21和图22所示的图像540至545中，与当前帧相对应的图像是图像546至551。此外，合成图像是图像552至557，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图21和图22所示，与当前帧相对应的图像546至551被固定在画面上，并且，在包括在所拍摄图像中的被拍摄对象(寓所内的广场等)中，除了与当前帧相对应的那些图像之外的图像在画面上根据相机的移动而移动。通过以这种方式显示图像，可以以如下方式向观看者示出图像：对应于在前帧的合成图像似乎在显示单元191上显示为黑色的显示区域中根据相机的移动而向前行进。即，可以以合成图像似乎在与图17和图18所示的方向相反的方向上向前行进的方式来显示与在前帧相对应的合成图像。

图23和图24是示出在执行推近操作的同时对在寓所的广场上玩耍的家长和孩子的图像进行拍摄的情况中与构成运动图像的帧相对应的图像560至565。在此示例中，将例示说明这样的情况：与各个在前帧相对应的合成图像在与仿射变换参数的方向相反的方向上被仿射变换，并且与当前帧相对应的图像被写在经仿射变换的合成图像上。

在图23和图24所示的图像560至565中，与当前帧相对应的图像是图像566至571。此外，合成图像是图像572至577，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图23和图24所示，与当前帧相对应的图像566至571被固定在画面上，并且在包括在所拍摄图像中的被拍摄对象(寓所内的广场等)中，除了与当前帧相对应的图像之外的图像在画面上根据相机的运动而移动。通过以这种方式显示图像，可以根据变焦来逐渐地增加作为变焦对象的人的大小，因此，观看者可以容易地在整体空间中识别出这个人。

如上，在图21至24所示的显示示例中，与当前帧相对应的图像被固定在固定位置处，并且，在与当前帧相对应的图像周围的外围图像在涉及大小放大/缩小的同时在显示屏上移动，由此生成了较宽的图像。此外，在顺序生成的合成图像中，仅包括在与当前帧相对应的图像中的物体移动，并且在与当前帧相对应的图像外面的部分中，以静止状态来显示过去显示的物体，在静止状态中，物体作为整体而移动。

接下来，将参考附图描述本发明实施例中的图像处理装置100的操作。

图25是示出了由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。在此处理过程中，将例示说明与当前帧相对应的图像被仿射变换，并且经仿射变换的图像被写在与各个在前帧相对应的合成图像上的示例。

首先，在图像存储器170中确保比构成运动图像的图像的大小大的工作缓冲器(步骤S921)。然后，从运动图像存储单元200中获取运动图像文件(步骤S922)。然后，对所获得的运动图像文件进行解码，并且获取一帧的当前帧(步骤S923)。

然后，从运动图像文件提取与所获得的当前帧相对应的仿射变换参数(步骤S924)。这里，当当前帧为头帧时，提取单位矩阵的仿射变换参数。然后，利用所获得的仿射变换参数对与当前帧相对应的图像进行仿射变换(步骤S925)。这里，当当前帧为头帧时，利用单位矩阵的仿射变换参数来执行仿射变换。因此，实际图像未被变换。然后，与当前帧相对应的经仿射变换的图像被重写并被与当前帧之前的帧所对应的各个图像的合成图像相组合，并且组合了当前帧所对应的图像的合成图像被储存在图像存储器170中(步骤S926)。这里，当当前帧为头帧时，与头帧相对应的图像被储存在图像存储器170中。然后，在步骤S926中组合了当前帧所对应的图像的合成图像被显示在显示单元191上(步骤S927)。这里，当当前帧为头帧时，与头帧相对应的图像被显示在显示单元191上。

然后，判断在构成输入运动图像文件的帧中当前帧是否是最后一帧(步骤S928)。当当前帧不是最后一帧时(步骤S928)，流程返回步骤S923，并且重复合成图像显示处理(步骤S923至S927)。

相反，当当前帧是最后一帧时(步骤S928)，所确保的工作缓冲器被释放(步骤S929)，并且运动图像播放处理终止。

图26是示出由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。在此处理过程中，将例示说明这样的示例：与当前帧之前的各个帧相对应的合成图像在与仿射变换参数的方向相反的方向上被仿射变换，并且与当前帧相对应的图像被写在经仿射变换的合成图像上。注意，在图26所示的处理过程中，由于步骤S921至S924以及步骤S927至S929与图25所示的处理过程类似，因此，这里省略对其的描述。

从运动图像文件中提取与在步骤S923中获得的当前帧相对应的仿射变换参数(步骤S924)。然后，利用所获得的仿射变换参数，在与仿射变换参数的方向相反的方向上，对储存在图像存储器170中的与当前帧之前的各个帧相对应的合成图像进行仿射变换(步骤S941)。这里，当当前帧为头帧时，由于没有合成图像储存在图像存储器170中，因此图像不被变换。然后，与当前帧相对应的图像被重写并被与经仿射变换的合成图像相组合，并且组合了当前帧所对应的图像的合成图像被储存在图像存储器170中(步骤S942)。这里，当当前帧为头帧时，与头帧相对应的图像被储存在图像存储器170中。然后，在步骤S942中组合了当前帧所对应的图像的合成图像被显示在显示单元191上(步骤S927)。

已描述了如下情况：通过向对应于当前帧的图像应用仿射变换来生成合成图像的情况，或者通过在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像应用仿射变换来生成合成图像的情况。然而，还可以通过向对应于当前帧的图像应用仿射变换，并且另外在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像应用仿射变换来生成合成图像。这里，将参考附图详细描述这样的示例：其中，仿射变换参数被分离为与放大/缩小有关的要素(变焦分量)以及除了放大/缩小之外的要素(与移动或旋转有关的要素)；并且利用与放大/缩小有关的要素在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像应用仿射变换，并且利用与移动或旋转有关的要素向对应于当前帧的图像应用仿射变换，由此来生成合成图像。

图27是示出由本发明实施例中的图像处理装置100执行的运动图像播放处理的处理过程的流程图。在此处理过程中，将例示说明这样的示例：利用与移动或旋转有关的要素对与当前帧相对应的图像进行仿射变换，并且另外地，利用与放大/缩小有关的要素在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像进行仿射变换，由此使经仿射变换的与当前帧相对应的图像被写在经仿射变换的合成图像上。注意，在图27所示的处理过程中，由于步骤S921至S924以及步骤S927至S929与图25所示的处理过程类似，因此这里省略对其的描述。

从运动图像文件中提取与在步骤S923中获得的当前帧相对应的仿射变换参数(步骤S924)。然后，从所获得的仿射变换参数的各个要素中分离出与放大/缩小有关的要素(步骤S951)。然后，利用分离出的与放大/缩小有关的要素，在与仿射变换参数的方向相反的方向上对储存在图像存储器170中的与当前帧之前的各个帧相对应的合成图像进行仿射变换(步骤S952)。这里，当当前帧为头帧时，由于没有合成图像储存在图像存储器170中，因此图像不被变换。然后，利用所分离出的与移动或旋转有关的要素，对与当前帧相对应的图像进行仿射变换(步骤S953)。这里，当当前帧为头帧时，利用单位矩阵的仿射变换参数来执行仿射变换。因此，实际图像不被变换。

然后，与当前帧相对应的经仿射变换的图像被重写并被与经仿射变换的合成图像相组合，并且组合了与当前帧相对应的图像的合成图像被储存在图像存储器170中(步骤S954)。这里，当当前帧为头帧时，与头帧相对应的图像被储存在图像存储器170中。然后，在步骤S954中组合了与当前帧相对应的图像的合成图像被显示在显示单元191上(步骤S927)。

接下来，将例示说明利用图27所示的运动图像播放处理的处理过程来播放由相机实际拍摄的运动图像的情况中的显示示例。

图28至图31包括示出了由相机拍摄的运动图像中的转变的一个示例的示图。图28和图29是示出在移动相机的同时对在寓所内的广场上玩耍的家长和孩子的图像进行拍摄的情况中构成运动图像的图像580至585的示图。注意，在图28和图29中示出了未执行变焦操作的情况。

在图28和图29所示的图像580至585中，与当前帧相对应的图像是图像586至591。此外，合成图像是图像592至597，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图28和图29所示，包括在所拍摄的图像中的被拍摄对象(寓所内的广场等)被固定在画面上，并且与当前帧相对应的图像586至591根据相机的移动而在画面上移动。这里，由于图28和图29所示的图像580至585是没有执行变焦操作的捕获图像，因此，仿射变换参数几乎不包含与放大/缩小有关的要素。因此，图28和图29中的显示示例基本上与图17和图18所示的显示示例相同。

图30和图31是示出在执行推近操作的同时对在寓所内的广场上玩耍的家长和孩子的图像进行拍摄的情况中与构成运动图像的帧相对应的图像600至605的示图。

在图30和图31所示的图像600至605中，与当前帧相对应的图像是图像606至611。此外，合成图像是图像612至617，合成图像是通过与在前的各个帧相对应地进行组合而生成的图像。如图30和图31所示，包括在所拍摄的图像中的被拍摄对象(寓所内的广场等)的图像612至617根据相机的变焦运动而被放大，并且与当前帧相对应的图像606至611保持同一大小并且根据相机的运动而在画面上移动。即，外围图像被逐渐放大，与当前帧相对应的图像606至611随之移动。通过以这种方式显示图像，可以向观看者提供各种显示样式。

上面已描述了仿射变换参数被记录在运动图像文件中的示例。然而，还可以针对构成运动图像的每帧将仿射变换参数记录为与运动图像文件的格式不同的格式的伴随信息(例如，元数据)。在下文中，将在下面参考附图详细描述将仿射变换参数以与运动图像文件的格式不同的格式记录在元数据文件中作为伴随信息的示例。

图32是示出本发明一个实施例中的图像处理装置650的功能结构示例的框图。这里，图像处理装置650是通过对图1所示的图像处理装置100的部分进行修改而获得的装置。图像处理装置650是这样的图像处理装置，其中，取代图像处理装置100的记录控制单元130、运动图像存储单元200、运动图像获取单元140、和相机操作参数提取单元150，而设置了记录控制单元651、运动图像存储单元660、元数据存储单元670以及文件获取单元652。注意，除了记录控制单元651、运动图像存储单元660、元数据存储单元670以及文件获取单元652之外的结构与图1所示的图像处理装置100的结构类似，因此，省略对这些其它结构的描述。

记录控制单元651被配置为将从运动图像输入单元110输出的运动图像记录在运动图像存储单元660中作为运动图像文件，并且另外地将从相机操作参数计算单元123输出的仿射变换参数与相应的运动图像和帧相关联地记录在元数据存储单元670中作为元数据文件。

运动图像存储单元660被配置为将从运动图像输入单元110输出的运动图像存储为运动图像文件。此外，运动图像存储单元660响应于来自文件获取单元652的请求将运动图像文件提供给文件获取单元652。注意，将参考图33详细描述存储在运动图像存储单元660中的运动图像文件。

元数据存储单元670被配置为将从相机操作参数计算单元123输出的仿射变换参数存储为元数据文件。此外，元数据存储单元670响应于来自文件获取单元652的请求将元数据文件提供给文件获取单元652。注意，将参考图33详细描述存储在元数据存储单元670中的元数据文件。

响应于来自操作接受单元195的与运动图像的回放有关的操作输入，文件获取单元652被配置为获取存储在运动图像存储单元660中的运动图像文件以及与运动图像文件相关联地存储在元数据存储单元670中的元数据文件。文件获取单元652将所获取的运动图像文件中的运动图像以及元数据文件中的仿射变换参数输出到图像变换单元160，并且将所获取的运动图像文件中的运动图像输出到图像组合单元180。

图33包括示意性地示出了记录在本发明的本实施例中的运动图像存储单元660和元数据存储单元670中的各个文件的示图。在图33的部分(a)中，示出了存储在运动图像存储单元660中的运动图像文件661至663，以及与运动图像文件661至663相关联地存储在元数据存储单元670中的元数据文件671至673。这里，假设将运动图像ID，即用于标识存储在运动图像存储单元660中的每个运动图像文件的标识信息，赋予每个运动图像文件。例如，将“#1”赋予运动图像文件661；将“#2”赋予运动图像文件662；并且将“#n”赋予运动图像文件663。

在图33的部分(b)中，示意性地示出了存储在运动图像存储单元660中的运动图像文件661，以及与运动图像文件661相关联地存储在元数据存储单元670中的元数据文件671。这里，运动图像文件661是包含由n帧构成的运动图像的文件，并且这n帧被表示为帧1(664)至n(667)。

而且，运动图像ID 674、帧号675以及仿射变换参数676彼此相关联地被存储在元数据文件671中。

运动图像ID 674是被赋予相对应的运动图像文件的运动图像ID。例如，赋予运动图像文件661的“#1”被存储。

帧号675是构成相对应的运动图像文件中的运动图像的各个帧的序号。例如，与构成了运动图像文件661中的运动图像的帧1(664)至n(667)相对应的“1”至“n”被存储。

仿射变换参数676是针对与帧号675相对应的、运动图像的各个帧计算出的仿射变换参数。注意，与帧号675“1”相对应的仿射变换参数676“a1，b1，c1，d1，e1和f1”是单位矩阵的仿射变换参数。此外，与帧号675“m”(m是大于或等于2的正整数)相对应的仿射变换参数676“am，bm，cm，dm，em和fm”是与紧邻帧“m”之前的帧“m-1”相对应的仿射变换参数。

已描述了如下情况：根据是否要播放运动图像，在与当前帧相对应的当前图像被固定在显示单元191的中心部分等的情况下，对与当前帧相对应的图像应用仿射变换并且生成合成图像的情况；以及在与仿射变换参数的方向相反的方向上对与各个在前帧相对应的合成图像应用仿射变换并生成合成图像的情况。然而，可以顺序地将仿射变换应用到与当前帧相对应的当前图像，并且可以生成合成图像并顺序地将其存储在图像存储器中。另外，从图像存储器中的合成图像中，作为将被显示的区域的显示区域可以被提取并被显示。因此，在运动图像回放期间，可以切换显示单元的显示模式。下面将参考附图详细描述这些运动图像播放方法。

图34是示出本发明实施例中的图像处理装置680的功能结构示例的框图。这里，图像处理装置680是通过对图32所示的图像处理装置650的部分进行修改而获得的装置。图像处理装置680包括运动图像输入单元110、相机操作检测单元120、记录控制单元651、运动图像存储单元660、元数据存储单元670、文件获取单元681、图像变换单元682、图像组合单元683、图像存储器684、显示区域提取单元685、显示存储器686、显示控制单元687、操作接受单元688以及显示单元689。注意，运动图像输入单元110、相机操作检测单元120、记录控制单元651、运动图像存储单元660、元数据存储单元670的结构与图32所示的图像处理装置650的这些单元的结构类似，因此，省略对这些其它结构的描述。此外，在此示例中，将描述图32所示的图像处理装置650的部分被修改的示例。然而，本实施例也可应用于图1所示的图像处理装置100。

响应于来自操作接受单元688的与运动图像的回放有关的操作输入，文件获取单元681被配置为获取存储在运动图像存储单元660中的运动图像文件以及与运动图像文件相关联地存储在元数据存储单元670中的元数据文件。文件获取单元681将所获取的运动图像文件中的运动图像以及元数据文件中的仿射变换参数输出到图像变换单元682，并且将所获取的运动图像文件中的运动图像输出到图像组合单元683。

图像变换单元682被配置为利用与运动图像相对应的仿射变换参数逐帧地对构成了从文件获取单元681输出的运动图像文件中的运动图像的图像应用仿射变换，并且将经仿射变换的图像输出到图像组合单元683。

图像组合单元683被配置为通过将经仿射变换的图像写在合成图像上来将由图像变换单元682生成的经仿射变换的图像与保存在图像存储器684中的与各个在前帧相对应的合成图像相组合，并且将通过组合生成的新的合成图像储存在图像存储器684中。此外，图像组合单元683通过基于从显示区域提取单元685输出的显示区域中的当前图像的位置来将当前图像写在合成图像上，从而将当前图像与保存在显示存储器686中的合成图像相组合。具体地，当指定固定当前图像的显示模式时，图像组合单元683通过将当前图像写在合成图像的中心部分来将从文件获取单元681输出的当前图像与保存在显示存储器686中的合成图像相组合。相反，当指定了固定当前图像之前的图像的合成图像的显示模式时，图像组合单元683通过基于从显示区域提取单元685输出的显示区域中的当前图像的位置来将经仿射变换的当前图像写在合成图像上，从而将由图像变换单元682生成的经仿射变换的当前图像与保存在显示存储器686中的合成图像相组合。此外，图像组合单元683压缩由图像变换单元682生成的经仿射变换的图像，将经压缩、经仿射变换的图像写在保存在图像存储器684中的合成图像上，由此使写在保存在显示存储器686中的合成图像上的当前图像变为非压缩图像或具有比压缩的历史图像高的分辨率的捕获图像。因此，输出合成图像时的历史图像变为压缩图像，并且当前图像变为非压缩图像或具有比压缩的历史图像高的分辨率的捕获图像。这里，将在显示存储器686中被组合的当前图像的大小是根据显示放大倍率的值来确定的。注意，将参考图40和图41详细描述显示存储器686中的当前图像的组合。

图像存储器684是保存通过图像组合单元683执行的组合而生成的合成图像的工作缓冲器。图像存储器684被配置为将所保存的合成图像提供给图像组合单元683或显示区域提取单元685。即，图像存储器684是保存历史图像的图像存储器。

显示区域提取单元685被配置为从保存在图像存储器684的合成图像中提取存在于显示区域(将被显示的区域)范围内的图像，并且使显示存储器686保存提取出的图像。此外，当保存在图像存储器684中的合成图像中与当前帧相对应的当前图像的至少一部分从显示区域的范围突出来时，显示区域提取单元685移动显示区域以使得整个当前图像被包括在显示区域的范围中，并且此后，从保存在图像存储器684中的合成图像中提取存在于显示区域的范围内的图像。此外，当指定了固定当前图像之前的图像的合成图像的显示模式时，显示区域提取单元685计算当前图像在显示区域中的位置，并且将当前图像在显示区域中的位置输出到图像组合单元683。注意，将参考图35至图41等详细描述对包括在显示区域的范围内的图像的提取，并且将参考图36、图37等详细描述显示区域的移动。而且，将参考图40详细描述对显示区域中的当前图像的位置的计算。

显示存储器686是保存由显示区域提取单元685从图像存储器684提取出的图像的显示缓冲器，并且所保存的图像被显示在显示单元689上。注意，将参考图35、图36等详细描述保存在显示存储器686中的图像。

显示控制单元687被配置为逐帧地顺序显示保存在显示存储器686中的合成图像。

显示单元689被配置为在显示控制单元687的控制下显示保存在显示存储器686中的合成图像。例如，显示单元689可由个人计算机的显示器或电视机来实现。注意，将参考图42等详细描述合成图像的显示示例。

操作接受单元688包括各种操作键等，并且被配置为当接受了利用这些键输入的操作输入时，就将所接受的操作输入的细节输出给文件获取单元681或显示区域提取单元685。在操作接受单元688中，例如，设置了给出播放运动图像的指令的回放命令键、指定运动图像的显示放大倍率的显示放大倍率指定键，以及在播放运动图像的情况中设置显示模式的设置键。作为其显示模式，例如，存在如下的显示模式：与当前帧相对应的当前图像被仿射变换，并且在与当前帧之前的各个帧相对应的合成图像被固定的状态中被显示；或者与各个在前帧相对应的合成图像在与仿射变换参数的方向相反的方向上被仿射变换，并在与当前帧相对应的当前图像被固定的状态中被显示。即使在回放运动图像的期间也可以在这些显示模式之间执行切换。即，根据本发明的实施例，可以通过在如下方法之间任意地切换来执行显示：在固定当前图像显示边界的同时变换过去的历史图像的图像组合/显示方法，以及基于相机操作移动当前图像显示边界的图像组合/显示方法。

图35包括示意性地示出了存储在本发明实施例的运动图像存储单元660中的运动图像文件的各个帧与显示区域之间的关系的示图。这里，仅图示出了图像存储器684、元数据存储单元670以及操作接受单元688，并且在附图中省略了除了这些部分之外的结构。而且，将通过示例描述这样的情况：其中，利用存储在元数据文件671中的仿射变换参数676，根据包括在图33的部分(b)所示的运动图像文件661中的帧“1”至“3”，在图像存储器684中生成合成图像。注意，在图35中，示出了与当前帧之前的各个帧相对应的合成图像被固定在显示单元689上的情况。

在图35的部分(a)中，示出了这样的情况：作为构成图33的部分(b)所示的运动图像文件661的帧中的第一帧，即帧1(664)被保存在图像存储器684中。例如，当操作接受单元688接受给出了固定与当前帧之前的各个帧相对应的合成图像并播放存储在运动图像存储单元660中的运动图像文件661的指令的回放指令操作输入时，如图35的部分(a)所示，与运动图像文件661的帧1(664)相对应的图像351被保存在图像存储器684中。这里，关于与第一帧相对应的图像351保存在图像存储器684中的位置，可以将图像351保存在预先指定的位置，或者用户利用操作接受单元688指定的位置。而且，例如，可以利用保存在元数据文件671中的与运动图像文件661有关的仿射变换参数676来计算帧“1”至“n”的合成图像的大小，并且基于该计算，可以确定图像351被保存的位置。注意，在此示例中，将给出这样的描述，其中，将放置在图像存储器684中的图像351的左上位置作为原点，水平方向(横坐标)作为x轴，并且垂直方向(纵坐标)作为y轴。

如图35的部分(a)所示，假设图像351被放置在图像存储器684中的情况中的显示区域为显示区域361。根据操作接受单元688接受的显示放大倍率的值，基于图像351保存的位置及其大小来确定显示区域361。例如，当指定拉远当前图像的“0.5倍”的显示放大倍率时，显示区域361以图像351为中心变为图像351的大小的两倍。注意，可以根据仿射变换参数来确定显示区域361相对于图像351的位置。即，当指定拉远当前图像的“0.5倍”的显示放大倍率时，利用x方向和y方向的变焦分量被加倍的仿射变换参数来设置显示区域。而且，当显示区域相对于当前图像被平移或旋转时，可以利用仿射变换参数来确定显示区域的位置和范围。

在图35的部分(b)中，示出了这样的情况：构成图33的部分(b)所示的运动图像文件661的帧中的帧2(665)被保存在图像存储器684中。在此情况中，如上所述，利用与帧号675“1”和“2”相关联地存储在元数据文件671中的仿射变换参数676对与帧2(665)相对应的图像352进行变换，并且将经变换的图像352重写并与图像351组合。在此情况中，例如，当与当前帧相对应的图像352未从显示区域361的范围中突出来时，显示区域361的位置和大小保持不变。这里，将参考图36和图37详细描述当前图像从当前显示区域的范围突出来的情况。注意，可以根据图像352相对于图像351的移动来平移显示区域361。

在图35的部分(c)中，示出了构成图33的部分(b)所示的运动图像文件661的帧中的帧3被保存在图像存储器684中的情况。在此情况中，同样，如上所述，利用与帧号675“1”至“3”相关联地存储在元数据文件671中的仿射变换参数676对与帧3相对应的图像353进行变换，并且将经变换的图像353重写并与图像351和352组合。

接下来，将参考附图详细描述根据当前图像的移动来移动显示区域的情况中的处理。

图36包括示意性地示出了当前图像从显示区域突出来的情况中的显示区域移动方法的示图。图36的部分(a)是示出了保存在图像存储器684中的包括当前图像760在内的多个图像和显示区域759之间的关系的示图。如图36的部分(a)所示，由于整个当前图像760都包括在显示区域759的范围中，因此，整个当前图像760与其它图像一起显示在显示单元689中。

图36的部分(b)是示出了保存在图像存储器684中的包括当前图像762在内的多个图像与显示区域759之间的关系的示图。这里，当前图像762是与图36的部分(a)所示的当前图像760的下一帧相对应的图像。如图36的部分(b)所示，当当前图像762的一部分从显示区域759的范围中突出来时，当前图像762的一部分未显示在显示单元689中。因此，在此情况中，如图36的部分(b)所示，由显示区域提取单元685来计算显示区域759的一侧与从显示区域759的范围中突出来的当前图像762之间的差值763，并且将显示区域759移动通过将附加值764加到差值763上而获得的值。这里，附加值764例如可以是5个像素。或者，可以将显示区域759仅移动差值，而不加上附加值。注意，在图36的部分(b)中，通过示例描述了当前图像762从显示区域759的右侧部分突出来的情况。然而，当当前图像从上面部分、下面部分或左侧部分突出来时，可以利用类似方法移动显示区域。而且，当当前图像从上、下、左和右面部分中的至少两个部分突出来时，计算每侧的差值，并且基于计算出的各个差值，可以在各个侧的方向上移动显示区域。

在图36的部分(c)中，示出了基于在图36的部分(b)所示的状态中计算出的差值763而移动后的显示区域765。

图37包括示出了利用图36所示的移动方法移动显示区域的情况中的转变示例的示图。图37的部分(a)是示出了显示区域被移动的情况中、图像存储器684上的显示区域的转变的示例的示图，并且图37的部分(b)是示出了显示区域被移动的情况中、显示单元689上显示的图像的转变的示例的示图。如图所示，即使当当前图像767后面的图像从显示区域766突出来时，也可以根据当前图像的位置顺序地移动显示区域766。例如，当图像存储器684上的当前图像从当前图像767前进到当前图像769时，根据该移动，显示区域766移动到显示区域768的位置。在此情况中，显示在显示单元689上的图像从图像770改变为图像771。因此，即使当显示在显示单元689上的图像将被放大/缩小时，也可以持续地在显示单元689上显示整个当前图像。

接下来，将参考附图详细描述与当前帧相对应的当前图像被固定在显示单元689上的情况。

图38包括示意性地示出了存储在本发明实施例的运动图像存储单元660中的运动图像文件的各个帧与显示区域之间的关系的示图。这里，与图35一样，仅图示出了图像存储器684、元数据存储单元670和操作接受单元688，并且在附图中省略了除了这些部分之外的结构。而且，通过示例描述了这样的情况：利用存储在元数据文件671中的仿射变换参数676，根据包括在图33的部分(b)所示的运动图像文件661中的帧“1”至“3”，在图像存储器684中生成合成图像。

在图38的部分(a)中，如在图35的部分(a)中一样，示出了帧1(664)保存在图像存储器684中的情况。注意，由于图38的部分(a)所示的图像351和显示区域361的位置和大小与图35的部分(a)所示的相同，因此，这里省略对其的详细描述。注意，在此示例中，显示区域与当前图像的变换一起被变换。但是，由于与帧1(664)相对应的仿射变换参数为单位矩阵的参数，因此，仅通过将来自操作接受单元688的对显示放大倍率的指定考虑在内来确定与帧1(664)相对应的显示区域361。

在图38的部分(b)中，如在图35的部分(b)中一样，示出了帧2(665)保存在图像存储器684中的情况。在此情况中，如在图35的部分(b)中一样，与帧2(665)相对应的图像352被变换，并且经变换的图像352被重写并与图像351相组合。另外，还将仿射变换应用到显示区域。即，参考图像351的位置和大小，利用与帧号675“1”和“2”相关联地存储在元数据文件671中的仿射变换参数676来对与帧2(665)相对应的图像352进行变换。利用根据由操作接受单元688接受的显示放大倍率的值确定的仿射变换参数来对图像352的位置和大小进行变换，并且根据经变换的位置和大小确定的区域变为显示区域362。具体地，当与帧号675“1”和“2”相对应的仿射变换参数矩阵为A1和A2，并且根据由操作接受单元688接受的显示放大倍率的值确定的仿射变换参数的矩阵为B(例如，参考当前图像的矩阵)时，A1×A2×B的值被获得，并且，参考图像351的位置和大小，利用所获得的矩阵A1×A2×B来确定显示区域362。

在图38的部分(c)中，如在图35的部分(c)中一样，示出了帧3保存在图像存储器684中的情况。同样，在此情况中，如上所述，与当前帧3相对应的图像353被变换，并且经变换的图像353被重写并与图像351和352相组合。另外，也将仿射变换应用到显示区域，并且显示区域363相对于图像353而被确定。具体地，当与帧号675“1”至“3”相对应的仿射变换参数的矩阵为A1至A3，并且根据由操作接受单元688接受的显示放大倍率的值确定的仿射变换参数的矩阵为B时，A1×A2×A3×B的值被获得，并且参考图像351的位置和大小，利用所获得的矩阵A1×A2×A3×B来确定显示区域363。

图39包括示出了在以下情况中的放大方法的概况的示图：当指定了将当前图像固定在显示单元689上的显示模式时，显示在显示单元689上的运动图像被放大并被显示。图39的部分(a)是示意性地示出了显示在显示单元689上的运动图像被放大并被显示的情况中的显示区域的转变的示图。图39的部分(b)是示出图39的部分(a)所示的显示区域698和699内的图像被显示在显示单元689上的情况中的显示示例的示图。

在图39的部分(b)中，示出了根据图39的部分(a)所示的显示区域698，从图像存储器684提取的并被显示在显示单元689上的图像700。这里，当操作接受单元688在图39的部分(b)所示的图像700被显示的状态中接受放大/显示指令操作时，显示区域提取单元685根据放大/显示指令操作缩小显示区域698的大小。注意，该大小缩小处理是以当前图像697为中心执行的。即，如上所述，利用根据由操作接受单元688接受的显示放大倍率的值确定的仿射变换参数来对图像679的位置和大小进行变换，并且根据经变换的位置和大小来确定显示区域698。在此示例中，由于给出了放大显示放大倍率的操作输入，因此，根据显示放大倍率的放大来确定仿射变换参数的变焦分量。

例如，如图39的部分(a)所示，显示区域698的大小被缩小，并且显示区域698变为显示区域699。在图39的部分(b)中，示出了根据图39的部分(a)所示的显示区域699，从图像存储器684提取的并显示在显示单元689上的图像701。如上，通过仅改变显示区域的大小，包括当前图像在内的图像可以被放大或缩小，并且可以被显示。

如上所例示的，通过显示在图像存储器684中布置的显示区域的范围内的图像，正播放的合成图像可以顺序地被显示。这里，当当前图像将被仿射变换并被组合在图像存储器684中时，诸如将图像变换为具有较低分辨率的分辨率变换处理以及压缩处理之类的图像质量变换可以被应用到当前图像。因此，考虑当将以更高的显示放大倍率来放大/显示当前图像时，可能使包括当前图像在内的合成图像变模糊。因此，在此示例中，对于当前被播放的当前图像，利用在图像存储器684中执行组合之前存在的图像来显示合成图像。下面将参考附图来详细描述该显示方法。

图40和图41包括示意性地示出了存储在本发明实施例的运动图像存储单元660中的运动图像文件的各个帧的流的示图。这里，仅图示出了运动图像存储单元660、元数据存储单元670、图像存储器684以及显示存储器686间的关系，并且在附图中省略了除这些部分之外的结构。而且，在图40中，示出了与当前帧之前的各个帧相对应的合成图像被固定在显示单元689上的情况。在图41中，示出了与当前帧相对应的当前图像被固定在显示单元689上的情况。

在图40的部分(a)中，图33的部分(b)所示的运动图像文件661和元数据文件671被简化并示出。下面，将描述与包括在运动图像文件661中的帧i(666)相对应的图像被显示的示例。即，假设从与构成运动图像文件661的帧1至“i-1”相对应的图像生成合成图像。而且，假设根据当前图像的移动，图35所示的显示区域361被移到右侧。

在图40的部分(b)中，示意性地示出了保存有通过组合与构成运动图像文件661的各个帧相对应的图像而生成的合成图像的图像存储器684。如图35的部分(b)所示，与包括在运动图像文件661中的帧1(664)相对应的图像351首先被保存在图像存储器684中。当图像351保存在图像存储器684中之后，利用分别与帧2至“i-1”相关联地存储在元数据文件671中的仿射变换参数676的值顺序地对与构成运动图像文件661的帧2至“i-1”相对应的各个图像进行仿射变换，并且将经仿射变换的图像顺序地重写并保存在图像存储器684中。显示区域提取单元685从保存在图像存储器684中的合成图像中逐帧地提取存在于显示区域内的图像，该显示区域是根据来自操作接受单元688的与显示放大倍率的指定有关的操作输入而确定的。

在与帧1至“i-1”相对应的各个图像的合成图像保存在图像存储器684中的状态中，利用与帧1至i相关联地存储在元数据文件671中的仿射变换参数676来对与包括在运动图像文件661中的帧i(666)相对应的图像进行仿射变换，并且将经仿射变换的当前图像692重写并保存在图像存储器684中。显示区域提取单元685从保存在图像存储器684中的合成图像中，提取存在于根据来自操作接受单元688的与显示放大倍率的指定有关的操作输入而确定的显示区域690内的图像，并且使得显示存储器686保存提取出的图像，如图40的部分(c)所示。

在图40的部分(c)中，示意性地示出了保存有由显示区域提取单元685提取的图像的显示存储器686。这里，在由显示区域提取单元685提取出的图像中，与当前帧相对应的当前图像693不是由显示区域提取单元685从图像存储器684中提取的当前图像692，而使用了从运动图像存储单元660获得的并由图像变换单元682进行了仿射变换的图像。这里，可以基于图像存储器684中的当前图像692的位置和大小以及图像存储器684中的显示区域690的位置和大小来确定当前图像693在显示存储器686中的保存位置。例如，当与帧号675“1”至“i”相关联地存储在元数据文件671中的仿射变换参数的矩阵为A1...Ai，并且用于确定显示区域690的仿射变换参数的矩阵(例如，参考图像存储器684的矩阵)为C时，可以参考图像351的位置，利用Inv(C)×A1×...×Ai来确定当前图像693在显示存储器686中的保存位置。

如图40的部分(c)所示，由显示区域提取单元685提取的图像保存在显示存储器686中。另外，从运动图像存储单元660获得的并经图像变换单元682仿射变换的图像被写在由显示区域提取单元685提取的图像上，并且合成图像被保存在显示存储器686中。保存在显示存储器686中的图像被显示在显示单元689上。如上，对于当前图像，可以利用处于向经仿射变换的图像应用诸如大小缩小之类的处理并将图像保存在图像存储器684中之前的状态中的图像来显示相对清晰(clean)的当前图像。而且，即使响应于用户操作而执行放大等，也可以以清晰状态显示当前图像。

在图41的部分(a)中，在图33的部分(a)中所示的运动图像文件661和元数据文件671被简化并示出。注意，图41的部分(a)所示的运动图像存储单元660和元数据存储单元670以及保存在图41的部分(b)所示图像存储器684中的合成图像与图40的部分(a)和(b)所示的相同，因此，这里省略对其的描述。

在图41的部分(b)中，示意性地示出了保存有图40的部分(b)所示的从图像351至当前图像692的合成图像的图像存储器684，并且用虚线指示出了图38的部分(b)所示的显示区域361。在此示例中，如图38所示，为了固定与当前帧相对应的当前图像在显示单元689上的位置，根据当前图像692通过仿射变换来计算显示区域。即，参考作为当前图像的图像351，利用与帧号675“1”至“i”相关联地存储在元数据文件671中的仿射变换参数676来将与帧i(666)相对应的图像变换为当前图像692，并且将当前图像692储存在图像存储器684中。对于与当前帧i(666)相对应的显示区域695，利用根据操作接受单元688所接受的显示放大倍率值而确定的仿射变换参数来变换当前图像692的位置和大小，并且根据经变换的位置和大小来确定显示区域695。显示区域的确定由显示区域提取单元685来执行。

在图41的部分(c)中，示意性地示出了保存有显示区域提取单元685所提取的图像的显示存储器686。这里，保存在显示存储器686中的图像(除了当前图像696之外的图像)是通过利用与用来变换显示区域695的仿射变换参数有关的矩阵的逆矩阵对显示区域提取单元685提取的图像(存在于显示区域695的范围内的图像)进行变换而获得的图像。即，在图像存储器684中布置的显示区域的形状因仿射变换而可能为平行四边形等。为了在显示单元689上显示以前面的方式经仿射变换的显示区域内的合成图像，利用与当前用来仿射变换当前图像的仿射变换参数有关的矩阵的逆矩阵来变换显示区域内的合成图像。例如，当与帧号675“1”至“i”相关联地存储在元数据文件671中的仿射变换参数的矩阵为A1...Ai，并且用于确定显示区域695的仿射变换参数的矩阵(例如，参考当前图像的矩阵)为B时，Inv(A1×...Ai×B)被用作对显示区域内的合成图像进行变换的矩阵。因此，例如，如图41的部分(c)所示，可以将被变换为平行四边形的图像变换为长方形，并显示在显示单元689上。而且，在显示区域提取单元685所提取的图像中，将从运动图像存储单元660获得的并且未经仿射变换的图像，而非显示区域提取单元685从图像存储器684提取的图像，用作与当前帧相对应的当前图像。这里，根据来自操作接受单元688的显示放大倍率来确定当前图像696在显示存储器686中的储存位置和大小。

如图41的部分(c)所示，显示区域提取单元685所提取的图像被保存在显示存储器686中。另外，将从运动图像存储单元660获得的图像写在显示区域提取单元685所提取的图像上，并且将合成图像保存在显示存储器686中。因此，当指定了将当前图像显示在固定位置的显示模式时，可以通过逆矩阵将经过仿射变换的合成图像恢复到该合成图像未经仿射变换的状态，并且可以显示未经仿射变换的合成图像。而且，对于当前图像，如图40一样，可以显示相对清晰的图像。

如所例示的，由于利用与保存在图像存储器684中的合成图像的生成方法相同的方法执行了生成，并且可以以两种显示模式实现运动图像的回放，因此，可以在运动图像的回放期间执行在两种显示模式之间的切换。因此，即使在回放期间，正播放的运动图像的观看者也可以将显示模式切换到想要的显示模式。例如，在正以图40所示的显示模式播放运动图像的情况中，如果观看者喜欢类型的人出现在当前图像的中心并且观看者希望将该人置于显示单元689的中心部分并观看该人，则可以通过从操作接受单元688执行显示模式切换操作来切换显示模式从而以图41所示的显示模式回放运动图像。而且，可以将从运动图像存储单元660获得图像而非保存在图像存储器684中的合成图像用作当前图像。因此，可以观看到相对清晰的图像。将参考图42和图43来详细描述该显示示例。

图42的部分(a)是示出相机所拍摄的运动图像被播放的情况中的显示示例的示图。在此示例中，示出了对在水平方向移动相机时所拍摄的、家长和孩子在大楼前的草坪上玩耍的运动图像进行回放期间的图像750。这里，在图像750中，通过组合与构成运动图像的各个帧相对应的图像而将图像751形成为全景(panorama)。而且，在图像750中与当前帧相对应的图像是当前图像752。

这里，将描述放大并显示由边界753围绕的图像区域的情况。当要放大/缩小并显示在显示单元689上显示的图像时，用户操作操作接受单元688上的显示放大倍率指定键，由此用户可以指定所希望的显示放大倍率。例如，如图42的部分(a)所示，在将图像750显示在显示单元689上的情况中，如果要放大并显示由边界753包围的图像区域，则用户通过操作操作接受单元688上的显示放大倍率指定键来指定显示放大倍率，并且另外，用户还指定位置，由此，可以放大并显示由边界753包围的图像区域。

图42的部分(b)是示出对图像750中的当前图像752执行仿射变换之前的状态中的图像754的示图。

图43的部分(a)是示出在放大并显示图42的部分(a)所示的由边界753包围的图像区域的情况中的图像755的示图。图43的部分(a)所示的图像755是通过在将经仿射变换的当前图像储存在图像存储器684中之前的状态中在显示存储器686中执行组合而生成的图像。如上，在当前图像756的区域中，显示了在被储存到图像存储器684中之前的状态中的相对精细的图像。因此，当将当前图像756与除此区域以外的区域相比时，可以看到比其它区域相对更清晰的当前图像756。相反，图43的部分(b)所示的图像757是在经仿射变换的当前图像被储存在图像存储器684中的状态中被储存在显示存储器686中的图像。当以这种方式显示图像时，即使在当前图像758的区域中，也显示了与其它区域中的图像相同水平的图像。即，根据本发明的实施例，在组合图像并显示合成图像时，保存在显示存储器686中的历史图像可以被压缩。然而，可以将未经压缩的图像或者具有比历史图像高的分辨率的图像用作当前图像。因此，可以实现高质量的图像组合和显示。

图44和图45是示出由本发明实施例中的图像处理装置680执行的运动图像播放处理的处理过程的流程图。注意，在图44和图45所示的处理过程中，由于步骤S921、S925、S926、S928和S929与图25所示的处理过程类似，因此，赋予它们相同的标号，并且这里省略对其的描述。

响应于来自操作接受单元688的操作输入，文件获取单元681获取存储在运动图像存储单元660中的运动图像文件，并且还获取与运动图像文件相关联地存储在元数据存储单元670中的元数据文件(步骤S961)。然后，文件获取单元681对运动图像文件进行解码并获取当前帧，即包括在运动图像文件中的一帧(步骤S962)。然后，文件获取单元681从元数据文件获取与所获得的当前帧相对应的仿射变换参数(步骤S963)。

然后，在经仿射变换的与当前帧相对应的当前图像被写在合成图像上并被储存在图像存储器170中后(步骤S926)，显示区域提取单元685判断是否指定了固定当前图像的显示模式(步骤S964)。当指定了固定当前图像的显示模式时(步骤S964)，显示区域提取单元685利用从第一帧到当前帧的仿射变换参数以及与显示放大倍率相对应的仿射变换参数来确定显示区域的位置和大小(步骤S965)。然后，显示区域提取单元685从图像存储器684提取包括在显示区域中的合成图像(S966)。然后，显示区域提取单元685利用用来确定显示区域的仿射变换参数矩阵的逆矩阵来对从图像存储器684提取出的合成图像执行仿射变换(步骤S967)。

然后，显示区域提取单元685将从图像存储器684提取出来的并经仿射变换的合成图像储存在显示存储器686中(步骤S968)。然后，图像组合单元683将当前图像写入并与保存在显示存储器686中的合成图像相组合(步骤S969)。然后，显示单元689显示保存在显示存储器686中的合成图像(步骤S970)。

而且，当未指定固定当前图像的显示模式时(步骤S964)，显示区域提取单元685利用与显示放大倍率相对应的仿射变换参数来确定显示区域的位置和大小(步骤S971)。注意，当显示区域根据当前图像的变换移动时，可以使用刚刚被移动的显示区域的位置。

然后，显示区域提取单元685判断保存在图像存储器684中的当前图像是否从显示区域突出来(步骤S972)。当保存在图像存储器684中的当前图像未从显示区域突出来时(即，当整个当前图像都被包括在显示区域的范围中时)(步骤S972)，显示区域提取单元685从图像存储器684提取包括在显示区域中的合成图像(步骤S973)。然后，显示区域提取单元685将从图像存储器684提取出来的合成图像储存在显示存储器686中(步骤S974)。

然后，显示区域提取单元685利用用来变换当前图像的仿射变换参数矩阵以及用来确定显示区域的仿射变换参数矩阵的逆矩阵，来确定当前图像在显示存储器686中的位置(步骤S975)。然后，图像组合单元683将经仿射变换的当前图像写入并与保存在显示存储器686中的合成图像组合(步骤S976)。然后，流程前进到步骤S970。

或者，当保存在图像存储器684中的当前图像从显示区域突出来时(即，当当前图像的至少一部分未包括在显示区域的范围中时)(步骤S972)，显示区域提取单元685计算显示区域的一侧与当前图像的从显示区域突出来的部分之间的差值(步骤S977)。然后，显示区域提取单元685基于计算出的差值移动显示区域(步骤S978)。然后，流程前进到步骤S973。

接下来，将参考附图详细描述如下情况：其中，利用多核处理器执行本发明实施例中的特征点提取处理和光流计算处理。

图46是示出本发明实施例中的多核处理器800的结构示例的示图。多核处理器800是将多个不同类型的处理器核安装在单个CPU(中央处理单元)封装上的处理器。即，为了维持每个处理器核单元的处理能力并且还为了使配置简单，将包括如下两种类型的多个处理器核安装在多核处理器800中：一种类型对应于所有应用，而另一种类型针对预定应用在一定程度上被优化。

多核处理器800包括控制处理器核801、运算处理器核(#1)811至(#8)818以及总线802，并被连接到主存储器781。而且，多核处理器800连接到诸如图形设备782和I/O设备783之类的其它设备。可以采用例如“Cell(Cell宽带引擎)”，即由本申请的申请人开发的微处理器等来作为多核处理器800。

如同在操作系统中一样，控制处理器核801是主要执行频繁的线程切换的控制处理器核。注意，将参考图47详细描述控制处理器核801。

运算处理器核(#1)811至(#8)818是适用于多媒体处理的简单的小型运算处理器核。注意，将参考图48详细描述运算处理器核(#1)811至(#8)818。

总线802是称为EIB(元件互连总线)的高速总线。控制处理器核801和运算处理器核(#1)811至(#8)818的每个都连接到总线802。每个处理器核经由总线802访问数据。

主存储器781是连接到总线802的主存储器。主存储器781存储要载入各个处理器核的各种程序以及各个处理器核所执行处理所需的数据。另外，主存储器781存储经各个处理器核处理的数据。

图形设备782是连接到总线802的图形设备。I/O设备783是连接到总线802的外部输入/输出设备。

图47是示出本发明实施例中的控制处理器核801的结构示例的示图。控制处理器核801包括控制处理器单元803和控制处理器存储系统806。

控制处理器单元803是用作执行由控制处理器核801执行的运算处理的核的单元，并且包括基于微处理器体系结构的命令集。命令缓存804和数据缓存805被安装作为主缓存。命令缓存804例如是32KB命令缓存。数据缓存805例如是32KB数据缓存。

控制处理器存储系统806是控制从控制处理器单元803到主存储器781的数据访问的单元。为了增加来自控制处理器单元803的存储器访问速度，安装了512KB的辅缓存807。

图48是示出本发明实施例中的运算处理器核(#1)811的结构示例的示图。运算处理器核(#1)811包括运算处理器单元820和存储器流控制器822。注意，由于运算处理器核(#2)812至(#8)818具有与运算处理器核(#1)811的结构类似的结构，因此，这里省略对其的描述。

运算处理器单元820是用作执行由运算处理器核(#1)811执行的运算处理的核的单元，并且包括与控制处理器核801中的控制处理器单元803不同的唯一命令集。而且，本地存储器(LS)821被安装在运算处理器单元820中。

本地存储器(LS)821是运算处理器单元820的专用存储器，并且同时是可以直接从运算处理器单元820参照的唯一存储器。可以将例如容量为256KB的存储器用作本地存储器821。注意，为了运算处理器单元820可以访问主存储器781以及其它运算处理器核(运算处理器核(#2)812至(#8)818)中的本地存储器，需要使用存储器流控制器822。

存储器流控制器822是用于在主存储器781和其它运算处理器核等之间交换数据的单元，并且是称为MFC(存储器流控制器)的单元。这里，例如，运算处理器单元820经由称为通道(channel)的接口请求存储器流控制器822传送数据。

已提出了各种编程模式作为上述多核处理器800的编程模式。在这些编程模式中，在控制处理器核801上执行主程序并且在运算处理器核(#1)811至(#8)818上执行子程序的模式称为最基本模式。在本发明的实施例中，将参考附图详细描述利用该模式的多核处理器800的运算方法。

图49是示意性地示出本发明实施例中的多核处理器800的运算方法的示图。在此示例中，将通过示例例示说明这样的情况：当控制处理器核801利用数据785执行任务784时，控制处理器核801使用处理任务786(任务784的一部分)所需的数据787(数据785的一部分)，并且使各个运算处理器核执行任务786。

如图所示，当控制处理器核801利用数据785执行任务784时，控制处理器核801使用处理任务786(任务784的一部分)所需的数据787(数据785的一部分)，并且使各个运算处理器核执行任务786。在本发明的实施例中，各个运算处理器核针对构成运动图像的各个帧执行运算处理。

如图所示，当多核处理器800执行操作时，运算处理器核(#1)811至(#8)818可以被并行使用并且许多操作可以在相对短的时间内被执行。或者，可以通过在运算处理器核(#1)811至(#8)818上使用SIMD(单指令/多数据)操作来利用较少量命令执行相对多的运算处理。注意，将参考图53至56等详细描述SIMD操作。

图50是示意性地示出在本发明实施例中的多核处理器800执行操作的情况中的程序和数据流的示图。这里，描述以示例的方式涉及运算处理器核(#1)811至(#8)818中的运算处理器核(#1)811。然而，也可以使用运算处理器核(#2)812至(#8)818来类似地执行操作。

首先，控制处理器核801向运算处理器核(#1)811发送将存储在主存储器781中的运算处理器核程序823载入运算处理器核(#1)811的本地存储器821中的指令。因此，运算处理器核(#1)811将存储在主存储器781中的运算处理器核程序823载入本地存储器821中。

然后，控制处理器核801指示运算处理器核(#1)811执行存储在本地存储器821中的运算处理器核程序825。

然后，运算处理器核(#1)811将执行存储在本地存储器821中的运算处理器核程序825所需的数据824从主存储器781传送到本地存储器821中。

然后，基于存储在本地存储器821中的运算处理器核程序825，运算处理器核(#1)811处理从主存储器781传送来的数据826，根据条件执行处理，并且将处理结果存储在本地存储器821中。

然后，运算处理器核(#1)811将基于存储在本地存储器821中的运算处理器核程序825执行的处理的处理结果从本地存储器821传送到主存储器781。

然后，运算处理器核(#1)811通知控制处理器核801运算处理的终止。

接下来，将参考附图详细描述使用多核处理器800执行的SIMD操作。这里，SIMD操作是利用单条命令执行对多项数据的处理的运算方案。

图51的部分(a)是示意性地示出利用各条命令对多项数据执行处理的运算方案的概况的示图。图51的部分(a)所示的运算方案是通常的运算方案并且例如称为标量操作。例如，将数据“A1”与数据“B1”相加的命令给出数据“C1”的处理结果。而且，可以类似地执行其它三个操作。在各个处理中执行将同一行中的数据项“A2”、“A3”和“A4”与数据项“B2”、“B3”和“B4”相加的命令。利用该命令，将每行中的值相加并处理，并且将处理结果获得作为“C2”、“C3”和“C4”。如上，在标量操作中，为了处理多个数据项，需要执行用于处理每项数据的命令。

图51的部分(b)是示意性地示出SIMD操作，即利用单条命令对多项数据执行处理的运算方案的概况的示图。这里，用于SIMD操作的各组数据项(虚线827和828包围的数据项)可以称为向量数据项。而且，利用这种向量数据执行的SIMD操作可以称为向量操作。

例如，将由虚线827包围的向量数据(“A1”、“A2”、“A3”和“A4”)与由虚线828包围的向量数据(“B1”、“B2”、“B3”和“B4”)相加的单条命令给出“C1”、“C2”、“C3”和“C4”(由虚线829包围的数据项)的处理结果。如上，由于在SIMD操作中可以利用单条命令执行多个数据项的处理，因此，可以快速地执行运算处理。而且，由多核处理器800中的控制处理器核801来执行这些SIMD操作的命令，并且，针对响应于命令对数据项的运算处理，运算处理器核(#1)811至(#8)818执行并行处理。

相反，例如，不能通过SIMD操作执行如下处理：执行数据“A1”和“B1”的加法、数据“A2”和“B2”的减法、数据“A3”和“B3”的乘法以及数据“A4”和“B4”的除法。即，当要对多项数据进行不同处理时，不能通过SIMD操作来执行处理。

接下来，将参考附图详细描述在执行特征点提取处理和光流计算处理的情况中的SIMD操作的具体运算方法。

图52是示出由本发明实施例中的控制处理器核801或运算处理器核(#1)811执行的程序的结构示例的示图。这里，仅示出了运算处理器核(#1)811。然而，运算处理器核(#2)812至(#8)818也执行类似处理。

控制处理器核801执行解码852、交错(interlace)853以及大小调整854，作为解码851。解码852是对运动图像文件解码的处理。交错853是对每个经解码的帧进行去交错(deinterlace)的处理。大小调整854是缩小每个经去交错的帧的大小的处理。

而且，控制处理器核801执行命令发送857和859以及终止通知接收858和860，作为运算处理器核管理856。命令发送857和859是向运算处理器核(#1)811至(#8)818发送执行SIMD操作的命令的处理。终止通知接收858和860是从运算处理器核(#1)811至(#8)818接收响应于上述命令的SIMD操作的终止通知的处理。此外，控制处理器核801执行相机操作参数计算处理862，作为相机操作检测861。相机操作参数计算处理862是基于由运算处理器核(#1)811至(#8)818执行SIMD操作而计算出的光流，来逐帧地计算仿射变换参数的处理。

运算处理器核(#1)811执行Sobel滤波处理864、辅助动差矩阵(moment matrix)(第二动差矩阵)计算处理865、可分离滤波处理866、Harris(哈里斯)角提取(Calc Harris)处理867、扩张(dilation)处理868以及排序处理869，作为特征点提取处理863。

Sobel滤波处理864是计算利用P2滤波器(x方向)获得的x方向上的值dx，以及利用Y方向滤波器获得的y方向上的值dy的处理。注意，将参考图53至图56详细描述x方向上的值dx的计算。

辅助动差矩阵计算处理865是利用由Sobel滤波处理864计算出的dx和dy来计算各个值dx²、dy²以及dx·dy的处理。

可分离滤波处理866是向由辅助动差矩阵计算处理865获得的dx²、dy²以及dx·dy应用Gaussian(高斯)滤波(模糊处理)的处理。

Harris角提取处理867是利用被可分离滤波处理866应用了模糊处理的各个值dx²、dy²以及dx·dy来计算Harris角的得分的处理。例如通过下面的等式来计算Harris角的得分S。

S＝(dx²×dy²-dx·dy×dx·dy)/(dx²+dy²+ε)

扩张处理868是对由Harris角提取处理867计算出的Harris角的得分构成的图像执行模糊处理的处理。

排序处理869是这样的处理：以由Harris角提取处理867计算出的Harris角的得分的降序对像素排序，选取从最高得分起的预定数目，并且提取所选取的点作为特征点。

运算处理器核(#1)811执行金字塔图像(pyramid image)(制作金字塔图像)处理871以及光流计算(计算光流)处理872，作为光流运算处理870。

金字塔图像处理871是顺序地生成通过在利用相机进行图像捕获时在多个级别上缩小图像的图像大小而获得的大小缩小的图像的处理。所生成的图像称为多分辨率图像。

光流计算处理872是这样的处理：计算由金字塔图像处理871生成的多分辨率图像中具有最低分辨率的图像中的光流，并且利用计算出的结果再次计算具有接着的较高分辨率的图像中的光流。该处理序列被重复执行直至到达具有最高分辨率的图像为止。

如上，例如，对于由图1所示的特征点提取单元121等执行的特征点提取处理以及由光流计算单元122执行的光流计算处理，可以通过利用执行并行处理的多核处理器800执行SIMD操作来获得处理结果。注意，图52所示的特征点提取处理和光流计算处理等仅仅是示例性的。也可以利用执行由在构成运动图像的图像上执行的各种滤波处理、阈值处理等实现的其它处理的多核处理器800来执行SIMD操作。

图53是示意性地示出在本发明实施例中利用Sobel滤波器830对存储在主存储器781中的图像数据(与由相机捕获的运动图像中包括的一帧相对应的图像数据)执行滤波处理的情况中的数据结构和处理流程的示图。注意，图中所示的主存储器781中存储的图像数据被简化并被示为具有32个水平像素。而且，Sobel滤波器830是3×3边沿提取滤波器。如图所示，对主存储器781中存储的图像数据的滤波处理是利用Sobel滤波器830来执行的，并且滤波处理结果被输出。在此示例中，将描述利用SIMD操作同时获得四个滤波结果的示例。

图54是示意性地示出本发明实施例中利用Sobel滤波器830对主存储器781中存储的图像数据执行SIMD操作的情况中的数据流的示图。首先，将存储在主存储器781中的图像数据的包括第一行在内的预定数目的行(例如，三行)DMA(直接存储器存取)传送到包括在运算处理器核的本地存储器821中的第一缓冲器831中。另外，将经DMA传送到第一缓冲器831中的行分别下移一行，并且将下一预定数目的行DMA传送到第二缓冲器832中。如上，可以通过使用双重缓冲器来掩蔽因DMA传送引起的延迟。

图55是示意性地示出在本发明实施例中利用Sobel滤波器830执行滤波处理的情况中从存储在第一缓冲器831中的图像数据生成9个向量的向量生成方法的示图。如图55所示，在执行了DMA传送之后，从存储在第一缓冲器831中的图像数据生成了9个向量。具体地，向量数据841是从存储在第一缓冲器831中的图像数据的一行的左上角起的四个数据项生成的。这四个数据项被向右移1，并且从下一四个数据项生成向量数据842。类似地，四个数据项被向右移1，并且从下一四个数据项生成向量数据843。此外，分别从第二行到第三行的四个数据项分别类似地生成向量数据项844至849。

图56是示意性地示出在本发明实施例中利用Sobel滤波器830执行滤波处理的情况中，利用SIMD命令对向量数据项841至849执行向量操作的向量操作方法的示图。具体地，对向量数据项841至843顺序地执行SIMD操作，并且获得向量A。在SIMD操作中，首先，执行“‘-1’ב向量数据841’”的SIMD操作。然后，执行“‘0’ב向量数据842’”的SIMD操作，并执行“‘1’ב向量数据843’”的SIMD操作。这里，由于“‘0’ב向量数据842’”的操作结果被确定为“0”，因此，该操作可以省略。而且，由于“‘1’ב向量数据843’”的操作结果被确定为与“向量数据843”相同的值，因此该操作可以省略。

然后，利用SIMD操作对“‘-1’ב向量数据841’”的操作结果和“‘0’ב向量数据842’”的操作结果执行相加处理。然后，利用SIMD操作对该相加处理的结果与“‘1’ב向量数据843’”的操作结果执行相加处理。这里，例如，可以利用SIMD操作执行对数据结构“向量数据1”ד向量数据2”+“向量数据3”的操作。因此，针对向量A的操作，例如，可以省略“‘0’ב向量数据842’”与“‘1’ב向量数据843’”的SIMD操作，并且可以利用单个SIMD操作来执行“‘-1’ב向量数据841’”+“向量数据843”。

而且，类似地，对向量数据项844至846执行SIMD操作，并且获得向量B。对向量数据项847至849执行SIMD操作，并且获得向量C。

然后，对通过SIMD操作获得的向量A至C执行SIMD操作，并且获得向量D。如上，可以在执行SIMD操作的同时获得结果，结果的数目是向量的分量的数目(在此示例中为四个数据项)。

在计算了向量D之后，要取出的数据在存储在图55所示的第一缓冲器831中的图像数据中的位置被向右移1，并且类似处理被重复执行，由此顺序地计算各个向量D。当完成对存储在图55所示的第一缓冲器831中的图像数据的右端处的项的处理时，处理结果被DMA传送到主存储器781。

然后，在存储在主存储器781的图像数据中，DMA传送到第二缓冲器832的各个行被向下移1行，并且下一预定数目的行被DMA传送到第一缓冲器831。另外，对存储在第二缓冲器832中的图像数据重复执行上述处理。类似处理被重复执行直到到达存储在主存储器781的图像数据的各行中的底端处的一行。

类似地，利用SIDM操作执行特征点提取和光流计算处理的主要部分，由此可以实现速度的提高。

图57是示意性地示出本发明实施例中的按时序进行的相机操作参数计算处理流程的示图。如上所述，例如，可以通过利用多核处理器800执行SIMD操作来并行地执行运动图像的解码和分析处理。因此，包括在运动图像中的一帧的分析时间可以被减少到短于解码时间。

例如，在图中，t1表示控制处理器核801对包括在运动图像中的一帧执行解码处理所需的时间；t2表示运算处理器核(#1)811至(#8)818对包括在运动图像中的一帧执行特征点提取处理所需的时间；t3表示运算处理器核(#1)811至(#8)818对包括在运动图像中的一帧执行光流计算处理所需的时间；并t4表示控制处理器核801对包括在运动图像中的一帧执行相机操作检测处理所需的时间。注意，t5表示控制处理器核801和运算处理器核(#1)811至(#8)818对包括在运动图像中的一帧执行相机操作检测处理所需的时间。并且，t6表示控制处理器核801执行管理运算处理器核(#1)811至(#8)818的处理所需的时间。例如，t1可以设为“25.0ms”，t2可以设为“7.9ms”，t3可以设为“6.7ms”，t4可以设为“1.2ms”，并且t5可以设为“15.8ms”。

接下来，将参考附图详细描述本发明实施例中利用元数据文件播放运动图像内容的情况。

图58的部分(a)是示意性地示出作为记录介质的示例的蓝光碟(注册商标)880的顶视图，并且图58的部分(b)是示意性地示出记录在蓝光碟880上的数据项881至884的示图。在蓝光碟880上，例如，与运动图像内容882(由相机等捕获的运动图像)一起记录了运动图像内容882的字幕883和通过分析运动图像内容882获得的元数据(例如，图33的部分(b)所示的元数据文件)884，与本发明实施例中的运动图像的回放有关的Java(注册商标)程序881。

图58的部分(c)是示意性地示出可以播放蓝光碟880的蓝光播放器(蓝光碟播放器)890的内部结构的示图。这里，由于能够播放蓝光碟的蓝光播放器890作为标准除了包括CPU 891和OS 892之外，还包括Java(注册商标)VM(Java(注册商标)虚拟机)和库893，因此，蓝光播放器890可以执行Java(注册商标)程序。因此，通过将蓝光碟880装入蓝光播放器890中，蓝光播放器890可以载入并执行Java(注册商标)程序881。因此，当蓝光播放器890利用元数据884播放运动图像内容882时，可以执行本发明实施例中的运动图像的回放。即，可以在所有的蓝光播放器上实现本发明实施例中的运动图像的回放而无需使用专用PC软件等。

而且，本发明实施例中的信息处理装置可以连接到诸如因特网之类的网络，并且可以通过将运动图像与经由网络接收到的图像或运动图像相组合来播放它。例如，图像处理装置经由网络接收预定公园的风景图像，把接收到的公园的风景图像当作背景图像，并且在将所捕获的孩子的运动图像与该背景图像相组合的情况下播放孩子的运动图像。因此，可以提供看起来似乎孩子正移动着穿过公园的伪回放图像。

如上所述，在本发明的实施例中，由于与当前显示的图像之前的帧相对应的图像被与当前图像相组合并且合成图像被播放，因此，可以容易地将充当图像拍摄中心的对象与至少在部分时域中拍摄的背景等一起浏览。因此，例如，当观看者希望再次观看至少在部分时域中拍摄的背景等时，观看者可以观看当前显示的图像并且同时观看其背景等，而不用执行倒带操作、搜索操作等。而且，当观看者浏览相机所拍摄的运动图像时，观看者可以容易地了解运动图像的细节。

而且，在图7、11、15等所示的显示示例中，由于与在前帧相对应的图像被固定，因此观看者可以容易地识别空间扩展(spatial extension)。此外，在图8、12、16等所示的显示示例中，由于与当前帧相对应的图像被显示在固定位置，因此观看者可以容易地识别当前显示部分。

即，利用过去帧，运动图像可以在空间上被扩展并被鉴赏。因此，例如，可以提供例如在播放运动图像的同时完成全景图像的鉴赏方法，由此观看者可以愉快地鉴赏运动图像。

而且，通过利用图35至图43等所示的运动图像播放方法来播放运动图像，即使在运动图像的回放期间，也可以容易地执行切换到另一显示模式。因此，例如，可以享受到在播放运动图像的同时完成全景图像的鉴赏，并且另外，可以在多种显示模式中容易地执行切换，由此观看者可以更愉快地鉴赏运动图像。而且，由于在被保存到图像存储器684中之前的状态中的图像可以顺序地被显示为当前图像，因此，可以显示相对清晰的图像。

而且，在本发明的实施例中，描述了利用预先检测到的仿射变换参数来执行回放和显示的示例。然而，也可以在回放时计算仿射变换参数，并且可以利用计算出的仿射变换参数执行回放和显示。例如，通过使用利用多核处理器进行的SIMD操作计算仿射变换参数，可以在一帧的解码处理时间内计算一帧的仿射变换参数。因此，即使在要播放未计算其仿射变换参数的运动图像的情况中，也可以在播放运动图像的同时计算仿射变换参数。因此，可以在鉴赏运动图像的同时迅速地执行在空间上扩展运动图像。

而且，例如，当要在高清晰TV(电视机)上鉴赏按SD(标准清晰)图像质量拍摄的运动图像或者要鉴赏使用数字静态相机或蜂窝电话的运动图像保存功能等拍摄的运动图像时，如果以原始图像大小的状态来显示运动图像，则不能完全利用高清晰TV的像素数。而且，当执行放大并显示时，在许多情况中，图像粗糙度变得显著。因此，通过执行本发明实施例中描述的显示，可以执行完全利用了高清晰TV的像素数而不会使图像粗糙度变得显著的鉴赏。

注意，通过步骤S926、S942、S954等中的组合而生成的合成图像可以记录在记录介质等上，以使得合成图像可以用于其它类型的回放和显示。而且，在本发明的实施例中，描述了与当前帧之前的帧相对应的合成图像被显示的示例。然而，也可以随着时间的过去顺序地擦除合成图像。在此情况中，可以以在擦除合成图像的同时留下残留图像的方式来进行呈现(render)。而且，可以彩色显示与当前帧相对应的图像，并且还可以以随着时间的过去彩色显示改变为棕褐色(sepia)显示的方式来对与当前帧之前的帧相对应的合成图像进行呈现。

而且，在本发明的实施例中，描述了这样的情况：在运动物体相对于包括在运动图像中的图像的面积相对较小的情况中获得相机运动，并且利用相机运动来播放运动图像。然而，本发明的实施例也可应用于运动图像的大小相对于包括在运动图像中的图像面积相对较大的情况中。例如，当捕获离开站台的火车的图像时，以火车作为图像的中心对象，以使得火车相对于图像面积的比例变得较大，如果计算了上述仿射变换参数，则火车的移动被计算出来。在此情况中，利用火车移动，可以通过上述的显示方法来播放运动图像。在以这种方式播放运动图像的情况中，背景被固定，并且另外，火车被显示得好像火车正随着当前图像的前进而前进一样。如上，与在捕获图像时相机和摄影对象的相对运动量有关的运动信息可以被计算并用作用来变换构成运动图像的图像的变换信息。

即，根据本发明的实施例，在将要显示利用诸如数码摄像机之类的图像捕获装置捕获的第一图像和第二图像的情况中，可以利用第一图像和第二图像之间的相对位置关系来将第二图像放置在第一图像上并对其进行显示，相对位置关系指示了在拍摄图像时图像捕获装置的运动或者摄影对象的运动。因此，可以实现以好像时间仅在用户注视的小窗口中过去的方式在显示单元上回放运动图像。

而且，在本发明的实施例中，通过示例描述了将图像组合单元生成的合成图像显示在显示单元上的图像处理装置。然而，本发明的实施例还可应用于具有如下图像输出装置的图像处理装置：该图像输出装置用于输出用于在另一图像显示装置上显示由图像组合单元生成的合成图像的图像信息。此外，本发明的实施例还可应用于能够播放运动图像的运动图像播放装置、能够播放所拍摄的运动图像的诸如数码摄像机之类的图像捕获装置，等等。

而且，在本发明的实施例中，描述了利用相机捕获的运动图像。然而，例如，本发明的实施例还可应用于对相机捕获的运动图像进行编辑、部分地对运动图像添加生气(animation)等的情况中的经编辑的运动图像，等等。而且，虽然在本发明的实施例中描述了显示部分或所有历史图像的示例，然而，可以仅显示经变换的当前图像。即，仅最近被保存在图像存储器中的当前图像可以顺序地被显示。而且，在计算仿射变换参数的情况中，例如，通过缩小对捕获图像中的特征点的运动向量进行计算的区域，例如，将相机放置为面对移动火车，可以生成火车的移动图像及其大图像。

注意，通过实现本发明的示例来例示说明了本发明的实施例。虽然在实施例与下述权利要求的特征之间存在对应关系，然而，本发明不限于此，并且在不脱离本发明的范围的情况下可以进行各种修改。

即，在权利要求1至25中，运动图像输入装置例如与运动图像输入单元110相对应。而且，变换信息计算装置例如与相机操作检测单元120相对应。而且，图像保存装置例如与图像存储器170或图像存储器684相对应。而且，图像变换装置例如与图像变换单元160或图像变换单元682相对应。而且，操作接受装置例如与操作接受单元195相对应。而且，图像组合装置例如与图像组合单元180或图像组合单元683相对应。而且，输出装置例如与显示单元191或显示单元689相对应。而且，控制装置例如与显示控制单元190或显示控制单元687相对应。

而且，在权利要求25中，显示装置例如与显示单元191或显示单元689相对应。

而且，在权利要求5或9中，输出图像提取装置例如与显示区域提取单元685相对应。

而且，在权利要求18中，特征点提取装置例如与特征点提取单元121相对应。而且，运动量计算装置例如与光流计算单元122相对应。而且，变换参数计算装置例如与相机操作参数计算单元123相对应。

而且，在权利要求21中，压缩装置例如与图像组合单元683相对应。

而且，在权利要求22中，运动图像获取装置例如与运动图像获取单元140相对应。而且，变换信息提取装置例如与相机操作参数提取单元150相对应。而且，图像保存装置例如与图像存储器170或图像存储器684相对应。而且，图像变换装置例如与图像变换单元160或图像变换单元682相对应。而且，操作接受装置例如与操作接受单元195相对应。而且，图像组合装置例如与图像组合单元180或图像组合单元683相对应。而且，输出装置例如与显示单元191或显示单元689相对应。而且，控制装置例如与显示控制单元190或显示控制单元687相对应。

而且，在权利要求23中，变换信息存储装置例如与元数据存储单元670相对应。而且，运动图像获取装置例如与文件获取单元652或文件获取单元681相对应。而且，变换信息获取装置例如与文件获取单元652或文件获取单元681相对应。而且，图像保存装置例如与图像存储器170或图像存储器684相对应。而且，图像变换装置例如与图像变换单元160或图像变换单元682相对应。而且，操作接受装置例如与操作接受单元195相对应。而且，图像组合装置例如与图像组合单元180或图像组合单元683相对应。而且，输出装置例如与显示单元191或显示单元689相对应。而且，控制装置例如与显示控制单元190或显示控制单元687相对应。

而且，在权利要求24中，运动图像输入装置例如与运动图像输入单元110相对应。而且，变换信息计算装置例如与相机操作检测单元120相对应。而且，图像变换装置例如与图像变换单元160或图像变换单元682相对应。而且，控制装置例如与显示控制单元190或显示控制单元687相对应。

而且，在权利要求26中，运动图像输入装置例如与运动图像输入单元110相对应。而且，捕获运动图像存储装置例如与运动图像存储单元200相对应。而且，变换信息计算装置例如与相机操作检测单元120相对应。而且，记录控制装置例如与记录控制单元130相对应。

而且，在权利要求27中，运动图像输入装置例如与运动图像输入单元110相对应。而且，元数据存储装置例如与元数据存储单元670相对应。而且，变换信息计算装置例如与相机操作检测单元120相对应。而且，记录控制装置例如与记录控制单元651相对应。

而且，在权利要求29或30中，运动图像输入步骤例如与步骤S900相对应。而且，变换信息计算步骤例如与步骤S903至S913相对应。而且，图像保存步骤例如与步骤S926、S942和S954相对应。图像变换步骤例如与步骤S925、S941、S952和S953相对应。操作接受步骤例如由操作接受单元195执行。而且，图像组合步骤例如与步骤S926、S942和S954相对应。而且，控制步骤例如与步骤S927或S970相对应。

注意，在本发明实施例中描述的处理过程可以视作具有过程序列的方法，或者可以视作允许计算机执行过程序列的程序，或者可以视作其上存储有程序的记录介质。

Claims (30)

1.一种图像处理装置，其特征在于包括：

运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；

变换信息计算装置，用于基于包括在所述捕获运动图像中的第一捕获图像以及沿着所述捕获运动图像的时间轴位于所述第一捕获图像之后的第二捕获图像，计算与所述第一捕获图像和所述第二捕获图像有关的变换信息；

图像保存装置，用于将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换装置，用于基于计算出的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受装置，用于接受对要由所述图像变换装置进行变换的图像进行选择的选择操作；

图像组合装置，用于将响应于所接受的选择操作其中至少一个由所述图像变换装置进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；

输出装置，用于输出所述合成图像；以及

控制装置，用于使所述输出装置顺序地输出所述合成图像。

2.根据权利要求1所述的图像处理装置，其特征在于：所述图像组合装置通过将其中至少一个由所述图像变换装置进行了变换的所述第二捕获图像和所述历史图像中的所述第二捕获图像写在所述历史图像上，来将所述历史图像和所述第二捕获图像相组合以生成所述合成图像，并且使得所述图像保存装置将所述合成图像保存为新的历史图像。

3.根据权利要求2所述的图像处理装置，其特征在于：所述图像组合装置通过将经由所述图像变换装置变换的并根据所述历史图像对经变换的第二捕获图像的图像质量进行变换而获得的所述第二捕获图像写在所述历史图像上，来将所述第二捕获图像与所述历史图像组合。

4.根据权利要求3所述的图像处理装置，其特征在于：所述图像组合装置将存在于图像质量变换之前的、经由所述图像变换装置变换的第二捕获图像写在所述新的历史图像上来生成新的合成图像，并且

所述控制装置使得所述输出装置顺序地输出所述新的合成图像。

5.根据权利要求4所述的图像处理装置，其特征在于还包括：输出图像提取装置，用于从保存在所述图像保存装置中的所述新的历史图像中提取将由所述输出装置输出的输出图像，

其中，所述图像组合装置通过将存在于图像质量变换之前的、经由所述图像变换装置变换的第二捕获图像写在所述输出图像上，来将所述第二捕获图像与所述输出图像相组合以生成新的输出图像，并且

所述控制装置使得所述输出装置顺序地输出所述新的输出图像。

6.根据权利要求5所述的图像处理装置，其特征在于：所述输出图像提取装置基于所述经变换的第二捕获图像在所述图像保存装置的保存区域中的位置和大小以及所述输出图像在所述保存区域中的位置和大小，计算存在于图像质量变换之前的、经由所述图像变换装置变换的第二捕获图像被写在所述输出图像上的位置以及所述第二捕获图像的大小，并且

所述图像组合装置基于计算出的位置和大小将存在于图像质量变换之前的、经由所述图像变换装置变换的第二捕获图像写在所述输出图像上，从而将所述第二捕获图像与所述输出图像相组合。

7.根据权利要求5所述的图像处理装置，其特征在于：当包括在所述新的历史图像中的经变换的第二捕获图像的至少一部分从输出区域，即用于提取所述输出图像的区域突出来时，所述输出图像提取装置在突出图像部分的方向上移动所述输出区域，并且从所述新的历史图像提取所述输出图像。

8.根据权利要求3所述的图像处理装置，其特征在于：所述图像质量是分辨率和压缩比中的至少一个。

9.根据权利要求2所述的图像处理装置，其特征在于还包括：输出图像提取装置，用于从保存在所述图像保存装置中的所述新的历史图像中提取包括在基于计算出的变换信息而计算得到的区域中的图像，作为将由所述输出装置输出的输出图像，

其中，所述图像组合装置通过将存在于由所述图像变换装置执行变换之前的所述第二捕获图像写在所述输出图像上，来将所述第二捕获图像与所述输出图像相组合以生成新的输出图像，并且

所述控制装置使得所述输出装置顺序地输出所述新的输出图像。

10.根据权利要求9所述的图像处理装置，其特征在于：所述输出图像提取装置基于计算出的变换信息，在与所述图像变换装置对所述第二捕获图像进行变换的方向相反的方向上对所述输出图像进行变换，并且

所述图像组合装置通过将存在于由所述图像变换装置执行变换之前的所述第二捕获图像写在该经变换的输出图像上，来将所述第二捕获图像与该经变换的输出图像相组合以生成新的输出图像。

11.根据权利要求2所述的图像处理装置，其特征在于：所述图像变换装置基于计算出的变换信息，在与所述第二捕获图像被变换的方向相反的方向上对所述历史图像进行变换。

12.根据权利要求2所述的图像处理装置，其特征在于：所述变换信息包括与放大/缩小、移动和旋转有关的要素，并且

所述图像变换装置基于包括在计算出的变换信息中的与移动和旋转有关的要素对所述第二捕获图像进行变换，并且基于包括在计算出的变换信息中的与放大/缩小有关的要素对所述历史图像进行变换。

13.根据权利要求12所述的图像处理装置，其特征在于：所述图像变换装置在与所述第二捕获图像被变换的方向相反的方向上对所述历史图像进行变换。

14.根据权利要求1所述的图像处理装置，其特征在于：所述变换信息计算装置顺序地计算构成所述捕获运动图像的每个帧的变换信息，

所述图像变换装置针对每个帧变换所述历史图像和所述第二捕获图像中的至少一个，

所述图像组合装置针对每个帧顺序地将其中至少一个经由所述图像变换装置进行了变换的所述历史图像和所述第二捕获图像相组合，并且

所述控制装置针对每个帧使得所述合成图像顺序地被输出。

15.根据权利要求1所述的图像处理装置，其特征在于：所述第一捕获图像和所述第二捕获图像是与包括在所述捕获运动图像中的两个连续帧相对应的图像。

16.根据权利要求15所述的图像处理装置，其特征在于：所述变换信息是在所述第一捕获图像或所述第二捕获图像被捕获时的所述图像捕获装置的运动信息，并且

所述变换信息计算装置通过将所述第一捕获图像与所述第二捕获图像相比较来计算所述变换信息。

17.根据权利要求15所述的图像处理装置，其特征在于：所述变换信息是与在所述第一捕获图像或所述第二捕获图像被捕获时所述图像捕获装置与摄影对象的相对运动量有关的运动信息，并且

所述变换信息计算装置通过将所述第一捕获图像与所述第二捕获图像相比较来计算所述变换信息。

18.根据权利要求1所述的图像处理装置，其特征在于，所述变换信息计算装置包括：

特征点提取装置，用于基于构成所述第一捕获图像和所述第二捕获图像的各个像素，提取所述第一捕获图像和所述第二捕获图像中的特征点，

运动量计算装置，用于基于提取出来的各个特征点计算与所述第一捕获图像和所述第二捕获图像有关的运动量，以及

变换参数计算装置，用于通过基于计算出的运动量计算预定变换参数来计算所述变换信息。

19.根据权利要求18所述的图像处理装置，其特征在于：所述特征点提取装置由多核处理器构成，并且

所述多核处理器通过利用单指令多数据操作对构成所述第一捕获图像和所述第二捕获图像的各个像素执行并行处理，来提取所述第一捕获图像和所述第二捕获图像中的特征量。

20.根据权利要求18所述的图像处理装置，其特征在于：所述运动量计算装置由多核处理器构成，并且

所述多核处理器通过利用单指令多数据操作对提取出来的各个特征点执行并行处理，来计算与所述第一捕获图像和所述第二捕获图像有关的运动量。

21.根据权利要求1所述的图像处理装置，其特征在于还包括：压缩装置，用于压缩捕获图像，

其中，输出所述合成图像时的所述历史图像是压缩图像，并且所述第二捕获图像是非压缩图像或具有比压缩历史图像高的分辨率的捕获图像。

22.一种图像处理装置，包括：

运动图像获取装置，用于获取捕获运动图像，用于对包括在所述捕获运动图像中的第一捕获图像和第二捕获图像中的至少一个进行变换的变换信息被与所述捕获运动图像相关联并被记录，所述捕获运动图像是由图像捕获装置捕获的；

变换信息提取装置，用于从获取的捕获运动图像中提取所述变换信息；

图像保存装置，用于将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换装置，用于基于提取出的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受装置，用于接受对要由所述图像变换装置进行变换的图像进行选择的选择操作；

图像组合装置，用于将响应于所接受的选择操作其中至少一个由所述图像变换装置进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；

输出装置，用于输出所述合成图像；以及

控制装置，用于使所述输出装置顺序地输出所述合成图像。

23.一种图像处理装置，包括：

变换信息存储装置，用于将用于对包括在由图像捕获装置所捕获的捕获运动图像中的第一捕获图像和第二捕获图像中的至少一个进行变换的变换信息与构成所述捕获运动图像的每个帧相关联地进行存储；

运动图像获取装置，用于获取所述捕获运动图像；

变换信息获取装置，用于获取与所获取的捕获运动图像相关联地存储在所述变换信息存储装置中的变换信息；

图像保存装置，用于将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换装置，用于基于所获取的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受装置，用于接受对要由所述图像变换装置进行变换的图像进行选择的选择操作；

图像组合装置，用于将响应于所接受的选择操作其中至少一个由所述图像变换装置进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；

输出装置，用于输出所述合成图像；以及

控制装置，用于使所述输出装置顺序地输出所述合成图像。

24.一种图像处理装置，其特征在于包括：

运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；

变换信息计算装置，用于针对构成所述捕获运动图像的捕获图像的每个，计算用于参考所述捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；

图像变换装置，用于基于参考构成所述捕获运动图像的捕获图像中的所述至少一个捕获图像作为基准图像而计算出的变换信息，来对与所述变换信息相对应的捕获图像进行变换；

图像保存装置，用于保存经变换的捕获图像；以及

控制装置，用于使得输出装置顺序地输出最后保存在所述图像保存装置中的所述捕获图像。

25.一种运动图像播放装置，其特征在于包括：

运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；

变换信息计算装置，用于基于包括在所述捕获运动图像中的第一捕获图像以及沿着所述捕获运动图像的时间轴位于所述第一捕获图像之后的第二捕获图像，计算与所述第一捕获图像和所述第二捕获图像有关的变换信息；

图像保存装置，用于将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换装置，用于基于计算出的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受装置，用于接受对要由所述图像变换装置进行变换的图像进行选择的选择操作；

图像组合装置，用于将响应于所接受的选择操作其中至少一个由所述图像变换装置进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；

显示装置，用于显示所述合成图像；以及

控制装置，用于使所述显示装置顺序地显示所述合成图像。

26.一种图像处理装置，其特征在于包括：

运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；

捕获运动图像存储装置，用于存储所述捕获运动图像；

变换信息计算装置，用于针对构成所述捕获运动图像的每个帧，计算用于参考构成所述捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；以及

记录控制装置，用于将计算出的变换信息与每个帧相关联地记录在所述捕获运动图像存储装置中。

27.一种图像处理装置，其特征在于包括：

运动图像输入装置，用于接收由图像捕获装置所捕获的捕获运动图像；

元数据存储装置，用于存储与所述捕获运动图像有关的元数据；

变换信息计算装置，用于针对构成所述捕获运动图像的每个帧，计算用于参考构成所述捕获运动图像的捕获图像中的至少一个捕获图像来对另一捕获图像进行变换的变换信息；以及

记录控制装置，用于将计算出的变换信息与所述捕获运动图像以及帧相关联地记录在所述元数据存储装置中作为所述元数据。

28.根据权利要求27所述的图像处理装置，其特征在于：所述元数据至少包括在所述图像捕获装置的坐标系统中描述的位置信息和姿势信息。

29.一种图像处理方法，其特征在于包括：

运动图像输入步骤，用于接收由图像捕获装置所捕获的捕获运动图像；

变换信息计算步骤，用于基于包括在所述捕获运动图像中的第一捕获图像以及沿着所述捕获运动图像的时间轴位于所述第一捕获图像之后的第二捕获图像，计算与所述第一捕获图像和所述第二捕获图像有关的变换信息；

图像保存步骤，用于使图像保存装置将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换步骤，用于基于计算出的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受步骤，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；

图像组合步骤，用于将响应于所接受的选择操作其中至少一个在所述图像变换步骤中进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；以及

控制步骤，用于使所述合成图像被顺序地输出。

30.一种程序，其特征在于使计算机执行：

运动图像输入步骤，用于接收由图像捕获装置所捕获的捕获运动图像；

变换信息计算步骤，用于基于包括在所述捕获运动图像中的第一捕获图像以及沿着所述捕获运动图像的时间轴位于所述第一捕获图像之后的第二捕获图像，计算与所述第一捕获图像和所述第二捕获图像有关的变换信息；

图像保存步骤，用于使图像保存装置将包括所述第一捕获图像在内的并且沿着所述捕获运动图像的时间轴位于所述第二捕获图像之前的各个图像保存为历史图像；

图像变换步骤，用于基于计算出的变换信息对所述历史图像和所述第二捕获图像中的至少一个进行变换；

操作接受步骤，用于接受对要由图像变换装置进行变换的图像进行选择的选择操作；

图像组合步骤，用于将响应于所接受的选择操作其中至少一个在所述图像变换步骤中进行了变换的所述历史图像和所述第二捕获图像相组合，以生成合成图像；以及

控制步骤，用于使所述合成图像被顺序地输出。

Images