CN101611629A - 图像处理设备、运动图像再现设备及其处理方法和程序 - Google Patents

Abstract

本发明涉及图像处理设备、运动图像再现设备、及其处理方法和程序。在观看图像拍摄设备拍摄的运动图像时，容易理解运动图像的内容。特征量提取块150提取与已拍摄图像相关联的特征量。如果特征量超过阈值，转换信息校正块160校正转换信息。如果特征量超过阈值，合成图像分割判定块170判定不合成已拍摄图像和日志图像。如果校正了转换信息，图像转换块180通过校正转换信息对已拍摄图像进行转换；如果未校正转换信息，图像转换块通过转换信息校正已拍摄图像。如果判定要合成已拍摄图像和日志图像，图像合成块190将转换的已拍摄图像与图像存储器220的日志图像合成；如果判定不合成已拍摄图像和日志图像，图像合成块擦除图像存储器220中的日志图像，并将转换后的已拍摄图像保持在图像存储器220中。

Description

图像处理设备、运动图像再现设备及其处理方法和程序

技术领域

本发明涉及图像处理设备，尤其涉及图像处理设备、运动图像再现设备及其中的处理方法以及用于使计算机执行该处理方法的程序。

背景技术

近年来，数字摄像机正在普及。因此，例如父母使用数字摄像机对幼儿园的活动进行拍摄现在是常见的场景。如果在这种情况下由例如父母进行视频拍摄，那么父母往往大多拍摄他们的孩子，同时，为了详细描述活动，往往会适当拍摄这种活动的场景本身。

由此拍摄的运动图像可以例如在家中使用运动图像再现设备来再现。例如，在观看以孩子为焦点而拍摄的运动图像的过程中，再现主要包括自己孩子的运动图像。然而，如果再现时间很长，那么随着再现时间流逝，持续观看具有同一主题的运动图像会降低观看者对正在再现的运动图像的兴趣。因此，为了提高观看兴趣，提出了一种方法，其中显示与当前显示的图像相关联的其他图像等。

例如，提出了一种图像显示方法，其中根据运动图像的进程来滚动显示视频索引(静态图像)(例如日本特开Hei 11-289517(图7))。

根据上述现有技术，将相对于运动图像的过去、现在以及将来的静态图像显示为视频索引，可以与当前显示的运动图像一起观看过去、现在以及将来的静态图像。因此，例如，在观看某人孩子的幼儿园组织的活动中拍摄的运动图像时，如果将某人孩子显示为当前的运动图像，那么可以将与当前运动图像相关联的活动场景等显示为过去或者将来的静态图像。在此情况下，在观看某人孩子的图像的同时，可以观看该活动场景等，可以很容易明白该活动的内容，从而增强观看者的兴趣。

然而，在上述现有技术中，在将某人孩子显示为当前运动图像的情况下，可能不会将活动场景等显示为过去或者将来的静态图像，因而显示与当前运动图像的内容近似相同的内容。这种情况下，需要保持观看者对运动图像的兴趣。

因此，提出了一种方法，其中为了在观看经受图像拍摄的中心人物等的同时允许适当了解该中心人物周围的情况，基于图像拍摄设备的运动信息，对构成该运动图像的每个图像进行转换，并依次地合成转换后的图像以供再现。然而，如果图像拍摄人例如在左右方向快速移动图像拍摄设备，可能检测不到合适的运动信息。此外，例如，如果图像拍摄人停止记录已拍摄图像然后重新开始记录不同的场景，可能在场景变化之前和之后检测不到正确的运动信息。

这样，如果不能检测到构成该运动图像的每个图像的正确的运动信息，例如，表示该运动图像的合成图像可能不被正确显示。因此重要的是在运动图像的再现过程中正确显示合成图像，以容易了解该运动图像的内容。

本发明的一个目的是，在观看图像拍摄设备拍摄的运动图像时，提供对该运动图像的内容的容易了解。

发明内容

在执行本发明时并且根据其第一实施例，提供一种图像处理设备，及其处理方法，以及用于使计算机执行该处理方法的程序，包括：运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；图像转换装置，用于基于所述转换信息对所述第二已拍摄图像进行转换；判定装置，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及图像合成装置，如果所述判定装置判定合成所述第二已拍摄图像与所述日志图像是必要的，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定合成所述第二已拍摄图像与所述日志图像是不必要的，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下，将所述第二已拍摄图像保持在所述图像保持装置中。因此，提供了一种功能，其提取与第二已拍摄图像相关联的特征量，基于转换信息对所述第二已拍摄图像进行转换，基于特征量来判定对所述第二已拍摄图像与日志图像的合成，以及，如果判定要执行对所述第二已拍摄图像与日志图像的合成，将转换后的第二已拍摄图像与日志图像进行合成以提供新日志图像，以及，如果判定不执行对所述第二已拍摄图像与日志图像的合成，不将所述第二已拍摄图像与日志图像合成，将第二已拍摄图像保持在图像保持装置中。

此外，在第一实施例中，如果所述判定装置判定不执行对所述第二已拍摄图像与所述日志图像的合成，所述图像合成装置可以擦除所述图像保持装置中保持的所述日志图像，并将所述第二已拍摄图像保持在所述图像保持装置中作为新日志图像。因此，如果判定不合成所述第二已拍摄图像和日志图像，擦除日志图像并将所述第二已拍摄图像保持在图像保持装置中作为新日志图像。

此外，在第一实施例中，如果所述判定装置判定不执行对所述第二已拍摄图像与所述日志图像的合成，所述图像合成装置可以将所述第二已拍摄图像安排在与所述日志图像在所述图像保持装置中的安排位置不同的位置，并将所述第二已拍摄图像保持在所述图像保持装置中作为新日志图像。因此，提供如下功能：如果判定不合成所述第二已拍摄图像和日志图像，将所述第二已拍摄图像安排在与日志图像的安排位置不同的位置，以提供新日志图像。

此外，在第一实施例中，所述特征量提取装置可以通过对构成所述已拍摄图像的每个图像的特定变化进行检测来提取特征量，以及所述判定装置可以通过将所述提取的特征量与预定阈值比较来判定所述第二已拍摄图像是否对应于场景变化点，如果发现所述第二已拍摄图像对应于所述场景变化点，判定不将所述第二已拍摄图像与所述日志图像合成在一起。因此，提供如下功能：通过对构成运动图像的每个图像的特定变化进行检测来提取特征量，以及通过将所述提取的特征量与预定阈值比较来判定所述第二已拍摄图像是否对应于场景变化点，如果发现所述第二已拍摄图像对应于所述场景变化点，判定不将所述第二已拍摄图像与所述日志图像合成在一起。

此外，在第一实施例中，所述转换信息可以包括与拉近/拉远、平移以及转动相关联的要素，所述特征量提取装置可以基于与所述第二已拍摄图像相关联的所述转换信息来提取平移分量、转动分量以及拉近/拉远分量；以及所述判定装置可以通过将所述提取的所述平移分量、所述转动分量以及所述拉近/拉远分量的至少一个与预定阈值比较，来判定所述合成是否必要。因此，提供如下功能：基于与所述第二已拍摄图像相关联的所述转换信息来提取平移分量、转动分量以及拉近/拉远分量，以及将这些提取的平移分量、转动分量以及拉近/拉远分量中的至少一个与预定阈值比较，来判定所述合成是否必要。

此外，在第一实施例中，所述特征量提取装置可以基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，以及计算所述提取的平移分量、所述转动分量以及所述拉近/拉远分量中的每一个的平均值，以及所述判定装置可以通过将平移分量、转动分量以及拉近/拉远分量的所述计算平均值中的至少一个与预定阈值比较，来判定所述合成是否必要。因此，提供如下功能：基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，以及计算这些提取的平移分量、转动分量以及拉近/拉远分量的平均值，以及将这些提取的平移分量、转动分量以及拉近/拉远分量的所述计算平均值中的至少一个与预定阈值比较，来判定所述合成是否必要。

此外，在第一实施例中，所述特征量提取装置可以基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，以及计算所述提取的平移分量、所述转动分量以及所述拉近/拉远分量中的每一个的积分值，以及所述判定装置可以通过将平移分量、转动分量以及拉近/拉远分量的所述计算积分值中的至少一个与预定阈值比较，来判定所述合成是否必要。因此，提供如下功能：基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，分别计算这些提取的平移分量、转动分量以及拉近/拉远分量的积分值，以及将平移分量、转动分量以及拉近/拉远分量的所述计算积分值中的至少一个与预定阈值比较，来判定所述合成是否必要。

在执行本发明时并且根据其第二实施例，提供了一种图像处理设备，及其处理方法以及用于使计算机执行该方法的程序，包括：运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；判定装置，用于基于从所述日志图像被保持在所述图像保持装置中起经过的时间来判定合成所述第二已拍摄图像与所述日志图像是否必要；图像转换装置，用于基于所述转换信息转换所述第二已拍摄图像；以及图像合成装置，如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成是必要的，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成是不必要的，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下，将所述第二已拍摄图像保持在所述图像保持装置中。因此，提供如下功能：基于从所述日志图像被保持在所述图像保持装置中起经过的时间来判定合成所述第二已拍摄图像与所述日志图像是否必要，基于所述转换信息转换所述第二已拍摄图像，如果判定所述第二已拍摄图像与所述日志图像的合成是必要的，合成所述转换后的第二已拍摄图像与所述日志图像，以提供新日志图像，以及如果判定所述第二已拍摄图像与所述日志图像的合成是不必要的，在不合成所述第二已拍摄图像与所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中。

在执行本发明时并且根据其第三实施例，提供了一种图像处理设备，及其处理方法以及用于使得计算机执行该处理方法的程序，包括：运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；转换信息校正装置，用于基于所述提取的特征量来校正所述转换信息；图像转换装置，用于基于所述校正后的所述转换信息对所述第二已拍摄图像进行转换；以及图像合成装置，用于合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像。因此，提供如下功能：提取与所述第二已拍摄图像相关联的特征量，基于所述提取的特征量来校正所述转换信息，基于所述校正后的转换信息对所述第二已拍摄图像进行转换，以及合成所述转换后的第二已拍摄图像与所述日志图像，以保持在所述图像保持装置中作为新日志图像。

此外，在第三实施例中，所述转换信息校正装置可以通过将所述提取的特征量与预定阈值比较来判定对所述转换信息的校正是否必要，以及如果发现有必要对所述转换信息进行校正，可以校正所述转换信息，以及如果所述转换信息已经被校正，所述图像转换装置可以基于所述校正后的转换信息对所述第二已拍摄图像进行转换，以及如果所述转换信息未被校正，可以基于所述转换信息对所述第二已拍摄图像进行转换。因此，提供如下功能：通过将所述提取的特征量与预定阈值比较来判定对所述转换信息的校正是否必要，以及如果发现有必要对所述转换信息进行校正，可以校正所述转换信息，以及如果所述转换信息已经被校正，所述图像转换装置基于所述校正后的转换信息对所述第二已拍摄图像进行转换，以及如果所述转换信息未被校正，基于所述转换信息对所述第二已拍摄图像进行转换。

此外，在第三实施例中，如果发现有必要校正所述转换信息，所述转换信息校正装置可以将所述转换信息校正为预定转换信息。因此，提供如下功能：如果确定有必要校正所述转换信息，将所述转换信息校正为预定转换信息。

此外，在第三实施例中，如果发现有必要校正所述转换信息，所述转换信息校正装置可以基于与在所述时间轴上位于所述第二已拍摄图像之前的已拍摄图像相关联的转换信息和与位于所述第二已拍摄图像之后的已拍摄图像相关联的转换信息，对所述转换信息进行校正。因此，可以提供如下功能：如果确定有必要校正所述转换信息，基于与在所述时间轴上位于所述第二已拍摄图像之前的已拍摄图像相关联的转换信息和与位于所述第二已拍摄图像之后的已拍摄图像相关联的转换信息，对所述转换信息进行校正。

在执行本发明时并且根据其第四实施例，提供了一种图像处理设备，及其处理方法以及用于使计算机执行该处理方法的程序，包括：特征量提取装置，用于提取与构成图像拍摄设备所拍摄的已拍摄运动图像的已拍摄图像相关联的特征量；判定装置，用于基于所述提取的特征量来判定是否必要对合成图像进行分割；以及图像合成装置，如果所述判定装置发现不执行对合成图像的分割，基于在图像拍摄时所述图像拍摄设备的运动信息合成所述已拍摄图像与已经形成的合成图像，以及如果所述判定装置发现要执行对合成图像的分割，基于所述运动信息来创建与已经形成的合成图像不同的新合成图像。因此，提供如下功能：提取与构成图像拍摄设备所拍摄的已拍摄运动图像的已拍摄图像相关联的特征量，基于所述提取的特征量来判定是否必要对合成图像进行分割，以及，如果判定不执行对合成图像的分割，基于运动信息合成所述已拍摄图像与已经形成的合成图像，以及如果判定要执行对合成图像的分割，基于所述运动信息来创建与已经形成的合成图像不同的新合成图像。

在执行本发明时并且根据其第五实施例，提供了一种运动图像再现设备，及其处理方法以及用于使计算机执行该处理方法的程序，包括：运动图像存储装置，用于存储所述图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每一个已拍摄图像的日志图像；特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；图像转换装置，用于基于所述转换信息转换所述第二已拍摄图像；判定装置，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及图像合成装置，如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成有必要，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成不必要，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下，将所述第二已拍摄图像保持在所述图像保持装置中；以及显示控制装置，用于将所述图像保持装置中保持的新日志图像或所述第二已拍摄图像依次地显示在显示装置。因此，提供如下功能：提取与所述第二已拍摄图像相关联的特征量，基于所述转换信息转换所述第二已拍摄图像，基于所述特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要，以及，如果判定所述第二已拍摄图像与所述日志图像的合成有必要，合成所述第二已拍摄图像与所述日志图像以提供新日志图像，以及，如果判定所述第二已拍摄图像与所述日志图像的合成不必要，在不合成所述第二已拍摄图像与所述日志图像的情况下，将所述第二已拍摄图像保持在所述图像保持装置中，并且依次地显示所述图像保持装置中保持的新日志图像或所述第二已拍摄图像。

根据本发明，提供了极好的效果，即在观看图像拍摄设备拍摄的运动图像时，可以容易地理解运动图像的内容。

附图说明

图1是例示了实施为本发明的一个实施例的图像处理设备100的示例性功能结构的框图。

图2是例示了本发明实施例的摄像机工作检测块120的示例性功能结构的框图。

图3是例示了本发明实施例中的特征量提取块150的示例性功能结构的框图。

图4示意性示出以时间顺序排列与构成运动图像的多个帧相对应的多个图像的示例。

图5是示意性示出记录到运动图像存储块200和元数据存储块210的各个文件的图。

图6例示了与构成运动图像的帧相对应的图像的示例图。

图7例示了与构成运动图像的帧相对应的带有简化背景等的图像。

图8示出通过使用预定仿射变换参数对矩形340转换的情况。

图9是在本发明实施例表示图像处理设备100的仿射变换参数检测处理的处理过程流程图。

图10示出例示了摄像机拍摄的运动图像的转变的示例图。

图11例示与图10所示的每个图像的紧接的前一帧相对应的图像，并且示出虚线表示的光流(optical flow)的示例。

图12例示了包括图10所示的图像401到403的运动图像合成的示例性图像合成。

图13例示了摄像机拍摄的运动图像的转变的示例。

图14以虚线例示与图13所示的每个图像的紧接的前一帧相对应的图像，并且示出待检测光流的例子。

图15例示了在包括图13所示图像421到423的运动图像合成的示例性合成。

图16例示了摄像机拍摄的运动图像的转变的示例。

图17以虚线例示了与图16所示的每个图像的紧接的前一帧相对应的图像，并且示出待检测的示例性光流。

图18例示了在包括图16所示的图像441到443的图像合成的示例性合成。

图19示意性示出本发明实施例的运动图像存储块200存储的运动图像文件的每个帧与显示区域之间的关系。

图20示意性示出本发明实施例的运动图像存储块200存储的运动图像文件的帧的流。

图21示出在再现摄像机拍摄的运动图像以及对图像480的当前图像482之前的图像484仿射变换的情况下的显示例子(图像480)。

图22示出以放大方式显示图21所示的框483所包围的图像区域的情况下的图像485，以及在将仿射变换后的当前图像存储在图像存储器220的状态下被存储在显示存储器240的图像487。

图23示出摄像机拍摄的运动图像的转变示例。

图24示出摄像机拍摄的运动图像的转变示例。

图25示出摄像机拍摄的运动图像的转变示例。

图26示出摄像机拍摄的运动图像的转变示例。

图27示意性示出已经将构成运动图像文件500的图像501到517合成的情况。

图28示意性示出构成运动图像的每个帧与对每个帧计算出的场景变化分数之间的关系。

图29示意性示出已经将构成运动图像530的图像551到567合成的情况。

图30示意性示出已经将构成运动图像530的图像551到567合成的情况。

图31示出摄像机拍摄的运动图像所构成的合成图像的示例。

图32示出摄像机拍摄的运动图像所构成的合成图像的示例。

图33是本发明实施例中表示图像处理设备100的运动图像再现处理的处理过程流程图。

图34是表示本发明实施例中的图像处理设备100的运动图像再现处理的处理过程的转换信息校正处理过程的流程图。

图35是表示本发明实施例中的图像处理设备100的运动图像再现处理的处理过程的合成图像分割判定处理过程的流程图。

图36是例示了本发明实施例的多核处理器800的示例结构的图。

图37是例示了本发明实施例的控制处理器核801的示例结构的图。

图38是例示了本发明实施例的算术处理器核(#1)811的示例结构的图。

图39是示意性例示了本发明实施例的多核处理器800的运算方法的图。

图40示意性例示了在本发明实施例的多核处理器800执行算术运算的情况下的程序和数据流的图。

图41是示意性例示了由不同指令处理两个或更多个数据的算术运算方法的概要和由一条指令处理两个或更多个数据的SIMD运算的概要的图。

图42例示本发明实施例的算术处理器核(#1)811执行的程序的示例结构。

图43例示在通过Sobel滤波器830对本发明实施例的主存储器781存储的图像数据进行滤波的情况下的数据结构和处理流程的概要。

图44例示在本发明实施例中通过使用Sobel滤波器830对主存储器781存储的图像数据执行SIMD运算的情况下的数据流的概要。

图45例示了在本发明实施例使用Sobel滤波器830的滤波处理中从第一缓冲区831存储的图像数据创建9个向量的向量创建方法的概要。

图46例示了在本发明实施例使用Sobel滤波器830执行滤波处理的情况下使用SIMD指令对向量数据841到849执行向量计算的向量计算方法的概要。

图47例示本发明实施例的按时间顺序的摄像机工作参数计算处理流的概要。

图48示意性例示了作为记录介质例子的蓝光盘880的内部结构、记录在蓝光盘880上的数据881到884、以及能够再现蓝光盘880的蓝光再现机890。

具体实施方式

以下参照附图对本发明实施例进行详细描述。

图1是例示本发明实施例的图像处理设备100的示例性功能结构的框图。图像处理设备100具有运动图像输入块110、摄像机工作检测块120、记录控制块130、文件捕获块140、特征量提取块150、转换信息校正块160、合成图像分割判定块170、图像转换块180、图像合成块190、运动图像存储块200、元数据存储块210、图像存储器220、显示区域取出块230、显示存储器240、显示控制块250、显示块260以及操作接受块270。图像处理设备100可以通过个人计算机实现，个人计算机被配置成通过对诸如数字摄像机的图像拍摄设备拍摄的运动图像进行视频分析来提取特征量，并且通过利用所提取的特征量来执行各种图像处理。

运动图像输入块110是这样的运动图像输入块，即，通过它输入诸如数字摄像机等(以下简称为“摄像机”)的图像拍摄设备所拍摄的运动图像，然后将输入的运动图像输出到摄像机工作检测块120。

摄像机工作检测块120对从运动图像输入块110输出的运动图像进行分析，以检测图像拍摄时摄像机的运动信息(摄像机工作)，从而向记录控制块130输出基于摄像机运动信息计算出的仿射变换参数(摄像机工作参数)。即，摄像机工作检测块120从构成运动图像的每个图像提取特征点，提取该特征点的光流(运动向量)，然后对所提取的特征点的光流进行分析以选择代表主导性运动的特征点，从而基于代表主导性运动的特征点的光流来估计摄像机工作。这里，主导性运动表示，对两个或更多个特征点，各个光流之中的相对多的光流所表明的规则运动。应当指出将参照图2详细描述摄像机工作检测块120。

记录控制块130将从运动图像输入块110输出到运动图像存储块200的运动图像记录为运动图像文件，然后通过将从摄像机工作检测块120输出到元数据存储块210的仿射变换参数与对应的运动图像和对应的帧相关联，将仿射变换参数存储为元数据文件。

运动图像存储块200在记录控制块130的控制下，将从运动图像输入块110输出的运动图像存储到运动图像文件。此外，运动图像存储块200响应来自文件捕获块140的请求而向文件捕获块140提供运动图像文件。应当指出，将参照图5详细描述待存储在运动图像存储块200的运动图像文件。

元数据存储块210在记录控制块130的控制下将从摄像机工作检测块120输出的仿射变换参数存储为元数据文件。此外，响应于来自文件捕获块140的请求，元数据存储块210向文件捕获块140提供元数据文件。应当指出，将参照图5详细描述待存储在元数据存储块210的元数据文件。

文件捕获块响应于操作接受块接受的操作输入，获得运动图像存储块200和元数据存储块210中存储的至少一个文件，并将各个获得文件的信息提供给各个块。更具体地，如果操作接受块270接受了对运动图像合成和再现的指定操作，文件捕获块140获取运动图像存储块200存储的指定运动图像以及元数据存储块210存储的与该运动图像文件相关联的元数据文件，将所获得的运动图像文件的运动图像和元数据文件的仿射变换参数输出到特征量提取块150和图像转换块180，并且将仿射变换参数输出到转换信息校正块160。特征量提取块150基于构成从文件捕获块140输出的运动图像的每个图像以及与各图像相关联的仿射变换参数，提取特征量，然后将提取的特征量输出到转换信息校正块160和合成图像分割判定块170。在本发明实施例中，作为例子，从以下方面来描述特征量提取块150提取的特征量：构成运动图像的每个图像中的场景变化分数、从仿射变换参数提取的摄像机工作的分量(X方向和Y方向的缩放分量、平移分量以及旋转分量)、与这些分量的预定数量个帧相关联的平均值、以及这些分量从起始帧到当前帧的积分值。这里，场景变化分数是基于构成运动图像的每个图像的颜色直方图而计算的值，并且是检测场景变化点时使用的值。场景变化点是表示在运动图像中的图像拍摄场景瞬间变化的情况下的边界点的位置，紧接在该边界点之后的图像是对应于该场景变化点的图像。应当指出将参照图3详细描述特征量提取块150。此外，将参照图6和图7详细描述摄像机工作的各个分量。此外，将参照图4详细描述场景变化点。

转换信息校正块160基于从特征量提取块150输出的特征量对从文件捕获块140输出的仿射变换参数进行校正，然后将校正后的仿射变换参数输出到图像转换块180。更具体地，转换信息校正块160将从特征量提取块150输出的特征量与阈值比较，以确定是否要校正从文件捕获块140输出的仿射变换参数，如果发现要校正仿射变换参数，则校正该仿射变换参数，将校正后的仿射变换参数输出到图像转换块180。另一方面，如果发现不必校正仿射变换参数，则转换信息校正块160不校正仿射变换参数，不向图像转换块180输出。这里，在本发明实施例中，将通过以下示例描述：使用仿射变换参数矩阵(作为单位矩阵)进行校正；和使用与位于当前帧之前和之后的帧相关联的仿射变换参数来计算线性插值矩阵，以将仿射变换参数矩阵替换为计算出的线性插值矩阵，来进行校正。应当指出将参照图27详细描述仿射变换参数的校正。

基于从特征量提取块150输出的特征量，合成图像分割判定块170确定是否从当前形成的合成图像分割出与当前帧相对应的图像以供再现，如果要分割出与当前帧相对应的图像以供再现，向图像转换块180和图像合成块190输出要分割出与当前帧相对应的图像以供再现的信息，并且向特征量提取块150输出擦除直至紧接的前一帧的计算出的摄像机工作分量的指示。此外，当开始图像合成再现时，合成图像分割判定块170测量从开始帧到当前帧的再现时间，以确定是否要从当前形成的合成图像分割出与当前帧相对应的图像以供再现。此外，如果已分割与当前帧相对应的图像，合成图像分割判定块170类似地测量从开始帧到分割时的当前帧的再现时间，然后基于再现时间，确定是否从当前形成的合成图像分割并再现与当前帧相对应的图像。需要指出将参照图28到图30详细描述图像分割。

对于每个帧，图像转换块180对构成从文件捕获块140输出的运动图像文件的运动图像的图像进行仿射变换，其中使用与该图像相对应的仿射变换参数，然后将仿射变换后的图像输出到图像合成块190。此外，如果已经从转换信息校正块160输出了校正后的仿射变换参数，图像转换块180通过使用校正后的仿射变换参数，对每个帧执行仿射变换。此外，如果已经从合成图像分割判定块170输出了表示要对与当前帧相对应的图像进行分割以供再现的信息，图像转换块180使用单位矩阵对与当前帧相对应的图像进行仿射变换，将仿射变换后的图像输出到图像合成块190。应当指出将参照图10到图20详细描述图像转换。

图像合成块190用图像转换块180仿射变换后的图像改写在图像存储器220保持的直至紧接的前一帧的帧的合成图像，并将合成的新合成图像存储在图像存储器220。此外，如果已经从170输出了表示要分割与当前帧相对应的图像以供再现的信息，图像合成块190擦除图像存储器220保持的与直至紧接的前一帧的帧相对应的合成图像，并将与当前帧相对应的图像保持在图像存储器220中。然后，对于当前帧之后的帧，用图像转换块180仿射变换后的图像改写在图像存储器220保持的合成图像，以合成图像。应当指出，如果响应于操作接受块270接受的操作输入，从合成图像分割判定块170输出了表示要分割与当前帧相对应的图像以供再现的信息，图像合成块190能够将与当前帧相对应的图像保持在图像存储器220中的与保持合成图像的位置不同的位置，其中图像存储器220保持的与直至当前帧的帧相对应的合成图像被保留。将参照图28到图30对要分割与当前帧相对应的图像以供再现的情况下的这种图像合成进行详细描述。

此外，基于从显示区域取出块230输出的显示区域中的当前图像的位置，图像合成块190用图像转换块180仿射变换后的当前图像改写显示存储器240保持的合成图像，以进行合成。这里，根据显示放大倍数的值来确定显示存储器中合成的当前图像的大小。应当指出，将参照图20等对显示存储器中的当前图像的合成进行详细描述。这里，图像合成块190对图像转换块180仿射变换后的图像进行压缩，并用压缩图像改写在图像存储器220中保持的合成图像，从而使得要改写在显示存储器中保持的合成图像的当前图像成为具有比非压缩图像或压缩日志图像的分辨率高的分辨率的拍摄图像。因此，可以使输出合成图像时的日志图像成为压缩图像，并且可以使当前图像成为具有比非压缩图像或压缩日志图像的分辨率高的分辨率的拍摄图像。

图像存储器220是保持图像合成块190创建的合成图像的工作缓冲区，并将保持的合成图像提供给图像合成块190或显示区域取出块230。即，图像存储器220是保持日志图像的图像存储器。

显示区域取出块230用于从图像存储器220保持的合成图像取出位于经受显示的显示区域的范围内的图像，并将取出的图像保持在显示存储器。应当指出将参照图19、图20等详细描述从显示区域的范围取出图像，并且将参照图20等详细描述当前图像在显示区域中的位置的计算。

显示存储器240是保持显示区域取出块230从图像存储器220取出的图像的显示缓冲区，所保持的图像被显示在显示块260。

对于每个帧，显示控制块250依次地显示保持在显示存储器中的合成图像。

在显示控制块250的控制下，显示块260显示图像存储器240存储的图像。例如，显示块260可以实现为个人计算机显示器或电视显示器。应当指出将参照图23、图26等描述合成图像的显示例子。

操作接受块270具有各种输入键组成的键盘以及鼠标(点击装置)，并且在接受来自这些鼠标等的操作输入时，将接受的操作输入的内容输出到文件捕获块140、图像合成块190或显示区域取出块230。还可以将操作接受块270和显示块260的至少一部分配置在一个单元中作为触摸板。

参照图2，示出本发明实施例的摄像机工作检测块120的示例功能结构。摄像机工作检测块120具有特征点提取单元121、光流计算单元122以及摄像机工作参数计算单元123。

特征点提取单元121提取与构成从运动图像输入块110输出的运动图像的帧相对应的特征点，并将提取的特征点输出给光流计算单元122。这里，特征点提取单元121对于构成从运动图像输入块110输出的运动图像的各个帧的起始帧，从整个图像提取特征点，以及对于除起始帧以外的其他帧，从与对应于紧接的前一帧的图像相比的新拍摄的区域部分中提取特征点。应当指出，对于特征点，可以选择垂直或水平边沿梯度尖锐的点(通常称为“角点”，以下称为“角点”)。角点是难以光流计算的特征点，并且可以通过利用边沿检测来获得。应当指出将参照图6到图7详细描述对角点的提取。此外，在本例子中，特征点提取单元121对于起始帧从整个图像提取特征点，对于除起始帧以外的其他帧，从与对应于紧接的前一帧的图像相比的新拍摄的区域部分中提取特征点；不过，对于除起始帧以外的帧，根据处理性能和其他因素来从整个图像提取特征点也是可行的。

光流计算单元122计算从特征点提取单元121输出的各特征点的光流，然后将计算获得的光流输出到摄像机工作参数计算单元123。更具体地，通过比较与构成从运动图像输入块110输出的运动图像的连续两个帧(当前帧和紧接的前一帧)相对应的图像，获得对应于紧接的前一帧的图像中的各特征点所对应的光流作为当前帧的光流。此外，对于构成运动图像的每个帧，获得光流。应当指出，对于检测光流的检测方法，可以使用诸如梯度方法或块匹配方法的检测方法。应当指出将参照图6到图7详细描述光流计算。

摄像机工作参数计算单元123利用与从光流计算单元122输出的各特征点相对应的光流，执行摄像机工作参数计算处理以提取摄像机工作参数。将计算出的摄像机工作参数输出到记录控制块130。这里，在本发明实施例中，根据摄像机工作，分别对构成被再现的运动图像的每个图像进行转换和合成。对于图像转换，利用光流计算单元122计算的光流来提取摄像机工作，然后基于提取的工作来计算摄像机工作参数(转换参数)。应当指出，在本发明实施例中，使用如下例子：仿射变换被用于转换构成被再现的运动图像的图像的方法。此外，将将描述如下例子：对于摄像机工作参数，使用与基于光流计算出的仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数。即，在本发明实施例中，如果不是表示连续多个图像之间的特征点运动的仿射矩阵、而是将连续多个图像中的一个图像作为基准图像，用作转换信息的仿射变换参数被限定为与表示该基准图像的下一图像要移动到何处的仿射矩阵相对应的仿射变换参数。此外，以下描述了将仿射变换参数用作摄像机工作参数的示例；然而，使用诸如射影变换(projectivetransformation)的另一图像转换方法也是可行的。应当指出也可以使用诸如射影变换的另一图像转换方法。还应当指出可以通过使用三个向量来获得仿射变换参数。还应当指出可以通过使用四个向量来获得投射(project)变换参数。这里，摄像机工作参数是相对于构成拍摄图像的多个拍摄图像中的至少一个拍摄图像来对其他拍摄图像进行转换的转换信息，并且包括至少在摄像机坐标系中描述的位置信息和姿态信息。即，摄像机工作参数包括与图像拍摄人拍摄图像的情况下的位置和姿态相关联的信息。此外，基于摄像机工作参数计算单元123获得的仿射变换参数，可以推测图像拍摄人操作的摄像机工作，如拉近(zoom-in)、拉远(zoom-out)、摇摄(pan)、倾斜(tilt)、旋转(rotate)等。应当指出将参照图6到图7详细描述仿射变换参数的计算。

图3是例示了本发明实施例的特征量提取块150的示例功能结构的框图。特征量提取块150具有颜色直方图提取单元151、连续帧间差值计算单元152、场景变化分数计算单元153、摄像机工作分量计算单元155、摄像机工作分量保持单元156、摄像机工作分量平均值计算单元157、以及摄像机工作分量积分值计算单元158。

颜色直方图提取单元151对每个帧提取构成从文件捕获块140输出的运动图像的每个整个图像的颜色直方图，并将提取的颜色直方图输出到连续帧间差值计算单元152。

连续帧间差值计算单元152计算从颜色直方图提取单元151输出的两个连续帧之间的颜色直方图的颜色分布的差值，并将计算出的差值输出到场景变化分数计算单元153。这里，在本发明实施例中，通过利用EMD(陆地运动者距离，Earth Movers Distance)对计算的相似度进行数字化而获得的值作为两个连续帧之间的颜色直方图的颜色分布的差值。应当指出EMD代表颜色分布之间的距离，并用于相似图像搜索等(例如参见日本特开2007-206919)。

场景变化分数计算单元153对从连续帧间差值计算单元152输出的颜色直方图的颜色分布差值，通过高通滤波器，去除帧间差值的偏移差值(去除DC分量)，从而将DC分量去除后的值计算为场景变化分数，将计算出的场景变化分数输出到转换信息校正块160和合成图像分割判定块170。应当指出，在本发明实施例中，描述了利用基于EMD计算的相似性来计算两个连续帧之间的差值并基于该差值来计算场景变化分数的示例；计算时间轴上构成运动图像的帧之间的另一差值以基于该差值计算场景变化分数也是可行的。

摄像机工作分量计算单元155根据与文件捕获块140输出的当前帧相对应的仿射变换参数来计算摄像机工作分量(x方向和y方向的平移分量、缩放分量以及转动分量)，将计算出的摄像机工作分量输出到转换信息校正块160、摄像机工作分量平均值计算单元157、以及摄像机工作分量积分值计算单元158，然后将计算出的摄像机工作分量保持在摄像机工作分量保持单元156。

摄像机工作分量保持单元156为每个帧保持摄像机工作分量计算单元155计算出的直至当前帧的摄像机工作分量，将所保持的摄像机工作分量提供给摄像机工作分量平均值计算单元157和摄像机工作分量积分值计算单元158。此外，如果来自合成图像分割判定块170的擦除直至紧接的前一帧的计算出的摄像机工作分量的指令，摄像机工作分量保持单元156擦除所保持的摄像机工作分量。

摄像机工作分量平均值计算单元157基于从摄像机工作分量计算单元155输出的与当前帧相对应的摄像机工作分量和摄像机工作分量保持单元156保持的与从紧接的前一帧起的直至预定数量个帧的帧相对应的摄像机工作分量，计算摄像机工作分量的平均值，然后将计算出的摄像机工作分量的平均值输出到合成图像分割判定块170。可以将用于计算摄像机工作分量的平均值的帧数量设定为例如约5个。

摄像机工作分量积分值计算单元158基于从摄像机工作分量计算单元155输出的与当前帧相对应的摄像机工作分量和与从摄像机工作分量保持单元156中保持的起始帧起直至前一帧的帧相对应的摄像机工作分量，计算摄像机工作分量的积分值，然后将计算出的摄像机工作分量的积分值输出到合成图像分割判定块170。这里，如果从合成图像分割判定块170输出了表示要擦除直至紧接的前一帧的计算出的摄像机工作分量的指示，擦除摄像机工作分量保持单元156中保持的摄像机工作的每个分量。因此，如果计算了指定帧的下一帧之后的摄像机工作分量的积分值，摄像机工作分量积分值计算单元158通过利用从摄像机工作分量计算单元155输出的与当前帧相对应的摄像机工作分量和摄像机工作分量保持单元156中保持的从进行指示时的帧起到紧接的前一帧的每个帧所对应的摄像机工作分量，来计算摄像机工作分量的积分值。

以下参照附图详细描述运动图像中的场景变化点。

图4示意性示出以时间序列排列与构成运动图像的帧相对应的图像的示例。在该图中，示意性示出与构成图像拍摄设备拍摄的运动图像350的分量相对应的图像351到358。应当指出，对于图像351到358，为了描述方便起见，以简化方式示出数字、主题等。如该图中所示，尽管图像351到358是包括在一个运动图像350中的图像，但是三个场景在图像拍摄时间和位置上互不相同，因而随着这些场景所在的各帧的变化，主题的构图、颜色等也瞬时变化。这样，如果主题的构图、颜色等瞬时变化并且连续两个帧的直方图差值超过阈值，将场景变化点确定为位于这两个连续帧之间。转换信息校正块160和合成图像分割判定块170来执行场景变化点确定。这里，在确定场景变化点时使用的阈值可以是对于转换信息校正块160和合成图像分割判定块170这两者相同的值，或者是在这些块之间不同的值。例如，为了防止频率分割，可以将合成图像分割判定块170的阈值设定为高于转换信息校正块160的阈值。

例如，图像351到353是拍摄在街上行走的人并且此人正在移动的图像，因而，尽管此人的位置在图像之间稍微不同，但是这些图像整体上给人以大体相似的印象。因此，与图像351到353相关联的两个连续帧之间的直方图差值不超过阈值，从而确定在这两个连续帧之间没有场景变化点。

此外，图像354到356是拍摄山前方的房子的图像，这些图像是通过水平移动图像拍摄设备而拍摄的，因而，尽管主题的位置在图像之间水平地稍微不同，但是这些图像整体上给人以大体相似的印象。然而，如果在图像353与图像354之间比较，图像拍摄时间和位置对应于不同的场景切换部分，因而整个图像很大程度上彼此不同。因此，将图像353与图像354之间的边界确定为场景变化点。此外，将图像356与图像357之间的边界类似地确定为场景变化点。因此，如果确定了场景变化点，在本发明实施例中将紧接该边界点之后的图像确定为与场景变化点相对应的图像。例如与场景变化点相对应的图像是图像354和357。

参照图5，示意性示出被记录到本发明实施例中的运动图像存储块200和元数据存储块210的每个文件。图5(a)示出存储在运动图像存储块200中的运动图像文件201到204，和与运动图像文件201到204相关联的存储在元数据存储块210中的元数据文件211到213。这里，假设对每个运动图像文件分配用于标识运动图像存储块200存储的每个运动图像文件的运动图像ID。例如，将″#1″分配给运动图像文件201，将″#2″分配给运动图像文件202，将″#n″分配给运动图像文件204。

图5(b)示意性示出存储在运动图像存储块200中的运动图像文件201，和与运动图像文件201相关联的存储在元数据存储块210中的元数据文件211。这里，运动图像文件201是n个帧构成的运动图像文件，并将这n个帧表示为帧″1″205到″n″208。

此外，与运动图像ID 214、帧号215以及仿射变换参数216相关联地存储元数据211。

运动图像ID 214是分配给对应的运动图像文件的运动图像ID；例如，存储分配给运动图像文件201的″#1″。

帧号215是构成对应的运动图像文件的运动图像的每个帧的序列号；例如，存储与构成运动图像文件201的运动图像的帧″1″205到″n″208相对应的″1″到″n″。

仿射变换参数216是对运动图像的每个帧计算出的仿射变换参数，与帧号215相对应。应当指出与帧号215″1″相对应的仿射参数216″al，bl，cl，dl，el，fl″是单位矩阵的仿射变换参数。此外，与帧号215″m″(m是2或更大的整数)相对应的仿射变换参数216″am，bm，cm，dm，em，fm″是与帧“m”的紧接的前一帧″m-1″相对应的仿射变换参数。

以下参照附图详细描述检测用于图像转换的仿射变换参数的检测方法。

图6(a)到(c)示出与构成运动图像的帧相对应的图像的示例。图7(a)示出通过略去背景等而简化的图像，带有与图5所示图像300所对应的紧接的前一帧相对应的图像。图7(b)和(c)示出带有图6所示的图像300的通过略去背景等而简化的图像。

图6和图7所示的图像300，320以及330包括安装马301，321以及331的图像，和布置在这些安装马图像301，321以及331的前方的蛇图像302，322以及332。此外，如图6所示，在这些图像的背景中，存在旗帜、椅子等，这些旗帜在风中飘扬。

图7(a)所示的图像320是对与图6(a)到(c)和图7(b)和(c)所示的图像300和330所对应的紧接的前一帧相对应的图像进行简化而获得的图像。与两个连续帧相对应的图像320和330是表示在画面中的主题逐渐放大的情况下的转变的图像。即，在图像拍摄时，执行拉近操作，其为用于逐渐放大画面中的主题的操作。

在本发明实施例中，例如采用如下方法：从构成运动图像的图像检测特征点，然后计算与该特征点相对应的光流，以计算仿射变换参数。在本例子中，描述以角点作为特征点的情况。

这里，参照图7(a)到(c)，作为示例描述如下方法：将与从图像320和330检测的3个角点相对应的光流用于计算仿射变换参数。

例如，假设在图7(a)所示的图像320，已经将马图像321的嘴附近的角点323、马图像321的骑手臀部附近的角点324以及蛇图像322的嘴附近的角点325检测为特征点。在此情况下，在图7(b)所示的图像330中，通过梯度方法或块匹配方法检测到图像320中的角点323，324以及325的光流337，338以及339。然后，基于检测的这些光流337，338以及339，检测与图像320的角点323，324以及325相对应的角点333，334以及335。

这里，例如，由于图7(a)和(b)所示图像320和330包括的马图像321、331和蛇图像322、332安装在地面上，因此无论摄像机如何工作，这些图像都不会移动。因此，基于从马图像321、331和蛇图像322、332检测到的角点获得的光流，可以正确地估计摄像机工作。例如，如图7(c)所示，基于图像330检测到的3个光流337到339，可以估计出在点336周围，图像330是图像架板320的放大。因此，可以将拍摄图像330时的摄像机工作确定为点336周围的拉近操作。这样，在无论摄像机如何工作都不移动的对象中，可以检测到角点，然后基于对这些角点获得的光流，可以正确检测到具有一定规则性的摄像机工作。因此，利用对这些角点获得的光流，可以获得仿射变换参数。

然而，如在风中飘扬的旗帜，图像可能包括无论摄像机如何工作都会移动的对象。例如，图6所示的图像300包含在风中飘扬的旗帜。如果在无论摄像机如何工作都会移动的对象中检测到角点以及利用对所检测的角点获得的光流来估计摄像机工作，那么不能正确地估计摄像机工作。

例如，箭头表示图6(b)所示的图像300中检测的光流，末端的白圆圈表示通过光流检测到的角点。这里，角点303到305是与图7(b)和(c)所示的角点333到335相对应的角点。此外，角点306到311是对位于马图像301的背景中的旗帜所检测到的角点。然后，由于这些旗帜在风中飘扬，受风影响的每个旗帜的运动被检测为光流。即，对于无论摄像机如何工作都会运动的旗帜，检测出与角点306到311相对应的各光流。因此，如果在计算仿射变换参数的3个光流中包括与角点306到311中的至少一个角点相对应的光流，则不会检测出正确的摄像机工作。

如上所述，例如，可以从拍摄图像中检测到无论摄像机如何工作都会运动的对象的光流(与图6(b)所示角点306到311相对应的光流)，和对于摄像机工作来说具有一定规则性的光流(除与图6(b)所示角点306到311相对应的光流以外的光流)。

因此，在本发明实施例中，描述如下示例：基于3个光流来计算仿射变换参数的仿射变换参数计算处理被执行两次或更多次，以获得两个或更多个仿射变换参数，然后从所获得的两个或更多个仿射变换参数中选择最优仿射变换参数。应当指出，在本例子中，假设构成运动图像的每个图像中包括的运动对象的尺寸相对于图像的面积来说相对小。

这里，以简单方式描述仿射变换。在二维空间中，运动源的位置为(x，y)，并且仿射变换后的运动目的地位置为(x′，y′)，那么可以由以下公式1表示仿射信息的行列式。

[数学表达式1]

$\left[\begin{array}{ccc}{x}^{\′}& y^{\′}& 1\end{array}\right]=\left[\begin{array}{ccc}x& y& 1\end{array}\right]\left[\begin{array}{ccc}a& d& 0\\ b& e& 0\\ c& f& 1\end{array}\right]$ ...(公式1)

在以上表达式中，a到f表示仿射变换参数。此外，可以由以下公式表示基于这些仿射变换参数的仿射矩阵AM。在此情况下，可以通过以下公式分别获得x方向的缩放分量XZ、Y方向的缩放分量YZ、X方向的平移分量XT、Y方向的平移分量YT、X方向的转动分量θx以及Y方向的转动分量θy。应当指出，在单位矩阵的情况下，满足a＝e＝1，b＝c＝d＝f＝0。

[数学表达式2]

$\mathrm{AM}=\begin{array}{}\left[\begin{array}{ccc}a& b& c\\ d& e& f\end{array}\right]\end{array}$

$\mathrm{XZ}=\sqrt{a^2+d^2}$ $\mathrm{YZ}=\sqrt{b^2+c^2}$

XT＝c    YT＝f

${\mathrm{\θ}}_x=\mathrm{ta}{n}^{-1}\left[\frac{d}{a}\right]$ ${\mathrm{\θ}}_y={\tan }^{-1}\left[\frac{b}{e}\right]$

如上所述，可以从仿射变换参数获得摄像机工作分量(X方向和Y方向缩放分量、平移分量以及转动分量)。应当指出，将参照图8描述转动分量。

图8示出利用预定仿射变换参数对矩形340转换的情况。如图所示，令利用预定仿射变换参数对矩形340转换后的矩形为矩形341，在xy坐标中，矩形340的两个边为与顶点相接触的x轴和y轴，该顶点对应于原点，其为矩形340的一个顶点。在此情况下，令矩形340和341的x轴侧的边形成的角为转动分量θx，并且矩形340和341的y轴侧的边形成的角为转动分量θy。

以下描述计算摄像机工作分量的平均值和积分值的计算方法。

摄像机工作分量的平均值是将对与预定数量个帧相对应的摄像机工作分量相加而获得的值除以预定数量而获得的值。例如，在摄像机工作分量的X方向的平移分量的平均值的计算中，如果预定数量为5，并且经受该计算的帧1到5的摄像机工作参数的X方向的平移分量是XT1到XT5，则可以通过″(XT1+XT2+XT3+XT4+XT5)/5″来获得平均值。应当指出，使用将对摄像机工作分量相加所获得的值除以被计算的帧之间经过的时间而获得的平均速度，而不使用摄像机工作分量的平均值，也是可行的。

此外，摄像机工作分量的积分值是对与从起始帧到当前帧的每个帧相对应的摄像机工作分量进行相加而获得的值。例如，在摄像机工作分量的X方向的平移分量的积分值的计算中，如果从起始帧到当前帧的帧1到5的摄像机工作分量的X方向的平移分量是XT1到XT5，那么可以通过″XT1+XT 2+XT3+XT4+XT5″来获得积分值。

以下描述仿射变换参数计算方法。

首先，在与作为构成运动图像的多个帧之一的当前帧相对应的图像中，从特征点中选择3个特征点，其中从这些特征点检测到光流。例如，从图6(b)所示的图像300检测的角点(由白圆圈表示)随机选择3个角点。应当指出，如果使用射影变换参数作为摄像机工作参数，则随机选择4个特征点。

接着，利用与所选择的3个特征点相对应的3个光流来计算仿射变换参数。例如，利用与图6(b)所示图像300的角点中的3个角点(由白圆圈表示)相对应的光流(由连接到白圆圈的箭头表示)来计算仿射变换参数。可以通过使用公式1来获得仿射变换参数。

接着，基于获得的仿射变换参数，获得仿射变换参数的分数。更具体地，通过利用所获得的仿射变换参数，获得与当前帧的紧接的前一帧相对应的图像中的所有特征点的运动目的地的位置。然后，在利用仿射变换参数获得的特征点的运动目的地的位置与在当前帧中检测到的特征点的位置之间进行比较，以计算相互对应的两个特征点的位置之间的差值。至于所述差值，例如，计算这两个相对应的位置之间的绝对距离。然后，对每个特征点在计算出的差值与预设阈值之间比较，将具有比阈值小的差值的特征点数量计算为仿射变换参数的分数。这样，从特征点(从这些特征点检测到光流)中随机选择3个特征点，基于与这些特征点相对应的光流，重复计算仿射变换参数分数的处理预定次数，从而计算仿射变换参数的两个或更多个分数。所述预定次数可以根据被比较图像的类型或者图像处理设备100的处理性能等来适当设定，或者利用固定值来设定。通过考虑图像处理设备100的处理性能，例如，预定次数可以是20左右。

例如，假设图6(b)所示的图像300检测的角点中的3个角点，除角点306到311以外。如果通过利用与如此选择的3个角点相对应的3个光流来计算仿射变换参数，获得用于根据某些规则对与紧接的前一图像相对应的图像进行转换的仿射变换参数，因为，如上所述，这3个光流具有一定的规则性。因此，对于除角点306到311以外的角点，在利用仿射变换参数而获得的角点的位置与在当前帧中检测到的角点的位置之间的所获得的差值，计算相对小的值。因此，仿射变换参数的分数取大值。

另一方面，假设从图6(b)所示图像300中检测的角点中选择了包括角点306到311的至少一个角点的3个角点。如果利用与如此选择的3个角点相对应的3个光流来计算仿射变换参数，则获得不能转换与紧接的前一图像相对应的图像的仿射变换参数，因为，在这3个光流中包括没有一定规则性的光流。因此，对于在利用仿射变换参数而获得的角点的位置与在当前帧中获得的角点的位置之间的差值，在特定角点获得相对大的值。因此，仿射变换参数的分数取小值。

接着，在获得的两个或更多个仿射变换参数分数中，选择具有最大分数值的仿射变换参数作为代表性仿射变换参数。然后，计算代表性仿射变换参数的矩阵的逆矩阵，将逆矩阵的仿射变换参数与当前帧相关联地记录到元数据存储块210。结果，在对构成运动图像的图像的仿射变换中，可以使用最优仿射变换参数来执行仿射变换。

如上所述，如果构成运动图像的每个图像中包括运动的对象(运动对象)，如人、汽车等，并且如果这种运动对象的尺寸相对于图像的面积来说相对小，可以在不受运动对象的影响的情况下提取摄像机工作。

此外，通过提取摄像机工作，可以估计被视为图像拍摄人有意进行的运动，如拉近、拉远、摇摄、倾斜以及转动。应当指出，在公式1中，可以基于两个光流来计算仿射变换参数，其中a＝e，d＝-b。例如，如果例如使用基于3个光流计算的仿射变换参数对图像进行仿射变换，可以将矩形图像转换成平行四边形。相反，如果例如使用基于2个光流计算出的仿射变换参数对图像进行仿射变换，可以对矩形状态的图像执行平移、转动以及缩放(缩放比例在xy方向相同)中的至少一个。在本发明实施例中，将描述使用基于3个光流计算出的仿射变换参数执行图像转换的例子；如果利用基于两个光流计算出的仿射变换参数来执行图像转换，那么本发明实施例也是适用的。

以下参照附图描述本发明实施例的图像处理设备100的操作。

参照图9，示出流程图，表示本发明实施例的图像处理设备100进行的仿射变换参数检测处理的处理过程。

首先，在运动图像输入块110中输入运动图像文件(步骤S900)。接着，对运动图像输入块110中输入的运动图像文件进行解码，并按时间序列获得一个帧的图像(步骤S901)。接着，确定所获得的一个帧是否为在运动图像输入块110中输入的运动图像数据的起始帧(步骤S902)。如果发现所获得的一个帧是起始帧(步骤S902)，从与起始帧相对应的整个图像提取特征点(步骤S903)。例如，如图6(b)所示，在该图像中提取两个或更多个角点。接着，选择单位矩阵的仿射变换参数作为仿射变换参数(步骤S904)，此时本过程进行到步骤S914。

另一方面，如果发现所获得的一个帧不是起始帧(步骤S902)，则从相对于与紧接的前一帧相对应的图像来说新拍摄的区域中提取特征点(步骤S905)。即，在与紧接的前一帧相对应的图像中已经提取的特征点可以通过与该特征点相对应的光流来获得，因此在与当前帧相对应的图像中不提取这些特征点。

接着，计算从与紧接的前一帧相对应的图像中提取的每个特征点的光流(步骤S906)。即，如图6(b)所示，计算每个角点的光流。

接着，将变量i初始化为“1”(步骤S907)。接着，从计算出光流的特征点中选择M个特征点(步骤S908)。例如，如果使用仿射变换参数作为摄像机工作参数，随机选择3个特征点。此外，如果使用射影变换参数作为摄像机工作参数，随机选择4个特征点。接着，基于对所选择的M个特征点计算出的M个光流，计算仿射变换参数(步骤S909)。

接着，基于计算的仿射变换参数，计算仿射变换参数的分数(步骤S910)。更具体地，利用计算获得的仿射变换参数，获得与紧接的前一帧相对应的图像中的所有特征点的运动目的地的位置。然后，在通过仿射变换参数获得的特征点的位置与步骤S906的光流计算中获得的与当前帧相对应的图像中的特征点的位置之间进行比较，以为每个特征点计算两个相应特征点的位置之间的差值。至于差值，例如，计算两个相应位置之间的绝对距离。接着，对每个特征点，比较计算的差值与预设阈值，以获得差值小于阈值的特征点的数量，作为仿射变换参数的分数。

接着，将“1”加到变量i(步骤S911)，以确定变量i是否大于常数N(步骤S912)。如果变量i小于常数N(步骤S912)，则本过程返回到步骤S908，以重复仿射变换参数分数计算处理(步骤S908到S910)。例如，可以使用20作为常数N。

另一方面，如果变量i大于常数N(步骤S912)，则根据所获得的仿射变换参数的分数，选择具有最大值的仿射变换参数作为代表性仿射变换参数(步骤S913)。接着，将与所选仿射变换参数的矩阵的逆矩阵相对应的仿射变换参数与当前帧相关联地记录到元数据存储块210(步骤S914)。应当指出，如果当前帧是起始帧，将所选单位矩阵的仿射变换参数与起始帧相关联地记录到元数据存储块210。接着，以改写方式存储与当前帧相对应的图像和该图像中的特征点(步骤S915)。

接着，确定当前帧是否为在运动图像输入块110中输入的运动图像的最后一帧(步骤S916)。如果当前帧不是最后一帧(步骤S916)，本过程返回到步骤S901以重复仿射变换参数检测处理(步骤S901到S915)。另一方面，如果当前帧是最后一帧(步骤S916)，则仿射变换参数检测处理结束。

在本发明实施例中，已经通过例如如下示例进行了描述：其中对于摄像机工作参数的检测，基于构成运动图像的图像中检测到的光流来检测仿射变换参数；不过，还可以在摄像机上布置传感器(如加速度传感器或例如陀螺仪传感器)或在缩放操作中使用的缩放按钮，检测摄像机在图像拍摄时的运动量，然后获得与所检测的摄像机运动量有关的摄像机工作参数。应当指出，当确定摄像机工作参数计算单元123获得的摄像机工作参数是否正确时，可以使用在图像拍摄时检测的摄像机运动量。此外，还可以由摄像机工作参数计算单元123事先检测两个或更多个摄像机工作参数，以及基于在图像拍摄时检测的摄像机运动量，这些摄像机工作参数之一。

以下参照附图详细描述使用摄像机工作检测块120计算的仿射变换参数来合成/再现一个运动图像的情况。应当指出，图10到图18所示图像是以简化方式示出的，并且为了描述方便起见，将两个连续帧之间的运动量示出为很大。

首先，描述如下情况：在摄像机拍摄图像时，在放大倍数保持不变的情况下，摄像机的镜头方向相对于摄像机位置向上、向下、向左或向右移动。

图10示出摄像机拍摄的运动图像的转变的例子。图10示出与运动图像中包括的连续帧相对应的图像401到403，在运动图像中，以山为背景拍摄人400。在该例子中，图像拍摄人通过将摄像机镜头向右侧和向上移动来拍摄图像。在此情况下，在构成运动图像的图像中，摄像机拍摄到的运动图像中包括的人400从右向左和向下移动。

图11以虚线示出与图10所示的每个图像中的紧接的前一帧相对应的图像和要检测的光流的例子。图11(a)所示的图像401与图10(a)所示的图像401相同。图11(b)所示的图像402的实线部分与图10(b)所示的图像402的相同，图11(b)所示的图像402的虚线部分与图11(a)所示的图像401的实线部分相同。图11(b)所示的图像402的箭头404到406表示从图像402检测的光流的例子。类似的，图11(c)所示的图像403的实线部分与图10(c)所示的图像403的相同，图11(c)所示的图像403的虚线部分与图11(b)所示的图像402的实线部分相同。图11(c)所示的图像403的箭头407到409表示从图像403检测的光流的例子。

如图11(b)和(c)所示，图像包括的人400和背景山随着摄像机移动而移动。基于通过该移动所检测的光流，可以对每个帧获得仿射变换参数。

图12示出图像合成示例，其中包括图10所示的图像401到403的运动图像在被合成时被再现。应当指出，在本发明实施例中，对构成两个运动图像的每个图像进行合成，使得随着再现时间的流逝，显示块260上显示的图像变得比普通图像大。因此，要首先显示的图像以比显示块260的显示面积尺寸相对较小的尺寸来显示。应当指出，用户指定要首先显示的图像的大小和位置也是可行的。

如图12(a)所示，首先显示仅与起始帧相对应的图像401。这里，令与图像401相对应的仿射变换参数的矩阵(3×3矩阵)为A1，那么获得A1的值，然后通过获得的A1矩阵，相对于起始帧的图像401的位置和尺寸，对图像401进行仿射变换。这里，由于A1是单位矩阵，因此不对图像401的位置和尺寸进行转换。接着，如果与下一帧相对应的图像402被合成，利用与该帧相关联的仿射变换参数对图像402进行仿射变换。更具体地，令与图像402相对应的仿射变换参数的矩阵为A2，并且与图像401相对应的仿射变换参数的矩阵为A1，那么获得A2×A1的值，利用获得的矩阵A2×A1相对于起始帧的图像401的位置和尺寸，对图像402进行仿射变换。在图12(b)所示的图像中，仅对图像402的位置进行转换。然后，用通过仿射变换参数仿射变换后的图像402改写与紧接的前一帧相对应的图像401。即，在图像401的区域中，在与图像402相交叠的区域410重写图像402的图像。此外，在图像401的区域中，将与图像402不交叠的区域411同图像401的图像相合成。即，如果与第二帧相对应的图像402被显示，通过将图像402的整个部分与图像401的对应于区域411的部分合成而获得的图像被显示，如图12(b)所示。此外，还可以在当前帧的周围显示表示已显示的图像之中的最新近的图像的图像帧。在图12(b)中，在图像402周围显示图像帧。此外，将对图像402进行仿射变换的仿射变换参数保持在图像转换块180中。

接着，如果与随后的帧相对应的图像403被合成，使用与该帧相关联的仿射变换参数对图像403进行仿射变换。即，通过利用与图像403相对应的仿射变换参数的矩阵和用于紧接的前一仿射变换的与图像402相对应的仿射变换参数的矩阵而获得的仿射变换参数，对图像403进行仿射变换。更具体地，令图像403的仿射变换参数的矩阵为A3，图像402的仿射变换参数的矩阵为A2，图像401的仿射变换参数的矩阵为A1，那么获得A1×A2×A3，然后通过获得的矩阵A1×A2×A3，相对于起始帧的图像401的位置和尺寸，对图像403进行仿射变换。在图12(c)所示的图像中，仅对图像403的位置进行转换。然后，用通过仿射变换参数仿射变换后的图像403改写与前一帧相对应的图像401和图像402的合成图像。即，在图像401和图像402的合成图像的区域中，在与图像403相交叠的区域413和414上重写图像403的图像。此外，在图像401和图像402的合成图像的区域中，对与图像403不交叠的区域411和412，图像401和图像402的合成图像被合成。即，如果与第三帧相对应的图像403被合成，图像403的整个部分、和与图像401的区域411相对应的部分和与图像402的区域412相对应的部分合成的图像被显示，如图12(c)所示。此外，如果在与当前帧相对应的图像周围显示表示已显示的图像之中的最新近的图像的图像帧，在图12(c)所示的图像403周围显示图像帧。即，把与图像402和403相对应的仿射变换参数的矩阵相乘而获得的仿射变换参数保持在图像转换块180中。这样，在与当前帧相对应的图像的仿射变换中，利用与当前帧相对应的仿射变换参数的矩阵和与紧接的前一帧之前的每个帧相对应的仿射变换参数的矩阵而获得的仿射变换参数，对与当前帧相对应的图像进行仿射变换。将仿射变换中获得的仿射变换参数保持在图像转换块180中，以用于下一仿射变换。这对于图15和图18所示例子是相同的。

以下描述如下情况：在镜头方向保持不动的情况下，在摄像机拍摄图像时改变放大倍数。

图13示出摄像机拍摄的运动图像的转变的例子。图13示出在以山为背景来拍摄人420的情况下运动图像包括的连续帧所对应的图像421到423。在该例子中，图像拍摄人在提高摄像机镜头的放大倍数的同时拍摄图像。在此情况下，在构成运动图像的图像中，摄像机拍摄的运动图像中包括的人420的尺寸变大。应当指出，尽管在提高放大倍数时摄像机位置移动了一点，但是这里的描述是在不考虑摄像机位置移动的情况下进行的。

图14以虚线示出图13所示的各图像中的与紧接的前一帧相对应的图像并且示出要检测的光流。图14(a)所示的图像421与图13(a)所示的图像421相同。图14(b)所示的图像422的实线部分与图13(b)所示的图像422的相同，图14(b)所示的图像422的实线部分与图13(b)所示的图像422的相同，图14(b)所示的图像422的虚线部分与图13(a)所示的图像421的相同。图14(b)所示的图像422中的箭头424到426表示从图像422检测的光流的例子。类似的，图14(c)所示的图像423的实线部分与图13(c)所示的图像423的相同，图14(c)所示的图像423的虚线部分与图13(b)所示的图像422的实线部分相同。图14(c)所示的图像423中的箭头427到429表示从图像423检测的光流的例子。

如图14(b)和(c)所示，图像包括的人420和背景山随着放大倍数的变化而变化。基于通过该变化所检测的光流，可以对每个帧获得仿射变换参数。

图15示出在再现包括图13所示的图像421到423的图像的情况下的显示例子。

如图15(a)所示，首先，仅显示与起始帧相对应的图像421。接着，如果对与后一帧相对应的图像422进行合成，使用与该帧相关联的仿射变换参数对图像422进行仿射变换。在图15(b)所示的图像中，仅对图像422的大小进行转换。然后，用通过仿射变换参数仿射变换后的图像422重写与紧接的前一帧相对应的图像421。即，在图像421的区域中，在与图像422相交叠的区域上重写图像422的图像。在此情况下，由于图像421与图像422的所有区域相交叠，因此将图像422的所有图像重写在图像421上。此外，在图像421的区域中，将与图像422不相交叠的区域431与图像421的图像合成。即，如果显示与第二帧相对应的图像422，将图像422的整个部分和与图像421的区域431相对应的部分合成而获得的图像被显示，如图15(b)所示。此外，还可以在当前帧的周围显示表示已显示的图像之中的最新近的图像的图像帧。在图15(b)中，在图像422的周围显示图像帧。此外，将对图像422进行仿射变换的仿射变换参数保持在图像转换块180中。

接着，如果对与下一帧相对应的图像423进行合成，使用与该帧相关联的仿射变换参数对图像423进行仿射变换。即，利用通过把与图像423相对应的仿射变换参数的矩阵、和与图像422相对应的用于紧接的前一仿射变换的仿射变换参数的矩阵相乘而获得的仿射变换参数，对图像423进行仿射变换。在图15(c)所示的图像中，仅对图像423的大小进行转换。然后，仿射变换后的图像423重写在图像421和422的与前一帧相对应的合成图像上。即，在图像421和422的合成图像的区域中，与图像423相交叠的区域上重写图像423的图像。在此情况下，图像423与图像421和422的所有区域相交叠，因此将图像423的所有图像重写在图像421和422的合成图像上。此外，在图像421和422的合成图像的区域中，对于与图像423不相交叠的区域432和433，图像421和422的合成图像被合成。即，如果与第三帧相对应的图像423被合成，图像423的整个部分、图像421的与区域432相对应的部分、以及图像422的与区域433相对应的部分被合成，如图15(c)所示。即，如果显示与第三帧相对应的图像423，则显示将图像423的整个部分和图像421中的与区域432相对应的部分合成而获得的图像，如图15(b)所示。此外，还可以在当前帧的周围显示表示已显示的图像之中的最新近的图像的图像帧。在图15(b)中，在图像423的周围显示图像帧。此外，将对图像423进行仿射变换的仿射变换参数保持在图像转换块180中。即，将通过使用图像422和423中的每一个的仿射变换参数而获得的仿射变换参数保持在图像转换块180中。

以下描述如下情况：摄像机镜头方向和放大倍数保持不变，在摄像机拍摄图像时摄像机绕着图像拍摄方向转动。

图16示出摄像机拍摄的运动图像的转变的例子。图16示出在以山为背景来拍摄人440的情况下运动图像包括的连续帧所对应的图像441到443。在该例子中，图像拍摄人在绕图像拍摄方向转动摄像机的同时拍摄图像。在此情况下，在构成该运动图像的图像中，摄像机拍摄的运动图像中包括的人440转动。应当指出，尽管随着摄像机转动摄像机位置会移动一点，但是这里的描述是在不考虑摄像机位置移动的情况下进行的。

图17以虚线示出图15所示的各图像中的与紧接的前一帧相对应的图像并且示出要检测的光流的例子。图17(a)所示的图像441与图16(a)所示的图像441相同。此外，图17(b)所示的图像442的实线部分与图16(b)所示的图像442的相同，图17(b)所示的图像442的虚线部分与图16(a)所示的图像441的实线部分相同。此外，图17(b)所示的箭头444到446表示从图像442检测的光流。类似的，图17(c)所示的图像443的实线部分与图16(c)所示的图像443的相同，图17(c)所示的图像443的虚线部分与图16(b)所示的图像442的实线部分相同。图17(c)所示的图像443中的箭头447到449表示从图像443检测的光流的例子。

如图17(b)和(c)所示，图像包括的人440和背景山随着摄像机转动而旋转运动。基于通过该转动运动所检测到的光流，可以对每个帧获得仿射变换参数。

图18示出合成包括图16所示的图像441到443的运动图像的情况下的合成示例。

如图18(a)所示，首先，仅显示与起始帧相对应的图像441。接着，如果对与后一帧相对应的图像442进行合成，通过使用与该帧相关联的仿射变换参数对图像442进行仿射变换。在图18(b)所示的图像中，仅对图像442的角度进行转换。然后，将通过仿射变换参数仿射变换后的图像442重写在与紧接的前一帧相对应的图像441上。即，在图像441的区域中，在与图像442相交叠的区域450重写图像442的图像。此外，在图像441的区域中，将与图像442不相交叠的区域451和452与图像441的图像合成。即，如果显示与第二帧相对应的图像442，显示将图像442的整个部分和与区域451和452相对应的部分合成而获得的图像，如图18(b)所示。此外，还可以在当前帧的周围显示表示已显示的图像中的最新近的图像的图像帧。在图18(b)中，在图像442的周围显示图像帧。此外，将对图像442进行仿射变换的仿射变换参数保持在图像转换块180中。

接着，如果对与下一帧相对应的图像443进行合成，通过使用与该帧相关联的仿射变换参数对图像443进行仿射变换。即，通过使用与图像443相对应的仿射变换参数的矩阵、和与图像442相对应的用于紧接的前一仿射变换的仿射变换参数的矩阵而获得的仿射变换参数，对图像443进行仿射变换。在图18(c)所示的图像中，仅对图像443的角度进行转换。然后，将仿射变换后的图像443重写在与前一帧相对应的图像441和442的合成图像上。即，在图像441和442的合成图像的区域中，在与图像443相交叠的区域453到457上重写图像443的图像。此外，在图像441和442的合成图像的区域中，将与图像443不相交叠的区域458到461与图像441和442的合成图像进一步合成。即，如果显示与第三帧相对应的图像443，通过将图像443的整个部分和图像441中的与区域459相对应的部分以及图像442中的与区域458和461相对应的部分合成而获得的图像被显示，如图18(c)所示。此外，还可以在当前帧的周围显示表示已显示的图像中的最新近的图像的图像帧。在图18(c)中，在图像443的周围显示图像帧。此外，将对图像443进行仿射变换的仿射变换参数保持在图像转换块180中。即，将使用图像442和443中的每一个的仿射变换参数而获得的仿射变换参数保持在图像转换块180中。

图19示意性示出本发明实施例的运动图像存储块200中存储的运动图像文件的每个帧与显示区域之间的关系。这里，仅例示了操作接受块270、元数据存储块210以及图像存储器220，略去了其他结构。此外，以下描述使用如下例子：对于构成图5(b)所示的运动图像文件201的帧“1”到“3”，使用元数据文件211存储的仿射变换参数216在图像存储器220中创建合成图像。应当指出，图19示出在图像存储器220中保持一个运动图像的示例；在图像存储器220中保持两个或更多个运动图像以创建合成图像也是可行的。

图19(a)示出如下情况：作为构成图像5(b)所示的运动图像文件201的各个帧中的第一帧的帧1(205)被存储在图像存储器220中。例如，如图19(a)所示，与运动图像文件201的帧1(205)相对应的图像471被存储在图像存储器220中。这里，在图像存储器220中，可以将与第一帧相对应的图像471的位置和大小存储在预定位置或者用户通过操作接受块270指定的位置。替换地，例如，使用与要再现的运动图像相关联的元数据文件，可以计算出通过构成该运动图像的每个帧来创建的合成图像的大小，以基于该计算来确定存储图像471的位置。应当指出以下描述是基于如下假设：布置在图像存储器220上的图像471的左上位置是原点，水平方向(横轴)是x轴，垂直方向(纵轴)是y轴。

如图19(a)所示，布置在图像存储器220上的带有图像471的显示区域是显示区域470。例如，可以基于通过运动图像创建的合成图像的位置和大小，根据操作接受块470接受的显示放大倍数值来确定显示区域470。例如，可以通过仿射变换参数来确定图像471的显示区域470的位置。即，如果指定用于拉远当前图像的显示放大倍数“0.5倍”，通过将x方向和y方向的缩放分量加倍的仿射变换参数来设定显示区域。此外，在相对于当前图像对显示区域平移或旋转的情况下，可以利用仿射变换参数来确定显示区域的位置和范围。

图19(b)示出图5(b)所示的构成运动图像文件201的各个帧中的帧2(206)被存储在图像存储器220中的情况。在此情况下，如上所述，利用元数据文件211中存储的与帧号215″1″和″2″相关联的仿射变换参数216，对与帧2(206)相对应的图像472进行转换，以用它重写图像471。

图19(c)示出图5(b)所示的构成运动图像文件201的各个帧中的帧3被存储在图像存储器220中的情况。在此情况下，同样，如上所述，利用元数据文件211中存储的与帧号215″1″到″3″相关联的仿射变换参数，对与帧3相对应的图像473进行转换，以用它重写图像471和472。

如上所述，显示位于布置在图像存储器220上的显示区域的范围内的图像允许依次地显示正在再现的合成图像。这里，如果当前图像被仿射变换以被合成在图像存储器220中，可以执行转换到低分辨率的分辨率转换处理以及压缩处理，以进行画面质量转换。因此，如果通过增大显示放大倍数以拉近方式显示当前图像，包括当前图像的合成图像可能会模糊。因此，在本例子中，对于正在再现的当前图像，利用图像存储器220中的合成之前的图像来显示合成图像。以下参照附图详细描述该显示方法。

图20示意性示出在本发明实施例中存储在运动图像存储块200中的运动图像文件的帧流。这里，仅例示了操作接受块270、运动图像存储块200、元数据存储块210、图像存储器220以及显示存储器的关系，略去了对其他结构的例示。应当指出，图20示出在显示块260显示一个运动图像的示例；当在显示块260显示两个或更多个运动图像时也执行合成。

图20(a)以简化方式示出图5(b)所示的运动图像文件201和元数据文件211。以下，将描述显示与构成运动图像文件201的帧i(207)相对应的图像的示例。即，假设对于与构成运动图像文件201的帧1到″i-1″相对应的图像，已经创建了合成图像。

图20(b)示意性示出保持有合成图像的图像存储器220，合成图像中合成有与构成运动图像文件201的帧相对应的图像。如图19(b)所示，首先将与构成运动图像文件201的帧1(661)相对应的图像471保持在图像存储器220中。然后，在将图像471保持在图像存储器220之后，利用元数据文件211中存储的与帧2到″i-1″相关联的仿射变换参数216的值，对与构成运动图像文件201的帧2到″i-1″相对应的图像依次地进行仿射变换，然后将仿射变换后的图像依次地重写在图像存储器220以保持其中。然后，从保持在图像存储器220中的合成图像中，显示区域取出块230为每个帧取出位于显示区域中的图像。

与帧1到″i-1″相对应的图像的合成图像被保持在图像存储器220的情况下，利用元数据文件211中存储的与帧1到i相关联的仿射变换参数216，对与构成运动图像文件201的帧i(207)相对应的图像进行仿射变换，然后将仿射变换后的当前图像474重写在图像存储器220以保持其中。接着，从保持在图像存储器220中的合成图像中，显示区域取出块230取出位于显示区域470中的图像，并将取出的图像保持在显示存储器240中，例如，如图20(c)所示。

图20(c)示意性示出保持有显示区域取出块230取出的图像的显示存储器240。这里，与显示区域取出块230取出的图像的当前帧相对应的当前图像475不是显示区域取出块230从图像存储器220取出的当前图像474，而是从运动图像存储块200取出的图像转换块180仿射变换后的图像。这里，可以基于当前图像474在图像存储器220中的位置和大小以及显示区域470在图像存储器220中的位置和大小，来确定当前图像475在显示存储器中的存储位置。例如，令元数据文件211存储的与帧号215的″1″到″i″相关联的仿射变换参数矩阵是A1，...，Ai，并且用于确定显示区域470的仿射变换参数的矩阵(例如对图像存储器220的矩阵)是C，那么，相对于图像471的位置，可以通过使用Inv(C)×A1×...×Ai来确定当前图像475在显示存储器中的存储位置。

如图20(c)所示，将显示区域取出块230取出的图像保持在显示存储器240中，并将从运动图像存储块200取出并且由图像转换块180仿射变换后的图像重写在显示区域取出块230取出的图像上，以保持在显示存储器240中。然后，将显示存储器240保持的图像显示在显示块260。这样，对于当前图像，在被保持在图像存储器220中之前、在为了缩减而被处理之后(例如在仿射变换之后)的图像可以被用于显示相对精细的当前图像。此外，如果通过用户操作执行例如拉近，可以按精细状态显示当前图像。

如上所述，由于可以将从运动图像存储块200取出并且经仿射变换后的图像(而非保持在图像存储器220中的合成图像)用作当前图像，因此可以观看相对精细的图像。将参照图21和图22详细描述显示例子。

图21(a)示出在再现摄像机拍摄的运动图像的情况下的显示例子。在该例子中，示出图像480，其中正在再现运动图像，该运动图像拍摄在大建筑物前方的草皮花园中玩耍的家长和孩子，摄像机正在水平移动。这里，在图像480中，全景地形成了与构成运动图像的帧相对应的图像合成的图像481。此外，与图像480中的当前帧相对应的图像是当前图像482。

这里，将描述以拉近方式显示框483包围的图像区域的情况。在显示块260显示的图像的拉近/拉远显示中，用户可以通过操作所述操作接受块270的显示放大倍数指定键来指定期望的显示放大倍数。例如，如图21(a)所示，如果在显示块260显示有图像480并且以拉近方式显示框483包围的图像区，用户可以通过操作所述操作接受块270上的显示放大倍数指定键来指定显示放大倍数和位置，从而以拉近方式显示框483包围的图像区。

图21(b)示出在图像480中的当前图像482被仿射变换之前的图像484。

图22(a)示出在以拉近方式显示图21(a)所示的框483包围的图像区的情况下的图像485。图22(a)所示的图像485是在仿射变换后的当前图像被存储在图像存储器220中之前的状态下在显示存储器240中合成的图像。这样，在当前图像486的该区域中，显示了在被存储在图像存储器220中之前相对精细的图像。因此，当前图像486与除该区域以外的区域比较时，可以看到相对来说比其他区域要精细的当前图像486。另一方面，图22(b)所示的图像487是在仿射变换后的当前图像被存储在图像存储器220中的情况下显示存储器240中存储的图像。如果这样显示图像，与另一区域的图像大约相同的图像也显示在图像488的区域中。即，根据本发明实施例，在执行图像合成显示时，可以对显示存储器240保持的日志图像进行压缩，但是，对于当前图像，可以使用未压缩图像或具有比日志图像的分辨率更高的分辨率的图像，从而实现高画面质量的图像合成显示。

以下描述对摄像机实际拍摄的运动图像进行合成和再现的显示例子。在以下示出的显示例子中，在显示块260的显示区域中，只在与构成至少任何一个运动图像的当前帧或先前帧相对应的图像的区域显示合成图像，其他区域被变黑。此外，对应于当前图像的图像被加框。应当指出，在以下示出的显示例子中，示出一个运动图像的再现过程的半途中的显示例子。此外，实际上，对每个帧依次地显示合成图像；然而，在图中，示出按预定数量的帧间隔的显示例子，并且略去了对这些帧之间显示的合成图像的例示。因此，在图中，与当前帧相对应的帧的移动很大。

图23到26示出摄像机拍摄的运动图像的转变的示例。在这些图中，示出构成运动图像的图像730到741，其中通过主要沿水平方向移动摄像机来拍摄在大建筑物前方的草皮花园中玩耍的家长和孩子的运动图像。应当指出，该运动图像与图21和图22所示的运动图像相同。

在这些图中示出的图像730到741中，与当前帧相对应的图像是图像750。应当指出，在这些图中示出的图像730到741中，即使在合成图像之间存在差别也以相同的标号750表示当前图像。如这些图所示，在已拍摄图像中包括的图像拍摄主题(草皮花园等)固定于画面，并且与当前帧相对应的图像750随着摄像机移动而在画面上移动。如下显示使得观看者可以看到，与当前帧相对应的当前图像根据摄像机的移动而在显示块260示出为黑色的显示区域中移动。此外，在当前图像在合成图像上移动的情况下，合成图像上的位置和当前图像的位置也相应移动。

在以上描述中，主要使用如下再现例子：在再现运动图像的过程中，使用仿射变换参数对这些图像转换来合成构成运动图像的图像。结果，可以再现任何类型的运动图像以全景展开状态观看。

然而，某些运动图像类型和某些检测到的仿射变换参数可能不允许通过全景展开运动图像来进行合适的合成以供再现。例如，被再现的运动图像可能包括从摄像机拍摄的状态起未被编辑的运动图像(未编辑运动图像)和在摄像机拍摄之后经过编辑的运动图像(编辑运动图像)。未编辑运动图像可能例如包括：包括其一部分或全部失焦的部分的运动图像；包括在图像拍摄过程中不希望的人突然在摄像机前经过的部分的运动图像；在图像中包括在图像拍摄过程中的摄像机剧烈运动的运动图像；或在图像拍摄运动图像记录按钮被按压的情况下拍摄另一场景的运动图像。此外，编辑运动图像可以例如包括通过编辑而将不同场景链接起来的运动图像。

例如，如果未编辑运动图像失焦或者在图像拍摄过程中摄像机等剧烈移动，不能执行仿射变换参数的正确检测，可能导致对仿射变换参数的错误检测。如果按此方式执行仿射变换参数的错误检测，不能执行图像的正确转换。此外，例如，如果在编辑运动图像中通过编辑而将不同场景链接起来，有可能这些不同场景展开或合成为一个合成图像。因此，在本发明实施例中，在运动图像的合成再现中，可以基于从构成运动图像的每个图像提取的特征量，执行仿射变换参数的校正、或合成图像的分割，从而通过全景地展开更多类型的运动图像来适当进行合成再现，以享受合成再现。

首先，将描述对仿射变换参数的校正。在本发明实施例中，如果从构成运动图像的每个图像提取的特征量满足预定条件，执行对仿射变换参数的校正。因此，可以抑制对具有大尺寸的、位于与摄像机的运动完全分隔的位置的图像的转换，并且可以提高最终全景形成的合成图像的质量。这里，与仿射变换参数的校正相关联的预定条件是例如场景变化分数高于阈值、或者至少一个摄像机工作分量高于阈值。此外，所述条件可以是同时满足这两个要求。这里，在确定了场景变化点的位置，可能对仿射变换参数进行错误检测，因而校正可以防止合成图像的失败。

此外，仿射变换参数校正方法包括使用单位矩阵替换的校正方法或通过抑制摄像机工作速度的矩阵(例如线性插值矩阵)的校正方法。因此，可以抑制高速摄像机工作以提高运动图像的可视性(viewability)。此外，即使进行了仿射变换参数的错误检测，也可以抑制与该错误检测相关联的图像的合成的影响。应当指出将参照图27详细描述仿射变换参数校正方法。

应当指出，只要作为运动图像的可视性不丧失，就期望对于某些应用来说尽可能不校正仿射变换参数，包括高速摄像机工作。因此，还可以设置以响应于来自操作接受块270的操作输入而禁用校正。

以下描述对合成图像进行分割的情况。在本发明实施例中，如果从构成运动图像的每个图像提取的特征量满足预定条件，提供与前面的图像形成的合成图像不同的合成图像。因此，可以分离不连续运动图像，从而避免形成不一致的合成图像。此外，因为可以使与场景相对应的图像分散，因此可以容易执行长时间跨度的运动图像搜索。

这里，与合成图像的分割相关联的预定条件可以包括场景变化分数超过阈值、至少一个摄像机工作分量超过阈值、至少一个摄像机工作分量的平均值超过阈值、至少一个摄像机工作分量的积分值超过阈值(拉近/拉远比的阈值确定、摇摄或倾角的阈值确定等)、或者从开始时间(这里是包括分割之后的第一帧)起的再现时间超过阈值。所述预定条件是满足这些要求中的至少两个，也是可行的。应当指出，将参照图28到图30详细描述合成图像分割方法。

以下详细描述与合成图像的分割相关联的上述预定条件。

例如，如果场景变化分数超过阈值，可以确定与该场景变化分数相对应的位置是场景变化点。这样，被确定为场景变化点的位置可能是剪辑点(编辑点)，或者是尽管在同一场景但是主题表现出很大变化的位置。因此，与被确定为场景变化点的位置相对应的图像被分割，可以防止在完全不同的主题被合成的情况下形成合成图像。

此外，如果将摄像机工作分量用作分割合成图像的情况下的条件，那么优选的是在相对长时间上的摄像机工作分量，而不是瞬间的摄像机工作分量。即，优选的是，使用过去几帧的分量的平均值(被应用低通滤波器的值)，而不是与一个帧相关联的摄像机工作分量，来执行阈值确定。这可以防止过度的分割。此外，如果摄像机工作具有特定持续时间的运动，在拍摄运动图像记录按钮(REC按钮)被按压的情况下，可以假设转变到下一场景的情况，从而可以正确确定分割位置。

此外，使用例如场景变化分数超过阈值或者至少一个摄像机工作分量平均值超过阈值的合成图像分割条件，可以防止过度分割。

此外，摄像机工作分量积分值的缩放分量积分值是相对构成运动图像的起始帧(这里是包括分割之后的第一帧)的与当前帧相对应的摄像机工作分量的拉近/拉远分量的变化量，并且可以将该缩放分量积分值用于阈值确定。例如，如果在摄像机拍摄图像时过度进行拉近操作，正被合成以供再现的合成图像中的当前图像可能会变得太小，从而可能使当前图像难以看到。因此，如果摄像机工作分量的拉近/拉远分量的变化量变大，提供分割合成图像而获得的新合成图像可以使得容易观看与合成再现相关联的运动图像。此外，在例如通过在长时间从后方跟随某个主题拍摄图像的情况下，获得与摄像机的拉近操作相同的效果。因此，通过执行类似的分割处理可以使得容易观看与合成再现相关联的运动图像。

此外，摄像机工作分量积分值的平移分量积分值是相对构成运动图像的起始帧(这里是包括分割之后的第一帧)的与当前帧相对应的摄像机工作分量的平移分量的变化量，并且可以将该平移分量积分值用于阈值确定。应当指出，可以将该平移分量积分值视为摇摄角或倾角。例如，在摄像机进行实际图像拍摄时，难以区分以下两种情况：持有摄像机的图像拍摄人，通过转动图像拍摄人来拍摄图像；以及，面向一个方向的持有摄像机的图像拍摄人，通过侧向移动来拍摄图像。然而，在图像拍摄人转动以拍摄图像的情况下，摄像机的转动角会被反映到合成图像的尺寸。因此，可以通过假设摇摄角或倾角与平移分量相同来执行分割处理。例如，如果在摄像机拍摄图像时过度执行了摇摄操作，合成再现过程中的合成图像可能会在水平方向变得太长。另一方面，如果在摄像机拍摄图像时过度执行了倾斜操作，合成再现过程中的合成图像可能会在垂直方向变得太长。因此，有可能难以看到与当前帧或合成图像相对应的图像。因此，如果摄像机工作分量的平移分量的变化量变大，提供通过分割合成图像而获得的新合成图像可以使得容易观看与合成再现相关联的运动图像。

以下描述要满足的条件是从起始帧(这里是包括分割之后的第一帧)起的再现时间超过阈值的情况。例如，如果将长时间拍摄的运动图像显示为一个全景合成图像并且图像拍摄空间中的图像拍摄范围特别窄，会出现许多交叠的帧，从而可能丢失一定量的与该运动图像相关联的信息。例如，如果出现许多交叠的帧，再现时间相对晚的图像会被重写到再现时间相对早的图像上。这里，可能不会将再现时间相对早的图像显示为被包括在合成图像中，从而劣化作为合成图像的索引的功能以及可视性。因此，对特定时间段(例如5分钟)的合成图像进行强制分割，可以增强作为合成图像的索引的功能和合成图像的可视性。

应当指出，如果合成图像的分割间隔的时间太短，运动图像的可视性可能会降低，因而可以设定最短再现时间(例如5秒)。即，如果满足与合成图像的分割相关联的上述预定条件，在分割合成图像之后在最短再现时间的范围内，不执行分割处理。

这样，通过在运动图像中的场景的不连续点等处分割合成图像，可以增强作为待显示的合成图像的索引的功能，并且可以通过提供作为运动图像的一致性来增强每个合成图像的可视性。

应当指出，基于每个要素，可以独立地执行这些分割确定，或者仅当两个或更多个要素同时满足条件时才可以分割。此外，例如，在为构成运动图像的每个图像检测仿射变换参数时，可以将不能获得特征点之间的对应关系的检测结果等与帧相关联地存储在元数据存储块210中，并且基于这些检测结果，可以确定是否有必要进行校正或分割。即，如果超过阈值但是检测结果表现为普通检测，可以确定不必校正。

以下参照附图详细描述与图像相关联的仿射变换参数的一部分被校正以创建合成图像的示例。

图27示意性示出已经合成了构成运动图像文件500的图像501到517的情况。图27(a)示出使用与图像501到517相关联的仿射变换参数而合成图像501到517的情况，图27(b)和(c)示出使用与图像501到517相关联的仿射变换参数(其中一部分经过校正)而合成了图像501到517的示例。

在这些图中，使用如下示例：在构成运动图像文件500的图像501到517中，在拍摄图像508到510的区段过程中一个人突然在摄像机前方穿过，通过阴影在内部表示，使得不能对图像508到510获得正确的仿射变换参数。还假设，在图像501到517中，与图像508到510相对应的摄像机工作分量的平移分量和转动分量中的至少一个超过阈值，图像508到510满足上述校正条件。

因此，在摄像机工作分量的平移分量和转动分量中的至少一个超过阈值的情况下，如果使用与图像508到510相关联的仿射变换参数对图像508到510进行仿射变换，那么可能无论摄像机的运动如何都对图像508到510转换。例如，如图27(a)所述，无论摄像机的运动如何，图像508到510可能被转换大于其他图像的转换量。在这种情况下，在图像501到517形成的合成图像中，图像508到510中的一部分在很大程度上不同于实际主题的一部分，从而很可能使正被再现的合成图像和要最终形成的合成图像很难看。因此，如果满足上述校正条件，则对其仿射变换参数进行校正使得可以防止合成图像在很大程度上不同于实际主题的一部分，从而使正被再现的合成图像和要最终形成的合成图像容易观看。

对于仿射变换参数校正方法，在本发明实施例中描述将仿射变换参数的矩阵校正为单位矩阵的校正方法，和基于与交叉方向的图像相关联的仿射变换参数的矩阵来执行线性插值的校正方法。

首先，将描述把仿射变换参数的矩阵校正为单位矩阵的校正方法。例如，令3个连续图像是图像n-1到n+1并且与这些图像相关联的仿射变换参数矩阵是Rn-1，Rn，Rn+1；那么，如果与图像n相关联的特征量满足校正条件，转换信息校正块160进行Rn＝E(单位矩阵)的校正。例如，如图27(a)所示，如果与图像508到510相对应的摄像机工作分量的平移分量和转动分量中的至少一个超过阈值，转换信息校正块160将这些仿射变换参数矩阵校正为单位矩阵。然后，通过校正后的单位矩阵来转换图像508到510。

这样，由于使用单位矩阵来转换图像508到510，因此当相对于图像507来看时，图像508到510实际上不被转换，从而在紧接的前一图像507的相同位置被合成。即，如图27(b)所示，将图像508到510重写在内部阴影表示的图像507的位置。应当指出，使用与图像511相关联的仿射变换参数，对紧接在图像510之后的图像511进行正常转换。

以下描述基于与交叉方向的图像相关联的仿射变换参数的矩阵来执行线性插值的校正方法。例如，令3个连续图像是图像n-1到n+1并且与这些图像相关联的仿射变换参数矩阵是Rn-1，Rn，Rn+1；那么，如果与图像n相关联的特征量满足校正条件并且与图像n-1，n+1相关联的特征量不满足校正条件，转换信息校正块160进行Rn＝{(Rn-1)+(Rn+1)}/2的校正。此外，例如，令5个连续图像是图像n-2到n+2并且与这些图像相关联的仿射变换参数矩阵是Rn-2到Rn+2；那么，如果与图像n-1，n，n+1相关联的特征量满足校正条件并且与图像n-2，n+2相关联的特征量不满足校正条件，转换信息校正块160进行Rn-1，Rn，Rn+1＝{(Rn-2)+(Rn+2)}/2的校正。即，使用例如与位于其特征量满足校正条件的图像之前和之后的两个图像相关联的仿射变换参数矩阵的平均值作为线性插值矩阵，来进行校正。此外，如果其特征量满足校正条件的图像连续，提取作为位于这些连续图像之前的图像的先前图像和作为位于这些连续图像之后的图像的后续图像。应当指出，先前图像和后续图像是其特征量不满足校正条件的图像中的、沿交叉方向相邻于上述连续图像的图像。然后，使用与所提取的先前图像和后续图像相关联的仿射变换参数矩阵的平均值来校正。

例如，令与图像507到511相关联的仿射变换参数矩阵是A7到A11，那么，如果如图27(a)所示与图像508到510相对应的摄像机工作分量的平移分量和转动分量中的至少一个超过阈值，转换信息校正块160使用与位于图像508到510之前和之后的图像507和511相关联的矩阵A7、A11，来计算线性插值矩阵((A7+A11)/2)，从而基于该线性插值矩阵将A8到A10校正为＝(A7+A11)/2。然后，通过转换后的矩阵(A7+A11)/2对图像508到510依次地转换。

即，由于使用线性插值矩阵对图像508到510进行转换，通过位于图像508到510之前和之后的图像507和图像511的转换量的平均值对图像508到510进行转换，并且如图27(c)所示，例如，用转换后的图像重写在内部用阴影表示的图像507，从而依次地合成了图像508到510。接下来，使用与图像511相关联的仿射变换参数对紧接在图像510之后的图像511执行普通转换。

这样，在对满足校正条件的图像的转换中，对其仿射变换参数进行校正使得可以容易观看正被再现的合成图像或已创建的合成图像。例如，在图27(a)所示的图像501到517中，如果与图像508到510相关联的仿射变换参数是不可靠的仿射变换参数(如果特征量超过阈值)，沿不同于摄像机运动的方向来转换图像507到517。为此，对与图像508到510相关联的仿射变换参数进行校正可以防止沿不同于摄像机运动的方向来转换图像507到517，从而使得容易观看正被再现的合成图像或已创建的合成图像。

应当指出，在本发明实施例中，对于校正仿射变换参数的校正方法，描述了将仿射变换矩阵校正为单位矩阵的情况、或将仿射变换矩阵校正为线性插值矩阵的情况；还可以在将与直至预定数量个被校正图像的图像相关联的仿射变换参数的矩阵依次地相加而进行了加法之后，计算矩阵的平均值，从而例如到该平均值矩阵的校正。

以下参照附图详细描述如下示例：如果确定有必要分割，创建与先前图像创建的合成图像不同的合成图像。

图28示意性示出构成运动图像的每个帧与为每个帧计算的场景变化分数之间的关系。图28(a)所示的曲线图以时间顺序表示为构成运动图像的每个帧计算的场景变化分数，横轴表示图像拍摄时间，纵轴表示场景变化分数。此外，虚线533表示确定与各帧相对应的图像是否对应于场景变化点的阈值。即，如果场景变化分数超过虚线533，将与该场景变化分数相对应的图像确定为对应于场景变化点的图像。例如，在构成运动图像530的帧1到20中，将表示为帧11(531)计算的场景变化分数的位置表示为点532。在此情况下，点532超过点533，因而将与帧11(531)相对应的图像确定为对应于场景变化点。应当指出，在帧1到20中，除帧11(531)的场景变化分数以外的场景变化分数位于虚线533以下，因而不将其图像确定为对应于场景变化点的图像。应当指出，转换信息校正块160和合成图像分割判定块170执行场景变化分数确定。

图29示意性示出已经合成了构成图28(b)所示的运动图像530的图像551到567的情况。图29(a)示出已经使用与图像551到567相关联的仿射变换参数合成了图像551到567的情况，图29(b)和(c)示出为了合成而分割图像551到567中的一部分的情况下的转变。应当指出，构成图29所示的运动图像530的图像551到567是与图28(b)所示的帧1到17相对应的图像，并且在内部由阴影表示的图像561是对应于图28(b)所示的帧11(531)的图像。即，图像561是对应于场景变化点的图像。此外，假设与图像561相对应的摄像机工作分量平均值中的至少一个超过阈值。这里，在本例子中，如果与当前图像相对应的场景变化分数超过阈值并且摄像机工作分量平均值中的至少一个超过阈值，不使用与该当前图像相关联的仿射变换参数对当前图像进行转换，与当前合成图像分开地新创建合成图像。

如图28(a)所示，如果确定在帧11(531)中计算的场景变化分数超过阈值并且图像561是对应于该场景变化点的图像，则很有可能图像561是在不同于图像551到560的场景中拍摄的图像，尽管被包括在运动图像530中。此外，很有可能图像561之后的图像562到567是在不同于图像551到560的场景中拍摄的图像，尽管在与图像561相同的场景中被拍摄。在此情况下，如图29(a)所示，如果用与图像551到560不同的场景中拍摄的图像561到567重写图像551到560以进行合成，会形成包括两个不同场景的合成图像，使得在不相关的位置合成两个不同场景，可能使得观看者难以观看。此外，由于与图像561相对应的摄像机工作分量平均值中的至少一个超过阈值，因此对预定数量个帧检测到高于特定水平的运动。

因此，如图29(b)所示，如果在合成再现已经进行到图像560之后当前图像变成满足分割条件的图像561，如图29(c)所示擦除图像551到560，图像561保持在保持起始帧的位置。然后，依次地合成图像561之后的图像562到567。在本例子中，已经描述，如果当前图像满足分割条件，则擦除当前图像之前的图像形成的合成图像，并且从当前图像开始合成再现；然而，还可以在显示由当前图像之前的图像形成的合成图像的情况下，执行从当前图像起的合成再现。即，每次执行场景变化时，可以改变运动图像被合成的位置，以依次地创建合成图像。图30示出分割处理。

图30示意性示出已经合成了构成图28(b)所示的运动图像530的图像551到567的情况。应当指出，图30(a)所示的合成图像与图29(a)所示的合成图像相同。图30(b)和(c)示出图像551到567中的一部分被分割以用于合成，表示分割前的合成图像被保留的情况下的转变。应当指出，除了分割前的合成图像被保留并且将当前图像布置在与分割前的合成图像的位置不同的位置以外，该处理与图29所示的相同。

如图30(b)所示，将与构成运动图像的起始帧相对应的图像的布置位置设定到xy坐标的原点，并将满足分割条件的图像的布置位置设定为xy坐标的布置位置580。然后，如图30(b)所示，如果在合成再现已经执行到图像560之后当前图像变成满足分割条件的图像561，如图30(c)所示，将图像561保持在与图像551到560形成的合成图像的位置不同的布置位置580。接下来，在保留图像551到560形成的合成图像的情况下，依次地合成图像561之后的图像562到567。应当指出，还可以预先设定满足分割条件的图像的保持位置，或者基于合成图像的大小来确定布置位置，使该布置位置不同于已经形成的合成图像的位置。此外，图30描述了将已经形成的合成图像的右侧设定为满足分割条件的图像的保持位置的例子；设定另一方向作为保持位置也是可行的。

以下示出摄像机实际拍摄的运动图像形成的合成图像的显示例子。

图31和图32示出摄像机拍摄的运动图像形成的合成图像的示例。图31示出在如下情况下运动图像形成的合成图像590，592，593：当建筑物内部的图像拍摄人正在透过窗户拍摄室外图像时，图像拍摄人通过相对快速的摇摄操作将摄像机方向改变到左侧，以拍摄室内图像。即，在合成图像590中，右侧的图像是相对早的图像，左侧的图像是较晚的。此外，图31(a)所示的虚线圆591包围的图像的一部分是通过相对快速的摇摄操作改变摄像机方向的一部分。因此，如果通过相对快速的摇摄操作改变了摄像机方向，有时候难以适当检测执行摇摄操作的位置的仿射变换参数，使得可能无论图像拍摄空间如何都合成摇摄操作之前和之后的主题。例如，如图31(a)所示，由虚线圆591包围的部分合成了实际上彼此分开的室外主题和室内主题。因此，执行合成图像的上述分割或仿射变换参数的上述校正使得可以根据主题来创建合成图像。应当指出，在本例子中，假设在图31(a)所示的虚线圆591包围图像的所述部分中满足仿射变换参数校正条件和合成图像分割条件。

图31(b)和(c)示出执行上述合成图像分割的情况下的转变。应当指出，图31(b)所示的合成图像592是与图31(a)所示的合成图像590的右侧部分相对应的合成图像。这里，在形成图31(b)所示的合成图像592的过程中，在图31(a)所示的虚线圆591包围的图像部分中满足合成图像分割条件，因而擦除图31(b)所示的合成图像592。然后，将满足合成图像分割条件的图像显示在起始帧的布置位置，并依次地合成随后的图像以形成合成图像593。这样，在合成了包括不同场景的运动图像以进行再现的情况下，如果发生从第一场景到另一场景的变化，可以再现与第一场景不同的另一合成图像，使得用户可以根据场景来观看合成图像。应当指出，在本例子中，擦除已经形成的合成图像，然后再现另一合成图像；在保留已经形成的合成图像的情况下再现另一合成图像也是可行的。

与图31所示的情况一样，图32示出在如下情况下运动图像形成的合成图像590，594，595：当建筑物内部的图像拍摄人正在透过窗户拍摄室外图像时，图像拍摄人通过相对快速的摇摄操作将摄像机方向改变到左侧，以拍摄室内图像。应当指出，合成图像590和虚线圆591与图31(a)所示的相同。

图32(b)和(c)示出执行上述仿射变换参数校正和合成图像分割的情况下的显示转变。应当指出，图32(b)所示的合成图像594是与图32(a)所示的合成图像590的右侧部分相对应的合成图像。这里，在形成图32(b)所示的合成图像594的过程中，在图32(a)所示的虚线圆591包围的图像部分中满足仿射变换参数校正条件和合成图像分割条件，因而执行仿射变换参数，但是擦除图32(b)所示的合成图像594。然后，将满足合成图像分割条件的图像显示在起始帧的布置位置，并依次地合成随后的图像以形成合成图像595。在此情况下，紧接在分割之后，如果满足合成图像分割条件，不执行分割，但是，如果满足仿射变换参数校正条件，则依次地校正仿射变换参数。这样，图32(c)所示的合成图像595不同于图31(c)所示的合成图像593，因为依次地执行仿射变换参数校正。即，由于在图32(a)所示虚线圆591包围的图像的左侧部分中执行仿射变换参数校正，因此与图31(c)所示的合成图像593相比可以减小水平方向的变化，从而适当校正执行相对快速的摇摄操作的图像部分。

应当指出，对于图31(c)和FIG.32(c)所示的合成图像593、595，室外主题的一部分被合成在右侧，但是例如可以通过调节阈值来合成室外主题和室内主题。应当指出，在再现运动图像时，用时间轴上较晚的图像重写在时间轴上较早的图像以进行合成。因此，在执行分割的位置附近，紧接在分割之后的场景图像交叠在紧接在分割之前的场景图像上，使得可以使紧接在分割之前的场景较不模糊。这样，在合成以再现包括不同场景的运动图像时，如果出现从第一场景到另一场景的变化，则可以将另一场景的合成图像再现为与第一场景不同的合成图像，从而允许用户根据场景观看合成图像。此外，可以对由于相对快速的摇摄操作而不适当检测的仿射变换参数进行校正，以减少合成图像中的不必要的变化。应当指出，在本例子中，擦除已经形成的合成图像，然后再现另一合成图像；还可以在保留已经形成的合成图像的情况下再现另一合成图像。

以下参照附图描述本发明实施例的图像处理设备100的操作。

图33示出在本发明实施例中图像处理设备100的运动图像再现处理的处理过程流程图。应当指出，在本例子中，如果从合成图像分割判定块170输出了表示与当前帧相对应的图像要被分割以供显示的信息，擦除与当前帧之前的帧相对应的图像的合成图像。

首先，在图像存储器220中分配比构成运动图像的图像的大小更大的工作缓冲区(步骤S921)。接着，文件捕获块140从运动图像存储块200获取通过操作接受块270选择的运动图像文件，然后从元数据存储块210获取与这些运动图像文件相关联的元数据文件(步骤S922)。

接着，文件捕获块140对运动图像文件解码以获得作为构成运动图像文件的帧之一的当前帧(步骤S923)。接着，文件捕获块140从元数据文件获取与所捕获的当前帧相对应的仿射变换参数(步骤S924)。这里，如果当前帧是起始帧，获得单位矩阵的仿射变换参数。

接着，特征量提取块150计算与当前帧相对应的图像的场景变化分数(步骤S925)。接着，摄像机工作分量计算单元155根据与当前帧相对应的仿射变换参数来计算各摄像机工作分量(步骤S926)。接着，摄像机工作分量平均值计算单元157基于与当前帧相对应的各摄像机工作分量和摄像机工作分量保持单元156中保持的与从紧接的前一帧起直至预定数量个帧的每个帧相对应的各摄像机工作分量，来计算摄像机工作分量的平均值(步骤S927)。接着，摄像机工作分量积分值计算单元158基于与当前帧相对应的各摄像机工作分量和摄像机工作分量保持单元156中保持的与从起始帧起直至紧接的前一帧的每个帧相对应的各摄像机工作分量，来计算摄像机工作分量的积分值(步骤S928)。

然后，执行转换信息校正处理(步骤S940)。应当指出，将参照图34详细描述该执行转换信息校正处理。接着，执行合成图像分割判定处理(步骤S950)。应当指出，将参照图35详细描述该合成图像分割判定处理。

接着，图像转换块180使用仿射变换参数对与当前帧相对应的图像进行仿射变换(步骤S929)。这里，如果从合成图像分割判定块170输出了表示与当前帧相对应的图像要被分割以供再现的信息，使用单位矩阵来执行仿射变换，使得不转换实际图像。此外，如果未从合成图像分割判定块170输出表示与当前帧相对应的图像要被分割以供再现的信息，并且转换信息校正块160校正了仿射变换参数，则使用校正后的仿射变换参数来执行仿射变换。另一方面，如果未从合成图像分割判定块170输出表示与当前帧相对应的图像要被分割以供再现的信息，并且未由转换信息校正块160校正仿射变换参数，则使用与当前帧相对应的仿射变换参数来执行仿射变换。应当指出，如果当前帧是起始帧，使用单位矩阵来执行仿射变换，使得不转换实际图像。

接着，图像合成块190用与仿射变换后的当前帧相对应的图像重写与该当前帧之前的各帧相对应的各图像的合成图像，以进行合成，并将合成有与当前帧相对应的图像的图像存储在图像存储器220中(步骤S930)。这里，如果从合成图像分割判定块170输出了表示与当前帧相对应的图像要被分割以供再现的信息，则仅将与当前帧相对应的图像存储在图像存储器220中，因为擦除了与当前帧之前的帧相对应的各图像的合成图像。

接着，显示区域取出块230使用仿射变换参数来确定与指定的显示放大倍数和位置相对应的显示区域的位置和大小(步骤S931)。接着，显示区域取出块230从图像存储器220取出包括在显示区域中的合成图像(步骤S932)。接着，显示区域取出块230将从图像存储器220取出的合成图像存储在显示存储器240中(步骤S933)。

接着，显示区域取出块230使用用于当前帧的转换的仿射变换参数矩阵和用于确定显示区域的仿射变换参数矩阵的逆矩阵，来确定当前图像在显示存储器240中的位置(步骤S934)。接着，图像合成块190用仿射变换后的当前图像重写在显示存储器240中存储的合成图像，以进行合成(步骤S935)。接着，将显示存储器240中存储的合成图像显示在显示块260(步骤S936)。这里，如果从合成图像分割判定块170输出了表示与当前帧相对应的图像要被分割以供再现的信息，仅将与当前帧相对应的图像显示在显示块260中，因为擦除了与当前帧之前的帧相对应的各图像的合成图像。

接着，确定当前帧在构成输入的运动图像文件的帧中是否为结尾帧(步骤S937)。如果当前帧不是结尾帧(步骤S937)，本过程返回到步骤S923以重复运动图像合成再现处理(步骤S923到S936)。另一方面，如果当前帧是结尾帧(步骤S973)，释放所分配的工作缓冲区(步骤S938)，以结束运动图像再现处理。

图34是表示本发明实施例的图像处理设备100的运动图像再现处理的处理过程的转换信息校正处理过程(图33所示的步骤S940的处理过程)的流程图。在本例子中，基于与当前帧相对应的摄像机工作分量中的至少一个是否超过阈值以及场景变化分数是否超过阈值，来校正与当前帧相对应的仿射变换参数。此外，描述将待校正仿射变换参数矩阵校正为单位矩阵的例子。

首先，转换信息校正块160确定与当前帧相对应的摄像机工作分量中的至少一个是否超过阈值(步骤S941)。如果与当前帧相对应的摄像机工作分量中的至少一个并不超过阈值(步骤S941)，转换信息校正块160确定为当前帧计算出的场景变化分数是否超过阈值(步骤S942)。如果为当前帧计算出的场景变化不分数超过阈值(步骤S942)，不必校正与当前帧相对应的仿射变换参数，因而结束转换信息校正处理的操作。

另一方面，如果与当前帧相对应的摄像机工作分量中的至少一个超过阈值(步骤S941)，或者为当前帧计算出的场景变化分数超过阈值(步骤S942)，转换信息校正块160将与当前帧相对应的仿射变换参数矩阵校正为单位矩阵(步骤S943)。应当指出，如果使用线性插值矩阵而非单位矩阵来执行校正并且如果在步骤S941或S942中发现超过了阈值，则在步骤S943使用与当前帧的交叉方向的各个帧相对应的仿射变换参数来计算线性插值矩阵，并使用线性插值矩阵来执行校正。

图35是表示本发明实施例的图像处理设备100的运动图像再现处理的处理过程的合成图像分割判定处理过程(图33所示的步骤S950的处理过程)的流程图。在本例子中，根据与当前帧相对应的摄像机工作分量平均值中的至少一个是否超过阈值并且场景变化分数是否超过阈值、与当前帧相对应的摄像机工作分量积分值中的至少一个是否超过阈值、以及再现时间是否超过阈值，来确定是否有必要分割与当前帧相对应的图像。

首先，合成图像分割判定块170确定与当前帧相对应的摄像机工作分量平均值中的至少一个是否超过阈值(步骤S951)。如果与当前帧相对应的摄像机工作分量平均值中的至少一个并不超过阈值(步骤S951)，则本过程进行到步骤S953。另一方面，如果与当前帧相对应的摄像机工作分量平均值中的至少一个超过阈值(步骤S951)，合成图像分割判定块170确定为当前帧计算出的场景变化分数是否超过阈值(步骤S952)。

如果为当前帧计算出的场景变化分数不超过阈值(步骤S952)，则合成图像分割判定块170确定与当前帧相对应的摄像机工作分量积分值中的至少一个是否超过阈值(步骤S953)。如果与当前帧相对应的摄像机工作分量积分值中的至少一个并不超过阈值(步骤S953)，则合成图像分割判定块170确定从图像存储器220中保持的当前合成图像中包括的图像的起始帧起的再现时间是否超过了阈值(步骤S954)。如果从图像存储器220中保持的当前合成图像中包括的图像的起始帧起的再现时间尚未超过阈值(步骤S954)，则不必分割与当前帧相对应的图像，从而结束合成图像分割判定处理的操作。

另一方面，如果与当前帧相对应的摄像机工作分量平均值中的至少一个超过阈值并且为当前帧计算出的场景变化分数超过阈值(步骤S951，S952)，如果与当前帧相对应的摄像机工作分量积分值中的至少一个超过阈值(步骤S953)，或者如果从图像存储器220中保持的当前合成图像中包括的图像的起始帧起的再现时间已经超过阈值(步骤S954)，则图像合成块190擦除图像存储器220中保持的合成图像(步骤S955)。接着，图像转换块180将与当前帧相对应的仿射变换参数矩阵改变成单位矩阵(步骤S956)。

以下参照附图详细描述本发明实施例的多核处理器的特征点提取处理和光流计算处理。

图36是本发明实施例的多核处理器800的示例结构。多核处理器800是在一个CPU(中央处理器)上安装有两个或更多个不同类型的处理器核的处理器。即，为了保持每个分立的处理器的处理性能并且实现简单的结构，多核处理器800具有两种类型的处理器核，一种类型用于所有用途(应用)，另一类型在一定程度上被优化以用于预定用途。

多核处理器800具有控制处理器核801、算术处理器核(#1)811到(#8)818以及总线802，并连接到主存储器781。此外，多核处理器800连接到其他装置，如图形装置782和I/O装置783。对于多核处理器800，例如可以使用“单元(单元宽带引擎)”，其为本申请人等开发的微型处理器。

控制处理器核801是主要执行频繁的线程切换(例如操作系统)的控制处理器核。应当指出，参照图37详细描述控制处理器核801。

算术处理器核(#1)811到(#8)818是擅长多媒体处理的简单且小型的算术处理器核。应当指出，参照图38详细描述算术处理器核(#1)811到(#8)818。

总线802是称为EIB(器件互连总线)的快速总线，控制处理器核801以及各算术处理器核(#1)811到(#8)818连接到总线802，各处理器核经由总线802执行数据访问。

连接到总线802的主存储器781存储要装载到各处理器核中的各种程序，用于各处理器核的处理所需的数据和经各处理器核处理的数据。

图形装置782是连接到总线802的图形装置，并且I/O装置783是连接到总线802的外部输入/输出装置。

图37示出本发明实施例的控制处理器核801的示例性结构。控制处理器核801具有控制处理器单元803和控制处理器存储系统806。

控制处理器单元803是提供执行控制处理器801的算术运算处理的核的单元，并且具有基于微型处理器架构的指令集，和作为主高速缓存的指令高速缓存804和数据高速缓存805。例如，指令高速缓存804是32KB指令高速缓存，数据高速缓存805是32KB数据高速缓存。

控制处理器存储系统806是控制从控制处理器单元803到主存储器781的数据访问的单元，并且具有用于加速来自控制处理器单元803的存储器访问的512KB的二级高速缓存807。

图38示出本发明实施例的算术处理器核(#1)811的示例性结构。算术处理器核(#1)811具有算术处理器单元820和存储器流控制器822。应当指出，算术处理器核(#1)812到算术处理器核(#1)818与算术处理器核(#1)811的结构相同，因而略去对这些算术处理器核的描述。

算术处理器单元820是提供用于算术处理器核(#1)811的算术处理的核的单元，并且具有与控制处理器核801的控制处理器单元803的指令集不同的独特指令集。此外，算术处理器单元820具有本地储存器(LS：Local Store)821。

本地储存器821是专用于算术处理器单元820的存储器，并且是唯一可以从算术处理器单元820直接查询的存储器。作为本地储存器821，例如可以使用256K字节存储大小的存储器。应当指出，对于算术处理器单元820访问主存储器781或另一算术处理器核(算术处理器核(#1)812到(#8)818)上的本地储存器，算术处理器单元820必须使用存储器流控制器822。

存储器流控制器822是用于与主存储器781以及其他算术处理器核之间传送数据的单元，并且称为MFC(Memory Flow Controller)。这里，通过称为通道的接口，算术处理器单元820请求存储器流控制器822来数据传送等。

至于上述多核处理器800的编程模型，提出了各种模型。作为这些编程模型中的一个最基本的模型，已知如下模型：其中在控制处理器核801执行主程序，并在算术处理器核(#1)811到(#8)818执行子程序。在本发明的实施例中，参照附图详细描述使用该模型的多核处理器800的算术操作方法。

图39示意性示出本发明实施例的多核处理器800的算术运算方法。在本例子中，在控制处理器核801使用数据785执行任务784时，各个算术处理器核使用用于处理任务786所需的数据787(数据785的一部分)来执行任务786，任务786是任务784的一部分。

如图所示，如果控制处理器核801使用数据785执行任务784，则各个算术处理器核使用用于处理任务786所需的数据787(数据785的一部分)来执行任务786，任务786是任务784的一部分。在本发明实施例中，各个算术处理器核为构成运动图像的各个帧执行算术运算处理。

如图所示，多核处理器800的算术运算允许并行使用算术处理器核(#1)811到(#8)818在相对短时间内执行相对大量的算术运算，并且在算术处理器核(#1)811到(#8)818使用SIMD(单指令/多数据)运算允许利用少量指令来执行相对大量的算术运算。应当指出，参照图43到图46详细描述SIMD运算。

图40示意性示出在本发明实施例的多核处理器800执行的算术运算中的程序和数据流。这里，算术处理器核(#1)811用作算术处理器核(#1)811到(#8)818的描述示例；对于算术处理器核(#1)812到(#8)818也是如此。

首先，控制处理器核801向算术处理器核(#1)811发送指令以将主存储器781存储的算术处理器核程序823装载到算术处理器核(#1)811的本地储存器821。因此，算术处理器核(#1)811将主存储器781存储的算术处理器核程序823装载到本地储存器821。

接着，控制处理器核801指示算术处理器核(#1)811执行本地储存器821存储的算术处理器核程序825。

接着，算术处理器核(#1)811将用于执行本地储存器821存储的算术处理器核程序825所需的数据824从主存储器781传送到本地储存器821。

接着，基于本地储存器821存储的算术处理器核程序825，算术处理器核(#1)811对从主存储器781传送的数据826操作，并根据条件执行处理，将处理结果存储在本地储存器821中。

接着，算术处理器核(#1)811将基于本地储存器821存储的算术处理器核程序825而执行的处理结果从本地储存器821传送到主存储器781。

接着，算术处理器核(#1)811将算术运算处理的结束通知给控制处理器核801。

以下参照附图详细描述使用多核处理器800执行的SIMD算术运算。这里，SIMD算术运算表示使用一条指令来执行处理两条或更多条数据的算术运算方法。

图41(a)示意性示出使用每条指令执行处理两条或更多条数据的算术运算方法的概要。图41(b)所示的算术运算方法是一种普通算术运算方法，例如称为标量算术运算。例如，将数据″A1″加到数据″B1″的指令提供了处理结果数据″C1″。此外，按相同方式执行其他3个算术运算；即，分别通过加法指令将同一列的数据″A2，″″A3″以及″A4″加到同一列的数据″B2，″″B3″以及″B4″，提供数据″C2，″″C3″以及″C4″作为处理结果。这样，在标量运算中，对两条或更多条数据的处理要求发出相应的指令。

图41(b)示意性示出使用单条指令执行两条或更多条数据的处理的SIMD算术运算的概要。这里，有时将用于SIMD算术运算的数据集合(虚线827和828包围的多条数据)称为矢量数据。并且可以将使用这种矢量数据执行的SIMD算术运算称为矢量运算。

例如，将虚线827包围的矢量数据(″A1，″″A2，″″A3″以及″A4″)加到虚线828包围的矢量数据(″B1，″″B2，″″B3″以及″B4″)的单条指令提供了处理结果″C1，″″C2，″″C3″以及″C4″(虚线829包围的数据)。这样，在SIMD运算中，可以使用单条指令来执行对两条或更多条数据的处理，从而以高速执行算术运算处理。此外，多核处理器800的控制处理器核801执行与这些SIMD运算相关联的指令，并且对该指令的两条或更多条数据的算术运算处理由算术处理器核(#1)811到(#8)818并行执行。

另一方面，例如，SIMD运算不能执行这样的处理：对数据″A1″和″B1″的加法，对数据″A2″和″B2″的减法，对数据″A3″和″B3″的乘法，对数据″A4″和″B4″的除法。即，不能执行对两条或更多条数据执行不同类型处理的SIMD运算处理。

以下参照附图详细描述在执行特征点提取处理和光流计算处理时的SIMD运算的特定算术运算方法。

图42示出本发明实施例的控制处理器核801或算术处理器核(#1)811执行的程序的示例结构。这里，仅例示了算术处理器核(#1)811；算术处理器核(#1)812到(#8)818中也执行相同的处理。

控制处理器核801执行作为解码851、交织853以及调整大小854的解码852。解码852是对运动图像文件解码的处理。交织853是去除每个解码帧的交织的处理。调整大小854是减小每个去除交织的帧的处理。

此外，控制处理器核801执行发送指令857和859和接收最终结束858和860，作为算术处理器核管理856。发送指令857和859是发送用于算术处理器核(#1)811到(#8)818的SIMD运算执行指令的处理，接收结束通知858和860是从算术处理器核(#1)811到(#8)818接收对上述指令的SIMD运算的结束通知的处理。此外，控制处理器核801执行摄像机工作参数计算处理862，作为摄像机工作检测861。摄像机工作参数计算处理862是基于算术处理器核(#1)811到(#8)818通过SIMD运算计算的光流，为每个帧计算仿射变换参数的处理。

算术处理器核(#1)811执行Sobel滤波处理864、第二矩矩阵计算处理865、可分离滤波处理866、Calc Harris处理867、膨胀(dilation)处理868以及排序处理869，作为特征点提取处理863。

Sobel滤波处理864是计算使用P2滤波器(x方向)获得的x方向值dx和使用Y方向滤波器获得的y方向值dy的处理。应当指出，参照图43到图46详细描述对x方向值dx的计算。

第二矩矩阵计算处理是使用Sobel滤波处理864计算的dx和dy来计算值dx²，dy²以及dx·dy的处理。可分离滤波处理866是对第二矩矩阵计算处理865计算出的dx²，dy²以及dx·dy的图像应用高斯滤波器(模糊处理)的处理。

Calc Harris处理867是使用可分离滤波处理866应用模糊处理后的值dx²，dy²以及dx·dy来计算Calc Harris分数的处理。通过例如以下公式来计算Calc Harris分数S。

S＝(dx²×dy²-dx·dy×dx·dy)/dx²+dy²+ε)

膨胀处理868是对Calc Harris处理867计算的Calc Harris分数构成的图像执行模糊处理的处理。

排序处理869是如下处理：按Calc Harris处理867计算的CalcHarris分数的降序对像素排列，从较高的分数中拾取预定数量的像素，并提取所拾取的点作为特征点。

算术处理器核(#1)811执行制作锥形图像处理871和计算光流处理872，作为光流计算处理。

制作锥形图像处理871是从摄像机拍摄图像时的图像大小起依次地创建减小到预定数量级别的图像的处理，所创建的图像称为多分辨率图像。

计算光流处理872是为制作锥形图像处理871创建的多分辨率图像中的最小图像计算光流的处理，利用计算结果，为分辨率高一个级别的图像再次计算光流，重复该处理，直到达到最大图像。

这样，例如，对于图2等所示的特征点提取单元121执行的特征点提取处理和光流计算单元122执行的光流计算处理，可以使用多核处理器800通过执行SIMD运算的并行处理来获得处理结果。应当指出，图42等所示的特征点提取处理和光流计算处理仅是例示性的，因而可以使用对构成运动图像的图像的各种类型的滤波处理和阈值处理构成的其他处理来执行多核处理器800的SIMD操作。

图43示出在使用Sobel滤波器830对本发明实施例的主存储器781存储的图像数据(与构成摄像机拍摄的运动图像的一个帧相对应的图像数据)进行滤波处理的情况下的数据结构和处理流程概要。应当指出，以简化方式(水平像素数量为32)示出图中所示的主存储器781存储的图像数据。此外，Sobel滤波器830是3×3边沿提取滤波器。如图所示，通过Sobel滤波器830对主存储器781存储的图像进行滤波，并且输出滤波器处理结果。利用使用SIMD运算一次获得4个滤波结果的示例来描述该例子。

图44示出本发明实施例在使用Sobel滤波器830对主存储器781存储的图像数据执行SIMD运算的情况下的数据流概要。首先，将包括主存储器781存储的图像数据的第一行在内的预定数量行(例如3行)DMA(直接存储器访问)传送到算术处理器核的本地储存器821的第一缓冲区831，并且将通过对DMA传送到第一缓冲区831的每行进行移位而获得的预定数量行DMA传送到第二缓冲区832。这样，使用双缓冲区可以隐藏由于DMA传送而导致的延迟。

图45示出在使用本发明实施例的Sobel滤波器830进行的滤波处理中从第一缓冲区831存储的图像数据创建9个向量的向量创建方法的概要。如图44所示，在DMA传送之后，根据第一缓冲区831存储的图像数据创建9个向量。更具体地，在第一缓冲区831存储的图像数据的行1中，根据从左角起的4条数据来创建向量数据841，根据通过将前4条数据向右侧移位1而获得的4条数据来创建向量数据842，然后根据通过将前4条数据向右侧移位1而获得的4条数据来创建向量数据843。此外，对于行2和行3，同样根据4条数据来创建向量数据844到849。

图46示出使用本发明实施例的Sobel滤波器830执行滤波处理的情况下使用SIMD指令对向量数据841到849执行向量计算的向量计算方法的概要。更具体地，对向量数据841到843依次地执行SIMD运算以获得向量A。在SIMD运算中，首先执行SIMD运算″″-1″×″向量数据841″″。接着，执行SIMD运算″″0″×″向量数据842″″，并执行SIMD运算″″ 1″×″向量数据843″″。这里，对于″″0″×″向量数据842″″，已经确定运算结果为″0，″，因而可以略去该运算。对于″″1″×″向量数据843″″，已经确定运算结果与″向量数据843″相同，因此可以略去该运算。

接着，通过SIMD运算执行运算结果″″-1″×″向量数据841″″与运算结果″″0″×″向量数据842″″之间的加法处理。接着，通过SIMD运算执行该加法处理的结果与运算结果″″1″×″向量数据843″″之间的加法处理。这里，例如，可以通过SIMD运算执行数据结构″向量数据1″×″向量数据2″+″向量数据3″的计算。因此，对于向量A的计算，可以略去例如对″″0″×″向量数据842″″和″″1″×″向量数据843″″的SIMD运算，并且可以通过SIMD运算一次执行″″-1″×″向量数据841″+″向量数据843″″。

此外，同样，对向量数据844到846执行SIMD运算，以获得向量B，对向量数据847到849执行SIMD运算，以获得向量C。

接着，对通过SIMD运算获得的向量A到C执行SIMD运算以获得向量D。这样，执行SIMD运算可以提供对与向量元素数量相等的结果(在本例子中为4条数据)的集体获取。

在计算向量D之后，通过将要取出的数据的位置向右侧移位1，对图44所示的第一缓冲区831存储的图像的数据重复相同的处理，从而对每条数据的向量D依次地执行计算。并且，当已经完成了直至图44所示的第一缓冲区831存储的图像数据的右端的处理时，将处理结果DMA传送到主存储器781。

接着，在主存储器781存储的图像数据中，将通过将传送到第二缓冲区832的行向下移位一行而获得的预定数量行DMA传送到第一缓冲区831，并且对第二缓冲区832存储的图像数据重复上述处理。然后，重复相同的处理，直到达到了主存储器781存储的图像数据行中的最下一行。

同样，通过SIMD运算执行特征点提取和光流计算的大部分处理，可以实现高速图像处理。

图47以时间顺序示出本发明实施例的摄像机工作参数计算处理流的概要。如上所述，使用多核处理器800执行SIMD运算，例如，允许并行执行对运动图像的解码和分析处理。因此，可以使对构成运动图像的一个帧的分析时间比解码时间要短。

例如，该图中，t1表示控制处理器核801对构成运动图像的一个帧执行解码处理所需的时间，t2表示算术处理器核(#1)811到(#8)818对构成运动图像的一个帧执行特征点提取处理所需的时间，t3表示算术处理器核(#1)811到(#8)818对构成运动图像的一个帧执行光流计算处理所需的时间，t4表示控制处理器核801对构成运动图像的一个帧执行摄像机工作参数检测处理所需的时间。应当指出，t5表示算术处理器核(#1)811到(#8)818对构成运动图像的一个帧执行摄像机工作检测处理所需的时间。此外，t6表示控制处理器核801对算术处理器核(#1)811到(#8)818执行管理所需的时间。例如，可以将t1设定为″25.0ms，″，t2为″7.9ms″，t3为″6.7ms″，t4为″1.2ms″，t5为″15.8ms″。

以下参照附图详细描述本发明实施例的使用元数据文件的运动图像内容再现。

图48(a)是示意性示出作为记录介质例子的蓝光盘(注册商标)880的俯视图，图48(b)示意性示出记录到蓝光盘880的数据881到884。记录到蓝光盘880的有：运动图像内容882，其为摄像机等拍摄的运动图像；运动图像内容882的子标题883；对运动内容882分析而获得的元数据(例如，图5(b)所示的元数据文件)884；以及与本发明实施例中的运动图像再现相关联的Java(注册商标)程序881。

图48(c)示意性示出能够再现蓝光盘880的蓝光盘再现机(蓝光盘播放器)890的内部结构。这里，能够再现蓝光盘的蓝光盘再现机890可以执行Java(注册商标)程序，因为Java(注册商标)VM(Java(注册商标)虚拟机)和库893作为标准连同CPU 891和OS 892一起安装。因此，将蓝光盘880装载在蓝光盘再现机890上允许蓝光盘再现机890加载Java(注册商标)程序881以执行。因此，当再现运动内容882时，蓝光盘再现机890可以使用本发明实施例的元数据884来再现运动图像。即，可以在不使用专用PC软件等的情况下在所有蓝光再现机实现本发明实施例的运动图像再现。

在本发明实施例中，描述了校正仿射变换参数的例子，以提高合成图像的质量；然而，还可以校正与运动图像相关联的其他信息以提高合成图像的质量。例如，可以使用与通用数字摄像机提供的白平衡和曝光校正等相关联的元数据来提高全景图像的质量。

例如，在拍摄运动图像时，获得每个帧中的曝光校正参数作为元数据并与该帧相关联地存储。然后，当再现运动图像时，基于所获得的元数据执行了曝光校正的帧被提取，并且图像处理对执行该曝光校正的帧执行逆校正，以将该帧校正到曝光校正之前的帧。结果，可以防止创建在合成图像的不同位置上曝光很不相同的合成图像。

此外，例如，可以对利用自动白平衡能力拍摄的运动图像执行校正。例如，当对运动图像进行合成以再现时，执行白平滑的逆校正。结果，可以防止整个合成图像变模糊，因为构成运动图像的帧具有不同的白平衡。

这样，运动图像是预定时段的两个或更多个帧的集合，并且各帧的图像拍摄条件大多不同，因为优先进行普通再现。因此，对这些图像质量的逆转换允许创建高质量的一个全景合成图像。应当指出，在通过图像处理消除曝光校正时，例如可以使图像全部白化，因而优选的根据每个运动图像的内容来执行校正。

如上所述，在本发明实施例中，在再现运动图像时，将与当前显示的图像之前的帧相对应的每个图像与当前图像合成以显示，使得可以与作为图像拍摄中心的主题一起容易地观看在至少一部分时间区域中拍摄的背景等。因此，例如，如果用户想要观看在至少一部分时间区域中拍摄的背景等，可以在不执行回退(rewind)操作或暗示(cue)操作的情况下在当前显示图像的同时观看背景。此外，在观看摄像机拍摄的运动图像时，观看人可以容易理解运动图像的内容并且可以容易地识别运动图像的空间展度。

即，可以使用过去的帧在空间上展开运动图像以供观看。因此，例如，可以提供一种在再现两个或更多个运动图像的同时创建全景图像的观看方法，使观看人可以非常愉悦地观看运动图像。此外，对于当前图像，可以依次地显示被存储在图像存储器220中之前的图像，从而显示相对精细的图像。此外，如果出现场景变化或者未适当计算仿射变换参数，执行仿射变换参数校正或合成图像分割，从而防止失败地合成运动图像，并提高全景形成的合成图像的质量。

此外，在本发明实施例中，描述了使用预先检测的仿射变换参数来执行再现和显示的例子；还可以在再现时计算仿射变换参数并使用这些仿射变换参数来进行再现和显示。例如，基于多核处理器通过SIMD操作计算仿射变换参数允许在解码一个帧的处理时间内计算一个帧的仿射变换参数。因此，即使在再现未计算其仿射变换参数的运动图像时，也可以在计算仿射变换参数的同时执行运动图像的再现，使得可以高速执行在空间上展开运动图像的观看。

此外，在本发明实施例中，描述了如下示例：将两个或更多个运动图像文件存储在运动图像存储块200中，并将与每个运动图像相对应的仿射变换参数与对应的运动图像和帧相关联地存储在元数据存储块210中，作为元数据文件；还可以预先将运动图像和与其相对应的仿射变换参数相互关联地存储在运动图像存储块中作为运动图像文件，并且在再现时从运动图像文件提取各项信息以供使用。

此外，例如，在高视觉TV(电视)中，当观看以SD(标准清晰度)图像质量拍摄的运动图像或者观看数字静态摄像机或移动电话的运动图像存储功能拍摄的运动图像时，如果以原始图像大小显示运动图像，高视觉TV的像素数量不可以是多数。此外，当执行拉近显示时，往往有图像粗糙度变显著的情况。因此，本发明实施例描述的显示允许使高视觉TV的像素数量占多数来观看，而不使图像粗糙度变显著。

应当指出，可以将图像合成块190合成的合成图像记录到记录介质等以用于其他再现和显示目的。例如，可以将合成图像预先存储在元数据存储块210的元数据文件中作为代表性图像，以用于再现时搜索。这样，如果使用合成图像作为代表性图像，还可以对构成运动图像文件的帧的一定数量帧重复合成图像创建处理，以创建合成图像，而不是对构成运动图像文件的所有帧重复合成图像创建处理，从而使用如此创建的合成图像作为代表性图像。此外，在本发明实施例中，已经描述了从构成运动图像的起始帧起重复合成图像创建处理以创建合成图像的示例；还可以从结尾帧到起始帧重复合成图像创建处理以创建合成图像。在此情况下，时间轴上较早的图像被重写到在时间轴上较晚的图像以进行合成。因此，在进行分割的相邻处，分割之前的场景可以变得显著。因此，例如，在创建用作代表性图像的合成图像的情况下，可以不从所有帧创建合成图像，使得如果执行分割，可以将分割附近的几个帧从合成中排除。

此外，如果基于在图像拍摄空间(对应于要形成的合成图像的空间)中的交叠比率来提取运动图像的索引图像，本发明实施例也是适用的。即，可以使用校正或分割之后的图像来确定交叠比率。

此外，在本发明实施例中，已经描述了保留与当前帧之前的帧相对应的合成图像以显示的例子；随着时间经过而依次地擦除该合成图像也是可行的。在此情况下，执行呈现使得在擦除合成图像时保留其残留图像，也是可行的。此外，可以执行呈现使得用彩色来显示与当前帧相对应的图像，并且随着时间经过从彩色到深褐色地显示与当前帧之前的帧相对应的合成图像。此外，当分割之后再现场景时，可以使分割之前的场景的合成图像逐渐淡化。结果，可以对每个合成图像执行平滑的场景切换。应当指出，在此情况下，新场景的起始图像可以回到画面的固定点。

此外，在本发明实施例中，已经描述了将图像处理设备用于显示图像合成块合成的图像的示例；还可以将本发明实施例应用于具有图像输出装置的图像处理设备，图像输出装置用于输出将图像合成块合成的图像显示在另一图像显示设备的图像信息。此外，本发明实施例可应用于能够再现运动图像的运动图像再现设备或者诸如数字摄像机等的能够再现已拍摄运动图像的图像拍摄设备。

此外，在本发明实施例中，已经描述了摄像机拍摄的运动图像；还可以例如将本发明实施例应用于对摄像机拍摄的运动图像进行编辑的情况下的编辑运动图像以及带有动画合成的运动图像。此外，在本发明实施例中，已经描述了显示全部日志图像的一部分的例子；还可以仅显示两个或更多个转换后的当前图像。即，可以仅依次地显示最近保持在图像存储器中的两个或更多个当前图像。

此外，在本发明实施例中，已经描述了如下情况：当运动对象的大小相对于构成运动图像的图像的面积来说相对较小时，获得摄像机运动，并使用摄像机运动来再现运动图像。然而，当运动体的大小相对于构成运动图像的图像的面积来说相对较大时，也可适用本发明实施例。例如，当将离开车站的火车拍摄为中心主题，火车与被拍摄图像面积之比很大，并且计算上述仿射变换参数时，计算火车的运动。在此情况下，通过利用火车运动，可以按上述合成图像创建方法来创建合成图像。这样，可以计算摄像机与拍摄图像时的主题之间的相对运动量相关联的运动信息，用作对构成运动图像的图像进行转换的转换信息。

应当指出，尽管使用特定术语描述本发明的与权利要求书范围内的创造性的特定项目相关联的优选实施例，但是这种描述仅出于例示目的，应当理解，可以在不脱离所附权利要求书的精神或范围的情况下作出变化和改变。

即，在权利要求1，运动图像存储装置例如对应于运动图像存储块200。转换信息存储装置例如对应于元数据存储块210。此外，图像保持装置例如对应于图像存储器220。此外，特征量提取装置例如对应于特征量提取块150。此外，图像转换装置例如对应于图像转换块180。此外，判定装置例如对应于合成图像分割判定块170。此外，图像合成装置例如对应于图像合成块190。

此外，在权利要求8，运动图像存储装置例如对应于运动图像存储块200。此外，转换信息存储装置例如对应于元数据存储块210。此外，图像保持装置例如对应于图像存储器220。此外，判定装置例如对应于合成图像分割判定块170。此外，图像转换装置例如对应于图像转换块180。此外，图像合成装置例如对应于图像合成块190。

此外，在权利要求9，运动图像存储装置例如对应于运动图像存储块200。此外，转换信息存储装置例如对应于元数据存储块210。此外，图像保持装置例如对应于图像存储器220。此外，特征量提取装置例如对应于特征量提取块150。此外，转换信息校正装置例如对应于转换信息校正块160。此外，图像转换装置例如对应于图像转换块180。此外，图像合成装置例如对应于图像合成块190。

此外，在权利要求13，特征量提取装置例如对应于特征量提取块150。此外，判定装置例如对应于合成图像分割判定块170。此外，图像合成装置例如对应于图像转换块180和图像合成块190。

此外，在权利要求14，运动图像存储装置例如对应于运动图像存储块200。此外，转换信息存储装置例如对应于元数据存储块210。此外，图像保持装置对应于图像存储器220。此外，特征量提取装置例如对应于特征量提取块150。此外，图像转换装置例如对应于图像转换块180。此外，判定装置例如对应于合成图像分割判定块170。此外，图像合成装置例如对应于图像合成块190。此外，图像控制装置例如对应于显示控制块250。

此外，在权利要求15或16，图像转换过程例如对应于步骤S929。此外，判定过程例如对应于步骤S950。此外，图像合成过程例如对应于步骤S930。

应当指出，可以将本发明实施例描述的处理过程理解为具有这些过程序列的方法，或用于使计算机执行这些过程序列的程序，或记录程序的记录介质。

Claims (16)

1、一种图像处理设备，包括：

运动图像存储装置，用于存储由图像拍摄设备拍摄的已拍摄运动图像；

转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；

图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；

特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；

图像转换装置，用于基于所述转换信息对所述第二已拍摄图像进行转换；

判定装置，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及

图像合成装置，如果所述判定装置判定合成所述第二已拍摄图像与所述日志图像是必要的，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定合成所述第二已拍摄图像与所述日志图像是不必要的，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中。

2、根据权利要求1所述的图像处理设备，其中如果所述判定装置判定不执行对所述第二已拍摄图像与所述日志图像的合成，则所述图像合成装置擦除所述图像保持装置中保持的所述日志图像，并将所述第二已拍摄图像保持在所述图像保持装置中作为新日志图像。

3、根据权利要求1所述的图像处理设备，其中如果所述判定装置判定不执行对所述第二已拍摄图像与所述日志图像的合成，则所述图像合成装置将所述第二已拍摄图像安排在与所述日志图像在所述图像保持装置中的安排位置不同的位置，并将所述第二已拍摄图像保持在所述图像保持装置中作为新日志图像。

4、根据权利要求1所述的图像处理设备，其中所述特征量提取装置通过对构成所述已拍摄图像的每个图像的特定变化进行检测来提取特征量，以及

所述判定装置通过将所述提取的特征量与预定阈值比较来判定所述第二已拍摄图像是否对应于场景变化点，如果发现所述第二已拍摄图像对应于所述场景变化点，判定不将所述第二已拍摄图像与所述日志图像合成在一起。

5、根据权利要求1所述的图像处理设备，其中所述转换信息包括与拉近/拉远、平移以及转动相关联的要素，

所述特征量提取装置基于与所述第二已拍摄图像相关联的所述转换信息来提取平移分量、转动分量以及拉近/拉远分量；以及

所述判定装置通过将所述提取的所述平移分量、所述转动分量以及所述拉近/拉远分量的至少一个与预定阈值比较，来判定所述合成是否必要。

6、根据权利要求5所述的图像处理设备，其中所述特征量提取装置基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，以及计算所述提取的平移分量、所述转动分量以及所述拉近/拉远分量中的每一个的平均值，以及

所述判定装置通过将平移分量、转动分量以及拉近/拉远分量的所述计算平均值中的至少一个与预定阈值比较，来判定所述合成是否必要。

7、根据权利要求5所述的图像处理设备，其中所述特征量提取装置基于与从所述时间轴上位于所述第二已拍摄图像之前预定数量的已拍摄图像直至所述第二已拍摄图像的每一个已拍摄图像相关联的转换信息，来提取平移分量、转动分量以及拉近/拉远分量，以及计算所述提取的平移分量、所述转动分量以及所述拉近/拉远分量中的每一个的积分值，以及

所述判定装置通过将平移分量、转动分量以及拉近/拉远分量的所述计算积分值中的至少一个与预定阈值比较，来判定所述合成是否必要。

8、一种图像处理设备，包括：

运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；

转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；

图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；

判定装置，用于基于从所述日志图像保持在所述图像保持装置中起经过的时间来判定合成所述第二已拍摄图像与所述日志图像是否必要；

图像转换装置，用于基于所述转换信息转换所述第二已拍摄图像；

图像合成装置，如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成是必要的，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成是不必要的，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中。

9、一种图像处理设备，包括：

运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；

转换信息存储装置，用于为在所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；

图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每个已拍摄图像的日志图像；

特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；

转换信息校正装置，用于基于所述提取的特征量来校正所述转换信息；

图像转换装置，用于基于所述校正后的所述转换信息对所述第二已拍摄图像进行转换；以及

图像合成装置，用于合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像。

10、根据权利要求9所述的图像处理设备，其中所述转换信息校正装置通过将所述提取的特征量与预定阈值比较来判定对所述转换信息的校正是否必要，以及如果发现有必要对所述转换信息进行校正，校正所述转换信息，以及

如果所述转换信息已经被校正，所述图像转换装置基于所述校正后的转换信息对所述第二已拍摄图像进行转换，以及如果所述转换信息未被校正，基于所述转换信息对所述第二已拍摄图像进行转换。

11、根据权利要求10所述的图像处理设备，其中如果发现有必要校正所述转换信息，所述转换信息校正装置将所述转换信息校正为预定转换信息。

12、根据权利要求10所述的图像处理设备，其中如果发现有必要校正所述转换信息，所述转换信息校正装置基于与在所述时间轴上位于所述第二已拍摄图像之前的已拍摄图像相关联的转换信息和与位于所述第二已拍摄图像之后的已拍摄图像相关联的转换信息，对所述转换信息进行校正。

13、一种图像处理设备，包括：

特征量提取装置，用于提取与构成图像拍摄设备所拍摄的已拍摄运动图像的已拍摄图像相关联的特征量；

判定装置，用于基于所述提取的特征量来判定是否必要对合成图像进行分割；以及

图像合成装置，如果所述判定装置发现不执行对合成图像的分割，基于在图像拍摄时所述图像拍摄设备的运动信息合成所述已拍摄图像与已经形成的合成图像，以及如果所述判定装置发现要执行对合成图像的分割，基于所述运动信息来创建与已经形成的合成图像不同的新合成图像。

14、一种运动图像再现设备，包括：

运动图像存储装置，用于存储由所述图像拍摄设备拍摄的已拍摄运动图像；

转换信息存储装置，用于为所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；

图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每一个已拍摄图像的日志图像；

特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量；

图像转换装置，用于基于所述转换信息转换所述第二已拍摄图像；

判定装置，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及

图像合成装置，如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成有必要，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定装置判定所述第二已拍摄图像与所述日志图像的合成不必要，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中；以及

显示控制装置，用于将所述图像保持装置中保持的新日志图像或所述第二已拍摄图像依次地显示在显示装置上。

15、一种图像处理设备中的图像处理方法，该图像处理设备具有：运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每一个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每一个已拍摄图像的日志图像；以及特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量，所述图像处理方法包括：

图像转换过程，用于基于所述转换信息转换所述第二已拍摄图像；

判定过程，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及

图像合成过程，如果所述判定过程判定所述第二已拍摄图像与所述日志图像的合成有必要，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定过程判定所述第二已拍摄图像与所述日志图像的合成不必要，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中。

16、一种图像处理设备中的程序，该图像处理设备具有：运动图像存储装置，用于存储图像拍摄设备拍摄的已拍摄运动图像；转换信息存储装置，用于为所述已拍摄运动图像的时间轴上相对于构成所述已拍摄运动图像的第一已拍摄图像位于所述第一已拍摄图像之后的每一个第二已拍摄图像，存储用于转换所述第二已拍摄图像的转换信息；图像保持装置，用于保持包括在所述时间轴上位于所述第二已拍摄图像之前的每一个已拍摄图像的日志图像；以及特征量提取装置，用于提取与所述第二已拍摄图像相关联的特征量，所述程序用于使计算机执行：

图像转换过程，用于基于所述转换信息转换所述第二已拍摄图像；

判定过程，用于基于所述提取的特征量来判定合成所述第二已拍摄图像与所述日志图像是否必要；以及

图像合成过程，如果所述判定过程判定所述第二已拍摄图像与所述日志图像的合成有必要，合成所述转换后的第二已拍摄图像与所述图像保持装置中保持的所述日志图像，并将合成后的图像保持在所述图像保持装置中作为新日志图像，以及如果所述判定过程判定所述第二已拍摄图像与所述日志图像的合成不必要，在不合成所述第二已拍摄图像与所述图像保持装置中保持的所述日志图像的情况下将所述第二已拍摄图像保持在所述图像保持装置中。

Images