CN102790843A - 图像处理设备和显示图像生成方法 - Google Patents

Abstract

本公开涉及图像处理设备和显示图像生成方法。所述图像处理设备包括：接收时间或空间上连续的多个图像单元的输入终端；通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理的图像处理单元；和显示图像生成单元，所述显示图像生成单元控制显示器在图像处理单元开始进行图像处理时，显示所述多个图像单元；在图像处理单元完成所述多个图像单元的子集的中间处理时，显示包括多个图像单元的已处理子集的中间处理图像；和在图像处理单元完成所述多个图像单元的处理之后，显示包括已处理的所述多个图像单元的完整处理图像。

Description

图像处理设备和显示图像生成方法

相关申请的交叉参考

本申请要求2011年5月16日提交的临时专利申请序列号61/486,444的优先权，其全部内容在此结合作为参考。

技术领域

本公开涉及创建和显示其中反复播放几秒运动图像的反复重放运动图像的显示图像生成方法。

背景技术

例如，在连接构成具有运动的几秒运动图像的多帧中的第一帧和最后一帧，以便反复播放和显示的情况下，在第一帧和最后一帧之间的连接部分，在屏幕内移动的显示对象的运动会暂时不连贯，这经常妨碍平滑地播放运动图像。具体地说，例如，在反复播放和显示其中拍摄涟漪临近的景象，和树叶在风中飘舞的景象的几秒运动图像的情况下，涟漪的运动和树叶的飘舞会短暂不连贯。因而，观看该反复播放和显示的运动图像的用户会觉得短暂不连贯的部分令人不舒服。

于是，例如，借助循环运动图像生成方法，从输入视频的各个帧图像中检测时间上分离并且还具有最高相似性的一对帧图像，利用掺合(混合)连接所述一对帧图像，以致视觉上不显露检测为所述一对帧图像的帧图像之间的差异，从而能够实现视觉上平滑连接的部分。

发明内容

顺便提及，近年来，安装有能够显示高分辨率的色彩鲜明图像的显示面板并且其中还带有能够拍摄高分辨率运动图像的照相机装置的个人数字助理正开始获得广泛使用。就这种个人数字助理来论，已需要从利用内置照相机拍摄的运动图像生成重复运动图像，以致如上所述反复播放和显示几秒的运动图像，和把所述重复运动图像显示在显示面板的屏幕上。

不过，个人数字助理的处理能力次于个人计算机等的处理能力，因而，例如，在如上所述从拍摄的运动图像中提取几秒的运动图像，和生成重复运动图像的情况下，需要一定程度的较长处理时间。于是，例如，即使当打算在拍摄图像之后，立即(通常实时)观看重复运动图像时，用户也不得不等到该重复运动图像的生成处理完成为止。

于是，正是就处理能力稍低的设备来说，在从通过拍摄图像等而获得的具有运动的几秒的运动图像生成和显示重复运动图像的情况下，发明人认识到实现从开始重复图像的生成时起，基本上实时显示重复运动图像的必要性。

按照第一实施例，本公开目的在于一种图像处理设备，包括：接收时间或空间上连续的多个图像单元的输入终端；通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理的图像处理单元；和显示图像生成单元，所述显示图像生成单元控制显示器在图像处理单元开始进行图像处理时，显示所述多个图像单元；在图像处理单元完成所述多个图像单元的子集的中间处理时，显示包括多个图像数据单元的已处理子集的中间处理图像；和在图像处理单元完成所述多个图像单元的处理之后，显示包括已处理的所述多个图像数据单元的完整处理图像。

按照另一个例证实施例，本公开目的在于一种由信息处理设备执行的图像显示方法。所述方法包括在图像处理设备的输入终端接收时间或空间上连续的多个图像单元；通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理；利用信息处理设备的显示器，在开始对所述多个图像单元的图像处理时，显示所述多个图像单元；在所述多个图像单元的子集的中间处理完成时，利用显示器显示包括多个图像数据单元的已处理子集的中间处理图像；和在所述多个图像单元的图像处理完成之后，利用显示器显示包括已处理的所述多个图像数据单元的完整处理图像。

按照另一个例证实施例，本公开目的在于一种包括计算机程序指令的非临时性计算机可读介质，当被信息处理设备执行时，所述计算机程序指令使信息处理设备执行包括下述步骤的方法：接收时间或空间上连续的多个图像单元；通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理；在开始对所述多个图像单元的图像处理时显示所述多个图像单元；在所述多个图像单元的子集的中间处理完成时，显示包括多个图像数据单元的已处理子集的中间处理图像；和在所述多个图像单元的图像处理完成之后，显示包括已处理的所述多个图像数据单元的完整处理图像。

从而，按照本公开的实施例，即使利用处理能力稍低的设备，也能够从开始生成一组已处理图像起，大致实时地连续显示图像。另外，按照本公开的实施例，显示在一组已处理图像的生成处理中生成的中间图像，从而在生成一组已处理图像以娱乐用户之前，使用户可以观看图像。

附图说明

图1是用于简要说明按照本公开的实施例的重复运动图像的生成和显示的示图。

图2是用于简要说明按照本实施例的循环运动图像生成处理的最佳重复片段检测处理的示图。

图3是用于说明输入视频数据的各帧，和按照本实施例的循环运动图像生成处理中的重复运动图像的各帧的示图。

图4是图解说明与在按照本实施例的个人数字助理的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图。

图5是图解说明与在按照本实施例的个人数字助理的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图，所述循环运动图像生成处理生成由待机图像构成的重复运动图像。

图6是图解说明在按照本实施例的个人数字助理的循环运动图像生成处理的流程的流程图，所述循环运动图像生成处理生成由待机图像构成的重复运动图像。

图7是图解说明与在按照本实施例的个人数字助理的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图，所述循环运动图像生成处理生成由缩略图图像构成的重复运动图像。

图8是图解说明在按照本实施例的个人数字助理的循环运动图像生成处理的流程的流程图，所述循环运动图像生成处理生成由缩略图图像构成的重复运动图像。

图9是用于说明就本实施例来说，在一边调整帧速率，一边生成和显示重复运动图像时的各帧的关系的示图。

图10是用于说明就本实施例来说，在一边调整帧速率，一边生成和显示重复运动图像时的帧速度和循环运动图像生成处理的关系的示图。

图11是图解说明就按照本实施例的个人数字助理来说，与一边调整帧速率，一边生成重复运动图像的循环运动图像生成处理相应的各个主要部分的示意结构的方框图。

图12是图解说明就按照本实施例的个人数字助理来说，一边调整帧速率，一边生成重复运动图像的循环运动图像生成处理的流程的流程图。

图13是图解说明就按照本实施例的个人数字助理来说，在生成全景重复运动图像时的视频数据的各帧的例子的示图。

图14是图解说明就按照本实施例的个人数字助理来说，在生成全景重复运动图像时，经历位置调整处理的视频数据的各帧的例子的示图。

图15是图解说明就按照本实施例的个人数字助理来说，生成全景重复运动图像时生成的全景图像的例子的示图。

图16是用于说明就按照本实施例的个人数字助理来说，在生成全景重复运动图像时的重叠图像部分的示图。

图17是用于说明就按照本实施例的个人数字助理来说，在生成全景重复运动图像时的多个重叠图像部分，和由这些重叠图像部分构成的全景重复运动图像的示图。

图18是图解说明就按照本实施例的个人数字助理来说，与生成全景重复运动图像的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图。

图19是图解说明就按照本实施例的个人数字助理来说，生成全景重复运动图像的循环运动图像生成处理的流程的流程图。

图20是图解说明就按照本实施例的个人数字助理来说，与在视频暂停时，生成重复运动图像的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图。

图21是图解说明就按照本实施例的个人数字助理来说，在视频暂停时，生成重复运动图像的循环运动图像生成处理的流程的流程图。

图22是图解说明就按照本实施例的个人数字助理来说，在使用循环运动图像生成处理生成全景静止图像时的各帧的例子的示图。

图23是用于说明就按照本实施例的个人数字助理来说，在使用循环运动图像生成处理生成全景静止图像时的混合处理的示图。

图24是图解说明就按照本实施例的个人数字助理来说，已使用循环运动图像生成处理部分完成其处理的全景静止图像的例子的示图。

图25是图解说明就按照本实施例的个人数字助理来说，与生成全景静止图像的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图。

图26是图解说明就按照本实施例的个人数字助理来说，生成全景静止图像的循环运动图像生成处理的流程的流程图。

图27是用于说明就按照本实施例的个人数字助理来说，在使用循环运动图像生成处理的三维降噪处理时的预览图像的示图。

图28是用于说明就按照本实施例的个人数字助理来说，使用2个图像的三维降噪处理的示图。

图29是用于说明就按照本实施例的个人数字助理来说，使用3个图像的三维降噪处理的示图。

图30是图解说明就按照本实施例的个人数字助理来说，与实现三维降噪的循环运动图像生成处理相应的各个主要部分的示意结构的功能方框图。

图31是图解说明就按照本实施例的个人数字助理来说，实现三维降噪的循环运动图像生成处理的流程的流程图。

图32是图解说明就按照本实施例的个人数字助理来说，通过利用例如指示器的进度条和%显示，使用户可以识别循环运动图像生成处理的进展情况的屏幕显示的例子的示图。

图33是图解说明就按照本实施例的个人数字助理来说，通过利用例如显示阴影或透明度的变化，使用户可以识别循环运动图像生成处理的进展情况的屏幕显示的例子的示图。

图34是图解说明就按照本实施例的个人数字助理来说，使用户可以识别循环运动图像生成处理的完成的屏幕显示的例子的示图。

图35是图解说明按照本实施例的个人数字助理的详细结构例子的方框图，由此利用预定图像处理，比如循环运动图像生成处理等获得的中间图像能够被显示在显示屏幕上。

图36是图解说明在通过把照相机单元拍摄的视频数据用作原始运动图像，生成和显示重复运动图像的情况下，按照本实施例的个人数字助理的具体结构例子的方框图。

具体实施方式

下面参考附图，说明应用本公开的显示图像生成方法的实施例。

实施例的概况

首先，说明本公开的实施例的概况

例如，应用按照本实施例的显示图像生成方法的显示处理设备可适用于安装有能够显示高分辨率的色彩鲜明图像的显示面板并且其中还带有能够拍摄高分辨率运动图像的照相机单元的个人数字助理，等等。就以下的实施例来说，将以个人数字助理为例进行说明。

按照本实施例的个人数字助理被配置成接收时间和/或空间上连续的多个图像数据，由接收的时间和/或空间上连续的多个图像数据生成时间和/或空间上连接的一组处理图像，在图像处理单元开始生成所述一组处理图像的时候，把接收的时间和/或空间上连续的多个图像数据显示在屏幕上，当在图像处理单元生成所述一组处理图像的处理期间，生成中间处理图像时，不断把该中间处理图像显示在屏幕上，和在完成图像处理单元进行的所述一组处理图像的生成之后，不断把在完成所述生成之后的一组处理图像显示在屏幕上。

例如，在接收的多个图像数据是视频数据的情况下，按照本实施例的个人数字助理生成其中反复播放从视频数据剪取的几秒的运动图像，重复运动图像能够被显示在显示面板的屏幕上(下面，酌情称为显示屏幕)。另外，按照本实施例的个人数字助理显然不局限于拍摄的运动图像，另外，可以进行其中所述几秒的运动图像可以剪取自从各种网络或者各种存储装置获得的运动图像并从所述运动图像生成和显示重复运动图像的安排。注意，就以下的说明来说，剪取自拍摄的运动图像或者经由网络等的运动图像，并用于生成重复运动图像的几秒的运动图像将被表示成原始运动图像。

另外，就本实施例来说，通常从用户输入开始显示重复运动图像的指令输入的时刻起，或者从预先对个人数字助理设定的预定自动显示开始条件被满足的时刻起，实时开始重复运动图像的显示。注意，预先对个人数字助理设定的预定自动显示开始条件被满足的时刻可被设想成例如当到特定时刻时，当特定应用被启动时，当某种应用启动特定处理时，等等。显然这些只是例子，本实施例并不局限于此。就以下的说明来说，用户输入开始显示重复运动图像的指令输入的时刻，预先对个人数字助理设定的预定自动显示开始条件被满足的时刻等将不予以特别区分，将表示成重复运动图像显示开始时刻。

在重复运动图像显示开始时刻，按照本实施例的个人数字助理从第一帧开始，顺序显示构成原始运动图像的各帧，并把第一帧连接到最后一帧之后，从而显示重复图像。具体地说，例如，如图1的(A)中所示，在重复运动图像显示开始时刻，按照本实施例的个人数字助理从起点开始，顺序显示构成原始运动图像的帧F0-FN，并把第一帧F0连接到最后一帧FN之后，从而显示重复图像。

另外，在从重复运动图像显示开始时刻起利用原始运动图像显示重复运动图像的时候，按照本实施例的个人数字助理以后台处理的形式，对原始运动图像进行后面说明的循环运动图像生成处理。就本实施例来说，循环运动图像生成处理是生成在用户看来在视觉上没有任何不舒服感觉的平滑重复运动图像的处理，例如由位置调整处理，最佳重复片段检测处理，循环处理，混合处理等构成。另外，位置调整处理的例子包括运动检测处理，和抖动校正处理。注意，按照充当来源的原始运动图像的内容，酌情控制是否进行包括在位置调整处理中的运动检测处理或抖动校正处理。具体地，例如，在原始运动图像是拍摄的运动图像的情况下，酌情控制位置调整处理，以便当运动图像中包括抖动分量时，进行抖动校正处理，当不包括抖动分量时，不进行抖动校正处理。另外，在循环运动图像生成处理时使用的各帧可以包括利用执行的各种处理任意之一获得的帧，以及构成原始运动图像的帧。

另外，当生成在循环运动图像生成处理的各个处理的执行期间已变得可显示的帧，或者按照各个处理的完成已变得可显示的帧时，按照本实施例的个人数字助理相继用重复运动图像内在显示时间方面对应的帧替换该帧。具体地说，例如，如图1的(B)和(A)中所示，当生成在执行作为图像合成处理线程的循环运动图像生成处理的时候，在各个处理的执行期间，或者按照各个处理的完成，已变得可显示的帧Fk，Fk+1等时，按照本实施例的个人数字助理相继用重复显示线程的重复运动图像内在显示时间方面对应的帧替换这些帧Fk，Fk+1等。注意，如果在重复运动图像内没有在显示时间方面对应的帧，那么可以添加按照循环运动图像生成处理的帧，或者如果生成了对重复运动图像来说不必要的帧，那么可以删除该帧。另外，在完成循环运动图像生成处理之后的所有各帧不需要是在处理之后的各帧，可以包括作为来源的原始运动图像的帧。换句话说，待经历循环运动图像生成处理的各帧是需要处理，以便生成在用户看来视觉上没有任何不舒服感觉的平滑重复运动图像的各帧，在用户看来视觉上没有不舒服感觉的运动图像部分中的各帧不经历循环运动图像生成处理，从而无变化地使用作为来源的原始运动图像的各帧。

就按照本实施例的个人数字助理来说，如上所述与重复运动图像的显示并行地进行循环运动图像生成处理，因而，待显示在显示屏幕上的重复运动图像逐渐从在重复运动图像显示开始时刻的原始运动图像的重复运动图像，变成其各帧逐渐被在循环运动图像生成处理内的各个处理的执行期间或者完成之后的各帧替换的运动图像。具体地说，就本实施例来说，在个人数字助理的屏幕上，在重复运动图像显示开始时刻，显示由原始运动图像构成的重复运动图像，之后显示其各帧逐渐被循环运动图像处理中的执行期间的各帧替换的重复运动图像，当完成重复运动图像生成处理时，显示在用户看来视觉上没有不舒服感觉的平滑重复运动图像。因而，在这种情况下，观看重复运动图像的用户能够欣赏在重复运动图像显示开始时刻，由原始图像构成的重复运动图像逐渐被改变成按照循环运动图像生成处理的运动图像的情形，最后看到在循环运动图像生成处理完成之后的平滑重复运动图像。

随后，按照本实施例的个人数字助理按照来自用户或自动设置的指令，把在循环运动图像生成处理完成之后的重复运动图像的数据保存在内置存储器或者预定的存储目的地存储器等中，传给目标网络，等等，如图1的(C)中所示。

如上所述，按照与本实施例相应的个人数字助理，通过从重复运动图像显示开始时刻起在利用原始运动图像显示重复运动图像的时候，分配与后台处理相应的处理，以相继替换各帧等，执行循环运动图像生成处理，从而通过相继替换各帧来从重复运动图像显示开始时刻起，能够实时地显示重复运动图像。另外，按照与本实施例相应的个人数字助理，允许用户观看其中重复运动图像被改变的情形，从而，用户能够欣赏图像被逐渐完成的情形。

另外，按照与本实施例相应的个人数字助理，在完成循环运动图像生成处理后的重复运动图像被保存在存储器等中，从而之后用户能够视情况播放和显示重复运动图像。另外，按照与本实施例相应的个人数字助理，重复运动图像的数据能够被提供或传送给另一个设备，从而获得重复运动图像的数据的另一个设备能够播放和显示所述重复运动图像，等等。

循环运动图像生成处理

下面说明循环运动图像生成处理。

如上所述，循环运动图像生成处理由位置调整处理，最佳重复片段检测处理，循环处理和混合处理组成。

位置调整处理

在原始运动图像是在个人数字助理被拿在手中的状态下，通过利用内置照相机单元拍摄图像而获得的运动图像的情况下，所述运动图像很可能包括抖动分量(因照相机抖动而引起的图像抖动分量)。这样，由拍摄图像时的照相机抖动引起的运动图像的抖动分量很可能不仅对观看运动图像的用户产生视觉上不舒服的感觉，而且会不利地影响后面进行的最佳重复片段检测处理中的帧图像的相似性计算。

于是，就按照本实施例的循环运动图像生成处理来说，首先，进行沿着消除原始运动图像的抖动分量的方向，匹配各个帧图像的位置的图像处理，然后对在该位置调整处理后的运动图像进行最佳重复片段检测处理和之后的各个处理。

位置调整处理是校正因照相机拍摄时的抖动而引起的运动图像的抖动分量的处理，是利用位置调整计算进行的，以致关于一个基准帧图像对另一个帧图像进行射影变换（projective transformation），从而匹配位置。注意就基准帧图像来说，可以使用原始运动图像的第一帧图像，或者可以使用随意选择的一个帧图像。通过提取一组帧图像的特征点，计算射影变换矩阵，以致适应所述一组帧图像的特征点，获得位置调整所必需的射影变换矩阵。

就适合于这种位置调整计算的特征点来说，可以采用所谓的SIFT特征点。例如在“Brown,M.和Lowe,D.G.2003.“RecognisingPanoramas”，Proceedings of the Ninth IEEE internationalConference on Computer Vision-Volume 2(October 13-16,2003).ICCV.IEEE Computer Society,Washington,DC,1218”等中，说明了SIFT特征点的细节，因而，这里将省略其详细说明。

特征点用于获得即使当视点变化时，也具有再现性的点的位置，及其特征量，并通过根据特征量和位置信息计算特征点之间的对应关系，获得两个帧图像的位置关系。利用特征量之间的欧几里得距离，获得一个帧图像的特征点对应于另一个帧图像的哪个特征点。此外，就位置调整计算来说，用所谓的RANSAC方法选择少量的特征点对应对，计算最适合于两个特征点之间的位置变换的变换矩阵。从而，利用RANSAC方法，即使当在特征点的位置和对应关系中包含误差时，也能够正确地获得变换矩阵。在上述文献中详细说明了如何应用RANSAC方法。至于变换矩阵的种类，通常使用射影变换矩阵，不过可以使用在变换的柔性方面不同的仿射变换矩阵或者刚性变换矩阵。不过，作为用射影变换变形帧图像的结果，在图像的边缘和/或角落，有可能出现变换的帧图像不重叠的地方。于是，就位置调整处理来说，进行裁剪处理，在裁剪处理中，输出其中保留在原始运动图像的整个视频内像素重叠的有效区域的图像。就裁剪处理来说，检索经过射影变换的所有帧图像组，其中帧图像不重叠的像素位置被视为无效，计算包括有效像素的最大矩形，并将其视为裁剪区域。利用该裁剪区域，对所有帧图像组进行裁剪处理。注意，所述裁剪处理减小图像的大小，因而，当打算保留原始分辨率时，可通过设定没有任何重叠的黑色-空白(black to blank)空间等，跳过裁剪处理。

最佳重复片段检测处理

最佳重复片段检测处理是通过比较时间上分离的帧图像以计算相似性，找出对重复过渡来说最佳的时间位置(帧位置)的处理，即，检测具有最高相似性的帧图像对的处理。

这里，就最佳重复片段检测处理来说，如图2中的(A)和(B)中所示，关于构成原始运动图像的某个帧图像Fi和另一个帧图像Fj的所有像素，获得帧图像Fi的每个像素的亮度值和另一个帧图像Fj的对应每个像素的亮度值之间的差值的绝对值，并获得所有像素的差值的绝对值之和，作为用于计算帧图像的相似性的评估值。注意为了避免重复片段被过度缩短，在获得评估值时的帧图像Fi和帧图像Fj之间的时间距离被视为等于或大于考虑到最低限度应隔开的时间距离而预先确定的最短视频输出长度Lmin的距离。即，其时间距离小于最短视频输出长度Lmin的一对帧图像被排除在待评估对象之外。最短视频输出长度Lmin可被指定为执行按照本实施例的重复运动图像生成显示处理的显示图像生成程序的输入参数，或者所述程序可以把最短视频输出长度Lmin计算成与原始运动图像的整个长度的比例。注意，就以下的实施例来说，显示图像生成程序将被表示成重复运动图像生成程序。

就本实施例来说，差值绝对值之和将被称为差值绝对和，该差值绝对和将被表示成SAD(绝对差值和)。SAD值是在获得帧图像之间的相似性时的评估值，如果所述SAD值较小，那么帧图像相似，或者反过来，如果SAD值较大，那么帧图像不相似。即，SAD值较小的帧图像相似性高，因而，可以设想即使连接这些帧图像，视觉上不舒服的感觉也较小(视觉差异较小)。

不过，仅仅借助帧图像的SAD值，难以评估帧图像内的对象的运动。例如，就其中钟摆左右摆动的运动图像来说，构成该运动图像的帧图像内的钟摆是所述对象，仅仅根据某些帧图像的SAD值，难以判定作为对象的钟摆是从图像的左侧向右侧摆动，还是从右侧向左侧摆动。因而，在这种情况下，如果根据较小的帧图像的SAD值连接帧图像，那么作为对象的钟摆的运动有可能不连续。

于是，就按照本实施例的最佳重复片段检测处理来说，在利用SAD值评估相似性的时候，如图2中的(B)中所示，还关于作为待评估对象的各个帧图像的几个相邻帧，计算这些帧图像的SAD值，此外如图2中的(C)中所示，使这些SAD值和权重结合，从而获得积分的SAD值。注意它可以视情况利用关于相邻帧图像的SAD值在时间上离作为应评估对象的帧图像有多远的参数来设定。就本实施例来说，如图2中的(A)中所示的SAD积分抽头长度(integral tap length)Lsad可被设定为该参数。即，SAD积分抽头长度Lsad充当代表以作为待评估对象的帧图像为中心，在时间上前后隔离的相邻帧图像的数目的参数。另外，就权重来说，如图2中的(C)中所示，为了从中心逐渐衰减，权重是合乎需要的，例如可以采用正态分布权重。当按照这种方式计算帧图像之间的相似性时，时间上相近的帧图像的变化较小，因而，积分SAD值变小。即，可以认为积分SAD值越小，充当待评估对象的帧图像之间的相似性越高，所述待评估对象包括图像内的对象的运动。

如上所述，就按照本实施例的最佳重复片段检测处理来说，通过还向评估值中添加相当于相邻各帧的数目的积分SAD值，而不仅仅比较帧图像Fi和帧图像Fj，能够检测原始运动图像内，对重复过渡来说最佳的时间位置（帧位置)，即，具有高相似性的帧图像对。

循环处理

循环处理是其中如图3中的(B)中所示，剪辑和输出在用最佳重复片段检测处理检测的,如图3中的(A)中所示在时间上分离并且具有高相似性的一对帧图像Fi和帧图像Fj(MRP)之间的运动图像，掺合(混合)其第一个帧图像(帧图像Fi)和最后一个帧图像(帧图像Fj)，并如图3中的(C)中所示，连接所述第一个帧图像和最后一个帧图像，从而生成循环运动图像的处理。

混合处理

混合处理是循环处理中的混合用处理，是其中为了不在视觉上暴露时间上分离的帧图像Fi和帧图像Fj这两个图像之间的差异，在掺合(混合)分别在这些帧图像Fi和帧图像Fj前后的几个帧图像的时候，改变所述几个帧图像，从而实现运动图像的平滑连接的处理。注意，就时间上远离各个帧图像Fi和帧图像Fj的帧图像来说，无改变地输出原始运动图像的帧图像数据。

即，即使找出具有高相似性的帧图像以便如上所述连接，这两个帧图像也不会和公共运动图像完全匹配，从而当用户观看时，在视觉上暴露出连接部分的可能性较高。于是，就按照本实施例的混合处理来说，作为降低连接部分的视觉暴露的方法，采用叠像渐变处理，其中在逐渐改变混合比的时候，混合在各个帧图像i和帧图像j前后的几个帧图像。

个人数字助理的主要部分的示意图

图4图解说明按照本实施例的个人数字助理的主要部分的示意结构。注意，就图4中的结构来说，图像处理单元3和显示图像生成单元5可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行，而在CPU内形成的计算功能单元。另外，通过把供CPU等执行生成按照本实施例的重复运动图像的处理的重复运动图像生成程序提供给半导体存储器或者盘型记录介质，或者通过因特网或预定通信网络提供给个人数字助理，可安装所述重复运动图像生成程序。这也适用于后面说明的实施例。

在图4中，由照相机单元成像的视频数据VD，或者作为文件数据等从网络或存储装置提供的视频数据VD被提供给输入终端1。注意，提供给输入终端1的视频数据VD等同于原始运动图像数据。另外，在输入终端1的视频数据VD的接收单元可以是任意单元，比如其中编译整个视频数据VD的文件单元，帧单元，或者扫描线单元。提供给输入终端1的视频数据VD被输入第一图像存储单元2中。

在临时累积视频数据VD之后，在控制单元7的写入/读出控制下，第一图像存储单元2把视频数据VDA输出给下游的图像处理单元3。

图像处理单元3具有执行循环运动图像生成处理的结构。在控制单元7的控制下，图像处理单元3对从第一图像存储单元2供给的视频数据VD进行循环运动图像生成处理。当通过执行循环运动图像生成处理完成了某些单元中的处理时，图像处理单元3把在所述某些单元中的处理之后的图像数据PD，和指示所述某些单元中的处理已完成的完成信号CS输出给第二图像存储单元4。不过，如果由于紧接在开始重复运动图像的显示之后，在循环运动图像生成处理中尚未完成所述某些单元中的处理，那么对于各个所述某些单元，图像处理单元3从第一图像存储单元2读出并输出原始视频数据VD，作为图像数据PD。注意，所述某些单元可以是帧单元，帧内的块单元，或者其中编译整个视频数据的任意文件单元。

第二图像存储单元4在控制单元27的写入/读取控制下，累积从上游的图像处理单元3输出的图像数据PD，还把帧单元中的图像数据FP输出给下游的显示图像生成单元5。

在控制单元7的控制下，显示图像生成单元5相继从第二图像存储单元4读出显示指示所必需的帧单元中的图像数据FP，并把帧图像数据FP从输出终端6输出给显示器。另外，显示图像生成单元5把在当前时刻，显示在显示器上的帧的时间位置通知(FPN)图像处理单元3。注意，就本实施例来说，在开始循环运动图像生成处理之后，在完成整个循环运动图像生成处理以前待显示在显示器上的帧图像将被表示成中间图像。

从显示图像生成单元5收到显示帧位置通知FPN的图像处理单元3利用显示帧位置通知FPN，识别在当前时刻显示在显示器上的显示帧，并继续关于除该帧以外的各帧的循环运动图像生成处理。当通过执行循环运动图像生成处理完成了某些单元中的处理时，图像处理单元3把在所述某些单元中的处理之后的图像数据PD和完成信号CS输出给第二图像存储单元4。于是，第二图像存储单元4收到和显示在显示器上的帧不同的图像数据PD。注意，第二存储单元4可具有双重缓冲器结构，其中除了用于待显示在显示器上的帧的存储区域之外，还单独确保用于将在图像处理单元3处理的数据的存储区域，这些存储区域在处理结束时被切换。

显示待机背景运动图像时的个人数字助理的示意结构

图5图解说明当确定显示如上所述的重复运动图像，作为待显示在便携式电话终端的显示屏幕上的待机背景图像时，在按照本实施例的个人数字助理是便携式电话终端的情况下的各个主要部分的示意结构。注意，图5图解说明其中用内置照相机单元拍摄的视频数据被用作原始运动图像的例子。另外，就图5中的结构来说，图像处理单元13和显示图像生成单元15可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行，而在CPU内形成的计算功能单元。

图5中，用内置照相机单元成像的视频数据VD被提供给输入终端单元11。注意按照和图4中的上述例子相同的方式，在输入终端11的视频数据VD的接收单元可以是任意单元，比如文件单元，帧单元，扫描线单元等。提供给输入终端11的视频数据VD被输入第一图像存储单元12。

第一图像存储单元12是视频缓冲器，临时累积视频数据VD，随后在控制单元17的写入/读出控制下，把视频数据VD输出给下游的图像处理单元13。

图像处理单元13具有执行循环运动图像生成处理的结构，在利用来自显示图像生成单元15的显示位置通知FPN识别在当前时刻显示在显示器上的帧的时间位置的时候，在控制单元17的控制下，进行关于除显示帧以外的各帧的循环运动图像生成处理。当通过如上所述执行循环运动图像生成处理而完成某些单元中的处理时，图像处理单元13把在所述某些单元中的处理之后的图像数据PD和完成信号CS输出给第二图像存储单元14。注意，就本例来说，在改变运动图像的重复片段的情况下，当显示帧位置不是将在循环运动图像生成处理中被删除的位置时，图像处理单元13将进行处理。

第二图像存储单元14是用于待提供给显示图像生成单元15的帧图像的缓冲存储器，在控制单元17的写入/读出控制下，累积从上游的图像处理单元13输出的图像数据PD，还把帧单元中的图像数据FP输出给下游的显示图像生成单元15。

在控制单元17的控制下，显示图像生成单元15从第二图像存储单元14相继读出显示指示所必需的帧单元中的图像数据FP，并把帧图像数据FP从输出终端16输出给显示器。就本实施例来说，在开始循环运动图像生成处理之后，在全部完成循环运动图像生成处理以前，从显示图像生成单元15向显示器输出中间图像的帧图像数据FP。当全部完成循环运动图像生成处理时，从显示图像生成单元15向显示器输出在循环运动图像生成处理之后的重复图像。

不过，就诸如本实施例之类的便携式电话终端来说，按照除用于待机图像的应用程序以外的应用程序的执行，可以在显示屏幕上显示除待机图像以外的图像，或者可以把显示屏幕的显示亮度设定为0，以便省电。于是，只有在显示亮度不为0并且显示待机图像的情况下，显示图像生成单元15才把作为重复运动图像的待机背景运动图像显示在显示屏幕上。具体地，例如，如果在显示屏幕上最大化地显示另一个应用程序的窗口，或者如果显示屏幕的显示亮度被设定为0，那么显示图像生成单元15停止待机背景运动图像的显示处理。注意，就本实施例来说，显示图像生成单元15利用预览视觉信号PVS，判定是否能够在显示屏幕上显示重复运动图像。预览视觉信号PVS是指示当在显示屏幕上最大化地显示另一个应用程序的窗口时，或者当显示屏幕的显示亮度被设定为0时，是否能够在显示屏幕上显示重复运动图像的信号。就本实施例来说，例如，控制单元17生成所述预览视觉信号PVS。

显示待机背景运动图像时的个人数字助理的流程图

图6图解说明就图5中的结构例子来说，生成和显示待机背景运动图像的处理的流程图。注意就本实施例来说，图6的流程图中的处理由执行按照本实施例的待机屏幕程序和重复运动图像生成程序的CPU实现。

就图6中的流程图来说，作为步骤S1中的处理，通过执行按照本实施例的程序而在CPU内形成的控制单元17把视频数据VD载入第一图像存储单元中，此外，在作为步骤S2中的处理，来自用户等的待机设定操作把重复运动图像设定成用作待机背景图像的情况下，作为步骤S3的处理，控制单元17控制图像处理单元13开始循环运动图像生成处理。

当开始循环运动图像生成处理时，作为步骤S4中的处理，控制单元17控制显示图像生成单元15进行步骤S4-步骤S11中的处理。

具体地，与图像处理单元13的循环运动图像生成处理并行，作为步骤S4-步骤S11中的处理，控制单元17控制显示图像生成单元15利用充当中间图像的帧图像，进行重复运动图像的显示。

当开始中间图像的显示处理时，作为步骤S5中的处理，显示图像生成单元15判定在循环运动图像生成处理中，是否完成了相当于一帧的处理，并且中间图像是否可重写，如果可重写，那么作为步骤S6中的处理，用在循环运动图像生成处理之中相当于一帧的处理中新获得的中间图像，重写利用在前一帧的处理得到的中间图像。

另外，作为步骤S7中的处理，控制单元17判定个人数字助理的状态是否是如上所述，由于在显示器的整个屏幕上显示除待机图像以外的窗口图像，或者为了省电把显示屏幕的显示亮度设定为0，因而不能显示待机背景运动图像的状态。当从控制单元17收到指示能够显示待机背景运动图像的预览视觉信号PVS时，作为步骤S8中的处理，显示图像生成单元15继续更新中间图像的显示，另一方面，当从控制单元17收到指示不能显示待机背景运动图像的预览视觉信号PVS时，作为步骤S9中的处理，显示图像生成单元15中断中间图像的显示处理。

另外，作为步骤S10中的处理，控制单元17判定在图像处理单元13的循环运动图像生成处理是否已全部完成，在循环运动图像生成处理未全部完成的时候，使处理返回步骤S5。

另一方面，当在图像处理单元13的循环运动图像生成处理已全部完成的情况下，作为步骤S11中的处理，控制单元17控制显示图像生成单元15结束与中间图像相应的重复运动图像显示处理。作为步骤S12中的处理，控制单元17随后控制显示图像生成单元15，把在全部完成循环运动图像生成处理之后的重复运动图像显示在显示屏幕上。

如上所述，就按照本实施例的个人数字助理来说，在开始循环运动图像生成处理之后，到完成循环运动图像生成处理为止，在显示屏幕上显示由中间图像的重复运动图像构成的待机背景运动图像，在全部完成循环运动图像生成处理之后，显示由在循环运动图像生成处理结束之后的重复运动图像构成的待机背景运动图像。

显示缩略图运动图像时的个人数字助理的示意结构

图7图解说明在已确定将在显示屏幕上显示充当重复运动图像的缩略图运动图像的情况下的各个主要部分的示意结构。注意，图7图解说明其中用以文件的形式准备的，或者作为原始运动图像获得的视频数据生成的缩略图图像被显示成重复运动图像的例子。另外，就图7中的结构来说，图像处理单元23和显示图像生成单元25可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行，而在CPU内形成的计算功能单元。

在图7中，预先用照相机单元成像和保存的或者从网络或外部存储装置获得的文件单元中的视频数据VD被提供给输入终端21。注意，按照和上面所述相同的方式，在输入终端21的视频数据VD的接收单元可以是任意单元，比如文件单元，帧单元，扫描线单元等等。提供给输入终端21的视频数据VD被输入第一图像存储单元22。

第一图像存储单元22是视频缓冲器，临时累积视频数据VD，随后在控制单元27的写入/读出控制下，把视频数据VD输出给下游的图像处理单元23。

在控制单元27的控制下，图像处理单元23从构成供给的视频数据VD中剪辑用户期望的区域，或者终端自动确定的区域，或者把帧图像缩小成用户期望的尺寸或者终端自动设定的尺寸，以便生成与构成视频数据VD的帧图像的时序对应的缩略图图像。此外，在控制单元27的控制下，图像处理单元23执行关于缩略图图像的循环运动图像生成处理。当与缩略图图像对应的循环运动图像生成处理中的某些单元中的处理已完成时，图像处理单元23把在所述某些单元中的处理之后的缩略图图像数据SMD，和完成信号CS输出给第二图像存储单元24。

第二图像存储单元24是用于待提供给显示图像生成单元25的缩略图显示图像的缓冲存储器，在控制单元27的控制下累积从上游的图像处理单元23输出的缩略图图像数据SMD，还把缩略图图像数据SP输出给下游的显示图像生成单元25。

在控制单元27的控制下，显示图像生成单元25相继从第二图像存储单元24读出显示指示所必需的缩略图图像数据SP，并把缩略图图像数据SP从输出终端26输出给下游的显示器。就本实施例来说，在开始循环运动图像生成处理之后，在循环运动图像生成处理都已完成以前，中间图像的缩略图图像数据SP从显示图像生成单元25被输出给显示器。当循环运动图像生成处理都已完成时，在完成循环运动图像生成处理之后的缩略图重复运动图像从显示图像生成单元25被输出给显示器。

注意，同样就本例来说，以和待机图像显示的情况相同的方式，按照另一个应用程序的执行，可以在显示屏幕上显示除缩略图图像以外的图像，或者可以把显示屏幕的显示亮度设定为0，以便省电。于是，只有在显示亮度不为0，并且显示缩略图图像的情况下，显示图像生成单元25才把转换成重复运动图像的缩略图图像显示在显示屏幕上。于是，例如，如果在显示屏幕上最大化地显示另一个应用程序的窗口，或者如果显示屏幕的显示亮度被设定为0，那么显示图像生成单元25停止缩略图运动图像的显示处理。注意，就本实施例来说，显示图像生成单元25利用预览视觉信号PVS，判定是否能够在显示屏幕上显示缩略图图像。就本例来说，预览视觉信号PVS是指示当在显示屏幕上最大化地显示另一个应用程序的窗口时，或者当显示屏幕的显示亮度被设定为0时，是否能够在显示屏幕上显示缩略图图像的信号。就本实施例来说，例如，控制单元27生成所述预览视觉信号PVS。

显示缩略图图像时的个人数字助理的流程图

图8图解说明用图7中的结构例子，生成和显示缩略图图像的处理的流程图。注意，就本实施例来说，图8中的流程图中的处理由执行按照本实施例的重复运动图像生成程序的CPU实现。

就图8中的流程图来说，作为步骤S21中的处理，通过执行按照本实施例的程序而在CPU内形成的控制单元27把文件单元中的视频数据VD载入第一图像存储单元22中，此外，在作为步骤S22中的处理，通过来自用户等的缩略图图像显示设定操作，把由缩略图图像构成的重复运动图像设定用作待机背景图像的情况下，作为步骤S23中的处理，控制单元27控制图像处理单元23开始缩略图图像的生成，和利用缩略图图像的循环运动图像生成处理。

当开始利用缩略图图像的循环运动图像生成处理时，作为步骤S24中的处理，控制单元27控制显示图像生成单元25进行步骤S24-步骤S31中的处理。

具体地说，与图像处理单元23的缩略图图像的生成和运动图像生成处理并行，作为步骤S24-步骤S31中的处理，控制单元27控制显示图像生成单元25利用从缩略图图像获得的中间图像，进行重复运动图像的显示。

当开始缩略图图像的中间图像显示处理时，作为步骤S25中的处理，显示图像生成单元25判定在循环运动图像生成处理中，是否完成了相当于一帧的处理，并且中间图像是否可重写，如果可重写，那么作为步骤S26中的处理，用在循环运动图像生成处理之中相当于一帧的处理中新获得的中间图像，重写利用在前一帧的处理得到的中间图像。

另外，作为步骤S27中的处理，控制单元27判定个人数字助理的状态是否是如上所述由于在显示器的整个屏幕上显示除待机图像以外的窗口图像，或者为了省电把显示屏幕的显示亮度设定为0，因而不能显示缩略图图像的状态。当从控制单元27收到指示能够显示缩略图图像的预览视觉信号PVS时，作为步骤S28中的处理，显示图像生成单元25继续更新中间图像的显示，另一方面，当从控制单元27收到指示不能显示缩略图图像的预览视觉信号PVS时，作为步骤S29中的处理，显示图像生成单元25中断中间图像的显示处理。

另外，作为步骤S30中的处理，控制单元27判定在图像处理单元23的循环运动图像生成处理是否都已完成，并且在循环运动图像生成处理未都已完成的时候，使处理返回步骤S25。

另一方面，如果在图像处理单元23的循环运动图像生成处理都已完成，那么作为步骤S31中的处理，控制单元27控制显示图像生成单元25结束与缩略图图像的中间图像相应的重复运动图像显示处理。作为步骤S32中的处理，控制单元27随后控制显示图像生成单元25，把在循环运动图像生成处理都已完成之后的缩略图图像的重复运动图像显示在显示屏幕上。

如上所述，就按照本实施例的个人数字助理来说，在开始循环运动图像生成处理之后，在完成循环运动图像生成处理以前，在显示屏幕上显示由缩略图图像的中间图像构成的重复运动图像，在全部完成循环运动图像生成处理之后，显示由在结束该循环运动图像生成处理之后的缩略图构成的重复运动图像。

一边调整帧速率，一边显示重复运动图像时的个人数字助理的示意结构

按照本实施例的个人数字助理可以在对通过每隔一定的间隔从输入视频数据中提取帧图像而降低其帧速率的视频数据进行循环运动图像生成处理的时候，显示重复运动图像，随后接连地增大帧速率，直到帧速率达到原始输入视频数据的相同帧速率为止，以继续循环运动图像生成处理和重复运动图像的显示。

具体地，例如，如图9中的(A)中所示，如果输入视频数据的帧速率为30fps(帧/秒)，那么按照本实施例的个人数字助理在循环处理开始时刻，从输入视频数据中提取每个5fps的帧图像F(间除除这些帧图像以外的帧图像)，从而生成其帧速率为5fps的视频数据，如在图9中的(B)和图10中所示。如上所述，个人数字助理随后关于帧速率为5fps的视频数据的帧图像F，执行位置调整处理pm，从帧图像Fs到帧图像Fe的最佳重复片段检测处理，及帧图像Fs和帧图像Fe之间的循环处理LP和混合处理。从而，在显示屏幕上显示其中持续每个5fps显示帧图像F的重复运动图像，比如所谓的幻灯片放映。

之后，按照本实施例的个人数字助理从帧速率为30fps的输入视频数据中，提取均置于5-fps重复运动图像的帧图像之间的一个帧图像F，把各个帧图像F添加到5-fps重复运动图像的帧图像之间，从而生成如图9的(C)和图10中所示的帧速率为10fps的视频数据。个人数字助理随后关于帧速率为10fps的视频数据的帧图像F的添加帧图像，以在其两侧的5-fps帧图像为基准，进行位置调整处理pm。此外，个人数字助理关于10-fps视频数据，进行帧图像Fs-帧图像Fe之间的最佳重复片段检测处理，及帧图像Fs-帧图像Fe之间的循环处理LP和混合处理。从而，在显示屏幕上显示其中持续每个10fps显示帧图像F的重复运动图像，比如所谓的幻灯片放映。

随后，按照本实施例的个人数字助理从帧速率为30fps的输入视频数据中，提取均置于10-fps重复运动图像的帧图像之间的两个帧图像F，把每个帧图像F添加在10-fps重复运动图像的帧图像之间，从而生成如图9的(D)和图10中所示的帧速率为30fps的视频数据。个人数字助理随后关于帧速率为30fps的视频数据的帧图像F的添加帧图像，以在其前后的10-fps帧图像为基准，进行位置调整处理pm。此外，个人数字助理关于30-fps视频数据，进行帧图像Fs-帧图像Fe之间的最佳重复片段检测处理，及帧图像Fs-帧图像Fe之间的循环处理LP和混合处理。从而，在显示屏幕上显示其中持续每个30fps显示帧图像F的重复运动图像。

注意，图9和10图解说明其中从10fps的帧速率调整到30fps的帧速率的例子，不过可以从10fps的帧速率调整到20fps的帧速率，然后从20fps调整到30fps的帧速率。

随后，当关于其帧速率为30fps的视频数据的循环运动图像生成处理都完成时，如在图9中的(E)和图10中所示，按照本实施例的个人数字助理显示在循环运动图像生成处理完成之后的其帧速率为30fps的重复运动图像。

这样，就按照本实施例的个人数字助理来说，在开始循环运动图像生成处理的时候，可以显示诸如幻灯片放映之类的重复运动图像，随后生成和显示其帧速率被逐渐增大的重复运动图像。

图11图解说明就按照本实施例的个人数字助理来说，在显示其帧速率已如上所述被逐渐增大的重复运动图像的情况下的各个主要部分的示意结构。注意图11图解说明其中把在照相机单元成像的输入视频数据用作原始运动图像，并根据所述输入视频数据生成和显示帧速率被逐渐增大的重复运动图像的例子。另外，就图11中的结构来说，第一图像处理单元33，第二图像处理单元34和显示图像生成单元37可以硬件的形式准备，或者可被执行的按照本实施例的重复运动图像生成程序配置成CPU内的计算功能单元。

在图11中，用照相机单元成像的视频数据VD被提供给输入终端31。注意按照和上面所述相同的方式，在输入终端31的视频数据VD的接收单元可以是任意单元，比如文件单元，帧单元或者扫描线单元。提供给输入终端31的视频数据VD被输入第一图像存储单元32。

第一图像存储单元32是视频缓冲器，临时累积视频数据VD，随后在控制单元39的写入/读出控制下，把视频数据VD输出给下游的图像处理单元33。

第一图像处理单元33具有在控制单元28的控制下，调整视频数据的帧速率的结构。第一图像处理单元33每隔一定的间隔，从输入视频数据VD中提取帧图像(间除除这些帧图像以外的帧图像)，从而生成帧速率被降低为第一帧速率，比如上述5fps的视频数据VD，并输出给下游的第二图像存储单元35。注意，第一图像处理单元33关于调整到第一帧速率的视频数据VD的帧图像，混合相邻的帧图像，另外进行所谓的Buller处理，从而能够确保帧图像之间的视觉连接，即，进行防止图片不连续的处理。

第二图像存储单元35是用于帧速率调整之后的视频数据VD的视频缓冲器。在控制单元39的写入/读出控制下，在循环运动图像生成处理开始时，第二存储单元35临时累积调整到第一帧速率的视频数据VD，随后输出给下游的第二图像处理单元34。

在控制单元39的控制下，第二图像处理单元34利用构成帧速率调整之后的视频数据VD的帧图像进行如上所述的循环运动图像生成处理，还把充当循环运动图像生成处理期间的中间图像的每个帧图像输出给第三图像存储单元36。在循环运动图像生成处理开始时，第二图像处理单元34对第一帧速率的视频数据VD进行循环运动图像生成处理。另外，当完成利用帧速率调整之后的视频数据VD的循环运动图像生成处理时，第二图像处理单元34向第一图像处理单元33输出指示该结果的完成信号CS。注意，就本例来说，完成信号CS是请求新的帧图像的数据，以便增大帧速率的信号。

在控制单元39的控制下，收到完成信号CS的第一图像处理单元33从累积在第一图像存储单元32中的输入视频数据VD中，提取在生成第二帧速率(比如上述10fps)的视频数据时使用的帧图像，并输出给第二图像存储单元35。此时，在控制单元39的写入/读出控制下，第二图像存储单元35临时累积将用于生成第二帧速率的视频数据的帧图像，然后输出给下游的第二图像处理单元34。

此时，第二图像处理单元34把从第二图像存储单元35供给的帧图像加入经历环运动图像生成处理的第一帧速率的视频数据中，从而生成第二帧速率的视频数据。第二图像处理单元34随后对第二帧速率的视频数据进行循环运动图像生成处理，还把作为循环运动图像生成处理期间的中间图像的每个帧图像输出给第三图像存储单元36。另外，当完成了利用第二帧速率的视频数据VD的循环运动图像生成处理时，第二图像处理单元34向第一图像处理单元33输出指示该效果的完成信号CS。

之后，第二图像处理单元34和第二图像存储单元35进行帧速率调整处理，比如逐渐增大帧速率，并且第二图像处理单元34对帧速率调整之后的视频数据进行和上面所述相同的循环运动图像生成处理。

第三图像存储单元36是用于待提供给下游的显示图像生成单元37的帧图像的缓冲存储器。具体地说，在控制单元39的写入/读出控制下，第三图像存储单元36累积从上游的第二图像处理单元34，以如上所述的各个帧速率输出的图像数据PD，还把帧单元中的图像数据FP输出给下游的显示图像生成单元37。

在控制单元39的控制下，显示图像生成单元37从第三图像存储单元36相继读出为显示指示所必需的帧单元中的图像数据FP，并把帧图像数据FP从输出终端38输出给显示器。即，就本例来说，以各个帧速率，把在进行循环运动图像生成处理时的中间图像的帧图像数据FP输出给显示器。随后，当所述帧速率变成输入视频数据的帧速率，并且完成了按该帧速率的整个循环运动图像生成处理时，从显示图像生成单元37把循环运动图像生成处理之后的重复运动图像输出给显示器。

一边调整帧速率，一边显示重复运动图像时的个人数字助理的流程图

图12图解说明就图11中的结构例子来说，一边调整帧速率，一边生成和显示重复运动图像的处理的流程图。注意，就本实施例来说，图12中的流程图的处理由CPU执行的按照本实施例的重复运动图像生成程序实现。

就图12中的流程图来说，作为步骤S41中的处理，通过执行按照本实施例的程序而在CPU中形成的控制单元39把视频数据VD载入第一图像存储单元32中，随后作为步骤S42中的处理，设定用于确定帧速率的变量(下面，称为帧速率等级Ri)。就本例来说，值“0”-“4”被设定为帧速率等级Ri的值。例如，帧速率等级Ri=0对应于5fps的帧速率，帧速率等级Ri=1对应于10fps，帧速率等级Ri=2对应于20fps，帧速率等级Ri=3对应于30fps，帧速率等级Ri=4对应于帧速率调整的结束。

当在上述步骤S42中设定了帧速率等级Ri时，作为步骤S43中的处理，控制单元39分别控制第一图像存储单元32，第一图像处理单元33和第二图像存储单元35，以生成帧速率对应于帧速率等级Ri的视频数据，还控制这些单元和第二图像处理单元34，以进行步骤S44-步骤S52中的处理。

即，当在步骤S43中生成了帧速率等级Ri的视频数据时，作为步骤S44中的处理，控制单元39判定是否已开始对于帧速率等级Ri的视频数据的循环运动图像生成处理的中间图像的显示。如果确定已开始中间图像的显示，那么控制单元39使处理进入步骤S45，以控制第二图像处理单元34，第三图像存储单元36，和显示图像生成单元37，从而显示该帧速率等级Ri的中间图像的重复运动图像。另一方面，如果未开始帧速率等级Ri的中间图像的显示，那么控制单元39使处理进入步骤S46。

当进入步骤S46中的处理时，控制单元39控制第二图像处理单元34开始关于帧速率等级Ri的视频数据的循环运动图像生成处理。作为步骤S47的处理，控制单元39随后判定关于帧速率等级Ri的视频数据的循环运动图像生成处理是否已完成，如果所述循环运动图像生成处理未完成，那么使处理进入步骤S50。

当进入步骤S50中的处理时，控制单元39判定帧速率等级Ri的值是否为“0”。如果帧速率等级Ri的值为“0”，那么作为步骤S51中的处理，控制单元39控制第二图像处理单元34，第三图像存储单元36和显示图像生成单元37继续利用帧速率等级Ri的中间图像的重复运动图像，更新显示。另一方面，如果帧速率等级Ri的值不为“0”，那么作为步骤S52中的处理，控制单元39控制第二图像处理单元34，第三图像存储单元36和显示图像生成单元37继续利用帧速率等级R(i-1)的中间图像的重复运动图像，更新显示。

另外，当在步骤S47中判定已完成关于帧速率等级Ri的视频数据的循环运动图像生成处理时，控制单元39使处理进入步骤S48。

当进入步骤S48中的处理时，控制单元39递增帧速率等级Ri的值，然后使处理进入步骤S49。

之后，作为步骤S49中的处理，控制单元39判定帧速率等级Ri的值是否已变成“4”，如果该值未变成“4”，那么使处理返回步骤S42，如果该值已变成“4”，那么使处理进入步骤S53。

当进入步骤S53中的处理时，控制单元39控制第一图像存储单元32，第一图像处理单元33，第二图像存储单元35，第二图像处理单元34，第三图像存储单元36和显示图像生成单元37结束利用循环运动图像生成处理的中间图像的显示处理。

作为步骤S54中的处理，控制单元39随后控制第三图像存储单元36和显示图像生成单元37，开始在循环运动图像生成处理的完成之后的重复运动图像的显示处理。

用摇摄的全景图像生成和显示重复运动图像时的个人数字助理的示意结构

按照本实施例的个人数字助理如图13中所示，利用一边沿着某个方向(例如，水平方向)移动照相机单元，一边进行视频拍摄的所谓摇摄，获得多个视频帧图像，然后如图14中所示，通过进行抖动校正或倾斜校正等，连接所述多个视频帧图像(例如，视频帧图像F1-F8)，从而能够生成如图15中所示的所谓全景图像。

就摇摄来说，如果在花费一定时间的情况下，一边沿着某个方向(水平方向等)移动照相机单元，一边缓慢拍摄图像，那么如图16中所示，由于摄像而在每个视频帧图像内存在重叠的图像部分OV。具体地说，就图16中的例子来说，假定视频帧图像F1中的水平方向的拍摄范围是范围F1L-F1R，视频帧F2中的水平方向的拍摄范围是F2L-F2R，视频帧F3中的水平方向的拍摄范围是F3L-F3R，视频帧F4中的水平方向的拍摄范围是F4L-F4R，视频帧F5中的水平方向的拍摄范围是F5L-F5R，那么图像部分OV是具有这5个视频帧图像的重叠拍摄范围的图像，图像部分NOV是具有其中这5个视频帧图像都不被重叠的范围的图像。

于是，例如，在如图17的(A)中所示，利用摇摄进行包括重叠图像部分的摄像的情况下，获得重叠图像部分OV。

按照本实施例的个人数字助理按照以下方式，关于每个重叠图像部分OV进行如上所述的循环运动图像生成处理，以生成每个重叠图像部分OV的重复运动图像OVL，还进行处理CCF，以便在混合重复运动图像OVL的时候，连接重复运动图像OVL的重叠部分，从而能够生成如图17的(B)中所示的全景重复运动图像POVL。

这里，就本实施例来说，假定构成重叠图像的各帧的数目是预定数目，从而重叠图像在视觉上可被视为运动图像(例如，30帧)，并且重复图像部分OV的重复运动图像OVL的时间周期(运动图像长度)相同。另外，重复图像部分OV的运动图像在时间上被偏移，不过就按照本实施例的个人数字助理来说，能够连接在甚至具有时滞的图像上的景象被视为待处理的对象。此外，在生成重叠图像部分OV的重复运动图像OVL的时候，按照本实施例的个人数字助理处理这些重叠图像部分OV，以便仅仅对于重复运动图像之间的某个部分才具有重叠。按照本实施例的个人数字助理随后进行通过每次对一帧进行α混合，连接重叠图像部分OV的重复运动图像OVL的每一帧的处理CCF，以生成由重叠图像部分OV的重复运动图像OVL构成的全景重复运动图像POVL。另外，例如利用叠像渐变处理，混合重叠图像部分OV的重复运动图像OVL的连接部分。

图18图解说明在按照本实施例的个人数字助理对摇摄的包括重叠图像部分的视频数据的如上所述多个重叠图像部分OV，进行循环运动图像生成处理，以按照每个重叠图像部分OV生成和显示重复运动图像OVL的情况下的各个主要部分的示意结构。注意，图18图解说明其中作为原始运动图像，在照相机单元摇摄的输入视频数据被用于生成和显示输入视频数据的上述重叠图像部分OV的重复运动图像OVL的例子。另外，就图18中的结构来说，第一图像处理单元44，第二图像处理单元43，第三图像处理单元46和显示图像生成单元48可以硬件的形式准备，或者可以利用执行的按照本实施例的重复运动图像生成程序，被配置成CPU内的计算功能单元。

在图18中，在照相机单元摇摄的视频数据VD被提供给输入终端41。注意，按照如上所述的相同方式，在输入终端41的视频数据VD的接收单元可以是任意单元，比如文件单元，帧单元，扫描线单元等。提供给输入终端41的视频数据VD被输入第一图像存储单元42。

第一图像存储单元42是视频缓冲器，临时累积视频数据VD，随后在控制单元50的写入/读出控制下，把视频数据VD输出给下游的第一图像处理单元44和第二图像处理单元43。

第二图像处理单元43在控制单元50的控制下，对构成摇摄的视频数据VD的图像进行倾斜校正等，以连接连接这些图像，从而生成全景图像PP。第二图像处理单元43生成的全景图像PP被传送给第二图像存储单元45。

第二图像存储单元45临时累积全景图像PP的数据，随后在控制单元50的写入/读取控制下，把全景图像PP的数据输出给下游的第三图像处理单元46。

另外，从第一图像存储单元42收到视频数据VD的第一图像处理单元44在控制单元50的控制下，进行关于重叠图像部分OV的循环图像生成处理，以生成重叠图像部分OV的重复运动图像OVL。当生成重叠图像部分OV的重复运动图像OVL时，第一图像处理单元44把重复运动图像OVL的数据，和指示每个循环运动图像生成处理的完成的完成信号CS输出给第三图像处理单元46。

第三图像处理单元46混合从第二图像存储单元45供给的全景图像PP，和重叠图像部分OV的重复运动图像OVL。当该混合处理完成时，第三图像处理单元46把通过混合重复运动图像OVL和全景图像PP，并经过组合处理CCF而获得的全景重复运动图像POVL，和指示所述处理的完成的完成信号PCS输出给第三图像存储单元47。

第三存储单元47是用于待提供给下游的显示图像生成单元48的帧图像的缓冲存储器。具体地说，在控制单元50的写入/读出控制下，第三图像存储单元47累积来自上游的第三图像处理单元46，如上所述的全景重复运动图像POVL的图像数据，还把帧单元中的图像数据FP输出给下游的显示图像生成单元48。

在控制单元50的控制下，显示图像生成单元48从第三图像存储单元47中，相继读出为显示指示所必需的帧单元中的图像数据FP，并把帧图像数据FP从输出终端49输出给下游的显示器。即，就本例来说，全景重复运动图像POVL中，能够显示在显示屏幕上的范围中的运动图像数据从显示图像生成单元48被输出。从而，在全景重复运动图像POVL中，能够显示在显示屏幕上的范围中的重复运动图像被显示在显示屏幕上，因而，当从全景重复运动图像POVL中选择了用户期望的范围时，所述范围中的重复运动图像被显示在显示屏幕上。

根据摇摄的全景图像生成和显示重复运动图像时的个人数字助理的流程图

图19图解说明就图18中的结构例子来说，根据摇摄的全景图像生成和显示重复运动图像的处理的流程图。注意就本实施例来说，图19中的流程图的处理由CPU执行的按照本实施例的重复运动图像生成程序和全景图像生成程序实现。

就图19中的流程图来说，作为步骤S61中的处理，通过执行按照本实施例的程序而在CPU中形成的控制单元50把视频数据VD载入第一图像存储器42中，随后作为步骤S62中的处理，控制第二图像处理单元43生成全景图像PP。

另外，作为步骤S63中的处理，控制单元50控制显示图像生成单元48开始中间图像的显示，作为步骤S64中的处理，控制第一图像处理单元44开始关于重叠图像部分OV的循环运动图像生成处理。

具体地说，首先在步骤S64中，控制单元50设定表示各个重叠图像部分OV的位置的变量(下面称为重叠范围Ei)，控制第一图像处理单元44开始关于该重叠范围Ei的重叠图像部分的上述循环运动图像生成处理。注意重叠范围Ei的值对应于在一边沿着水平方向移动照相机单元，一边进行摄像时的时序中的每个拍摄范围。

随后，作为步骤S65中的处理，控制单元50判定第一图像处理单元44在关于对应的重叠范围Ei的循环运动图像生成处理是否已完成，如果循环运动图像生成处理已完成，那么使处理进入步骤S66，而如果循环运动图像生成处理未完成，那么使处理进入步骤S68。

当进入步骤S68中的处理时，控制单元50控制第三图像存储单元47和显示图像生成单元48继续借助该重叠范围Ei的重叠图像部分的循环运动图像生成处理，更新中间图像的重复运动图像的显示。

在步骤S69，控制单元50随后判定关于整个重叠范围Ei的重叠图像部分的循环运动图像生成处理是否已完成，如果循环运动图像生成处理已完成，那么使处理进入步骤S70，而如果循环运动图像生成处理未完成，那么使处理返回步骤S65。

另外，就步骤S65中的判定处理来说，当判定关于重叠范围Ei的循环运动图像生成处理已完成，从而进入步骤S66中的处理时，控制单元50递增重叠范围Ei，然后使处理进入步骤S67。

当进入步骤S67中的处理时，控制单元50控制第三图像处理单元46掺合(混合)一直到已完成重复运动图像生成处理的重叠范围Ei的重复运动图像和全景图像，然后使处理返回步骤S64。

另外，当在步骤S69中判定关于整个重叠范围Ei的重叠图像部分的循环运动图像生成处理已完成，从而进入步骤S70中的处理时，控制单元50控制第三图像存储单元47和显示图像生成单元48结束中间图像的显示处理。

随后，作为步骤S71中的处理，控制单元50控制第三图像存储单元47和显示图像生成单元48开始在循环运动图像生成处理的完成之后的全景重复运动图像的显示处理。

当个人数字助理暂停视频显示，以显示重复运动图像时的示意结构

图20图解说明就按照本实施例的个人数字助理来说，在视频显示被暂停时，显示重复运动图像的情况下的各个主要部分的示意结构。注意图20图解说明利用从照相机单元，或者视频输入单元，比如数字电视广播接收单元等供给的视频数据，作为原始运动图像的例子。另外，就图20中的结构来说，图像处理单元63和显示图像生成单元65可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行，而在CPU内形成的计算功能单元。

在图20，来自视频输入单元的视频数据VD被提供给输入终端单元61。注意按照如上所述的相同方式，在输入终端61的视频数据VD的接收单元可以是任意单元，比如文件单元，帧单元，扫描线单元等等。提供给输入终端61的视频数据VD被输入第一图像存储单元62中。

第一图像存储单元62是在控制单元67的写入/读出控制下，保持一定时间的最新数据，和丢弃除此以外的陈旧数据的环形缓冲区。注意，所述一定时间的例子包括3秒。另外，如果存储单元的容量充分大于所述一定时间的数据的容量，那么在容许的范围中，也可保持除所述一定时间的最新数据以外的陈旧数据。就本例来说，当从控制单元67收到暂停通知信号PCS时，第一图像存储单元62停止缓冲器的更新，保持在收到所述暂停通知信号PCS之前的一定时间的最新视频数据。在因收到暂停通知信号PCS而停止缓冲器的更新之后，第一图像存储单元62把保持的所述一定时间的视频数据输出给下游的图像处理单元63。

图像处理单元63具有执行上述循环运动图像生成处理的结构，在控制单元67的控制下，利用所述一定时间的视频数据，进行循环运动图像生成处理。当如上所述完成与循环运动图像生成处理的执行相应的某些单元中的处理时，图像处理单元63把在所述某些单元中的处理之后的图像数据PD和完成信号CS输出给第二图像存储单元64。

第二图像存储单元64是用于待提供给显示图像生成单元65的帧图像的缓冲存储器，在控制单元67的读取/写入控制下，累积与对从上游的图像处理单元63输出的一定时间的视频数据的循环运动图像生成处理相应的中间图像的数据PD，还把帧单元中的图像数据FP输出给下游的显示图像生成单元65。

在控制单元67的控制下，显示图像生成单元65从第二图像存储单元64相继读出为显示指示所必需的帧单元中的图像数据FP，并把所述帧图像数据FP从输出终端66输出给下游的显示器。就本实施例来说，在开始循环运动图像生成处理之后，在全部完成该循环运动图像生成处理以前，从显示图像生成单元65向显示器输出中间图像的帧图像数据FP。当循环运动图像生成处理全部完成时，从显示图像生成单元65向显示器输出在对一定时间的视频数据的循环运动图像生成处理完成之后的重复运动图像。从而，就本例来说，用所述一定时间的视频数据生成的重复运动图像被显示在显示屏幕上。

当个人数字助理暂停视频显示，从而显示重复运动图像时的流程图

图21图解说明就图20中的结构例子来说，在暂停之后，显示重复运动图像的处理的流程图。注意，就本实施例来说，图21中的流程图的处理由CPU执行的按照本实施例的重复运动图像生成程序实现。

就图21中的流程图来说，作为步骤S81中的处理，通过执行按照本实施例的程序而在CPU内形成的控制单元67控制第一图像存储单元62开始环形缓冲区操作，并且一边相继保持一定时间的最新视频数据VD，一边向下游输出所述一定时间的最新视频数据VD。

例如，当认识到用户进行了暂停指令操作等时，作为步骤S82中的处理，控制单元67生成暂停信号PCS并传送给第一图像存储单元62，并停止在第一图像存储单元62的环形缓冲区的更新。控制单元67随后把在生成暂停信号PCS之前的一定时间的视频数据，从第一图像存储单元62输出给图像处理单元63。

随后，作为步骤S83中的处理，控制单元67控制显示图像生成单元65开始中间图像的显示，并且作为步骤S84中的处理，控制图像处理单元63利用所述一定时间的视频数据开始循环运动图像生成处理。

作为步骤S85中的处理，控制单元67控制第二图像存储单元64和显示图像生成单元65，继续更新与所述一定时间的循环运动图像生成处理相应的中间图像的重复运动图像的显示。

在步骤S86，控制单元67判定循环运动图像生成处理是否已完成，如果循环运动图像生成处理未完成，那么使处理返回步骤S85，另一方面，如果循环运动图像生成处理已完成，那么使处理进入步骤S87。

当进入步骤S87中的处理时，控制单元67控制第二图像存储单元64和显示图像生成单元65结束中间图像显示处理，随后作为步骤S88中的处理，进行完成的循环运动图像生成处理的重复运动图像的显示。

如上所述，例如，在用户等输入了暂停指令的情况下，按照本实施例的个人数字助理能够显示其中使用在所述暂停之前保持在第一图像存储单元62中的一定时间的视频数据的重复运动图像。

利用循环运动图像生成处理，用多个静止图像生成全景静止图像的应用

按照本实施例的个人数字助理利用循环运动图像生成处理的位置调整处理和混合处理，从而用多个静止图像生成全景静止图像，另外，也可以显示按照所述循环运动图像生成处理的全景静止图像生成处理中的中间图像。

具体地说，例如，如图22中所示，如果存在当沿着某个方向(例如，水平方向)移动照相机单元时拍摄的多个静止图像，那么按照本实施例的个人数字助理对于这些静止图像进行相邻静止图像之间的匹配，如图23中所示，进行位置调整处理，以使这些静止图像之中利用所述匹配而大致匹配的图像元素重叠，并对这些图像元素进行混合处理。如图24中所示，按照本实施例的个人数字助理随后把其中利用位置调整或混合处理等连接静止图像的场景，作为中间图像显示在显示屏幕上。

从而，按照本实施例的个人数字助理能够在显示屏幕上，显示其中从多个静止图像生成全景静止图像的景象。

图25图解说明就按照本实施例的个人数字助理来说，在使用多个静止图像，用循环运动图像生成处理生成全景静止图像，并且显示所述处理的中间图像的情况下的各个主要部分的示意结构。注意图25图解说明其中在沿着某个方向移动照相机单元时拍摄的多个静止图像数据SD已作为原始运动图像被提供给输入终端71的例子。另外，就图25中的结构来说，图像处理单元73和显示图像生成单元75可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行，而在CPU内形成的计算功能单元。

在图25中，在沿着水平方向移动照相机单元时拍摄的多个静止图像数据SD按照拍摄顺序，被提供给输入终端71。提供给输入终端71的多个静止图像数据SD被输入第一图像存储单元72。

在控制单元77的写入/读出控制下，第一图像存储单元72按照供给顺序，临时保持在沿着水平方向移动照相机单元时拍摄的按拍摄顺序的静止图像数据SD，另外按所述供给顺序输出所述静止图像数据SD。从第一图像存储单元72顺序读出的多个静止图像数据SD被顺序输入下游的图像处理单元73。

图像处理单元73具有能够执行上述循环运动图像生成处理的结构，就本例来说，在控制单元77的控制下，在相邻静止图像之间进行位置调整处理和混合处理。图像处理单元73把位置调整处理和混合处理都视为某些单元中的处理，并且每次完成所述某些单元中的处理时，把在某些单元中的处理完成之后的图像数据PD，和完成信号CS输出给第二图像存储单元74。

第二图像存储单元74是用于待提供给显示图像生成单元75的显示帧图像的缓冲存储器，在控制单元77的写入/读出控制下，累积从下游的图像处理单元73输出的在某些单元中的处理完成之后的中间图像的图像数据PD，另外把显示帧单元中的中间图像的图像数据FP输出给下游的显示图像生成单元75。

在控制单元77的控制下，显示图像生成单元75从第二图像存储单元74相继读出为显示指示所必需的帧单元中的中间图像的图像数据FP，并把图像数据FP从输出终端76输出给下游的显示器。

从而，就本实施例来说，在显示屏幕上显示其中在每次完成某些单元中的每个处理时，逐渐完成全景静止图像的景象的图像。

当个人数字助理利用循环运动图像生成处理，从多个静止图像生成和显示全景静止图像时的流程图

图26图解说明就图25中的结构例子来说，从多个静止图像生成和显示全景静止图像的处理的流程图。注意，就本实施例来说，图26的流程图中的处理由CPU执行的按照本实施例的重复运动图像生成程序和全景图像生成程序实现。

就图26中的流程图来说，作为步骤S91中的处理，通过执行按照本实施例的程序而在CPU内形成的控制单元77顺序把多个静止图像数据SD载入第一图像存储单元72中，然后作为步骤S92中的处理，顺序把多个静止图像数据SD输出给图像处理单元73，并控制图像处理单元73进行位置调整处理，以致重叠在相邻静止图像之间匹配的图像元素。

之后，作为步骤S93中的处理，控制单元77控制显示图像生成单元75开始中间图像的显示，作为步骤S94中的处理，还控制图像处理单元73开始对于每个静止图像的循环运动图像生成处理。

具体地说，首先在步骤S94中，控制单元77设定表示每个静止图像，并且还对应于拍摄顺序的变量(下面称为静止图像Pi)，并控制图像处理单元73关于相邻的两个静止图像Pi和静止图像Pi+1，进行如上所述的图像元素大致匹配的两个图像之间的掺合(混合)处理。

随后，作为步骤S95中的处理，控制单元77判定是否完成了利用图像处理单元74的相邻静止图像Pi和Pi+1的混合处理，如果判定已完成混合处理，那么使处理进入步骤S96，而如果判定还未完成混合处理，那么使处理进入步骤S98。

当进入步骤S98中的处理时，控制单元77控制第二图像存储单元74和显示图像生成单元75继续利用混合处理，更新中间图像的全景静止图像的显示。

在步骤S99，控制单元77判定其中连接所有静止图像的全景静止图像的生成处理是否已完成，在完成了所述处理的情况下，使处理进入步骤S1000，另一方面，在未完成所述处理的情况下，使处理返回步骤S95。

另外，就步骤S95中的判定处理来说，当判定相邻的静止图像Pi和Pi+1的混合处理已完成，从而进入步骤S96中的处理时，控制单元77递增静止图像Pi，然后使处理进入步骤S97。

当进入步骤S97中的处理时，控制单元77控制图像处理单元73生成由一直到已完成其混合处理的图像的全景静止图像，和在所述处理之前并在位置调整之后的静止图像构成的中间图像，然后使处理返回步骤S94。

另外，当在步骤S99中确定已完成其中连接所有静止图像的全景静止图像的生成处理，并且进入步骤S100中的处理时，控制单元77控制第二图像存储单元72和显示图像生成单元75结束中间图像的显示处理。

作为步骤S101中的处理，控制单元77随后控制第二图像存储单元72和显示图像生成单元75，开始其中连接所有静止图像的全景静止图像的显示处理。

利用循环运动图像生成处理，进行三维降噪处理的应用

按照本实施例的个人数字助理进行由循环运动图像生成处理的调整处理和混合处理构成的重叠处理，从而对视频数据进行三维降噪(NR)处理，另外能够显示利用循环运动图像生成处理的三维降噪处理中的中间图像。

具体地说，例如，如图27中所示，在开始三维降噪时，按照本实施例的个人数字助理只显示多个帧图像中的第一个帧图像。之后，如图28中所示，个人数字助理利用2个帧图像进行这些帧图像的位置调整，随后按照混合这些帧图像的重叠处理，对这2个帧图像进行三维降噪处理。之后，如图29中所示，个人数字助理利用3个帧图像进行这些帧图像的位置调整，随后按照混合这些帧图像的重叠处理，对这3个帧图像进行三维降噪处理。

这样，就按照本实施例的个人数字助理来说，可以在逐渐增大帧图像的数目的时候进行三维降噪处理，顺序显示利用所述处理获得的中间图像，然后在完成所有处理之后，显示在所有处理完成之后的图像。

图30图解说明就按照本实施例的个人数字助理来说，在借助利用循环运动图像生成处理的位置调整处理和混合处理的重叠处理执行三维降噪处理，并且还显示所述三维降噪处理的中间图像的情况下的各个主要部分的示意结构。注意图30图解说明其中构成视频数据VD的帧图像已作为原始运动图像被提供给输入终端81的例子。另外，就图30中的结构来说，图像处理单元83和显示图像生成单元85可以硬件的形式准备，或者可被配置成由于按照本实施例的重复运动图像生成程序的执行而在CPU内形成的计算功能单元。

在图30中，输入的视频数据VD被提供给输入终端81，随后输入的视频数据被输入第一图像存储单元82。

第一图像存储单元82在控制单元87的写入/读出控制下，临时保持输入的视频数据。另外，第一图像存储单元82按照在下游的图像处理单元83的三维降噪处理的进展，把保持的数据输出给所述图像处理单元83。

图像处理单元83具有能够执行上述循环运动图像生成处理的结构。就本例来说，在控制单元87的控制下，图像处理单元83进行重叠在上述位置调整之后的诸如2个、3个之类的多个帧图像的三维降噪处理。位置调整处理和重叠处理都被视为某些单元中的处理，每次完成某些单元中的该处理时，图像处理单元83把在某些单元中的处理之后的图像数据PD，和完成信号CS输出给第二图像存储单元84。

第二图像存储单元84是用于待提供给显示图像生成单元85的显示帧图像的缓冲存储器，在控制单元87的写入/读出控制下，累积从下游的图像处理单元83输出的在某些单元中的处理结束之后的中间图像的图像数据PD，另外把显示帧单元中的中间图像的图像数据FP输出给下游的显示图像生成单元85。

在控制单元87的控制下，显示图像生成单元85从第二图像存储单元84相继读出为显示指示所必需的帧单元中的中间图像的图像数据FP，并把图像数据FP从输出终端86输出给下游的显示器。

从而，就本实施例来说，在显示屏幕上显示其中在每次完成某些单元中的每个处理时，逐渐完成经过三维降噪的图像的景象的图像。

利用循环运动图像生成处理，生成和显示经过三维降噪处理的图像时的个人数字助理的流程图

图31图解说明就图30中的结构例子来说，按照三维降噪处理生成和显示图像的流程图。注意，就本实施例来说，图31的流程图中的处理由CPU执行的按照本实施例的重复运动图像生成程序实现。

就图31中的流程图来说，作为步骤S111中的处理，通过执行按照本实施例的程序而在CPU内形成的控制单元87把输入的视频数据VD载入第一图像存储单元82中。

随后，在作为步骤S112中的处理，利用来自用户等的指令操作进行了三维降噪处理的执行指令的情况下，作为步骤S113中的处理，控制单元87控制显示图像生成单元85开始中间图像的显示，作为步骤S114中的处理，还控制图像处理单元83开始利用循环运动图像生成处理的位置调整处理和混合处理的重叠处理。

具体地说，首先在步骤S114中，控制单元87设定与重叠的帧图像的数目对应的变量(下面称为图像数目Di)，并控制图像处理单元83执行关于帧图像中的每个帧图像的位置调整和混合处理，帧图像的数目由图像数目Di指示。

之后，作为步骤S115中的处理，控制单元87判定图像处理单元83是否完成了图像数目Di的重叠处理，如果完成了所述处理，那么使处理进入步骤S116，如果未完成所述处理，那么使处理进入步骤S118。

当进入步骤S118时，控制单元87控制第二图像存储单元84和显示图像生成单元85，继续按照重叠处理的三维降噪处理，更新中间图像的显示。

在步骤S119，控制单元87判定整个三维降噪处理是否已完成，如果所述处理已完成，那么使处理进入步骤S120，另一方面，如果所述处理未完成，那么使处理返回步骤S115。

另外，就步骤S115中的判定处理来说，当判定完成了和图像数目Di相同的重叠处理，并且进入步骤S116时，控制单元87递增图像数目Di，然后使处理进入步骤S117。

当进入步骤S117中的处理时，控制单元87控制图像处理单元83生成中间图像，直到完成三维降噪处理为止，然后使处理返回步骤S114。

另外，当在步骤S119中判定完成了整个三维降噪处理，从而进入步骤S120中的处理时，控制单元87控制第二图像存储单元84和显示图像生成单元85结束中间图像的显示处理。

随后，作为步骤S121中的处理，控制单元87控制第二图像存储单元84和显示图像生成单元85开始其整个三维降噪处理已完成的图像的显示处理。

向用户显示在循环运动图像生成处理期间和循环运动图像生成处理的完成的屏幕例子

图32-34图解说明就上述实施例来说，如果在循环运动图像生成处理期间，或者已完成循环运动图像生成处理，那么明确地向用户表示在循环运动图像生成处理期间，或者循环运动图像生成处理已完成的屏幕例子。

图32图解说明当利用指示器140的进度条，和显示屏幕上的%显示的数值141，明确地向用户提供循环运动图像生成处理的进度时的例子。

图33图解说明当利用诸如改变显示屏幕的显示阴影或透明度之类的效果显示，明确地向用户提供循环运动图像生成处理的进展状态时的例子。具体地说，就图33中的例子来说，如在图33的(A)中的显示屏幕例子中所示，在循环运动图像生成处理开始时，屏幕显示浓度被减小，而在处理的进行期间，如在图33的(B)中所示，屏幕显示浓度被逐渐增大，从而在处理完成时，如在图33的(C)中所示，屏幕显示浓度被增大到最大。

图34图解说明当循环运动图像生成处理完成时，在显示屏幕上向用户明确表示所述处理已完成时的例子。注意，可以通过播放声音或者启动振动器，向用户通知所述处理的完成。

在图像处理期间，显示中间图像的个人数字助理的详细结构

图35图解说明个人数字助理的详细结构例子，由此利用预定图像处理，比如在上述实施例中说明的循环运动图像生成处理获得的中间图像能够被显示在显示屏幕上。

在图35，视频数据等从上述照相机单元或网络，存储装置等被提供给输入终端101。在图像数据接收单元102接收提供给输入终端101的视频数据等。

图像数据接收单元102把从输入终端101供给的数据转换成能够在个人数字助理内处理的数据格式。另外，在控制单元112的控制下，图像数据接收单元102把转换后的数据传送给图像存储单元114。

图像存储单元114等同于上面提及的第一图像存储单元，第二图像存储单元和第三图像存储单元，在控制单元112的控制下，临时保存由图像数据接收单元102转换的输入视频数据，还进行中间图像的保存，或者待显示在显示器上的数据等的保存。

操纵按照本实施例的个人数字助理的用户操纵用户操作输入单元113，从而从用户接受如上所述的待机背景设定操作指令输入，缩略图图像显示指令输入，三维降噪处理指令输入等。输入用户操作单元113的用户指令输入信号通过系统总线被传给控制单元112。从而，控制单元112认识到从用户输入了如上所述的待机背景设定操作指令，缩略图图像显示指令，三维降噪处理指令等，按照来自用户的输入指令，能够如上所述地控制各个单元。

在控制单元112的控制下，图像处理单元100从图像存储单元114读出数据，进行预定的图像处理，比如上述循环运动图像生成处理等，随后把处理后的数据写回图像存储单元114中。另外，在向图像存储单元114输出预定图像处理的中间图像的数据时，图像处理单元100把为中间图像的显示所必需的信息IPI通知显示图像生成单元115。当完成整个图像处理时，图像处理单元100把在完成该图像处理之后的数据临时保存在图像存储单元114中，另外向静止图像编解码器单元116传送指示图像处理已完成的生成处理完成通知CC。

当从图像处理单元100收到生成处理完成通知CCN时，在控制单元112的控制下，静止图像编解码器单元116从图像存储单元114读出在完成图像处理之后的数据，并把所述数据保存在诸如内置存储器之类的存储/重放单元117中。

当在图像处理单元100进行图像处理时，在控制单元112的控制下，显示图像生成单元115从图像存储单元114读出中间图像的数据，以生成待显示在显示器上的帧图像。另外，显示图像生成单元115把在当前时刻显示在显示器上的帧的时间位置通知图像处理单元100。此外，在完成图像处理单元100的处理之后，在控制单元112的控制下，显示图像生成单元115通过静止图像编解码器单元116，从存储/重放单元117读出在图像处理完成之后的数据，并用所述数据生成待显示在显示器上的帧图像。

显示接口单元118按照连接到个人数字助理的显示装置的规范，转换从显示图像生成单元115供给的显示帧的数据，并通过输出终端119把转换后的数据输出给显示装置。

控制单元112控制按照本实施例的整个个人数字助理的操作以及上述各个组件的控制，还按照需要进行各种计算处理。

根据照相机拍摄的视频数据，生成和显示重复运动图像的个人数字助理的具体结构

图36图解说明上述实施例中，在利用照相机单元拍摄的视频数据作为原始运动图像，生成和显示重复运动图像的情况下的个人数字助理的具体结构例子。

在图36中，从镜头121到图像转换单元123的结构是上面说明的照相机单元的主要结构。镜头121在成像器件122的成像面上形成被摄物体图像及其背景图像等。成像器件122对在成像面上形成的被摄物体图像及其背景图像等进行光电转换，从而生成RAW(原始)数据，并把该RAW数据输出给图像转换单元123。图像转换单元123是图像数据接收单元102的例子，把RAW数据转换成R(红色)、G(绿色)和B(蓝色)数据。注意在成像器件122的正面设置有RGB滤色片等，不过它们在图36中被省略。从图像转换单元123输出的RGB数据被传给图像存储单元134。

图像存储单元134等同于在上面提及的图5，图11，图18等中的第一图像存储单元，第二图像存储单元，第三图像存储单元等等，在控制单元132的控制下，临时保存来自图像转换单元123的RGB数据，还进行中间图像的保存，待显示在显示器上的数据的保存，等等。

操纵按照本实施例的个人数字助理的用户操纵用户操作输入单元133，从而接受如上所述的待机背景设定操作、由帧速率的变化引起的放映幻灯片图像开始操作、全景重复运动图像开始操作等的指令输入。输入所述用户操作输入单元133的用户指令输入信号通过系统总线被传送给控制单元132。从而，控制单元132认识到从用户输入了如上所述的待机背景设定操作指令，由帧速率的变化引起的放映幻灯片图像开始指令，全景重复运动图像开始指令等，按照来自用户的输入指令能够如上所述地控制各个单元。

循环运动图像生成单元120相当于按照上述实施例的图像处理单元，在控制单元132的控制下，从图像存储单元134读出数据，并进行循环运动图像生成处理的位置调整处理，最佳重复片段检测处理，循环处理，混合处理等等。在位置调整处理时，循环运动图像生成单元120从输入视频数据的开始更新每帧的图像，并在最佳重复片段检测处理和循环处理时，把重复片段的开始帧位置和终止帧位置通知显示图像生成单元135。另外，在混合处理时，循环运动图像生成单元120从将经历混合处理的开始位置更新每帧的图像。注意在更新帧图像时，这是在确认该帧图像不是显示在显示器上的当前帧之后进行的。循环运动图像生成单元120把在所述循环运动图像生成处理之后的数据写回图像存储单元134中。另外，在把与循环运动图像生成处理相应的中间图像的数据输出给图像存储单元134的时候，循环运动图像生成单元120把指示重复片段的开始帧位置和终止帧位置的信息SEFP，作为对中间图像的显示来说必需的信息，通知显示图像生成单元135。当完成整个循环运动图像生成处理时，循环运动图像生成单元120把在循环运动图像生成处理完成之后的数据临时保存在图像存储单元134中，另外向静止图像编解码器单元136传送指示循环运动图像生成处理已完成的生成处理完成通知CCN。

当从循环运动图像生成单元120收到生成处理完成通知CCN时，在控制单元132的控制下，静止图像编解码器单元136从图像存储单元134读出在完成循环运动图像生成处理之后的数据，并把所述数据保存在诸如内置存储器之类的存储/重放单元137中。

在利用循环运动图像生成单元120开始循环运动图像生成处理之后，在控制单元132的控制下，显示图像生成单元135立即反复从图像存储单元134读出帧图像F1-帧图像FN的数据，并生成待显示在显示器上的帧图像。另外，在循环运动图像生成单元120完成循环运动图像生成处理的循环处理之后，显示图像生成单元135从图像存储单元134读出最佳重复片段中从开始帧到终止帧的中间图像的数据，从而生成待显示在显示器上的帧图像。注意，显示图像生成单元135把当前时刻显示在显示器上的帧的时间位置通知循环运动图像生成单元120。此外，在完成循环运动图像生成单元120的整个处理之后，在控制单元132的控制下，显示图像生成单元135通过静止图像编解码器单元136，从存储/重放单元137读出在循环运动图像生成处理完成之后的数据，然后用所述数据生成将显示在显示器上的帧图像。

分辨率转换单元138相当于显示接口单元118，按照连接到个人数字助理的显示装置139的分辨率规范转换从显示图像生成单元135供给的显示帧图像的数据，并把转换后的数据输出给显示装置139。

控制单元132进行上述组件的控制，还控制按照本实施例的整个个人数字助理的操作，并且按照需要进行各种计算处理。

概述

如上所述，按照本公开的实施例的显示图像生成方法包括：使图像数据接收单元接收时间和/或空间上连续的多个图像数据的步骤；使图像处理单元用接收的时间和/或空间上连续的多个图像数据生成时间和/或空间上连接的一组已处理图像的步骤；在图像处理单元开始生成一组已处理图像时，使显示图像生成单元在屏幕上显示接收的时间和/或空间上连续的多个图像数据的步骤；当在图像处理单元生成一组已处理图像的过程中生成中间处理图像时，使显示图像生成单元不断把所述中间处理图像显示在屏幕上的步骤；和在图像处理单元完成一组已处理图像的生成之后，使显示图像生成单元不断把所述生成完成之后的一组已处理图像显示在屏幕上的步骤。

另外，就按照本实施例的显示图像生成方法来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元进行：从多个时间连续的图像中提取两个相似的图像，和这两个图像之间的多个时间连续的图像的步骤；把这两个相似图像中的时间在先的图像视为第一个图像，把时间在后的图像视为最后一个图像，并连接所述第一个图像和最后一个图像的步骤；和生成由第一个图像和最后一个图像以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像的步骤。

另外，就按照本实施例的显示图像生成方法来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元进行：从剪辑自多个时间连续的图像的小图像或者缩小自多个图像的小图像中，提取两个相似的小图像和这两个小图像之间的多个时间连续的小图像的步骤；把这两个相似小图像中的时间在先的小图像视为第一个小图像，把时间在后的小图像视为最后一个小图像，并连接所述第一个小图像和最后一个小图像的步骤；和生成由第一个小图像和最后一个小图像，以及这两个小图像之间的多个时间连续的小图像构成的循环图像，作为所述一组已处理图像的步骤。

另外，就按照本实施例的显示图像生成方法来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元进行：相继进行在改变预定时间间隔的时候，从接收的多个时间连续的图像中提取持续每个预定时间间隔的多个图像的处理的步骤；从每个提取处理的多个图像中提取两个相似图像，和这两个图像之间的多个时间连续的图像的步骤；把这两个相似图像中的时间在先的图像视为第一个图像，把时间在后的图像视为最后一个图像，并连接所述第一个图像和最后一个图像的步骤；和生成由第一个图像和最后一个图像，以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像的步骤。

另外，在这种情况下，就按照本实施例的显示图像生成方法来说，预定时间间隔被相继减小，并且在完成一组已处理图像的生成时，与当图像数据接收单元接收多个图像数据时的时间间隔匹配。

另外，就按照本实施例的显示图像生成方法来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元进行：从多个时间连续的图像中提取连续一定时期的多个图像的步骤；连接连续一定时期的所述多个图像中的第一个图像和时间上最后的图像的步骤；和生成由第一个图像和最后一个图像，以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像的步骤。

另外，就按照本实施例的显示图像生成方法来说，当接收的各个图像数据是时间和空间上连续的图像数据时，使图像处理单元进行：从每个时间和空间上连续的图像中，提取在时间和空间上重叠的范围中的图像部分的步骤；连接在时间和空间上重叠的范围中的图像部分的时间在先图像部分和时间在后图像部分的步骤；和生成由所述时间在先的图像部分，时间在后的图像部分，以及这两个图像部分之间的在时间和空间上连续的图像部分构成的循环图像，作为所述一组已处理图像的步骤。

另外，就按照本实施例的显示图像生成方法来说，当接收的每个图像数据是时间上连续的图像数据时，图像处理单元进行：生成通过重叠具有空间上重叠的图像部分的各个空间连续图像而连接的图像，作为所述一组已处理图像的步骤。

另外，就按照本实施例的显示图像生成方法来说，图像处理单元进行：生成各个时间和/或空间上连续的图像与之重叠的图像，作为所述一组已处理图像的步骤。

另外，按照本实施例的显示图像生成方法包括在图像处理单元完成所述一组已处理图像的生成之后，把在所述生成完成之后的一组已处理图像数据保存在存储单元中的步骤，和使显示图像生成单元把从存储单元读出的一组已处理图像数据连续显示在屏幕上的步骤。

接下来，按照本公开的实施例的显示图像生成设备包括：配置成接收时间和/或空间上连续的多个图像数据的图像数据接收单元；配置成用接收的时间和/或空间上连续的多个图像数据，生成时间和/或空间上连接的一组已处理图像的图像处理单元；和显示图像生成单元，所述显示图像生成单元被配置成在图像处理单元开始生成一组已处理图像时，在屏幕上显示接收的时间和/或空间上连续的多个图像数据，当在图像处理单元生成一组已处理图像的过程中生成中间处理图像时，不断把所述中间处理图像显示在屏幕上，和在图像处理单元完成一组已处理图像的生成之后，不断把所述处理完成之后的一组已处理图像显示在屏幕上。

这里，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元：从多个时间连续的图像中提取两个相似的图像，和这两个图像之间的多个时间连续的图像；把这两个相似图像中的时间在先的图像视为第一个图像，把时间在后的图像视为最后一个图像，并连接所述第一个图像和最后一个图像；和生成由第一个图像和最后一个图像，以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元：从剪辑自多个时间连续的图像的小图像或者缩小自多个图像的小图像中，提取两个相似的小图像，和这两个小图像之间的时间连续的小图像；把这两个相似小图像中的时间在先的小图像视为第一个小图像，把时间在后的小图像视为最后一个小图像，并连接所述第一个小图像和最后一个小图像；和生成由第一个小图像和最后一个小图像，以及这两个小图像之间的多个时间连续的小图像构成的循环图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元：相继进行在改变预定时间间隔的时候，从接收的多个时间连续的图像中提取持续每个预定时间间隔的多个图像的处理；从每个提取处理的多个图像中提取两个相似图像，和这两个图像之间的多个时间连续的图像；把这两个相似图像中的时间在先的图像视为第一个图像，把时间在后的图像视为最后一个图像，并连接所述第一个图像和最后一个图像；和生成由第一个图像和最后一个图像，以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像。

注意在这种情况下，预定时间间隔被相继减小，并在完成一组已处理图像的生成时，与图像数据接收单元接收多个图像数据时的时间间隔匹配。

另外，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元：从多个时间连续的图像中提取连续一定时期的多个图像；连接连续一定时期的所述多个图像中的第一个图像和时间上最后的图像；和生成由第一个图像和最后一个图像，以及这两个图像之间的多个时间连续的图像构成的循环图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间和空间上连续的图像数据时，图像处理单元：从每个时间和空间上连续的图像中，提取在时间和空间上重叠的范围中的图像部分；连接在时间和空间上重叠的范围中的图像部分的时间在先图像部分和时间在后图像部分；和生成由所述时间在先的图像部分，时间在后的图像部分，以及这两个图像部分之间的在时间和空间上连续的图像部分构成的循环图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，当接收的各个图像数据是时间上连续的图像数据时，图像处理单元：生成通过重叠具有空间上重叠的图像部分的各个空间连续图像而连接的图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，图像处理单元：生成各个时间和/或空间上连续的图像与之重叠的图像，作为所述一组已处理图像。

另外，就按照本实施例的显示图像生成设备来说，在图像处理单元完成所述一组已处理图像的生成之后，在所述生成完成之后的一组已处理图像数据被保存在存储单元中，显示图像生成单元把从存储单元读出的一组已处理图像数据连续显示在屏幕上。

此外，按照本实施例的显示图像生成程序(重复运动图像生成程序)使计算机充当：配置成接收时间和/或空间上连续的多个图像数据的图像数据接收单元；配置成用接收的时间和/或空间上连续的多个图像数据，生成时间和/或空间上连接的一组已处理图像的图像处理单元；和显示图像生成单元，所述显示图像生成单元被配置成在图像处理单元开始生成一组已处理图像时，在屏幕上显示接收的时间和/或空间上连续的多个图像数据，当在图像处理单元生成一组已处理图像的过程中生成中间处理图像时，不断把所述中间处理图像显示在屏幕上，和在图像处理单元完成一组已处理图像的生成之后，不断把在所述处理完成之后的一组已处理图像显示在屏幕上。

此外，按照本实施例的存储介质被配置成保存使计算机起以下作用的显示图像生成程序：配置成接收在时间和/或空间上连续的多个图像数据的图像数据接收单元；配置成用接收的时间和/或空间上连续的多个图像数据，生成时间和/或空间上连接的一组已处理图像的图像处理单元；和显示图像生成单元，所述显示图像生成单元被配置成在图像处理单元开始生成一组已处理图像时，在屏幕上显示接收的时间和/或空间上连续的多个图像数据，当在图像处理单元生成一组已处理图像的过程中生成中间处理图像时，不断把所述中间处理图像显示在屏幕上，和在图像处理单元完成一组已处理图像的生成之后，不断把在所述处理完成之后的一组已处理图像显示在屏幕上。

于是，就本实施例来说，例如，在利用通过拍摄获得的具有运动的几秒运动图像生成和显示重复运动图像的情况下，一边播放诸如中间图像之类的重复运动图像，一边在后台进行费时的处理，从而即使利用处理能力稍低的设备，也能够从开始生成重复图像开始，大致实时地显示所述重复图像。另外，按照本实施例，在为便携式电话终端或所谓的数字相框的待机屏幕创建和显示几秒的具有运动的重复运动图像(例如，涟漪临近的景象，和树叶在风中飘舞的景象)时，能够提高处理效率，并且能够消除在拍摄之后的处理等待时间。

注意除了高性能便携式电话终端，平板终端和平板PC之外，按照本实施例的个人数字助理还不仅适用于便携式终端，比如所谓的PDA(个人数字助理),笔记本大小的个人计算机，便携式游戏机，便携式导航终端等，而且适用于各种固定电子设备，只要该设备包括能够显示图像的显示面板。

另外，以上实施例的说明只是本公开的一个例子。因而，本公开并不局限于上述实施例，可按照设计等，做出各种修改，而不脱离与本公开相关的技术思想。

此外，归因于在本公开的权利要求或其等同物的范围内的设计或其它要素，本领域的技术人员能够设想各种修改、组合和其它实施例。

Claims (19)

1.一种图像处理设备，包括：

接收时间或空间上连续的多个图像单元的输入终端；

通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理的图像处理单元；和

显示图像生成单元，所述显示图像生成单元控制显示器：在图像处理单元开始对所述多个图像单元进行图像处理时，显示所述多个图像单元；在图像处理单元完成所述多个图像单元的子集的中间处理时，显示包括多个图像单元的已处理子集的中间处理图像；和在图像处理单元完成所述多个图像单元的处理之后，显示包括已处理的所述多个图像单元的完整处理图像。

2.按照权利要求1所述的信息处理设备，还包括：

保存从输入终端输出的多个图像单元的第一图像存储单元。

3.按照权利要求2所述的信息处理设备，还包括：

保存图像处理单元输出的已处理的所述多个图像单元的第二图像存储单元。

4.按照权利要求3所述的图像处理设备，还包括：

控制第一图像存储单元、图像处理单元、第二图像存储单元和显示图像生成单元的控制单元。

5.按照权利要求4所述的图像处理设备，其中当反复完成对所述多个图像单元的每个子集的图像处理时，图像处理单元把所述多个图像单元的每个已处理子集输出给第二图像存储单元。

6.按照权利要求5所述的图像处理设备，其中当反复完成对所述多个图像单元的每个子集的图像处理时，图像处理单元把指示对所述多个图像单元的每个已处理子集的图像处理的完成的信号输出给第二图像存储单元。

7.按照权利要求5所述的图像处理设备，其中当图像处理单元未完成显示用图像单元的处理时，控制单元控制显示图像生成单元从第一图像存储单元获得所述多个图像单元，以便显示。

8.按照权利要求5所述的图像处理设备，其中当图像处理单元完成了显示用图像单元的处理时，控制单元控制显示图像生成单元从第二图像存储单元获得所述多个图像单元的已处理子集，以便显示。

9.按照权利要求1所述的图像处理设备，其中图像单元是图像文件、图像数据帧、和扫描线单元中的一个。

10.按照权利要求1所述的图像处理设备，其中图像处理单元对所述多个图像单元进行的处理包括：

从所述多个图像单元中提取两个相似的图像单元，和这两个相似的图像单元之间的多个时间连续的图像单元；

把这两个相似的图像单元中的时间在先的图像单元视为第一个图像单元，把时间在后的图像单元视为最后一个图像单元，并连接所述第一个图像单元和最后一个图像单元；和

生成由第一个图像单元和最后一个图像单元以及第一个图像单元和最后一个图像单元之间的多个时间连续的图像单元构成的循环图像，作为所述多个图像单元的已处理子集。

11.按照权利要求1所述的图像处理设备，其中图像处理单元对所述多个图像单元进行的处理包括：

从剪辑自所述多个图像单元的小图像或者缩小自所述多个图像单元的小图像中，提取两个相似的小图像和这两个小图像之间的多个时间连续的小图像；

把这两个相似的小图像中的时间在先的小图像视为第一个小图像，把时间在后的小图像视为最后一个小图像，并连接所述第一个小图像和最后一个小图像；和

生成由第一个小图像和最后一个小图像以及第一个小图像和最后一个小图像之间的多个时间连续的小图像构成的循环图像，作为所述多个图像单元的已处理子集。

12.按照权利要求1所述的图像处理设备，其中图像处理单元对所述多个图像单元进行的处理包括：

相继进行在改变预定时间间隔时从所述多个图像单元中提取持续每个预定时间间隔的所述多个图像单元的子集的处理；

从每个提取处理的多个图像单元的子集中提取两个相似的图像单元和这两个相似的图像单元之间的多个时间连续的图像单元；

把这两个相似的图像单元中的时间在先的图像单元视为第一个图像单元，把时间在后的图像单元视为最后一个图像单元，并连接所述第一个图像单元和最后一个图像单元；和

生成由第一个图像单元和最后一个图像单元以及第一个图像单元和最后一个图像单元之间的多个时间连续的图像单元构成的循环图像，作为所述多个图像单元的已处理子集。

13.按照权利要求12所述的信息处理设备，其中对于所述多个图像单元的子集的各个反复处理来说，所述预定时间间隔被相继减小，并且在图像处理单元完成所述多个图像单元的处理时，与当输入终端接收所述多个图像单元时的时间间隔匹配。

14.按照权利要求1所述的图像处理设备，其中图像处理单元对所述多个图像单元进行的处理包括：

从所述多个图像单元中提取连续一定时期的所述多个图像单元的子集；

连接连续一定时期的所述多个图像单元的子集中的第一个图像单元和时间上最后的图像单元；和

生成由第一个图像单元和最后一个图像单元以及第一个图像单元和最后一个图像单元之间的时间上连续的多个图像单元构成的循环图像，作为所述多个图像单元的已处理子集。

15.按照权利要求1所述的图像处理设备，其中图像处理单元对所述多个图像单元进行的处理包括：

从所述多个图像单元中的每一个中提取在时间和空间上重叠的范围中的图像部分；

连接在时间和空间上重叠的范围中的图像部分的时间在先的图像部分和时间在后的图像部分；和

生成由所述时间在先的图像部分、时间在后的图像部分、以及所述时间在先的图像部分和所述时间在后的图像部分之间的在时间和空间上连续的图像部分构成的循环图像，作为所述多个图像单元的已处理子集。

16.按照权利要求15所述的图像处理设备，还包括：

生成通过重叠具有空间上重叠的图像部分的各个空间连续图像而连接的图像，作为所述多个图像单元的已处理子集。

17.按照权利要求15所述的图像处理设备，还包括：生成各个时间和/或空间上连续的图像与之重叠的图像，作为所述多个图像单元的已处理子集。

18.一种由信息处理设备执行的图像显示方法，所述方法包括：

在图像处理设备的输入终端接收时间或空间上连续的多个图像单元；

通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理；

利用信息处理设备的显示器，在开始对所述多个图像单元的图像处理时显示所述多个图像单元；

在所述多个图像单元的子集的中间处理完成时，利用显示器显示包括多个图像单元的已处理子集的中间处理图像；和

在所述多个图像单元的图像处理完成之后，利用显示器显示包括已处理的所述多个图像单元的完整处理图像。

19.一种包括计算机程序指令的非临时性计算机可读介质，当被信息处理设备执行时，所述计算机程序指令使信息处理设备执行包括下述步骤的方法：

接收时间或空间上连续的多个图像单元；

通过对多个图像单元的子集反复进行图像处理，对所述多个图像单元进行图像处理；

在开始对所述多个图像单元的图像处理时显示所述多个图像单元；

在所述多个图像单元的子集的中间处理完成时，显示包括多个图像单元的已处理子集的中间处理图像；和

在所述多个图像单元的图像处理完成之后，显示包括已处理的所述多个图像单元的完整处理图像。

Images