CN101325680A - 图像处理装置和方法及程序 - Google Patents

Abstract

一种图像处理装置包括下面的元件。图像存储部分存储与时间信息有关的多个图像。特征提取部分提取在图像存储部分中存储的每个图像的特征量。图像选择部分基于与重叠部分集中包括的各个图像相关联的特征量，选择存储在图像存储部分中的几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部图像的重叠部分。摘要图像产生部分基于选择的图像产生在图像存储部分中存储的图像的摘要图像。

Description

图像处理装置和方法及程序

技术领域

本发明涉及图像处理装置，并且尤其涉及能够编辑图像内容的图像处理装置、用于该图像处理装置的图像处理的方法和允许计算机执行该方法的程序。

背景技术

近些年来，数字视频相机已普及。因此，受邀请参与婚礼招待会的客人用数字视频相机拍摄如婚礼庆典或婚礼招待会的事件已经流行。在许多客人聚会的如婚礼招待会的事件中，许多客人经常拍摄相同的场景(例如，婚礼蛋糕切割场景)。因此，在一个事件中的相同的场景可以被捕获为多个运动图像。这些捕获的运动图像可以在例如家庭中的个人计算机的显示器上播放。

例如，假设用相对长拍摄时间获得的运动图像被播放。当整个运动图像从开始播放时，回放时间拉长。不幸的是，观众对正在播放的运动图像的兴趣可能随该回放时间的经过而减弱。按照防止兴趣减弱的方法，观众可能从获得的运动图像检索期望的部分，并且可以顺序地播放期望的部分。然而，在此情形中，回放需要检索时间。而且，检索操作可能经常是复杂的。不利地，观众对获得的运动图像的兴趣可能减弱。

按照提出的技术，在运动图像的回放之前，与运动图像的各个部分相对应的缩略图像被产生并且利用产生的缩略图像从期望记录的位置播放该运动图像。例如，日本未审专利申请公开No.11-289517公开一种再现装置，其产生指示在记录介质上记录的运动图像的各个场景的多个缩略图像，并且播放这些缩略图像，使得期望的缩略图像从显示的缩略图像选择，并且从对应于选择的缩略图像的场景的起点，开始运动图像的回放。

发明内容

按照如上所述的相关领域的技术，当用户观看通过拍摄如婚礼招待会的事件获得的运动图像时，用户可以利用与该运动图像相关的被显示的缩略图像从期望的场景的顶部开始回放运动图像。

当如婚礼招待会的事件通过拍摄被捕获为运动图像时，拍摄时间往往相对长。在观看由客人通过拍摄事件获得的、导致相对长的拍摄时间的多个运动图像时，当缩略图像利用如上所述的相关领域技术播放时，显示的缩略图像的数目可能非常大。在此情形中，要花长的时间选择显示的缩略图像的任何一个。不利地，选择显示的缩略图像的任何一个是复杂的。

而且，在许多情形中，那些运动图像由客人(拍摄师)在不同位置以不同视角拍摄事件获得。因此尽管显示的缩略图像对应相同的场景，但是缩略图像看起来显示不同的场景。在此情形中，用户可能多次选择相同的场景。不幸的是，难以有效观看运动图像。换句话说，难以有效观看通过经由多个成像设备拍摄相同的场景获得的多个运动图像。

因此，期望有效观看通过经由多个成像设备拍摄相同的场景获得的多个运动图像。

为了解决上述问题，做出本发明。按照本发明的第一个方面，一种图像处理装置包括下面的元件。图像存储部分存储与时间信息有关的多个图像。特征提取部分提取在图像存储部分中存储的每个图像的特征的量(以下称为特征量)。图像选择部分基于与包括在重叠部分集中的各个图像相关联的特征量，选择存储在图像存储部分中的几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部的图像的重叠部分。摘要图像产生部分基于选择的图像产生在图像存储部分中存储的图像的摘要图像。因此，该第一实施例具有如下效果：基于与包括在重叠部分集中的各个图像相关联的特征量，选择相对于拍摄时间重叠的多个图像的每个重叠部分集中包括的至少一个图像，并且基于选择的图像产生该图像的摘要图像

在本实施例中，该装置还可以包括：摘要分数计算部分，用于计算每个图像的摘要分数，所述摘要分数通过加权和相加提取的特征量获得。图像选择装置可以将包括在重叠部分集中的各个图像的所计算的摘要分数比较，以选择具有最高摘要分数的一个图像。因此该实施例具有如下效果：计算每个图像的摘要分数作为通过加权和相加图像的特征量获得的值，并且将包括在多个重叠图像的每个重叠部分集中的各个图像的所计算的摘要分数比较，以选择具有最高摘要分数的一个图像。

在本实施例中，摘要图像产生部分可以通过按时间序列排列选择的图像产生摘要图像。因此该实施例具有如下效果：通过按时间序列排列选择的图像产生摘要图像。

在本实施例中，存储在图像存储部分中的图像是按时间序列捕获的运动图像。所述特征提取部分可以在每个预定部分按时间序列提取在图像存储部分中存储的每个运动图像的特征量。图像选择部分可以基于在该部分中提取的特征量，选择每个部分中的至少一个运动图像分段，其中存储在图像存储部分中的几个或全部的运动图像相对于拍摄时间重叠。摘要图像产生部分可以基于选择的运动图像分段产生摘要图像。因此该实施例具有如下效果：基于在该部分提取的特征量，选择每个部分中的至少一个运动图像分段，其中几个或全部的运动图像相对于拍摄时间重叠，并且基于选择的运动图像分段产生摘要图像。

在本实施例中，所述装置还可以包括：重叠拍摄部分提取部分，用于基于所述时间信息提取每个重叠拍摄部分，该重叠拍摄部分用作这样的部分，其中存储在图像存储部分中的至少一个运动图像相对于拍摄时间与另一个运动图像重叠。特征提取部分可以提取包括在提取的重叠拍摄部分中的各个运动图像的特征量。图像选择部分可以选择部分分段中的运动图像分段，其中提取的重叠拍摄部分的该运动图像相对于拍摄时间重叠。因此该实施例具有如下效果：提取重叠拍摄部分，其中至少一个运动图像相对于拍摄时间与另一个运动图像重叠，并且选择部分分段中的运动图像分段，其中提取的重叠拍摄部分的运动图像相对于拍摄时间重叠。在此情形中，  该重叠拍摄部分可以是这样的部分，其包括存储在图像存储部分中的至少一个运动图像，该至少一个运动图像相对于拍摄时间与另一个运动图像重叠，并且包括预定数目或更多的运动图像。因此该实施例具有如下效果：选择包括预定数目或更多的运动图像的部分分段中的运动图像分段，其中运动图像相对于拍摄时间重叠。

在本实施例中，图像选择部分可以在其中存储在图像存储部分中的运动图像相对于拍摄时间不重叠的每个部分中，选择与另一个运动图像相对于拍摄时间不重叠的运动图像分段。摘要图像产生部分可以通过按时间序列排列选择的运动图像分段产生摘要图像。因此该实施例具有如下效果：在其中运动图像相对于拍摄时间不重叠的每个部分中，选择与另一个运动图像相对于拍摄时间不重叠的运动图像分段，并且，按时间序列排列在其中运动图像相对于拍摄时间重叠的部分中选择的运动图像分段，和在其每个中选择的运动图像分段相对于拍摄时间不与另一个运动图像重叠的部分中选择的运动图像分段，以产生摘要图像。

在本实施例中，所述装置还可包括如下的元件。摘要分数计算部分在每个预定部分计算每个运动图像的摘要分数，所述摘要分数通过加权和相加提取的特征量获得。阈值保持部分保持预定的阈值。摘要分区提取部分提取与所计算的摘要分数中在所述阈值或之上的每个摘要分数相对应的摘要分段。图像选择部分可以比较在提取的摘要分段中的所计算的摘要分数，以选择具有最高摘要分数的运动图像分段。因此该实施例具有如下效果：提取与所述阈值或之上的每个摘要分数相对应的摘要分段，并且比较在提取的摘要分段中的摘要分数，以选择具有最高摘要分数的运动图像分段。

按照本发明的第二实施例，一种图像处理装置包括如下元件。图像输入部分输入与时间信息有关的多个图像。特征提取部分提取每个输入图像的特征量。图像选择部分基于与包括在重叠部分集中的各个图像相关联的特征量，选择几个或全部的输入图像中的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部的图像的重叠部分。摘要图像产生部分基于选择的图像产生输入图像的摘要图像。因此该实施例具有如下效果：基于与包括在重叠部分集中的各个图像相关联的特征量，选择在相对于拍摄时间重叠的几个或全部的输入图像的每个重叠部分集中包括的至少一个图像，并且基于选择的图像产生所述图像的摘要图像。

按照本发明的第三实施例，提供了一种用于图像处理部分的图像处理的方法，该图像处理装置包括：图像存储部分，用于存储多个与时间信息有关的多个图像；特征提取部分、图像选择部分和摘要图像产生部分。所述方法包括步骤：提取在图像存储部分中存储的每个图像的特征量；基于与包括在重叠部分集中的各个图像相关联的特征量，选择存储在图像存储部分中的几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部的图像的重叠部分；以及基于选择的图像产生在图像存储部分中存储的图像的摘要图像。

按照本发明的第四实施例，提供了一种程序，其允许计算机执行如上所述方法。

本发明的实施例具有的优点在于，通过由多个成像设备拍摄相同的场景获得的图像可以被有效观看。

发明内容

图1是显示图像处理装置100的功能性结构的框图；

图2示意性地显示了通过拍摄婚礼招待会获得的运动图像文件310、320和330中包括的图像；

图3是显示按时间序列安排的3个运动图像集410、420和430的图；

图4显示从运动图像500提取的特征量和基于特征量计算的摘要分数的例子；

图5图示了包括在拍摄部分450中的运动图像411、421和431至434；

图6显示拍摄部分450中的各个运动图像的摘要分数以及基于摘要分数产生的摘要图像480；

图7是图像处理装置100的摘要图像产生过程的流程图；

图8是显示图像处理系统600的结构的图；

图9是显示图像处理系统601的结构的图；

图10是显示图像处理系统602的结构的图；

图11是显示图像处理装置700的功能结构的框图；以及

图12显示从运动图像500提取的特征量、摘要分数和运动图像500的提取部分分段的例子。

具体实施方式

本发明的实施例将参照附图详细描述。

图1是图示按照本发明的实施例的图像处理装置100的功能性结构的框图。图像处理装置100包括：捕获图像存储单元110、拍摄部分提取单元120、特征提取单元130、摘要分数(digest-score)计算单元140、摘要图像选择单元150、摘要图像产生单元160、摘要图像存储单元170、显示控制单元180、操作接收单元190和显示单元200。图像处理装置100可以由例如具有编辑运动图像内容的功能的个人计算机实现。

捕获图像存储单元110存储运动图像内容，例如，通过数字视频相机捕获的运动图像。在捕获图像存储单元110中存储的运动图像内容与通过拍摄获得的内容的拍摄时间有关。在捕获图像存储单元110中存储的运动图像内容包含至少一个运动图像，该至少一个运动图像通过经由数字视频相机拍摄获得，并且被输入到图像处理装置100。在本发明的本实施例中，假设多个运动图像在捕获图像存储单元110中记录为内容的块(下文称作为内容块)。在下面的描述中，基于重要场景由多个人同时拍摄的经验性规则，由多个人同时拍摄的场景将被定义为“令人激动的场景”。此外，从在运动图像的令人激动的场景之间的重叠选择的每个场景被定义为“重要(highlight)场景”。

拍摄部分提取单元120基于与存储在捕获图像存储单元110中的各个运动图像内容块有关的拍摄时间提取拍摄部分，其中多个拍摄在相同的时间段执行。拍摄部分提取单元120输出提取的拍摄部分到特征提取单元130。拍摄部分提取单元120可以在如下条件下提取拍摄部分：预定数目的运动图像内容块被包括在其中在相同的时间段执行多个拍摄的拍摄部分中。提取的拍摄部分对应于令人激动的场景。因此，令人激动的场景从多个运动图像内容块被提取，使得提取的令人激动的场景可以以令人激动的场景为单元按时间序列排列。至于令人激动的场景，例如，婚礼切蛋糕场景和朋友的娱乐场景可以在婚礼招待会被拍摄。在运动会中，接力比赛场景和舞蹈场景可被拍摄。随后将参照图3详细描述令人激动的场景的提取。

特征提取单元130对存储在捕获图像存储单元110中的运动图像内容块中的、包括在由拍摄部分提取单元120提取的拍摄部分中的运动图像内容块执行各种图像分析过程，以在每预定部分(例如，每秒)提取每个运动图像内容块的特征的量(以后称作为“特征量”)。特征提取单元130将提取的特征量输出到摘要分数计算单元140。那些令人激动的场景或特征量可以在例如当运动图像内容块被记录在捕获图像存储单元110时的任何时候被提取。或者，令人激动的场景或特征量可以按照由用户给出的摘要图像产生指令被提取。特征量的提取将随后参照图4的部分A至E详细描述。

摘要分数计算单元140在每预定部分计算每个运动图像内容块的摘要分数，所述摘要分数通过用预定的权重乘以由特征提取单元130提取的每个特征量并且相加所得值获得。摘要分数计算单元140将获得的各个运动图像内容块的摘要分数输出到摘要图像选择单元150。摘要分数的计算将随后参照图4的部分F详细描述。

摘要图像选择单元150按时间序列比较由拍摄部分提取单元120提取的拍摄部分中所包括的各个运动图像内容块的、由摘要分数计算单元140计算的摘要分数，以选择该拍摄部分中具有最高摘要分数的运动图像内容块。摘要图像选择单元150将与选择的运动图像内容块的分段有关的地址信息(指示捕获图像存储单元110中的记录位置)输出给摘要图像产生单元160。任何的运动图像内容块的选择将随后参照图6详细描述。

摘要图像产生单元160基于从摘要图像选择单元150输出的地址信息，从捕获图像存储单元110读取由摘要图像选择单元150选择的运动图像内容块的分段(以后称作为“运动图像内容分段”)。摘要图像选择单元150按时间序列排列各个读出的运动图像内容分段，以产生摘要图像。在此情形中，摘要图像是通过按时间序列排列由摘要图像选择单元150选择的运动图像内容分段获得的运动图像。摘要图像产生单元160输出产生的摘要图像给摘要图像存储单元170，并且允许摘要图像存储单元170存储该摘要图像。摘要图像的产生将随后参照图6详细描述。

摘要图像存储单元170存储由摘要图像产生单元160产生的摘要图像。摘要图像存储单元170响应从显示控制单元1 80提供的控制信号，将该摘要图像输出到显示控制单元180。

当操作接收单元190接收指示播放运动图像内容块的摘要图像的指令的操作输入时，显示控制单元180读出在摘要图像存储单元170中存储的摘要图像，并且允许显示单元200显示读出的摘要图像。

操作接收单元190包括各种操作键。当接收通过那些键中的任何的操作输入时，操作接收单元190将指示接收的操作输入的信息输出给显示控制单元180。例如，操作接收单元190包括用于播放摘要图像的指令的摘要播放按钮。摘要播放按钮和其他按钮可以被显示在显示单元200上，并且响应于由操作接收单元190接收的操作输入被按压。作为替代，至少一部分的操作接收单元190可以被并入显示单元200以实现触摸面板。

显示单元200按照从显示控制单元180提供的控制信号显示存储在摘要图像存储单元170中的摘要图像。显示单元200可以包括例如液晶显示器(LCD)。

在一个事件(例如，婚礼招待会)中通过多个成像设备获得的多个运动图像内容块的回放将随后参照图2详细描述。

图2示意性显示包括在通过拍摄婚礼招待会获得的运动图像文件310、320和330中的图像。参照图2，包括在运动图像文件310中的图像311至316、包括在运动图像文件320中的图像321至322和包括在运动图像文件330中的图像331和332沿着时间轴t1至t3排列。假设运动图像文件310、320和330分别由3个人，即A先生、B先生和C先生，通过拍摄婚礼招待会获得，并且每个运动图像文件包括婚礼切蛋糕场景。而且，假定图像312、313、321和322是同时捕获的运动图像的分段，而图像315、316、331和332是同时捕获的运动图像的分段。

图2的部分A显示通过由A先生拍摄获得的运动图像文件310，而且包括被包含在运动图像文件310中的图像311至316。图像311至316通过从相对远的位置、从前面拍摄新娘夫妇(或新娘和新郎)切分婚礼蛋糕获得。图2的部分B显示通过由B先生拍摄获得的运动图像文件320，而且包括被包含在运动图像文件320中的图像321和322。图像321和322通过从相对近的位置、从右侧拍摄新娘夫妇的婚礼切蛋糕场景的前半部分获得。图2的部分C显示通过由C先生拍摄获得的运动图像文件330，而且包括被包含在运动图像文件330中的图像331和332。图像331和332通过从基本对应于A先生和B先生的中点的位置、从左侧拍摄新娘夫妇的婚礼切蛋糕场景的后半部分获得。

如图2的部分A至C所示，在婚礼招待会中的如婚礼切蛋糕场景的令人激动的场景倾向于由多个人同时拍摄。为了观看包括相同的场景的时间上重叠的图像的多个运动图像文件，例如可以播放包括通过由A先生拍摄获得的图像311至316的运动图像文件310，可以播放包括通过由B先生拍摄获得的图像321和322的运动图像文件320，并且在此之后，可以播放包括通过由C先生拍摄获得的图像331和332的运动图像文件330。在运动图像文件310中，记录部分317包括通过以不同角度和距离拍摄与在运动图像文件320中的场景相同的场景获得的图像312和313。此外，记录部分318包括通过以不同角度和距离拍摄与在运动图像文件330中场景的相同场景获得的图像315和316。因此，当运动图像文件310、320和330如上所述顺序播放时，用户必须多次观看该用户已经观看过的场景。在此情形中，回放时间变长，因为运动图像文件310、320和330顺序播放。此外，由于该用户已经观看了相同场景，因此用户对运动图像文件320和330的兴趣可能减弱。

按照本发明的本实施例，为了观看通过由不同的人拍摄获得并且包括相同的场景的多个运动图像内容块，通过从不同的视点由各人拍摄获得的各个运动图像内容块的适当分段被组合并且播放所得图像。因此，回放时间可以被减少，并且该运动图像内容块可以播放同时可以保持观众的兴趣。

例如，对于图示在图2的部分A至C中的运动图像文件310、320和330，在运动图像文件320或运动图像文件330中所示的新娘和新郎比在运动图像文件310中的新娘和新郎更大。因此，例如，运动图像文件310、320和330的重叠记录部分集(或重叠部分集)被编辑，使得包括运动图像文件310的图像312和313的记录部分317用包括运动图像文件320的图像321和322的记录部分代替，并且其包括图像315和316的记录部分318用包括运动图像文件330的图像331和332的记录部分代替。因此，在播放包括运动图像文件310的图像311的记录部分之后，可以播放包括运动图像文件320的图像321和322的记录部分。因此，在播放包括运动图像文件310的图像314的记录部分之后，可以播放包括运动图像文件330的图像331和332的记录部分。通过播放如上所述的运动图像文件310、320和330，新娘和新郎在与运动图像文件320和330的记录部分相对应的拍摄部分中以更大形式被显示，而在其它的拍摄部分观看运动图像文件310的婚礼切蛋糕场景。因此，整个的婚礼切蛋糕场景可以按时间序列被快速地观看。此外，可以观看该场景的适合的运动图像内容分段。该运动图像文件的编辑将随后参照图3至6详细描述。

从多个运动图像内容块产生摘要图像的方法将随后参照附图详细描述。首先，将参照图3在下面详细描述从多个运动图像内容块提取对应于令人激动的场景的拍摄部分的方法。

图3原理性地显示了按时间序列安排的3个运动图像集410、420和430。在此情形中，运动图像集410、420和430通过由3个人以不同角度拍摄相同的场景获得。每个运动图像集410、420和430包括多个运动图像。具体地讲，运动图像集410包括通过拍摄事件一段时间获得的多个运动图像410和412。运动图像集420包括通过拍摄事件一段时间获得的多个运动图像421和422。运动图像集430包括通过拍摄事件一段时间获得的多个运动图像431至436。在图3中，那些运动图像411、412、421、422和431至436依据拍摄时间绘画。其中记录各个运动图像的记录部分用阴影指示。

参照图3，当存在通过由不同的人拍摄相同事件获得的运动图像411、412、421、422和431至436时，与令人激动的场景相对应的拍摄部分从那些运动图像提取。例如，与令人激动的场景相对应的拍摄部分可以基于由预定数目或更多的人在一段时间段捕获的运动图像的存在或不存在而提取。例如，多个运动图像相对于拍摄时间重叠的拍摄部分被提取，并且确定在拍摄部分中的运动图像的数目是否等于或大于N。当N或多于N的运动图像存在于拍摄部分中时，拍摄部分可以作为与令人激动的场景相对应的部分被提取。在此情形中，N是大于或等于2的整数。用户可以设置任何值为N。例如，当N被设置为相对高的值时，由许多人拍摄的场景的摘要图像可以被产生。另一方面，当N被设置为相对低的值时，对于摘要产生可覆盖由少数人拍摄的场景。在本实施例中，假定N＝2。

参照图3，运动图像411、421和431至434相对于相同的时间段的拍摄时间重叠，即，相对于拍摄时间重叠的两个或多个运动图像在该时间段存在。因此，包括那些运动图像的部分作为对应于令人激动的场景的拍摄部分450被提取。运动图像412、422、435和436相对于拍摄时间不重叠，因此，不从包括那些运动图像的部分提取令人激动的场景。

现在将参照图4详细描述用于从包括在与令人激动的场景对应的拍摄部分中的运动图像计算摘要分数的方法。

图4显示从运动图像500提取的特征量和基于特征量计算的摘要分数的例子。假定运动图像500包括在与令人激动的场景对应的拍摄部分中。

图4的部分A是显示指示包括在运动图像500中的脸的存在或不存在的特征量的图。图4的部分B是显示指示包括在运动图像500中的脸的数量的特征量的图。图4的部分C是显示指示包括在运动图像500中的特写脸的存在或不存在的特征量的图。图4的部分D是显示指示包括在运动图像500中的语音(对话)的存在或不存在的特征量的图。图4的部分E是显示指示包括在运动图像500中的笑声的存在或不存在的特征量的图。图4的部分A至E中的图的每个显示依据拍摄时间绘画的特征量。在下面的描述中，假定在那些图中提取的特征量指示为值“1”或“0”。提取的特征量可以具有“1”或“0”以外的连续值。

参照图4，在部分A中的特征量指示包括在运动图像内容分段中的脸的存在或不存在。例如，当运动图像内容分段包括脸时，值“1”记录为特征量。而当运动图像内容分段没有包括脸时，值“0”记录为特征量。

在部分B中的特征量指示包括在运动图像内容分段中的脸的数目。例如，当运动图像内容分段包括的脸的数目相对小时，值“1”记录为特征量。当运动图像内容分段包括的脸的数目相对大时，值“0”记录为特征量。

在部分C中的特征量指示包括在运动图像内容分段中的脸是否处于特写。例如，当包括在运动图像内容分段中的脸是处于特写(即，在屏幕上显示的脸相对大)时，值“1”记录为特征量。当包括在运动图像内容分段中的脸不处于特写时，值“0”记录为特征量。

在部分D中的特征量指示是否运动图像内容分段包括语音。例如，当运动图像内容分段包括语音(即，与运动图像内容分段有关的音频数据包含语音)时，值“1”记录为特征量。当运动图像内容分段不包括语音时，值“0”记录为特征量。

在部分E中的特征量指示是否运动图像内容分段包括笑声。例如，当运动图像内容分段包括笑声(即，与运动图像内容分段有关的音频数据包含笑声)时，值“1”记录为特征量。当运动图像内容分段不包括笑声时，值“0”记录为特征量。

如图4的部分A至E所示，为了提取运动图像的特征量，运动图像的音频数据和视频数据按时间序列被分析，并且特征量基于音频和视频数据集的分析按时间序列提取和记录。至于音频和视频数据集的分析，各种已知的分析方法可用，另一个提取特征量的方法可以被使用。

在本发明的本实施例中，“包括在运动图像中的脸的存在或不存在”、“其中包括的脸的数目”、“其中包括的特写脸的存在或不存在”、“其中包括的语音(对话)的存在或不存在”和“其中包括的笑声的存在或不存在”被用作从运动图像提取的特征量。另一个特征量可以从运动图像提取。例如，“场景变化”、“脸的位置”、“脸的朝向”、“相机工作(广角、倾斜或缩放)”、“音量”、“运动图像中的人”和“运动图像中的东西”可以被用作从运动图像提取的特征量。

图4的部分F是显示作为基于图4的部分A至E所示的各个特征量获得的值的摘要分数的图。图4的部分F中的图显示依据拍摄时间绘画的摘要分数。

摘要分数通过用图4的部分A至E的特征量乘以各个权重并且相加所得值获得。

例如，指示“包括在运动图像中的脸的存在或不存在”的特征量FS的权重被设置为“0.5”，指示“其中包括的脸的数目”的特征量FN的权重被设置为“1.0”，指示“其中包括的特写脸的存在或不存在”的特征量FZ的权重被设置为“2.0”，指示“其中包括的语音(对话)的存在或不存在”的特征量SP的权重被设置为“1.0”，而指示“其中包括的笑声的存在或不存在”的特征量SM的权重被设置为“3.0”。摘要分数DS可以使用下面的等式获得。

DS＝FS×0.5+FN×1.0+FZ×2.0+SP×1.0+SM×3.0

图4的部分F显示使用如上所述的等式计算的摘要分数的例子。在此情形中，用于摘要分数的计算的权重现在描述如下。每个权重是指示该相对应的特征量对令人激动的视频场景贡献有多大的因子。在此情形中，包括笑声的部分的权重被设置为“3.0”，而包括特写脸的部分的权重被设置为“2.0”。换句话说，这些权重被设置为高的值。该设置基于包括笑声的视频场景和包括处于特写的人的视频场景经常“令人感兴趣”或“令人激动”的经验规则。作为替代，包括下面的步骤(1)至(3)的统计学习方法获得的参数可以用作权重。

(1)用户在观看捕获的运动图像的同时手动标记期望是令人激动的场景。

(2)获得与由用户标记的每个场景相关联的每个特征量和标记位置之间的相关性。

(3)在各特征量中，与由用户标记的每个场景具有高相关的特征量被确定为用户深度关注并且对摘要图像贡献显著的特征量。该特征量的权重被设置为相对高的值。

这些权重可以通过来自的用户反馈更新。例如，对操作接收单元190提供“正号按钮”和“负号按钮”，使得用户被允许在回放由摘要图像产生单元160产生的摘要图像期间或之后，按压“正号按钮”或“负号按钮”。当用户按压任一按钮时，关于摘要图像的反馈可以从用户获得。例如，当用户在摘要图像的包括笑声的部分的回放期间按压“正号按钮”时，指示“包括在运动图像中的笑声的存在或不存在”的特征量的权重被设置为高的值。例如，当用户在摘要图像的包括许多脸的部分的回放期间按压“负号按钮”时，指示“包括在运动图像中的脸的数目”的特征量的权重被设置为低的值。如上所述，权重可以按照来自用户的反馈个性化。

而且，用户可以通过操作接收单元190输入各个权重值，以便按照用户的偏好设置所述权重。

图5显示包括在拍摄部分450中并且从如图3所示的运动图像集410、420和430提取的运动图像411、421和431至434。参照图5，每个运动图像的记录部分包括显示对运动图像计算的摘要分数。例如，在图5的部分A，图414显示对运动图像411计算的摘要分数。在图5的部分B，图424显示对运动图像421计算的摘要分数。在图5的部分C，图438至441分别显示对运动图像431至434计算的摘要分数。

如图5的部分A至C所示，摘要分数使用参照图4描述的计算方法，对拍摄部分450中的从运动图像集410、420和430提取的运动图像411、421和431至434计算。

图6显示示出对如图5所示的拍摄部分450中包括的运动图像集411、421、和431至434计算的摘要分数的图，并且进一步图示了基于摘要分数产生的摘要图像480。图6的部分A显示如图5的部分A至C所示的叠加图414、424和438至441。图6的部分B显示基于如图6的部分A所示的图414、424和438至441中的比较结果的摘要图像480。

参照图6的部分A，拍摄部分分段461、463至469和471中的每个中，多个图在相同的时间段叠加。换句话说，在拍摄部分分段461、463至469和471的每个中，多个运动图像在相同的时间段叠加。如上所述，在如拍摄部分450的拍摄部分中，其中多个运动图像重叠，被包括在每个拍摄部分分段中的各个运动图像的摘要分数被比较并且选择具有最高摘要分数的运动图像。

例如，拍摄部分分段461包括部分或整个的运动图像421和431(参照图3)。参照图6的部分A，与运动图像431有关的图438比与运动图像421有关的图424更高。因此与图438有关的图像的摘要分数比与图424有关的图像的摘要分数更高。因此，与图438有关的整个运动图像431被选择为拍摄部分分段461中的摘要图像分段。

类似地，在其中两个运动图像重叠的拍摄部分分段463中，与曲线424相关的运动图像421的部分被选择为摘要图像分段。在其中三个运动图像重叠的拍摄部分分段464中，与曲线439相关的运动图像432的全部被选择为摘要图像分段。在其中两个运动图像重叠的拍摄部分分段465中，与曲线414相关的运动图像411的部分被选择为摘要图像分段。在其中三个运动图像重叠的拍摄部分分段467中，与曲线414相关的运动图像411的部分被选择为摘要图像分段。在其中三个运动图像重叠的拍摄部分分段468中，与曲线424相关的运动图像421的部分被选择为摘要图像分段。在其中两个运动图像重叠的拍摄部分分段469中，与曲线424相关的运动图像421的部分被选择为摘要图像分段。在其中两个运动图像重叠的拍摄部分分段471中，与曲线424相关的运动图像421的部分被选择为摘要图像分段。

在多个运动图像之间没有重叠的拍摄部分分段462、470和472的每个中，包括在拍摄部分分段中的运动图像被选择为摘要图像分段。

通过比较如上所述的摘要分数编辑在拍摄部分450中选择的部分或全部运动图像，摘要图像480如图6的部分B所示产生。在图6的部分B中，在摘要图像480中的各个阴影部分对应于如图3所示的运动图像集410、420和430。如图6的部分B所示，当多个运动图像被记录在拍摄部分中时，任何运动图像的部分被用来产生摘要图像。

如上所述，由人以不同角度拍摄相同的场景获得的多个运动图像可以基于拍摄时间和特征量编辑并且播放。因此，用户可以播放用作由采样的好的部分获得的编辑图像的摘要图像，而不进行用于编辑由人以不同角度拍摄相同的场景获得的运动图像的复杂操作。

按照本发明的本实施例的图像处理装置100的操作现在参照图7描述。

图7是由图像处理装置100的摘要图像产生过程的流程图。

首先，存储在捕获图像存储单元110中的运动图像被输入(步骤S911)。该输入的运动图像是至少一个运动图像。

接着，确定是否存在相对于拍摄时间重叠的运动图像作为输入的运动图像。当不存在相对于拍摄时间重叠的运动图像时(在步骤S912否)，则该事实意味着没有遭受摘要图像产生过程的运动图像。因此，摘要图像产生过程终止。例如，对于如图3所示的运动图像集410、420和430，至少运动图像411、421和431至434相对于拍摄时间重叠。另一方面，运动图像412、422、435和436没有相对于拍摄时间重叠。

当存在相对于拍摄时间重叠的运动图像作为输入的运动图像时(在步骤S912，是)，确定N或者更多的运动图像存在于包括相对于拍摄时间重叠的运动图像的部分(步骤S913)。在此情形中，假设N＝2。例如，对于如图3所示的运动图像集410、420和430，两个或者更多的运动图像存在于包括相对于拍摄时间重叠的运动图像411、421和431至434的拍摄部分450中。当N或者更多的运动图像不存在于包括相对于拍摄时间重叠的运动图像411、421和431至434的所述部分时，该事实意味着没有遭受摘要图像产生过程的运动图像。因此，摘要图像产生过程终止。

当N或者更多的运动图像存在于包括相对于拍摄时间重叠的运动图像的部分中时(在步骤S913，是)，提取用作对应于令人激动的场景的拍摄部分的、所述部分中包括的运动图像(步骤S914)。例如，对于如图3所示的运动图像集410、420和430，提取运动图像411、421和431至434。

接着，从每个提取的运动图像提取特征量(步骤S915)。例如，按时间序列从每个运动图像提取特征量，如图4的部分A至E所示。之后，将提取的特征量加权并且相加，使得每个运动图像的摘要分数按时间序列计算(步骤S916)。例如，如图4的部分F所示，计算每个运动图像的摘要分数。

在拍摄时间的时间轴上比较各个运动图像的计算的摘要分数(步骤S917)。例如，如图6的部分A所示的，在拍摄时间的时间轴上比较如图5所示的对运动图像411、421和431至434所计算的摘要分数。

接着，基于在各个运动图像的摘要分数之间的比较结果，在与令人激动的场景相对应的拍摄部分的每个分段中，选择具有高摘要分数的运动图像分段(步骤S918)。例如，如图6的部分A所示，基于在摘要分数之间的比较结果，在拍摄部分450的分段461至472中选择具有最高摘要分数的运动图像分段。

之后，从捕获图像存储单元110读取选择的运动图像分段，并且沿着拍摄时间的时间轴排列读取的运动图像分段(步骤S919)。例如，如图6的部分A所示的，基于在拍摄部分450的各个分段461至472的比较结果选择的运动图像分段被组合为摘要图像480，如图6的部分B所示。

产生的摘要图像被存储在摘要图像存储单元170(步骤S920)。

包括按照如上所述的本发明的实施例的图像处理装置的图像处理系统现在参照图8详细描述。

图8图示了按照本发明的本实施例的图像处理系统600的结构。图像处理系统600包括图像处理装置610和成像设备620、630和640。

成像设备620、630和640是图像记录设备，如数字视频相机。成像设备620、630和640将捕获的运动图像分别存储到捕获图像存储单元621、631和641。

图像处理装置610通过部分修改按照本发明的前面的实施例的图像处理装置100获得。图像处理装置610包括用于与至少一个成像设备连接的多个连接端子(未示出)。运动图像从任何成像设备通过任何连接端子提供给捕获图像输入单元611。在此情形中，图像处理装置610通过如通用串行总线(USB)线缆的接口分别连接到成像设备620、630和640。至于所述接口，除了如USB线缆的有线线缆外，还可以使用如超宽带(UWB)的无线接口。

图像处理装置610是这样的图像再现装置，其能够读取通过接口分别连接到装置610的成像设备620、630和640的捕获图像存储单元621、631和641中存储的运动图像，并且在显示单元612上显示读取的运动图像，以便播放该运动图像。此外，图像处理装置610以与图像处理装置100类似的方式，产生从各个成像设备620、630和640读取的运动图像的摘要图像，并且在显示单元612显示产生的摘要图像。

图9显示按照本发明的另一个实施例的图像处理装置610的结构。图像处理系统601包括图像处理装置610和成像设备625、635和645。

成像设备625、635和645是图像记录设备，如数字视频相机。成像设备625、635和645分别将由各个成像单元626、636和646捕获的运动图像通过捕获图像传输单元627、637和647传输给图像处理装置610。本实施例针对这样的情形描述，其中捕获图像传输单元627、637和647通过无线传输运动图像到图像处理装置610。本实施例可以被应用于运动图像在有线电路上发送的情形。

图像处理装置610通过提供用于如图8所示的图像处理装置610的捕获图像接收单元613获得。图像处理装置610是这样的图像再现装置，其能够通过捕获图像接收单元613接收从成像设备625、635和645传输的运动图像，并且在显示单元612显示接收的运动图像，以便于播放该运动图像。此外，图像处理装置610存储从成像设备625、635和645传输的多个运动图像，以与图8的图像处理装置610相类似的方式产生那些运动图像的摘要图像，并且在显示单元612显示摘要图像。如上所述，本发明的本实施例可以被应用于这样的情形：其中没有给每个成像设备提供存储单元，并且该成像设备传输捕获的图像给图像处理装置。

图10图示按照本发明的另一个实施例的图像处理系统602的结构。图像处理系统602包括成像设备650、660和670。

成像设备650、660和670是图像记录装置，如数字视频相机，并且每个通过部分修改按照本发明的前述实施例的图像处理装置100获得。成像设备650、660和670通过无线以自组织方式彼此连接。换句话说，成像设备650、660和670的每个能够以与图8的图像处理装置610相类似的方式产生摘要图像并且显示摘要图像。本发明的实施例将针对这样一种情形描述，其中通过各个成像设备660和670的成像单元661和671捕获的运动图像通过捕获图像传输单元664和674传输给成像设备650。本实施例可以被应用于其它的成像设备彼此传输和接收图像的情形。

例如，成像设备650可以通过捕获图像接收单元653接收从成像设备660和670传输的运动图像，并且在显示单元652显示接收的运动图像，以便于播放所述运动图像。此外，成像设备650以与图8的图像处理装置610相类似的方式，存储从成像设备660和670传输的运动图像，产生运动图像的摘要图像，并且在显示单元652上显示摘要图像。本发明的本实施例可以被应用于这样的情形，其中通过无线自组织彼此连接的多个成像设备捕获的图像通过无线传输到一个成像设备。

如上所述，按照本发明的如上所述的实施例，拍摄部分提取单元120提取与所谓的令人激动的场景相对应的拍摄部分，摘要分数计算单元140计算包括在拍摄部分中的运动图像的摘要分数，摘要图像选择单元150比较摘要分数以选择最适合于观看的运动图像分段，并且摘要图像产生单元160编辑选择的运动图像分段。

因此，由多个用户同时捕获的大量运动图像可以被有效编辑和观看。当摘要图像首次被观看时，许多运动图像的整体可以被快速掌握。因此，摘要图像可以鼓励用户观看大量的运动图像。例如，关于婚礼招待会，通过取样由不同人拍摄婚礼招待会获得的运动图像的好的部分产生的摘要图像可以被观看。至于运动会，在各种视点捕获的接力比赛场景可以被容易地看到。

现在将参照图11描述本发明的前述实施例的修改。

图11是按照本发明的前述实施例的修改的图像处理装置700的功能性结构的框图。图像处理装置700包括：捕获图像存储单元110、拍摄部分提取单元120、特征提取单元130、摘要分数计算单元140、摘要图像选择单元150、摘要图像产生单元160、摘要图像存储单元170、显示控制单元180、操作接收单元190、显示单元200、阈值保持单元710和摘要分段提取单元720。在图像处理装置700中，除了摘要图像选择单元150、阈值保持单元710和摘要分段提取单元720外的组件与图像处理装置100中的那些相同。因此，对相同组件的描述将被忽略。

阈值保持单元710保持用于对基于运动图像的各个特征量计算的摘要分数进行阈值处理的阈值。例如，阈值保持单元710保持“4.0”的阈值。

摘要分段提取单元720从包括在由拍摄部分提取单元120提取的拍摄部分中的每个运动图像，提取对应于由阈值保持单元710保持的阈值或之上的摘要分数的部分分段(也被称作为摘要分段)。摘要分段提取单元720将提取的部分分段输出到摘要图像选择单元150。部分分段的提取将随后参照图12详细描述。

摘要图像选择单元150按时间序列，比较在由摘要分段提取单元720提取的部分分段中、通过摘要分数计算单元140计算的各个运动图像的摘要分数，因此提取每个部分分段中具有最高摘要分数的运动图像分段。

图12显示从运动图像500提取的特征量、基于特征量计算的摘要分数和基于摘要分数和阈值提取的运动图像500中的部分分段的例子。图12的部分A至E与图4的那些相同，因此这些部分的描述将被省略。

在图12的部分F中，曲线图显示基于在图12的部分A至E显示的特征量获得的摘要分数。该图与如图4的部分F所示的相同。在图12的部分F中，该图显示依据拍摄时间绘画的摘要分数。

在本发明的前述实施例中，摘要图像利用基于在由拍摄部分提取单元120提取的拍摄部分中包括的各个运动图像的特征量所计算的所有摘要分数产生。按照该修改，基于各个运动图像的特征量所计算的摘要分数经历阈值处理，并且在该阈值或之上的摘要分数被用来产生摘要图像。

如图12的部分F所示，摘要图像选择单元150在与由阈值保持单元710保持的阈值711或之上的摘要分数相对应的每个部分分段中，选择任何运动图像的部分或全部。

图12的部分G显示依据拍摄时间绘画的与阈值711或之上的摘要分数相对应的部分分段721至726。与阈值711或之上的摘要分数相对应的部分分段用阴影线表示。如上所述，在与阈值711或之上的摘要分数相对应的部分分段721至726中的每个中，按时间序列比较由摘要分数计算单元140所计算的各个运动图像的摘要分数。具有最高摘要分数的运动图像分段在每个部分分段被选择。

该修改已经参照固定值“4.0”被用作阈值的情形描述。阈值可以按照运动图像的摘要分数的分布调整。例如，阈值可以在每个部分分段中设置，使得排序在所计算的摘要分数中的头10％的摘要分数在每个部分分段被选择。或者，用户可以通过操作接收单元190按照用户的偏好输入阈值。

按照本发明的前述实施例的修改，适合于观看的运动图像分段使用由阈值保持单元710保持的阈值选择，因此产生包括更短的运动图像分段的摘要图像。因此，由用户同时捕获的大量运动图像可以被有效编辑，使得运动图像可以被更快速地观看。

已经参照运动图像描述了本发明的上述实施例和修改。本发明的实施例可以被应用于连续捕获的图像，如相片。此外，典型的缩略图像可以从构成产生的摘要图像的各个分段中的运动图像分段(例如，在图6的拍摄部分分段461至472)提取。典型的缩略图像可以在摘要图像的回放之前按时间序列显示。

本发明的实施例已经相对于图像处理装置描述。本发明的实施例可以被应用于如便携式终端的图像显示装置和如数字静态照相机的成像设备，它们能够输入多个图像并且显示输入的图像。

本发明的实施例是体现本发明的例子。尽管在权利要求书的特征和本发明的每个实施例的具体元件之间存在对应，但是如随后描述的，本发明不限于实施例。本领域技术人员应该理解到，各种修改、组合和子组合和更改可以取决于设计要求和其它因素发生，只要它们落入权利要求书或其等价物的范围内。

图像处理装置100、图像处理装置610或图像处理装置700对应于例如按照本发明的第一或第二实施例的图像处理装置。

捕获图像存储单元110对应于例如按照本发明的第一实施例的图像存储部分。

特征提取单元130对应于例如按照本发明的第一或第二实施例的特征提取部分。摘要图像选择单元150对应于例如按照本发明的第一或第二实施例的图像选择部分。摘要图像产生单元160对应于例如按照本发明的第一或第二实施例的摘要图像产生部分。

摘要分数计算单元140对应于例如按照本发明的第一实施例的摘要分数计算部分。

拍摄部分提取单元120对应于例如按照本发明的第一实施例的重叠拍摄部分提取部分。

阈值保持单元710对应于例如按照本发明的第一实施例的阈值保持部分。摘要分段提取单元720对应于例如按照本发明的第一实施例的摘要分段提取部分。

捕获图像输入单元611对应于例如按照本发明的第二实施例的图像输入部分。

步骤S915对应于例如按照本发明的第三或第四实施例的特征提取步骤。步骤S918对应于例如按照本发明的第三或第四实施例的图像选择步骤。步骤S919对应于例如按照本发明的第三或第四实施例的摘要图像产生步骤。

在本发明的前述实施例中描述的处理步骤可以被认为包括那些处理步骤的方法、允许计算机执行那些处理步骤的程序或存储该程序的记录介质。

相关申请的交叉引用

本发明包含涉及于2007年6月15日向日本专利局提交的日本专利申请JP2007-159468的主题，其整个内容通过引用在此并入。

Claims (13)

1.一种图像处理装置，包括：

图像存储装置，用于存储与时间信息有关的多个图像；

特征提取装置，用于提取在图像存储装置中存储的每个图像的特征量；

图像选择装置，用于基于与重叠部分集中包括的各个图像相关联的特征量，选择存储在图像存储装置中的、几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部图像的重叠部分；以及

摘要图像产生装置，用于基于选择的图像产生在图像存储装置中存储的图像的摘要图像。

2.如权利要求1所述的装置，还包括：

摘要分数计算装置，用于计算每个图像的摘要分数，所述摘要分数通过加权和相加提取的特征量获得，其中

图像选择装置比较重叠部分集中包括的各个图像的所计算的摘要分数，以选择具有最高摘要分数的一个图像。

3.如权利要求1所述的装置，其中摘要图像产生装置通过按时间序列排列选择的图像产生摘要图像。

4.如权利要求1所述的装置，其中

存储在图像存储装置中的图像是按时间序列捕获的运动图像，

所述特征提取装置在每个预定部分按时间序列提取在图像存储装置中存储的每个运动图像的特征量，

图像选择装置，基于在每个部分提取的特征量，选择该部分中的至少一个运动图像分段，其中存储在图像存储装置的几个或全部运动图像相对于拍摄时间重叠，以及

摘要图像产生装置，基于选择的运动图像分段产生摘要图像。

5.如权利要求4所述的装置，还包括：

重叠拍摄部分提取装置，用于基于所述时间信息，提取每个重叠拍摄部分，该重叠拍摄部分用作这样的部分，其中存储在图像存储装置中的至少一个运动图像相对于拍摄时间与另一个运动图像重叠，其中

特征提取装置提取包括在提取的重叠拍摄部分中的各个运动图像的特征量，以及

图像选择装置选择部分分段中的运动图像分段，其中提取的重叠拍摄部分的该运动图像相对于拍摄时间重叠。

6.如权利要求5所述的装置，其中重叠拍摄部分是这样的部分，该部分包括存储在图像存储装置中的、相对于拍摄时间与另一个运动图像重叠的至少一个运动图像，并且包括预定数目或更多的运动图像。

7.如权利要求4所述的装置，其中

图像选择装置在其中存储在图像存储装置中的运动图像相对于拍摄时间不重叠的每个部分中，选择与另一个运动图像相对于拍摄时间不重叠的运动图像分段；以及

摘要图像产生装置通过按时间序列排列选择的运动图像分段产生摘要图像。

8.如权利要求4所述的装置，还包括：

摘要分数计算装置，用于在每个运动图像的每个预定部分计算每个运动图像的摘要分数，所述摘要分数通过加权和相加提取的特征量获得；

阈值保持装置，用于保持预定的阈值；以及

摘要分段提取装置，用于提取与所计算的摘要分数中在所述阈值或之上的每个摘要分数相对应的摘要分段，其中

图像选择装置比较在提取的摘要分段中的所计算的摘要分数，以选择具有最高摘要分数的运动图像分段。

9.一种图像处理装置，包括：

图像输入装置，用于输入与时间信息有关的多个图像；

特征提取装置，用于提取每个输入图像的特征量；

图像选择装置，用于基于与重叠部分集中包括的各个图像相关联的特征量，选择几个或全部输入图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部的图像的重叠部分；以及

摘要图像产生装置，用于基于选择的图像产生输入图像的摘要图像。

10.一种用于图像处理装置的图像处理方法，该图像处理装置包括用于存储与时间信息有关的多个图像的图像存储装置、特征提取装置、图像选择装置和摘要图像产生装置，所述方法包括步骤：

提取在图像存储装置中存储的每个图像的特征量；

基于与重叠部分集中包括的各个图像相关联的特征量，选择存储在图像存储装置的几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部图像的重叠部分；以及

基于选择的图像产生在图像存储装置中存储的图像的摘要图像。

11.一种程序，其允许计算机执行用于图像处理装置的图像处理方法，该图像处理装置包括用于存储与时间信息有关的多个图像的图像存储装置、特征提取装置、图像选择装置和摘要图像产生装置，所述方法包括步骤：

提取在图像存储装置中存储的每个图像的特征量；

基于与重叠部分集中包括的各个图像相关联的特征量，选择存储在图像存储装置中的几个或全部图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部图像的重叠部分；以及

基于选择的图像产生在图像存储装置中存储的图像的摘要图像。

12.一种图像处理装置，包括：

图像存储部分，用于存储与时间信息有关的多个图像；

特征提取部分，用于提取在图像存储部分中存储的每个图像的特征量；

图像选择部分，用于基于与重叠部分集中包括的各个图像相关联的特征量，选择存储在图像存储部分中的、几个或全部图像的每个重叠部分集中包括的至少一个图像；所述重叠部分集包括相对于拍摄时间重叠的几个或全部的图像的重叠部分；以及

摘要图像产生部分，用于基于选择的图像产生在图像存储部分中存储的图像的摘要图像。

13.一种图像处理装置，包括：

图像输入部分，用于输入与时间信息有关的多个图像；

特征提取部分，用于提取每个输入图像的特征量；

图像选择部分，用于基于与重叠部分集中包括的各个图像相关联的特征量，选择几个或全部输入图像的每个重叠部分集中包括的至少一个图像，所述重叠部分集包括相对于拍摄时间重叠的几个或全部图像的重叠部分；以及

摘要图像产生部分，用于基于选择的图像产生输入图像的摘要图像。

Images