CN106127796B - 图像处理装置和图像处理方法 - Google Patents

Abstract

图像处理装置包括：图像列取得部(200)，其取得具有多个图像的图像列；以及处理部(100)，其进行删除所取得的图像列的多个图像的一部分而取得精简图像列的图像精简处理，处理部(100)从多个图像中选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率，根据覆盖率判定可否删除判定对象图像。

Description

图像处理装置和图像处理方法

本申请是申请号为201380012887.X的发明专利申请(申请日：2013年03月07日，发明名称：图像处理装置和图像处理方法)的分案申请。

技术领域

本发明涉及图像处理装置和图像处理方法等。

背景技术

在根据给定的时间间隔以时间序列的方式持续对静态图像进行摄像的情况下、在通过多个图像网罗具有空间宽度的被摄体的情况下、或者在对动态图像进行摄像后取得构成该动态图像的各图像作为静态图像的情况下等，取得时间或空间上连续的非常大量的图像(以下也记载为图像列)。在这种情况下，图像列中靠近(即时间或空间上靠近)的图像彼此是相似图像的可能性较高，在掌握所摄像的内容时，不需要检查大量的全部图像。图像张数为数万张以上的情况也不稀奇，用户手动检查全部图像本身的负担很大。

因此，需要通过从图像列中删除一部分图像，精简为张数比原来的图像列的张数少的图像列(以下将该处理记载为图像精简处理)。例如在专利文献1中公开了如下的图像精简处理方法：通过提取图像列中的场景变化的接缝的图像或代表图像列的图像，保留容易掌握图像列的内容的图像。

现有技术文献

专利文献

专利文献1：日本特开2009-5020号公报

专利文献2：日本特开2011-24763号公报

专利文献3：日本特开2007-257287号公报

发明内容

发明要解决的课题

例如在医学领域中应用图像精简技术的情况下，从避免疾患的漏看的观点来看，需要抑制由于删除图像而无法观察的区域的产生。

但是，如专利文献1的方法那样，当仅保留场景变化的接缝的图像、或以是否容易直观观察精简后的图像列的观点进行图像精简时，可能产生由于删除图像而无法观察的区域，并不理想。并且，由于无法观察的区域的产生程度依赖于图像的内容，所以，在现有的图像精简处理的方法中，很难控制疾患的漏看等的程度。

根据本发明的若干个方式，能够提供如下的图像处理装置、程序和图像处理方法等：在通过删除一部分图像来进行图像精简处理的情况下，也能够抑制由于删除图像而无法观察的区域的产生，并且能够控制产生程度。

用于解决课题的手段

本发明的一个方式涉及一种图像处理装置，该图像处理装置包括：图像列取得部，其取得具有多个图像的图像列；以及处理部，其进行删除所述图像列取得部所取得的所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理，所述处理部从所述多个图像中选择基准图像和判定对象图像，根据所述基准图像与所述判定对象图像之间的变形信息，计算所述基准图像对所述判定对象图像的覆盖率，根据所述覆盖率判定可否删除所述判定对象图像。

在本发明的一个方式中，从所取得的图像列中选择基准图像和判定对象图像，根据选择出的基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率，判定可否删除判定对象图像。由此，能够根据判定对象图像被基准图像(狭义地讲为精简图像列中保留的图像)以何种程度覆盖来判定可否删除，所以，能够抑制产生由于删除图像而无法观察的区域等。

本发明的另一个方式涉及一种图像处理装置，该图像处理装置包括：图像列取得部，其取得具有多个图像的图像列；以及处理部，其进行删除所述图像列取得部所取得的所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理，所述处理部从所述多个图像中选择所述图像精简处理的基准图像和判定对象图像，在所述判定对象图像上设定观察区域，并且，根据所述基准图像与所述判定对象图像之间的变形信息求出对应区域，该对应区域是与所述观察区域对应的所述基准图像上的区域，根据从所述对应区域中求出的第1特征量和从所述观察区域中求出的第2特征量中的至少一方判定可否删除所述判定对象图像。

在本发明的另一个方式中，在判定对象图像上设定观察区域，并且，根据变形信息在基准图像上设定与观察区域对应的对应区域，根据观察区域和对应区域的特征量中的至少一方判定可否删除判定对象图像。由此，在对应区域不适于观察的情况下，通过将包含观察区域的判定对象图像包含在精简图像列中等的处理，能够抑制产生不适于观察的区域等。

本发明的另一个方式涉及使计算机作为上述各部发挥功能的程序。

本发明的另一个方式涉及一种图像处理方法，取得具有多个图像的图像列，从所述图像列的所述多个图像中选择基准图像和判定对象图像，根据所述基准图像与所述判定对象图像之间的变形信息，计算所述基准图像对所述判定对象图像的覆盖率，根据所述覆盖率判定可否删除所述判定对象图像，根据所述删除可否的判定结果，进行删除所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理。

本发明的另一个方式涉及一种图像处理方法，取得具有多个图像的图像列，从所述图像列的所述多个图像中选择基准图像和判定对象图像，在所述判定对象图像上设定观察区域，并且，根据所述基准图像与所述判定对象图像之间的变形信息求出对应区域，该对应区域是与所述观察区域对应的所述基准图像上的区域，根据从所述对应区域中求出的第1特征量和从所述观察区域中求出的第2特征量中的至少一方判定可否删除所述判定对象图像，根据所述可否删除的判定结果，进行删除所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理。

附图说明

图1是第1实施方式的图像处理装置的系统结构例。

图2是用于说明第1实施方式的处理的流程图。

图3是说明使用了覆盖区域的覆盖率计算处理的图。

图4(A)～图4(D)是说明第1实施方式的图像精简处理的图。

图5是说明使用了多个点的覆盖率计算处理的图。

图6是用于说明使用了多个点的覆盖率计算处理的流程图。

图7是说明选择多个基准图像的变形例的图。

图8是说明根据多个基准图像求出覆盖区域的处理的图。

图9(A)、图9(B)是说明选择多个基准图像的变形例的图。

图10是说明使用了加权的覆盖率计算处理的图。

图11是第2实施方式的图像处理装置的系统结构例。

图12是用于说明第2实施方式的处理的流程图。

图13(A)、图13(B)是说明第2实施方式的图像精简处理的图。

图14(A)～图14(D)是说明第2实施方式中的最初的基准图像的选择方法的一例的图。

图15是第3实施方式的图像处理装置的系统结构例。

图16是用于说明第3实施方式的处理的流程图。

图17是用于说明第3实施方式的处理的另一个流程图。

图18(A)、图18(B)是说明第3实施方式的图像精简处理的图。

图19是本实施方式的图像精简处理的系统结构例。

图20(A)～图20(G)是说明第2实施方式的变形例的图。

图21是用于说明第2实施方式的变形例的处理的流程图。

图22是第4实施方式的图像处理装置的结构例。

图23是说明第4实施方式的图像精简处理的流程图。

图24是说明观察区域和对应区域的设定方法的图。

图25是使用明度信息作为特征量的例子。

图26是使用尺寸信息作为特征量的例子。

图27是使用与给定的形状的相似度作为特征量的例子。

图28是第5实施方式的图像处理装置的结构例。

图29是说明第5实施方式的图像精简处理的流程图。

图30是说明精简候选图像列生成处理的图。

图31是第6实施方式的图像处理装置的结构例。

图32(A)、图32(B)是说明场景变换与部分图像列的关系的图。

图33是可否删除判定部的结构例。

图34是说明第6实施方式的图像精简处理的流程图。

图35(A)、图35(B)是说明图像列中的选择图像的位置与检测到的场景变换的位置的关系的图。

图36是作为纹理信息的计算对象的区域的设定例。

图37(A)、图37(B)是说明由于变形信息的精度差异而导致的覆盖区域的形状差异的图。

图38是精度信息的计算方法的例子。

图39是说明图像列中的第1、第2图像的位置与检测到的场景变换的位置的关系的图。

具体实施方式

下面，对本实施方式进行说明。另外，以下说明的本实施方式并不是不当地限定权利要求范围所记载的本发明的内容。并且，本实施方式中说明的全部结构不一定是本发明的必须结构要件。

1.本实施方式的方法

首先，对本实施方式的方法进行说明。在取得由时间或空间上连续的大量图像构成的图像列的情况下，在用户使用该图像列进行某些处理(例如如果是内窥镜图像列，则进行诊断等医疗行为)时，优选进行图像精简处理。这是因为，图像列中包含的图像的张数非常多，用户观看全部图像后进行判断需要很大劳力。并且，在图像列所包含的图像中存在彼此相似的图像的可能性很高，即使检查全部这种相似的图像，可取得的信息量也有限，与劳力不相称。

作为具体例，考虑使用胶囊内窥镜进行摄像而得到的图像列。胶囊内窥镜是内置有小型照相机的胶囊形状的内窥镜，以给定的时间间隔(例如1秒2次等)对图像进行摄像。胶囊内窥镜从内服到排出需要几个小时(根据情况而需要十几个小时)，所以，在1个用户的1次检查中取得几万张摄像图像。并且，胶囊内窥镜在活体内移动时，由于受到该活体的运动的影响等而停留在相同场所或向相反方向返回。因此，在大量图像中存在对与其他图像相同的被摄体进行摄像、在病变发现等中有用性不高的多个图像。

在现有的图像精简处理中，提取了场景变化的接缝的图像、代表图像列的图像。但是，在这种方法中，在删除图像时，没有特别考虑作为该删除对象的图像中摄像的被摄体和保留图像中摄像的被摄体的关系。因此，可能导致在精简后的图像列所包含的任意图像上均未对精简前的图像列所包含的图像上摄像的被摄体进行摄像。并且，通过图像精简处理而以何种程度产生图像列的任意图像中均未包含的被摄体的程度依赖于作为处理对象的图像列，所以，在现有方法中很难控制该程度。

特别是在医疗领域中的图像精简处理中并不理想。在医疗领域中，从其目的来看，必须极力抑制应该关注的区域(例如病变部)的漏看。因此，优选对活体内的尽可能宽的范围进行摄像，在图像精简处理中，应该抑制产生由于删除给定的图像而无法观察的被摄体范围。

因此，本申请人提出了使用图像间的变形信息的方法。作为使用变形信息的方法，考虑根据基准图像(保留图像、根据实施方式而成为保留候选的图像)和判定对象图像(判定是否删除的对象图像)的覆盖率进行图像精简处理的方法。具体而言，如图3所示，通过对基准图像进行变形，在判定对象图像上计算覆盖区域。在基准图像中摄像的被摄体和在判定对象图像的覆盖区域上摄像的被摄体相对应。即，判定对象图像中的覆盖区域外的范围是在删除了该判定对象图像的情况下、即使保留基准图像也无法覆盖的区域。

由此，计算覆盖区域在判定对象图像中占据的比例等作为覆盖率，根据计算出的覆盖率判定是否删除判定对象图像，由此，对无法观察的被摄体范围的产生程度进行控制。例如，在覆盖率为阈值以上时删除判定对象图像、在覆盖率小于阈值时不删除判定对象图像即可，能够根据阈值的设定，对无法覆盖的区域的产生程度进行控制。如果增大阈值，则能够降低无法覆盖的区域的产生程度，所以，病变的漏看等的抑制效果提高。并且，如果减小阈值，则虽然容易产生无法覆盖的区域，但是，能够减少精简后的图像列中包含的图像的张数，能够减轻此后的用户负担等。

作为这里的图像处理装置的1个实施方式，如图19所示，考虑包括处理部100和图像列取得部200。图像列取得部200取得具有多个图像的图像列。而且，处理部100进行删除图像列取得部200取得的图像列所具有的多个图像的一部分并取得精简图像列的图像精简处理。具体而言，处理部100从多个图像中选择基准图像和判定对象图像，根据选择出的基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率。然后，根据计算出的覆盖率判定可否删除判定对象图像。

由此，能够根据覆盖率进行图像精简处理。另外，可以在通过可否删除的判定而判定为能够删除判定对象图像的情况下，确定删除该判定对象图像(第1、第2实施方式)，也可以在取得将其他图像作为判定对象图像的情况下的可否删除的判定结果之前，不确定删除(第3实施方式)。

下面，在第1实施方式中，说明以序列顺序进行对基准图像的后方的图像保证覆盖率的图像精简处理的方法。并且，作为变形例，还说明不利用覆盖区域而利用多个点计算覆盖率的方法、使用多个基准图像计算覆盖率的方法、在求出覆盖率时使用与图像上位置对应的加权的方法、以及根据相邻图像间的变形信息求出期望的变形信息的方法。另外，第1实施方式中说明的变形例也可以应用于第2、第3实施方式。

在第2实施方式中，说明根据在判定对象图像的前方和后方设定的基准图像以序列顺序进行对前方后方的图像保证覆盖率的图像精简处理的方法。并且，在第3实施方式中，说明在图像列的端点以外设定基准图像并判定是否删除该基准图像的前方部分图像列和后方部分图像列的方法。

但是，仅通过基于覆盖率的可否删除的判定，即使在保留图像中摄像有被删除图像中摄像的被摄体区域，也无法考虑保留图像上的该被摄体区域的观察难易度。例如，如图26所示，考虑在基准图像上的非常狭小的区域中摄像有判定对象图像上的给定的区域中摄像的被摄体的情况。在图26的例子中，如果以覆盖率这样的观点进行考虑，则由于在基准图像上对该被摄体进行了摄像，所以，判定为即使删除判定对象图像也不会漏看该被摄体，能够删除判定对象图像。但是，根据图26可知，在基准图像上，被摄体的尺寸非常小，所以，根据基准图像的像素数(分辨率)，基本上不适于观察。这是因为，考虑到如果被摄体的尺寸较小则存在漏看该被摄体自身的危险性，即使没有漏看，在需要被摄体的详细观察的情况下(例如如果被摄体为病变部则诊断该被摄体是否真的是病变部；或者在是病变部的情况下诊断发展情况是何种程度的情况等)，也无法进行充分的观察。

因此，作为使用了变形信息的其他方法，本申请人提出了如下方法：选择基准图像和判定对象图像，根据判定对象图像上的观察区域的特征量和与观察区域对应的基准图像上的区域即对应区域的特征量，判定可否删除判定对象图像。此时，根据基准图像与判定对象图像之间的变形信息，通过对观察区域进行变形而求出对应区域。即，观察区域中摄像的被摄体区域和对应区域中摄像的被摄体区域相对应(狭义地讲为一致)。

由此，例如，如果使用该区域的尺寸信息(面积等)作为特征量，则如图26所示，能够检测到对应区域的尺寸小于观察区域，所以，能够应对上述课题。具体而言，在基准图像上，被摄体压迫在狭小范围(与对应区域对应的范围)中而不适于观察，所以，判定为不能删除判定对象图像而将其保留在精简图像列中，在判定对象图像上的宽范围(与观察区域对应的范围)内对上述被摄体进行了摄像的状态下进行观察即可。

作为这里的图像处理装置的1个实施方式，如图19所示，考虑包括处理部100和图像列取得部200。图像列取得部200取得具有多个图像的图像列。而且，处理部100进行删除图像列取得部200取得的图像列所具有的多个图像的一部分并取得精简图像列的图像精简处理。具体而言，处理部100从多个图像中选择图像精简处理的基准图像和判定对象图像，在判定对象图像上设定观察区域，并且，根据基准图像与判定对象图像之间的变形信息求出与观察区域对应的基准图像上的区域即对应区域，根据从对应区域中求出的第1特征量和从观察区域中求出的第2特征量中的至少一方，判定可否删除判定对象图像。

下面，在第4实施方式中，说明根据观察区域和对应区域的特征量进行可否删除的判定的图像精简处理的基本方法。并且，在将基于观察区域和对应区域的特征量的可否删除的判定作为第1可否删除判定处理的情况下，也可以通过组合该第1可否删除判定处理和与其不同的第2可否删除判定处理(例如使用了上述覆盖率的处理)，来进行图像精简处理。具体方法在第5实施方式中进行说明。

并且，还能够进行考虑了使用变形信息的处理的高速化和精度提高的变形实施。例如，可以从作为处理对象的图像列全体中选择基准图像和判定对象图像，但是，这样有时并不高效。具体而言，在作为处理对象的图像列中，在该图像列的前半部分和后半部分中摄像对象大幅不同的情况下(例如，在来自胶囊内窥镜的图像列中，前半部分对胃进行摄像、后半部分对小肠进行摄像的情况等)，很难通过前半部分的图像覆盖后半部分的图像。由此，跨越前半部分和后半部分的比较处理的必要性较低，通过分成仅将前半部分作为对象的图像精简处理和仅将后半部分作为对象的图像精简处理来进行处理，实现高效化。

由此，本申请人提出了如下方法：从图像列中检测场景变换，根据检测到的场景变换将图像列分割为多个部分图像列。然后，针对各部分图像列独立地进行使用了上述变形信息的图像精简处理即可。这样，能够高效地进行图像精简处理。并且，由于能够针对多个部分图像列并行地进行图像精简处理，所以，能够实现处理的高速化。该变形例在第6实施方式中进行说明。

2.第1实施方式

作为第1实施方式，说明对基准图像的后方的图像保证覆盖率的图像精简处理。首先说明基本方法，然后叙述4个变形例。另外，关于各变形例，可以使用其中1个变形例，也可以组合使用2个以上的变形例。

2.1第1实施方式的方法

图1示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部100、图像列取得部200、存储部300。

处理部100通过对图像列取得部200取得的图像列删除该图像列中包含的多个图像的一部分，进行图像精简处理。该处理部100的功能可以由各种处理器(CPU等)、ASIC(门阵列等)等硬件、程序等实现。

图像列取得部200取得作为图像精简处理对象的图像列。存储部300除了存储图像列取得部200取得的图像列以外，还作为处理部100等的工作区域，其功能可以由RAM等存储器、HDD(硬盘驱动)等实现。

并且，如图1所示，处理部100也可以包括基准图像选择部1001、判定对象图像选择部1002、覆盖区域计算部1003、覆盖率计算部1004、可否删除判定部1005、部分图像列设定部1008、精简图像列决定部1009。另外，处理部100不限于图1的结构，能够进行省略它们的一部分结构要素或追加其他结构要素等各种变形实施。并且，在将由处理部100执行的图像精简处理分割为多个子进程时，设定上述各部以用于说明各子进程，处理部100不是必须具有上述各部作为结构要件。

基准图像选择部1001从图像列的多个图像中选择基准图像。判定对象图像选择部1002选择图像列的多个图像中的与基准图像不同的图像作为判定对象图像。

覆盖区域计算部1003利用基准图像与判定对象图像之间的变形信息(变形参数)，向判定对象图像映射基准图像，求出覆盖区域。覆盖率计算部1004根据覆盖区域计算覆盖率。

可否删除判定部1005根据计算出的覆盖率判定是否能够删除判定对象图像。具体而言，进行覆盖率与给定的阈值的比较处理等即可。

在可否删除判定部1005判定为不能删除判定对象图像的情况下，部分图像列设定部1008根据该时刻的判定对象图像在图像列中的位置，设定由图像列的一部分即1张以上的图像构成的图像列作为部分图像列。

精简图像列决定部1009决定精简处理后的图像列即精简图像列。在本实施方式中，将基准图像选择部1001选择出的基准图像包含在精简图像列中。并且，删除判定对象图像中的被判定为能够删除的图像，不将其包含在精简图像列中。

图2示出说明本实施方式的图像精简处理的流程图。该处理开始后，首先，取得作为图像精简处理对象的图像列(S101)。认为图像列是由图像列取得部200取得的按照时间序列排列的RGB 3通道图像。或者，也可以是通过排列成横向一列的摄像设备拍摄的空间上排列的图像列那样在空间上连续的图像列。并且，空间上连续的图像列中的“空间”可以是表示二维或三维位置的空间，也可以是颜色空间等空间。

在取得图像列后，基准图像选择部1001选择输入图像列(在最初的处理中为S101中取得的图像列、此后为后述S107中设定的部分图像列)的开头的图像作为基准图像(S102)。这里选择出的基准图像保留在精简图像列中。另外，在由于错误等理由而无法从输入图像列中选择基准图像的情况下(例如图像列中不存在图像的情况下等)，结束处理。

然后，判定对象图像选择部1002从输入图像列所包含的图像中选择判定对象图像(S103)。在未设定判定对象图像的情况下，选择基准图像的下一个图像(输入图像列的第2个图像)作为判定对象图像。并且，在已经选择了输入图像列的第k个图像作为判定对象图像的情况下，错开一个选择位置，选择输入图像列的第k+1个图像作为新的判定对象图像。在无法选择判定对象图像的情况下(输入图像列中包含的图像的张数少于2或k+1的情况下等)，结束处理。

在选择出基准图像和判定对象图像后，覆盖区域计算部1003利用基准图像与判定对象图像之间的变形参数，向判定对象图像上映射基准图像，求出覆盖区域(S104)。这里，作为变形参数，可以是通过专利文献2所记载的方法估计出的非刚体变形参数等。图3示出覆盖区域的例子。这里的变形参数表示基准图像中摄像的被摄体在判定对象图像上如何变形。换言之，基准图像中摄像的被摄体和判定对象图像上的覆盖区域中摄像的被摄体相对应(狭义地讲为相同)。

在计算出覆盖区域后，覆盖率计算部1004根据覆盖区域和判定对象图像计算覆盖率(S105)。例如如图3所示，可以根据覆盖区域的面积相对于判定对象图像全体的面积的比例等求出覆盖率。

然后，可否删除判定部1005对计算出的覆盖率与事前设定的阈值(可以通过系统来设定，也可以根据来自用户的输入来决定)进行比较处理(S106)。如果覆盖率小于阈值，则判定为不能删除判定对象图像，转移到部分图像列的设定处理。并且，如果覆盖率为阈值以上，则判定为能够删除判定对象图像，返回S103，再次选择判定对象图像。

在S106中判定为不能删除判定对象图像的情况下，部分图像列设定部1008设定部分图像列(S107)。具体而言，设定由被判定为不能删除的判定对象图像及其以后的图像构成的图像列作为部分图像列即可。设定部分图像列后，返回S102，将该部分图像列作为输入图像列执行上述处理。

图4(A)～图4(D)图示了以上的图像精简处理。如图4(A)所示，在图像列取得部200取得了具有N张图像的图像列的情况下，首先，选择第1个图像作为基准图像，选择第2个图像作为判定对象图像。然后，在基准图像与判定对象图像之间计算覆盖率，判定可否删除判定对象图像。

在判定为能够删除判定对象图像的情况下，重新选择判定对象图像。具体而言，成为使判定对象图像的位置错后的处理，如图4(B)所示，选择第3个图像作为判定对象图像。然后，在基准图像与判定对象图像之间计算覆盖率，判定可否删除判定对象图像，在发现被判定为不能删除的判定对象图像之前，对作为判定对象图像而选择的图像进行更新。

如图4(C)所示，在判定为能够删除第2个～第k-1个图像、且判定为不能删除第k个图像的情况下，由于第2个～第k-1个图像被基准图像以某种程度(通过阈值设定的程度)覆盖，所以，进行删除处理而不使其包含在精简图像列中。与此相对，由于在基准图像中无法充分覆盖第k个图像，所以，第k个图像需要保留在精简图像列中。因此，这里，设定第k个图像及其以后的图像(第k～N个图像)作为部分图像列(下面，第1～第5实施方式中的“部分图像列”规定反复进行处理的单位，与第6实施方式中的作为并列处理对象的部分图像列不同)。

然后，再次对该部分图像列反复进行图4(A)～图4(C)的处理即可。具体而言，如图4(D)所示，将由N-x+1张图像构成的部分图像列作为输入图像列，将开头(图4(C)等中为第k个)图像作为基准图像，将第2个(图4(C)等中为第k+1个)图像作为判定对象图像进行处理。以后的处理相同，在判定为能够删除判定对象图像后，选择下一个图像作为新的判定对象图像。并且，在判定为不能删除判定对象图像后，将基准图像保留在精简图像列中，删除被判定为能够删除的图像，将该时刻的判定对象图像以后的图像设定为新的部分图像列。最终，在直到输入图像列的最后的图像为止判定为全部能够删除的情况下、或输入图像列中包含的图像仅为1张而无法设定判定对象图像的情况下，处理结束。

在以上的本实施方式中，如图1所示，图像处理装置包括：图像列取得部200，其取得具有多个图像的图像列；以及处理部100，其进行删除图像列取得部200取得的图像列的多个图像的一部分并取得精简图像列的图像精简处理。而且，处理部100从多个图像中选择基准图像和判定对象图像。该处理例如由基准图像选择部1001和判定对象图像选择部1002进行。进而，根据选择出的基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率，根据计算出的覆盖率判定可否删除判定对象图像。覆盖率的计算处理例如由覆盖率计算部1004进行，可否删除的判定处理例如由可否删除判定部1005进行。

这里，覆盖率是表示在基准图像上摄像有判定对象图像上摄像的被摄体中的什么程度的被摄体的信息。例如，在取得纵横比为1：1的图像的情况下，在判定对象图像中以满幅图像的方式摄像有实际空间上纵横分别为10m的正方形的被摄体，在基准图像中以满幅图像的方式摄像有所述被摄体中包含的纵横分别为5m的正方形的区域。该情况下，在判定对象图像中摄像有实际空间中的100m²的区域，在基准图像中摄像有实际空间中的25m²的区域(且包含在所述100m²的区域中的区域)。由此，基准图像覆盖判定对象图像的25％，所以，作为覆盖率，认为是25或0.25等值。另外，由于很少正对着平面的被摄体进行摄像，所以，一般即使是同一被摄体，基准图像和判定对象图像中形状也不同。在本实施方式中，利用专利文献2等的方法取得与这种变形对应的变形信息，使用该变形信息计算覆盖率。另外，覆盖率只要是表示基准图像对判定对象图像的覆盖程度的信息即可，不限于比例、比率等。

并且，可否删除的判定处理例如是与给定的阈值的比较处理。如果提高阈值(例如如果设定为相当于100％的值)，则能够期待针对产生由于删除图像而无法观察的区域的抑制效果的提高。另一方面，如果降低阈值，则能够减少精简处理后的精简图像列中包含的图像的张数。上述抑制效果的提高和图像张数的减少存在折衷关系，能够通过阈值的设定进行控制，所以，优选根据状况而适当设定阈值。

由此，通过图像精简处理删除了图像的结果是能够抑制产生无法观察的被摄体区域，并且，能够控制其抑制程度(强度)。这是因为，通过使用本实施方式的方法，作为上述可否删除的判定处理中使用的阈值，如果使用相当于x％的值，则即使删除了判定对象图像，也能够保证该判定对象图像上摄像的被摄体中的x％被基准图像覆盖(在基准图像上摄像有x％的被摄体范围)。另外，作为变形信息，很难以完全不产生误差的方式求出被摄体的图像上的变形，即使设定x作为阈值，判定对象图像中的被基准图像覆盖的区域也可能小于x％。

并且，在输入第1～第N(N为2以上的整数)图像作为输入图像列的情况下，处理部100也可以选择第1图像作为基准图像，并且选择第k(k为满足2≦k≦N-1的整数)图像作为判定对象图像。然后，根据基准图像与判定对象图像之间的变形信息计算覆盖率，根据覆盖率判定可否删除判定对象图像。进而，在判定为能够删除第k图像的情况下，选择第k+1图像作为判定对象图像。

这里，输入图像列是作为该处理(基准图像/判定对象图像的选择、可否删除的判定、以及能够删除的情况下的判定对象图像的更新)对象的图像列，可以是图像列取得部200取得的图像列，也可以是由该图像列的一部分图像构成的图像列。

由此，在输入了输入图像列的情况下，能够进行图4(A)～图4(B)等所示的处理。这里，从基准图像的后方(例如最初为与基准图像相邻的图像)选择判定对象图像，在能够删除所选择出的判定对象图像的情况下，将判定对象图像更新为靠后方的图像。即，从接近基准图像的位置起依次判定是否能够删除(是否能够被基准图像充分覆盖)，搜索不能删除的位置。另外，这里，判定为能够删除的判定对象图像基本上被删除而不包含在精简图像列中，但是不限于此，也可以将判定为能够删除的判定对象图像的一部分包含在精简图像列中。

并且，处理部100也可以进行将作为基准图像而选择出的图像包含在精简图像列中的处理。并且，在判定为不能删除作为判定对象图像而选择出的第k图像的情况下，也可以设定由第k～第N图像构成的部分图像列作为新的输入图像列，再次对所设定的输入图像列进行处理。

由此，能够进行图4(C)所示的处理。如上所述，根据判定对象图像被基准图像以何种程度覆盖来进行可否删除判定处理，所以，即使删除被判定为能够删除的判定对象图像，通过保留基准图像，也能够抑制无法观察的区域的产生。即，在本实施方式中，将基准图像包含在精简图像列中。并且，在不能删除第k图像的情况下，第k图像无法被基准图像充分覆盖，所以，第k图像应该保留在精简图像列中。即，只要将第k图像设定为下一个基准图像即可，具体而言，例如将由第k～第N图像构成的部分图像列设定为新的输入图像列即可。这样，如图4(D)所示，选择输入图像列的开头的图像、即图像列取得部200取得的图像列中的第k图像作为基准图像，依次选择第k+1图像以后的图像作为判定对象图像。另外，也可以新设定由图4(D)的图像列的一部分图像构成的部分图像列作为输入图像列，反复(或循环)进行该处理。

并且，处理部100也可以根据基准图像与判定对象图像之间的变形信息，求出判定对象图像被基准图像覆盖的区域即覆盖区域。然后，计算覆盖区域在判定对象图像中占据的比例作为覆盖率。

由此，能够根据覆盖区域计算覆盖率。具体而言，如图3所示，覆盖区域表示在根据变形信息对基准图像进行变形后将其映射到判定对象图像上的区域。基准图像上摄像的被摄体区域和所求出的覆盖区域中摄像的被摄体区域相对应(如果是变形信息没有误差的理想状况，则一致)。由此，能够根据覆盖区域在判定对象图像中占据的比例(具体而言为各自的面积之比)求出覆盖率。另外，根据变形信息对基准图像进行变形来求出覆盖区域即可，所求出的覆盖区域不一定被映射到判定对象图像上。并且，不限于根据基准图像全体求出覆盖区域，也可以根据变形信息对基准图像的一部分进行变形来求出覆盖区域。

并且，以上的本实施方式能够应用于使计算机作为以下部分发挥功能的程序：图像列取得部200，其取得具有多个图像的图像列；以及处理部100，其进行删除图像列取得部200取得的图像列的多个图像的一部分并取得精简图像列的图像精简处理。然后，处理部100从多个图像中选择基准图像和判定对象图像。进而，根据选择出的基准图像与判定对象图像之间的变形信息，计算基准图像对判定对象图像的覆盖率，根据计算出的覆盖率判定可否删除判定对象图像。

由此，能够通过程序来实现上述图像处理。例如，考虑将由胶囊内窥镜等取得的图像列输入到PC等系统中，通过由该系统的处理部(CPU、GPU等)执行的程序进行图像精简处理。而且，上述程序记录在信息存储介质中。这里，作为信息记录介质，可以假设DVD或CD等光盘、光磁盘、硬盘(HDD)、非易失性存储器或RAM等存储器等、PC等系统可读取的各种记录介质。

2.2变形例(基于多个点的覆盖率计算)

接着，叙述本实施方式的变形例。在上述方法中，根据变形参数对基准图像本身进行变形，计算覆盖区域，但是，覆盖率的计算方法不限于此。例如也可以不是图像本身，而在判定对象图像上设定多个点，在根据变形参数使这些点移动的情况下，根据移动后的多个点与基准图像的位置关系计算覆盖率。下面进行详细叙述。

与图1相比，处理部100的结构为删除了覆盖区域计算部1003的结构。并且，覆盖率计算部1004中的处理不同。另外，其他结构的处理内容相同，所以省略详细说明，叙述覆盖率计算处理。

如图5所示，覆盖率计算部1004在判定对象图像上例如等间隔地配置多个点。然后，利用基准图像与判定对象图像之间的变形参数(与上述方法同样，为专利文献2的非刚体变形参数等)，将判定对象图像上的点映射到基准图像上。设映射到基准图像上的多个点中的包含在基准图像中的点的数量的比例为覆盖率即可。

由此，与对图像本身进行变形并求出覆盖区域的方法相比，能够容易地计算覆盖率，能够减轻处理负荷等。

图6示出说明该处理的流程图。S201～S203和S206～S207与S101～S103和S106～S107相同。并且，由于不需要计算覆盖区域，所以，没有与S104相当的块。S205对应于S105，但是，如上所述，处理内容不同，在S105中，根据S104中计算出的覆盖区域计算覆盖率，与此相对，在S205中，根据对多个点进行映射的结果来计算覆盖率。

在以上的变形例中，处理部100对判定对象图像设定多个点，在根据基准图像与判定对象图像之间的变形信息对多个点进行了转换的情况下，根据基准图像中包含的转换后的点的数量计算覆盖率。

由此，不对基准图像本身进行基于变形信息的处理，能够通过对所设定的点进行处理来计算覆盖率，所以，与求出上述覆盖区域的方法相比，能够减轻处理负荷。具体而言，在判定对象图像上设定多个点，求出所设定的各点在基准图像中对应于哪个图像上位置(这里还包含基准图像外的位置)。然后，通过判定对象图像中设定的多个点的数量与基于变形信息的处理后的多个点中的包含在基准图像中的点的数量的比较，计算覆盖率。这样，在基于变形信息的处理后，不需要计算面积等，能够减轻处理。另外，这里成为问题的是在基准图像中不能充分覆盖判定对象图像的情况，在这种情况下，即使在基准图像上设定多个点并使其移动到判定对象图像上，转换后的点也全部包含在判定对象图像中，不能作为表示覆盖程度的指标。由此，如果使用设定多个点的方法，则优选在判定对象图像上设定该多个点。

2.3变形例(设定多个基准图像的例子)

接着，对使用多个图像作为基准图像的例子进行说明。这里的处理部100的结构与图1相同。在覆盖区域计算部1003中，如图7所示，在多个基准图像(基准图像群)的各基准图像与判定对象图像之间分别计算覆盖区域的候选区域，根据计算出的多个候选区域计算覆盖区域。该情况下，覆盖率计算部1004和可否删除判定部1005等中的处理与上述方法相同。

或者，也可以考虑在多个基准图像(基准图像群)的各基准图像与判定对象图像之间分别计算覆盖区域，在覆盖率计算部1004中，根据判定对象图像和计算出的多个覆盖区域计算覆盖率。

下面，对具体处理进行说明。另外，由于流程图与图2相同，所以省略附图。由于S101相同，所以省略说明。在S102中，选择输入图像列的开头的图像作为基准图像，并追加在基准图像群中。在初次进行S102的情况下，基准图像群中包含的基准图像为1个，所以，S103～S107的处理与上述方法相同。

然后，在S107中设定部分图像列并返回S102的情况下，基准图像选择部1001选择部分图像列的开头的图像作为基准图像，并追加在基准图像群中。即，如果第m次进行S102的处理，则在基准图像群中保持合计m张基准图像。然后，通过根据基准图像群中的第i(1≦i≦m)基准图像和判定对象图像计算第i候选区域，求出m个候选区域，从m个候选区域中计算覆盖区域。例如如图8所示，将与多个候选区域的并集对应的区域作为覆盖区域即可。

图9(A)、图9(B)示出具体例。在将开头的图像作为基准图像的情况下，在判定为能够删除第2～x-1个图像、且判定为不能删除第x个图像的情况下，如上所述，将具有第x～N个图像的图像列设定为部分图像列。然后，由于将该部分图像列作为输入图像列，所以，选择部分图像列的开头、即原来的图像列中的第x个图像作为基准图像。由此，在基准图像群中保持第1个和第x个这2张图像作为基准图像。然后，在选择判定对象图像(从第x+1个起依次进行选择)时，根据第1个图像和判定对象图像求出候选区域，并且，根据第x个图像和判定对象图像求出候选区域。然后，利用使用图8说明的方法等计算最终的覆盖区域，判定可否删除。

同样，如果判定为不能删除第y个图像，则包含第y～N个图像的图像列成为部分图像列，所以，第y个图像被追加到基准图像群中。然后，选择第y+1个以后的图像作为判定对象图像，根据第1个图像、第x个图像和第y个图像这3个图像，分别求出候选区域，计算覆盖区域。下面，反复进行同样的处理。

另外，这里，在覆盖率的计算中使用了覆盖区域，但是不限于此。也可以与上述使用多个点的方法进行组合。

在以上的变形例中，处理部100可以从多个图像中选择第1～第M(M为2以上的整数)基准图像作为基准图像。然后，根据第u(1≦u≦M)基准图像与所述判定对象图像之间的变形信息求出第u覆盖区域，设定第1～第M覆盖区域的并集的区域作为所述覆盖区域，根据所设定的覆盖区域计算覆盖率。

由此，如图9(A)、图9(B)所示，能够设定多个基准图像作为基准图像。在设定1个基准图像的实施方式中，在判定对象图像(例如图9(A)的第x+1个图像)的可否删除的判定中，使用最近的基准图像(例如图9(A)的第x个图像)。但是，从抑制产生由于删除图像而无法观察的区域的观点来看，不需要在最近的保留图像中摄像有删除图像中摄像的被摄体，只要摄像在保留图像中的至少1张图像中即可。由此，基准图像不需要限定为1个，可以使用多个。例如，如果是图9(A)的例子，则通过将第x个～第N个图像设定为部分图像列，第x个图像成为新的基准图像，但是，保持在前一个处理中作为基准图像的第1个图像，用于第x+1个以后的判定对象图像的可否删除的判定即可。该情况下，覆盖区域如图8所示，考虑将表示根据变形信息对各基准图像进行变形后的区域的并集的区域作为覆盖区域。由此，可以判定为能够删除判定对象图像的可能性提高，能够减少精简处理后的图像列中包含的图像的张数。由此，能够减轻用户的负荷等。另外，通过反复进行处理，能够用作基准图像的图像的张数增加(在图9(B)的例子中，除了第y个图像以外，还能够使用第1个、第x个图像)，判定为能够删除的可能性进一步提高。但是，通过增加基准图像的张数，处理负荷增大，所以，不需要使用全部可使用的基准图像的候选，可以使用其中一部分。

并且，在不使用覆盖区域而使用多个点的方法中，处理部100也可以从多个图像中选择第1～第M(M为2以上的整数)基准图像作为基准图像。然后，在根据第u(1≦u≦M)基准图像与所述判定对象图像的间的变形信息对判定对象图像上设定的多个点进行了转换的情况下，求出第u基准图像中包含的转换后的点的数量作为第u覆盖信息，根据第1～第M覆盖信息计算覆盖率。

由此，在使用多个点的情况下，能够设定多个基准图像。但是，在使用多个点的情况下，由于在覆盖率计算中使用基准图像中包含的转换后的点的数量，所以，很难计算与从多个基准图像中求出的覆盖信息的并集相当的信息(为了求出转换后的点的位置，只要根据该位置信息进行某些处理即可，但是，与使用覆盖区域的方法相比，不得不丧失处理容易这样的优点)。由此，作为一例，考虑使用从各基准图像求出的点的数量中的最大值来计算该情况下的覆盖率。由此，虽然无法得到使用多个基准图像和覆盖区域的方法那样的图像张数减少的效果，但是，与该方法相比，处理负荷减轻，并且，与使用1个基准图像的方法相比，能够减少精简处理后的图像张数。

2.4变形例(加权)

并且，在上述方法中，单纯地将相对于判定对象图像的面积的覆盖区域的面积作为覆盖率，但是不限于此。例如，也可以根据图像上的位置设定权重系数，使用该权重系数进行加权来求出覆盖率。这里，说明以序列顺序进行图像精简的变形例，在该图像精简中，保证与到图像中心之间的距离对应的加权覆盖率。另外，省略与上述方法相同的处理的详细说明。

覆盖区域计算部1003取得根据图像中的位置施加了区域权重的基准图像的权重映射图。然后，如图10所示，利用基准图像与判定对象图像之间的变形参数，将基准图像的权重映射图映射到判定对象图像上，设为加权覆盖区域。例如，在四角具有涂黑区域的胶囊内窥镜图像等中，应用将四角的规定的区域的权重设为0、将其余区域的权重设为1的权重。

然后，在覆盖率计算部1004中，取得根据图像中的位置施加了区域权重的判定对象图像的权重映射图。然后，将对加权覆盖区域和判定对象图像的权重映射图进行相乘而得到的覆盖权重映射图的总和在判定对象图像的权重映射图的总和中占据的比例设为覆盖率。例如，在四角具有涂黑区域的胶囊内窥镜图像等中，应用将四角的规定的区域的权重设为0、将其余区域的权重设为1的权重。

如果是图10的例子，则相当于覆盖区域中的基准图像的权重映射图中权重为0的四角的区域不作为覆盖区域进行处理。并且，相当于覆盖区域中的判定对象图像的权重映射图中权重为0的四角中映射的区域也不作为覆盖区域进行处理。并且，与覆盖率计算式的分母相当的判定对象图像的面积也不包含判定对象图像的权重映射图中权重为0的四角的区域。

并且，在图10的例子中，使用0或1作为权重，但是，也可以设定0～1之间的值。并且，权重为0～1之间是典型情况，但是，设定负值或大于1的值也无妨。

另外，加权不限于使用覆盖区域的方法，也可以设定多个点，针对各点设定权重系数。并且，还可以应用于使用多个基准图像的方法。

在以上的变形例中，处理部100也可以根据判定对象图像的图像上位置来设定权重系数。然后，根据基于权重系数和覆盖区域计算出的第1权重总和与基于权重系数和判定对象图像计算出的第2权重总和的比例，计算覆盖率。

由此，能够进行与判定对象图像的图像上位置对应的加权，能够根据判定对象图像的图像上位置设定针对覆盖率计算的帮助程度。例如，在使用鱼眼透镜等畸变影响较大的光学系统的情况下，与图像中央部相比，图像周缘部的变形较大，不适于被摄体的观察。这种情况下，通过增大中央部的权重系数并减小周缘部的权重系数，能够进行重视中央部的可否删除的判定。具体而言，即使在图像上覆盖同等区域，在覆盖中央部的情况下，对覆盖率的帮助较大，与此相对，即使覆盖周缘部，对覆盖率的帮助也较小。

另外，根据作为处理对象的区域和权重系数决定权重总和。例如，如果按照每1个像素来设定权重系数，则第1权重总和针对覆盖区域中包含的像素取各像素中设定的权重系数的总和即可，第2权重总和针对判定对象图像全体的像素取各像素中设定的权重系数的总和即可。并且，如果按照给定的区域(各区域的面积可以不同)来设定权重系数，则第2权重总和为权重系数设定区域的面积与权重系数之积的总和，第1权重总和为权重系数设定区域中的包含在覆盖区域中的区域的面积与权重系数之积的总和。并且，根据权重系数的设定方法，也可以通过其他方法求出权重总和。

并且，在不使用覆盖区域而使用多个点的方法中，处理部100也可以根据判定对象图像的图像上位置设定权重系数。然后，在根据基准图像与判定对象图像之间的变形信息对多个点进行转换的情况下，根据基准图像中包含的转换后的点和权重系数计算覆盖率。

由此，在使用多个点的情况下，也能够利用权重系数。作为具体方法，在判定对象图像上设定多个点时，对各点赋予与图像上位置对应的权重系数即可。然后，在根据变形信息将多个点映射到基准图像上的情况下，不是单纯地对基准图像中包含的点的数量进行计数，而是通过与对基准图像中包含的点赋予的权重系数的值进行相乘，求出覆盖率。该情况下，图5所示的覆盖率计算式的分母也不是单纯的点的总数，而是对所设定的全部点取权重系数的总和而得到的值。

并且，处理部100也可以在判定对象图像的第1区域中设定0作为权重系数的值，并且在判定对象图像的与第1区域不同的第2区域中设定1作为权重系数的值。

由此，作为加权的极端例子，能够进行使用判定对象图像的一部分区域而不使用其他区域的处理。

另外，在以上的加权的例子中，在判定对象图像中设定权重系数，但是，也可以在基准图像侧也设定权重系数。例如，在以使用覆盖区域的例子进行说明时，在图10中，在基准图像的四角设定权重系数0，在其他区域设定权重系数1。该情况下，第2权重总和与上述方法相同，但是，第1权重总和的计算方法不同。该情况下，在覆盖区域中的与基准图像的四角相当的区域中设定权重系数0，在覆盖区域的其他区域中设定权重系数1。进而，如上所述，由于覆盖区域映射在判定对象图像上，所以，还设定与判定对象图像的图像上位置对应的权重系数。即，如果以像素为单位设定权重系数，则在覆盖区域所包含的像素中以1个像素为单位设定基准图像侧的权重系数和判定对象图像侧的权重系数这2个权重系数。该情况下，作为第1权重总和，例如进行如下处理即可：针对覆盖区域中包含的各像素求出基准图像侧权重系数与判定对象图像侧权重系数之积，求出该值的总和。

并且，在如图5那样使用多个点的情况下，也可以在基准图像侧也设定权重系数。该情况下，能够使多个点中的通过转换而位于基准图像内的点与基准图像侧设定的权重系数对应起来，所以，其结果，针对1个点设定基准图像侧的权重系数和判定对象图像侧的权重系数这2个权重系数。由此，例如，分别对基准图像中包含的转换后的点求出基准图像侧权重系数与判定对象图像侧权重系数之积，根据该值的总和计算覆盖率即可。

2.5变形例(使用相邻图像间的变形参数的方法)

并且，在上述方法中，使用基准图像与判定对象图像之间的变形参数，直接计算了覆盖区域，但是不限于此。例如，也可以利用从基准图像到判定对象图像的全部相邻图像间的变形参数，在相邻图像间累积映射覆盖区域，求出将基准图像映射到判定对象图像上的覆盖区域。

在以上的变形例中，处理部100也可以针对图像列中基准图像与判定对象图像之间的图像求出相邻图像间的变形信息，根据所求出的相邻图像间的变形信息，计算基准图像与判定对象图像之间的变形信息。

由此，在基准图像和判定对象图像不相邻的情况下，不是在这2个图像间直接求出变形信息，而是通过对相邻图像间求出的变形信息进行累积，能够计算变形信息。变形信息可以通过专利文献2等所示的方法来计算，但是，一般情况下与计算一个变形信息的处理相比，对多个变形信息进行合成的处理非常简单。例如，如果变形信息为矩阵等，则根据2个图像信息求出该矩阵的处理的负荷较大，但是，对已经求出的多个矩阵进行合成(例如仅取得矩阵的积即可)则非常容易。

例如如后述第2实施方式那样，在使用变形信息的次数较多的处理等中，该方法特别有效。例如，在第2实施方式中，不仅在判定对象图像的前方，在后方也设定基准图像(第2基准图像)，根据条件对第2基准图像进行更新。具体而言，在设第1图像为第1基准图像、第k图像为第2基准图像的情况下，在第2～第k-1图像与各基准图像之间进行可否删除的判定，根据条件，保持第1基准图像不变，将第2基准图像更新为第k+1图像。该情况下，需要第2～第k图像的各图像与第2基准图像即第k+1图像之间的变形信息，需要求出k-1次的变形信息。然后，由于与之前处理中使用的第2～第k-1图像与第k图像(之前的第2基准图像)之间的变形信息不同，所以，必须重新求出变形信息。例如，如果图像列取得部200取得N张图像作为图像列，并且假设第1基准图像不变、第2基准图像依次更新到第3～第N图像的极端情况，则需要求出1+2+3+…+(N-2)＝(N-2)(N-1)/2次的变形信息。即，进行负荷较大的变形信息的计算处理的次数较多，是没有效率的。

关于这点，如果使用相邻的变形信息，则当图像列取得部200取得N张图像作为图像列时，在相邻图像间求出N-1次的变形信息就足够了。该情况下，在从N张图像中选择基准图像和判定对象图像时，需要进行对N-1个变形信息中的必要的变形信息进行合成的处理，但是，如上所述，与变形信息的计算处理相比，该合成处理的负荷较轻。

3.第2实施方式

在第2实施方式中，说明以序列顺序进行对前方/后方的图像保证覆盖率的图像精简处理的方法。首先说明基本方法，然后叙述2个变形例。

3.1第2实施方式的方法

图11示出本实施方式中的图像处理装置的系统结构例。构成为相对于图1的处理部100追加第2基准图像选择部1007。

基准图像选择部1001选择第1基准图像。第2基准图像选择部1007选择比第1基准图像靠后方2个以上的图像作为第2基准图像。并且，判定对象图像选择部1002选择在基准图像后方、且在第2基准图像前方的图像作为判定对象图像。另外，在图11中，分出基准图像选择部1001和第2基准图像选择部1007，但是不限于此，也可以由基准图像选择部1001选择第1基准图像和第2基准图像双方。

图12示出说明本实施方式的图像精简处理的流程图。S301～S302与S101～S102相同。在S302之后，选择比S302中选择出的第1基准图像靠后方2个以上的图像作为第2基准图像(S308)。然后，设定判定对象图像(S303)。在未设定判定对象图像的情况下，选择第1基准图像的下一个图像(输入图像列的第2个图像)作为判定对象图像。并且，在已经选择输入图像列的第k个图像作为判定对象图像的情况下，错开一个选择位置，选择输入图像列的第k+1个图像作为新的判定对象图像。但是，判定对象图像的选择范围并不是到输入图像列的最后的图像为止，而是到与第2基准图像一致为止。

在判定对象图像不与第2基准图像一致的情况下，转移到S304，计算覆盖区域。这里，根据第1基准图像与判定对象图像之间的变形参数计算第1候选区域，并且根据第2基准图像与判定对象图像之间的变形参数计算第2候选区域。然后，与图8中说明的处理同样，将与第1候选区域和第2候选区域的并集对应的区域作为覆盖区域即可。

S304～S306与S104～S106相同。在S306中判定为能够删除的情况下，返回S303，将判定对象图像更新为后方一个图像。在更新的结果为判定对象图像与第2基准图像一致的情况下，返回S308，将第2基准图像更新为后方一个图像。并且，在对第2基准图像进行了更新的情况下，对判定对象图像的选择状态进行复位。在判定对象图像不与第2基准图像一致的情况下，进行S304以后的处理。

并且，在S306中判定为不能删除判定对象图像的情况下，在基准图像与当前时刻的第2基准图像这2张图像中，由于无法覆盖其间夹持的全部图像，所以，需要将当前时刻的第2基准图像的前一个图像保留在精简图像列中。由此，设定包含当前的第2基准图像的前一个图像及其以后的图像的图像列作为部分图像列(S307)，返回S302。

图13(A)、图13(B)图示了以上的图像精简处理。另外，这里，在将基准图像映射到判定对象图像上时，说明了累积使用相邻图像间的变形参数的方法，但是不限于此。

选择全部图像列的第k个图像作为第1基准图像(另外，相当于针对第1～k-1个图像的处理结束、设定第k～N个图像作为部分图像列的情况)。然后，选择第k+2个图像作为第2基准图像。

进而，从第1基准图像与第2基准图像之间的图像的前方选择判定对象图像，通过基于第1基准图像和判定对象图像的覆盖区域计算处理以及基于第2基准图像和判定对象图像的覆盖区域计算处理计算覆盖率，判定可否删除。

如图13(A)所示，在判定为第1基准图像与第2基准图像之间的图像全部能够删除的情况下，有可能可以选择与第1基准图像分开更远的图像作为第2基准图像，所以，如图13(B)所示，再次选择第2基准图像。具体而言，将第k+2个第2基准图像更新为第k+3个即可。

然后，再次判定可否删除第1基准图像与第2基准图像之间的图像。如图13(B)所示，在存在判定为不能删除的判定对象图像的情况下，在第1基准图像与当前的第2基准图像这2张图像中，无法覆盖其间包含的全部图像(具体而言，无法覆盖判定为不能删除的判定对象图像)，所以，认为第2基准图像的更新(选择位置的递增)是不适当的。

由此，设定包含当前时刻的第2基准图像的前一个图像(相当于图13(A)中的第2基准图像)及其以后的图像的图像列作为部分图像列。由此，选择图13(A)的时刻的第2基准图像作为下一个处理中的基准图像，保证通过保留在精简图像列中的图像覆盖被删除的图像。

另外，在以上的说明中，在S302中选择了输入图像列的开头的图像作为基准图像，但是，初次进行S302的处理的情况不在此限。在本实施方式中，如果通过位于判定对象图像后方的第2基准图像进行覆盖，则能够删除该判定对象图像。即，如图14(A)所示，例如如果通过第3个图像覆盖第1个和第2个图像，则第1～2个图像不需要保留在精简处理后的图像中。由此，不是必须保留开头的图像，在将开头的图像作为基准图像的方法中，可能导致精简图像列中包含的图像的张数不必要地增加。

因此，在本实施方式中，最初的基准图像不需要是图像列取得部200所取得的图像列的开头图像。示出具体方法的一例。如图14(B)所示，选择实际不存在的第0个图像作为第1基准图像(这里的选择处理是为了便于说明，实际上不需要准备第0个图像等的处理)。这样，通过S308中的第2基准图像选择处理选择第2个图像，判定对象图像依次选择其间的图像(这里仅为第1个图像)。实际上不存在第1基准图像，在判定对象图像与第2基准图像之间进行S304～S306的处理。如果通过第2个图像覆盖第1个图像，则根据图12的处理，如图14(C)所示，更新第2基准图像，转移到第3个图像，判定是否能够通过该第3个图像覆盖第1～2个图像。下面，如果反复进行处理，则能够发现如下的k：如图14(D)所示，如果将第k-1个图像作为第2基准图像，则能够覆盖全部第1～k-2个图像，但是，即使将第k个图像作为第2基准图像，也无法覆盖全部第1～k-1个图像。该情况下，在S306中判定为不能删除，在S307中将由第k-1～N个图像构成的图像列设定为部分图像列，返回S302。在第2次以后的S302的处理中，如上所述，由于选择输入图像列的开头的图像作为基准图像，所以，第k-1个图像作为基准图像而保留在精简图像列中。如上所述，由于能够通过第k-1个图像覆盖第1～k-2个图像，所以，能够删除该第1～k-2个图像，能够削减精简图像列中包含的图像的张数。

在以上的本实施方式中，在输入第1～第N(N为2以上的整数)图像作为输入图像列的情况下，处理部100选择第p图像作为第1基准图像，选择第q(q为满足p+2≦q≦N-1的整数)图像作为第2基准图像，并且，选择第r(r为满足p+1≦r≦q-1的整数)图像作为判定对象图像。然后，根据第1基准图像与判定对象图像之间的变形信息、以及第2基准图像与所述判定对象图像之间的所述变形信息计算所述覆盖率，根据覆盖率判定可否删除判定对象图像。进而，在判定为能够删除第p+1～第q-1图像的情况下，重新选择第q+1图像作为第2基准图像。

由此，如图13(A)、图13(B)所示，在判定对象图像的前方和后方设定基准图像后，能够进行基于覆盖率的图像精简处理。该情况下，由于使用2个基准图像，所以，可以判定为能够删除判定对象图像的可能性提高，能够减少精简处理后的图像张数。并且，如第1实施方式的变形例所述，与仅在前方设定多个基准图像的方法相比，能够将在时间上(或空间上)接近判定对象图像的图像设定为基准图像。由于越近的图像所摄像的被摄体相似的可能性越高，所以，能够进一步提高判定对象图像的删除可能性。另外，在本实施方式中，如上述变形例那样，也可以在前方、后方或这两方设定多个基准图像。并且，在判定为能够删除第1基准图像与第2基准图像之间设定的判定对象图像的情况下(狭义地讲为能够删除全部判定对象图像的情况，但是不限于此)，即使进一步扩大第1基准图像与第2基准图像之间，也存在能够覆盖其间的图像的可能性，所以，将第2基准图像更新为比当前的第2基准图像靠后方的图像。

另外，如上所述，在本实施方式中，由于可以在判定对象图像的后方设定基准图像，所以，在最初的处理中，不需要将第1基准图像设为开头的图像。这是因为，如果能够通过第2个以后的给定的图像覆盖这之前的全部图像，则通过将该给定的图像设为基准图像，能够删除这之前的图像。

并且，处理部100也可以进行将作为第1基准图像而选择出的图像包含在精简图像列中的处理。并且，在判定为不能删除第p+1～第q-1图像中的至少1个图像的情况下，设定由第q-1～第N图像构成的部分图像列作为输入图像列，针对所设定的输入图像列，将p的值设定为1后，再次进行处理。

由此，与第1实施方式中将基准图像包含在精简图像列中的情况同样，在本实施方式中也能够将第1基准图像包含在精简图像列中。并且，第1基准图像与第2基准图像之间的判定对象图像中的至少1个图像不能删除的情况相当于第1基准图像与第2基准图像之间过宽的情况，所以，位于此时的第2基准图像的前方(狭义地讲位于前方且最近)的图像应该保留在精简图像列中。由此，设定由第q-1～第N图像构成的部分图像列作为输入图像列，针对所设定的输入图像列，再次进行第1、第2基准图像和判定对象图像的选择处理、可否删除判定处理，并且根据条件再次进行第2图像的更新处理等。另外，关于所设定的部分图像列，由于应该将其开头图像保留在精简图像列中，所以，上述参数p优选为1。

3.2变形例(第2基准图像的其他更新方法)

接着，叙述本实施方式的变形例。另外，在该变形例中，在叙述第2基准图像的选择方法的关系上，针对可否删除的判定反复进行相同表记。由此，为了简化文章，将选择第q图像作为第2基准图像并进行可否删除的判定的结果为判定为能够删除第1基准图像与第2基准图像之间的全部图像的状况表记为“第q图像可以”，将不能删除第1基准图像与第2基准图像之间的至少1张图像的状况表记为“第q图像不可以”。

在上述方法中，在第q图像可以的情况下，再次选择第2基准图像，但是，要选择的新的第2基准图像限于第q+1图像。

在输入第1～第N图像作为输入图像列并选择第1图像作为第1基准图像的情况下，当选择第q图像作为第2基准图像时，作为判定对象图像的候选，考虑q-2张图像(第2～第q-1图像)，进行q-2次的判定处理。假设一次也没有判定为不能删除判定对象图像而结束图像精简处理，则选择3～N(如果考虑假想图像，则也可以包含N+1)作为q，所以，至少需要进行1+2+3+…+(N-2)＝(N-2)(N-1)/2次的处理，计算量的级别为N²。即，在上述方法中，当N非常大时，计算量剧增，并不理想。

因此，这里，在再次选择第2基准图像的情况下，其对象不限于相邻图像，通过扩大选择宽度来削减计算量。具体而言，在第q图像可以的情况下，新的第2基准图像不限于第q+1图像，容许从第q+2图像及其后方的图像中进行选择。该情况下，即使第q图像不可以，也不清楚第q-1图像是否可以(这是因为，存在未选择第q-1图像作为第2基准图像的可能性)。由此，不像第2实施方式的基本方法那样，仅因为第q图像不可以就立即进行保留第q-1图像作为精简图像的处理，而是通过选择基本上比第q图像靠前方的图像作为新的第2基准图像，对前方的图像进行判定。

即，在该变形例中，在满足结束条件之前，在可以的情况下在后方更新第2基准图像，在不可以的情况下在前方更新第2基准图像，由此，搜索第1基准图像的下一个精简图像。通过适当设定新的第2基准图像的位置，能够减少在发现下一个精简图像之前作为第2基准图像而选择的图像的张数，能够削减计算量。另外，这里的计算量削减停留在计算量的期待值的削减上，根据第1基准图像的下一个精简图像的位置，不能否定上述方法成为较少计算量的可能性。下面，对变形例的方法进行详细说明。

图像处理装置的系统结构例与图11相同，第2基准图像选择部1007中的第2基准图像的选择处理(更新处理)不同。由此，省略相同部分的详细说明，对不同之处进行说明。

在输入了输入图像列后，基准图像选择部1001选择第1基准图像。这里，如上所述，选择输入图像列的开头的图像(第1图像)。另外，在输入图像列是图像列取得部200所取得的图像列的情况下(进行最初的第1基准图像选择处理的情况下)，可以选择开头以外的图像(例如假想的第0个图像)作为第1基准图像，这点相同，但是，下面，只要没有特别说明，则设第1基准图像为开头的图像进行说明。

然后，选择第2基准图像。这里，设定与作为第2基准图像的选择对象的图像对应的第2基准图像选择区间(实际上相当于搜索第1基准图像的下一个精简图像的范围)。设与第i图像～第j图像对应的半开区间[i、j)为第2基准图像选择区间，使i对应于第1基准图像的下一个图像(狭义地讲为i＝2)，设j＝N+2。另外，设j＝N+2是因为，如可以设定假想的第0图像作为第1基准图像那样，也可以设定假想的第N+1图像作为第2基准图像。第2基准图像为第N+1图像的情况相当于判定是否仅通过第1基准图像就能够覆盖其后方的全部图像而不需要第2基准图像的情况。

然后，从所设定的第2基准图像选择区间中选择第2基准图像。这里，为了高效进行处理，根据给定的条件决定第2基准图像。首先，在第1基准图像设定后、初次选择第2基准图像的情况下，选择第i+1图像(狭义地讲为第3图像)作为第2基准图像。这点与第2实施方式的基本方法相同。

图20(A)图示了此前的处理。这里，考虑N＝12的图像列，第1基准图像为第1个图像，第2基准图像选择区间为第2个图像～第14个图像(i＝2、j＝14)，第2基准图像为第3个图像。

选择出第2基准图像后的判定对象图像选择处理、覆盖率计算处理、可否删除判定处理、以及这些处理的重复与上述方法相同，所以省略详细说明。

在选择了给定的图像(最初为第3图像)作为第2基准图像的情况下，如果该图像可以，则第2基准图像的位置可以进一步远离第1基准图像，所以，作为新的第2基准图像，选择比当前图像靠后方的图像。该想法本身与第2实施方式的基本方法相同。但是，在上述方法中，使第2基准图像一个一个地向后方移动，但是，这里可以转移到后方2个以上的图像。

作为一例，在当前的第2基准图像为从第1基准图像起第a个图像的情况下，可以将从第1基准图像起第2×a个图像作为新的第2基准图像。具体而言，如图20(B)所示，在选择第3个图像(从第1基准图像起第2个)作为第2基准图像的情况下，如果该第3个图像可以，则下一个第2基准图像选择第5个(从第1基准图像起第4个)图像。

但是，如果第q个图像可以，则不需要选择第q-1个以前的图像作为保留在精简图像列中的精简图像。由此，选择比当前位置(第q个)靠前方的图像作为第2基准图像并没有优点，所以，对第2基准图像选择区间进行更新即可。具体而言，设选择区间的始点i为i＝q即可。在该变形例中，由于从第2基准图像选择区间中选择第2基准图像，所以，这样不会选择比当前位置靠前方的图像。例如，如图20(B)所示，在第3个图像可以的情况下，第2个图像不是精简图像，所以从选择区间中除外即可，将选择区间的始点更新为第3个图像。

同样，如果第5个图像可以，则如图20(C)所示，选择第9个图像作为新的第2基准图像，并且将第2基准图像选择区间的始点更新为第5个图像。

但是，如在图20(C)中考虑假设第9个图像可以的情况而可知的那样，将第q个图像作为第2基准图像，在该第q图像可以的情况下，当q的值增大时，新的第2基准图像可能位于极端后方。例如，比第N+1靠后方的图像成为候选，不能选择第2基准图像，即使不这样，更新前后的第2基准图像的间隔过宽，下一个精简图像的搜索也没有效率。

因此，在选择比当前位置靠后方的图像作为新的第2基准图像的情况下，也可以一并使用其他方法。作为一例，根据(q+j)/2的值决定新的第2基准图像。例如在第9个图像可以的情况下，第2基准图像选择区间的始点被更新为第9个图像，所以，成为[9、14)的半开区间。即，通过将其中央附近的图像作为新的第2基准图像，将搜索范围的中央作为处理对象。通过对搜索范围的中央进行判定而使搜索范围减小一半的方法无外乎广泛公知的二分搜索，并且，二分搜索在计算量方面具有优点也是广泛公知的。本实施方式的第2基准图像选择区间具有如下性质：如果给定的图像可以，则可以认为该给定的图像的前方的图像全部可以，如果给定的图像不可以，则可以认为该给定的图像的后方的图像全部不可以，能够应用二分搜索的方法。即，通过从更新前的第2基准图像与第2基准图像选择区间的终点的中间附近选择新的第2基准图像，能够期待高效的处理。

这里，一并使用使第1基准图像起点的距离成为2倍的方法和与二分搜索对应的方法。例如，在第q图像为更新前的第2基准图像的情况下，设满足下式(1)的第k图像为下一个第2基准图像即可。这里，min(a、b)表示a和b中的较小的一方。

【数学式1】

另一方面，如上所述，在第q图像不可以的情况下，与可以的情况相反，从比当前位置靠前方选择新的第2基准图像。可以通过各种方法决定选择何种程度前方的图像，但是，例如，这里也可以使用与二分搜索对应的方法。该情况下，由于第2基准图像选择区间的始点为第i图像，所以，根据(i+q)/2的值决定新的第2基准图像。并且，既然第q图像不可以，那么不会选择第q图像及其后方的图像作为精简图像。由此，可以对第2基准图像选择区间的终点进行更新，设为j＝q即可。图20(D)示出第9个图像不可以的情况的例子。选择第7个图像作为新的第2基准图像，并且，第2基准图像选择区间的终点j被更新为j＝9。

另外，第2基准图像选择区间为半开区间是为了便于进行这里的说明。即，在第q图像可以的情况下，存在选择该第q图像作为精简图像的可能性，所以，在设第2基准图像选择区间的始点i为i＝q的情况下，i可以包含在第2基准图像选择区间中。另一方面，在第q图像不可以的情况下，由于不会选择该第q图像作为精简图像，所以，在设第2基准图像选择区间的终点j为j＝q的情况下，j不包含在第2基准图像选择区间中较好。如上所述，只不过将第2基准图像选择区间设为[i、j)，在符号和式子的表记方面，通过开区间或闭区间表示第2基准图像选择区间都没有问题。

通过以上的处理，缩小第2基准图像选择区间(狭义地讲为下一个精简图像的搜索范围)。由于下一个精简图像是第k图像可以且第k+1图像不可以的情况下的第k图像，所以，如果发现了可以的图像和不可以的图像相邻的部位，则结束处理。在上述例子中，假设在结束之前以二分搜索的方式进行处理，例如如图20(E)所示。第i图像可以，其相邻的两个第j图像不可以，其间的第q图像成为第2基准图像。该情况下，如果第q图像可以，则如图20(F)所示，如果不可以，则如图20(G)所示，不管怎样，第2基准图像选择区间的始点和终点相邻，并且，与始点对应的图像可以，与终点对应的图像不可以。由此，选择与始点对应的图像作为下一个精简图像即可，所以，针对输入图像列的搜索处理结束。

如果发现了下一个精简图像，则设定由该图像及其以后的图像构成的部分图像列作为输入图像列即可，这点与第2实施方式的基本方法相同。由此，部分图像列设定部1008将第2基准图像选择区间的始点及其以后的图像设定为部分图像列，将该部分图像列作为新的输入图像列。给出新的输入图像列后，以后的处理相同，所以省略详细说明。

图21示出说明该处理的流程图。S601、S602与S301、S302相同。在S602中选择出第1基准图像后，设定第2基准图像选择区间(S609)。作为S602之后进行的S609的处理，例如如上所述，设定满足i＝2、j＝N+2的[i、j)的半开区间即可。并且，如后所述，在S603或S606之后进行S609的处理的情况下，成为已经设定的第2基准图像选择区间的更新处理。

在S609中进行第2基准图像选择区间的设定(或更新)处理后，判定其始点和终点是否相邻(是否满足j＝i+1)(S610)。在S610为“是”的情况下，如图20(F)所示，处于得知第i图像是第1图像的下一个精简图像的状况，所以，将第i图像及其以后的图像设定为部分图像列(S607)，返回S602。

在S610为“否”的情况下，处于还未发现下一个精简图像的状况，所以，从S609中设定的第2基准图像选择区间中选择第2基准图像(S608)。在S602的第1基准图像设定后、首次进行S608的处理的情况下，例如选择第i+1图像(第1基准图像后方2个的图像)即可。除此以外的情况下，进行根据之前的第2基准图像的位置选择新的第2基准图像的处理。

在S608中选择出第2基准图像后，选择判定对象图像(S603)。判定对象图像选择后的覆盖区域计算处理(S604)、覆盖率计算处理(S605)、图像可否删除判定处理(S606)与S304～S306相同。在S606中判定为能够删除的情况下，返回S603，将判定对象图像更新为后方1个的图像，进行同样的处理。通过反复进行S603～S606的处理，执行是第1基准图像与第2基准图像之间的图像全部能够删除、还是至少1个图像不能删除的判定。在全部能够删除的情况下，在S603的判定中成为判定对象图像＝第2基准图像，返回S609。并且，在至少1张图像不能删除的情况下，在S606的判定中成为不能删除，返回S609。另外，虽然在图21中未图示，但是，需要保持是从S603返回S609、还是从S606返回S609这样的信息，根据该信息对下一个S609等中的处理进行变更。

在从S603返回S609的情况下，处于能够删除全部图像的状况，所以，进行更新第2基准图像选择区间的始点的处理，其结果，在S608中选择比前一个第2基准图像靠后方的图像作为新的第2基准图像。另一方面，在从S606返回S609的情况下，处于至少1张图像不能删除的状况，所以，进行更新第2基准图像选择区间的终点的处理，其结果，在S608中选择比前一个第2基准图像靠前方的图像作为新的第2基准图像。

在以上的变形例中，在从由第1～第N图像构成的输入图像列中选择第p图像作为第1基准图像、选择第q图像作为第2基准图像的情况下，处理部100从设定了与第p+2～第N图像对应的始点和终点的第2基准图像选择区间中选择第2基准图像。然后，根据第1基准图像和第2基准图像判定可否删除判定对象图像，在判定为能够删除第p+1～第q-1图像的情况下，选择第2基准图像选择区间中包含的第x(x为满足x>q的整数)图像作为新的第2基准图像。并且，与此同时，可以将第2基准图像选择区间的始点更新为第q图像。

这里，鉴于作为第2基准图像的候选的图像的性质，第2基准图像选择区间包含第p+2～第N图像。但是，如第N+1图像那样，也可以选择假想图像作为第2基准图像，所以，第2基准图像选择区间的终点可以大于N。并且，第2基准图像选择区间还具有下一个精简图像的搜索范围这样的侧面，所以，未被选择为第2基准图像的图像而可能被选择为精简图像的图像也可以包含在该选择区间中。该情况下，可以设定第1基准图像的后方1个的图像(第p+1图像)作为第2基准图像选择区间的始点。

由此，在更新第2基准图像时，能够灵活地决定新的第2基准图像的位置。换言之，第2实施方式的基本方法是从开头起一个一个地检查搜索范围来减小搜索范围的方法，所以，根据正解的位置，计算量非常大。关于这点，能够选择不相邻的图像作为新的第2基准图像，由此，通过一个单位的判定(第q图像是可以还是不可以的判定)，能够大大减小搜索范围。由此，能够期待计算量的削减效果，能够减轻系统的负荷并缩短处理时间。

并且，在判定为不能删除第p+1～第q-1图像中的至少1个图像的情况下，处理部100可以选择第2基准图像选择区间中包含的第y(y为满足y<q的整数)图像作为新的第2基准图像。与此同时，将第2基准图像选择区间的终点更新为第q图像。

由此，在更新第2基准图像时，能够选择比当前的第2基准图像靠前方的图像作为新的第2基准图像。如上所述，朝向后方的搜索不限于选择相邻图像，在比当前的第2基准图像靠前方也可能存在未搜索范围，根据可否删除的判定结果，认为该未搜索范围内存在正解。该情况下，通过朝向前方进行搜索，能够进行适当的处理。并且，与朝向后方的搜索同样，新的第2基准图像的选择不限于相邻图像。

并且，在第j(j为整数)图像对应于第2基准图像选择区间的终点的情况下，处理部100可以根据(q+j)/2的值设定x的值。或者，在第i(i为整数)图像对应于第2基准图像选择区间的始点的情况下，可以根据(i+q)/2的值设定y的值。

由此，在每次选择新的第2基准图像时，能够使用二分搜索的方法。在朝向后方进行搜索的情况下，选择当前的第2基准图像与终点的中间的图像，在朝向前方进行搜索的情况下，选择当前的第2基准图像与始点的中间的图像。由此，能够使搜索范围(相当于第2基准图像选择区间的长度)减小一半，如果选择logN张图像作为第2基准图像，则期待全部搜索范围的搜索结束。由此，计算量的级别能够抑制为N×logN，在N非常大的情况下，与第2实施方式的基本方法(计算量的级别为N²)相比，计算量的削减效果很大。另外，(q+j)/2和(i+q)/2不限于整数，所以，有时不存在与各个值对应的图像。此时，例如考虑不超过(q+j)/2的最大的整数、或比该值大1的整数等即可。

并且，在更新了第2基准图像选择区间的始点或终点的结果为始点和终点相邻的情况下，处理部100也可以进行将作为第1基准图像而选择出的图像包含在精简图像列中的处理。并且，也可以设定由与始点对应的图像和输入图像列中比与始点对应的图像靠后方的图像构成的部分图像列作为输入图像列，针对所设定的输入图像列，将p的值设定为1，再次进行处理。

这里，始点和终点相邻是指，与始点对应的图像和与终点对应的图像在输入图像列中相邻。在给出N张图像作为输入图像列的情况下，假设输入图像列是在时间序列或空间中连续的图像的集合，所以，根据其连续性，能够定义图像列的前方、后方。例如时间序列中较早时刻取得的图像是比该时刻之后的时刻取得的图像靠前方的图像。具体而言，将输入图像列的各图像表示为第1～第N图像，给出的数值越小的图像越位于前方。由此，图像列中的第i图像和第j(>i)图像相邻是指满足j＝i+1的状况。

由此，作为针对输入图像列的处理的结束条件，能够设定基于第2基准图像选择区间的始点、终点(或长度)的条件。通过设定这种结束条件，在选择为第2基准图像的情况下，能够选择被判定为可以的图像群中的预想与第1基准图像最远的图像作为部分图像列的开头图像(相当于下一个精简图像)。这是因为，如图20(F)等所示，该结束条件与搜索可以的图像和不可以的图像相邻的位置相等。因此，能够减少最终输出的精简图像列中包含的精简图像的张数，能够减轻用户的负担等。

3.3变形例(第2基准图像的初始设定)

在以上的第2实施方式及其变形例中，在输入了输入图像列(可以是图像列取得部200取得的图像列，也可以是由其一部分图像构成的部分图像列)的情况下，最初设定的第2基准图像限定为第1基准图像的后方2个的图像。

但是，第2基准图像的初始位置可以不同。例如，在实际的图像列中，相似图像大幅连续的区间和不怎么存在相似图像的区间相邻的情况并不多。即，预测为下次的精简区间的长度(表示相邻的精简图像以何种长度分开)接近上次的精简区间的长度。由此，如果已经得到多个精简图像、且取得了与“上次的精简区间的长度”相当的信息，则将第2基准图像的初始位置设定在从第1基准图像分开“上次的精简区间的长度”的位置，由此，能够期待更快到达正解，还能够期待计算量的削减效果。

具体而言，从紧挨着的之前的精简图像及其前一个精简图像取得精简区间的长度g。然后，在第2基准图像选择区间为[i、j)的情况下，不将第2基准图像设定为第i+1图像，而将其设定为第i+g图像即可。另外，在已经决定的精简图像为0张或1张的情况下，无法取得g。该情况下，不使用g设定第2基准图像的初始位置。例如，如果精简图像为0张，则如上所述可以将第2基准图像设为第i+1图像。并且，在精简图像为1张的情况下，可以将从图像列取得部200所取得的图像列的开头的图像到该精简图像的长度设为g’，将最初的第2基准图像设为第i+g’图像。

另外，在需要进行第2基准图像的更新处理的情况下，该更新方法考虑各种方法。例如，如上述变形例那样，可以使用二分搜索的方法选择下一个第2基准图像。

但是，鉴于在第i+g图像附近存在下一个精简图像的可能性较高这样的假设，在更新后的第2基准图像大幅远离第i+g图像时，认为不得不增大发现下一个精简图像为止的搜索次数，反而不理想。该情况下，如第2实施方式的基本方法所述那样，可以选择与上次的第2基准图像相邻的图像作为新的第2基准图像。但是，既然没有对第i+1～第i+g-1图像进行判定，也可能在该范围内存在下一个精简图像。由此，第2基准图像的更新不限于一个一个地向后方转移，根据可否删除的判定结果，有时还会一个一个地向前方转移。

4.第3实施方式

在第3实施方式中，说明以序列顺序进行对基准图像的前方/后方的图像保证覆盖率的图像精简处理的方法。图15示出本实施方式中的图像处理装置的系统结构例。构成为相对于图1的处理部100追加图像列分割部1006。

在本实施方式中，基准图像选择部1001从输入图像列的最初和最后的图像以外的图像中选择基准图像(如果输入图像列的图像小于3张，则不在此限)。狭义地讲，可以将输入图像列的中央的图像作为基准图像。判定对象图像选择部1002依次选择输入图像列中包含的图像中的基准图像以外的全部图像。

图像列分割部1006将输入图像列分割为由比基准图像靠前的图像构成的第1图像列和由比基准图像靠后的图像构成的第2图像列。部分图像列设定部1008根据第1图像列中包含的图像的可否删除的判定结果进行部分图像列设定处理，并且，根据第2图像列中包含的图像的可否删除的判定结果进行部分图像列设定处理。

图16示出说明本实施方式的图像精简处理的流程图。该处理开始后，首先，与S101等同样，在图像列取得部200中取得作为图像精简处理的对象的图像列(S501)。然后，将图像列取得部200所取得的图像列追加到输入图像列群中。

接着，使用图17对输入图像列群中包含的输入图像列执行后述处理(S502)。在初次进行S502的处理的情况下，成为针对S501中取得的图像列的处理。另外，从输入图像列群中删除作为S502的处理对象的输入图像列。然后，判定在输入图像列群中是否残留有输入图像列(S503)。如后所述，在S502的处理中，根据情况设定1个或2个部分图像列，所设定的部分图像列被追加到输入图像列群中，所以，在S503中可能判定为“是”。在S503为“否”的情况下，结束处理。

图17示出说明图16的S502的处理的流程图。该处理开始后，首先，从输入图像列群中选择作为处理对象的输入图像列(S401)。关于S402～S406，虽然存在基准图像的选择位置的差异等，但是大致与S102～S106相同。另外，在本实施方式中，与可否删除的判定结果无关，依次选择输入图像列中包含的全部图像(其中，基准图像除外)作为判定对象图像进行处理。然后，在针对全部图像的可否删除的判定结束的情况下，在S403中判定为不存在要选择的图像，转移到S409。

在S409中，将输入图像列分割为由比基准图像靠前的图像构成的第1分割图像列和由比基准图像靠后的图像构成的第2分割图像列。然后，根据第1分割图像列和第2分割图像列进行部分图像列的设定处理(S407)。在S407中，具体而言，首先，判定在第1分割图像列所包含的图像中是否存在至少一个在S406中判定为不能删除的图像(S4071)，在“是”的情况下，将第1分割图像列设定为部分图像列，将其追加到输入图像列群中(S4072)。同样，判定在第2分割图像列所包含的图像中是否存在至少一个在S406中判定为不能删除的图像(S4073)，在“是”的情况下，将第2分割图像列设定为部分图像列，将其追加到输入图像列群中(S4074)。即，在S502的处理中，将1个输入图像列作为输入进行处理的结果为，将0～2个部分图像列追加到输入图像列群中。

图18(A)～图18(B)图示了以上的图像精简处理。如图18(A)所示，在图像列取得部200取得了具有N张图像的图像列的情况下，将该图像列追加到输入图像列群中，作为S502中的处理对象。在S502中，首先，选择第x个(2≦x≦N-1、狭义地讲x为接近N/2的值)图像作为基准图像，依次选择第1～x-1个图像和第x+1～N个图像作为判定对象图像，进行可否删除的判定。

然后，在判定为不能删除第1～x-1个图像中的至少1个图像的情况下，无法通过基准图像覆盖全部第1～x-1个图像，所以，需要在第1～x-1个图像中设定基准图像。具体而言，将第1～x-1个图像作为分割图像列，将该分割图像列作为输入图像列，再次执行S502的处理。例如，如图18(B)所示，选择由x-1张图像构成的图像列中的第y个(2≦y≦x-2、狭义地讲y为接近(x-1)/2的值)图像作为基准图像，依次选择其他图像作为判定对象图像，进行可否删除的判定。其结果，根据情况，将由第1～y-1个图像构成的分割图像列和由第y+1～x-1个图像构成的分割图像列追加到输入图像列群中，作为S502的处理对象。下面，在判定为能够删除分割图像列中包含的全部图像、而不将该分割图像列包含在精简图像列中之前，反复进行S502的处理。

并且，如图18(B)所示，由第x+1～N个图像构成的分割图像列也进行同样的处理。

在以上的本实施方式中，在输入了第1～第N(N为2以上的整数)图像作为输入图像列的情况下，处理部100选择第s(s为满足2≦s≦N-1的整数)图像作为所述基准图像，并且选择第t(t为满足1≦t≦N且t≠s的整数)图像作为所述判定对象图像。然后，根据基准图像与判定对象图像之间的变形信息计算覆盖率，根据覆盖率判定可否删除判定对象图像。进而，在判定为不能删除第1～第s-1图像中的至少1个图像的情况下，将由第1～第s-1图像构成的部分图像列设定为输入图像列，再次进行处理。并且，在判定为不能删除第s+1～第N图像中的至少1个图像的情况下，将由第s+1～第N图像构成的部分图像列设定为输入图像列，再次进行处理。

由此，能够进行图18(A)、图18(B)所示的处理。这里，优选第s图像是输入图像列的中央附近的图像。即，以基准图像为边界将输入图像列分成2个分割图像列，分别对其进行可否删除的判定，如果不能删除，则将该分割图像列设定为输入图像列。由此，在本实施方式中，在输入了1个输入图像列的情况下，作为输出，也可能设定2个新的输入图像列。并且，在本实施方式中，在判定为不能删除分割图像列中至少1个图像的情况下，将该分割图像列全体设定为新的输入图像列，从中选择基准图像。即，应该留意到，即使判定为能够删除给定的图像，也不一定立即确定删除，在将包含该给定的图像的分割图像列设定为新的输入图像列时，可能选择该给定的图像作为基准图像，最终包含在精简图像列中(即，未通过图像精简处理而删除)。

5.第4实施方式

对使用了观察区域的基本方法进行说明。具体而言，说明图像处理装置的系统结构例，使用流程图说明处理流程后，举出3个例子对可否删除判定处理进行详细说明。

5.1系统结构例

图22示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部100、图像列取得部200、存储部300。

如图22所示，处理部100可以包括基准图像选择部1011、判定对象图像选择部1012、变形信息取得部1013、观察区域设定部1014、对应区域设定部1015、图像特征量计算部1016、可否删除判定部1017、部分图像列设定部1018。

基准图像选择部1011、判定对象图像选择部1012与图1的基准图像选择部1001、判定对象图像选择部1002相同。变形信息取得部1013取得2个图像间的变形信息。

观察区域设定部1014设定判定对象图像的一部分区域作为观察区域。作为观察区域，例如使用一边的长度为L的正方形区域即可。对应区域设定部1015根据变形信息取得部1013所取得的变形信息，对观察区域进行变形，求出基准图像上的对应区域。

图像特征量计算部1016计算观察区域设定部1014设定的观察区域的特征量和对应区域设定部1015设定的对应区域的特征量。特征量的具体例在后面叙述。

可否删除判定部1017根据图像特征量计算部1016计算出的观察区域的特征量(第2特征量)和对应区域的特征量(第1特征量)，判定可否删除判定对象图像。详细在后面叙述。

在可否删除判定部1017判定为不能删除判定对象图像的情况下，部分图像列设定部1018根据该时刻的判定对象图像在图像列中的位置，设定图像列的一部分、即由1张以上的图像构成的图像列作为部分图像列。

5.2处理流程

接着，使用图23的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始后，首先，取得作为图像精简处理对象的图像列(S701)。

基准图像选择部1011选择输入图像列(在最初的处理中为S701中取得的图像列、此后为后述S709中设定的部分图像列)的开头的图像作为基准图像(S702)。这里选择出的基准图像保留在精简图像列中。另外，在由于错误等理由而无法从输入图像列中选择基准图像的情况下(例如图像列中不存在图像的情况下等)，结束处理。

然后，判定对象图像选择部1012从输入图像列中包含的图像中选择判定对象图像(S703)。在未设定判定对象图像的情况下，选择基准图像的下一个图像(输入图像列的第2个图像)作为判定对象图像。并且，在已经选择了输入图像列的第k个图像作为判定对象图像的情况下，错开一个选择位置，选择输入图像列的第k+1个图像作为新的判定对象图像。在无法选择判定对象图像的情况下(输入图像列中包含的图像的张数少于2或k+1的情况下等)，结束处理。

在选择出基准图像和判定对象图像后，变形信息取得部1013取得基准图像与判定对象图像之间的变形信息(S704)。然后，在判定对象图像上设定观察区域(S705)。在S703的判定对象图像设定后、初次进行S705的处理的情况下，例如将判定对象图像的左上方的区域作为观察区域即可。

在设定了观察区域的情况下，根据S704中取得的变形信息对所设定的观察区域进行变形，通过将其映射到基准图像上，求出对应区域(S706)。

然后，求出观察区域的特征量即第2特征量和对应区域的特征量即第1特征量(S707)，根据所求出的第1、第2特征量判定可否删除判定对象图像(S708)。S707、S708的处理在后面详细叙述。

在S708中判定为能够删除判定对象图像的情况下，返回S705，再次设定观察区域。具体而言，进行更新观察区域的设定位置的处理即可，作为一例，如图24所示，使观察区域在判定对象图像上的位置从左上方向右下方向移动即可。在设定了观察区域的情况下，再次执行S706～S708的处理。

在S705中观察区域到达右下端的情况下，在判定对象图像中设定的全部观察区域中，S708的可否删除的判定结果为能够删除，所以，确认能够删除该判定对象图像这样的结果，返回S703，进行判定对象图像的更新处理。

另一方面，在更新观察区域的过程中，在即使一次在S708中判定为不能删除判定对象图像的情况下，确定不能删除该判定对象图像这样的结果，部分图像列设定部1018设定部分图像列(S709)。具体而言，设定由判定为不能删除的判定对象图像及其以后的图像构成的图像列作为部分图像列即可。在设定了部分图像列后，返回S702，将该部分图像列作为输入图像列，执行上述处理。作为图像精简处理的流程，与使用了图4(A)～图4(D)的上述的流程相同。

另外，在图23的流程图中，设在S708中即使1次判定为不能删除的情况下则不能删除判定对象图像来进行说明，但是不限于此。例如，也可以在判定对象图像上最大M次(M为2以上的整数)设定观察区域的情况下，设定满足1≦t≦M的整数t，在S708中t次以上判定为不能删除的情况下，不能删除判定对象图像。并且，在根据最大M次进行的S708中的可否删除的判定结果来决定最终结果时，也可以使用其他方法，例如，进行与图像周缘部设定的观察区域(或对应区域)中的结果相比更加重视图像中央部设定的观察区域(或对应区域)中的结果的加权处理等，能够进行各种变形实施。

5.3可否删除的判定

接着，对图23的S707中的特征量计算处理和S708中的可否删除判定处理进行详细说明。另外，这里，设已经设定了观察区域和对应区域来进行说明。

5.3.1基于明度信息的可否删除的判定

首先，对使用观察区域和对应区域的明度信息作为特征量的方法进行说明。考虑各种表示区域的明度信息的指标值，例如，将区域内的像素的RGB值转换为明度值，将该明度值在区域内的平均值作为特征量即可。另外，根据各像素的明度值求出区域的明度信息的方法不限于平均值的计算，也可以使用中央值等。并且，平均值的计算也不限于单纯平均，还可以使用加权平均，还可以使用将极端值除外的修整平均。

考虑各种将各像素的RGB值转换为明度值的方法，但是，这里，直接使用R的像素值、G的像素值、B的像素值中的最大的像素值作为明度值。但是，通过其他方法求出明度值也无妨。

接着，对基于对应区域的明度信息即第1特征量和观察区域的明度信息即第2特征量的可否删除判定处理进行说明。这里，根据2个条件判定可否删除判定对象图像。

第1条件是根据上限阈值K_over和下限阈值K_under决定的条件。具体而言，进行第1特征量与K_over、K_under的比较处理。更具体而言，在第1特征量满足下式(2)的情况下判定为能够删除判定对象图像，在不是这样的情况下判定为不能删除。

K_under≦第1特征量≦K_over……(2)

这里，K_under设定在明度信息小于该值的情况下区域过暗而难以观察的值即可，典型情况下，第1特征量小于K_under的情况表示对应区域发黑而不适于观察的状况。

另一方面，K_over设定在明度信息大于该值的情况下区域过亮而难以观察的值即可，典型情况下，第1特征量大于K_over的情况表示对应区域泛白而不适于观察的状况。

通过进行基于上式(2)的判定，能够检测对应区域泛白或发黑(或与其接近的状态)的情况，所以，可知对应区域中摄像的被摄体难以观察。该情况下，既然根据变形信息设定了对应区域和观察区域，在所摄像的被摄体区域具有对应关系，所以，将判定对象图像保留在精简图像列中，通过参照判定对象图像上的观察区域，能够进行适当的观察。

另外，即使将判定对象图像保留在精简图像列中，在判定对象图像上观察区域泛白或发黑而无法观察作为问题的被摄体的情况也不变，保留判定对象图像的优点较少。由此，可以使用如下方法：不仅进行上式(2)的判定，还对下式(3)进行判定，在不满足上式(2)且满足下式(3)的情况下，判定为不能删除判定对象图像，除此以外判定为能够删除。

K_under≦第2特征量≦K_over……(3)

并且，第2条件是针对第1特征量与第2特征量的差分值(狭义地讲为其绝对值)而由给定的阈值K_light决定的条件。具体而言，在下式(4)成立的情况下，判定为不能删除判定对象图像。

|第1特征量-第2特征量|>K_light……(4)

如图25所示，第1特征量与第2特征量的差分值的绝对值较大的情况是对应区域的明亮度和观察区域的明亮度大幅不同的状况。假设观察被摄体时优选的明亮度根据被摄体的种类等而不同，既存在希望观察较亮图像的情况，也存在希望观察较暗图像的情况。虽然基于阈值K_light的设定，但是，假设上式(4)成立的状况为第1、第2特征量中的一方较大、另一方较小的情况，对应于对应区域和观察区域中的一方较亮、一方较暗的极端状况。即，由于对应区域的明亮度不是假设为能够通用的中间值，所以，根据状况，对应区域的被摄体可能难以观察。由此，通过将包含明亮度大幅不同的观察区域的判定对象图像保留在精简图像列中，提高能够进行适当观察的可能性。

另外，在上式(4)成立的情况下，也考虑对应区域适于观察、观察区域不适于观察的情况。但是，如上所述，哪种明亮度适于观察依赖于状况，所以，既然事前难以进行设定，在本实施方式中，如果上式(4)成立，则进行将判定对象图像保留在精简图像列中的处理。即，在本实施方式的方法中，根据状况，容许可能将不需要的判定对象图像保留在精简图像列中。

5.3.2基于尺寸信息的可否删除的判定

接着，对使用观察区域和对应区域的尺寸信息作为特征量的方法进行说明。尺寸信息对应于区域的面积，例如通过对区域中包含的像素的数量进行计数来求出尺寸信息即可。但是，尺寸信息的计算方法不限于此，也可以通过其他方法求出尺寸信息。

如图26所示，将尺寸信息作为特征量的情况下的问题在于，对应区域的尺寸极小而使被摄体被压缩的状况。由此，这里，在对应区域的尺寸信息即第1特征量的值较小的情况下，将判定对象图像保留在精简图像列中，能够在判定对象图像的观察区域中观察对应区域中压缩的被摄体。另外，仅根据对应区域的尺寸(即，仅根据第1特征量)进行可否删除的判定也无妨，但是，这里，使用观察区域的尺寸相对于对应区域的尺寸的比等相对尺寸进行判定。例如在满足下式(5)的情况下，视为对应区域的尺寸小到不适于观察的程度，判定为不能删除判定对象图像。

(第2特征量/第1特征量)>K_area·····(5)

另外，用于判定的式子不限于上式(5)，基于第1特征量与第2特征量的相差度即可。例如，也可以求出第2特征量的对数与第1特征量的对数的差分值，进行所求出的差分值与给定的阈值的比较处理。并且，还可以单纯地求出第2特征量与第1特征量的差分值，进行所求出的差分值与给定的阈值的比较处理。

5.3.3基于给定的形状的相似度的可否删除的判定

接着，对使用观察区域和对应区域的与给定的形状的相似度作为特征量的方法进行说明。与给定的形状的相似度表示区域与给定的形状以何种程度相似，例如如果给定的形状为圆，则将通过下式(6)求出的圆形度作为特征量即可。但是，给定的形状不限于圆，相似度的计算方法也不限于下式(6)。

【数学式2】

如图27所示，将与给定的形状的相似度作为特征量的情况下的问题在于，由于对应区域采取极端形状而使被摄体压缩的状况。例如在图27中，对应区域采取短边远远短于长边的长方形，由此，在短边方向上，被摄体被压缩而难以观察。由此，这里，在设定适于观察的简单形状(例如圆形状或正方形等)作为给定的形状后，在对应区域与给定的形状的相似度即第1特征量的值较小的情况下，将判定对象图像保留在精简图像列中，能够在判定对象图像的观察区域中观察对应区域中被压缩的被摄体。另外，仅根据对应区域的相似度(即，仅根据第1特征量)进行可否删除的判定也无妨，但是，这里，使用观察区域的相似度相对于对应区域的相似度的比等相对信息进行判定。例如在满足下式(7)的情况下，视为对应区域的形状极端地成为不适于观察的程度，判定为不能删除判定对象图像。

(第2特征量/第1特征量)>K_shape·····(7)

另外，用于判定的式子不限于上式(7)，这点与使用尺寸信息的例子相同。例如，也可以求出第2特征量的对数与第1特征量的对数的差分值，进行所求出的差分值与给定的阈值的比较处理。并且，还可以单纯地求出第2特征量与第1特征量的差分值，进行所求出的差分值与给定的阈值的比较处理。

5.3.4基于多个特征量的判定的组合

并且，也可以组合使用上述使用了明度信息的可否删除的判定、使用了尺寸信息的可否删除的判定、以及使用了与给定的形状的相似度的可否删除的判定中的2种以上。

此时的组合方式考虑各种方法，但是，如果重点在于抑制不适于观察的区域的产生，则能够提高判定为不能删除判定对象图像的可能性。由此，在使用多种特征量的情况下，针对各特征量进行可否删除的判定，在全部可否删除的判定中判定为能够删除的情况下，删除判定对象图像。另一方面，在多个可否删除的判定中的至少1个判定中不能删除的情况下，不删除判定对象图像。由此，在根据至少1个特征量判定为对应区域不适于观察时，保留判定对象图像，能够提高可适当观察作为对象的被摄体的可能性。

但是，由于容易判定为不能删除判定对象图像，由此，图像精简处理后的精简图像列中保留的图像的张数增加，图像张数的削减效果可能降低。由此，如果重视图像张数的削减，则与上述方法相比，可以使用判定为能够删除判定对象图像的可能性较高的方法。

例如，与上述方法同样，在多个可否删除的判定中的至少1个判定中不能删除的情况下，即使不删除判定对象图像的情况下，也考虑变更各特征量的可否删除的判定的判定条件。例如，在一并使用尺寸信息和与给定的形状的相似度的情况下，与分别单独使用的情况相比，增大K_area的值和K_shape的值即可。这样，由于容易在各可否删除的判定中判定为能够删除，所以，能够进行基于尺寸和相似度这2个不同观点的判定，能够抑制图像精简处理后的精简图像列中包含的图像张数过度增加。

在以上的本实施方式中，如图22所示，图像处理装置包括：图像列取得部200，其取得具有多个图像的图像列；以及处理部100，其进行删除图像列取得部200所取得的图像列的多个图像的一部分并取得精简图像列的图像精简处理。处理部100从多个图像中选择图像精简处理的基准图像和判定对象图像，在判定对象图像上设定观察区域，并且，根据基准图像与判定对象图像之间的变形信息求出与观察区域对应的基准图像上的区域即对应区域。然后，根据从对应区域中求出的第1特征量和从观察区域中求出的第2特征量中的至少一方判定可否删除判定对象图像。

这里，观察区域是判定对象图像上设定的区域，狭义地讲，是比判定对象图像小的区域。如果要判定在判定对象图像中摄像的被摄体全体是否是在基准图像中适于观察的状态，则需要在选择出一组基准图像和判定对象图像时，改变观察区域在判定对象图像上的位置，并多次进行设定以网罗判定对象图像全体。例如，判定对象图像中包含的全部像素至少一次包含在观察区域中，这个如图24所示，通过从左上方向朝右下方向以1个像素为单位一边移动一边设定观察区域来实现。但是，如果观察区域的设定次数变多，则处理负荷也加重，所以，也可以通过以观察区域的一边的长度为单位来移动观察区域并进行设定等，来削减计算量。

另外，在使用尺寸信息作为特征量的情况下，观察区域也可以设定进行适当观察所需要的充分的区域。这样，由于第2特征量示出适当的基准值，所以，通过该第2特征量与第1特征量的比较处理等，能够判定对应区域是否是适于观察的尺寸。同样，如果特征量为与给定的形状(这里为圆或正方形等适于观察的形状)的相似度，则观察区域也可以使用接近该给定的形状的形状(狭义地讲为同一形状)。并且，假设观察区域在一连串处理中使用固定尺寸、形状的区域，但是，可变地设定观察区域也无妨。

由此，能够根据判定对象图像上的观察区域的特征量和基准图像上的对应区域的特征量来判定可否删除判定对象图像。如果对应区域是根据变形信息对观察区域进行变形而求出的区域，则观察区域和对应区域中摄像的被摄体具有对应关系。由此，在根据特征量判定为对应区域不适于观察的情况下，使摄像有对应(狭义地讲为相同)的被摄体的观察区域在图像精简处理后也成为能够阅览的状态即可，能够通过将判定对象图像包含在精简图像列中(判定为不能删除判定对象图像)的处理来实现。

并且，上述第1特征量可以是对应区域的明度信息、尺寸信息和与特定形状的相似度信息中的至少一方。并且，上述第2特征量可以是观察区域的明度信息、尺寸信息和与特定形状的相似度信息中的至少一方。

这里，给定的区域与特定形状的相似度是表示该给定的区域以何种程度接近特定形状的指标值。例如，在考虑圆作为特定形状的情况下，关于正k边形(k为3以上的整数)的区域，k越小则相似度越小，k越大则相似度越大。并且，如果特定形状如圆那样具有对称性，则与不具有对称性的区域相比，具有对称性的区域存在相似度较大的倾向。

由此，能够使用明度信息、尺寸信息和与特定形状的相似度信息中的至少一方作为特征量。即，在本实施方式的图像处理装置中，根据明亮度、尺寸、形状中的任意一方判定对应区域中的被摄体是否适于观察，在不适于观察的情况下，将判定对象图像保留在精简图像列中。具体而言，认为明亮度过亮的情况(泛白)、过暗的情况(发黑)、尺寸极小的情况、形状极端的情况(压缩或扭曲的情况)等是不适于观察的状态。

并且，处理部100可以根据第1特征量与第1阈值的第1比较处理、第2特征量与第2阈值的第2比较处理、以及第1特征量和第2特征量的相差度与第3阈值的第3比较处理中的至少1个比较处理，判定可否删除判定对象图像。

这里，相差度表示第1特征量与第2特征量的差异程度，根据差分、比或与它们相当的值(例如各个特征量的对数的差分等)来求出相差度。在使用了明度信息作为特征量的情况下，相差度较大是指对应区域和观察区域中的一方较亮、另一方较暗的状况。并且，在使用了尺寸信息作为特征量的情况下，相差度较大是指对应区域和观察区域中的一方的面积较大、另一方的面积较小的状况。同样，在使用了与特定形状的相似度作为特征量的情况下，相差度较大是指对应区域和观察区域中的一方是接近特定形状的形状、另一方是远离特定形状的形状的状况。

由此，能够根据第1～第3比较处理中的至少一个比较处理进行可否删除的判定。第1比较处理是根据对应区域的特征量即第1特征量进行的处理，例如如上式(2)所示，如判定对应区域的泛白或发黑时那样，假设在能够与观察区域的状态无关地进行判定的状况下使用该第1比较处理。第2比较处理是根据观察区域的特征量即第2特征量进行的处理，例如如上式(3)所示，假设在判定观察区域的泛白或发黑时使用该第2比较处理。另外，单独使用第2比较处理也无妨，但是，如果考虑图像精简处理后的图像张数的削减效果，则优选与第1比较处理等一并使用。另一方面，第3比较处理是基于第1特征量与第2特征量的相差度的处理，所以是考虑了对应区域和观察区域双方的状态的处理，通过进行第3比较处理，能够进行高精度的可否删除的判定。另外，对应区域的明度信息和观察区域的尺寸信息的比较等无用，所以可知，第3比较处理中使用的2个特征量需要具有对应关系。即，如果一个特征量是明度信息，则第3比较处理中使用的另一个特征量也是明度信息，如果一方是尺寸信息，则另一方也是尺寸信息，如果一方是与特定形状的相似度，则另一方也是与特定形状的相似度。

并且，处理部100可以根据对应区域的像素的像素值求出对应区域的明度信息作为第1特征量，并且根据观察区域的像素的像素值求出观察区域的明度信息作为第2特征量。

由此，能够使用明度信息作为特征量来进行可否删除的判定。针对区域中包含的各像素计算明度，根据计算出的明度求出对应区域、观察区域的明度信息。像素的明度使用R、G、B的各像素值中的最大像素值，但是，也可以通过其他方法(例如最大值与最小值的平均值等)求出。并且，作为根据像素的明度求出区域的明度信息的方法，取区域中包含的全部像素的明度的平均值即可，但是，也可以使用其他方法(中央值、加权平均、修整平均等)。作为基于明度信息的可否删除的判定的具体例，考虑如下处理：在对应区域泛白或发黑而不适于观察的情况下，不能删除判定对象图像。这样，能够将包含假设摄像有与对应区域相同的被摄体的观察区域的判定对象图像保留在精简图像列中，能够进行被摄体的适当观察。

并且，也可以在明度信息即第1特征量大于给定的上限阈值的情况下、或第1特征量小于给定的下限阈值的情况下，处理部100判定为不能删除判定对象图像。

由此，能够进行上式(2)所示的处理。这是假设了对应区域的泛白或发黑(或与其接近的情况)的处理。由此，作为上限阈值，设定在明度信息大于该上限阈值的情况下、被摄体过亮而不适于观察的值，作为下限阈值，设定在明度信息小于该下限阈值的情况下、被摄体过暗而不适于观察的值即可。

并且，处理部100可以求出由对应区域的尺寸信息表示的值作为第1特征量，并且求出由观察区域的尺寸信息表示的值作为第2特征量。

由此，能够使用尺寸信息作为特征量来进行可否删除的判定。尺寸信息例如使用与面积对应的信息即可，具体而言，对区域中包含的像素的数量进行计数即可。作为基于尺寸信息的可否删除的判定的具体例，如图26所示，考虑如下处理：在对应区域的面积非常小、被摄体压缩而不适于观察的情况下，不能删除判定对象图像。

并且，处理部100可以求出表示对应区域与给定的形状的相似度的值作为第1特征量，并且求出表示观察区域与给定的形状的相似度的值作为第2特征量。

由此，能够使用与特定形状的相似度作为特征量来进行可否删除的判定。关于与特定形状的相似度，例如如果特定形状为圆，则使用上式(6)的圆形度即可。作为基于与特定形状的相似度的可否删除的判定的具体例，如图27所示，考虑如下处理：在对应区域的形状极端、被摄体压缩(在图27的例子中在纵方向上进行压缩)而不适于观察的情况下，不能删除判定对象图像。

并且，也可以在第1特征量与第2特征量的相差度大于给定的阈值的情况下，处理部100判定为不能删除判定对象图像。

由此，能够使用对应区域和观察区域双方的特征量进行可否删除的判定。在使用明度信息作为特征量的情况下，相差度较大的状况是对应区域和观察区域中的一方较亮、另一方较暗的状况。关于适于观察的明亮度，不能唯一决定该值，例如根据与正在关注的被摄体的形状和色相、或者在正在关注的被摄体后方摄像的背景部分的色相等之间的关系而变动。如果对应区域的明度信息为中间值，则存在能够在某种程度上通用的可能性，但是，如上所述，在相差度较大的状况下很难这么想。即，在相差度较大(例如上式(4)成立)的情况下，必须考虑对应区域是不适于观察的明亮度的可能性，不能删除判定对象图像。但是，需要注意，对应区域是适于观察的状态，通过使用了上式(4)等的处理反而有可能将包含不适于观察的观察区域的判定对象图像保留在精简图像列中。

并且，在使用尺寸信息作为特征量的情况下，对应区域的面积较小成为问题，该情况下，观察区域的面积不增大到适于观察的程度，即使保留判定对象图像也是无效的。由此，作为相差度较大的状况，如上式(5)那样检测对应区域的面积远远小于观察区域的面积即可。另外，在使用尺寸信息作为特征量的处理中，在所设定的观察区域的尺寸、形状不变的情况下，假设第2特征量也不变，所以，能够继续使用事前计算出的值。该情况下，由于上式(5)的第2特征量为固定值，所以，处理实质上成为基于第1特征量的判定。但是，动态设定本实施方式的观察区域(例如观察区域根据用户指示而变化的情况、设定与通过图像处理而检测到的关注区域对应的区域的情况等)也无妨，所以，这种情况下，需要每次求出第2特征量。

并且，在使用与特定形状(设定适于观察的形状)的相似度作为特征量的情况下，对应区域的形状的极端成为问题，该情况下，观察区域的形状不以某种程度接近特定形状，即使保留判定对象图像也是无效的。由此，作为相差度较大的状况，如上式(7)那样检测对应区域的相似度远远小于观察区域的相似度即可。该情况下，如果观察区域的形状不变，，则能够在事前求出第2特征量。例如，考虑设定与特定形状相同的形状的区域作为观察区域。

6.第5实施方式

接着，对除了第4实施方式中说明的使用了第1、第2特征量的可否删除的判定(以下记载为第1可否删除判定处理)以外、还一并使用与其不同的第2可否删除判定处理的方法进行说明。

具体而言，针对图像列取得部200所取得的图像列的各图像进行第2可否删除判定处理，设定由判定为不能删除的精简图像构成的精简候选图像列和由判定为能够删除的删除候选图像构成的删除候选图像列。然后，进行第1可否删除判定处理并生成精简图像列，但是，此时，从精简候选图像列中选择基准图像，并且从删除候选图像列中选择判定对象图像。

即，本实施方式的方法是进行如下2个阶段的处理的方法：首先，进行第2可否删除判定处理作为预处理，暂定决定要保留的图像和要删除的图像，然后，通过使用了暂定结果的第1可否删除判定处理决定最终结果。由此，与仅根据第1可否删除判定处理和第2可否删除判定处理中的某一方进行图像精简处理的情况相比，能够提高判定精度等。这是因为，由于第2可否删除判定处理使用与第1可否删除判定处理不同的处理，所以能够从不同观点进行处理。

例如，作为第2可否删除判定处理，可以进行基于上述覆盖率的判定。通过基于覆盖率的判定，能够进行保证区域的覆盖程度的图像精简处理，但是，如图26所示，可能产生难以观察的区域。即，在使用了覆盖率的第2可否删除判定处理中，过度删除了不应该删除的图像，通过进行使用了第2可否删除判定处理的结果的第1可否删除判定处理，能够使过度删除图像复活，能够进行更加适当的图像精简处理。

下面，说明图像处理装置的系统结构例，使用流程图说明处理的流程。另外，使用第1～第3实施方式中上述的方法作为第2可否删除判定处理即可，所以省略详细说明。

6.1系统结构例

图28示出本实施方式中的图像处理装置的系统结构例。构成为相对于图22的处理部100去掉部分图像列设定部1018并追加精简候选图像列生成部1010。省略与第4实施方式相同的结构的详细说明。

精简候选图像列生成部1010对图像列取得部200所取得的图像列进行第2可否删除判定处理，生成由保留在精简图像列中的图像即精简图像构成的精简候选图像列。与此同时，也可以设定由图像列取得部200取得的图像列中的、未包含在精简候选图像列中的图像即删除候选图像构成的删除候选图像列。

本实施方式的判定对象图像选择部1012从删除候选图像列所包含的图像中选择判定对象图像。并且，基准图像选择部1011根据判定对象图像选择部1012选择出的判定对象图像在图像列(图像列取得部200取得的图像列)中的位置，从精简候选图像列所包含的图像中选择基准图像。基准图像选择部1011和判定对象图像选择部1012中的处理在后面详细叙述。

另外，在本说明书中，如上所述，将保留在精简图像列中的图像(或作为其候选的图像)设为基准图像，将作为基于该基准图像的可否删除的判定对象的图像设为判定对象图像。即，在第2可否删除判定处理中使用覆盖率的情况下，在该处理中也设定基准图像和判定对象图像，在第1可否删除判定处理(使用观察区域的处理)中也设定基准图像和判定对象图像。但是，在单纯使用基准图像、判定对象图像这样的用语可能混淆该图像是第1可否删除判定处理和第2可否删除判定处理中的哪个处理中设定的图像的情况下，将第1可否删除判定处理中的基准图像表现为“第1图像”、将判定对象图像表现为“第2图像”进行区分。

6.2处理的流程

接着，使用图29的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始后，首先，取得作为图像精简处理对象的图像列(S801)。下面，为了明确地与其他图像列进行区分，将S801中取得的图像列也表记为取得图像列。

然后，针对取得图像列进行第2可否删除判定处理，设定精简候选图像列和删除候选图像列(S802)。S802中的第2可否删除判定处理的具体例在后面叙述，但是，例如如图30所示，在判定为取得图像列所包含的12张图像中的第3个和第8个图像不能删除、其他图像能够删除的情况下，精简候选图像列由第3个和第8个图像构成，删除候选图像列由其他10张图像构成。另外，根据第2可否删除判定处理的处理内容，可能存在针对1个图像进行多次的可否删除的判定的情况，但是，这里的可否删除是指第2可否删除判定处理结束时的最终结果，通过一次判定为能够删除或不能删除，不一定立即决定该图像是删除候选图像或精简图像。

在第2可否删除判定处理后，选择判定对象图像(S803)。这里，关于判定对象图像，从删除候选图像列的开头起依次选择判定对象图像。由此，在初次进行S803的处理的情况下，选择删除候选图像列的第1个图像。然后，在第2次以后的S803的处理中，进行针对当前的判定对象图像选择删除候选图像列中后方1个的图像的判定对象图像的更新处理。

在选择出判定对象图像后，根据判定对象图像在取得图像列中的位置，从精简候选图像列中选择基准图像(S804)。这里，在取得图像列中，选择位于比判定对象图像靠前方的精简图像中的最接近该判定对象图像的图像作为第1基准图像，并且，选择位于比判定对象图像靠后方的精简图像中的最接近该判定对象图像的图像作为第2基准图像。但是，在判定对象图像的前方或后方不存在精简图像的情况下，不选择对应的基准图像。

在图30的例子中，在选择了删除候选图像列的第1个图像作为判定对象图像的情况下，在取得图像列中不存在比判定对象图像靠前方的精简图像，所以不选择第1基准图像。并且，在比判定对象图像靠后方存在2张精简图像(取得图像列中第3个和第8个图像)，但是，其中最接近判定对象图像的第3个图像(精简候选图像列的第1个图像)成为第2基准图像。

另外，在图30的例子中，如果选择删除候选图像列的第3～6个图像作为判定对象图像，则第1基准图像成为精简候选图像列的第1个图像，第2基准图像成为精简候选图像列的第2个图像。同样，如果选择删除候选图像列的第7～10个图像作为判定对象图像，则第1基准图像成为精简候选图像列的第2个图像，不选择第2基准图像。

选择出基准图像和判定对象图像后的变形信息取得处理(S805)、观察区域选择处理(S806)、对应区域选择处理(S807)、图像特征量计算处理(S808)、可否删除判定处理(S809)与图23的S704～S708相同，所以省略详细说明。

另外，在选择2张基准图像的情况下，分别进行基于第1基准图像和判定对象图像的第1可否删除判定处理、以及基于第2基准图像和判定对象图像的第1可否删除判定处理，在两个判定中不能删除时，视为不能删除判定对象图像，进行将其保留在精简图像列中的处理即可。这是因为，即使一个基准图像上的对应区域不适于观察，如果摄像有同一被摄体的另一个基准图像上的对应区域适于观察，则将判定对象图像保留在精简图像列中的优点较小。

并且，在本实施方式中，通过第2可否删除判定处理进行暂定保留的图像的搜索，所以，不需要进行如第4实施方式那样设定部分图像列的处理(对应于图23的S709)。

在以上的本实施方式中，处理部100设定图像列取得部200所取得的图像列的多个图像中的、由基于覆盖率的判定中判定为不能删除的精简图像构成的精简候选图像列，并且，设定由基于覆盖率的判定中判定为能够删除的删除候选图像构成的删除候选图像列。然后，处理部100从精简候选图像列中选择第1图像，从删除候选图像列中选择第2图像，在第2图像上设定观察区域，并且，根据第1图像与第2图像之间的变形信息求出与观察区域对应的第1图像上的区域即对应区域，根据从对应区域中求出的第1特征量和从观察区域中求出的第2特征量中的至少一方判定可否删除第2图像。

这里，第1图像表示第1可否删除判定处理中的基准图像，第2图像表示第1可否删除判定处理中的判定对象图像。

由此，作为使用了第1、第2特征量的可否删除判定处理(第1可否删除判定处理)的预处理，如图30所示，能够进行根据图像列(取得图像列)设定精简候选图像列和删除候选图像列的处理。通过从精简候选图像列中选择基准图像、从删除候选图像列中选择判定对象图像，确定精简图像包含在精简图像列中，能够进行确认删除候选图像是真正删除还是保留在精简候选图像列中的处理。由此，精简候选图像列和删除候选图像列的设定处理的精度可以在某种程度上较低。这是因为，例如，可以针对取得图像列中包含的多个图像的各图像，将能够明确判定为精简图像的图像以外的图像全部判定为删除候选图像。然后，通过第1可否删除判定处理进行高精度的判定，其结果，删除候选图像还有可能包含在精简图像列中。但是，由于假设作为精简图像的图像直接保留在精简图像列中，所以，如果考虑最终的图像精简处理的结果(例如图像张数的削减效果)等，则不是完全随机进行精简候选图像列和删除候选图像列的设定处理，优选根据某种基准进行该设定处理。

7.第6实施方式

接着，对使用场景变换来设定部分图像列的方法进行说明。

7.1系统结构例

图31示出本实施方式中的图像处理装置的系统结构例。图像处理装置包括处理部100、图像列取得部200、存储部300。

如图31所示，处理部100可以包括变形信息取得部1019、场景变换检测部1020、部分图像列设定部1021、基准图像选择部1022、判定对象图像选择部1023、可否删除判定部1024。

变形信息取得部1019取得2个图像间的变形信息。场景变换检测部1020从所取得的图像列中检测场景变换。具体方法在后面叙述。

部分图像列设定部1021根据场景变换检测部1020检测到的场景变换，设定图像列的一部分作为部分图像列。具体而言，使用场景变换的位置作为部分图像列的始点或终点即可。例如，如图32(A)所示，在图像列中检测到A1～A3这3个场景变换的情况下，作为部分图像列，设定从图像列的开头到A1为止的部分图像列B1、从A1～A2为止的部分图像列B2、从A2～A3为止的部分图像列B3、从A3到图像列的最后为止的部分图像列B4这4个部分图像列即可。更具体而言，如图32(B)所示，如果各场景变换设定在相邻的图像间，则各部分图像列的始点和终点为即将场景变换之前的图像或刚刚场景变换之后的图像。如果是图32(B)的例子，则部分图像列B1对应于从图像列的开头到场景变换A1之前的图像，部分图像列B2对应于从A1之后的图像到A2之前的图像。另外，假设设定多个部分图像列，该情况下，分别对各部分图像列进行以下的各部中的处理。

基准图像选择部1022从部分图像列的多个图像中选择基准图像。判定对象图像选择部1023选择部分图像列的多个图像中的与基准图像不同的图像作为判定对象图像。

可否删除判定部1024根据基准图像与判定对象图像之间的变形信息进行判定对象图像的可否删除判定处理。在本实施方式中，根据表示通过基准图像覆盖判定对象图像的程度的覆盖率进行判定对象图像的可否删除判定处理。

如图33所示，可否删除判定部1024可以包括覆盖区域计算部1025、覆盖率计算部1026、阈值判定部1027。但是，可否删除判定部1024不限于图33的结构，能够进行省略这些一部分结构要素或追加其他结构要素等各种变形实施。

覆盖区域计算部1025利用2个图像间的变形信息(变形参数)，将一个图像映射到另一个图像上，求出覆盖区域。覆盖率计算部1026根据覆盖区域计算覆盖率。阈值判定部1027进行计算出的覆盖率与给定的阈值的比较处理。

7.2处理的流程

接着，使用图34的流程图对本实施方式的图像精简处理的流程进行说明。该处理开始后，首先，在图像列取得部200中取得作为图像精简处理对象的图像列(S1001)。

然后，从所取得的图像列中检测场景变换(S1002)。具体而言，针对图像列的各图像判定该图像是否适于计算变形信息，在存在判定为不适于计算变形信息的图像的情况下，在与该图像对应的位置存在场景变换。例如如图35(A)所示，在从图像列中选择出的选择图像不适于计算变形信息的情况下，可以视为在该选择图像与其下一个图像之间产生场景变换，该情况下，选择图像成为部分图像列的终点，后方1个图像成为下一个部分图像列的始点。并且，如图35(B)所示，也可以视为在选择图像的前后位置产生场景变换。

这里，考虑针对该选择图像的各像素判定是否适于计算变形信息，根据适当像素在图像全体中占据的比例进行选择图像是否适于计算变形信息的判定。例如，如图36所示，在考虑到包含作为是否适于计算变形信息的判定对象的处理对象像素的给定区域的情况下，当该区域中的纹理较少时，很难区分处理对象像素与其周边像素。由此，即使选择该选择图像作为基准图像并在判定对象图像上发现具有相似特性的区域，也无法判别处理对象像素对应于判定对象图像上的区域中的哪个像素，无法计算正确的变形信息。即，这里，计算包含处理对象像素的给定区域中的纹理信息(例如边缘量)，在由纹理信息表示的值大于给定的阈值的情况下，判定为该处理对象像素是适于计算变形信息的像素。

依次选择图像列的各图像作为选择图像，针对选择出的选择图像求出适于计算变形信息的像素相对于该选择图像的全部像素数的比例，如果该值大于给定的阈值，则判定为该选择图像适于计算变形信息(即，在与该选择图像对应的位置未进行场景变换)，相反，如果为给定的阈值以下，则判定为该选择图像不适于计算变形信息(即，在与该选择图像对应的位置产生场景变换)即可。

在检测到场景变换后，根据检测到的场景变换来设定部分图像列(S1003)。具体而言，如图32(A)、图32(B)所示，对应于检测到的场景变换的位置来设定部分图像列的始点和终点即可。

与此同时，选择S1003中设定的部分图像列中的未进行图像精简处理的图像。然后，基准图像选择部1022选择已选择出的部分图像列的开头的图像作为基准图像(S1004)。并且，在给定的部分图像列中，在第2次以后的S1004的处理(从S1007返回S1004的情况)中，选择S1007的可否删除判定处理中判定为不能删除的判定对象图像作为新的基准图像。这里选择出的基准图像保留在精简图像列中。另外，在由于错误等而无法从部分图像列中选择基准图像的情况下，结束针对该部分图像列的处理，返回S1003。

在选择了基准图像的情况下，判定对象图像选择部1023从部分图像列所包含的图像中选择判定对象图像(S1005)。在未设定判定对象图像的情况下，选择基准图像的下一个图像(如果是针对给定的部分图像列的最初的S1005的处理，则为部分图像列的第2个图像)作为判定对象图像。并且，在已经选择了部分图像列的第k个图像作为判定对象图像的情况下，错开一个选择位置，选择输入图像列的第k+1个图像作为新的判定对象图像。在S1005中不存在要选择的图像的情况下，在本实施方式的方法中，进行可否删除判定处理直到部分图像列的最后的图像为止，所以，结束针对该部分图像列的图像精简处理，返回S1003。

在选择出基准图像和判定对象图像后，求出其间的变形信息(S1006)，根据所求出的变形信息进行判定对象图像的可否删除判定处理(S1007)。具体而言，利用2个图像间的变形信息(变形参数)求出覆盖区域，根据覆盖区域计算覆盖率。

在S1007中判定为能够删除的情况下，返回S1005，进行判定对象图像的更新处理。并且，在S1007中判定为不能删除的情况下，在此时的基准图像中无法覆盖判定对象图像，所以，此时的判定对象图像需要保留在精简图像列中。由此，返回S1004，选择S1007中判定为不能删除的判定对象图像作为新的基准图像。

通过S1004～S1007的处理，针对1个部分图像列的图像精简处理结束。该情况下，返回S1003，对下一个部分图像列也进行同样的图像精简处理，在针对全部部分图像列的图像精简处理结束后，由于S1003中不存在要选择的部分图像列，所以结束处理。

以上的针对各部分图像列的图像精简处理的流程与使用图4(A)～图4(D)的上述的流程相同。

另外，在图34的流程图中，在根据场景变换设定了多个部分图像列的情况下，一个一个地依次对该多个部分图像列进行处理，但是不限于此。在处理部100的结构适于并列处理(例如使用具有多个核的CPU作为处理部100)情况下、通过多个计算机构成本实施方式的图像处理装置并在各计算机中进行分散处理的情况下等，也可以并列地对多个部分图像列进行S1004～S1007的可否删除判定处理。这样，能够缩短可否删除判定处理所需要的时间等。

7.3变形例

另外，针对上述方法考虑各种变形例。例如，场景变换的检测不限于上述方法。具体而言，也可以根据图像列取得部200取得的图像列中的2张图像(狭义地讲为相邻的2张图像)的相似度信息，检测场景变换。这是因为，由于认为图像间的相似度越高、越能够准确地估计变形信息，所以，能够利用图像间的相似度信息作为表示变形信息的精度的信息。该情况下，作为图像间的相似度信息，利用作为公知技术的NCC、作为图像间相差度的公知技术的SSD或SAD的倒数等即可。在由相似度信息表示的值低于给定的阈值的情况下，判定为在2张图像间产生场景变换。例如，在判定为相邻的第1图像与第2图像之间的相似度较低的情况下，如图39所示，视为在第1图像与第2图像之间产生场景变换即可。如果考虑唯一决定场景变换的位置，则优选求出相似度信息的2张图像在图像列中相邻。

并且，图34的S1004、S1005中的基准图像和判定对象图像的选择方法也不限于上述方法。

在以上的本实施方式中，如图31所示，图像处理装置包括：图像列取得部200，其取得具有多个图像的图像列；以及处理部100，其进行删除图像列取得部200所取得的图像列的多个图像的一部分并取得精简图像列的图像精简处理。处理部100从图像列中检测场景变换，根据检测到的场景变换设定由图像列的一部分构成的部分图像列。然后，处理部100从所设定的部分图像列中选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息判定可否删除判定对象图像。

这里，场景变换表示与所摄像的图像对应的场景的变化。以往，在动态图像的分割(例如章节信息的插入等)等领域中广泛使用场景变换这样的概念，作为本实施方式的场景变换，可以直接应用现有方法中使用的场景变换。该情况下，处理部100可以根据从多个图像中求出的运动信息、特定被摄体的摄像信息和明度信息中的任意一方检测所述场景变换。

运动信息表示2个图像间(在本实施方式中，狭义地讲为相邻的2个图像间)的被摄体的图像上位置的变化，例如是运动矢量等。公知有求出运动矢量的各种方法，但是，单纯地将一个图像上的给定区域作为块并针对另一个图像进行块匹配处理，从而求出运动矢量。具体而言，表示所述给定区域的图像上的位置和取得匹配的区域的图像上的位置的相对位置关系的信息是运动矢量。如果使用运动矢量，则在运动矢量的大小较大的情况下(例如进行与给定的阈值的比较处理)，判定为在该运动矢量的计算中使用的2个图像之间产生场景变换即可。

并且，特定被摄体的摄像信息是表示是否摄像有特征性的被摄体的信息。考虑从图像检测被摄体的各种方法，但是，作为一例，保持作为对象的特定被摄体的信息作为模板，对各图像进行模板匹配处理即可。该情况下，将从摄像有特定被摄体的状态到未摄像有特定被摄体的状态的变化、或从未摄像有特定被摄体的状态到摄像有特定被摄体的状态的变化检测为场景变换。

并且，也可以使用明度信息检测场景变换。关于明度信息的计算，例如如果是RGB3通道的图像，则针对各像素求出R、G、B的值的最大值作为该像素的明度值，将图像中的全部像素的明度值的平均值作为该图像的明度信息即可。如果使用明度信息，则在图像列的给定图像的明度信息和下一个图像的明度信息大幅不同(例如阈值以上)的情况下，判定为在该图像间产生场景变换即可。另外，在摄像装置具有闪光灯机构等的情况下，通过使该机构进行动作，即使被摄体等完全没有变化，明度信息也可能大幅变化。由此，根据摄像装置的结构等，可能优选在场景变换的检测中使用明度信息以外的信息、或一并使用明度信息和其他信息。

并且，不限于根据运动信息、特定被摄体的摄像信息、明度信息等进行场景变换的检测，能够进行使用了彩度信息(如果为活体内图像，则为红色程度等)等各种方法的变形实施。

并且，场景变换检测用的这些信息不限于单独使用，也可以组合使用2个以上。例如，如果组合运动信息和明度信息这2个信息，则可以根据由运动信息表示的图像间的运动较大和由明度信息表示的明度的变化较大这双方进行判定。考虑该情况下的各种组合方式，可以在运动较大且明度变化较大的情况下检测为场景变换，也可以是如果运动较大或明度变化较大中的任意一方成立，则检测为场景变换。

由此，能够根据从图像列检测到的场景变换将该图像列分割为部分图像列，对各部分图像列进行使用了变形信息的可否删除判定处理。在场景变换的前方的图像和场景变换的后方的图像中，摄像对象等不同的可能性较高，所以，在使用了变形信息的可否删除判定处理中，将这样的2个图像用于处理的必要性不高。如果考虑由于在大幅不同的图像间勉强地计算变形信息而使可否删除判定处理的精度降低的可能性，则也可能宁可避免基于场景变换前后的图像的处理。由此，这里，通过根据场景变换设定部分图像列，能够进行高效的图像精简处理。

另外，在本说明书中，使用图像的前方、后方(或场景变换的前方、后方)这样的表现，但是，这是指图像列中的位置的前后。由于假设图像列是在时间序列或空间上连续的图像的集合，所以，能够根据其连续性定义图像列的前方、后方。例如时间序列中较早时刻取得的图像是比该时刻之后的时刻取得的图像靠前方的图像。

并且，处理部100可以根据表示判定对象图像的可否删除的判定中使用的变形信息的精度的精度信息，检测场景变换。具体而言，可以在由精度信息表示的值小于给定的精度阈值的情况下，处理部100判定为检测到场景变换。

这里，在本实施方式中，变形信息的精度信息是按照图像列中的1个图像或2个图像的组合而求出的信息。而且，由从1个图像中求出的精度信息表示的精度较低是指，在该图像与图像列中的其他图像之间求出变形信息的情况下，该变形信息未适当表示2个图像间的变形。由此，在本实施方式的精度信息的计算时，不需要先求出对应的变形信息，根据情况，可以使用先计算精度信息、并根据该精度信息决定是否计算对应的变形信息的方法。同样，由针对2个图像的组合而求出的精度信息表示的精度较低是指，在该2个图像间求出变形信息的情况下，该变形信息未适当表示2个图像间的变形。

由此，能够根据表示变形信息的精度的精度信息检测场景变换。如图37(A)、图37(B)所示，在变形信息的精度较低的情况下，无法充分得到使用了变形信息的处理的优点即抑制无法观察的区域的产生、或抑制关注区域的漏看可能性这样的效果。关于这点，通过根据精度信息检测场景变换，能够提高可否删除判定处理的精度。并且，与场景变换检测无关，通过使用精度信息，也能够提高精度，但是，该情况下，需要进行场景变换检测用的其他处理。关于这点，如果在场景变换检测中使用精度信息，则能够通过简单的处理实现可否删除判定处理的精度提高、以及图像精简处理的高效化、高速化。

并且，处理部100也可以进行如下处理：针对多个图像中的选择图像的各像素判定是否适于计算变形信息，根据判定为适于计算变形信息的像素的数量求出精度信息，根据所求出的精度信息，检测图像列中的与选择图像对应的位置处的场景变换。

由此，在从图像列中选择了给定的图像作为选择图像的情况下，能够根据该选择图像的各像素的判定结果求出选择图像的精度信息。考虑变形信息的各种形式，并且，还考虑使用了该变形信息的可否删除判定处理(狭义地讲为其中的变形处理)的各种方法，但是，一个图像上的给定的像素对应于另一个图像上的哪个位置的像素是基本想法。即，自然是根据像素单位的信息决定变形信息的精度，在本实施方式中，针对选择图像的各像素判定是否适于计算变形信息，根据判定结果求出精度信息。具体而言，如图38所示，将适于计算变形信息的像素数(掩盖像素数)相对于选择图像的全部像素数的比例等作为精度信息即可。

另外，在根据从选择图像中求出的精度信息判定为将该选择图像作为对象的变形信息的精度较低的情况下，视为在图像列中的选择图像的位置检测到场景变换。例如，如图35(A)那样，可以视为在选择图像及其后方1个图像之间存在场景变换。或者，考虑到选择图像与其前方1个图像之间的变形信息的精度也较低，所以，如图35(B)那样，可以视为在选择图像与其后方1个图像之间、以及选择图像与其前方1个图像之间的2个部位检测到场景变换。

并且，处理部100可以在选择图像上设定包含作为是否适于计算变形信息的判定对象的处理对象像素的给定尺寸的区域，根据所设定的区域中的纹理信息，判定处理对象像素是否适于计算变形信息。

这里，纹理表示图像的图案。例如，可以对图像进行二维傅里叶转换等求出空间频率的功率谱，将其结果作为纹理信息。但是，本实施方式的纹理信息只要是表示图像上的图案量的信息即可，纹理信息可以包含表示被摄体的轮廓等的边缘信息。

由此，能够根据纹理信息求出图像上的各像素是否适于计算变形信息。由于假设描绘了复杂图案的情况容易区分处理对象像素与其周边的其他像素，所以，在求出选择图像与其他图像之间的变形信息时，明确处理对象像素与该其他图像上的哪个像素对应的可能性较高。相反，在没有图案的情况下，无法区分处理对象像素和其他像素，必然难以进行处理对象像素与其他图像上的像素的对应。

另外，针对各像素判定该像素是否适于计算变形信息时，不限于使用纹理信息，例如也可以使用专利文献3所公开的方法等。

并且，处理部100可以求出图像列的多个图像中的第1图像与第1图像的下一个第2图像之间的相似度信息作为精度信息。然后，根据所求出的精度信息，检测图像列中的第1图像与第2图像之间的位置处的场景变换。

由此，能够使用2个图像间(这里为相邻的图像间)的相似度信息作为精度信息。这是因为，认为图像间的相似度越高，则能够以越高精度计算变形信息。相似度信息可以使用以往公知的NCC等。或者，也可以求出以往公知的表示图像间相差度的SSD或SAD，将其倒数作为相似度信息。另外，如图39所示，该情况下的场景变换的位置为第1图像与第2图像之间即可。

并且，处理部100可以在从图像列中检测到第i(i为整数)场景变换和第i场景变换的下一个的第i+1场景变换的情况下，设定图像列的多个图像中的、在第i场景变换的后方且在第i+1场景变换的前方的图像作为部分图像列。

由此，如图32(B)所示，能够根据场景变换来设定部分图像列。在本实施方式中，由于假设在图像与图像之间检测到场景变换(但是不限于此)，所以，设定以第i场景变换之后的图像为始点、以第i+1场景变换之前的图像为终点的图像列作为部分图像列。另外，考虑在第i场景变换与第i+1场景变换之间仅存在1张图像的情况，但是，该情况下，如果决定将该图像保留在精简图像列中或将其删除(如果考虑抑制产生无法观察的区域等，则优选将其保留在精简图像列中)，则不需要设定为部分图像列。或者，也可以统一设定为部分图像列，并对部分图像列进行处理。该情况下，在S1004中设定基准图像，然后，在S1005中不存在要选择为判定对象图像的图像，所以，在针对由1张图像构成的部分图像列的处理中，将该图像保留在精简图像列中，处理结束。

并且，在设定了多个部分图像列的情况下，针对多个部分图像列，处理部100可以并行选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息判定可否删除判定对象图像。

具体而言，在从图像列中检测到第j(j为整数)场景变换的情况下，处理部100设定包含图像列的多个图像中的第j场景变换的前方的图像的第k(k为整数)部分图像列和包含第j场景变换的后方的图像的第k+1部分图像列。该情况下，并行执行如下处理：从第k部分图像列中选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息判定可否删除判定对象图像；以及从第k+1部分图像列中选择基准图像和判定对象图像，根据基准图像与判定对象图像之间的变形信息判定可否删除判定对象图像。

由此，由于能够并行执行针对各部分图像列的可否删除判定处理(图34的S1004～S1007所示的处理)，所以，能够实现图像精简处理的高速化。

以上对应用了本发明的6个实施方式1～6及其变形例进行了说明，但是，本发明不限于各实施方式1～6及其变形例，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述各实施方式1～6和变形例所公开的多个结构要素，能够形成各种发明。例如，可以从各实施方式1～6和变形例所记载的全部结构要素中删除若干个结构要素。进而，还可以适当组合不同实施方式和变形例中说明的结构要素。并且，在说明书或附图中，至少一次与更加广义或同义的不同用语一起记载的用语能够在说明书或附图的任意部位置换为该不同用语。这样，能够在不脱离发明主旨的范围内进行各种变形和应用。

标号说明

100：处理部；200：图像列取得部；300：存储部；1001：基准图像选择部；1002：判定对象图像选择部；1003：覆盖区域计算部；1004：覆盖率计算部；1005：可否删除判定部；1006：图像列分割部；1007：第2基准图像选择部；1008：部分图像列设定部；1009：精简图像列决定部；1010：精简候选图像列生成部；1011：基准图像选择部；1012：判定对象图像选择部；1013：变形信息取得部；1014：观察区域设定部；1015：对应区域设定部；1016：图像特征量计算部；1017：可否删除判定部；1018：部分图像列设定部；1019：变形信息取得部；1020：场景变换检测部；1021：部分图像列设定部；1022：基准图像选择部；1023：判定对象图像选择部；1024：可否删除判定部；1025：覆盖区域计算部；1026：覆盖率计算部；1027：阈值判定部。

Claims (13)

1.一种图像处理装置，其特征在于，该图像处理装置包括：

图像列取得部，其取得具有多个图像的图像列；以及

处理部，其进行删除所述图像列取得部所取得的所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理，

所述处理部从所述多个图像中选择所述图像精简处理的基准图像和判定对象图像，

在所述判定对象图像上设定观察区域，并且，根据所述基准图像与所述判定对象图像之间的变形信息求出对应区域，该对应区域是与所述观察区域对应的所述基准图像上的区域，

根据从所述对应区域中求出的第1特征量和从所述观察区域中求出的第2特征量中的至少一方判定可否删除所述判定对象图像。

2.根据权利要求1所述的图像处理装置，其特征在于，

所述处理部针对所述基准图像、所述判定对象图像以及所述多个图像中的在所述图像列中位于所述基准图像与所述判定对象图像之间的图像，求出相邻的所述图像之间的变形信息，根据所求出的相邻的所述图像之间的所述变形信息，求出所述基准图像与所述判定对象图像之间的所述变形信息。

3.根据权利要求1或2所述的图像处理装置，其特征在于，

所述第1特征量是所述对应区域的明度信息、尺寸信息和与特定形状的相似度信息中的至少一方，

所述第2特征量是所述观察区域的明度信息、尺寸信息和与特定形状的相似度信息中的至少一方。

4.根据权利要求3所述的图像处理装置，其特征在于，

所述处理部根据所述第1特征量与第1阈值的第1比较处理、所述第2特征量与第2阈值的第2比较处理、以及所述第1特征量和所述第2特征量的相差度与第3阈值的第3比较处理中的至少1个比较处理，判定可否删除所述判定对象图像。

5.根据权利要求1或2所述的图像处理装置，其特征在于，

所述处理部根据所述对应区域的像素的像素值求出所述对应区域的明度信息作为所述第1特征量，并且根据所述观察区域的所述像素的所述像素值求出所述观察区域的所述明度信息作为所述第2特征量。

6.根据权利要求5所述的图像处理装置，其特征在于，

在作为所述明度信息的所述第1特征量大于给定的上限阈值的情况下、或所述第1特征量小于给定的下限阈值的情况下，所述处理部判定为不能删除所述判定对象图像。

7.根据权利要求1或2所述的图像处理装置，其特征在于，

所述处理部求出由所述对应区域的尺寸信息表示的值作为所述第1特征量，并且求出由所述观察区域的所述尺寸信息表示的值作为所述第2特征量。

8.根据权利要求1或2所述的图像处理装置，其特征在于，

所述处理部求出表示所述对应区域与给定的形状的相似度的值作为所述第1特征量，并且求出表示所述观察区域与所述给定的形状的所述相似度的值作为所述第2特征量。

9.根据权利要求5所述的图像处理装置，其特征在于，

在所述第1特征量与所述第2特征量的相差度大于给定的阈值的情况下，所述处理部判定为不能删除所述判定对象图像。

10.根据权利要求6所述的图像处理装置，其特征在于，

在所述第1特征量与所述第2特征量的相差度大于给定的阈值的情况下，所述处理部判定为不能删除所述判定对象图像。

11.根据权利要求7所述的图像处理装置，其特征在于，

在所述第1特征量与所述第2特征量的相差度大于给定的阈值的情况下，所述处理部判定为不能删除所述判定对象图像。

12.根据权利要求8所述的图像处理装置，其特征在于，

在所述第1特征量与所述第2特征量的相差度大于给定的阈值的情况下，所述处理部判定为不能删除所述判定对象图像。

13.一种图像处理方法，其特征在于，

取得具有多个图像的图像列，

从所述图像列的所述多个图像中选择基准图像和判定对象图像，

在所述判定对象图像上设定观察区域，并且，根据所述基准图像与所述判定对象图像之间的变形信息求出对应区域，该对应区域是与所述观察区域对应的所述基准图像上的区域，

根据从所述对应区域中求出的第1特征量和从所述观察区域中求出的第2特征量中的至少一方判定可否删除所述判定对象图像，

根据所述可否删除的判定结果，进行删除所述图像列的所述多个图像的一部分而取得精简图像列的图像精简处理。