CN1684070A - 图像检索装置和图像检索方法 - Google Patents

Abstract

图像检索装置和图像检索方法。公开了一种图像检索装置(30)的图像检索方法，该图像检索装置具有用于存储由拍摄装置拍摄的图像的图像数据和该图像的拍摄信息的图像存储器(35)，并且所述图像检索方法从所述图像存储器检索希望的图像数据，所述方法包括：从所述图像存储器选择多个图像数据(步骤S102)；根据预定的分类标准对与所选图像数据相对应的所述拍摄信息进行分类(步骤S108)；基于利用所述分类标准进行分类的所述拍摄信息，对存储在所述图像存储器中的所述图像数据进行分类(步骤S113到S116)；对所分类的图像数据添加关键字(步骤S118)；以及基于所添加的关键字检索希望的图像数据(步骤S122，S138)。

Description

图像检索装置和图像检索方法

技术领域

本发明涉及一种图像检索技术，尤其涉及一种检索包括未添加有关键字的图像的所希望图像的技术。

技术背景

作为在常规的图像检索中指定检索关键码(key)的方法，已知的一种方法是将关键字添加到图像中并且作为基于所述关键字的文本检索的结果来提取图像。

就通过使用多个关键字执行图像检索来说，已经公开了如下的技术：按照含义将关键字分类为多个组并且设置优先级，以使得图像检索处理有效(特开2000-29901号公报)。

根据在特开平8-16651号公报中公开的技术，通过使用图像数据的输入日期和名称中的至少一个来创建第一关键字。此外，通过参考有关第一关键字的信息来生成第二关键字。通过使用这些第一和第二关键字，可以添加易于操作员理解的关键字。

另外，已经提出了一种使用被构造为能够进行快速检索的目录的技术(特开2000-276484号公报)。

然而，根据在特开2000-29901号公报或者特开平8-16615号公报中描述的图像检索方法，主观上人们将图像和关键字相关联。因此，存在一个问题，即对于相同图像不总是添加了相同的关键字，所以检索者不可能总是得到所希望的检索结果。其他的问题也已被指出：作为检索结果，不可能获得与关键字等不相关的图像。

根据在特开2000-276484号公报中描述的技术，需要定义检索方法和目录结构(即文件结构)之间的关系。甚至在使用特开2000-276484号公报中所述技术的情况下，与常规情形中的一样，用户必须考虑该目录结构来选择一个关键字，并且为每个图像登记该关键字。

如上所述，关键字登记工作和诸如改变该关键字的维护工作要花费大量的时间和劳动，这项工作本身很艰苦。因此，除非简化该关键字登记工作，否则很可能将无法使用基于存在关键字的检索系统。

因此，本发明的一个目的是提供一种能够通过简单操作来检索所希望的图像的技术，该所希望的图像包括与关键字等不相关的图像。

发明内容

本发明的第一方面旨在一种图像检索装置，包括：图像存储器，其存储由拍摄装置所拍摄图像的图像数据和该图像的拍摄信息；图像选择单元，从图像存储器选择图像数据；拍摄信息分类单元，其根据预定的分类标准，对与由图像选择单元选择的图像数据相对应的拍摄信息进行分类；图像分类单元，其基于由拍摄信息分类单元分类的拍摄信息，对存储在所述图像存储器中的图像数据进行分类；关键字添加单元，其对由所述图像分类单元分类的图像数据添加关键字；以及，检索单元，其基于由关键字添加单元添加的关键字来检索希望的图像数据。

本发明的第二方面旨在图像检索装置的一种图像检索方法，该图像检索装置具有用于存储由拍摄装置拍摄的图像的图像数据和该图像的拍摄信息的图像存储器，并且该图像检索方法从图像存储器检索希望的图像数据，所述方法包括：从图像存储器选择多个图像数据；根据预定的分类标准，对与所选择的图像数据相对应的拍摄信息进行分类；基于通过该分类标准分类的拍摄信息，对存储在图像存储器中的图像数据进行分类；对经分类的图像数据添加关键字；并且基于所添加的关键字检索希望的图像数据。

在下面的说明中将阐述本发明的优点，部分优点将通过该说明而明确，或者可以通过对于本发明的实践而得知。可以借助于下文特别指出的手段和组合，可以实现并得到本发明的优点。

附图说明

将附图结合并构成本说明书一部分，附图示出了本发明的实施例，并与上面给出的一般性描述和下面给出的实施例的详细描述一起，用于解释本发明的原理。

图1示出了由根据本发明第一实施例的图像检索方法所得的图像检索画面的结构；

图2示出了在选择了日历标记(tab)时的图像检索画面；

图3示出了在选择了Exif标签标记时的图像检索画面；

图4示出了图像检索装置的构成；

图5示出了概略的图像检索处理的流程图；

图6示出了将图形登记到图像管理DB的处理的流程图；

图7示出了一个登记记录的结构；

图8示出了Exif格式图像文件的附属信息的表；

图9A是表示代表性的Exif标记的内容的数据库；

图9B是表示代表性的Exif标记的内容的数据库；

图10是表示文件夹显示处理的流程图；

图11是表示文件夹显示处理的流程图；

图12是表示关键字检索显示处理的流程图；

图13是表示关键字删除处理的流程图；

图14是表示日历显示处理的流程图；

图15是表示日历显示处理的流程图；

图16是表示Exif标记显示处理的流程图；

图17是表示Exif标记显示处理的流程图；

图18是表示Exif标记内容显示处理的流程图；

图19示出了在选择了文件夹标记时的图像检索画面；

图20示出了在选择了日历标记时的图像检索画面；

图21示出了在选择Exif标签标记时的图像检索画面；

图22是用于说明图像分类和检索原理的图；

图23是表示应用了本发明的实施例的图像检索方法的图像检索装置的结构的图；

图24是表示在关键字存储单元中的概略的登记处理的流程图；

图25是表示概略的类似性的分析处理的流程图；

图26是表示一个变量的分布范围的图线图；

图27示出了关键字存储单元的结构；

图28示出了在管理数据存储单元中的概略的登记处理的流程图；

图29示出了管理数据存储单元的结构；

图30是表示在管理数据存储单元中的概略的附加登记过程的流程图；

图31是表示基于关键字的概略的图像检索处理的流程图；并且

图32是表示基于图像的概略的图像检索处理的流程图。

具体实施方式

(第一实施例)

根据本发明的一个实施例的图像检索方法，用户基于在图像检索装置的显示单元上显示的图像检索画面，来执行图像的管理和检索。

将参照图1来说明根据本发明第一实施例的图像检索方法的图像检索画面的结构。

图像检索画面1包括切换标记2、浏览区域3、关键字区域4和缩略图区域5。在切换标记2中，布置有多个标记(文件夹标记2a、日历标记2b和Exif标签标记2c)来切换在图像检索画面1上显示的图像。浏览区域3显示与所切换的标记相对应的分类信息。关键字区域4包括关键字字符串4a和关键字删除按钮4b。缩略图区域5显示缩略图像。

接下来，将参照图1到3给出图像检索方法的概述。

图1示出了在选择了文件夹标记2a时的图像检索画面1。当用户选择文件夹标记2a时，在浏览区域3中显示出文件夹树。以已知的形式来显示该文件夹树的结构，因而将省略对其的详细描述。当用户从该树中选择所希望的文件夹时，从图像管理DB 34中检索在该文件夹下面示出的图像文件。然后，在缩略图区域5中显示出作为该图像文件的索引图像的缩略图。

接下来，当用户点击在关键字区域4中的特定关键字的字符串4a时，在缩略图区域5中显示出已添加了关键字的图像的缩略图。将特定关键字的指定和显示称为“限制显示(narrowed-down displaying)”。另一方面，当用户点击在关键字区域4中的“全部显示”的字符串4a时，在缩略图区域5中显示出已添加了显示在关键字区域4中的任何一个关键字的图像的缩略图。将所有关键字的指定和显示称为“全部显示”。

随后，当用户在关键字区域4的特定关键字字符串4a上拖放缩略图区域5的缩略图时，该特定字符被作为关键字添加到该图像。应当注意，即使用户在关键字区域4的“全部显示”字符串4a上拖放缩略图区域5的缩略图时，也不会添加关键字。另一方面，当用户在关键字区域4的关键字删除按钮4b上拖放缩略图区域5的缩略图时，则从该图像删除特定关键字或者所有的关键字。

当用户在关键字区域4的特定关键字字符串4a或者关键字删除按钮4b上拖放浏览区域3的文件夹时，以上述方式对该文件夹下面的所有图像文件添加关键字，或者从该文件夹下面的所有图像文件中删除关键字。

图2示出了当选择了日历标记2b时的图像检索画面1。当用户选择该日历标记2b时，在浏览区域3中显示日历。相应地，当用户从该日历中选择一个日历年/月和期望的日期时，在缩略图区域5中显示在该日期拍摄的图像文件等的缩略图。

接下来，当用户点击关键字区域4中的特定关键字的字符串4a时，在缩略图区域5中显示具有该关键字的图像的缩略图。另一方面，当用户点击在关键字区域4中的“全部显示”的字符串4a时，在缩略图区域5中显示具有显示在关键字区域4中的任何一个关键字的图像的缩略图。

随后，当用户在关键字区域4的特定关键字字符串4a上拖放缩略图区域5的缩略图时，则该特定字符被作为关键字添加到该图像。即使用户在关键字区域4的“全部显示”字符串4a上拖放缩略图区域5的缩略图时，也不会添加关键字。另一方面，当用户在关键字区域4的关键字删除按钮4b上拖放缩略图区域5的缩略图时，则从该图像删除特定关键字或者所有的关键字。

当用户在关键字区域4的特定关键字字符串4a或者关键字删除按钮4b上拖放浏览区域3的日期时，以上述方式对具有该日期的所有图像文件添加关键字，或者从具有该日期的所有图像文件中删除关键字。

图3示出了当选择了Exif标签标记2c时的图像检索画面1。当用户选择该Exif标签标记2c时，在浏览区域3中显示Exif标签选择框3a。当用户选择一个想要的Exif标签时，在缩略图区域5中显示已添加了Exif标签的图像文件的缩略图。然后，在Exif标签中，对于各个内容3b将图像文件的数目显示为图形(graph)。

接下来，当用户点击关键字区域4中的特定关键字的字符串4a时，在缩略图区域5中显示具有该关键字的图像的缩略图。另一方面，当用户点击在关键字区域4中的“全部显示”的字符串4a时，在缩略图区域5中显示具有显示在关键字区域4中的任何一个关键字的图像的缩略图。

随后，当用户在关键字区域4的特定关键字字符串4a上拖放缩略图区域5的缩略图时，该特定的字符被作为关键字添加到该图像。当用户在关键字区域4的“全部显示”字符串4a上拖放缩略图区域5的缩略图时，将所有的关键字添加到该图像。当用户在关键字区域4的关键字删除按钮4b上拖放缩略图区域5的缩略图时，则从该图像删除特定关键字或者所有的关键字。

当用户在关键字区域4的特定关键字字符串4a或者关键字删除按钮4b上拖放浏览区域3的内容3b时，以上述方式对于具有该标签内容的所有图像文件添加关键字，或者从具有该标签内容的所有图像文件中删除关键字。

接下来将描述用于实现上述图像检索方法的图像检索装置的构成及其主要的处理。

图4示出了图像检索装置30的构成。该图像检索装置30包括显示单元31，操作输入单元32，通信单元33，图像管理DB 34，信息存储器35，程序存储器36和处理单元37。

显示单元31是CRT、液晶显示器、等离子体显示器或者用于显示图像检索画面1的投影仪。操作输入单元32是一个输入设备，例如用于接收从用户输入的操作指令的键盘或者鼠标。通信单元33是用于与诸如数字相机的外部设备(未示出)传送信息(例如图像文件)的接口。

图像管理DB 34保存用于管理图像的多条信息，例如关键字、文件夹路径信息和Exif标签信息。信息存储器35存储图像文件。例如，通过通信单元33将从诸如数字照相机的外部设备接收的图像文件保存在信息存储器35中。程序存储器36保存用于控制图像检索装置30的各项功能的程序。处理单元37执行对图像检索装置30的操作的总体控制。

接下来将参照图5到18来描述概略的图像检索过程。应当注意，所描述的过程涉及图像检索的一些主要功能。因此，即使就下面没有描述的功能来说，参考图1到4所描述的功能也在图像检索功能的范围内。

在图5的步骤S01中，处理单元37在图像管理DB 34中执行图像的登记(图6)。

在图6的步骤T01到T02中，当用户从操作输入单元32指定具有待处理图像的文件夹路径时，处理单元37从文件夹中检索图像。然后，在步骤T03到T04中，对于所有已检索的图像来说，确定有关这些图像的管理信息是否已被登记到图像管理DB 34中。如果步骤T03中为“是”(即该管理未被登记)，则创建有关该图像的管理信息的一条记录并将其存储在信息管理DB 34中。然后，登记文件夹中的所有图像，并且该过程返回。

图7示出了登记在信息管理DB中的一个登记记录的结构。登记记录10包括登记ID区域10a、文件夹路径区域10b、文件名区域10c、缩略图信息区域10d、Exif标签信息区域10e以及关键字区域10f。

在登记ID区域10a中，对于每个记录添加惟一的符号。在文件夹路径区域10b中，写入有具有已保存图像的文件夹的路径信息。在文件名区域10c中，写入有用于标识图像文件的名称。在缩略图信息区域10d中，保存有缩略图数据。在Exif标签信息区域10e中，写入有Exif标签的内容。在关键字区域10f中，保存有待添加到图像的关键字。

应当注意，在图像文件中不仅记录有图像数据，而且还记录有关该图像的拍摄信息。代表性的拍摄信息是在图像文件的标题中记录的Exif信息。

图8的表示出了Exif格式的图像文件的附属信息(Exif标签)(一种拍摄信息)的代表性结构的一个示例。如上所述，这种信息连同图像数据一起被记录到图像文件中。

图9A示出了数值Exif标签12的代表性内容，而图9B示出了字符串Exif标签13的代表性内容。

数值Exif标签12的代表性条目是“拍摄日期”、“光圈值”、“快门速度”、“焦距”等。数值Exif标签12的各项的内容由数字来表示。字符串Exif标签13的代表性条目是“闪光”、“微距(macro)”、“拍摄模式”等。字符串Exif标签13的各个条目的内容是预定的字符串。

返回来参照图5，当用户在步骤S02中选择任何一个切换标记2时，处理单元37显示与所选切换标记2相对应的图像检索画面1，并且等待用户的下一操作。然后，当用户选择文件夹标记2a并执行图像检索操作时，执行步骤S03(图10、11)的文件夹显示处理。

在图10的步骤T10为“是”的情况下，即当用户点击浏览区域3的文件夹时，在步骤T11到T12中，处理单元37从图像管理DB 34检索登记记录10，并且指定在文件夹路径区域10b中写入有相关文件夹名的一个登记记录。然后，提取在所指定的登记记录10的缩略图信息区域10d中存储的缩略图信息，并将其显示在缩略图区域5中。

接下来，在步骤T13和T14都为“是”的情况下，即当文件夹被拖放到关键字区域4的关键字字符串4a上时，在步骤T15到T16中，从图像管理DB 34中检索登记记录10，并且指定在文件夹路径区域10b中写入有所拖放文件夹名的一个登记记录。然后，将对应关键字登记到所指定的登记记录10的关键字区域10f中，并且该过程返回。

另一方面，在步骤T17为“是”的情况下，即将缩略图拖放到关键字区域4的关键字字符串4a上时，在步骤T18中，从图像管理DB 34中检索登记记录10，并且指定在文件名区域10c中写入有与所拖放的缩略图相对应的图像文件的名称的一个登记记录。然后，将对应关键字登记到所指定的登记记录10的关键字区域10f中，并且该过程返回。

在图11的步骤T21为“是”的情况下，即当点击了关键字区域4的关键字字符串4a时，在步骤T22执行关键字检索显示(图12)，并且该过程返回。

在图12的步骤P01为“是”的情况下，即当点击了关键字区域4的“全部显示”字符串4a时，在步骤P02解除了关键字的限制而在缩略图区域5中显示所有的缩略图。在图12的步骤P01为“否”的情况下，即当点击了关键字区域4的特定字符串4a时，在步骤P03到P04，在当前显示的图像中，检索到将其特定字符串作为对应注册记录10的关键字区域10f中的关键字而写入的图像，并且将其缩略图显示在缩略图区域5中。

在图11的步骤T25和步骤T26都为“是”的情况下，即将文件夹拖放到关键字区域4的关键字删除按钮4b上时，在步骤T27到T28中，从图像管理DB 34中检索登记记录10，并且指定在文件夹路径区域10b中写入有相关文件夹名的一个登记记录。然后，执行步骤T28的关键字删除过程(图13)，并且该过程返回。

在图13的步骤P10为“是”的情况下，即当以“限制显示”的方式在缩略图区域5中显示缩略图时，在步骤P11，对于在该文件夹下面的所有图像文件来说，从登记记录10的关键字区域10f中删除仅以限制方式显示的关键字。另一方面，在步骤P10为“否”的情况下，即当以“全部显示”方式在缩略图区域5中显示缩略图时，在步骤P12，对于在文件夹下面的所有图像文件来说，从登记记录10的关键字区域10f中删除所有的关键字。

另一方面，在步骤T25为“是”、步骤T26为“否”、并且步骤T29为“是”的情况下，即当将缩略图放到关键字区域4的关键字删除按钮4b上时，执行步骤T30的关键字删除处理(图13)，并且该过程返回。

在图13的步骤P10为“是”的情况下，即当以“限制显示”的方式在缩略图区域5中显示缩略图时，在步骤P11中，对于缩略图，从登记记录10的关键字区域10f中删除仅以限制方式显示的关键字。另一方面，在步骤P10为否的情况下，即当以“全部显示”方式在缩略图区域5中显示缩略图时，在步骤P12，对于缩略图，从登记记录10的关键字区域10f中删除所有的关键字。

回来参照图5，当用户选择日历标记2b并且执行图像检索操作时，执行在步骤S04中示出的日历显示处理(图14、15)。

在图14的步骤T35为“是”的情况下，即当用户点击浏览区域3的日历的日期时，在步骤T36到T37中，处理单元17从图像管理DB 34中检索登记记录10，并且指定一个登记记录，在该登记记录中，在Exif标签信息区域10e的数值Exif标签12中的“拍摄日”与该日历日期相匹配。然后，提取存储在所指定的登记记录10的缩略图信息区域10d中的缩略图信息，并将其显示在缩略图区域5中。

接下来，在步骤T38和T39都为“是”的情况下，即当将文件夹拖放到关键字区域4的关键字字符串4a上时，在步骤T40到T41中，从图像管理DB 34检索登记记录10，并且指定一个登记记录，在该登记记录中，在Exif标签信息区域10e的数值Exif标签12中的“拍摄日”与该日历日期相匹配。然后，将对应关键字登记到所指定登记记录10的关键字区域10f中，并且该过程返回。

另一方面，在步骤T42为“是”的情况下，即当将缩略图拖放到关键字区域4的关键字字符串4a上时，在步骤T43中，从图像管理DB 34检索登记记录10，并且指定在文件名区域10c中写入有与所拖放的缩略图相对应的图像文件的名称的一个登记记录。然后，将对应关键字登记到所指定的登记记录10的关键字区域10f中，并且该过程返回。

在图15的步骤T46为“是”的情况下，即当点击关键字区域4的关键字字符串4a时，在步骤T47中，执行关键字检索显示(图12)，并且该过程返回。该关键字检索显示与前述类似，因此将省略对其的详细描述。

在图15的步骤T50和T51都为“是”的情况下，即当将日期放到关键字区域4的关键字删除按钮4b时，在步骤T52到T53中，从图像管理DB 34中检索登记记录10，并且指定一个登记记录，在该登记记录中，在Exif标签信息区域10e的数值Exif标签12中的“拍摄日”与该日历日期相匹配。然后，执行步骤53的关键字删除处理(图13)，并且该过程返回。该关键字删除处理与前述的类似，所以将省略对其的详细描述。

另一方面，在步骤T50为是、步骤T51为“否”、并且步骤T54为“是”的情况下，即当将缩略图拖放到关键字区域4的关键字删除按钮4b上时，执行步骤T55的关键字删除处理(图13)，并且该过程返回。该关键字删除处理与前述的类似，所以将省略其详细的描述。

回来参照图5，当用户选择Exif标签标志2c并且执行图像检索操作时，执行在步骤S05中示出的Exif标签显示处理(图16、17)。

在图16的步骤T60中，处理单元37将在图像管理DB 34中登记的所有种类的Exif标签(图9)登记到Exif标签选择框3a中。在步骤S61中，执行Exif标签内容显示处理(图18)。

在图18的步骤P15为“是”的情况下，即由用户选择的Exif标签是数值类型时，在步骤P16到P19中，检查Exif标签信息区域10e以检索所指定的Exif标签的最大值和最小值。然后，将该最大值和最小值的范围划分为预定个区域。接下来，检索包括在所划分范围内的多个图像，并且在曲线图中显示出所检索的图像数量最大的范围，并且该过程返回。

在图18的步骤P15为否的情况下，即当由用户选择的Exif标签是字符串类型时，在步骤P20到P21中，从Exif标签数据库13中检查要从Exif标签信息区域10e中显示的一种Exif标签和该Exif标签名，以读取在浏览区域3中显示的Exif标签的内容3b。接下来，检索包括在所读取的Exif标签的内容3b中的图像数目。然后，在步骤P19中，在图形中将在Exif标签的内容3b中检索次数最多的条目作为最大值显示，并且该处理返回。

在图16的步骤T62为“是”的情况下，即当用户点击浏览区域3的图形时，在步骤T63到T64中，处理单元37在登记记录10的Exif标签信息区域中搜索，以指定其Exif标签值处于在该图形范围内的一个登记记录。然后，从所指定的登记记录10中提取缩略图并且将其显示在缩略图区域5中。

接下来，在步骤T67和T68都为“是”的情况下，即当将该图形拖放到关键字区域4的关键字字符串4a上时，在步骤T69到T70中，在登记记录10的Exif标签信息区域10e中执行搜索，以指定其Exif标签值处在该图形范围内的一个登记记录。然后，将对应关键字登记在所指定的登记记录10中，并且该处理返回。

另一方面，在步骤T71为“是”的情况下，即当将缩略图拖放到关键字区域4的关键字字符串4a上时，在步骤T72中，从图像管理DB 34中检索登记记录10，并且指定在文件名区域10c中写入有相关文件名的一个登记记录。然后，将对应的关键字登记到所指定的登记记录10的关键字区域10f中，并且该处理返回。

在图17的步骤T75为“是”的情况下，即当点击关键字区域4的关键字字符串4a时，在步骤T76中，执行关键字检索显示(图12)，并且该处理返回。该关键字检索显示与前述的类似，所以将省略对其的详细描述。

接下来，在图17的步骤T77和T78都为“是”的情况下，即当将图形放到关键字区域4的关键字删除按钮4b时，在步骤T79到T80中，在登记记录10的Exif标签信息区域10e中执行搜索，以指定其Exif标签值处在该图形范围内的一个登记记录。然后，执行步骤T80的关键字删除处理(图13)，并且该处理返回。该关键字删除处理与前述类似，所以将省略对其的详细描述。

另一方面，在步骤T77为“是”、步骤T78为“否”、并且步骤T81为“是”的情况下，即当将缩略图拖放到关键字区域4的关键字删除按钮4b上时，执行步骤T82的关键字删除处理(图13)，并且该处理返回。该关键字删除处理与前述的类似，所以将省略对其的详细描述。

根据本发明的实施例，通过拖放使关键字和图像相关联。然而，本发明并不限于该系统。可以执行一种选择关键字和图像并且使它们相关联的操作。

(第二实施例)

接下来将描述根据本发明第二实施例的图像检索方法。第二实施例仅在图像检索画面的结构方面与第一实施例不同。用相同的标号来表示与第一实施例相同的部分，并且省略对其的详细描述。

图19示出了当选择了文件夹标记2a时的图像检索画面1。与第一实施例不同的是，在缩略图区域5中与缩略图一起显示文件夹。

图20示出了当选择了日历标记2b时的图像检索画面1。与第一实施例不同的是，在缩略图区域5中显示日历。

图21示出了当选择了Exif标签标记2c时的图像检索画面1。与第一实施例不同的是，在缩略图区域5中显示有Exif标签选择按钮3a和图形。

根据上述的第一和第二实施例，将有关关键字登记的操作统一。也就是说，可以通过相同的操作来执行下列各项：(1)将关键字添加到与所指定的年、月和日的特定拍摄信息相关的索引图像，(2)将关键字添加到与特定年、月和日相关的索引图像，或者从与特定年、月和日相关的索引图像中删除关键字，该特定年、月和日与所选关键字相关联，以及(3)将关键字添加到与特定拍摄信息相关的索引图像，或者从与特定拍摄信息相关的索引图像中删除关键字，该特定拍摄信息与所选择的关键字相关联。因此，可以简化与复杂的关键字登记有关的操作。

(第三实施例)

接下来将描述根据本发明第三实施例的图像检索方法。根据第三实施例的图像检索方法，基于Exif标签将关键字与图像相关联，该Exif标签是在拍摄图像时给出的一条拍摄信息。

图22示出了图像分类和检索的原理。为了简化说明，采用二维坐标作为一个示例。

图22的X和Y轴表示多条拍摄信息，例如，快门速度和拍摄日期。点(已示出)表示所拍摄的图像。从该图中可以想像，能够基于该多条拍摄信息将所拍摄的图像分类为多个组。因此，可以通过确定要被检索的图像所属的组、同时提取属于该相关组的图像来检索一个期望的图像。

如上所述，在电子照相机中，将Exif格式作为图像记录文件格式来使用。在Exif格式的图像文件中，在拍摄期间将拍摄图像作为Exif标签信息给出。图8示出了Exif标签的一个示例。换句话说，假定在用户没有注意的情况下，就将这种信息作为关键字隐含地添加到图像。

根据本发明，基于上述考虑，通过将图像信息当作隐含的关键字进行处理，同时执行算术处理来执行图像检索处理。

图23示出了采用了本发明的一个实施例的图像检索方法的图像检索装置110的构成。

图像检索装置110包括中央处理单元111、显示单元112和输入/输出单元113。中央处理单元111执行图像的分类/管理/检索。显示单元112是用于显示与图像检索有关的屏幕等的CRT或者TFT液晶显示器。输入/输出单元113包括：例如键盘或者鼠标输入设备，用于接收由用户输入的操作指令；以及，通信接口，用于与外部设备传送诸如图像数据的信息。

中央处理单元111包括用于执行图像检索等的处理单元115，以及用于存储与图像检索有关的信息的存储单元116。

处理单元115包括拍摄信息提取单元120、分布/范围判定单元121、图像检索单元122、关键字选择单元123以及关键字检索单元124。拍摄信息提取单元120从特定的图像文件中提取图像信息。分布/范围判定单元121通过使用拍摄信息作为参数来生成图像分布信息，并且根据分布信息判定属于特定组的范围。关键字选择单元123从关键字列表中选择特定的关键字。关键字检索单元124指定具有该特定关键字的图像文件。图像检索单元123检索特定的图像文件。

存储单元116包括图像存储单元127、关键字存储单元128和管理数据存储单元129。图像存储单元127存储图像文件。关键字存储单元128通过将关键字和分布范围相关联而对它们进行存储。管理数据存储单元129通过将关键字和拍摄信息相关联而对它们进行存储。

接下来将描述根据本发明实施例的图像检索的过程。

用户在关键字存储单元128中执行登记过程，作为图像检索的准备。在该过程中，将表示由用户适当设置的条件的关键字(下文中称为“条件关键字”)和关于相关图像文件的信息存储到关键字存储单元128中。

图24是示出了在关键字存储单元128中的概略登记处理的流程图。

在步骤S101中，用户通过操作输入/输出单元113来输入条件关键字。该条件关键字是表示条件的字，例如在拍摄图像时，该条件关键字可以是“室内”、“傍晚光”、“夜视”等。

在步骤S102，用户从保存在图像存储单元127中的图像文件中选择适合于添加条件关键字的图像。下文中，将所选的图像称为样本图像。在步骤S103为“是”的情况下，即当样本图像被二重(dually)选择时，在步骤S104，将一错误消息输出给显示单元112，并且处理等待用户对图像的下一选择。

在步骤S103中为“否”的情况下，即当样本图像未被双重选择时，在步骤S105，将输入的条件关键字和样本图像相关联。然后，在步骤S106为“否”的情况下，即当选择了另一个样本图像时，重复从步骤S102开始的处理。应当注意，可以根据用户的意图来选择适当数量的样本图像。

在步骤S106为“是”的情况下，即当结束选择时，拍摄信息提取单元120从该样本图像的图像文件中提取Exif信息。然后，分布/范围判定单元121执行在步骤S108中示出的相似性分析处理(图25)。

该相似性分析处理基于样本图像的Exif信息来计算Mahalanobis距离，并且判定对于样本的类似性的范围。特别地，当在图22中心的白点表示样本图像时，通过算术运算来判定包含白点数据(下文中称为“样本数据”)的范围，即在图22中的椭圆形范围。下文将描述Mahalanobis距离。

考虑一般情况，假定将p个变量作为原因(causes)。在这种情况下，Mahalanobis的广义距离D²由下列等式(1)来表示：

D²＝(x-μ)′∑^-1(x-μ)      (1)

在等式(1)中，(x-μ)表示矩阵中的变量1、2、…的数据x₁、x₂、…和这些变量的总平均值μ₁、μ₂、…之间的差值，当以因数表示时由下面的等式(2)来表示该(x-μ)：

$(x-\mathrm{\μ})=\left(\begin{array}{c}{x}_1-{\mathrm{\μ}}_1\\ x_2-{\mathrm{\μ}}_2\\ \·\·\·\\ x_p-{\mathrm{\μ}}_p\end{array}\right)---\left(2\right)$

在等式(1)中，利用将(x-μ)的行和列互换而得到的矩阵(即转置矩阵)来表示(x-μ)′，并且由下面的等式(3)来表示：

(x-μ)′＝(x₁-μ₁ x₂-μ₂…x_p-μ_p)    (3)

在等式(1)中，∑是一个方差协方差矩阵，并且由下面的等式(4)来表示：

$\mathrm{\Σ}=\left(\begin{array}{cccc}{\mathrm{\σ}}_1^2& {\mathrm{\σ}}_{12}& \·\·\·& {\mathrm{\σ}}_{1p}\\ {\mathrm{\σ}}_{21}& {\mathrm{\σ}}_2^2& \·\·\·& {\mathrm{\σ}}_{2p}\\ \·\·\·& \·\·\·& \·\·\·& \·\·\·\\ {\mathrm{\σ}}_{p1}& {\mathrm{\σ}}_{p2}& \·\·\·& {\mathrm{\σ}}_p^2\end{array}\right)---\left(4\right)$

这里，作为方差协方差矩阵的对角线因数的σ_i ²(i＝1、2、…p)是变量i的方差，而σ_ij((i，j)＝1、2、…，i与j不同)表示变量i和i之间的协方差。∑^-1是∑的逆矩阵。

图25中示出的相似性分析处理用于实现上述的算术运算。

在图25的步骤T101中，计算样本数据的平均值，即总平均值(μ)。在步骤T102中，计算样本数据的方差(σ_i ²)。在步骤T103，计算样本数据的协方差(σ_ij)。在步骤T104，计算样本数据的方差协方差矩阵(∑)。在步骤T105，计算样本数据的方差协方差矩阵的逆矩阵(∑^-1)。然后，在步骤T106，基于方差协方差矩阵的平均值和逆矩阵来计算Mahalanobis距离(D²)，并且该处理返回。

回来参照图24，在步骤S109中得到一个分布范围。这里，一个变量的分布范围是x轴的范围，该x轴是对应于图26所示椭圆形范围的一个轴。然后，通过设置“中心点”和“宽度”来表示该分布范围。对于“中心点”，使用该变量的总平均值μ。对于“宽度”，使用基于Mahalanobis距离(D²)为该变量计算的宽度。

然后，将所获得的分布范围和条件关键字登记到关键字存储单元128中。图27示出了关键字存储单元128的结构。在该关键字存储单元128中，为由用户输入的各个条件关键字记录各个拍摄信息(各个Exif信息)的分布范围。根据关键字存储单元128的数据，例如，能够理解：具有条件关键字“傍晚光”的图像的Exif信息X2分布在中心点170和宽度64的范围中。该分布范围表示条件关键字的相似性范围。

当用户完成了在关键字存储单元128中对条件关键字的登记之后，基于该登记信息执行在管理数据存储单元129中的登记处理。该处理将条件关键字分配给存储在图像存储单元127中的所有图像。

图28是示出了在管理数据存储单元129中的概略登记处理的流程图。

在步骤S111中，开始条件关键字的循环(loop)。即，对于所有条件关键字中的每一个重复下面的处理。在步骤S112中，开始所有图像的循环。即，对于所有图像中的每一个重复下面的处理。

在步骤S113中，在关键字存储单元128中执行搜索以取出一个已选条件关键字的拍摄信息的相似性范围。接下来，在步骤S114中，取出保存在待处理图像的图像文件中的拍摄图像。

在步骤S115中，针对待处理图像是否处于条件关键字的相似性范围中进行检查。换句话说，针对处理图像的各个拍摄信息是否属于存储在关键字存储单元128中的拍摄信息的分布范围(相似性范围)中进行检查。在步骤S115为“是”的情况下，即当待处理图像的各个拍摄信息属于所有的目标拍摄信息的相似性范围时，将图像与条件关键字相关联地被临时存储。

在步骤S117中，如果对于所有的图像都重复了该相似性确定处理，则结束所有图像的循环。然后，在步骤S118中，将已被临时存储的图像和条件关键字存储在管理数据存储单元129中。图29示出了管理数据存储单元129的结构。在该管理数据存储单元129中存储有：“图像惟一ID”，作为用于指定图像的信息；“图像参考地址”，表明在图像存储单元127中已存储有该图像的位置；“索引图像”，作为该图像的缩略图；以及，至少一个条件关键字。

然后，当对于存储在关键字存储单元128中的所有条件关键字执行上述处理时，在步骤S119中，结束条件关键字的循环。

可以对新输入的图像执行管理数据存储单元129中的登记处理。例如，通过输入/输出单元113，可以将从照相机等读取的图像附加地登记到管理数据存储单元129中。

图30是示出了在管理数据存储单元129中的概略附加登记处理的流程图。

在步骤S121中，开始图像输入循环。即：为通过输入/输出单元113读取的各个图像执行下面的处理。在步骤S122中，开始条件关键字的循环。即：为所有的条件关键字中的每一个重复下面的处理。

在步骤S123中，取出保存在待处理输入图像的图像文件中的拍摄信息。接下来，在步骤S124中，在关键字存储单元128中执行搜索，以取出与一个已选条件关键字相对应的拍摄信息的相似性范围。

在步骤S125中，针对待处理图像是否处在条件关键字的相似性范围之中进行检查。换句话说，针对待处理图像的各个拍摄信息是否属于存储在关键字存储单元128中的拍摄信息的分布范围(相似性范围)进行检查。在步骤S125为“是”的情况下，即当待处理图像的各个拍摄信息属于所有的目标拍摄信息的相似性范围中时，在步骤S126，对于管理数据存储单元129中的输入图像存储条件关键字。

然后，当对于存储在关键字存储单元128中的所有条件关键字执行了上述处理时，在步骤S127结束条件关键字的循环。在步骤S128中，当对于所有读取图像执行了存储性确定处理时，结束图像输入循环。

当关键字存储单元128和管理数据存储单元129中的登记操作结束时，可以检索图像。根据本实施例的图像检索方法，可以使用通过指定关键字来检索图像的方法、以及指定图像并检索与该图像相类似的图像的方法。

图31是示出了利用关键字的概略图像检索处理的流程图。

当用户通过输入/输出单元113利用关键字来执行图像检索操作时，在步骤S131，在显示单元112中显示已登记的条件关键字的列表。当用户选择了所显示的关键字时，在步骤S132中，在管理数据存储单元129中执行搜索，以提取具有已选条件关键字的所有图像。然后，在步骤S133中，将已提取图像的缩略图作为检索结果列表显示。

图32是示出了基于图像进行的概略图像检索处理的流程图。

在步骤S136，当用户从图像存储单元127中选择一个图像文件并且指示检索与该图像相类似的图像时，在步骤S137，将与所选图像相关联的条件关键字从管理数据存储单元129中全部提取。

接下来，在管理数据存储单元129中执行搜索，以提取具有所选条件关键字的所有图像。然后，在步骤S139，将已提取图像的缩略图作为检索结果列表显示。

根据第三实施例的图像检索方法，在基于伴随图像的拍摄时间的图像信息(例如，Exif信息)的特征空间中显示各个图像，并且通过使用Mahalanobis距离来判定预选样本图像的分布范围。然后，将该预选样本图像的分布范围与其条件关键字一起登记到关键字存储单元中。接下来，针对待管理的所有图像的各个Exif信息是否处在该分布范围之内来进行确定。然后，将被确定处在该范围内的图像的条件关键字登记到管理数据存储单元中。

显示登记在关键字存储单元中的条件关键字的列表。通过使用所选择的条件关键字作为关键码来在管理数据存储单元中执行搜索，并且显示该检索结果的列表。

从图像存储单元中选择图像文件，提取登记在管理数据存储单元中的所选图像的条件关键字。通过使用这些条件关键字作为关键码，在管理数据存储单元中执行搜索，并且显示该检索结果的列表。

此外，当对从照相机等输入图像数据时输入的Exif信息进行提取，并且针对其是否处在关键字存储单元的各个关键字的分布范围之内进行判定时，将条件关键字登记到管理数据存储单元中。

利用上述配置，可以基于人对图像数据本身的主观观点，提取出在由检索者期望的拍摄条件下精确拍摄出的多个图像，作为检索结果，这些图像包括未添加有关键字的图像或者没有关键字与之相关联的图像。

表明各个图像拍摄条件的条件关键字被精确地添加到该图像的管理数据存储单元中，该图像通过图像输入装置被输入到(图像检索)装置中，而不需要人的任何添加。因此，不需要人来添加任何新的关键字。

因此，与包括在图像数据中直接作为检索条件的拍摄信息的值的检索相比较，可以实现更容易被检索者理解的检索。

根据本实施例，通过使用Mahalanobis距离来计算预选样本图像的分布范围。然而，计算分布范围的方法并不限于Mahalanobis距离。可以基于根据统计方法定义的各个指标(例如平均值、方差、最大值和最小值等)来判定分布范围。

该实施例的各项功能可以通过使用硬件来配置，或者通过使计算机通过使用软件读取一段描述了各项功能的程序来实现。另外，可以通过恰当地选择软件或者硬件来配置各项功能。

此外，可以通过使计算机读取存储到记录介质(未示出)中的程序来实现各项功能。这里，该实施例的记录介质可以使用任何记录格式，只要可以记录程序并且通过计算机读取即可。

本领域的技术人员容易想到其他的优点和修改。因此，本发明在更广义的方面不限于本文所示出和描述的特定细节和代表性的实施例。因此，可以在不脱离由所附权利要求及其等价物所限定的本发明的一般原理的精神和范围的情况下进行各种修改。

Claims (20)

1.一种图像检索装置(30)，其特征在于，其包括：

图像存储器(35)，其存储由拍摄装置拍摄的图像的图像数据和该图像的拍摄信息；

图像选择单元，其从所述图像存储器选择所述图像数据；

拍摄信息分类单元，其根据预定的分类标准，对与由所述图像选择单元选择的所述图像数据相对应的所述拍摄信息进行分类；

图像分类单元，其基于由所述拍摄信息分类单元分类的所述拍摄信息，对存储在所述图像存储器中的所述图像数据进行分类；

关键字添加单元，其对由所述图像分类单元分类的所述图像数据添加关键字；以及

检索单元，其基于由所述关键字添加单元添加的所述关键字，来检索希望的图像数据。

2.根据权利要求1所述的装置，其特征在于：

所述拍摄信息分类单元包括：计算单元，其计算与由所述图像选择单元选择的各个图像数据相对应的所述拍摄信息的分布范围；以及，范围判定单元，其基于由所述计算单元计算的结果来创建分类标准，并且通过该分类标准来判定所述拍摄信息的值的范围，

所述图像分类单元包括：关键字关联单元，其将关键字与分类范围相关联，所述分类范围是由所述分类标准指定的所述拍摄信息的值的范围；以及，关键字存储器，其存储所述关键字和与所述关键字相关联的所述拍摄信息的所述值的分类范围，并且

所述关键字添加单元将与所述分类范围相对应的关键字添加到所述拍摄信息的所述值被确定为处在与所述关键字相对应的所述分类范围内的图像数据。

3.根据权利要求2所述的装置，其特征在于：

所述检索单元包括：关键字显示单元，其在显示器上显示存储在所述关键字存储器中的关键字的列表；以及，关键字选择单元，其选择显示在所述显示器上的所述关键字；并且

所述检索单元检索添加有由所述关键字选择单元选择的所述关键字的图像数据。

4.据权利要求2所述的装置，其特征在于：

所述检索单元包括：第二图像选择单元，其选择存储在所述图像存储器中的所述图像数据；以及，关键字指定单元，其指定对由所述第二图像选择单元选择的所述图像数据添加的关键字；并且

所述检索单元检索已添加有与由所述关键字指定单元指定的关键字相同的关键字的图像数据。

5.根据权利要求2所述的装置，其特征在于，所述装置还包括读取图像数据的图像输入单元，

其中，每当所述图像输入单元读取所述图像数据时，所述关键字添加单元对所述图像数据添加关键字。

6.根据权利要求1所述的装置，其特征在于，所述拍摄信息是存储在包含有图像数据的Exif格式图像文件中的信息。

7.根据权利要求1所述的装置，其特征在于，所述装置还包括：

具有第一显示区域和第二显示区域的显示器；

关键字显示单元，其在所述显示器的所述第一显示区域中显示由多个关键字构成的关键字列表；

分类条目显示单元，其在所述第二显示区域中显示所述图像数据的分类条目；

选择单元，其选择显示在所述第二显示区域中的所述分类条目；

关键字选择单元，其从显示在所述第一显示区域中的所述关键字列表中选择关键字；

关联信息存储器，其将由所述关键字选择单元选择的所述关键字与属于由所述选择单元选择的所述分类条目的所述图像数据相关联，并且存储所述关联信息；以及

检索结果显示单元，其基于存储在所述关联信息存储器中的所述关联信息，在所述第二显示区域中显示由所述检索单元检索的并且与由所述关键字选择单元选择的所述关键字相关联的所述图像数据的索引图像。

8.据权利要求7所述的装置，其特征在于：

所述拍摄信息分类单元利用年、月和日分类标准，对包含在所述拍摄信息中的拍摄时间信息进行分类，并且

所述分类条目显示单元以拍摄日、月或年为单位来显示所述拍摄时间信息。

9.据权利要求7所述的装置，其特征在于，所述装置还包括：

关联信息删除单元，其删除所述图像数据与由所述关键字选择单元选择的所述关键字之间的所述关联信息，所述图像数据是与由所述检索单元检索的索引图像相对应的图像数据、或者属于由所述选择单元选择的所述分类条目的图像数据。

10.据权利要求1所述的装置，其特征在于，所述装置还包括：

具有第一显示区域和第二显示区域的显示器；

关键字显示单元，其在所述显示器的所述第一显示区域中显示由多个关键字构成的关键字列表；

图像信息显示单元，其在所述第二显示区域上显示存储在所述图像存储器中的所述图像数据的索引图像、或者所述图像数据的分类条目；

选择单元，其选择显示在所述第二显示区域中的所述索引图像或者所述分类条目；

关键字选择单元，其从显示在所述第一显示区域中的所述关键字列表中选择第一关键字；

关联信息存储器，其将由所述关键字选择单元选择的所述第一关键字与所述图像数据相关联，并且存储所述关联信息，所述图像数据是与由所述选择单元选择的所述索引图像相对应的图像数据、或者属于由所述选择单元选择的所述分类条目的图像数据；

检索关键字选择单元，其从所述关键字列表选择第二关键字；以及

检索结果显示单元，其基于存储在所述关联信息存储器中的所述关联信息，在所述第二显示区域中显示由所述检索单元检索的并且与由所述检索关键字选择单元选择的所述第二关键字相关联的所述图像数据的所述索引图像。

11.一种图像检索装置(30)的图像检索方法，该图像检索装置具有用于存储由拍摄装置拍摄的图像的图像数据和该图像的拍摄信息的图像存储器(35)，并且所述图像检索方法从所述图像存储器检索希望的图像数据，其特征在于，所述方法包括以下步骤：

从所述图像存储器选择多个图像数据(步骤S102)；

根据预定的分类标准，对与所选择的图像数据相对应的所述拍摄信息进行分类(步骤S108)；

基于利用所述分类标准分类的所述拍摄信息，对存储在所述图像存储器中的所述图像数据进行分类(步骤S113到S116)；

对所分类的图像数据添加关键字(步骤S118)；并且

基于所添加的关键字，来检索希望的图像数据(步骤S132，S138)。

12.根据权利要求11所述的方法，其特征在于：

所述根据预定的分类标准对所述拍摄信息进行分类的步骤(步骤S108)包括：

计算与各个所选图像数据相对应的所述拍摄信息的分布范围(步骤T101到T106)，并且基于计算结果来创建分类标准，以根据所述分类标准来判定所述拍摄信息的值的范围；

所述基于利用所述分类标准分类的所述拍摄信息对存储在所述图像存储器中的所述图像数据进行分类的步骤(步骤S113到S116)包括：

将关键字与作为由所述分类标准指定的所述拍摄信息的值的范围的分类范围相关联，并且存储所述关键字和与所述关键字相关联的所述拍摄信息的值的所述分类范围，并且

所述对所述分类图像数据添加所述关键字的步骤(步骤S118)包括：将与所述分类范围相对应的关键字添加到所述拍摄信息的所述值被确定为处在与所述关键字相对应的所述分类范围内的图像数据。

13.根据权利要求12所述的方法，其特征在于：

所述基于所添加的关键字来检索所述图像数据的步骤包括：

在显示器上显示存储在所述关键字存储器中的关键字列表(步骤S131)，

选择显示在所述显示器上的所述关键字(步骤S132)，以及

检索已添加有所选关键字的图像数据(步骤S132)。

14.根据权利要求12所述的方法，其特征在于：

所述基于所添加的关键字来检索所述图像数据的步骤包括：

选择存储在所述图像存储器中的所述图像数据(步骤S136)，

指定对所选图像数据添加的关键字(步骤S137)，以及

检索已添加有与所述指定关键字相同的关键字的图像数据(步骤S138)。

15.根据权利要求12所述的方法，其特征在于，所述方法还包括：

每当读取所述图像数据时，对该图像数据添加关键字(步骤S123到S126)。

16.根据权利要求11所述的方法，其特征在于，所述拍摄信息是存储在包含有图像数据的Exif格式的图像文件中的信息。

17.根据权利要求11所述的方法，其特征在于，所述方法还包括以下步骤：

在显示器(31)的第一显示区域(4)中显示由多个关键字构成的关键字列表；

在所述显示器的第二显示区域(5)中显示所述图像数据的分类条目；

选择显示在所述第二显示区域中的所述分类条目(步骤T11)；

从显示在所述第一显示区域中的所述关键字列表中选择关键字(步骤T13)；

将所选关键字与属于所选分类条目的所述图像数据相关联，以存储所述关联信息(步骤T18)；以及

基于所存储的关联信息，来检索与所选关键字相关联的所述图像数据的索引图像，以在所述第二显示区域中显示所述索引图像(步骤T22)。

18.根据权利要求17所述的方法，其特征在于：

所述根据预定的标准对与所选图像数据相对应的所述拍摄信息进行分类的步骤包括：利用年、月和日分类标准，对包含在所述拍摄信息中的拍摄时间信息进行分类，并且

所述基于所分类的拍摄信息对存储在所述图像存储器中的所述图像数据进行分类的步骤包括：根据拍摄日、月或者年的分类单位，显示所述拍摄时间信息。

19.根据权利要求17所述的方法，其特征在于，所述方法还包括：

删除与所检索的索引图像相对应的、或者属于所选分类条目的所述图像数据与所选关键字之间的所述关联信息。

20.根据权利要求11所述的方法，其特征在于，所述方法还包括：

在显示器的第一显示区域中显示由多个关键字构成的关键字列表；

在所述显示器的第二显示区域中显示存储在所述图像存储器中的图像数据的索引图像、或者该图像数据的分类条目；

选择显示在所述第二显示区域中的所述索引图像或者所述分类条目；

从显示在所述第一显示区域中的所述关键字列表中选择第一关键字；

将所选关键字与对应于所选索引图像的、或者属于所选分类条目的所述图像数据相关联，以存储所述关联信息；

从所述关键字列表中选择第二关键字；以及

基于所存储的关联信息，来检索与所选第二关键字相关联的所述图像数据的所述索引图像，以在所述第二显示区域中显示所述索引图像。

Images