CN100440247C

CN100440247C - 图像检索装置、图像检索方法

Info

Publication number: CN100440247C
Application number: CNB2006101083789A
Authority: CN
Inventors: 中野贤次
Original assignee: Olympus Imaging Corp
Current assignee: Olympus Corp
Priority date: 2005-08-04
Filing date: 2006-08-03
Publication date: 2008-12-03
Anticipated expiration: 2026-08-03
Also published as: CN1908961A; JP2007041927A; US20070031066A1

Abstract

图像检索装置、图像检索方法。公开了在图像检索装置中，从原图像提取人脸部分，生成包含该脸部分的索引图像并显示的技术。由此，可容易地判别图像中的人脸部分。另外，作为任意事项，也公开了编辑原图像以使得从索引图像选择的人位于中央，并显示的技术。

Description

图像检索装置、图像检索方法

本申请以2005年8月4日提交的日本专利申请No.2005-226724为基础并主张优先权。

技术领域

本发明涉及在检索图像中的特定对象时，可容易地辨认特征部分、而不会破坏原图像的技术。

背景技术

在从许多图像中提取出拍摄了特定人物的图像时，由于图像中的拍摄的人脸部较小，所以辨认性差，大多数情况下寻找特定人物很辛苦。

因此，在日本特开2004-326555号公报中公开了以下技术，只将图像中的特征区域的显示倍率放大，合成到缩小图像中来显示。

但是，在日本特开2004-326555号公报记载的方法中，显示的图像的整体图像与原图像不同，将有损图像。并且，在特征区域相邻存在时，有时成为特征区域被重合、遮住的图像。

发明内容

本发明就是鉴于上述情况而提出的，其目的在于，提供能容易地辨认特征部分、而不会破坏原图像的整体图像的图像检索程序、图像检索装置、图像检索方法和记录介质。

本发明的图像检索装置用于从由一览显示的索引图像中选择的一个索引图像的原图像中识别出人脸部分并提取出，生成包含该脸部分的索引图像并显示。由此，容易识别脸部。

本发明提供了一种图像检索装置，该图像检索装置包括：

图像选择部，其选择至少一个原图像；

索引生成部，其生成所述图像选择部所选择的所述原图像的索引图像；

索引显示部，其在显示器上显示所生成的所述原图像的索引图像；

索引选择部，其允许用户从显示在所述显示器上的索引图像中选择所期望的索引图像，

其特征在于，所述图像检索装置还包括：

脸提取部，其提取在与通过所述索引选择部选择的索引图像对应的原图像中所记录的人脸部分；

脸部索引生成部，其生成包含所述脸提取部提取出的脸部分的索引图像即脸部索引图像；

脸部索引显示部，其在所述显示器上显示所述脸部索引生成部生成的脸部索引图像；以及

索引信息存储部，其将从所述原图像中提取的所述脸部索引图像与该原图像相关联起来存储，

其中，所述索引显示部在脸部索引图像与对应于索引图像的原图像相关联的情况下，取代对应于该原图像的索引图像，而显示脸部索引图像，

所述脸部索引显示部在显示于所述显示器上的脸部索引图像被选择时，取代该脸部索引图像，而显示对应的原图像的索引图像。

本发明还提供了一种图像检索方法，包括：

允许用户选择至少一个原图像；

生成在所述图像选择步骤选择的所述原图像的索引图像；

将所生成的所述原图像的索引图像显示在显示器上；

允许用户从显示在所述显示器上的索引图像中选择所期望的索引图像，

其特征在于，该图像检索方法还包括：

提取在与所述选择的索引图像对应的原图像中记录的人脸部分；

生成包含所述提取的脸部分的索引图像即脸部索引图像；

将所述生成的脸部索引图像显示在所述显示器上；以及

将从所述原图像中提取的脸部索引图像与该原图像相关联起来存储，

其中，在所述索引显示步骤中，在脸部索引图像与对应于索引图像的原图像相关联的情况下，取代对应于该原图像的索引图像，而显示脸部索引图像，

在所述脸部索引选择步骤中，在显示于所述显示器上的脸部索引图像被选择时，取代该脸部索引图像，而显示对应的原图像的索引图像。

根据本发明，可以容易地辨认人脸部分，而不会破坏原图像的整体图像。

本发明的装置和方法的上述及其他特征、方面和优点，根据表示下述说明、所附权利要求和附图将变得更易于理解。

附图说明

图1是说明本发明的一个实施方式涉及的图像的检索方法的图。

图2是说明根据提取图像进行检索的方法的图。

图3是表示用于执行检索动作的检索装置的结构的方框图。

图4是表示检索画面的图。

图5是表示检索处理的概要步骤的流程图。

图6是表示变形例涉及的检索处理的概要步骤的流程图。

图7是表示变形例涉及的检索处理的概要步骤的流程图。

具体实施方式

以下，参照附图说明本发明的优选实施方式。

图1是概要说明本发明的一个实施方式涉及的图像的检索方法的图。

在原图像的缩小图像(索引图像)10中合影拍摄了多个人。当在用户选择了该索引图像10进行规定的操作时，显示只将各个人脸部分放大的索引图像的排列11。

作为上述规定的操作，例如利用指示设备选择索引图像10并点击等。并且，作为只提取人脸部分将其放大的方法，例如，利用公知的图像的特征量[feature value]从上述索引图像10的原图像中提取脸部，将该提取的脸部分的尺寸重新调整为索引图像的尺寸。并且，也可以预先从原图像中提取出脸部，将所提取的脸部的索引图像与原图像相关联起来记录。

因此，当用户从该索引图像11中确认了正寻找的人，选择了该人的索引图像后，显示原图像12。在显示原图像12时，进行移动使该人的位置位于图像的中央。例如在图1中，当用户从一览显示的图像11中选择了人物A后，在提取图像12中将人A配置在中央位置进行显示。

这样，人脸部分的索引图像的排列11被显示，所以用户能够容易地检索拍摄了特定的人的图像。

并且，作为该方法的变形，可以在检索过程中预先保存一次生成的脸部的索引图像，由此可缩短以后的检索的处理时间。

即，在变形例的方法中，将原图像的索引图像和所提取的多个脸部部分的索引图像与原图像相关联起来保存。并且，显示脸部部分的索引图像来代替原图像的索引图像。

图2是说明根据脸部的索引图像来进行检索的方法的图。

在用户开始图像的检索操作后，在显示器上显示索引图像的一览。此时，在与原图像相关联地存储有脸部的索引图像时，显示该原图像中拍摄的人的脸部的索引图像13，代替原图像的索引图像。即，虽然图1中的索引图像10是多个人合影的状态下的原图像的索引图像，但在图2中显示在图1中指定的人A的脸部部分的索引图像13。

在用户对该索引图像13进行了规定的操作后，显示各个人的脸部索引图像的排列14。但是，在索引图像的排列14中，不显示人A的脸部部分的图像，取而代之显示原图像的索引图像14a。

当用户选择了人B、C、D时，按上面所述，显示把该人配置在中心位置的原图像15。另一方面，当用户选择了索引图像的排列11中的原图像的索引图像14a时，作为提取图像15显示原图像(图1中的提取图像12)。

图3是表示用于执行上述的检索动作的检索装置30的结构的方框图。

在检索装置30中设有显示部32、处理部33、操作输入部34、信息存储器35、程序存储器36、图像处理部38。

显示部32显示索引图像的一览和检索出的原图像等。处理部33总括地控制检索装置30的各部分。操作输入部34是操作鼠标和键盘等各种功能，进行指示输入的输入部件。

信息存储器35是用于保存原图像、原图像的索引图像、脸部的索引图像等图像检索所需要的数据等的存储区域。程序存储器36是存储在检索装置30上运行的程序的记录介质。图像处理部38执行该图像检索处理。

下面，说明使用检索装置30的检索动作。

在用户起动检索装置30后，在显示部32上显示检索画面1。

图4是表示检索画面1的图。在检索画面1中设有工具条区域2、文件夹树区域3、图像一览区域4和提取图像一览区域5。

在工具条区域2具备用于指定图像文件的打开按钮21、用于结束该处理的结束按钮22。在文件夹树区域3中利用树的形式按层次显示文件夹图标23。在图像一览区域4显示所指定的文件夹中包含的图像文件的索引图像10。在提取图像一览区域5显示脸部的索引图像的排列11。

图5是表示检索处理的概要步骤的流程图。另外，该处理用于实现图1所记载的功能。

当用户操作了打开按钮21时，在文件夹树区域3中显示表示在存储有图像的信息存储器35中保存的文件夹的文件夹图标23。

在步骤S01、S02，当用户选择了显示于文件夹树区域3中的文件夹图标23中的任一个时(图像选择功能、图像选择步骤)，生成在所选择的文件夹中作为图像文件所存储的原图像的缩小图像即索引图像10(索引生成功能、索引生成步骤)。并且，在图像一览区域4显示索引图像10(索引显示功能、索引显示步骤)。

若用户使鼠标指针移动到所期望的索引图像10上，则在步骤S03，该索引图像10成为选择状态(索引选择功能、索引选择步骤)。然后，开始脸部部分的获取处理。

即，在步骤S05，读出对应于所选择的索引图像10的原图像，在步骤S06，提取包含有人脸的区域(脸提取部、脸提取步骤)。并且，在步骤S07，根据所提取的区域生成脸部分的索引图像(脸部索引生成功能、脸部索引生成步骤)。然后，在步骤S08，将所生成的脸部的索引图像的一览显示在作为子窗口的提取图像一览区域5中(脸部索引显示功能、脸部索引显示步骤)。

在步骤S09，当用户双击了显示于提取图像一览区域5中的脸部的索引图像之一时，该脸部的索引图像的原图像被选择(第2索引选择功能、第2索引选择步骤)。在步骤S10，使脸部分位于中央位置，显示原图像12(原图像显示功能、原图像显示步骤)。

下面，说明本实施方式的变形。具体说明在图2中说明的内容。在本实施方式的变形中，与上述实施方式不同的是，包括在存在已经生成的脸部的索引图像的情况下的检索方法。因此，对与上述实施方式相同的部位赋予相同符号，省略其具体说明。

图6、图7是表示变形例涉及的检索处理的概要步骤的流程图。

在步骤S21、S22，当用户选择了显示于文件夹树区域3中的文件夹图标23中的任一个时，生成在所选择的文件夹中作为图像文件所存储的原图像的索引图像10。

此时，在步骤S23，根据替换用的图像即该图像文件，确认是否存在已经生成的脸部的索引图像。并且，在步骤S23为“是”时，即存在脸部的索引图像的情况下，在步骤S24，把该脸部的索引图像中以前所指定的脸部的索引图像作为一览显示用的索引图像10。在不存在的情况下，显示原图像的索引图像10。

并且，在步骤S25，在图像一览区域4显示所生成的索引图像10。

当用户将鼠标指针移动到所期望的索引图像10上时，在步骤S26，该索引图像10成为选择状态。然后，在步骤S27，确认所选择的索引图像是否是原图像的索引图像。并且，在步骤S27为“是”时，即是原图像的索引图像时，开始脸部分的获取处理。

即，在步骤S28，把上述选择的索引图像10读入存储器，并且读出对应于所选择的索引图像10的原图像。在步骤S29，提取包含有人脸的区域。然后，在步骤S30，根据所提取的区域生成脸部的索引图像。然后，在步骤S34，将所生成的脸部的索引图像排列显示在作为子窗口的提取图像一览区域5中。

另一方面，在步骤S27为“否”时，在步骤S32，生成原图像的索引图像。然后，在步骤S33，将该原图像的索引图像与已经显示在图像一览区域4中的脸部的索引图像之外的脸部的索引图像，排列显示在作为子窗口的提取图像一览区域5中。然后，在步骤S35，当用户点击了显示在提取图像一览区域5中的脸部的索引图像之一时，在步骤S36，使对应于该脸部的索引图像的脸部分位于中央，显示原图像，并且把该脸部图像作为指定图像与原图像关联起来保存。

另一方面，在步骤S35，在用户点击了原图像的缩小图像时，显示原图像。

另外，图3所示的操作输入部34实现图像选择功能、索引选择功能、第2索引选择功能，称为图像选择部、索引选择部、第2索引选择部。

并且，处理部33实现索引生成功能、索引显示功能、脸提取功能、脸部的索引图像生成功能、脸部的索引图像显示功能、原图像显示功能，称为索引生成部、索引显示部、脸提取部、脸部的索引生成部、脸部的索引显示部、原图像显示部。

另外，显示在提取图像一览区域5中的脸部的索引图像和原图像的索引图像不需要与显示在图像一览区域4中的索引图像相同。例如，也可以使显示在提取图像一览区域5中的索引图像的尺寸大于显示在图像一览区域4中的索引图像。并且，选择显示在提取图像一览区域5中的索引图像并显示的原图像，也可以是根据原图像重新调整了尺寸得到的显示用图像。

另外，在上述实施方式中说明的各个功能可以使用硬件构成，也可以使用软件使计算机读入记载了各个功能的程序来实现。并且，各个功能也可以选择适当的软件、硬件的任一方来构成。

并且，各个功能也可以通过使计算机读入存储在未图示的记录介质中的程序来实现。此处，该实施方式中的记录介质可以记录程序，而且只要是计算机可读取的记录介质，其记录形式可以是任何形式。

上面示出和说明了被认为是本发明的优选实施方式的实施方式，可以理解的是，当然可以在不脱离本发明的宗旨的范围内在形式上或细节上进行各种变形和变更。因此本发明并不限于上述的说明和例示，而是构成为覆盖可落入所附权利要求范围内的所有变形。

Claims

1.一种图像检索装置，该图像检索装置包括：

图像选择部，其选择至少一个原图像；

其特征在于，所述图像检索装置还包括：

2.根据权利要求1所述的图像检索装置，其中，

所述脸提取部在原图像中记录的人为多个时，提取各个人的脸部分，

所述脸部索引生成部根据所述提取的多个脸部分生成各个脸部分的脸部索引图像，

所述脸部索引显示部在所述显示器上显示所述脸部索引生成部生成的所述多个脸部索引图像。

3.根据权利要求2所述的图像检索装置，还包括：

第2索引选择部，其选择显示在所述显示器上的脸部索引图像；以及

原图像显示部，其将变更了原图像中的人的配置后使得与所述第2索引选择部选择的脸部索引图像对应的脸部分位于图像的中央的图像，显示在所述显示器上。