CN102279864A - 图像检索装置、图像检索方法以及照相机 - Google Patents

Abstract

图像检索装置、图像检索方法以及照相机，即使作为检索对象的图像的数量存在一定幅度，也能够提取适当数量的图像。该图像检索装置选择具有与作为检索基准的图像的被摄体相似的被摄体的图像作为相似图像，其中，具有：相似度判定部(11a2)，其对检索对象的各图像判定表示检索对象的各图像与显示在子画面(62)上的基准图像相似的程度的相似度(Q)；图像选择部(11a3)，其通过选择光标(72)设定用于选择相似图像的选择等级，从判定了相似度的检索对象的各图像中选择相似度为选择等级以上的图像作为相似图像(65)。图像选择部(11a3)在作为检索对象的图像的数量较多的情况下将选择等级设定得较高，在作为检索对象的图像的数量较少的情况下将选择等级设定得较低。

Description

图像检索装置、图像检索方法以及照相机

技术领域

本发明涉及图像检索装置、图像检索方法以及照相机，具体涉及从多个图像中检索相似图像，并对该检索结果进行显示的图像检索装置、图像检索方法以及照相机。

背景技术

近年来，开发了对摄影图像进行分析并确定被摄体的主题是例如人物、建筑物、山、海等的技术，利用该技术进行图像的自动检索已经实用化。尤其是根据面部图像识别特定人物的技术进步显著(例如专利文献1、专利文献2等)。

此外，还提出了各种与相似图像检索相关的技术，该相似图像检索对摄影图像的被摄体种类或场景内容、或者与拍摄人物相似的其他图像、即所谓的相似图像进行检索。在照相机或个人电脑中寻找图像的情况下，以往在索引图像再现中显示缩略图像，从其中寻找目的图像。但是，能够通过利用相似图像检索并适当设定检索条件，检索与目的图像接近的图像。例如，在专利文献3中公开了如下的检索装置：通过选择显示在画面上的用于特定检索的属性项目(色调分布、摄影日期时间、摄影场所、构图、被摄体人物)，用所指定的属性项目进行检索。

上述的相似图像检索装置正在进行低价化，还开始安装于一般的显示装置或照相机上。在这些显示装置或照相机等中，相似图像检索功能不仅用于检索特定图像，还用于欣赏图像再现的用途。即，当连续使用相似图像检索功能时，存在一些关联性的图像从下一个被再现为再下一个，通常的索引再现或幻灯放映等能够欣赏完全不同的再现。该再现功能被比作网络冲浪(net surfing)，还被称作照片冲浪(photo surfing)功能。

【专利文献1】日本特开2008-233959号公报

【专利文献2】日本特开2008-287399号公报

【专利文献3】日本特开2007-226536号公报

这样，在为了再现鉴赏而使用相似图像检索功能时，特定图像的检索不是主要目的，关联的图像被陆续找出来比较重要，因此，期望将所提取的图像数量收纳为适当的尺寸。但是，在照相机或个人电脑等的存储介质中存储的图像数量由于个人差异或使用期间差异而存在较大差异，当进行通常检索时，由于整体存储图像数量的大小，待提取的图像数量非常受影响。

发明内容

本发明正是鉴于这样的情况而完成的，其目的在于提供一种即使作为检索对象的图像数量存在一定幅度，也能够提取适当数量的图像的图像检索装置、图像检索方法以及照相机。

为了达到上述目的，第1发明的图像检索装置选择与作为检索基准的基准图像相似的图像，在该图像检索装置中，具有：相似度判定部，其判定表示检索对象的各图像与上述基准图像相似的程度的相似度；以及图像选择部，其按照所检索的图像的数量成为与作为上述检索对象的图像的数量对应的数量的方式，根据该相似度从上述检索对象的各图像中选择相似图像。

第2发明的图像检索装置在上述第1发明中，上述图像选择部在根据上述相似度选择图像的情况下，设定用于选择上述相似图像的选择等级，选择上述相似度为上述选择等级以上的图像，在作为上述检索对象的图像的数量较多的情况下，将该选择等级设定得较高，在作为上述检索对象的图像的数量较少的情况下，将该选择等级设定得较低，由此在作为上述检索对象的图像的数量较多的情况下，与较少的情况相比，选择与基准图像更相似的图像作为该相似图像。

第3发明的图像检索装置在上述第1发明中，上述图像选择部在根据上述相似度选择图像的情况下，依照上述相似度从高到低的顺序，朝着作为目标的图像数量来选择上述相似图像，按照作为上述检索对象的图像的数量越多，作为该目标的图像数量相对于作为该检索对象的图像的数量的比率越少的方式，根据作为上述检索对象的图像的数量设定作为该目标的图像数量。

第4发明的图像检索装置在上述第1发明中，该图像检索装置具有显示控制部，该显示控制部进行如下控制：使利用上述图像选择部选择的相似图像显示在显示部上。

第5发明的图像检索装置在上述第2发明中，上述图像选择部根据操作来变更上述选择等级。

第6发明的图像检索装置在上述第3发明中，上述图像选择部根据操作来变更作为上述目标的图像数量。

第7发明的照相机具有：上述第1发明的图像检索装置；摄像部，其拍摄图像；图像存储部，其存储上述摄像部所拍摄的图像；以及显示部，其对图像进行显示，上述相似度判定部将上述摄像部所输出的实时取景图像设为作为上述基准的图像，上述图像选择部将上述图像存储部所存储的图像设为上述检索对象的各图像。

第8发明的图像检索方法选择具有与作为检索基准的图像的被摄体相似的被摄体的图像作为相似图像，在该图像检索方法中，包括以下步骤：对检索对象的各图像判定表示该检索对象的各图像与上述作为基准的图像相似的程度的相似度；以及按照上述检索的图像的数量成为与作为上述检索对象的图像的数量对应的数量的方式，根据该相似度从上述检索对象的各图像中选择上述相似图像。

根据本发明，能够提供一种即使作为检索对象的图像的数量存在一定幅度，也能够提取适当数量的图像的图像检索装置、图像检索方法以及照相机。

尤其是，根据第1发明，能够根据检索对象图像的数量大小，选择适当相似度的相似图像。

此外，根据第2发明，由于根据检索对象图像的数量自动设定选择等级，因此即使不根据图像数量的大小来变更选择等级，也能够选择适当张数的相似图像。

此外，根据第3发明，由于根据检索对象图像的数量自动设定作为目标的图像数量，因此即使不根据图像数量的大小来变更目标图像数量，也能够选择适当张数的相似图像。

此外，根据第4发明，由于在显示部上显示相似图像，因此能够欣赏图像。

此外，根据第5发明，能够通过变更相似度，以变为更窄的检索或反之更宽的检索的方式，进行实现用户希望的检索。

此外，根据第6发明，能够通过变更目标张数，以变为进一步缩小张数后的检索或反之更宽的检索的方式，进行实现用户希望的检索。

此外，根据第7发明，由于能够对与实时取景图像相似的图像进行显示，因此能够用作对比被摄体的当前和过去等新的使用方法。

此外，根据第8发明，能够提供一种根据检索对象图像的数量大小，选择适当相似度的相似图像的图像检索方法。

附图说明

图1是示出本发明的一个实施方式的照相机的主要电气电路结构的框图。

图2是示出本发明的一个实施方式的照相机中的相似图像画面的图。

图3是示出本发明的一个实施方式的照相机中的检索形式A的扩展相似图像画面的图。

图4是示出在本发明的一个实施方式的照相机中，在检索中使用的属性的图。

图5是示出本发明的一个实施方式的照相机中的检索形式A的检索图像数的图。

图6是示出本发明的一个实施方式的照相机中的检索形式B的扩展相似图像画面的图。

图7是示出本发明的一个实施方式的照相机中的检索形式B的检索图像数的图。

图8是示出本发明的一个实施方式的照相机中的画面切换的图。

图9是示出本发明的一个实施方式的照相机的动作的流程图。

图10是示出本发明的一个实施方式的照相机的相似图像显示动作的流程图。

图11是示出本发明的一个实施方式的照相机的检索处理动作的流程图。

标号说明

10照相机；11控制部(CPU)；11a相似图像检索部；11a1特征提取部；11a2相似度判定部；11a3图像选择部；11b显示控制部；13程序/数据存储部；14按钮操作部；15触摸操作部；20摄像部；21SDRAM；22图像处理部；23压缩解压缩部；24记录再现部；25图像存储部；26显示处理部；27显示部；28GPS；30总线；51模式信息；52检索形式；53选择数；54特征点；55画面；56相似图像列；57a滚动图标；57b滚动图标；58滚动条；59滑动条；61检索条件；62子画面；65相似图像；66图像编号；67光标；68滚动条；69条件变更图标；71选择等级条；72选择光标；73标记；74标记；75确定图标。

具体实施方式

以下，依照附图，使用应用了本发明的图像检索装置的照相机，对优选实施方式进行说明。本发明的一个优选实施方式的照相机是数字照相机，具有摄像部，通过该摄像部将被摄体像转换为图像数据，并根据该所转换的图像数据，在配置于主体背面的显示部上对被摄体像进行实时取景显示。摄影者通过观察实时取景显示，确定构图和快门时机。在释放操作时，将图像数据记录到记录介质。当选择再现模式时，记录介质所记录的图像数据能够在显示部上进行再现显示。

图1是示出本发明的一个实施方式的照相机结构的框图。控制部(CPU：CentralProcessing Unit，中央处理器)11依照程序/数据存储部13所存储的控制程序进行动作，进行照相机的整体控制。在控制部11内，设置有相似图像检索部11a和显示控制部11b。并且，在相似图像检索部11a内设置有特征提取部11a1、相似度判定部11a2和图像选择部11a3。控制部11内的11a、11a1、11a2、11a3、11b是根据控制程序执行的处理的一部分，因此作为控制部11所包含的功能部来进行说明。

如上所述，相似图像检索部11a具有特征提取部11a1、相似度判定部11a2和图像选择部11a3，并通过这些部件从后述的图像存储部25所存储的图像数据中检索与当前显示的图像相似的图像。

即，特征提取部11a1进行缩略图像的二值化处理，并根据该二值化信息(亮度)提取特征点。在通过该二值化处理提取特征点并判定在图像中是否包含面部的情况下，使用左右的瞳孔位置、左右的鼻孔位置、面部的特征点进行判定。此外，眼睛、鼻子、嘴巴等面部器官自身的形状特征也在面部判定时使用。此外，关于有无与人物、动物、风景等类型对应的属性，针对各图像进行提取。在这些属性的提取时，利用程序/数据存储部13所存储的相似图像检索用的数据库。

例如，当判定为在图像中包含面部时，根据特征点，判定该人物的属性。作为该属性，例如如图4(a)所示，具有P1的男女性别、P2的年龄段类别(0～9岁、10～19岁…)、P3的发型、P4的面部轮廓、P5的面部器官、P6的其他项目。

此外，当利用特征点判定为在图像中包含动物时，根据特征点，判定该动物的属性。作为动物的属性项目，例如如图4(c)所示，具有P1的狗、猫、兔子等类别，P2的种类中更具体的种类，P3的颜色花纹，P4的身体轮廓，P5的面部轮廓等。并且，当利用特征点判定为在图像中包含风景时，根据特征点，判定该风景的属性。作为风景的属性，例如如图4(d)所示，具有P1的摄影位置、P2的风景图案、P3的风景特征等。根据由GPS取得的摄影位置(P1)，通过地图数据库来确定摄影场所例如是海还是山，因此也能判定所拍摄的风景。风景图案(P2)根据所拍摄的被摄体的颜色和形状，判定该被摄体是山还是湖。风景特征(P3)通过与数据库所存储的著名的风景数据进行比较，判定被摄体是哪个著名的风景。

相似度判定部11a2按照作为检索对象的每个图像，判定表示作为检索对象的图像相对于基准图像的相似程度的相似度Q。即，相似度判定部11a2使用每个属性的数值对与基准图像的相似度进行数值化，该每个属性的数值是使用特征提取部11a1所提取的特征点而求出的。

图4(b)例示了每个图像的属性，并使用该属性例示了与基准图像的相似度。在该例中，作为基准图像的属性，提取了性别为女性(p1)、年龄段为20～29岁(p2)、发型为短发(p3)、面部轮廓为长脸(p4)…。此外，按照图像存储部25所存储的每个图像提取属性，例如在图像No1中，作为其属性，提取了男性(p1)、40～49岁(p2)、发型为长发(p3)、面部轮廓为圆脸(p4)…的属性。在图像No1中，按照这些属性项目的每一个对与基准图像的相似程度进行数值化，并将各数值相加来求出相似度Q。在图像No1中，作为基准图像的相似度Q计算出24点。同样，在图像No6中相似度Q为45点，在图像No7中相似度Q为35点、…。

图像选择部11a3按照使所检索的图像的数量与作为检索对象的图像的数量相对应的方式，使用相似度判定部11a2所判定的相似度，从检索对象的各图像中进行相似图像的选择。在该相似图像的选择时，在本实施方式中设置了检索形式A和检索形式B这两种检索方法。在检索形式A中，是检索相似度Q为预定值(选择等级)以上的图像的形式。检索形式B是从上一级以预定的图像数(目标张数)进行检索的形式。检索形式A的选择等级和检索形式B的目标张数根据在图像存储部25中成为检索对象的图像的数量而不同，一般而言，可以确定：当检索对象图像数增加时，检索结果图像数相对于检索对象图像数的比例变小。关于该选择等级的确定方法，将使用图5和图7在后面叙述。

显示控制部11b进行如下控制：使通过图像选择部11a3选择的相似图像显示在后述的显示部27上。此外，在相似图像的检索时，进行相似图像画面和扩展相似图像画面的画面显示以及画面的切换控制。

控制部11连接有程序/数据存储部13、按钮操作部14、触摸操作部15以及总线30。如上所述，在程序/数据存储部13中存储有在控制部11中执行的程序，并且还存储有各种数据。

此外，如上所述，程序/数据存储部13还存储有相似图像检索用的数据库。在该相似图像检索用的数据库中，包含有在例如图像中包含人物的情况下所利用的人物检索用数据库。在人物检索用数据库中，包含面部的男女类别特征图案，并且包含长发(long hair)、短发(short hair)、马尾辫(pony tail)等发型图案，包含幼儿、儿童、青年、中年、老年等年龄段类别的面部图案，包含胡须、眼镜、耷拉眼、吊梢眼等面部器官的特征图案等。

此外，作为动物的检索用数据库，包含动物种类的形状图案等。并且，作为风景的检索用数据库，包含仅有山、2个山、3个山、山和河流、山和海等风景图案，包含关于具有特征性形状的著名的山、河流或者岛的形状图案。

按钮操作部14具有用于用户对照相机赋予指示的各种操作部件。作为各种操作部件，具有电源按钮、释放按钮、菜单按钮等，将各种操作部件的操作状态的检测结果输出到控制部11。触摸操作部(touch panel：触摸面板)15与显示部27的前表面或与显示部27一体构成，根据显示部27的画面55(参照图2)的触摸状态将检测信号输出到控制部11。

总线30除了上述控制部11以外，还连接有摄像部20、SDRAM(SynchronousDynamic Random Access Memory：同步动态随机存储器)21、图像处理部22、显示处理部26、压缩解压缩部23、记录再现部24、GPS(Global Positioning System：全球定位系统)28。摄像部20包含用于使被摄体像成像的摄影镜头、用于将被摄体像转换为图像数据的摄像元件以及夹在这些处理电路和摄影镜头的光路中的光圈和快门等。通过摄像部20生成的图像被输出到总线30。

SDRAM 21是可电改写的易失性的临时存储存储器，用于从摄像部20输出的图像数据的临时存储。图像处理部22进行数字图像数据的数字性放大(数字增益调节处理)、白平衡、颜色校正、伽马(γ)校正、对比度校正、实时取景显示用图像生成、动态图像生成等各种图像处理。

压缩解压缩部23是用于通过JPEG或TIFF等压缩方式对临时存储在SDRAM 21中的静态图像或动态图像的图像数据进行压缩、并为了显示等而进行解压缩的电路。另外，图像压缩不限于JPEG或TIFF，还能够应用其他压缩方式。

显示处理部26在摄影时进行实时取景显示，在再现时使再现图像显示在显示部27上。并且，根据来自显示控制部11b的指示，控制与显示中的基准图像相似的相似图像的显示。显示部27与显示处理部26连接，具有配置在照相机10的主体背面等的液晶监视器或有机EL等显示器，通过显示处理部26的控制在显示器的画面上显示预定图像。

记录再现部24将在压缩解压缩部23中压缩后的图像数据存储到图像存储部25，并且读出图像存储部25所存储的摄影图像的图像数据。该所读出图像数据在压缩解压缩部23中被解压缩，根据该解压缩后的图像数据，在显示部27上对图像进行再现显示。图像存储部25与记录再现部24连接，是能够内置或装入数字照相机主体的图像数据的记录介质。在该图像存储部25中存储有摄影图像。

GPS 28检测照相机10的位置，在摄影时将该检测结果与摄影图像一起存储到图像存储部25。另外，例如只要是能够根据与手机基站的位置关系检测照相机10的当前位置等、照相机10的位置的技术，也可以是GPS以外的装置。

接着，使用图2至图8，对本实施方式中的相似图像的检索及其显示进行说明。图2示出了在设定了相似图像显示模式的情况下在显示部27的画面55上进行实时取景(live view)显示的状态。该实时取景图像为基准图像。图2(a)在画面55的大致整个区域中对狗进行实时取景显示。在该狗的图像中用多个+标记表示的场所是特征点54。特征点54是特征提取部11a1根据图像亮度所提取的特征性位置。图2(a)是根据特征点54检测动物作为属性的例子。同样，图2(b)示出根据特征点54检测到人物面部的例子。图2(c)是不能根据特征点54检测到面部等，而根据色调以颜色作为特征进行了检测的例子。

在画面55的左上方显示模式信息51，作为模式信息51，显示表示实时取景显示的“LV”。在模式信息51的紧下方，显示检索形式52，检索形式52的“A”表示当前设定了检索形式A。作为检索形式，在本实施方式中，如上所述具有A和B两种，通过图像选择部11a3进行图像选择时的选择方法不同。

在画面55的右上方显示表示所选择的相似图像的数量的选择数53。在图2(a)所示的例子中，显示“14/300”作为选择数53，其表示在图像存储部25中全部存储有300张图像，其中，通过图像选择部11a3选择的相似图像是14张。同样，在图2(b)所示的例子中，表示选择300张中的30张作为相似图像，在图2(c)所示的例子中，表示选择了300张中的34张。

在画面55的下方显示相似图像列56。该相似图像列56由相似判定部11a2根据特征点54判定相似度Q，并将通过图像选择部11a3选择为选择等级以上的相似图像横向显示为一列。

在图2(a)中，实时取景图像(基准图像)是狗的图像，因此选择判定为与该狗的图像相似度高的图像、即判定为狗或像狗的动物的图像并进行显示。在图2(b)中，实时取景图像(基准图像)是年轻女性的面部图像，因此选择判定为与该面部相似度高的图像、即判定为女性且年轻面孔的图像并进行显示。在图2(c)中，在不能用实时取景图像(基准图像)检测形状特征，而将颜色(例如红色)检测为特征的情况下，选择判定为红色比例多的图像并进行显示。

能够通过触摸配置在相似图像列56两侧的滚动图标57a、57b，使相似图像向期望的方向滚动。另外，在图2(a)中，相似图像列56处于一端侧，因此不显示左侧的滚动图标57b。

在相似图像列56的下侧配置有滚动条58，在该滚动条58内配置有滑动条59。滚动条58内的滑动条59的位置表示在所选择的相似图像中当前显示的图像的位置。因此，用户通过触摸滚动图标57a或57b，向所触摸的图标方向移动所显示的相似图像列，滑动条59也根据该移动而移动。

在进行这种相似图像显示的状态下(图8(a)所示的相似图像)，当触摸相似图像列56中的1个相似图像时，成为扩展相似画面(参照图8(b))。在相似图像画面中，以所触摸的相似图像为最开始，显示图像选择部11a3根据预先确定的选择等级而选择的图像。另一方面，在扩展相似画面中，能够使图像选择部11a3的选择等级变化。使用图3说明该扩展相似画面。

图3是检索形式A中的扩展相似画面。在检索形式A中，图像选择部11a3以相似度Q为基准，在该相似度Q为预定值以上的情况下，选择为相似图像。换言之，选择为相似图像的图像数不直接进行限定，而根据相似度Q的值进行选择。相似度Q越大相似性越高，即越判定为相似，反之相似度Q越小则越判定为不相似。图5(a)是在上述图4(b)所示的例子中，按照图像编号的顺序示出各图像的相似度Q的图。在该例中在，整体的存储图像数有300，将相似度35点以上设为选择等级，选择相似图像。

在图3(a)所示的扩展相似画面的画面55的左上部显示检索条件61，在其下侧显示子画面62。在子画面62上显示当前的基准图像、即实时取景图像。检索条件61显示实时取景图像的检测结果，即人物面部、动物、颜色检测等。在图3(a)～(d)的例子中，显示“f”作为检索条件61，这意味着基准图像为人物面部。同样，在基准图像为动物的情况下(图2(a)的情况下)显示为“A”，在基准图像为图2(c)的颜色的情况下，显示为“C”。

在子画面62的下侧显示检索形式52，在更下侧显示选择数53。检索形式52与相似画面同样，是检索形式A和检索形式B这两种。此外，选择数53与相似画面同样，表示整体数量和通过图像选择部11a3在该整体数量中选择的相似图像的图像数量。

在纵向排成一列的检索条件61、子画面62、检索形式52以及选择数53的右侧，显示有相似图像65。相似图像65显示为对缩小图像进行了集合的索引画面。该相似图像65是与显示在子画面62上的实时取景图像相似的相似图像，在各个相似图像中，显示有图像存储部25内的图像编号66。在相似图像65的右侧，显示有滚动条68，在该滚动条68内显示有可上下移动的光标67。

在画面55上，显示所有的相似图像65。以所触摸的相似图像作为最开始，按照图像编号的顺序进行配置。当然，也可以与所触摸的相似图像的编号没有关系，而将所检索的相似图像中编号最小的图像设为最开始。但是，对于超过了可在画面上进行显示的数量的图像，用户能够通过触摸并滚动光标67来进行显示。在滚动条68的下侧，显示条件变更图标69。用户能够通过触摸该条件变更图标69，变更图像选择部11a3进行图像选择时的选择等级。

当前，当用户在图3(a)所示的扩展相似画面中触摸条件变更图标69时，切换为图3(b)所示的画面。在图3(b)的画面中，在相似图像65的下侧，显示有选择等级条71，在当前等级的位置上显示选择光标72。在图3(b)中，表示图3(a)所示的扩展相似画面中的选择等级为“中”。选择光标72能够在该选择等级条71内左右移动。当将选择光标72向左移动时，选择的相似图像数量减少，向右移动时选择的相似图像数量增加。并且，在选择等级条71的左下侧显示有标记73，该标记73表示所显示的相似图像少，在选择等级条71的右下侧显示有标记74，该标记74表示所显示的相似图像多。并且，在标记74的右侧显示有确定图标75。

在图3(b)所示的扩展相似画面中，用户能够进行图像选择部11a3进行图像选择时的选择等级的变更。在检索形式A中，如上所述，是如下的模式：求出表示基准图像与图像存储部25所存储的图像的相似程度的相似度Q，将该相似度Q高于选择等级的图像显示为相似图像65。因此，用户能够通过在选择等级条71上一边触摸选择光标72一边使其左右移动，通过在所移动的位置处触摸确定图标75来变更选择等级。

在图3(b)所示的显示状态下，当用户一边触摸选择光标72，一边使其滑动到最右侧，并触摸确定图标75时，如图3(c)所示，将选择等级变更为弱等级。在选择等级为中等级时，如图3(a)(b)的选择数53所示，显示30张图像作为相似图像65，但是当选择等级变为弱等级时，如图3(c)的选择数53所示，显示48张作为相似图像65。省略一部分图像编号的显示。

另一方面，在图3(b)或(c)的状态下，当用户一边触摸选择光标72一边使其滑动到最左侧，并触摸确定图标75时，如图3(d)所示，将选择等级变更为强等级。在选择等级为强等级时，如图3(d)的选择数53所示，显示6张作为相似图像65。显示图像数减少，因此较大显示图像尺寸。

这样，在检索形式A中，选择等级以相似度Q为基准，在该相似度Q为预定数以上时，选择为相似图像。但是，在仅根据相似度Q来确定要选择的图像数时，根据所设定的相似度Q的值会存在以下情况：在成为母体的存储图像数较多的情况下相似图像过多，并且在存储图像数较少的情况下相似图像过少。

因此，根据所存储的图像数来变更选择等级的默认等级(中等级)。图5(b)是示出默认等级的一例的图，在所存储的图像总数超过1000张的情况下，将默认等级(中等级)设定为较高的值(例如，相似度Q≥70点以上)。此外，在所存储的图像总数为100张到1000张之间时，将默认等级(中等级)设定为中间的值(例如，相似度Q≥50点以上)，在所图像总数为100张以下的情况下，将默认等级(中等级)设定为较低的值(例如，相似度Q≥30点以上)。

因此，根据图像存储部25所存储的图像总数，与选择等级的强等级、弱等级、默认等级(中等级)对应的相似度Q的值变化。图5(c)示出在图像总数为300张的情况下的这些选择等级的例子。在该例中，默认等级(中等级)将相似度Q设为50点以上，并且在弱等级时，将相似度Q设为30点以上，在强等级时，将相似度Q设为70点以上。图5(c)的变更例的右栏的选择张数S是在图5(b)所示的例子的情况下选择为相似图像的图像张数的一例。

这样，在利用检索形式A的相似图像的显示中，能够一边根据用户希望使相似度的等级变化，一边显示相似图像来享受照片冲浪(photo surfing)。在仅想显示更相似的图像的情况下，将选择等级设定为强等级即可，并且，在想享受意外性的情况下，将选择等级设定为弱等级即可。并且，在显示相似图像的情况下，根据图像总数，使与选择等级对应的相似度Q变化，因此显示为相似图像的图像数不会极端多，也不会过少。

接着，使用图6和图7说明利用检索形式B的扩展相似图像的显示。检索形式A使用相似度Q作为选择等级来选择相似图像，但是检索形式B按照选择图像的目标张数来进行选择。

当用户触摸显示在图2和图3所示的画面55上的检索形式52时，检索形式被变更。当前，当在图3(a)的画面中触摸检索形式52的“A”时，切换为图6(a)所示的检索形式B的扩展相似画面。该图6(a)所示的扩展相似画面与图3(a)所示的检索形式A的扩展相似画面大致相同，但是，作为检索形式52，显示表示检索形式B的“B”，并且显示为相似图像65的相似图像是利用检索形式B进行了图像选择的图像。此外，图像选择的方法被变更为检索形式B的结果是，在图6(a)的例子中，利用检索形式B进行图像选择的结果是15张，选择数53被显示为15/300。

如上所述，在检索形式B中，以与要选择的目标张数Sm相等、或者接近该张数的方式进行检索。并且，目标张数Sm根据选择光标72的位置进行变更。即，当移动强等级(右侧)时，目标张数Sm被设定为较少，另一方面，当移动弱等级(左侧)时，目标张数Sm被设定为较多。并且，与检索形式A的情况同样，根据图像总数，即使是相同的选择光标72的位置，目标张数Sm也被变更。

图7(a)示出根据等级强弱所确定的目标数Sm相对于图像总数N的关系的一例。在该例中，在图像总数N超过5000张的情况下，在弱等级时将目标数Sm设为200张、在中等级时将目标数Sm设为100张、在强等级时将目标数Sm设为30张，…，在图像总数N是多于20张少于等于50张的情况下，在弱等级时将目标数Sm设为4张、在中等级时将目标数Sm设为3张、在强等级时将目标数Sm设为2张。该表数据被存储在程序/数据存储部13中。

这样，在检索形式B中，根据图像的所有张数设定目标数Sm。图7(b)示出相似度Q和选择数S的关系的一例。在该例中，示出图像总数N＝300张并且相似度Q按照5点变化时的选择张数。可知随着相似度Q的点数上升，待选择的相似图像的选择张数减少。从图7(a)可知，在N＝300、选择等级为中的情况下，将目标数Sm设为20张，选择最接近该20张的Q＝60的15张。在该图7(b)的边框线外，示出与图6(a)～(d)的关系。

返回图6(a)，与检索形式A的情况同样，当用户触摸条件变更图标69时，显示用于变更等级的图6(b)的画面。该画面的等级为中等级，作为等级，与图6(a)的情况相同。在图6(b)的显示状态下，当将选择等级条71上的选择光标72朝右侧滑动时，如图6(c)所示，等级为弱等级，显示39张图像作为相似图像65。省略一部分图像编号的显示。另一方面，当用户将选择光标72朝左侧滑动时，如图6(d)所示，等级为强等级，显示9张图像作为相似图像65。

这样，在利用检索形式B的相似图像的显示中，能够一边根据用户希望使目标张数Sm变化，一边显示相似图像来享受照片冲浪。在仅想显示更相似的图像的情况下，将选择等级设定为强等级即可，并且，在想享受意外性的情况下，将选择等级设定为弱等级即可。并且，在显示相似图像的情况下，根据图像总数使目标张数Sm变化，因此显示为相似图像的图像数不会极端多，也不会过少。

这样，在本实施方式中，存在实时取景显示中的相似画面、扩展相似画面和通常的实时取景显示的画面，这些画面如下进行切换。

图8(a)是用实时取景显示对相似图像进行显示的相似画面，当触摸相似图像列56中的任意一个相似图像时，切换为图8(b)所示的扩展相似画面。并且，当用户触摸在该扩展相似画面中显示在子画面62上的实时取景显示时，重新返回图8(a)所示的相似画面。

此外，图8(c)是与图8(a)相同的相似画面，在该相似画面中，将右端朝下方拖动时，相似图像列56朝下移动，如图8(d)所示，从画面55消失。该图8(d)是将相似图像列56朝下移动消去而变为通常的实时取景显示后的画面。在该通常的实时取景显示画面中，将右端朝上方拖动时，相似图像列56从下向上移动，切换为相似画面。

另外，在图2～图8中，示出了在摄影模式下进行实时取景显示的情况，但是也适用于再现显示的情况。即，在再现模式下，能够替代实时取景显示，将选择了任意一个的摄影结果图像设为基准图像，在预定的条件下检索相对于该基准图像的相似图像，并显示为图2、3、6、8所示的相似画面和扩展相似画面。也同样进行利用检索形式A或检索形式B进行的切换。

接着，使用图9～图11所示的流程图说明本实施方式的照相机的动作。该流程图由控制部11依照程序/数据存储部13所存储的程序执行。在该流程中，不限于实时取景显示的情况，在再现显示的情况下，也进行相似图像的显示。

当照相机10接通电源、并开始动作时，首先进行是否为摄影模式的判定(S11)。在该照相机10中，准备摄影模式和再现模式，操作再现按钮，如果不是再现模式则判定为摄影模式。由于在其判定结果不是摄影模式的情况下，是再现模式，因此进行再现显示(S13)。再现显示读出图像存储部25所存储的图像，并显示在显示部27上。

另一方面，在步骤S11中的判定结果是摄影模式的情况下，接着进行实时取景显示(S12)。实时取景显示以动态图像的方式将在摄像部20中取得的图像显示在显示部27上。

在步骤S12中进行实时取景显示时，或者在步骤S13中进行再现显示时，接着进行是否为相似图像显示模式的判定(S14)。能够在未图示的菜单画面中设定相似图像显示模式。判定是否进行了该设定。

在步骤S14中的判定结果是相似图像显示模式的情况下，接着进行相似图像显示(S15)。此处，根据实时取景显示中的图像、或再现显示中的图像，进行使用图2～图7所说明的检索形式A或检索形式B的相似图像的检索，并进行所检索的相似图像的显示。关于该相似图像显示的子例程，将使用图10在后面叙述。

在进行步骤S15中的相似图像显示时，或者在步骤S14中的判定结果不是相似图像显示模式的情况下，接着与步骤S11同样进行是否为摄影模式的判定(S16)。在其判定结果为摄影模式的情况下，接着进行是否释放的判定(S17)。此处，检测作为按钮操作部14之一的释放按钮的操作状态，在按下了释放按钮的情况下判定为释放。

在步骤S17中的判定结果是释放的情况下，接着进行摄影处理(S18)。在摄影处理中，对于从摄像部20取得的图像，在由图像处理部22进行图像处理并由压缩解压缩部23进行了压缩处理后，存储到图像存储部25中。

在步骤S18中的摄影处理结束时，或在步骤S16中的判定结果不是摄影模式的情况下，或者步骤S17中的判定结果不是释放的情况下，进行是否为电源断开的判定(S19)。此处，检测作为按钮操作部14之一的电源开关的状态，在电源接通状态下再次操作电源开关的情况下判定为电源断开。

在步骤S19中的判定结果不是电源断开的情况下，返回步骤S11。另一方面，在是电源断开的情况下，在进行结束处理后结束动作。另外，即使结束动作也用低消耗电流监视电源开关的状态，当电源开关接通时，从步骤S11重新开始动作。

接着，使用图10说明步骤S15中的相似图像显示的子例程。当进入该相似图像显示的流程时，首先判定是否为相似图像显示的开始、即在开始相似图像显示模式后判定是否为最初的处理(S21)。此处，在通常的实时取景显示、或再现显示中，在菜单画面中设定相似图像显示模式，在步骤S14中判定为相似图像显示模式后，判定是否为最初的相似图像显示的处理。

在步骤S21中的判定结果是开始的情况下，即在进入相似图像显示模式并为最初处理的情况下，设定默认条件(S22)。在本实施方式中，默认的形式为“检索形式A”，且默认的选择等级被设定为“中”。并且，如在图5(b)中作为一例所示出的那样，根据图像存储部25所存储的图像总数设定“中”的选择等级中的具体相似度(高、中间、低)。

在步骤S21中的判定结果不是开始的情况下，即不是最初处理的情况下，接着进行在检索形式A或检索形式B中是否进行了变更操作的判断(S23)。如上所述，用户通过触摸显示在画面55上的检索形式52进行切换，因此在该步骤中，进行检索形式52是否被触摸的判定。

在步骤S23中的判定结果是没有进行检索形式的变更操作的情况下，接着进行是否进行了选择等级的变更操作的判定(S24)。如上所述，当用户触摸显示在画面55上的条件变更图标69时，显示选择等级条71和选择光标72。并且，能够通过移动选择光标72、并触摸确定图标75，进行选择等级的变更操作。在该步骤中，进行是否进行了该选择等级的变更操作的判定。作为此时的选择等级，在设定了检索形式A的情况下，设定基于相似度Q的选择等级。并且，在设定了检索形式B的情况下，设定基于目标张数Sm的选择等级。

在步骤S24中的判定结果是没有进行选择等级的变更操作的情况下，接着判定是否进行了基准图像的变更(S25)。在实时取景显示中进入了相似图像显示的子例程的情况下，判定是否通过被摄体的移动或照相机方向的切换，在实时取景显示的图像中进行了变更。此外，在再现显示中进入了相似图像显示的子例程的情况下，判定是否通过再现图像的前进或返回操作等在再现图像中进行了变更。

在步骤S22中设定默认条件时，或者在步骤S23～S25中的任意一个判定结果为“是”的情况下，接着进行检索处理(S26)。此处，图像选择部11a3根据默认条件进行相似图像的检索，或者在检索形式、选择等级或基准图像中的任意一个中进行了变更，因此根据该变更进行相似图像的检索。关于该检索处理的具体情况，将使用图11在后面叙述。

在进行检索处理后，接着显示通过检索选择的图像(S27)。显示控制部11b在相似图像显示的情况下，在图2所示的相似图像列56中显示所选择的图像，在扩展相似图像显示的情况下，在图3和图6所示的相似图像65中显示所选择的图像。

在步骤S25中的判定结果是没有基准图像的变更的情况下，接着进行是否进行了相似画面和扩展相似画面的切换操作的判定(S28)。如使用图8(a)(b)所说明的那样，在相似画面中触摸相似图像列56中的任意一个相似图像时，从相似画面向扩展相似画面进行切换。此外，在扩展相似画面中，触摸显示在子画面62上的实时取景图像或再现图像时，返回相似画面。因此，在该步骤中，进行是否进行了这种触摸操作的判定。

在步骤S28中的判定结果是进行了相似画面和扩展相似画面的切换操作的情况下，接着进行显示切换处理(S29)。在该步骤中，显示控制部11b在图2所示的相似画面和图3或图6所示的扩展相似画面之间，进行显示的切换处理。

在进行步骤S29中的显示切换处理时，或者在步骤S28中的判定结果是没有进行切换操作的情况下，或者在进行步骤S27中的图像显示时，结束相似图像显示的子例程，返回原来的流程。

接着，使用图11说明步骤S26中的检索处理的子例程。当进入该检索处理的流程时，首先判定是否为检索处理的子例程的开始、即在进入检索处理的子例程后判定是否为最初的处理(S31)。

在步骤S31中的判定结果是开始的情况下，即在进入检索处理的子例程并为最初处理的情况下，接着从图像存储部25进行所有缩略图像的读出(S32)。接着，进行各图像的特征提取(S33)。此处，特征提取部11a1对从图像存储部25读出的各图像进行特征提取。

在进行特征提取后，接着将各图像的特征作为属性数据来登记到各图像数据的元数据中(S34)。此处，按照每个图像数据将图4(b)所示的基于提取特征的属性记录到元数据中。

在步骤S34中登记各图像的特征时，或者在步骤S31中的判定结果不是开始的情况下，接着进行基准图像是否为实时取景的判定(S35)。作为基准图像，在实时取景显示时是实时取景图像，并且在再现显示时是从图像存储部25读出的图像。在该步骤中，判定当前是否为实时取景显示中。

在步骤S35中的判定结果为基准图像是实时取景图像的情况下，接着提取实时取景图像(基准图像)的特征(S36)。此处，通过摄像部20进行拍摄，取得实时取景显示中的图像数据，特征提取部11a1提取作为基准图像的实时取景图像的特征，并检测属性。另外，在再现显示中的情况下，已经指定的基准图像是被检测属性、并被登记到元数据中的图像，因此此处，不进行基准图像的再次特征提取。

在步骤S36中进行基准图像的特征提取时，或者在步骤S35中的判定结果为基准图像不是实时取景的情况(即，再现图像是基准的情况)下，关于所有对象图像与基准图像比较属性(S37)，判定所有对象图像的相似度(S38)。此处，如使用图4(b)所说明的那样，比较从图像存储部25读出的对象图像与基准图像的属性，求出表示相似程度的相似度。

在判定相似度后，接着进行是否为检索形式A的判定(S39)。在本实施方式中，默认的是检索形式A，但是如果用户触摸画面55上的检索形式52，则检索形式被切换，因此判定当前设定的检索形式。

在步骤S39中的判定结果是检索形式A的情况下，接着根据所有图像数和变更操作，设定选择等级(相似度)(S40)。此处，所有图像数是存储在图像存储部25中、且成为相似检索对象的图像的数量。此外，选择等级是在相似图像画面(参照图2)的情况下自动设定或以前手动设定的等级。另一方面，在扩展相似图像画面的情况下、且通过选择等级条71上的选择光标72进行手动设定的情况下(图3(b)～(d))，选择等级是手动设定的等级。该选择等级(相似度)是对应于所有图像数的值。

在设定选择等级后，接着选择相似度比选择等级的相似度高的图像(S41)。检索形式A是将相似度比在选择等级下设定的相似度Q高的图像显示为相似图像的模式，因此在该步骤中，图像选择部11a3检索并选择符合条件的图像。

在步骤S39中的判定结果不是检索形式A的情况下，接着根据所有图像数和变更操作，设定目标张数(S42)。此处，所有图像数与步骤S40的情况同样，是存储在图像存储部25中、且成为相似检索对象的图像的数量。此外，如在图6和图7中所说明的那样，目标张数Sm是选择为相似图像的数量，是从相似度Q高的图像开始的张数。如上所述，该目标张数Sm是对应于所有图像数的值。

在设定目标张数后，接着按照相似度从高到低的顺序，选择图像直到接近目标张数的张数为止(S43)。检索形式B是如下的模式：按照相似度从高到低的顺序检索图像，直到由目标张数Sm所设定的张数为止，并将所检索的图像显示为相似图像，因此在该步骤中，图像选择部11a3检索并选择符合条件的图像。

在步骤S41或步骤S43中，当选择相似图像时，返回原来的流程。

如以上所说明的那样，在本实施方式中，具有相似度判定部11a2和图像选择部11a3，该相似度判定部11a2对检索对象的各图像判定表示检索对象的各图像相对于基准图像的相似程度的相似度Q，该图像选择部11a3选择预先确定的相似度Q以上的相似图像，或者依照相似度Q从高到低的顺序选择到目标张数Sm为止的相似图像，待选择的相似图像根据检索对象的图像的总数而变化。因此，即使作为检索对象的图像的总数存在一定幅度，也能够提取适当数量的图像。

另外，在本实施方式中，将相似图像列56配置于画面55的下侧，但是不限于此，可以在上侧，并且当然还可以配置于左侧或右侧。此外，准备了检索形式A和检索形式B这两种检索形式，但是不限于此，可以增加其他检索形式，并且还可以是任意一方的检索形式。此外，还可以根据图像数的大小切换检索形式A或B。

此外，在本实施方式中，说明了将图像检索装置应用于照相机的例子，但是不限于此，也可以应用于存储了图像的计算机。此时，不能进行实时取景显示，但是在再现图像的显示时，能够应用本实施方式中的图像检索。

此外，在本实施方式中，作为安装了图像检索装置的设备，使用数字照相机进行了说明，但是作为照相机，可以是数字单反照相机和袖珍数字照相机，也可以是摄像机、电影摄影机那样的动态图像用的照相机，此外，还可以是内置在手机和便携信息终端(PDA：Personal Digital Assist：个人数字助理)、图像再现装置、游戏设备等中的照相机。此外，只要安装了图像检索装置，即使是不具有摄影功能的图像再现装置，也可以在图像再现时进行利用。

本发明不直接限定于上述实施方式，在实施阶段可以在不脱离其主旨的范围内对构成要素进行变形而具体化。此外，通过上述实施方式中公开的多个构成要素的适当组合，能够形成各种发明。例如，也可以删除实施方式中示出的全部构成要素的几个构成要素。此外，也可以适当组合涉及不同实施方式的构成要素。

Claims (8)

1.一种图像检索装置，其选择与作为检索基准的基准图像相似的图像，其特征在于，该图像检索装置具有：

相似度判定部，其判定表示各检索对象图像与上述基准图像相似的程度的相似度；以及

图像选择部，其按照所检索的图像的数量成为与上述检索对象图像的数量对应的数量的方式，根据该相似度从上述各检索对象图像中选择相似图像。

2.根据权利要求1所述的图像检索装置，其特征在于，

上述图像选择部在根据上述相似度选择图像的情况下，设定用于选择上述相似图像的选择等级，选择上述相似度为上述选择等级以上的图像，在上述检索对象图像的数量较多的情况下，将该选择等级设定得较高，在上述检索对象图像的数量较少的情况下，将该选择等级设定得较低，由此在上述检索对象图像的数量较多的情况下，与较少的情况相比，选择与基准图像更相似的图像作为该相似图像。

3.根据权利要求1所述的图像检索装置，其特征在于，

上述图像选择部在根据上述相似度选择图像的情况下，依照上述相似度从高到低的顺序，以目标图像数量为目标来选择上述相似图像，按照上述检索对象图像的数量越多，该目标图像数量相对于该检索对象图像的数量的比率越少的方式，根据上述检索对象图像的数量设定该目标图像数量。

4.根据权利要求1所述的图像检索装置，其特征在于，

该图像检索装置具有显示控制部，该显示控制部进行如下控制：使上述图像选择部所选择的相似图像显示在显示部上。

5.根据权利要求2所述的图像检索装置，其特征在于，

上述图像选择部根据操作来变更上述选择等级。

6.根据权利要求3所述的图像检索装置，其特征在于，

上述图像选择部根据操作来变更上述目标图像数量。

7.一种照相机，其特征在于，该照相机具有：

上述权利要求1所述的图像检索装置；

摄像部，其拍摄图像；

图像存储部，其存储上述摄像部所拍摄的图像；以及

显示部，其对图像进行显示，

上述相似度判定部将上述摄像部所输出的实时取景图像设为上述作为检索基准的基准图像，

上述图像选择部将上述图像存储部所存储的图像设为上述各检索对象图像。

8.一种图像检索方法，选择具有与作为检索基准的图像的被摄体相似的被摄体的图像作为相似图像，其特征在于，该图像检索方法包括以下步骤：

对各检索对象图像判定表示该各检索对象图像与上述作为检索基准的图像相似的程度的相似度；以及

按照上述检索的图像的数量成为与上述检索对象图像的数量对应的数量的方式，根据该相似度从上述各检索对象图像中选择上述相似图像。

Images