CN103324655B - 图像检索系统、图像检索装置以及图像检索方法 - Google Patents

Abstract

本发明中，数据库将花的样品图像、花的名称、叶的样品图像以及对用于减少花的名称的关注点进行指示的图像与特征信息一起建立对应地存储。提取部通过对拍摄到的花的图像的特征信息和存储在数据库的特征信息进行比较，从而提取与拍摄到的花的图像类似度高的花的样品图像作为候选图像。控制部使提取的候选图像、对应于候选图像的花的名称、以及用于减少候选图像的关注点与拍摄到的花的图像一起在显示部排列显示，并且将多个候选图像变更为相对应的各自的叶的样品图像来显示。控制部将多个候选图像变更为对相对应的各自的关注点进行指示的图像，并使其在显示部显示。

Description

图像检索系统、图像检索装置以及图像检索方法

技术领域

本发明涉及用于拍摄花等并对该花进行鉴别的图像检索系统、图像检索装置以及图像检索方法。

相关申请交叉引用

此申请基于2011年3月21日提出的日本专利申请2011-063791主张优先权，将其全部内容包括说明书、权利要求、附图和摘要全部援引于此。

背景技术

有时想知道在山野和路边看到的花的名称。因此提出有如下技术：拍摄花并从拍摄了的花等的对象植物提取其特征量，从存储有全国的野草的名称和科、与上述特征量对应的特征量信息、以及植物的采样图像的数据库中进行对象植物的检索(例如，参考日本国特开2007-133816号公报)。

另外，从花和叶的数字图像，用聚类法提取作为对象物的花和叶的图像，将从被提取的花和叶的图像得到的信息作为特征量。提出有如下技术：求出一个或多个的特征量，使用统计的手法分析该求出的特征量以及预先登记到数据库的各种的植物的特征量，来辨别野草的种类(例如，参考日本国特开2002-203242号公报)。

另外，例如，在日本国特开2011-35636号公报提出有如下技术，使用图割(GraphCuts)法，将包含花等的主要被摄体的图像分割为花的区域和背景图像的区域。

然而，在日本国特开2007-133816号公报以及日本国特开2002-203242号公报所示的技术中，识别率是55％左右，无论如何均不可缺少基于人眼的选择工序。在以往的技术中存在如下问题：用于使人们选择的用户接口的使用未必方便。

发明内容

本发明是鉴于这样的技术问题而完成的，提供具有用于鉴定拍摄到的花等的植物(将拍摄并进行检索的对象物称为对象)的、提供有效且使用方便的用户接口的图像检索系统以及图像检索装置、图像检索方法、以及存储图像检索程序的计算机能够读取的记录介质。

为了解决上述技术问题，本发明的一个形态是一种图像检索装置，是用于通过检索数据库来鉴别拍摄到的对象的图像，该图像检索装置特征在于，具有：数据库，其将对象的样品图像、对象的名称、以及对象的其他部位的样品图像与特征信息一起建立对应地存储；提取单元，其通过将所拍摄到的所述对象的图像的特征信息与所述数据库中所存储的特征信息进行比较，来提取多个与所拍摄到的所述对象的图像类似度高的对象的样品图像，作为候选图像；第一显示控制单元，其将作为多个所提取的所述对象的样品图像的候选图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述对象图像一起在显示部排列显示；以及第二显示控制单元，其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的其他部位的样品图像，并在所述显示部显示。

另外，本发明的其他形态是一种图像检索系统，是用于通过检索数据库来鉴别拍摄到的对象的图像，该图像检索系统特征在于，具有：数据库，其将对象的样品图像、对象的名称、以及对象的其他部位的样品图像与特征信息一起建立对应地存储；提取单元，其通过将所拍摄到的所述对象的图像的特征信息与在所述数据库所存储的特征信息进行比较，来提取多个与所拍摄到的所述对象的图像类似度高的对象的样品图像，作为候选图像；第一显示控制单元，将作为多个所提取的所述对象的样品图像的候选图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述对象图像一起在显示部排列显示；第二显示控制单元，使所述显示部所显示的多个候选图像变更为相对应的各所述对象的其他部位的样品图像，并使所述显示部显示；通信终端；以及服务器，通过网络与该通信终端连接，其中，所述通信终端具备所述显示部，所述服务器具备所述数据库。

另外，本发明的其他形态是一种图像检索方法，用于通过检索数据库来鉴别拍摄到的对象的图像，其中，该数据库将对象的样品图像、对象的名称、以及对象的其他部位的样品图像与特征信息一起建立对应地存储；该图像检索方法特征在于，具有：提取步骤，通过将所拍摄到的所述对象的图像的特征信息与所述数据库中所存储的特征信息进行比较，来提取多个与所拍摄到的所述对象的图像类似度高的对象的样品图像，作为候选图像；第一显示控制步骤，将作为多个所提取的所述对象的样品图像的候选图像、以及与所述候选图像对应的对象的名称，与所拍摄到的所述对象图像一起在显示部排列显示；以及第二显示控制步骤，使所述显示部所显示的多个候选图像变更为相对应的各对象的其他部位的样品图像，并在所述显示部显示。

根据本发明能够以用简单的操作，迅速地检索拍摄的花等的对象。

本发明的目地和新颖的特征，从下面的详细描述中结合附图阅读，将更加充分地体现，且能清楚地理解。但是，附图的目的仅作为说明，并不是对本发明的限定。

附图说明

图1是说明作为本发明的第一实施方式的网络系统的整个构成的图。

图2是表示本实施方式的数据库的构成的图。

图3A以及图3B是用于说明本实施方式的显示部12的显示状态的变化的图。

图4A以及图4B是用于说明本实施方式的显示部12的显示状态的变化的图。

图5A以及图5B是用于说明本实施方式的显示部12的显示状态的变化的图。

图6是示出本实施方式的花检索系统的整个动作的流程图。

图7是示出本实施方式的花检索程序的流程图。

图8是示出第二实施方式的花区域提取处理的概略的图。

图9是示出第二实施方式的花区域提取处理的详细的流程图。

图10是示出第二实施方式的显著性图提取处理的一个例子的流程图。

图11A～图11C是示出第二实施方式的特征量图创建处理的一个例子的流程图。

图12A～图12C是示出第二实施方式的特征量图创建处理的其他的例子的流程图。

具体实施方式

<第一实施方式>

以下，对于本发明的第一实施方式进行说明。

图1是说明作为本发明的第一实施方式的网络系统的整个构成的图。

10是如智能电话的通信终端，具备：用于拍摄图像的拍摄部11、显示拍摄到的花的图像或候选图像等的显示部12、作为工作存储器发挥作用的存储部13、用于进行图像选择和关注点的数据输入等的操作部14、用于控制整个通信终端的控制部15、以及用于安装存储卡16的安装部17。拍摄部11具有对静止图像和连拍或运动图像进行拍摄的功能，在本说明书中连拍和运动图像视为同义而进行处理。存储部13具有保存拍摄的多个图像的保存部13A。控制部15具有CPU7，控制部15包含存储由用于花检索的通信终端10执行的各种程序的程序存储部8、以及通过执行按照规定的算法的程序进行花检索来提取候选图像的提取部9。该通信终端10通过移动电话线路或无线LAN等经由因特网500与服务器100连接。

服务器100具有数据库110，该数据库110将花的样品图像、花的名称、叶的样品图像以及对用于减少花的名称的关注点进行指示的图像与用于对上述通信终端10的拍摄部11所拍摄的花的图像进行鉴别的特征信息一起建立对应地存储。

130是作为工作存储器而发挥作用的存储部，150是对整个服务器进行控制的控制部。控制部150具有CPU70，并且具有存储由CPU70执行的用于花检索的各种程序的程序存储部80。控制部150还具有提取部90，该提取部90通过执行按照规定的算法的程序来进行花检索并提取候选图像。因此，即使在通信终端10侧不具备提取部9，也能够发送到服务器100由提取部90进行花检索。另外，存储部130具有保存部130A，该保存部130A存储从多个用户发送来的(被投稿的)花的图像。

图2是表示数据库110的构成的图。

数据库110将花的样品图像D3、花的名称D1、叶的样品图像D4、以及对用于减少花的名称的关注点进行指示的图像D5与特征信息D2一起建立对应进行存储。另外，将作为该花的关注点的开花时期、花的大小、花瓣的颜色、叶的形状、身长、生长地区、……等作为用于减少花的候选的关注点信息D6。还存储有包含从该花的种子、芽、成长、花蕾、开花等的培养向导、以及肥料和水的给予方法等的维护向导的向导信息D7。该向导信息D7可以是显示数据，也可以是音频数据。将花的名称D1作为索引而存储有的花的样品图像D3、叶的样品图像D4等，但在容量允许的范围内，对应一个花的名称而存储有多个花的状态，例如存储有开花前、花蕾的时期、开花中、结果中等的图像。

其次，对实际上由通信终端10拍摄花并进行花检索的顺序进行说明。

图3至图5是用于说明本实施方式的显示部12的显示状态的变化的图。

假设由通信终端10的拍摄部11拍摄花。此时，在显示部12，如图3A所示，显示拍摄图像G。在拍摄图像G中一起拍摄有作为主要被摄体的花的图像F、以及背景B。此时，也可以选择已经拍摄到的、在存储部13或存储卡16所保存的图像。D6是根据开花时期和花的大小、身长、叶的形状等知道的信息，用于减少候选的关注点信息的显示。

并且，由通信终端10的操作部14的操作，选择拍摄图像G，由控制部15执行图6中的后述的花检索程序。

控制部15通过对由提取部9的动作所拍摄的花的图像F的特征信息和在数据库110所存储的特征信息D2进行比较，将与拍摄的花的图像F类似度高的花的样品图像D3作为候选图像而提取多个。在图3B示出此时的显示部12的显示例。即、并列显示包含花的图像F的拍摄图像G、作为候选图像而被提取的多个花的样品图像D3、以及各花的名称D1，还并列显示用于减少花的候选的关注点信息D6。假设多个花的候选图像D3按照类似度从高到低的顺序排列。

在该状态下，用户无法确定拍摄的花的图像G和显示的花的样品图像D3一致时，通过操作部14的规定的操作，如图4A所示，在显示花的样品图像D3的位置，一并显示变更为与该花对应的叶的图像D4。由此，用户不仅能够对比花的形状，还能够对比叶的形状来进行比较。

即使这样也无法判断出时，通过操作部14的规定的操作，如图4B所示，使对用于减少花的名称的关注点进行指示的图像D5进行显示。在指示该关注点的图像D5中，因为以箭头记入关注点，所以用户可重点注意该关注点地进行比较，或在关注点信息D6指定成为关注点的花的大小、花的颜色、生长时期、株高等时，可缩小花的范围。

另外，如图5A所示，也可以显示整个图像D8来代替叶的样品图像D4。在未发现规定阈值以上类似度高的花的名称时，如图5B所示，进行“不存在符合条件的花”这样的通知显示D9。

使用流程图对该动作进行说明。

图6是示出本实施方式的花检索系统的全部动作的流程图，实现前述的显示。即，在开始控制部15的程序存储部8所存储的花检索程序时，在显示部12显示最初规定的菜单画面(步骤S1)。在这里，拍摄花，或是选择已经拍摄并在存储部13的保存部13A所保存的拍摄图像(步骤S2)。于是，显示图3A示出的基本画面(步骤S3)。在该状态下，通过操作部14可进行各种各样的操作，在进行检索指示时，进入步骤S5，通过因特网500等的网络，访问服务器100的数据库110，检索并提取花的候选图像(步骤S5)。对于该详细的说明在图9中后述。

基于该提取结果，进行图3B所示的花的样品图像显示(步骤S6)。花样品图像D3以类似度从高到低的顺序，从左上起依次与花的名称D1一起并列显示。在该状态下，如果能够确定用户拍摄的花的名称，则可以就这样结束，但在存在多个相似的花而不能缩小范围的情况下，进行指定“叶”的操作时，从步骤S4进入到步骤S7，变化为图3B显示的花的样品图像，如图4A所示，读出与这些花对应的在数据库110所存储的叶的样品图像D4，并将在显示该花的样品图像的区域中显示叶的样品图像来代替花的样品图像(步骤S8)。因此，不是以叶的类似度从高到低的顺序排列叶的候选图像，而是以花的样品图像的类似度从高到低的顺序排列叶的样品图像。这种方法，通常将类似度最高的在先头显示，因此不给用户带来混乱。另外，在检索步骤S7中，如步骤S5所示，不进行图像识别处理，从数据库110提取对应的叶的样品图像D4。指定“叶”的操作也可以使用“叶”这样的按钮来进行，也可以对显示的拍摄图像G的叶的部分进行触击。

尽管如此，在用户不能确定花的名称时，通过规定的操作进入步骤S9、S10，如图4B所示，如前述显示图像D5，该图像D5对用于减少花的名称的关注点进行指示。在指示该关注点的图像D5中，因为用箭头记入关注点，能使用户重点注意比较该关注点，或在关注点信息D6指定成为关注点的花的大小、花的颜色、生长时期、以及株高等时，能缩小花的范围。

在检索花之前，指定关注点信息时，进入步骤S11。例如，在指定作为关注点的花的大小、花的颜色、生长时期、以及株高等时，检索数据库110的关注点信息D6，从候选中将不符合条件的花排除。由此，在与步骤S5进行同样的检索处理时，因为能减少检索对象，所以检索时间变短。显示部12的显示方式与图3B相同。

如果能够确定用户拍摄的花的名称，则通过结束操作，结束流程(步骤S13)。

另外，不仅可准备叶的样品图像D4，也可以准备整个样品图像D8(图5A)。

在步骤S5的检索的结果是无法提取类似的花的样品图像时，如图5B所示，进行“不存在符合条件的花”这样的通知显示D9。

图7是示出检索图6的步骤S5的花，提取候选图像的动作的流程图。

因为以图像数据作为对象的特征量的类似度计算手法本身是公知技术，所以不进行详细说明。另外，作为被摄体的剪取手法，采用图割法(Graph Cuts法：图切法)，关于图切法的具体的手法的一个例子，由第二实施方式进行详细说明，所以在这里不进行详细说明。

首先进行从拍摄图像G剪取作为主要被摄体的花的图像F的处理(步骤S51)。另外，从剪取的花的区域提取特征信息(步骤S52)。

并且，与在数据库110所存储的特征信息D2进行比较(步骤S53)。

对比较的数据库110的特征信息和从花的区域提取的特征信息的类似度进行计算(步骤S54)，以类似度从高到低的顺序例如提取6个花的样品图像(步骤S55)，如图3A所示，对花的样品图像按照类似度顺序排列显示(图6的步骤S6)。

<第二实施方式>

其次，对第二实施方式进行说明。本实施方式与以动画形式拍摄被摄体的情况对应，例示出在图7的“剪取花的区域”(步骤S51)的具体的手法。根据该手法，不仅静止图像，也能够从运动图像中提取花的区域。另外，与上述实施方式的共同部分赋予共同的符号，并省略说明。

在第二实施方式的图像提取处理中，应用图割法(图切法)。所谓图割法是将分割(图像的区域分割)问题作为能量最小化问题进行处理的手法之一。图割法能够求得由各区域定义了的能量函数的整体分析，其结果，存在使用区域和边界的双方特性的分割这样的优点。

在图8的例子中，对于处理对象图像61(→与拍摄图像G对应)执行如下的运动图像提取处理。

在步骤Sa中，CPU7例如执行如下的处理，作为显著性图提取处理。

即，CPU7对于与处理对象图像61对应的帧图像数据，例如根据色、方位、亮度等的多种类的特征量的对比度，创建多种类的特征量图。另外，以下，像这样多个种类中，将在创建规定的一个种类的特征量图为止的一系列处理称为特征量图创建处理。对于各特征量图创建处理的详细例子，参照图11和图12在后叙述。

例如，在图8的例子中，后述的图12A的多尺度的对比的特征量图创建处理的结果，创建有特征量图Fc。另外，后述的图12B的“中心-周围”(Center-Surround)的颜色直方图的特征量图创建处理的结果，创建有特征量图Fh。另外，图12C的色空间分布的特征量图创建处理的结果，创建特征量图Fs。

其次，CPU7通过合并多个种类的特征量图，而求得显著性图。例如在图8的例子中，合并特征量图Fc、Fh、Fs，可求得显著性图S。步骤Sa的处理，与后述的图9的步骤S22的处理对应。

在步骤Sb中，CPU7使用显著性图，从处理对象图像中估计吸引人的视觉注意的可能性高的图像区域(以下，称为关注点区域)。例如，在图8的例子中，使用显著性图S，从处理对象图像61中估计出多个阶段的关注点区域62-1至62-N(N是1以上的整数值，在图8的例中至少是4以上的整数值)。

关注点区域62-r(r是从1至N中的某一个整数值)，是在使用规定的阈值Sth-r对显著性图S进行2值化情况下的、具有比阈值Sth-r高的值的区域。具体地说，例如，在图6的例子中，关注点区域62-1的估计中所利用的阈值Sth-1被设为70。关注点区域62-2的估计中所利用的阈值Sth-2被设为90。关注点区域62-(N-1)的估计中所利用的阈值Sth-(N-1)被设为150。关注点区域62-N的估计中所利用的阈值Sth-N被设为170。

步骤Sb的处理，与后述的图9的步骤S24的处理对应。

在由步骤Sf的图割法的区域分割处理中，处理对象图像61被分(分割)为主要被摄体的区域和背景区域。为了实现相关的区域分割处理，需要成为主要被摄体的区域和背景区域的样品的标签和种子(seed)。因此，执行如下的步骤Sc、Sd的处理。

在步骤Sc中，CPU7例如执行如下的处理，作为核心区域提取处理。

即，CPU7用多个阶段的关注点区域62-1至62-N，提取关注点区域的核心区域。例如，基于多个阶段的关注点区域62-1至62-N的变化少的区域、或多个阶段的关注点区域62-1至62-N的重复区域等，提取关注点区域的核心区域。具体地说，例如在图8的例子中，提取关注点区域的核心区域63-1、63-2。

步骤Sc的处理与后述的图9的步骤S25的处理对应。

在步骤Sd中，CPU7例如执行如下的处理，作为种子(seed)设定处理。

即，CPU7例如基于关注点区域的核心区域，对主要被摄体的区域的种子、背景区域的种子分别进行设定。

另外，设定手法本身没有被特别限定。例如，可采用将关注点区域的核心区域按原样设定为主要被摄体的区域的种子这样的手法。再例如，也可采用将与关注点区域的核心区域内接或外接的矩形区域、或关注点区域的重心或骨骼线等设定为主要被摄体的区域的种子这样的手法。再例如，也可将显著性低的核心区域、关注点区域以外的矩形区域、或关注点区域以外的区域的重心或骨格线设定为背景区域这样的手法。

例如，在图8的例子中，对主要被摄体的区域的种子64-1、64-2、以及背景区域的种子65-1、65-2进行设定。

在步骤Sd的处理中，与后述的图9的步骤S26的处理对应。

另外，为了实现步骤Sf的图割法的区域分割处理，需要主要被摄体区域的事前概率Pr(O)和背景区域的事前概率Pr(B)。

因此，在步骤Se中，CPU7例如执行如下的处理作为事前概率运算处理。

即，CPU7将显著性图S的值(其中，将显著性图值在0至1的范围内进行标准化得到的值)作为主要被摄体区域的事前概率Pr(O)进行运算。另外，CPU7将使显著性图S反转的值(1-显著性图S得到的值)、即将1-Pr(O)作为背景区域的事前概率Pr(B)进行运算。例如，在图8的例子中，根据该图示出的显著性图S可得到与该图示出的主要被摄体区域的事前概率Pr(O)和背景区域的事前概率Pr(B)。步骤Se的处理与后述的图9的步骤S23的处理对应。

其次，在步骤Sf中，CPU7执行基于图割法的区域分割处理。

在这里，在以往的图割法中，为了物体和背景的学习，手动地赋予成为物体区域(主要被摄体区域)和背景区域的样品的标签和种子。与此相对，在本实施方式中，能利用由步骤Sd的处理自动地设定的主要被摄体区域的种子及背景区域的种子。其结果，如以前一样，不需要用户手动输入种子，另外，也不需要学习。

另外，由步骤Se的处理所运算得到的主要被摄体区域的事前概率Pr(O)以及背景区域的事前概率Pr(B)基于显著性图S的概率，也可以作为图割法的t-link的事前概率来采用。其结果，可得到主要被摄体区域的恰当的空间信息。

步骤Sf的基于图割法的区域分割处理的结果，如上所述，处理对象图像61被分割为主要被摄体的区域和背景区域。

步骤Sf的处理，与后述的图9的步骤S27的处理对应。

此后，主要被摄体的区域的数据作为“运动图像部分”的图像数据进行提取(参考后述的图9的步骤S28)。另外，该提取手法并不特别限定，可以是所谓的剪取提取，也可以是所谓阿尔法引导提取。

按照多个帧图像数据的每一个反复执行这样的步骤Sa至Sf的处理，从而可提取“运动图像部分”的运动图像数据等。

图9是示出运动图像提取处理的流程的详细例子的流程图。

在步骤S21中，CPU7从作为图6的步骤S5至S8的循环处理的结果所得到的运动图像数据等中，将规定的拍摄图像数据(帧图像数据)作为处理对象图像数据进行设定。

在步骤S22中，CPU7通过执行显著性图提取处理，来求得显著性图。对于显著性图提取处理的概略，作为图8的步骤Sa的处理如上述，该详细说明将参照图10后述。

在步骤S23中，CPU7执行事前概率运算处理。由此，作为图8的步骤Se的处理，如上所述，可得到主要被摄体区域的事前概率Pr(O)和背景区域的事前概率Pr(B)。

在步骤S24中，CPU7使用显著性图，估计关注点区域。由此，作为图8的步骤Sb的处理如上所述，可估计多个阶段的关注点区域。

在步骤S25中，CPU7使用多个阶段的关注点区域，执行核心区域提取处理。由此，作为图8的步骤Sc的处理如上述，可提取关注点区域的核心区域。

在步骤S26，CPU7使用关注点区域的核心区域，执行种子(seed)设定处理。由此，作为图8的步骤Sd的处理如上述，分别设定主要被摄体的区域的种子、和背景区域的种子。

在步骤S27中，CPU7使用主要被摄体的事前概率Pr(O)和背景区域的事前概率Pr(B)、以及主要被摄体的区域的种子和背景区域的种子，执行基于图割法的区域分割处理。由此，作为图8的步骤Sf的处理如上述，与处理对象图像数据对应的帧图像，被分(分割)为主要被摄体的区域和背景区域。因此，在步骤S28中，CPU7将分割后的主要被摄体的区域对应的数据作为“运动图像”的图像数据暂时保存在存储部13等。

在步骤S29，CPU7判断处理对象图像数据是否是最后的拍摄图像数据(帧图像数据)。在处理对象图像数据不是最后的拍摄图像数据的情况下，步骤S29中，判定为“否”，处理返回到步骤S21。即，按照构成运动图像数据等的多个拍摄图像数据的每一个，通过反复执行步骤S21至S29的循环处理，依次提取“运动图像”的图像数据。

此后，最后的拍摄图像数据被设定为处理对象图像数据，执行步骤S22至S28的处理时，在下面的步骤S29判定为“是”，结束运动图像提取处理。其结果，根据从多个拍摄图像数据的每一个提取的多个“运动图像”的图像数据，构成“运动图像”的运动图像数据等。因此，在运动图像提取处理结束时，即，图6的步骤S9的处理结束时，如上所述，在步骤S10、S11的处理中，对“运动图像”的运动图像数据等进行压缩编码，将作为其结果所得到的编码图像数据存储到存储卡16等。

其次，对于运动图像提取处理中的步骤S22(图8的步骤Sa)的显著性图提取处理的详细例进行说明。

如上所述，在关注点区域估计处理中，为了估计关注点区域，创建显著性图。因此，对于关注点区域估计处理，例如，可应用Treisman的特征合并理论、或基于Nitti以及Koch们的显著性图。

图10是在应用Treisman的特征合并理论、或基于Nitti以及Koch们的显著性图的情况下，示出关注点区域估计处理的流程的详细例子的流程图。

在步骤S41中，CPU7将由直通摄像得到的帧图像数据作为处理对象图像数据来取得。

在步骤S42中，CPU7制作高斯分辨率金字塔(Gaussian Resolution Pyramid)。具体地说，例如，CPU7将处理对象图像数据{(x，y)的位置的像素数据}设为I(0)＝I(x，y)，依次重复执行高斯滤波处理和下抽样处理。作为其结果，生成阶层型的尺度图像数据I(L)(例如L∈{0…8})的组。该阶层型的尺度图像数据I(L)的组，被称高斯分辨率金字塔。在这里，尺度L＝k(在这里k是1至8中的某个整数值)的情况下，尺度图像数据I(k)示出1/2k的缩小图像(k＝0的情况下是原图像)。

在步骤S43中，CPU7开始各特征量图创建处理。对于各特征量图创建处理的详细例，参照图11和图12在后叙述。

在步骤S44中，CPU7判定全部的特征量图创建处理是否结束。即使各特征量图创建处理中的一个未结束处理的情况下，在步骤S44中，判断为“否”，处理再次返回到步骤S44。即，到各特征量图创建处理的全部处理结束为止之前的期间，重复执行步骤S44的判断处理。并且，各特征量图创建处理的全部处理结束，创建全部的特征量图时，在步骤S44被判定为“是”，处理进入步骤S45。

在步骤S45中，CPU7将各特征量图以线性和结合，求得显著性图S(Saliency Map)。这样，在求得显著性图S时，结束显著性图提取处理。即，结束图9的步骤S22的处理，处理进入步骤S23。以图8为例，结束步骤Sa的处理，处理进入步骤Sb。

其次，对于各特征量图创建处理的具体例进行说明。

图11是示出亮度、颜色、以及方向性的特征量图创建处理的流程的一个例子的流程图。

图11A示出亮度的特征量图创建处理的一个例子。

在步骤S61中，CPU7根据与处理对象图像数据对应的各尺度图像，设定各关注像素。例如，设定各关注像素c∈{2，3，4}，进行以下的说明。所谓各关注像素c∈{2，3，4}是指，作为尺度c∈{2，3，4}的尺度图像数据I(c)上的运算对象，而被设定的像素。

在步骤S62中，CPU7求得各关注像素c∈{2，3，4}的各尺度图像的亮度成分。

在步骤S63中，CPU7求得各关注像素的周边像素s＝c+δ的各尺度图像的亮度成分。所谓各关注像素的周边像素s＝c+δ，是指例如设置为δ∈{3，4}时，尺度s＝c+δ的尺度图像I(s)上的、在关注像素(对应点)的周边存在的像素。

在步骤S64中，CPU7对于各尺度图像，求得在各关注像素c∈{2，3，4}的亮度对比度。例如，CPU7求得各关注像素c∈{2，3，4}和各关注像素的周边像素s＝c+δ(例如δ∈{3，4})的尺度间差分。在这里，在将关注像素c称为Center“中心”、将关注像素的周边像素s称为Surround“周围”时，被求得的尺度间差分可称为亮度的“中心-周围”尺度间差分。该亮度的“中心-周围”尺度间差分在关注像素c为白色、周边像素s为黑色的情况下或与此相反的情况下存在取大的值这样的性质。因此，亮度的“中心-周围”尺度间差分表示亮度对比度。另外，以下，将该亮度对比度记为I(c，s)。

在步骤S65中，CPU7判断在与处理对象图像数据对应的各尺度图像，是否存在未设定为关注像素的像素。在存在那样的像素的情况下，在步骤S65判定为“是”，处理返回到步骤S61，重复此后的处理。

即，对于与处理对象图像数据对应的各尺度图像的各像素，分别实施步骤S61至S65的处理，并求得各像素的亮度对比度I(c，s)。在这里，在设定为各关注像素c∈{2，3，4}以及周边像素s＝c+δ(例如δ∈{3，4})的情况下，在步骤S61至S65的一次的处理中，求得(3种关注像素c)×(2种周边像素s)＝6种亮度对比度I(c，s)。在此，对于规定的c和规定的s求得的亮度对比度I(c，s)的整个图像的集合体在以下称为亮度对比度I的特征量图。关于亮度对比度I的特征量图，重复步骤S61至S65的循环处理的结果，能够求得6种。像这样，在求取了6种亮度对比度I的特征量图时，在步骤S65被判定为“否”，处理进入步骤S66。

在步骤S66，CPU7使亮度对比度I的各特征量图标准化之后进行结合，从而制作亮度的特征量图。由此，结束亮度的特征量图创建处理。另外，以下，为了将亮度的特征量图与其他的特征量图进行区别，记述为FI。

图11B示出颜色的特征量图创建处理的一个例子。

在图11B的颜色的特征量图创建处理与图11A的亮度的特征量图创建处理进行比较时，处理的流程基本相同，处理对象不同。即，图11B的步骤S81至S86的各处理是与图11A的步骤S61至S66的各个对应的处理，各步骤的处理对象与图11A不同。因此，对于图11B的颜色的特征量图创建处理，省略处理的流程的说明，以下仅对处理对象进行简单地说明。

即，相对图11A的步骤S62和S63的处理对象为亮度成分，图11B的步骤S82和S83的处理对象是颜色成分。

另外，图11A的步骤S64处理，求出亮度的“中心-周围”尺度间差分作为亮度对比度I(c，s)。与此相对，在图11B的步骤S84的处理中，求出色调(R/G，B/Y)的“中心-周围”尺度间差分作为色调对比度。另外，在颜色成分中，红色的成分由R表示，绿色的成分由G表示，蓝色成分由B表示，黄色的成分由Y表示。另外，以下，将色调R/G的色调对比度记述为RG(c，s)，将色调B/Y的色调对比度记述为BY(c，s)。

在这里，假设与上述的例子一致，关注像素c存在三种，周边像素s存在两种。这种情况下，图11A的步骤S61至S65的循环处理的结果，求得6种亮度对比度I的特征量图。与此相对，图11B的步骤S81至S85循环处理的结果，求得6种色调对比度RG的特征量图、和6种色调对比度BY的特征量图。

最终，通过在图11A的步骤S66的处理，可求得亮度的特征量图FI。与此相对，通过在图11B的步骤S86的处理，可求得颜色的特征量图。另外，以下，为了将颜色的特征量图与其他特征量图进行区别，记述为FC。

图11C示出方向性的特征量图创建处理的一个例子。

图11C的方向性的特征量图创建处理与图11A的亮度的特征量图创建处理比较时，处理的流程基本相同，仅是处理对象不同。即，图11C的步骤S101至S106的各自的处理是图11A的步骤S61至S66的各自对应的处理，仅是各步骤的处理对象与图11A不同。因此，对于图11C的方向性的特征量图创建处理，省略处理的流程的说明，以下，仅对处理对象简单地说明。

即，步骤S102和S103的处理对象是方向成分。在这里，所谓方向成分是指对亮度成分叠加了高斯滤波器φ的结果而得到的各方向的振幅成分。在这里所谓的方向，由作为高斯滤波器φ的参数而存在的旋转角θ所示的方向。例如，作为旋转角θ，可采用0°、45°、90°、135°的四个方向。另外，在步骤S104的处理中，求出方向性的“中心-周围”尺度间差分，作为方向性对比度。另外，以下，将方向性对比度记述为O(c，s，θ)。

在这里，假设与上述的例子一致，关注像素c存在3种，周边像素s存在2种。这种情况下，步骤S101至S105的循环处理的结果，按照每个旋转角θ，求出6种方向性对比度O的特征量图。例如，作为旋转角θ，在采用0°、45°、90°、135°的四个方向的情况下，求出24种(＝6×4种)的方向性对比度O的特征量图。

最终，在步骤S106的处理中，求出方向性的特征量图。另外，以下，为了将方向性的特征量图与其他的特征量图进行区别，记述为FO。

另外，特征量图创建处理并不特别限定于图11的例子。例如，作为特征量图创建处理，使用明亮度、彩度、色调、以及动作的各特征量，也能够采用制作各自的特征量图的处理。

另外，例如，作为特征量图创建处理，使用多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的各特征量，也能够创建各自的特征量图这样的处理。

图12是示出多尺度的对比度、“中心-周围”的颜色直方图、以及颜色空间分布的特征量图创建处理的一个例子的流程图。

图12A是示出多尺度的对比度的特征量图创建处理的一个例子。

在步骤S121，CPU7求得多尺度的对比度的特征量图。由此，多尺度的对比度的特征量图创建处理结束。

另外，以下，为了将多尺度的对比度的特征量图与其他的特征量图进行区别，记述为Fc。

图12B示出“中心-周围”的颜色直方图的特征量图创建处理的一个例子。

在步骤S141中，CPU7按照每一不同长宽比，求得矩形区域的颜色直方图、和周边轮廓的颜色直方图。对长宽比本身并未特别限定，例如可采用{0.5，0.75，1.0，1.5，2.0}等。

在步骤S142，CPU7按照每个不同的长宽比，求得与矩形区域的颜色直方图和周边轮廓的颜色直方图的二次方距离。在步骤S143，CPU7求得二次方距离成为最大的矩形区域的颜色直方图。

在步骤S144，CPU7使用二次方距离成为最大的矩形区域的颜色直方图，制作“中心-周围”的颜色直方图的特征量图。由此，结束“中心-周围”的颜色直方图的特征量图创建处理。

另外，以下，为了将“中心-周围”的颜色直方图的特征量图与其他的特征量图进行区别，记述为Fh。

图12C示出颜色空间分布的特征量图创建处理的一个例子。

在步骤S161中，CPU7对于颜色空间分布，计算水平方向的色散。另外，在步骤S162，CPU7对于颜色空间分布，计算垂直方向的色散。并且，在步骤S163，CPU7使用水平方向的色散和垂直方向的色散，求得颜色空间的色散。

在步骤S164，CPU7使用颜色的空间的色散，创建颜色空间分布的特征量图。

由此，结束颜色空间分布的特征量图创建处理。

另外，为了将颜色空间分布的特征量图与其他的特征量图进行区别，记述为Fs。

<第3实施方式>

在第3实施方式中，对已经拍摄到的并存储于通信终端10的保存部13A或服务器100的保存部130A中的花的图像、和新拍摄的花的图像是否一致进行判断。即，判断是否拍摄了两次相同的花。这是在用户自己播花种或栽培来进行培育的情况下有用的实施方式。另外，对第一实施方式和共通部分赋予共同的符号并省略说明。

因为花成长，所以在保存的花的图像和拍摄的花的图像中，图像上花开的情况、株高等不同的可能性高，但在本发明涉及的花检索系统中，能够鉴别为相同花的名称。与被鉴别的花的名称对应，因为在数据库110存储有用于培育花的向导信息。即，在显示部12显示浇水方法、每季节的维护方法、施肥方法、以及日照等的向导信息。因此，在定期拍摄相同的花时，能够判断时期、气候、生长状况等，进行适当的建议。

<第4实施方式>

如前述，在第一实施方式中拍摄静止图像作为花的拍摄图像。在本实施方式中，是运动图像或连续拍摄的图像。在本实施方式中，通过拍摄部11的运动图像拍摄功能，对花的图像F进行运动图像(连拍)拍摄，从而得到多个帧的花的图像。关于从多帧的花的图像提取花的区域的算法，适用由第二实施方式说明的算法。

在根据拍摄的花的图像提取花的区域的情况下，拍摄多张的情况下可提高提取精度。因为拍摄时的花的拍摄角度和数据库110所存储的成为比较对象的花的样品图像的角度未必一致，所以，从不同的角度拍摄的花的图像的情况下能够使检索的概率变高。但是，因为对应量的图像处理时间将变长，使CPU的负担也变大，所以，在本实施的方式中，最初拍摄静止图像，在通过花检索程序的执行不能提取规定的类似度以上的花的名称时，即，成为如图5B示出的这样的状态时，在显示部12进行“请以运动图像再进行一次拍摄”这样的显示，或从未图示的扩音器以声音进行通知。另外，对上述实施方式和共通部分赋予共同的符号并省略说明。

在实施方式中，以例子对通信终端经由因特网与服务器连接的系统进行说明，但也可以作为将所有的构成收纳在一个框体的独立的图像检索系统来实现。

另外，在实施方式中，通信终端通过移动电话线路或无线LAN等经由因特网与服务器相连接的系统为例来进行说明，但也可以在通信终端和服务器近距离的情况下，通过红外线通信或蓝牙(注册商标)进行连接。

另外，在实施方式中，通信终端具备拍摄部，以对拍摄部拍摄的花的图像进行检索的系统为例进行说明，但也能通过存储卡等得到并检索已经拍摄的花的图像。

另外，也能够实现这样的花图像检索系统：作为将花的样品图像、花的名称、叶的样品图像、以及对用于减少所述花的名称的关注点进行指示的图像与用于鉴别拍摄到的花的图像的特征信息一起建立对应来进行存储的数据库为首的主要构成全部置于服务器，通信终端具有拍摄部、显示部、以及操作部。将由通信终端拍摄的花的图像向服务器发送，对花的图像的特征信息和所述数据库所存储的特征信息进行比较，从而在服务器侧执行以下的全部处理：将与所拍摄到的所述花的图像类似度高的花的样品图像作为候选图像的处理；将a)作为上述提取的多个花的样品图像的候选图像、b)与上述候选图像对应的花的名称、c)用于减少上述候选图像的关注点、d)与上述候选图像对应的各自的叶的样品图像、以及e)对与上述候选图像对应的各关注点进行指示的图像从上述数据库读出并向上述通信终端发送的处理；在所述通信终端选择所述候选图像之一时，接受该选择信息来鉴别与所发送的所述花的图像对应的花的名称的处理。

虽然参照优选实施例已经描述本发明，但本发明并不限于其中描述的任何细节，而是包含在所附的权利要求书的范围内的所有的实施例。

Claims (18)

1.一种图像检索装置，用于通过检索数据库来鉴别拍摄到的对象的图像，该图像检索装置的特征在于，具有：

数据库，其将对象的第一样品图像、对象的名称、以及对象的与所述第一样品图像不同部位的第二样品图像与特征信息一起建立对应地存储；

提取单元，其通过将所拍摄到的所述对象的图像的特征信息与所述数据库中所存储的特征信息进行比较，来按照与所拍摄到的所述对象的图像的类似度从高到低的顺序提取多个对象的所述第一样品图像，作为候选图像；

第一显示控制单元，其使作为多个所提取的所述对象的第一样品图像的候选图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述对象的图像一起在显示部排列显示；以及

第二显示控制单元，其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的第二样品图像，并在所述显示部显示。

2.如权利要求1所述的图像检索装置，其特征在于，

还具有鉴别单元，该鉴别单元在对所述显示部所显示的所述候选图像之一进行选择时，将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象。

3.如权利要求1所述的图像检索装置，其特征在于，

所述第一显示控制单元将作为所述多个对象的第一样品图像的候选图像按照所述类似度从高到低的顺序进行配置，并且，

所述第二显示控制单元在与所述第一显示控制单元配置了的作为多个对象的第一样品图像的候选图像相同的位置，配置相对应的各对象的第二样品图像作为候选图像。

4.如权利要求1所述的图像检索装置，其特征在于，

所述第一显示控制单元还具有第三显示控制单元，该第三显示控制单元将在所述显示部所显示的多个候选图像变更为对相对应的各关注点进行指示的图像，并在所述显示部显示。

5.如权利要求4所述的图像检索装置，其特征在于，

上述提取单元具有减少单元，该减少单元根据所述关注点减少所述候选图像。

6.如权利要求1所述的图像检索装置，其特征在于，

所述提取单元，具有：

估计部，其使用基于所拍摄到的对象的图像的特征信息的显著性图，来估计关注点区域；

分割部，其使用所述估计部所估计的所述关注点区域，将所拍摄到的所述对象的图像分割为作为主要被摄体的所述对象的区域和背景区域；以及

提取部，其从所拍摄到的所述对象的图像中提取由所述分割部所分割得到的所述主要被摄体的区域。

7.如权利要求6所述的图像检索装置，其特征在于，

所述分割部根据利用由包含所述关注点区域的规定区域定义了的能量函数的规定算法，将所拍摄到的所述对象的图像分割为所述主要被摄体的区域和所述背景区域。

8.如权利要求7所述的图像检索装置，其特征在于，

上述规定的算法是图割法。

9.如权利要求6所述的图像检索装置，其特征在于，

还具有轮廓线提取部，该轮廓线提取部从所拍摄到的所述对象的图像中提取轮廓线或边缘形状，

所述分割部在所述轮廓线提取部所提取出的所述轮廓线或由所述边缘形状所确定的轮廓线中，通过将与所述关注点区域重叠的轮廓线的内侧区域作为所述主要被摄体的区域，将该轮廓线的外侧区域作为所述背景区域，从而将所拍摄到的所述对象的图像分割为所述主要被摄体的区域和所述背景区域。

10.如权利要求6所述的图像检索装置，其特征在于，

还具有对运动图像进行拍摄的运动图像拍摄单元，

所述提取单元，从所述运动图像拍摄单元所拍摄的运动图像中提取主要被摄体的区域。

11.如权利要求10所述的图像检索装置，其特征在于，

所述图像检索装置还具有第二通知单元，该第二通知单元在所述提取单元对所拍摄到的所述对象的图像不能按照所述类似度从高到低的顺序提取对象的第一样品图像时，要求起动所述运动图像摄像单元。

12.如权利要求1所述的图像检索装置，其特征在于，

所述对象是花，

所述数据库将花的样品图像、花的名称、叶的样品图像、以及对用于减少所述花的名称的关注点进行指示的图像与特征信息建立对应地存储。

13.一种图像检索系统，用于通过检索数据库来鉴别拍摄到的对象的图像，该图像检索系统的特征在于，具有：

数据库，其将对象的第一样品图像、对象的名称、以及对象的与所述第一样品图像不同部位的第二样品图像与特征信息一起建立对应地存储；

提取单元，其通过将所拍摄到的所述对象的图像的特征信息与所述数据库中所存储的特征信息进行比较，来按照与所拍摄到的所述对象的图像的类似度从高到低的顺序提取多个对象的所述第一样品图像，作为候选图像；

第一显示控制单元，其将作为多个所提取的所述对象的第一样品图像的候选图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述对象的图像一起在显示部排列显示；

第二显示控制单元，其使所述显示部所显示的多个候选图像变更为相对应的各所述对象的第二样品图像，并在所述显示部显不；

通信终端；以及

服务器，其通过网络与该通信终端连接，

其中，所述通信终端具备所述显示部，所述服务器具备所述数据库。

14.如权利要求13所述的图像检索系统，其特征在于，

所述通信终端具备所述第一显示控制单元以及所述第二显示控制单元，所述服务器具备所述提取单元。

15.如权利要求13所述的图像检索系统，其特征在于，

所述服务器还具备所述第一显示控制单元以及所述第二显示控制单元。

16.如权利要求13所述的图像检索系统，其特征在于，

所述图像检索系统还具有：

鉴别单元，其在对所述显示部所显示的所述候选图像之一进行选择时，将与所选择的候选图像对应的对象的名称鉴别为所拍摄到的所述对象；

保存单元，其保存所拍摄到的所述对象的图像；以及

判断单元，其判断所述拍摄到的对象的图像的名称是否与所述保存单元所保存的对象的图像的名称一致。

17.如I权利要求16所述的图像检索系统，其特征在于，

所述数据库还与所述对象的名称建立对应地存储对象的向导信息，

所述图像检索系统还具有第一通知单元，该第一通知单元在由所述判断单元判断为拍摄的对象的图像的名称与所述保存单元所保存的对象的图像的名称一致时，通知与所述鉴别单元所鉴别的对象的名称对应的向导信息。

18.一种图像检索方法，用于通过检索数据库来鉴别由拍摄部所拍摄到的对象的图像，其中，该数据库将对象的第一样品图像、对象的名称、以及对象的与所述第一样品图像不同部位的第二样品图像与特征信息一起建立对应地存储，

该图像检索方法的特征在于，包括：

提取步骤，通过将所拍摄到的所述对象的图像的特征信息与所述数据库中所存储的特征信息进行比较，来按照与所拍摄到的所述对象的图像的类似度从高到低的顺序提取多个对象的所述第一样品图像，作为候选图像；

第一显示控制步骤，将作为多个所提取的所述对象的第一样品图像的候选图像、以及与所述候选图像对应的对象的名称与所拍摄到的所述对象的图像一起在显示部排列显示；以及

第二显示控制步骤，使所述显示部所显示的多个候选图像变更为相对应的各对象的第二样品图像，并在所述显示部显示。