CN111699478A - 图像检索装置、图像检索方法、电子设备及其控制方法 - Google Patents

Abstract

图像检索装置具有：检索请求受理部件，从用户受理图像的检索请求；第一选择部件，从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组；第二选择部件，从所述第一图像组中，基于通过规定的评价式算出的评分而选择第二图像组；以及结果输出部件，将与所述第二图像组有关的信息作为检索结果输出。所述规定的评价式是设计为如下那样的评价式：使得所述第一图像组中的在规定的因特网服务上从越多人受到好评的图像则评分越高，并且在所述第一图像组中与其它图像的类似度越低的图像则评分越高。

Description

图像检索装置、图像检索方法、电子设备及其控制方法

技术领域

本发明涉及图像的检索技术。

背景技术

由于智能电话的普及和社交网络服务(SNS)的出现，将个人拍摄的图像在网络上公开并与其他人共享变得简单易行。而且，若利用这种服务，则不仅公开自己的图像，还能够阅览其他人的图像，或者检索希望的图像。由此，还有例如在旅行目的地或受欢迎的地点等中，通过SNS检索、阅览该场所的图像作为自己拍摄照片时的构图或角度的参考这样的使用方法。

在一般的SNS中，大多提供基于关键词的图像检索(标签(hashtag)检索)的功能、或将检索结果按照受欢迎的顺序(所谓“点赞数”的多序)排列的功能。并且在专利文献1中，作为用于使SNS中的图像的检索、阅览高效化的技术，提出了通过将向SNS投稿的图像中访问数(阅览数)特别多的图像分类为不同类别，使得能够高效地阅览受欢迎的图像的系统。

现有技术文献

专利文献

专利文献1：日本专利特开2013-196200号公报

发明内容

发明要解决的课题

如上述的以往的图像检索那样，在单纯地将受欢迎程度高的图像作为检索结果输出的方法中，有相同的构图或角度的照片被输出得较多的倾向。虽然在用户希望标准的构图或角度下的摄影的情况下这样的检索结果也成为参考，但是例如对于想拍摄独特的照片或有意外性的照片的用户来说不太成为参考，不能令人十分满意。SNS的大多数活跃用户希望去人集中的热点，并体验感兴趣的事情等，自己也采取与其他人相同的行动而收录在照片中，其另一方面，还具有希望拍摄收集其他人的关注或评价那样的照片(所谓“SNS上看好的照片”)的欲求。以往的图像检索无法满足这样的欲求。

本发明是鉴于上述实际情况而完成的，目的是提供能够提供富于变化的图像例作为检索结果的技术。

用于解决课题的手段

本发明的第一侧面提供一种图像检索装置，其特征在于，具有：检索请求受理部件，从用户受理图像的检索请求；第一选择部件，从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组；第二选择部件，从所述第一图像组中，基于通过规定的评价式算出的评分选择第二图像组；以及结果输出部件，将与所述第二图像组有关的信息作为检索结果输出，所述多个图像的每一个是被置于在规定的因特网服务上能够从任意的人接受评价的状态的图像，所述规定的评价式是设计为以下那样设计的评价式：使得所述第一图像组中的在所述规定的因特网服务上从越多人受到好评的图像则评分越高，且在所述第一图像组中的与其它图像的类似度越低的图像则评分越高。

按照该结构，在与检索条件匹配的图像组中，有从其他人得到好评的实际成绩、且不是普通的构图或角度的富于变化的图像被提供作为检索结果。因此，用户可以将作为检索结果提供的图像设为参考，拍摄容易收集其他人的关注和评价的图像。

也可以还具有：选择信息受理部件，相应于所述用户从所述第二图像组中选择了一个图像的情况，受理该选择图像的信息；以及第三选择部件，从所述第一图像组中选择与所述选择图像类似的第三图像组，所述结果输出部件将与所述第三图像组有关的信息作为第二检索结果输出。用户通过观察这样的第三图像组，能够设为自己进行摄影时的构图或角度的参考。

也可以还具有将所述多个图像或者表示该图像的所在的信息预先分类为多个类别而进行存储的数据库，所述检索条件包含表示类别的信息，所述第一选择部件从所述数据库选择属于与所述检索条件匹配的类别的图像组作为所述第一图像组。这样，通过将图像预先分类到类别中，按照类别进行图像的初次筛选，能够实现检索处理的高速化。

在所述数据库中，按每个类别，属于该类别的图像组被基于所述评分预先排序，所述第二选择部件从所述第一图像组中选择高位的规定数目的图像作为所述第二图像组即可。通过像这样将图像预先排序，能够实现检索处理的高速化。

也可以所述检索请求包含从用户输入的输入图像，所述检索请求受理部件识别所述输入图像中映入的要素，基于识别出的所述要素决定所述检索条件即可。根据该结构，若用户给出自己拍摄的图像或本拍摄之前的预览图像等作为输入图像，则可以得到要素与该输入图像共同的图像作为检索结果，所以容易设为自己进行拍摄时的参考。

所述检索请求包含从用户输入的位置信息，所述检索请求受理部件基于所述位置信息决定所述检索条件即可。根据该结构，若给出用户的当前位置的信息等作为位置信息，则可以得到用户在当前位置能够拍摄的图像作为检索结果，因此容易设为自己进行拍摄时的参考。

本发明的第二侧面提供通过网络与上述的图像检索装置连接的电子设备，其特征在于，所述电子设备包括：发送部件，对所述图像检索装置发送图像的检索请求；接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；以及显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

本发明的第三侧面提供通过网络与上述的图像检索装置连接的电子设备，其特征在于，所述电子设备具有：发送部件，对所述图像检索装置发送图像的检索请求；接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上；以及选择指示受理部件，从用户受理用于指示从所述第二图像组中选择一个图像的选择指示，在通过所述选择指示受理部件受理了选择指示的情况下，所述发送部件对所述图像检索装置发送选择图像的信息，所述接收部件从所述图像检索装置接收所述第二检索结果，所述显示控制部件根据所述接收到的所述第二检索结果，将与所述选择图像类似的所述第三图像组显示在显示装置上。

本发明的第四侧面提供通过网络与上述的图像检索装置连接的电子设备，其特征在于，所述电子设备具有：摄像部件；发送部件，对所述图像检索装置发送包含由所述摄像部件拍摄的图像作为所述输入图像的检索请求；接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；以及显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

所述发送部件将由所述摄像部件拍摄的预览图像作为所述输入图像对所述图像检索装置发送，所述显示控制部件将所述第二图像组与所述预览图像一起显示在显示装置上即可。

还具有加工部件即可，所述加工部件在显示了所述第二图像组的状态下或者在显示了所述第二图像组后，对由所述摄像部件拍摄的图像实施用于使与所述第二图像组的类似度降低的加工处理。

本发明的第五侧面提供通过网络与上述的图像检索装置连接的电子设备，其特征在于，所述电子设备具有：位置检测部件；发送部件，对所述图像检索装置发送包含将由所述位置检测部件检测到的当前位置的信息作为所述位置信息的检索请求；接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

本发明的第六侧面提供图像检索方法，其特征在于，该方法具有：从用户受理图像的检索请求的步骤；从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组的步骤；从所述第一图像组中，基于通过规定的评价式算出的评分选择第二图像组的步骤；以及将与所述第二图像组有关的信息作为检索结果输出的步骤，所述多个图像的每一个是在规定的因特网服务上被置于能够从任意的人接受评价的状态的图像，所述规定的评价式是设计为以下那样的评价式：使得所述第一图像组中在所述规定的因特网服务上从越多人受到好评的图像则评分越高，并且在所述第一图像组中与其它图像的类似度越低的图像则评分越高。

本发明的第七侧面提供程序，该程序用于使计算机执行上述的图像检索方法的各步骤。

本发明的第八侧面提供通过网络与上述的图像检索装置连接的电子设备的控制方法，其特征在于，该方法具有：对所述图像检索装置发送图像的检索请求的步骤；从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及基于接收到的所述检索结果显示所述第二图像组的步骤。

本发明的第九侧面提供通过网络与上述的图像检索装置连接的电子设备的控制方法，其特征在于，该方法具有：对所述图像检索装置发送图像的检索请求的步骤；从所述图像检索装置接收对于所述检索请求的检索结果的步骤；根据接收到的所述检索结果显示所述第二图像组的步骤；从用户受理用于指示从所述第二图像组中选择一个图像的选择指示的步骤；在受理了所述选择指示的情况下，将选择图像的信息对所述图像检索装置发送的步骤；从所述图像检索装置接收所述第二检索结果的步骤；以及基于所接收到的所述第二检索结果，显示与所述选择图像类似的所述第三图像组的步骤。

本发明的第十侧面提供通过网络与上述的图像检索装置连接的电子设备的控制方法，其特征在于，该方法具有：拍摄图像的步骤；将包含所拍摄的所述图像作为所述输入图像的检索请求对所述图像检索装置发送的步骤；从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及基于接收到的所述检索结果显示所述第二图像组的步骤。

本发明的第十一侧面提供通过网络与上述的图像检索装置连接的电子设备的控制方法，其特征在于，该方法具有：检测当前位置的信息的步骤；将包含检测到的所述当前位置的信息作为所述位置信息的检索请求对所述图像检索装置发送的步骤；从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及基于接收到的所述检索结果显示所述第二图像组的步骤。

本发明的第十二侧面提供用于使计算机执行上述的电子设备的控制方法的各步骤的程序。

发明的效果

按照本发明，能够提供富于变化的图像例作为检索结果。

【附图说明】

图1是表示利用了本发明的实施方式的图像检索系统的图像检索服务的全貌的图。

图2是表示图像检索系统的结构的细节的图。

图3是表示图像数据库的创建处理的流程的流程图。

图4是表示图像数据库的结构的一例的图。

图5是表示图像检索服务器和用户终端的处理的图。

图6是用户终端中的预览图像的显示例。

图7A以及图7B是用户终端中的推荐图像的显示例。

图8是用户终端中的类似图像的显示例。

具体实施方式

＜应用例＞

首先，说明应用本发明的场景的一例。图1是表示利用了本发明的实施方式的图像检索系统的图像检索服务的全貌。

图像检索系统1大致由提供图像检索服务的图像检索服务器(图像检索装置)10、以及相同服务的用户使用的用户终端(电子设备)11构成。在图1中，仅绘制1台图像检索服务器10和1台用户终端11，但实际上可以由多个台图像检索服务器10组成冗余结构，也可以由多台用户终端11利用相同服务。

图像检索服务器10是提供基于从用户受理的检索请求进行图像的检索，将该检索结果返回用户这样的因特网服务的服务器。图像检索服务器10具有存储多个图像的图像数据库100。而且，作为图像数据库100的结构，也可以采用存储了表示图像的所在的信息(例如统一资源标识符(Uniform Resource Identifier(URI))等)取代图像本身(实体数据)的结构。即，图像检索服务器10能够采用在检索的对象中不仅包含自己保有、管理的图像数据，还包含其它服务器保有的图像数据、以及由其它服务(例如SNS等)提供的图像数据的结构。

用户终端11是利用图像检索服务的用户携带并操作的电子设备。用于利用图像检索服务的客户程序的功能以及规范是任意的，但是在本应用例中，例示辅助用户拍摄照片的程序(以下称为“摄影辅助应用”)。

首先，用户启动用户终端11中的摄影辅助应用。这样，用户终端11(具体来说，基于摄影辅助应用进行动作的CPU)从摄像装置取入图像，在用户终端11的画面中显示预览图像。进而，用户终端11将该预览图像与检索请求一起发送到图像检索服务器10。

图像检索服务器10通过解析从用户终端11接收到的图像，识别在图像中映入的要素，基于其识别结果决定图像的检索条件。例如，图像检索服务器10也可以通过进行人识别、一般物体识别、场景解析等，从图像识别人、物、风景、场所等要素。利用这些识别结果，例如能够生成“女性”、“情侣”、“车”、“东京天空树”、“富士山”、“夏威夷”、“比萨斜塔”那样的检索条件(检索关键词)。接着，在从图像数据库100中选择了与检索条件匹配的图像后(第一选择)，图像检索服务器10从选择出的该图像组(第一图像组)中选出若干个在SNS等中的评价高且与相同类别内的其它图像的类似度低的图像(第二选择)。然后，图像检索服务器10将与选出的若干个图像(第二图像组)有关的信息作为检索结果提供给用户终端11。

用户终端11将从图像检索服务器10作为检索结果接受的图像组作为推荐图像显示在画面上(这时以能够与预览图像进行比较的方式显示推荐图像即可)。推荐图像是满足包含与用户现在正想拍摄的对象共同的要素、且在SNS等中有从其他人得到好评价的实际成绩、且不是普通的构图或角度这样的条件的图像。因此，用户通过将画面中显示的推荐图像设为参考，能够拍摄在SNS中可以得到高评价的富于变化的图像。

＜图像检索系统＞

接着，参照图2，说明本实施方式的图像检索系统1的具体的结构例。

(图像检索服务器)

图像检索服务器10具有：图像数据库100、检索请求受理单元(检索请求受理部件)101、类别选择单元(第一选择部件)102、推荐图像选择单元(第二选择部件)103、选择信息受理单元(选择信息受理部件)104、类似图像选择单元(第三选择部件)105、结果输出单元(结果输出部件)106。

图像数据库100是将多个图像或者表示该图像的所在的信息分类为类别进行存储的数据库。检索请求受理单元101进行从用户终端11受理检索请求的处理。类别选择单元102进行从图像数据库100所存储的多个图像中确定与检索条件匹配的类别，选择属于该类别的图像组作为第一图像组的处理。推荐图像选择单元103进行基于通过规定的评价式算出的评分从第一图像组中选择评分高的若干个图像(第二图像组)的处理。该第二图像组作为检索结果被输出到用户终端11，作为推荐图像被显示在用户终端11的画面上。选择信息接受单元104与用户从推荐图像图像组中选择了一个图像相应地进行受理该选择图像的信息的处理。类似图像选择单元105进行从第一图像组中选择与选择图像类似的图像组(第三图像组)的处理。结果输出单元106进行将类似图像选择单元105的选择结果或推荐图像选择单元103的选择结果发送给用户终端11的处理。

图像检索服务器10例如可以通过在至少包括CPU(处理器)、存储器、大容量的储存器、通信装置、输入装置的通用的服务器计算机中安装需要的程序(操作系统、数据库管理程序、图像检索程序等)而构成。在该结构的情况下，图2所示的块100～106通过CPU将储存器中存储的程序在存储器中展开并执行该程序来实现。但是，图像检索服务器10的结构不限于此。例如，也可以通过ASIC或FPGA等专用的硬件实现图像检索服务器10提供的一部分或者全部功能。而且，图像检索服务器10可以由单一的计算机构成，也可以由多个计算机构成。

(用户终端)

用户终端11包括：检索请求发送单元(发送部件)110、检索结果接收单元(接收部件)111、显示控制单元(显示控制部件)112、选择指示受理单元(选择指示受理部件)113、图像加工单元(加工部件)114。而且，用户终端11作为硬件包括摄像装置(摄像部件)115、触控面板显示器(显示装置以及输入装置)116、位置传感器(位置检测部件)117。

检索请求发送单元110进行对图像检索服务器10发送检索请求的处理。检索结果接收单元111进行从图像检索服务器10接收对于检索请求的检索结果的处理。显示控制单元112进行将预览图像或检索结果的图像等显示在触控面板显示器116上的控制。选择指示受理单元113进行从用户受理从作为检索结果显示的推荐图像中选择一个图像的选择指示的处理。图像加工单元114对由摄像装置115拍摄的图像进行加工处理。

摄像装置115是能够进行静止图像以及运动图像的摄影的摄像机。触控面板显示器116是兼做显示装置和输入装置的设备，例如能够使用液晶显示器、有机EL显示器等。位置传感器117是检测用户终端11的当前位置的信息的设备，例如能够利用GPS传感器等。用户终端11还具有未图示的CPU(处理器)、存储器、储存器。如图2所示的块110～114通过CPU将储存器中存储的程序(操作系统、摄影辅助应用等)在存储器中展开并执行该程序来实现。但是，用户终端11的结构不限于此。例如，也可以通过ASIC或FPGA等专用的硬件实现用户终端11提供的一部分或者全部功能。而且，也可以通过云服务器执行用户终端11的一部分功能。

(图像数据库)

参照图3以及图4，说明图像数据库100的结构及其创建处理。图3是表示图像数据库100的创建处理的流程的流程图，图4是表示图像数据库100的结构的一例的图。

在步骤S30中，图像检索服务器10获取在图像数据库100中注册的多个图像的数据。图像的取得目的地是任意的，不特别限定。这里，作为一例，设想从与图像检索服务相同的经营商提供的SNS的服务器进行图像的获取。在该SNS中，设为会员能够自由地公开自己拍摄的图像，其他人能够阅览并评价所公开的图像(给与“点赞”或“评论”)。而且，在向SNS投稿图像时，也可以附加标签或位置信息等元数据(meta data)后上传。

在步骤S31中，图像检索服务器10将各图像分类为类别。具体地说，图像检索服务器10通过对图像实施人识别、一般物体识别、场景解析等各种解析处理，识别在图像中映入的要素(人、物、风景、场所等)。作为这种解析处理，例如可以使用以卷积神经网络(CNN)为代表的公知的算法，所以这里省略详细的说明。而且，除了图像的解析，图像检索服务器10还能够从附加给图像的元数据(标签、位置信息等)估计图像中映入的要素。然后，图像检索服务器10基于图像的要素，决定该图像的类别。例如如以下那样设想类别。

·被摄体(人)的属性···“女性”、“情侣”、“婴儿”、“商务人士”等。

·被摄体(一般物体)···“车”、“山”、“樱花”、“观赏者”、“寺”等。

·被摄体(个体)···“富士山”、“东京天空树”、“清水寺”、“比萨斜塔”等。

·风景···“海滨”、“摩天大楼”、“日落”、“蓝天”等。

·场所···“夏威夷-威基基海滩”、“京都-东本愿寺”等。

而且，不限于上述，图像的类别怎样设计都可以。而且，一个图像也可以被分类为多个类别(例如，在威基基海滩拍摄的情侣的图像被注册到“情侣”、“海滨”、“蓝天”、“夏威夷-威基基海滩”4个类别等)。

在步骤S32中，图像检索服务器10按每个类别进行图像的排序。详细地说，使用设计为在前述的SNS上从越多人受到好评的图像评分越高、且与相同类别内的其它图像的类似度越低的图像评分越高那样的评价式，计算各图像的评分，根据该评分将类别内的图像排序。以下记载评价式的一例。

Yci＝α×Ei+β×Sci

这里，为

Yci：类别c中的图像i的评分，

Ei：图像i的SNS中的评价的高度，

Sci：图像i与类别c内的图像i以外的图像的类似度的低度(非类似度)

α、β：加权系数。

评价的高度Ei例如是对图像i附加的“点赞”的数目。或者，也可以是对图像i附加的积极的评论的数目。评论是否为积极的内容例如利用自然言语处理等来判断即可。

类似度的低度Sci例如可以通过下式计算。

Sci＝Σsij

这里，为

sij：图像i和图像j的类似度的低度

j∈c(其中，i≠j)。

而且，在类似度的计算中使用什么样的算法都可以。例如，能够例示特征量(颜色、亮度等)的比较、场景的比较、被摄体的姿态或摆姿势的比较、图像的加工的方法(过滤或印章等)的比较等。

图4表示图像数据库100的结构的一例。多个图像被分类为类别，在各个类别内进行基于上述的评分Y的排序。而且，在图4的例子中，各图像的SNS中的评价的高度E和类似度的低度(非类似度)S也被存储。而且，在图像数据库100的注册图像中，包含实体数据被注册的图像、以及仅表示图像的所在的URI被注册的图像。

＜图像检索服务＞

接着，参照图5～图8，说明利用了由图像检索系统1提供的图像检索服务的摄影辅助的细节。图5是表示图像检索服务器10和用户终端11各自的处理的图，图6是用户终端中的预览图像的显示例，图7A以及图7B是推荐图像的显示例，图8是类似图像的显示例。

在步骤S500中，若用户终端11的摄影辅助应用被启动，则显示控制单元112从摄像装置115读入图像，在触控面板显示器116显示预览图像。而且，图像的取入以及预览图像的显示以10fps(帧/秒)或30fps等规定的时间间隔被反复进行。图6是作为用户终端11的智能手机的画面中显示的预览图像的例子。

这里，若用户在摄影辅助应用中指示“推荐图像的表示”，则检索请求发送单元110将预览图像与检索请求一起发送到图像检索服务器10(步骤S501)。而且，在本例中示出根据用户的指示发送检索请求的例子，但是也可以设为没有用户的指示就自动地发送检索请求。例如，可以每当从摄像装置115取入预览图像时发送检索请求，也可以为了减轻处理负载，以1秒1次等规定的时间间隔发送检索请求。或者，为了进一步减轻处理负载，也可以仅在预览图像的内容(被摄体或构图或角度等)较大地变化了的情况下发送检索请求。预览图像的内容的变化例如可以取图像的单纯差分来进行评价，也可以根据图像的特征量(颜色、亮度等)的变化来进行评价，还可以用除此以外的方法来进行评价。

在步骤S520中，图像检索服务器10的检索请求受理单元101从用户终端11接收检索请求和预览图像。然后，在步骤S521中，检索请求受理单元101通过对预览图像实施人识别、一般物体识别、场景解析等各种解析处理，识别在预览图像中映入的要素(人、物、风景、场所等)。由于这里的处理能够使用与在图像数据库100的创建处理中决定图像的类别时相同的处理，所以省略详细的说明。在步骤S521中得到的预览图像的类别的信息在下面的步骤中被作为检索条件使用。而且，在步骤S521中得到多个预览图像的类别的候选的情况下，从这些候选中，将由固有名称确定的类别优先选择为检索条件即可。例如，若为作为类别的候选，得到了“情侣”、“樱花”、“寺”、“清水寺”、“蓝天”的情况，则将“清水寺”这样的类别设定为检索条件。这是因为，通过这样选择检索条件，得到与在预览图像中映入的要素的关联性高的图像作为检索结果的可能性提高。

在步骤S522中，类别选择单元102从图像数据库100选择与检索条件匹配的类别的图像组。接着，推荐图像选择单元103从在步骤S522中选择的类别的图像组中，选择被排序在上位的N张图像(步骤S523)。N是任意设定的整数，在本例中为N＝6。然后，在步骤S524中，结果输出单元106将在步骤S523中选择的N张图像的信息发送至用户终端11。这时，可以原样发送图像的实体数据，也可以发送将图像低分辨率化后的数据，还可以发送表示图像的所在的信息。

在步骤S502中，用户终端11的检索结果接收单元111从图像检索服务器10接收检索结果(N张图像的信息)。这样，显示控制单元112将N张图像作为推荐图像显示在触控面板显示器116上(步骤S503)。图7A以及图7B是推荐图像的显示例。图7A是与预览图像70一起显示了推荐图像图像组71的例子，图7B是仅显示了推荐图像图像组72的例子。并且在图7B的显示例中，评分Y越高的图像用越大的尺寸显示。通过如图7A或图7B那样观察推荐图像，用户能够设为自己进行摄影时的构图或角度的参考。

这里，若用户触摸推荐图像之一，则选择指示受理单元113对被选择了的图像进行判定，该选择图像的信息被从检索请求发送单元110对图像检索服务器10发送(步骤S504)。这样，图像检索服务器10的选择信息受理单元104从用户终端11受理选择图像的信息(步骤S525)，类似图像选择单元105从该选择图像所属的类别内的图像组，选择与选择图像的类似度高的M张图像(步骤S526)。M是任意设定的整数，在本例中为M＝6。而且，这里使用的类似度可以是与在图像数据库100的创建处理中使用的类似度相同的指标，也可以是不同的指标。而且，也可以使用户指定类似度的指标。例如，通过使得用户能够选择构图类似者、人物的姿态或摆姿势类似者、颜色或亮度类似者、这样的类似的观点，能够对用户提供引起用户的兴趣的图像。在步骤S527中被选择的M张类似图像的信息从结果输出单元106被发送到用户终端11。

在步骤S505中，用户终端11的检索结果接收单元111从图像检索服务器10接收追加检索结果(M张类似图像的信息)。这样，显示控制单元112将M张类似图像显示在触控面板显示器116上(步骤S506)。图8是在图7B的图像73被选择了的情况下所显示的类似图像的例子。通过观察图8那样的类似图像，用户能够设为自己进行摄影时的构图或角度的参考。

在步骤S507中，若用户按压快门则进行本摄影，从摄像装置115取入的图像被保存在储存器中。这时，在摄影辅助应用的“加工处理设定”有效的情况下，图像加工单元114对从摄像装置115取入的图像实施规定的加工处理(步骤S508)。该加工处理若为能够使拍摄的图像和推荐图像的类似度降低的处理，则什么样的处理都可以。例如列举过滤处理、印章等装饰处理等。

若利用以上叙述的摄影辅助应用，则用户通过将画面中显示的推荐图像设为参考，能够拍摄可以在SNS中得到高评价那样的富于变化的图像。

＜其它＞

上述实施方式只不过是示例性地说明本发明的结构例的方式。本发明不限于上述的具体的方式，在其技术思想的范围内能够有各种变形。例如，在上述实施方式中，说明了通过摄影辅助应用利用图像检索服务的例子，但是本发明的应用例不限于此。

＜附记1＞

一种图像检索装置(10)，其特征在于，包括：

检索请求受理部件(101)，从用户受理图像的检索请求；

第一选择部件(102)，从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组；

第二选择部件(103)，从所述第一图像组中，基于通过规定的评价式算出的评分选择第二图像组；以及

结果输出部件(106)，将与所述第二图像组有关的信息作为检索结果输出，

所述多个图像的每一个是在规定的因特网服务上被置于能够从任意的人接受评价的状态的图像，

所述规定的评价式是设计为以下那样设计的评价式：使得所述第一图像组中在所述规定的因特网服务上从越多人受到好评的图像则评分越高，并且在所述第一图像组中与其它图像的类似度越低的图像则评分越高。

＜付记2＞

一种电子设备(11)，通过网络与图像检索装置(10)连接，其特征在于，包括：

发送部件(110)，对所述图像检索装置(10)发送图像的检索请求；

接收部件(111)，从所述图像检索装置(10)接收对于所述检索请求的检索结果；以及

显示控制部件(112)，基于接收到的所述检索结果将所述第二图像组显示在显示装置(116)上。

标号说明

1：图像检索系统

10：图像检索服务器

11：用户终端

100：图像数据库

Claims (19)

1.一种图像检索装置，其特征在于，具有：

检索请求受理部件，从用户受理图像的检索请求；

第一选择部件，从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组；

第二选择部件，从所述第一图像组中，基于通过规定的评价式算出的评分选择第二图像组；以及

结果输出部件，将与所述第二图像组有关的信息作为检索结果输出，

所述多个图像的每一个是在规定的因特网服务上被置于能够从任意的人接受评价的状态的图像，

所述规定的评价式是被设计为如下那样的评价式：使得所述第一图像组中的在所述规定的因特网服务上从越多人受到好评的图像则评分越高，并且在所述第一图像组中与其它图像的类似度越低的图像则评分越高。

2.如权利要求1所述的图像检索装置，其特征在于，还具有：

选择信息受理部件，相应于所述用户从所述第二图像组中选择了一个图像的情况，受理该选择图像的信息；以及

第三选择部件，从所述第一图像组中选择与所述选择图像类似的第三图像组，

所述结果输出部件将与所述第三图像组有关的信息作为第二检索结果输出。

3.如权利要求1或者2所述的图像检索装置，其特征在于，还具有：

数据库，将所述多个图像或者表示该图像的所在的信息预先分类为多个类别而进行存储，

所述检索条件包含表示类别的信息，

所述第一选择部件从所述数据库中选择属于与所述检索条件匹配的类别的图像组作为所述第一图像组。

4.如权利要求3所述的图像检索装置，其特征在于，

在所述数据库中，按每个类别，属于该类别的图像组基于所述评分而被预先排序，

所述第二选择部件从所述第一图像组中选择高位的规定数目的图像作为所述第二图像组。

5.如权利要求1至4的任意一项所述的图像检索装置，其特征在于，

所述检索请求包含从用户输入的输入图像，

所述检索请求受理部件识别所述输入图像中映入的要素，基于识别出的所述要素决定所述检索条件。

6.如权利要求1至4的任意一项所述的图像检索装置，其特征在于，

所述检索请求包含从用户输入的位置信息，

所述检索请求受理部件基于所述位置信息决定所述检索条件。

7.一种电子设备，通过网络与权利要求1至6的任意一项所述的图像检索装置连接，其特征在于，所述电子设备具有：

发送部件，对所述图像检索装置发送图像的检索请求；

接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；以及

显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

8.一种电子设备，通过网络与权利要求2所述的图像检索装置连接，其特征在于，所述电子设备具有：

发送部件，对所述图像检索装置发送图像的检索请求；

接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；

显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上；以及

选择指示受理部件，从用户受理用于从所述第二图像组中选择一个图像的选择指示，

在通过所述选择指示受理部件受理了选择指示的情况下，所述发送部件对所述图像检索装置发送选择图像的信息，所述接收部件从所述图像检索装置接收所述第二检索结果，所述显示控制部件基于接收到的所述第二检索结果，将与所述选择图像类似的所述第三图像组显示在显示装置上。

9.一种电子设备，通过网络与权利要求5所述的图像检索装置连接，其特征在于，具有：

摄像部件；

发送部件，对所述图像检索装置发送包含由所述摄像部件拍摄的图像作为所述输入图像的检索请求；

接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；以及

显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

10.如权利要求9所述的电子设备，其特征在于，

所述发送部件将由所述摄像部件拍摄的预览图像作为所述输入图像对所述图像检索装置发送，

所述显示控制部件将所述第二图像组与所述预览图像一起显示在显示装置上。

11.如权利要求9或10所述的电子设备，其特征在于，还具有：

加工部件，在显示了所述第二图像组的状态下或者在显示了所述第二图像组后，对由所述摄像部件拍摄的图像实施用于使与所述第二图像组的类似度降低的加工处理。

12.一种电子设备，通过网络与权利要求6所述的图像检索装置连接，其特征在于，具有：

位置检测部件；

发送部件，对所述图像检索装置发送包含由所述位置检测部件检测到的当前位置的信息作为所述位置信息的检索请求；

接收部件，从所述图像检索装置接收对于所述检索请求的检索结果；

显示控制部件，基于接收到的所述检索结果将所述第二图像组显示在显示装置上。

13.一种图像检索方法，其特征在于，包括：

从用户受理图像的检索请求的步骤；

从多个图像中，选择与基于所述检索请求的检索条件匹配的第一图像组的步骤；

从所述第一图像组中，基于通过规定的评价式算出的评分选择第二图像组的步骤；以及

将与所述第二图像组有关的信息作为检索结果输出的步骤，

所述多个图像的每一个是在规定的因特网服务上被置于能够从任意的人接受评价的状态的图像，

所述规定的评价式是被设计为如下那样的评价式：使得所述第一图像组中的在所述规定的因特网服务上从越多人受到好评的图像则评分越高，并且在所述第一图像组中与其它图像的类似度越低的图像则评分越高。

14.一种程序，用于使计算机执行权利要求13所述的图像检索方法的各步骤。

15.一种电子设备的控制方法，所述电子设备通过网络与权利要求1至6的任意一项所述的图像检索装置连接，所述控制方法具有：

对所述图像检索装置发送图像的检索请求的步骤；

从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及

基于接收到的所述检索结果显示所述第二图像组的步骤。

16.一种电子设备的控制方法，所述电子设备通过网络与权利要求2所述的图像检索装置连接，其特征在于，所述控制方法具有：

对所述图像检索装置发送图像的检索请求的步骤；

从所述图像检索装置接收对于所述检索请求的检索结果的步骤；

基于接收到的所述检索结果显示所述第二图像组的步骤；

从用户受理用于从所述第二图像组中选择一个图像的选择指示的步骤；

在受理了所述选择指示的情况下，将选择图像的信息对所述图像检索装置发送的步骤；

从所述图像检索装置接收所述第二检索结果的步骤；以及

基于接收到的所述第二检索结果，显示与所述选择图像类似的所述第三图像组的步骤。

17.一种电子设备的控制方法，所述电子设备通过网络与权利要求5所述的图像检索装置连接，其特征在于，所述控制方法具有：

拍摄图像的步骤；

将包含所拍摄的所述图像作为所述输入图像的检索请求对所述图像检索装置发送的步骤；

从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及

基于接收到的所述检索结果显示所述第二图像组的步骤。

18.一种电子设备的控制方法，所述电子设备通过网络与权利要求6所述的图像检索装置连接，其特征在于，所述控制方法具有：

检测当前位置的信息的步骤；

将包含检测到的所述当前位置的信息作为所述位置信息的检索请求对所述图像检索装置发送的步骤；

从所述图像检索装置接收对于所述检索请求的检索结果的步骤；以及

基于接收到的所述检索结果显示所述第二图像组的步骤。

19.一种程序，用于使计算机执行权利要求15～18的任意一项所述的电子设备的控制方法的各步骤。

Images