CN108431800A - 图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法 - Google Patents

Abstract

图像处理装置具备处理器、与上述处理器连接且存储图像数据库的存储部、以及与上述处理器连接的显示部，上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。

Description

图像处理装置、图像检索界面显示装置以及图像检索界面的 显示方法

技术领域

本发明涉及一种图像处理装置、图像检索界面显示装置以及图像检索界面的显示方法。

背景技术

随着电视影像的数字归档化、网络上的视频分发服务的普及，将大规模的图像数据以高速检索以及分类的必要性逐渐增加。另外，对面向安全积蓄的监视图像的解析的期待逐渐增加。难以对这些膨大的图像以手工赋予文本信息，所以要求使用了图像中的特征量的图像检索技术。

大规模并且高速的类似图像检索系统正在被实用化。例如，提出了预先提取图像特征量来构建数据库，在查询图像中高速查出外观类似的图像的技术。另外，通过与检测图像中的包含物体的区域的图像处理技术进行组合，能够进行着眼于图像中的物体的详细的类似图像检索。

作为本技术领域的背景技术，有专利文献1。在专利文献1记载了，“将包含于要检索的图像的对象的名称作为关键词输入，生成将该对象布局配置的查询图像并进行图像检索”(参照摘要)。

在专利文献1记载的系统中，根据用户指定的多个关键词获取物体的图像样本，按照物体的平均的大小以及位置自动地创建布局，利用按照该布局合成的图像进行类似图像检索。

专利文献1:日本特开2011－197892号公报

发明内容

在专利文献1记载的系统中，用户需要输入多数的物体的信息(关键词)。这里，在专利文献1记载的系统中，即使输入了多个物体的信息，也不成为考虑了多个物体间的关系性的检索查询，所以有检索精度降低的可能性。

因此，本发明提供一种辅助考虑了多个物体间的关系性的检索查询的创建的技术。

例如，为了解决上述课题，采用请求专利保护的结构。本申请包含多个解决上述课题的手段，举出其一个例子，提供一种具备处理器、与上述处理器连接且存储图像数据库的存储部、以及与上述处理器连接的显示部的图像处理装置。上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，将基于上述第1共现信息的第2对象的候补输出到上述显示部。

另外，作为其他的例子，提供具备处理器、与上述处理器连接且显示具有查询输入区域的图像检索界面的显示部的图像检索界面显示装置。上述处理器若向上述查询输入区域输入第1对象，则将第2对象的候补显示到上述图像检索界面，若选择上述第2对象，则将上述第2对象显示到上述查询输入区域。

另外，作为其他的例子，提供一种具备处理器、与上述处理器连接且存储图像数据库的存储部、与上述处理器连接的显示部的信息处理装置中的图像检索界面的显示方法。该图像检索界面的显示方法包含如下步骤：上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息；上述处理器使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息；上述处理器将基于上述第1共现信息的第2对象的候补输出到上述显示部。

根据本发明，能够辅助考虑了多个物体间的关系性的检索查询的创建。此外，与本发明相关的进一步的特征根据本说明书的记载、附图变得清楚。另外，上述以外的课题、构成以及效果根据以下的实施例的说明变得清楚。

附图说明

图1是表示实施例1中的图像检索系统的构成例的框图。

图2是表示实施例1中的图像检索系统的硬件构成例的框图。

图3A是表示实施例1中的图像数据库的构造例的图。

图3B是表示实施例1中的图像数据库的构造例的图。

图4A是表示实施例1中的图像中的物体的配置信息的第1例的图。

图4B是表示实施例1中的图像中的物体的配置信息的第2例的图。

图5是实施例1中的数据库登记处理的流程图的一个例子。

图6是说明实施例1中，使用共现信息的查询输入辅助以及图像检索的例的图。

图7是说明实施例1中共现信息生成的例子的图。

图8是实施例1中的使用共现信息的查询输入辅助以及图像检索的处理的流程图的一个例子。

图9是实施例1中的共现信息生成处理的流程图的一个例子。

图10是实施例1中，图像检索处理的流程图的一个例子。

图11A是表示实施例1中的图像检索界面的一个例子的图。

图11B是表示实施例1中的图像检索界面的一个例子的图，表示变更了物体的配置时的图像检索界面。

图12是实施例1中的系统整体处理的时序图的一个例子。

图13是用于说明实施例2中的针对通过检索结果得到的图像的修正处理的图。

图14是实施例2中的共现信息生成处理的流程图的一个例子。

具体实施方式

以下，参照附图对本发明的实施例进行说明。此外，附图示出了符合本发明的原理的具体的实施例，然而这些是用于理解本发明的，而绝不用于限定解释本发明。此外，有时对于各图中共用的构成标注相同的参照符号。

＜实施例的概要＞

以下说明的图像检索装置是进行着眼于图像中的物体的类似图像检索的装置。图像检索装置从新登记对象的图像中检测出物体，提取检测出的物体的特征量，推定类别。在数据库，与图像一起积蓄物体的配置信息和特征量。检索时，将输入的第一查询(物体的图像及其配置信息)作为条件，自动地进行图像检索。根据得到的检索结果，将包含第一查询的图像所包含的、其他的物体的信息从数据库获取，求出与第一查询的物体的共现信息。图像中的物体的共现性表示物体A和物体B在图像中同时存在的概率。以下的例中，图像中的物体的共现性按区域表示物体A存在于图像中的某区域X时的物体B的出现概率。

图像检索装置使用求出的共现信息，对用户提示第二查询(物体及其配置信息)的候补。用户从提示的候补中选择所希望的物体，就能够将检索查询详细化。该反复操作的结果得到的检索查询成为似乎正确的物体的组合以及它们的配置，所以图像检索的精度提高。

[实施例1]

图1是表示实施例1的图像检索系统100的构成例的框图。图像检索系统100具备使用了物体的共现信息的查询输入辅助的用户界面。根据该构成，能够高效地执行着眼于图像中的物体的图像检索。

图像检索系统100例如包含图像存储装置101、输入装置102、显示装置103、图像检索装置104。图像存储装置101是保存静态图像数据或者视频数据的存储介质，例如，使用计算机内置的硬盘驱动器，或者，以NAS(Network Attached Storage，网络连接存储)或SAN(Storage Area Network，存储区域网络)等的网络连接的存储系统构成。另外，图像存储装置101例如也可以是临时保存从照相机持续输入的图像数据的高速缓存。

输入装置102例如是鼠标、键盘、触摸设备等用于将用户的操作传递给图像检索装置104的输入接口。显示装置103例如是液晶显示器等输出接口，用于图像检索装置104的检索结果的显示以及与用户的对话操作等。

图像检索装置104提取检索所需的信息，进行向数据库的登记处理。登记处理包含：从积蓄在图像存储装置101中的图像检测出物体区域；对于检测出的各区域提取出图像特征量；推定物体的类别；将这些信息登记到图像数据库109。

另外，图像检索装置104进行利用用户从输入装置102指定的检索查询从图像数据库109检索与检索查询一致的图像，并将检索结果显示到显示装置103的检索处理。

检索处理中，用户指定查询。查询包含物体以及物体的配置信息。用户例如在显示于显示装置103的画布上指定物体的配置信息，输入物体的名称或者图像。配置信息包含物体的大小以及位置信息(以下的例子中是坐标)。图像检索装置104根据积蓄在图像数据库109中的数据，生成输入的物体的共现信息，推定用户接下来输入的可能性高的物体，将候补显示于显示装置103。用户从提示的候补选择，从而不用多次输入物体的图像以及配置信息，就能够创建指定了多个物体的检索查询。图像检索装置104使用创建的检索查询执行图像检索，将检索结果显示于显示装置103。

图像检索装置104包含：图像输入部105、物体检测部106、特征量提取部107、类别推定部108、图像数据库109、查询输入部110、共现信息生成部111、查询候补推定部112、图像检索部113。图像输入部105、物体检测部106、特征量提取部107、类别推定部108是用于执行上述的登记处理的处理模块。查询输入部110、共现信息生成部111、查询候补推定部112、图像检索部113是用于执行上述的检索处理的处理模块。

图像输入部105从图像存储装置101接受静态图像数据或者视频数据的输入，按照输入的数据的数据形式，将输入的数据转换为在图像检索装置104内部使用的数据形式。例如，接受了视频数据的输入的情况下，图像输入部105进行分解为帧(静态图像数据形式)的视频解码处理。

物体检测部106从输入的图像检测出包含物体的部分区域。物体检测处理能够使用公知的方法。例如，物体检测部106可以使用只对特定的类别的物体反应的识别器，在图像中进行扫描来检测出区域。另外，物体检测部106也可以使用局部的颜色以及形状的特征，进行区域分割，来检测出包含任意的物体的可能性高的区域的候补。此外，“物体(对象)”不仅是定形的，例如，也可以包含“天空”、“海”、“森林”等非定形的。本系统中，通过物体检测处理，例如从一张图像检测出数个～数十个物体区域。例如，以区域中心的水平坐标、垂直坐标、区域的宽度、高度这4个值来表现检测结果的信息。物体检测部106将检测结果的信息登记到图像数据库109。

特征量提取部107从输入图像整体以及从输入图像检测出的物体区域，提取出图像特征量。图像特征量是表示图像的颜色、形状、纹理等特征的在图像间可比较的值。例如，用固定长度的矢量来表现图像特征量。作为图像特征量，只要是可在图像间比较的信息即可，可以采用公知的各种信息。特征量提取部107将得到的图像特征量登记到图像数据库109。

特征量提取部107例如也可以在图像数据库109中登记图像特征量时，以高速检索为目的，进行数据的聚类(clustering)处理。特征量提取部107例如通过k－means算法等的聚类处理，生成由具有类似度高的特征量的1个以上的登记数据构成的聚类(cluster)。类似度是表示同种的2个特征量间的类似性的指标，例如，通过对值域为[0，1]的预定的减少函数代入2个特征量间的距离而得到。此外，关于类似度的计算，可以采用公知的各种方法。

图像数据库109例如登记聚类的代表值(例如聚类成员的平均矢量)和聚类成员的ID。图像检索装置104在检索时，例如，比较检索查询的特征量和聚类的代表值，仅对类似度高的聚类，在检索查询和该聚类的成员之间进行特征量比较。由此，能够减少处理次数，高速地进行搜索。

类别推定部108推定由物体检测部106检测出的部分区域的类别或者物体名称。类别推定部108例如具备通过机器学习生成的图像类别分类器。类别推定部108通过对图像类别分类器输入由特征量提取部107提取出的特征量，输出类别。物体检测处理中，使用了特定类别的识别器的情况下，也可以直接使用识别器的类别。类别推定部108将得到的物体的类别或者名称登记到图像数据库109。

图像数据库109保持通过以上的处理得到的图像数据、物体检测结果、物体的图像特征量以及物体的类别等。图像数据库109保存有特征量，所以后述的共现信息生成部111以及图像检索部113能够进行使用该特征量的类似图像检索。

图像检索装置104中的类似图像检索是将数据以查询与特征量接近的顺序排列并输出的功能。图像检索部113例如使用矢量间的欧式距离(Euclidean distance)来比较特征量。另外，类似图像检索中，可以仅将与条件一致的数据作为检索对象。例如，能够以物体的坐标为条件，缩小探索范围。对于图像数据库109的构造，使用图3详细后述。

以上为图像检索装置104的登记处理中的各部的动作。接下来，说明图像检索装置104的检索处理中的各部的动作。

查询输入部110接受用户经由输入装置102指定的查询。图像检索装置104中，查询以物体的图像以及配置信息(物体的大小以及坐标)给予。另外，可以构成为在图像检索装置104的内部，保持将关键词或者声音与图像关联起来的变换表，查询输入部110接受关键词或者声音作为查询。并且，关于常使用的物体，也可以保持为模板，使用户从在用户界面上列表显示的模板中选择。

共现信息生成部111根据输入的物体和配置信息，生成该物体和其他的物体的共现信息。共现信息是表示某物体A在图像中出现时，其他的物体B在图像中出现的概率的信息。关于图像的共现信息包含其他的物体B在图像中的哪个区域出现的可能性高这样的空间信息。例如关于图像中的坐标，将图像分割为格子状，在物体A被指定为某区域时，对各区域求出包含物体B的概率。在共现信息，也可以包含物体的深度以及尺寸等的信息。共现信息生成部111使用在图像数据库109积蓄的物体信息来生成共现信息。关于共现信息的生成，使用图7进行后述。

查询候补推定部112使用生成的共现信息，将用户接下来输入的可能性高的查询的候补显示到显示装置103。查询候补推定部112也可以在用户输入了第一查询后，将共现性高的物体和其位置描绘到显示装置103上的用户界面上。作为其它的例，查询候补推定部112也可以在用户指定了第二查询的位置后，将关于该位置共现性高的物体(例如，出现概率高的物体)按出现概率高到低的顺序列表显示。另外，作为其它的例，查询候补推定部112也可以在用户指定了物体名的情况下，显示该物体的配置的候补。

通过反复进行以上的查询输入处理，得到以多个物体和它们的配置为条件的检索查询。图像检索部113将符合该检索查询的图像从图像数据库109检索。检索处理的详细内容作为图10的说明后述。检索结果输出登记在图像数据库109的图像的ID和查询的类似度的对作为按类似度高到低的顺序排序的列表输出。图像检索部113将通过以上的检索处理得到的检索结果显示到显示装置103的用户界面上并将检索结果提示给用户。

图2是表示本实施例的图像检索系统100的硬件构成例的框图。图像检索装置104例如由一般的计算机实现。例如，构成图像检索装置104的计算机也可以具有相互连接的处理器201以及存储装置202。存储装置202由任意的种类的存储介质构成。例如，存储装置202也可以由半导体存储器和硬盘驱动器的组合构成。输入装置102以及显示装置103与处理器201连接，能够进行该计算机上的输入输出操作。

此外，图像输入部105、物体检测部106、特征量提取部107、类别推定部108、查询输入部110、共现信息生成部111、查询候补推定部112以及图像检索部113这样的功能模块例如通过处理器201执行存储在存储装置202的处理程序203来实现。换言之，实现上述的各功能模块的程序包含于处理程序203，各功能模块的处理基于处理程序203，由处理器201来执行。因此，以下的说明中，将图1的功能模块作为主语说明处理内容的情况下，也可以将处理器201作为主语说明。

另外，图像数据库109的数据例如包含于存储装置202。以处理负荷分散等为目的，由多个服务器构成的情况下，图像数据库109和执行处理程序203的装置也可以是由网络连接的物理上不同的服务器。

图像检索装置104还包含与处理器201连接的网络接口装置(NIF)204。图像存储装置101例如可以是经由网络接口装置204与图像检索装置104连接的NAS或者SAN。此外，作为其它的例，图像存储装置101也可以包含于存储装置202。

图3A以及图3B是表示本实施例的图像数据库109的构成以及数据例的说明图。此外，本实施方式中，系统使用的信息不依赖于数据构造，而可以以任意的数据构造表现。图3A以及图3B示出了表格形式的例子，然而例如，从表格、列表、数据库或者队列适当地选择的数据构造体能够存储信息。

图像数据库109例如包含保持图像信息的图像表300和保持物体信息的物体表310。图3A以及图3B的各表格构成以及各表格的字段(field)构成只是一个例子，例如也可以根据应用追加表格以及字段。另外，只要保持相同的信息，可以改变表格构成。例如，图像数据库109也可以由结合了图像表300和物体表310的一个表构成。

图像表300例如包含图像ID字段301、图像数据字段302以及特征量字段303。图像ID字段301保持各图像数据的识别编号。图像数据字段302例如以二进制保持显示检索结果时使用的图像数据。特征量字段303保持从图像提取出的特征量。特征量例如以固定长度的矢量数据给予。

物体表310例如包含物体ID字段311、图像ID字段312、类别字段313、水平坐标字段314、垂直坐标字段315、宽度字段316、高度字段317以及特征量字段318。

物体ID字段311保持从图像检测出的物体的识别编号。图像ID字段312保持物体的检测源的图像的ID。类别字段313保持物体的类别推定结果。图3B中，将类别以字符串表现，然而类别字段313也可以以表格或者在应用内部管理的识别编号保持。

水平坐标字段314保持物体的中心坐标的水平坐标，垂直坐标字段315保持物体的中心坐标的垂直坐标，宽度字段316保持物体的宽度，高度字段317保持物体的高度。图3B的例中，这些字段314～317保持以图像尺寸规范化的值。水平坐标以及宽度表示将检测源的图像的宽度为1时的比例，垂直坐标以及高度表示将检测源的图像的高度为1时的比例。

图4A以及图4B是用于说明物体检测部106中的物体检测的例子和规范化的坐标的图。图4A表示从图像400检测出物体401、物体402以及物体403的例子。图4B表示从图像410检测出物体411以及物体412的例子。例如，物体401的被规范化的中心坐标为[0.5，0.3]，宽度为0.8，高度为0.4。

特征量提取部107从物体的区域提取特征量。特征量字段318保持从物体的区域提取的特征量。物体的特征量可以使用以与图像整体的特征量不同的算法提取出的特征量。

本实施例的图像检索装置104使用登记时构建的物体信息生成共现信息，并基于共现信息辅助用户的查询输入，从而能够容易执行图像检索。

为了得到共现信息的生成所需的信息，在执行检索前，需要执行对检索对象的图像数据库109的登记处理。若积蓄图3A以及图3B中说明的图像数据库109的构成例的信息，则登记时的顺序可以是任意的，例如，能够使用图5的顺序。

图5是表示数据库登记的处理流程的图。以下，对图5的各步骤进行说明。

图像输入部105从图像存储装置101获取图像数据，将获取的图像数据根据需要转换为可在系统内部利用的形式(S501)。图像输入部105例如接受了视频数据的输入的情况下，进行将视频数据分解为帧(静态图像数据形式)的视频解码处理。

特征量提取部107从在步骤S501中输入的图像提取特征量(S502)。

物体检测部106从步骤S501中输入的图像，检测出物体候补区域(以下，简单称为“物体”)(S503)。而且，物体检测部106将检测出的物体的中心坐标(水平坐标以及垂直坐标)、宽度以及高度分别以图像的宽度、高度规范化。物体检测如前述，能够利用使用利用了识别器的光栅扫描的方法、使用区域分割的方法。

对于步骤S503中检测出的各物体，图像检索装置104反复进行从步骤S505到步骤S506的处理(S504～S507的循环)。特征量提取部107从处理对象的物体的区域提取出图像特征量(S505)。类别推定部108使用步骤505中得到的特征量来推定物体的类别(S506)。例如，类别的推定能够使用通过机器学习生成的类别分类器。此时，类别推定部108可以将不符合任何类别的物体判定为误检测而废弃。

图像检索装置104将通过上述的处理得到的图像和物体的信息登记到图像数据库109(S508)。此时，对于特征量，也可以实施用于实现高速检索的数据聚类处理。

图6是用于说明基于共现信息的查询输入辅助的图。图6的600以时间序列表示显示于显示装置103的查询输入画面的迁移，图6的610表示图像检索装置104内部的数据流。

在显示装置103，显示空的画布(601)。用户使用输入装置102在画布上配置查询。用户例如通过操作鼠标光标621而对图像检索装置104的查询输入部110传递信息。图6的例子中，首先用户将第1物体(对象＿A)的图像输入到画布的左上(602)。此时，查询输入部110若接受第1物体(对象＿A)的输入，则获取第1物体(对象＿A)的配置信息(大小以及坐标)。

图像检索装置104的共现信息生成部111使用输入到画布602的第1物体(对象＿A)的图像和配置信息，从图像数据库109获取符合的物体的信息。此外，如前述，查询的输入方法可以是文本或者声音的关键词。此时图像检索方法例如考虑以下的4个。

(1)查询为图像的情况下，以图像特征量检索

(2)查询为图像的情况下，推定物体类别，以类别为条件检索

(3)查询为关键词的情况下，将关键词作为类别的条件检索

(4)查询为关键词的情况下，使用变换表转换为图像，以图像特征量检索

为了实现上述的图像检索方法，共现信息生成部111也可以使用特征量提取部107以及类别推定部108的功能。由此，能够根据查询提取图像特征量，或者推定类别。

对于(1)～(4)的检索方法，都以相同的形式得到检索结果。即，通过上述的检索方法，共现信息生成部111能够检索图3B中的某特定的物体(这里是对象＿A)。使用该检索结果来推定第1物体(对象＿A)被输入到左上时的、与其他的物体的共现性。

图7是表示根据检索结果生成共现信息的顺序的图。这里，假定共现信息生成部111使用将第1物体(对象＿A)的图像配置在画布的左上方的第一查询，检索图像数据库109的情况。如果使用包含物体及其配置信息的第一查询进行缩小检索，则得到与第一查询条件类似的多个图像，即，类似的物体存在于类似的位置的多个图像(701)。

共现信息生成部111从作为带条件检索结果701得到的多个图像，获取包含于这些图像的其他的物体的配置信息。而且，共现信息生成部111将获取的其他的物体的类别按类别进行汇总(702)。例如，共现信息生成部111将图像分割为多个区域，对各区域进行其他的物体的出现数的计数。此时，在多个区域配置有物体的情况下，也可以将该物体的出现数计数到多个区域。另外，也可以以离物体的中心坐标越近则值越大的方式进行加权并进行计数。

共现信息生成部111将合计的结果例如除以全部出现数等而进行规范化，从而创建共现信息的图表(以下，共现性图表)(703)。共现性图表表示基于图像数据库109的第1物体(对象＿A)和其他的物体的相关关系。图7的例子中，共现信息生成部111将图像分割为9个区域，按对象的类别的区域计算出现数(这里，为规范化的值)。图7的例子中，按物体的类别(对象＿B，对象＿C，对象＿D)创建共现性图表。共现性图表包含表示关于某物体，其他的物体在图像中的哪个区域出现的空间信息即可，不限于图7的形式。

查询候补推定部112在该共现性图表中，将相对来说值较大的类别以及位置作为查询候补(第2物体的候补)显示在显示装置103。另外，也可以在用户指定了第二查询的位置后，查询候补推定部112限定于该区域将值高的类别作为查询候补而提示。图7的例子中，用户在第二查询中指定了虚线的区域705时，查询候补推定部112在共现性图表的对应的区域中将值较大的物体(对象＿B，对象＿C)显示在显示装置103中(704)。

返回图6的说明，用户利用鼠标光标选择第二查询的位置(603)。查询候补推定部112使用通过上述的处理得到的共现性图表，将存在于该区域的概率高的物体的类别作为查询候补列表进行弹出显示(604)。显示方法可以是类别名，也可以是图像。

如果在弹出显示的查询候补列表有所希望的物体，则用户选择该物体。查询输入部110将选择的物体作为第2物体(对象＿B)追加到画布中(605)。如果在查询候补列表中未找到所希望的物体，则用户可以与第一查询相同地进行手动输入。另外，用户也可以在将新的物体追加到画布中后，调整该物体的配置。此外，查询输入部110也可以在输入第1物体(对象＿A)或者第2物体(对象＿B)时，接受背景图像的输入。此时，在画布上显示背景图像。通过在输入物体时进行背景的合成，能够提高类似图像检索的精度。

查询输入部110若接受第2物体(对象＿B)的输入，则获取第2物体(对象＿B)的配置信息(大小以及坐标)。共现信息生成部111使用第一查询(第1物体(对象＿A)及其配置信息)和第二查询(第2物体(对象＿B)及其配置信息)，获取基于图像数据库109的表示第1物体以及第2物体双方的相关关系的第2共现性图表。查询候补推定部112将基于第2共现性图表的第3物体的候补输出到显示装置103。根据该构成，第3物体的候补与第1物体以及第2物体的双方有关系，提高创建的检索查询的精度。

此外，上述的例中，输入了第二查询的情况下，第2共现性图表表示与第1物体以及第2物体双方的相关关系，然而不限于此。例如，也可以在接受第2物体(对象＿B)的输入后，共现信息生成部111使用第二查询(第2物体(对象＿B)及配置信息)，获取基于图像数据库109的表示与第2物体的相关关系的第2共现性图表。根据该构成，作为第3物体的候补提示更多的物体，从而用户能够从较多的候补选择适当的第3物体。

通过反复进行上述的操作，创建包含多个物体和它们的配置信息的画布(检索查询)(606)。这里，得到在画布601上配置了第1物体(对象＿A)、第2物体(对象＿B)、第3物体(对象＿C)的检索查询。此外，在输入了多个查询的状态下推定下一个查询时，可以以输入完毕的全部的查询为条件进行图像检索，然而有没充分找到与条件一致的图像，不能生成共现信息的情况。因此，也可以只使用如上述之前输入的查询，或只使用用户指定的查询。

图像检索部113使用如上得到的画布，执行类似图像检索，得到最终的检索结果(607)。作为类似图像检索的一个例子，图像检索部113也可以将画布视为由多个物体构成的合成图像，提取图像整体的特征量，使用该特征量对图像数据库109进行检索。另外，图像检索部113也可以以画布上的各查询(物体以及配置信息)检索后，合并它们的检索结果。

图8是表示使用了基于共现信息的查询输入辅助的图像检索的处理流程的图。以下，对图8的各步骤进行说明。

查询输入部110接受用户输入的查询(S801)。查询是表示物体的图像和该物体的配置的信息。例如如图6的说明中所述，查询使用显示于显示装置103的画布来输入。

共现信息生成部111从步骤S801中输入的查询的物体的图像提取特征量，从图像数据库109检索类似图像(S802)。此时，共现信息生成部111以步骤S801中输入的物体以及该物体的配置信息为条件，缩小检索结果。

共现信息生成部111根据步骤S802中得到的类似图像检索结果，生成共现信息(S803)。将共现信息的生成处理流程的详细内容作为图9的说明而后述。

查询候补推定部112根据步骤S803中得到的共现信息，推定用户接下来要输入的查询，显示在显示装置103上(S804)。查询的推定方法如图7中的说明所示。

查询输入部110接受用户从步骤S804中提示的查询候补中选择的查询(S805)。另外，查询输入部110也可以从用户接受查询的图像以及配置的变更指示，并按照这些，变更显示在显示装置103中的查询。另外，查询输入部110也可以在存储装置202中积蓄用户选择或者修正的履历。查询输入部110也可以在下次的候补提示中利用积蓄的履历。例如，查询输入部110也可以优先显示多数的用户选择的查询候补。

图像检索装置104若从用户接受了查询输入完成的通知(S806：“是”)，则结束查询输入而移到步骤S807，否则(S806：“否”)返回步骤S801接受下一个查询。

图像检索部113使用通过从步骤S801到步骤S805的反复而得到的检索查询，从图像数据库109检索类似图像。图像检索部113也可以使用通过合成多个物体图像而得到的图像对图像表300进行检索，也可以合并使用各物体图像对物体表310进行检索而得到的结果。详细处理流程作为图10的说明而后述。

图像检索部113将检索结果显示在显示装置103中，结束检索处理(S880)。

图9是用于根据图像检索结果生成共现信息的处理流程，相当于图8的步骤S803。以下，对图9的各步骤进行说明。

共现信息生成部111将共现性图表初始化(S901)。共现性图表是如在图7的703中所说明的表示每个区域的物体的共现性的图表。按物体的类别准备共现性图表。

关于在图8的步骤S802中得到的各检索结果，共现信息生成部111反复进行步骤S903到步骤907的处理(S902～S908的循环)。

共现信息生成部111从物体表310获取包含在图8的步骤S802中得到的各检索结果的图像中的物体的图像ID312(S903)。

共现信息生成部111从图像数据库109获取与步骤S903中得到的图像ID312对应的物体数据(这里，物体表310的记录)(S904)。

针对步骤S904中获取的各物体数据，共现信息生成部111反复执行步骤S906(S905～S907的循环)。

共现信息生成部111从物体数据获取物体的类别和配置信息，将该类别的共现性图表按照配置信息更新(S906)。更新方法如作为图10的说明后述的那样，例如，对出现位置为一个以上的区域将值相加。

共现信息生成部111将每个类别的共现性图表作为共现信息而输出(S909)。如果需要，共现信息生成部111也可以使用全体的出现频度等，将共现性图表内的值规范化。

此外，共现性图表的生成需要进行多次图像检索、数据获取、数据合计，计算负荷高。因此，也可以根据系统要件，限制数据获取次数，或者高速缓存生成的共现信息。

图10是用于使用输入的多个物体进行图像检索的处理流程，相当于图10的步骤S807。以下，对图10的各步骤进行说明。

图像检索部113若从用户接受执行使用图像整体的检索的指示(S1001：“是”)，则移到步骤S1002，否则(S1001：“否”)移到步骤S1005。

图像检索部113按照输入的多个查询，生成1张图像(合成图像)(S1002)。即，图像检索部113将输入的多个物体按照它们的配置信息进行合成，生成1张图像(合成图像)。例如，为了简化说明，假定在图6的605的状态下接受了检索的指示。此时，图像检索部113创建包含第1物体(对象＿A)以及第2物体(对象＿B)的合成图像。图像检索部113也可以根据需要，合成背景图像，或者加上自然地合成的图像处理。

图像检索部113从步骤S1002中生成的合成图像提取特征量，对图像表300检索类似图像(S1003)。此外，使用与向图像数据库109登记时相同的算法提取特征量。

图像检索部113若从用户接受执行每个物体的检索的指示(S1004：“是”)，则移到步骤S1005，否则(S1004：“否”)移到步骤S1009。

图像检索部113对包含于输入的多个查询的各物体执行步骤S1006(1005)。

图像检索部113从各物体的图像提取特征量，对物体表310执行以配置信息为条件的类似图像检索(1006)。例如，为了简化说明，假定在图6的605的状态下接受了检索的指示。此时，图像检索部113使用第一查询(第1物体(对象＿A)及其配置信息)执行类似图像检索，之后，使用第二查询(第2物体(对象＿B)及其配置信息)执行类似图像检索。此时，图像检索部113整合第一查询的检索结果和第二查询的检索结果。作为整合方法的一个例子，可相加同一图像ID多次的检索结果的类似度。

此外，利用与向图像数据库109登记时相同的算法提取图像检索时的特征量。以物体数据(物体表310的记录单位)得到对物体表310的检索结果。因此，图像检索部113以物体表310的各记录的图像ID312为基础，从图像表300获取图像数据。

此外，检索时，也可以按物体以不同的条件进行检索。例如，也可以按物体切换特征量，关于在画布上尺寸小的物体，使用捕捉近似形状的特征量，关于大的物体使用详细的纹理特征。例如，为了简化说明，假定在图6的605的状态下接受了检索的指示。此时，图像检索部113也可以基于第1物体(对象＿A)的大小以及第2物体(对象＿B)的大小，在第一查询和第二查询切换检索图像数据库109时使用的特征量，来执行类似图像检索。

另外，作为其它的例子，图像检索部113也可以基于多个物体的输入顺序，对这些多个物体的每一个加权，执行类似图像检索。此时，对输入顺序早的物体的检索，施加更大的权重。例如，为了简化说明，假定在图6的605的状态下接受了检索的指示。此时，图像检索部113也可以基于第1物体(对象＿A)以及第2物体(对象＿B)的输入顺序，对第一查询和第二查询加权，例如，也可以对输入顺序早的第一查询施加更大的权重。另外，加权不仅基于输入顺序，也可以是用户指定重视哪个物体来进行检索。

图像检索部113将步骤S1003中得到的检索结果以及步骤S1006中得到的检索结果以图像ID单位整合(S1008)。例如，图像检索部113也可以相加同一图像ID的多个检索结果的类似度，而整合为一个检索结果。

图像检索部113将检索结果按照类似度顺序分类(sort)而输出到显示装置103(S1009)。

图11A是表示使用本实施例的图像检索装置104，用于进行图像检索的操作画面(图像检索界面)的构成例的图。操作画面例如在显示装置103上提示给用户。用户例如使用输入装置102，操作显示于画面上的光标，从而对图像检索装置104给予处理的指示。此外，图11A的例子是放置型的操作终端，然而只要是能够进行输入和显示的设备，能够采用各种方式。例如，可以使用智能手机、平板这样的触摸操作。而且例如，也可以使用头戴型的显示器、能够进行信息显示的眼镜型的设备作为显示装置103，使用接受声音输入、手势的输入装置。使用这样的可穿戴设备、便携式设备的情况下，与放置型计算机相比对检索查询的输入要求效率性，所以本实施例的查询输入辅助是有效的。

操作画面例如包含查询输入区域1101、查询候补显示区域1102、检索按钮1103、检索选项显示区域1104以及检索结果显示区域1105。

在查询输入区域1101显示的信息例如通过查询输入部110输出到显示装置103。在查询候补显示区域1102显示的信息例如通过查询候补推定部112输出到显示装置103。在检索结果显示区域1105显示的信息例如通过图像检索部113输出到显示装置103。

首先，用户指定成为检索的线索的图像。操作画面例如可以显示用于登记图像选择的对话框，也可以包含输入外部的图像的界面。另外，如图1的说明中前述，也可以为文本或者声音的关键词输入。用户指定在查询输入区域1101上的哪儿配置图像。在查询输入区域1101，在指定的位置显示输入的图像(这里为汽车的图像)。

共现信息生成部111按照输入的图像和配置信息，生成共现信息。若用户在查询输入区域1101指定下一个查询的区域1100，则查询候补推定部112按照生成的共现信息，在查询候补显示区域1102显示查询候补。此外，也可以在用户指定下一个查询的区域前，共现信息生成部111将物体的候补及其配置信息重叠显示到查询输入区域1101，使用户进行选择。

若用户从查询候补显示区域1102选择物体，则选择的物体的图像显示到查询输入区域1101的区域1100。反复进行该操作，在查询输入区域1101配置多个物体的图像。

此外，查询候补显示区域1102也可以具备能够从查询候补去除不必要的物体的界面。由此，用户能够仅显示所希望的查询候补，并创建检索查询。

若全部的物体的输入结束，则用户点击检索按钮1103。此时，也可以从检索选项显示区域1104指定检索选项，来切换图像检索部113的内部动作。例如，若在检索选项显示区域1104中选择“图像整体中检索”，则图像检索部113生成合成图像，执行类似图像检索(图10的步骤S1002～S1003)。另外，若在检索选项显示区域1104中选择“按物体检索”，则图像检索部113按物体执行有配置条件的类似图像检索(图10的步骤S1005～S1007)，对这些检索结果进行整合(图10的步骤S1008)。

图像检索部113对图像数据库109进行符合在查询输入区域1101中输入的条件的类似图像检索。检索结果例如按类似度顺序排列，具有同一图像ID的检索结果被汇集，显示在检索结果显示区域1105。作为检索结果的显示方法，不是一览显示类似图像，例如，也可以为在查询输入区域1101合成显示类似图像，从而每次更新查询时检索结果渐渐地接近所希望的图像的界面。

图11B表示变更物体的配置时的操作画面(图像检索界面)。查询输入区域1101具备能够变更配置的物体的配置信息的界面。例如，用户用光标指定物体，而能够变更物体的大小以及位置的至少一方。这里，假设变更了查询输入区域1101的汽车的位置。查询输入部110例如若接受查询输入区域1101的汽车的位置变更，则获取汽车的变更后的配置信息。

共现信息生成部111使用汽车及其变更后的配置信息，重新计算共现信息(共现性图表)。共现信息生成部111将基于重新计算的共现信息的查询候补显示到查询候补显示区域1102。图11B的例中，因查询输入区域1101的汽车的配置的变更，显示到查询候补显示区域1102的多个查询候补的种类以及显示顺序被变更。根据该构成，能够按照用户的查询的变更，实时提示查询候补。

图12是说明本实施例的图像检索系统100的处理的一个例子的时序图。图12具体而言表示上述的图像检索系统100的图像登记以及图像检索处理中的、用户1200、图像存储装置101、计算机1201以及图像数据库109间的处理时序。此外，计算机1201是实现图像检索装置104的计算机。用户1200例如经由输入装置102，进行对计算机1201的请求以及指示的发送，以及数据的输入等，经由显示装置103接受来自计算机1201的处理结果等的提示。

图12中，S1210表示登记处理，S1220表示检索处理。登记处理S1210包含步骤S1211～步骤S1218所示的处理。

若用户1200提出登记请求(S1211)，则计算机1201对图像存储装置101提出图像数据获取请求(S1212)，从图像存储装置101获取图像数据(S1213)。以下所述的步骤S1214～步骤S1217的处理相当于图5中说明的一系列的登记处理。计算机1201从获取的图像检测出物体，按物体的区域提取特征量，推定类别(S1214～S1216)。另外，特征量提取中，提取图像整体的特征量。将该结果得到的图像数据、图像整体的特征量、物体检测结果(物体的坐标信息、宽度、高度等)、物体的特征量、物体的类别登记到图像数据库109(S1217)。若登记处理结束，则计算机1201对用户1200进行登记完成的通知(S1218)。

检索处理S1220包含步骤S1221～步骤S1229所示的处理，相当于图8中说明的一系列的检索处理。

若用户1200对计算机1201输入查询(S1221)，则计算机1201按照输入的查询条件从图像数据库109检索图像，根据检索结果生成共现信息(S1223)。另外，计算机1201根据生成的共现信息推定用户1200接下来要输入的查询，并对用户1200进行提示(S1224～S1225)。用户1200选择输入查询的修正或者候补，传递给计算机1201(S1226)。通过反复进行S1222的一系列的处理，创建配置了多个物体的检索查询。

若用户1200提出检索请求，则计算机1201使用输入的检索查询从图像数据库109检索类似的图像(S1227～S1228)。计算机1201将得到的检索结果按类似度顺序排列，将检索结果提示给用户1200(S1229)。此外，计算机1201也可以汇集具有同一图像ID的检索结果，提示给用户1200。

本实施例的图像检索装置104在检索包含多个物体的图像时，从用户最初输入的物体预测接下来要输入的物体，并进行提示。更详细而言，在检索包含多个物体的图像时，能够提出作为结合高的检索精度的检索查询的输入的、与第1物体具有相关关系的第2物体的候补。由此，能够提高用户对检索查询的输入的效率。

本实施例的图像检索装置104能够按照包含空间信息的物体的共现性，在检索查询内配置多个物体，因此，能够创建适当的配置的检索查询。其结果，能够提高检索精度。

[实施例2]

实施例1所示的共现信息的生成中，如图7的说明中所述，通过具有配置信息的条件的检索，获取包含第一查询的图像。而且，共现信息生成部111按区域汇总包含于获取的图像的其他的图像的出现频度，从而能够创建共现性图表。然而，在图像数据库109未充分积蓄图像的情况下，与配置条件一致的图像少，有得不到有用的共现信息的可能性。因此，实施例2中说明了不进行利用配置条件的缩小，而检索包含第一查询的物体的图像后，进行位置修正来得到多个样本的例子。

图13是表示检索结果的位置修正的图。共现信息生成部111不将第一查询内的配置信息作为条件而使用，而检索图像数据库109。不带条件地检索配置信息时，得到第一查询的第1物体(对象＿A)出现在不同区域的图像以及第一查询的第1物体(对象＿A)以不同尺寸出现的图像(1301)。

共现信息生成部111与输入的第一查询的物体的位置以及尺寸对应地修正检索结果的图像(1302)。即，共现信息生成部111修正图像以使通过检索(1301)得到的图像中的第1物体(图像＿A)与第一查询的配置信息一致。该修正处理也可以包含放大、缩小、旋转、反转，平行移动等各种处理。此外，这里的修正处理不需要修正为通过检索(1301)得到的图像中的第1物体(图像＿A)与第一查询的配置信息完全一致，修正为第1物体(图像＿A)与第一查询的配置信息类似的程度即可。图13的修正处理的例子中，修正后的图像成为第1物体(图像＿A)与第一查询相同的尺寸且配置在相同的位置的图像。本实施例中，共现信息生成部111使用进行这样的修正后的修正图像，创建第一查询的第1物体(图像＿A)和其他的物体的共现性图表。

图14是导入了位置修正的共现信息生成的处理流程。基本的处理流程与图9相同，所以对相同的处理标注与图9相同的附图标记，省略说明。此外，在图14前执行的检索处理(图8的S802)中，不将配置信息作为条件使用而执行检索。如图14所示，共现信息生成部111在获取物体数据后，获取第一查询的物体的尺寸以及配置的信息，修正图8的S802中得到的图像的各物体的位置。共现信息生成部111使用修正后的各物体的位置关系，更新共现性图表(S906)。

根据上述的处理，即使在图像数据库109没有充分积蓄图像的情况下，也能够得到有用的共现信息。特别是，如图13的1302所示，通过修正处理可变更各物体的配置信息，但维持第一查询的物体和其他的物体的共现性，所以能够得到有用的共现信息。其结果，图像检索装置104能够提出与第一查询的物体有相关关系的第2物体的候补。

此外，上述的修正处理可以通过用户的指定执行，也可以通过图像检索装置104自动地执行。例如，在图像数据库109比预定的积蓄量小时，图像检索装置104可以判定其积蓄量而自动地执行修正处理。另外，作为其它的例子，在可获取为第2物体的候补的物体数量比预定的数小时，图像检索装置104也可以判定其物体数量而自动地执行修正处理，再次提示第2物体的候补。

本发明不限于上述的实施例，包含各种变形例。上述实施例是为了容易说明本发明而详细地进行了说明，但不限于必须具备说明的全部的构成。另外，能够将某实施例的构成的一部分置换为其他的实施例的构成。另外，也能够在某实施例的构成相加其他的实施例的构成。另外，对于各实施例的构成的一部分，能够将其他的构成追加、删除、置换。

上述的例中，说明了图像检索，然而本发明也能够适用于视频的检索。例如，如上述，视频数据以帧(静态图像数据形式)的集合积蓄在图像数据库。因此，图像检索部113也可以通过检索与如上述说明的检索查询类似的动态图像的帧，来实现视频的检索。

另外，上述的各构成、功能、处理部、处理单元等也可以将它们的一部分或者全部例如用集成电路设计等而用硬件实现。另外，上述的各构成、功能等也可以是处理器解析并执行实现各自的功能的程序来用软件实现。实现各功能的程序、表格、文件等的信息能够存储在各种类型的非暂时性的计算机可读介质(non-transitory computer readablemedium)。作为非暂时性的计算机可读介质例如使用软盘、CD－ROM、DVD－ROM、硬盘、光盘、光磁盘、CD－R、磁带、非易失性的存储卡、ROM等。

上述的实施例中，控制线、信息线示出了说明上认为需要的，不限于产品上必须示出全部的控制线、信息线。也可以是全部的构成相互连接。

符号说明

100 图像检索系统

101 图像存储装置

102 输入装置

103 显示装置

104 图像检索装置

105 图像输入部

106 物体检测部

107 特征量提取部

108 类别推定部

109 图像数据库

110 查询输入部

111 共现信息生成部

112 查询候补推定部

113 图像检索部

201 处理器

202 存储装置

203 处理程序

204 网络接口装置

300 图像表

310 物体表。

Claims (15)

1.一种图像处理装置，其特征在于，具备：

处理器；

与上述处理器连接，且存储图像数据库的存储部；以及

与上述处理器连接的显示部，

上述处理器进行如下动作：

若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息，

使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息，

将基于上述第1共现信息的第2对象的候补输出到上述显示部。

2.根据权利要求1所述的图像处理装置，其特征在于，

上述配置信息包含上述第1对象的大小以及位置信息。

3.根据权利要求1所述的图像处理装置，其特征在于，

上述第1共现信息是按区域表示上述第1对象存在于图像的某区域时的其他对象的出现概率的信息。

4.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

若经由上述显示部接受上述第2对象的输入，则获取上述显示部中的上述第2对象的配置信息，

使用上述第1对象和上述第1对象的上述配置信息以及上述第2对象和上述第2对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象以及上述第2对象这双方的相关关系的第2共现信息，

将基于上述第2共现信息的第3对象的候补输出到上述显示部。

5.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

若经由上述显示部接受上述第2对象的输入，则获取上述显示部中的上述第2对象的配置信息；

使用上述第2对象和上述第2对象的上述配置信息，获取基于上述图像数据库的表示与上述第2对象的相关关系的第2共现信息，

将基于上述第2共现信息的第3对象的候补输出到上述显示部。

6.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

若经由上述显示部接受使用包含上述第1对象和上述第1对象的上述配置信息以及上述第2对象和上述第2对象的上述配置信息的检索查询的图像检索的指示，则创建包含上述第1对象和上述第2对象的合成图像，

使用上述合成图像从上述图像数据库检索与上述检索查询类似的图像，并将检索结果显示到上述显示部。

7.根据权利要求6所述的图像处理装置，其特征在于，

上述处理器还进行如下动作：

从上述图像数据库检索与包含上述第1对象和上述第1对象的上述配置信息的第1查询类似的图像，从上述图像数据库检索与包含上述第2对象和上述第2对象的上述配置信息的第2查询类似的图像，

整合基于上述合成图像的检索结果、基于上述第1查询的检索结果和基于上述第2查询的检索结果，并将整合的结果显示到上述显示部。

8.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

若经由上述显示部接受使用包含上述第1对象和上述第1对象的上述配置信息以及上述第2对象和上述第2对象的上述配置信息的检索查询的图像检索的指示，则从上述图像数据库检索与包含上述第1对象和上述第1对象的上述配置信息的第1查询类似的图像，从上述图像数据库检索与包含上述第2对象和上述第2对象的上述配置信息的第2查询类似的图像，

整合基于上述第1查询的检索结果和基于上述第2查询的检索结果，并将整合的结果显示到上述显示部。

9.根据权利要求8所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

基于上述第1对象的大小以及上述第2对象的大小，在上述第1查询和上述第2查询中切换检索上述图像数据库时所使用的特征量。

10.根据权利要求8所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

基于上述第1对象以及上述第2对象的输入顺序，对上述第1查询和上述第2查询进行加权。

11.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

若变更上述第1对象的上述配置信息，则使用上述第1对象和上述第1对象的上述变更后的配置信息，重新计算上述第1共现信息，

将基于上述重新计算的第1共现信息的第2对象的候补输出到上述显示部。

12.根据权利要求1所述的图像处理装置，其特征在于，

上述处理器进行如下动作：

使用上述第1对象检索上述图像数据库，

修正上述图像以使通过上述检索得到的图像中的上述第1对象与上述第1对象的上述配置信息类似，

使用上述修正后的图像获取上述第1共现信息。

13.一种图像检索界面显示装置，其特征在于，具备：

处理器；

与上述处理器连接，且显示至少具有查询输入区域的图像检索界面的显示部，

上述处理器进行如下动作：

若向上述查询输入区域输入第1对象，则将第2对象的候补显示到上述图像检索界面；

若选择上述第2对象，则将上述第2对象显示到上述查询输入区域。

14.根据权利要求13所述的图像检索界面显示装置，其特征在于，

上述处理器进行如下动作：

在接受上述查询输入区域的某区域的指定后将上述第2对象的候补显示到上述图像检索界面，或者，

向上述查询输入区域输入第1对象后将上述第2对象的候补以及上述第2对象的配置的候补显示到上述图像检索界面。

15.一种信息处理装置中的图像检索界面的显示方法，该信息处理装置具备处理器、与上述处理器连接且存储图像数据库的存储部、以及与上述处理器连接的显示部，其特征在于，该显示方法包含如下步骤：

上述处理器若经由上述显示部接受第1对象的输入，则获取上述显示部中的上述第1对象的配置信息；

上述处理器使用上述第1对象和上述第1对象的上述配置信息，获取基于上述图像数据库的表示与上述第1对象的相关关系的第1共现信息；以及

上述处理器将基于上述第1共现信息的第2对象的候补输出到上述显示部。