CN107004025B - 图像检索装置及检索图像的方法 - Google Patents

Abstract

一种图像检索装置，从图像数据库中检索图像，该图像数据库保持已登记图像、上述已登记图像的一个种类以上的特征量、以及表示上述已登记图像的相同种类的特征量间的链接的传播信息，该图像检索装置取得第1图像及第1图像的1个种类以上的特征量，向图像数据库登记，关于第1图像的各个种类的特征量，计算表示与已登记图像的该种类的特征量各自之间的类似相同性的传播强度，将第1图像的该种类的特征量和与第1图像的该种类的特征量之间的传播强度为最大的已登记图像的该种类的特征量的链接包含到传播信息中。

Description

图像检索装置及检索图像的方法

技术领域

本发明涉及图像检索装置及检索图像的方法。

背景技术

随着电视图像的数字档案化及因特网上的运动图像分发服务的普及，将大规模的图像数据进行高速检索、分类的必要性增加。此外，对于面向安全性而储存的监视图像的解析的期待变高。对于这些庞大的图像，难以以人工赋予文本信息，所以要求使用图像中的特征量的图像检索技术。

目前，大规模、高速的类似图像检索系统正在被实用化，提出了通过事前提取图像特征量并数据库化来高速地找出看起来与查询图像类似的图像的技术。

作为本技术领域的背景技术，有日本特开2010－250529(专利文献1)。在专利文献1中，记载有“图像检索装置具备：图像数据库；检索请求受理机构，受理查询图像；类似图像检索机构，从登记在图像数据库中的图像中，提取与查询图像类似的类似图像；以及检索结果提示机构，在查询图像的周围配置类似图像，并且在显示机构提示将查询图像与类似图像间连结显示的检索结果。并且，检索结果提示机构在由上述检索请求受理机构受理了新的查询图像的情况下，在显示机构上保持过去提示的检索结果的连结显示，并且向该检索结果追加基于新的查询图像的检索结果来在显示机构进行提示。”(参照说明书摘要)。

现有技术文献

专利文献

专利文献1：日本特开2010－250529号公报

发明内容

发明要解决的课题

专利文献1所记载的检索系统通过与用户的交互来更新检索结果。具体而言，专利文献1所记载的检索系统反复进行将根据用户指定的查询图像得到的检索结果中包含的图像作为新的查询图像的检索。由此，只要用户适当地指定查询图像，则有可能得到关于目标检索对象的富于变化的检索结果。

但是，在专利文献1所记载的检索系统中，在用户仅将特定的外观的图像选择为查询图像的情况下，反而有可能难以包罗性地找出检索对象，即检索的包罗性受用户操作影响。

用来解决课题的手段

为了解决上述课题，本发明例如采用权利要求书所记载的结构。本申请包括多个解决上述课题的手段，举出其一例如下，一种图像检索装置，从图像数据库中检索图像，该图像数据库保持已登记图像、上述已登记图像的包括第1种类在内的一个种类以上的特征量、和表示上述已登记图像的相同种类的特征量间的链接的传播信息，上述图像检索装置包括：图像取得部，取得第1图像及上述第1图像的上述一个种类以上的特征量，向上述图像数据库登记；属性传播部，针对上述第1图像的各个种类的特征量，计算表示与上述已登记图像的该种类的特征量各自之间的类似相同性的传播强度，将上述第1图像的该种类的特征量和与上述第1图像的该种类的特征量之间的传播强度最大的已登记图像的该种类的特征量间的链接包含到上述传播信息中；查询输入部，从上述图像数据库所保持的上述已登记图像的特征量中，取得第1种类的第1特征量，生成包含上述第1特征量的输入查询；查询加强部，基于上述传播信息所表示的对应，进行以上述第1特征量为出发点的、沿着上述已登记图像的特征量推移的搜索，生成追加查询，该追加查询包含具有上述搜索的路径上的特征量的已登记图像的第1种类的特征量；以及图像检索部，使用上述输入查询及上述追加查询，从上述图像数据库中检索图像。

发明效果

根据本发明的一技术方案，能够高精度且包罗性地检索图像。上述以外的课题、结构及效果根据以下的实施方式的说明会变得清楚。

附图说明

图1是实施例1中表示图像检索系统的结构例的框图。

图2是实施例1中表示图像检索系统的硬件结构例的框图。

图3是表示实施例1的图像数据库的构造例的图。

图4A是实施例1中说明属性传播信息的生成过程的例子的图。

图4B是实施例1中说明属性传播信息的生成过程的例子的图。

图4C是实施例1中说明属性传播信息的生成过程的例子的图。

图5是实施例1中表示属性传播信息的生成处理的一例的流程图。

图6是实施例1中说明使用属性传播信息的图像检索的例子的图。

图7是实施例1中表示使用属性传播信息的图像检索的处理的一例的流程图。

图8是表示实施例1的检索画面的一例的图。

图9是实施例1中表示系统整体的处理的一例的顺序图。

图10是实施例2中表示图像检索系统的结构例的框图。

图11是实施例2的注释画面的结构例。

图12是实施例2中表示注释处理的一例的流程图。

图13是在实施例1中说明聚类和属性传播的图。

具体实施方式

以下，参照附图说明本发明的实施方式。应注意的是，本实施方式不过是用来实现本发明的一例，并非限定本发明的技术范围。在各图中，对于共通的结构赋予相同的标号。

<本实施方式例的概要>

本实施方式的图像检索装置从新登记的图像中提取规定的1个种类以上的属性的特征量，将提取出的各个种类的属性的特征量与已登记图像各自的相同种类的属性的特征量比较。图像检索装置将包含通过该比较判定为类似性高或特征量相同的特征量间的链接的传播信息进行储存。该链接还可以看成经由相同种类的特征量的图像间的链接。在本实施方式中，在不需要特别区分的情况下，也有将特征量间的链接(传播)记载为图像间的链接(传播)的情况。另外，本实施方式的图像，是包括运动图像及静止图像的概念。

另外，属性表示构成图像的部分(part)，例如在图像中包含人物的情况下，该人物的手臂、头等部位分别是属性的一例。特征量是表示各属性具有的图像的特征的值。关于特征量的具体例后述。在本实施方式中，也有将属性的特征量简单称作特征量的情况。

传播信息例如包括表示传播源的图像和传播目的地的图像的信息、特征量的种类及传播强度。关于传播强度后述。结果，形成表示图像间的链接的图表构造。在本实施方式中，图表是包括树的概念。图像检索装置通过沿着图表构造推移，能够搜索与查询图像不直接类似的图像。

图像检索装置在检索时利用该传播信息，例如从数据库取得与给出的查询的查询图像链接的多个图像，将以所取得的图像为查询图像的查询添加到该给出的查询中，从而将检索查询加强。图像检索装置使用加强后的查询进行类似图像检索，将其检索结果合并，从而能够提高检索精度及包罗率。

实施例1

<系统结构>

图1是表示实施例1的图像检索系统100的结构例的框图。图像检索系统100对于输入图像的1个种类以上的特征量，将与具有类似性高的该种类的特征量的已登记图像间的链接作为传播信息进行储存，使用传播信息将查询加强，进行基于加强后的查询的检索，从而提高使检索精度及包罗率。

图像检索系统100例如包括图像存储装置101、输入装置102、显示装置103及图像检索装置104。图像存储装置101是保存静止图像数据或运动图像数据的存储介质，例如使用计算机内置的硬盘驱动器、或者NAS(Network Attached Storage)或SAN(Storage AreaNetwork)等的在网络上连接的存储系统构成。此外，图像存储装置101例如也可以是将从相机持续性地输入的图像数据暂时保持的闪存存储器。

输入装置102例如是鼠标、键盘、触摸设备等用来将用户的操作向图像检索装置104传递的输入接口。显示装置103例如是液晶显示器等输出接口，用于图像检索装置104的识别结果的显示、与用户的对话操作等。

<各部的动作>

图像检索装置104进行登记处理，该登记处理中从储存在图像存储装置101中的图像中提取检索所需要的信息并数据库化。此外，图像检索装置104进行检索处理，该检索处理中使用用户从输入装置102指定的检索查询，从图像数据库108中检索与检索查询类似的图像，向显示装置103进行信息提示。

图像检索装置104从图像中提取1个种类以上的属性的特征量，向图像数据库108登记。此外，图像检索装置104将登记的图像的特征量与已登记的其他图像的相同种类的特征量比较，在类似性高或相同的特征量间赋予传播信息，储存到图像数据库中。

图像检索装置104包括图像输入部105、特征量提取部106、属性传播部107、图像数据库108、传播信息储存部109、查询输入部110、查询加强部111及图像检索部112。

图像输入部105从图像存储装置101受理静止图像数据或运动图像数据的输入，根据被输入的数据的数据形式，将被输入的数据变换为在图像检索装置104内部使用的数据形式。例如，图像输入部105在受理了运动图像数据的输入的情况下，图像输入部105进行例如分解为帧(静止图像数据形式)的运动图像解码处理。

此外，图像输入部105根据需要，例如也可以按照来自用户的指示等而从输入的图像进行部分区域的提取处理。具体而言，例如图像输入部105也可以从各帧中提取人物的区域，将提取出的区域的图像作为在内部中使用的数据。由图像输入部105处理后的图像数据被发送至特征量提取部106。另外，图像输入部105也可以同时受理特征量的输入，将输入的特征量向图像数据库108登记。此时，图像检索装置104也可以不包括特征量提取部106。

特征量提取部106从输入的各图像中提取1个种类以上的属性的特征量。特征量是表示图像的特征的能够在图像间进行比较的值，例如用固定长度的向量表现。作为将图像的颜色、形状等外观上的信息数值化而得到的数据的图像特征量是属性的特征量的一例。此外，只要是能够在图像间比较的值，可以将任意的图像信息作为特征量。如果是上述人物图像的例子，则除了人物图像的形状、颜色等图像特征量以外，也可以使用通过帧间的运动体跟踪得到的运动体ID作为属性的特征量。包括图像和特征量的图像信息被登记到图像数据库108中。

特征量提取部106例如在向图像数据库108登记图像特征量时，也可以以高速检索为目的，进行数据的聚类(clustering)处理。特征量提取部106例如通过k－means算法等的聚类处理，生成由具有类似度高的特征量的1个以上的登记数据构成的类群(cluster)。类似度是表示相同种类的两个特征量间的类似性的指标，例如通过向值域为[0，1]的规定的减函数代入两个特征量间的距离而得到。

图像数据库108例如记录类群的代表值(例如类群成员的平均向量)和类群成员的ID。图像检索装置104在检索时，例如将检索查询的特征量与类群的代表值进行比较，仅对类似度高的类群在检索查询与该类群的成员之间进行特征量比较，从而能够削减处理次数而高速地搜索。

属性传播部107将已登记的各图像的特征量与新登记的图像的相同种类的特征量进行比较，例如将传播强度高的特征量间的链接作为传播信息向图像数据库108记录。传播强度是表示相同种类的两个特征量间的类似性或相同性的指标。例如，由两个特征量一致的情况下的值为1、两个特征量不一致的情况下的值为0的函数给出的值是传播强度的一例。因而，即使是在特征量间不能定义类似性的情况，也能够定义传播强度。此外，上述类似度也是传播强度的一例。在图像具有多个属性的情况下，属性传播部107例如与属性的数量相应地生成传播信息。以下，举出属性的特征量的例子。

(1)如上述那样，将颜色、形状等图像本身的外观的信息数值化而得到的图像特征量是特征量的一例。例如，在图像特征量间的类似度是规定的阈值以上的情况下，属性传播部107在该图像间生成传播信息，将该类似度作为传播强度。

(2)运动体跟踪等的时间序列图像识别结果中的物体ID是特征量的一例。连续帧中的相同物体具有相同的ID。例如，属性传播部107在存在包含相同物体ID的两个帧的情况下，在各帧的相同物体ID中生成传播信息，将传播强度设为1.0。

(3)定点观测图像中的表示位置的信息是特征量的一例。例如，在定点观测图像被规定的栅格划分的情况下，属性传播部107在不同时刻间的相同位置的单元中生成传播信息，将传播强度设为1.0。

(4)用户指定的标签是特征量的一例。属性传播部107例如对被赋予了用户指定的标签的图像与作为该图像的赋予标签的线索的参照图像之间生成传播信息。属性传播部107例如计算该图像与参照图像之间的其他特征量的类似度，将计算出的类似度作为该传播强度。属性传播部107例如也可以在具有相同的标签的图像间生成传播信息，将传播强度设为1.0。关于借助标签的传播信息的生成处理的详细情况后述。

(5)检索履历是特征量的一例。属性传播部107例如参照反复检索的操作日志，在检索查询图像与检索结果图像之间生成传播信息，例如将在图像的检索中使用过的特征量间的类似度作为传播强度。

图13是用来将基于属性传播及聚类的特征量空间进行的构造化进行比较的图。聚类形成以代表向量为中心的特征量组，相对于此属性传播形成表示特征量间的链接的图表。图像检索装置104通过使用属性传播，能够得到在特征量空间上处于离开的地方的图像间的链接。关于传播信息的生成方法，使用图4A～图4C后述。

图像数据库108保持通过上述登记处理得到的图像信息。此外，图像数据库108包括储存传播信息的传播信息储存部109。传播信息储存部109也可以配置在图像数据库108之外。例如，也可以是客户端装置的主存储对传播信息进行储存，此时，图像检索装置104可以利用按每个用户而暂时不同的传播信息。

图像数据库108保存特征量，图像检索部112进行使用该特征量的类似图像检索。类似图像检索是按特征量与查询从近到远的顺序将数据重新排列并输出的功能。图像检索部112例如使用向量间的欧几里德距离将特征量进行比较。关于图像数据库108的构造，详细情况使用图3后述。以上是图像检索装置104的登记处理中的各部的动作。接着，说明图像检索装置104的检索处理中的各部的动作。

查询输入部110受理用户经由输入装置102指定的查询。在查询是已登记数据的ID的情况下，从图像数据库108取得特征量，在作为查询而从外部提供了图像的情况下，通过与特征量提取部106同样的处理，从图像得到特征量。查询加强部111使用储存在图像数据库108中的传播信息，取得与输入查询关联的登记数据，作为追加查询。

图像检索部112使用输入查询及由查询加强部111得到的追加查询，对图像数据库108进行类似图像检索处理。图像检索部112进行将从各查询得到的检索结果按类似度顺序重新排列、关于相同ID的数据仅留下位次低的结果等的汇总处理。此外，此时关于由查询加强部111追加的查询的结果，也可以根据需要而对类似度进行加权。关于查询加强和图像检索，使用图6后述。显示装置103显示通过以上的检索处理得到的检索结果，由此将检索结果提示给用户。

图2是表示本实施例的图像检索系统100的硬件结构例的框图。图像检索装置104例如由通常的计算机实现。例如，图像检索装置104具有相互连接的处理器201及存储装置202。存储装置202由任意种类的存储介质构成。例如，存储装置202也可以由半导体存储器和硬盘驱动器的组合构成。

另外，图像输入部105、特征量提取部106、属性传播部107、图像数据库108及传播信息储存部109、查询输入部110、查询加强部111及图像检索部112等功能部例如通过由处理器201执行保存在存储装置202中的处理程序203而实现。换言之，上述各功能部执行的处理由处理器201基于处理程序203执行。此外，图像数据库108的数据例如包含在存储装置202中。

图像检索装置104还包括连接在处理器201上的网络接口装置(NIF)204。图像存储装置101例如也可以是经由网络接口装置204连接在图像检索装置104上的NAS或SAN。图像存储装置101也可以包含在存储装置202中。

图3是表示本实施例的图像数据库108的结构及数据例的说明图。另外，在本实施方式中，系统使用的信息不依赖于数据构造，用怎样的数据构造表现都可以。图3表示表形式的例子，但例如能够由从表、列表、数据库或队列中适当选择的数据构造体保存信息。

图像数据库108例如包括保持图像信息的图像表300和保持图像间的链接的传播信息表310。图3的各表结构及各表的字段结构不过是一例，例如也可以根据应用而追加表及字段。此外，只要保持同样的信息，也可以改变表结构。例如，也可以是将图像表300与传播信息表310结合而得到的一个表。

图像表300例如包括图像ID字段301、图像数据字段302及属性1特征量字段303。此外，在特征量提取部106从图像中提取多个种类的属性的特征量的情况下，图像表300包括多个特征量字段。图3的图像表300是提取了两个属性的特征量的例子，包括属性2特征量字段304。

图像ID字段301保持各图像数据的识别号码。图像数据字段302例如将在显示检索结果时使用的图像数据以二进制值保持。属性1特征量字段303及属性2特征量字段304分别保持对应的种类的特征量。特征量例如由固定长度的向量数据给出。此外，特征量例如如属性2特征量字段304保持的特征量那样，只要能够在图像间进行比较，也可以是标量数据。

传播信息表310例如包括传播信息ID字段311、属性ID字段312、传播源字段313、传播目的地字段314及传播强度字段315。传播信息ID字段311保持图像间的属性传播的识别号码。属性ID字段312保持作为传播对象的属性的特征量的ID。属性的特征量的ID既可以由应用管理，也可以由包括表的数据库管理。

传播源字段313保持作为属性的传播源的图像ID。传播目的地字段314保持作为属性的传播目的地的图像ID。传播强度字段315保持传播的强度或可靠度的数值。例如传播源与传播目的地的特征量向量间的距离越近，传播强度为越大的值。另外，传播信息表310例如也还包括记录生成了传播的时刻的字段。

本实施例的图像检索装置104使用在登记时构建的传播信息生成追加查询，使用对输入查询加上了追加查询后的检索查询进行检索，从而能够提高图像检索的包罗性，能够提高图像检索效率及图像数据库108的分析效率。

图4A～图4C是说明在登记处理中生成传播信息的过程的图。图4A～图4C表示因图像的追加而图像数据库108的状态变化为状态1～状态3的过程。此外，图4A～图4C表示在两个特征量间能够定义类似度、采用类似度作为传播强度的例子。以下，将图像ID为N(N是自然数)的图像表现为图像N。

图4A表示图像数据库108的状态是状态1的例子。状态1表示对于已登记有图像1的图像表300追加了图像2的状态。属性传播部107将相同种类的特征量进行比较，如果类似度是规定的阈值以上，则将传播信息向传播信息表310记录。

在图4A的例子中，关于属性1特征量，类似度是阈值以下，所以属性传播部107不进行传播。此外，关于属性2特征量，特征量一致即类似度是阈值以上，所以属性传播部107记录传播信息411。具体而言，属性传播部107分别在属性ID字段312中保存表示属性2特征量的识别码的2，在传播源字段313中保存作为已登记图像的图像ID的1，在传播目的地字段314中保存作为被追加的图像的图像ID的2，在传播强度字段315中保存类似度1.0。

图4B表示图像数据库108的状态是状态2的例子。状态2表示在图像表300中新登记了图像3的状态。属性传播部107进行图像3与图像1之间的特征量比较、以及图像3与图像2之间的特征量比较。在图4B的例子中，仅发生图像3与图像1之间的关于属性1特征量的传播。因而，属性传播部107关于属性1特征量记录传播信息421。结果，在图像1与图像2之间记录有关于属性2特征量的传播信息411，还在图像1与图像3之间记录有关于属性1特征量的传播信息421，所以由两个传播信息表示在图像3与图像2间有关系。

图4C表示图像数据库108的状态是状态3的例子。状态3表示还登记有图像4、图像5及图像6的状态。如图4C所示，形成用基于属性的特征量的传播信息连结的多个图表构造。另外，在以上的处理中，图像检索装置104也可以使用上述聚类来削减特征量比较次数，或使用图像的登记时刻等目录数据来将作为特征量比较的对象的图像缩减，此时能够提高登记处理速度。

图5是表示本实施例的图像检索装置104从由图像存储装置101输入的运动图像或静止图像中提取图像特征量和图像间的传播信息、并向图像数据库108登记的处理的一例的流程图。

图像输入部105从图像存储装置101取得图像数据，将所取得的图像数据根据需要而变换为在系统内部中能够利用的形式，将图像数据向图像表300记录(S501)。图像输入部105例如在受理了运动图像数据的输入的情况下，进行将运动图像数据分解为帧(静止图像数据形式)的运动图像解码处理。此外，图像输入部105根据需要也可以进行部分区域的提取处理。

图像检索装置104关于例如作为系统设计事项给出的规定种类的各属性的特征量，重复从步骤S503到步骤S507的处理(S502)。特征量提取部106根据输入的图像，计算该种类的特征量(S503)。特征量提取部106将在步骤S503中得到的特征量登记到图像表300(S504)。特征量提取部106根据需要，例如也可以在图像表300的记录数是规定的阈值以上的情况下进行基于特征量的聚类处理。

属性传播部107计算在步骤S503中得到的特征量与已登记在图像表300中的各图像的相同种类的特征量之间的传播强度(S505)，判定传播强度是否是阈值以上(S506)。属性传播部107，如果存在传播强度是阈值以上的已登记的图像(S506：是)，则执行步骤S507，如果不是这样(S506：否)，则向步骤S508移动。

属性传播部107将表示传播强度是阈值以上的已登记图像的特征量与输入图像的特征量间的链接的传播信息向传播信息表310记录(S507)。如果有尚未被执行步骤S503～步骤S507的处理的属性的特征量，则向步骤S502移动，进行关于其他属性的特征量的处理(S508)。如果对于全部的属性的特征量的步骤S503～步骤S507的处理都已执行，则图5的处理结束。

图6是表示本实施例的图像检索装置104使用用户指定的查询来检索图像数据库108中登记的图像的处理的一例的图。用户输入用来生成用于从图像数据库108检索希望的图像的输入查询的信息。输入查询包括图像表300保持的图像的特征量。

查询输入部110例如受理图像表300中包含的图像的图像ID和表示特征量的种类的信息的输入，将由从图像表300取得的该图像ID和特征量构成的组合作为输入查询。另外，将与输入查询中包含的图像ID对应的图像称作查询图像。

此外，查询输入部110例如也可以受理从外部新提供的图像和特征量的种类的输入。此时，查询输入部110例如通过与特征量提取部106同样的处理，从该提供的图像中提取该种类的特征量，例如，从图像表300中，确定1个具有与提取出的特征量类似度最高的特征量的已登记图像。查询输入部110例如将由所确定的已登记图像的图像ID和该已登记图像的该种类的特征量构成的组合作为输入查询。

图6是表示输入查询601的图像ID是6、特征量的种类是属性1特征量的例子。另外，输入查询601也可以包括多个种类的特征量。此外，也可以指定多个图像作为查询图像。图像检索装置104保持有表示由传播信息表310定义的已登记图像间的链接的信息、即由1个以上的图表构成的图表集合430的信息。查询加强部111从图表集合430中选择包含由输入查询601指定的查询图像的信息的图表，通过以由查询图像的输入查询601指定的特征量为出发点、沿着链接推移而搜索所选择的图表。

查询加强部111通过从由输入查询601指定的图像6的属性1特征量沿着链接602推移，得到图像3。查询加强部111得到由处于从得到的图像的特征量依次沿着链接推移的路径上的图像6、图像3、图像1及图像2构成的一系列的图像集合。

另外，查询加强部111当沿着链接推移时，也可以在相同的图像内进行属性切换603，沿着切换目的地的特征量的链接推移。通过由查询加强部111在相同图像内进行属性切换603，能够在维持特征量间的关联的同时提高检索的包罗率。此外，在图6中用有向边表现了链接，但链接也可以是无向边。即，图像检索装置104既可以进行按照方向的搜索，也可以如图6所示那样进行忽视方向的搜索。查询加强部111例如使用迪杰斯特拉(Dijkstra)法等的搜索算法进行上述搜索。

查询加强部111将对输入查询601加上追加查询后的查询作为检索查询604，所述追加查询是由通过上述搜索得到的一系列图像的图像ID各自、和该图像的与输入查询相同种类的特征量构成的组合。另外，在输入查询601包括多个种类的特征量的情况下，查询加强部111进行以各特征量为出发点的搜索，针对各特征量生成加强查询。

接着，图像检索部112针对检索查询604中包含的各特征量，进行从图像表300中检索具有类似的特征量的图像的类似图像检索。另外，在检索查询604的各查询包含多个种类的特征量的情况下，图像检索部112例如既可以针对多个种类的特征量分别检索该种类的特征量类似的图像，也可以检索将该多个种类的特征量综合而得到的特征量相类似的图像。图像检索部112得到图像ID、和该图像ID的图像与作为检索源的查询图像ID的类似度的组合，作为检索结果。

图像检索部112例如将得到的全部的检索结果按类似度顺序重新排列，向显示装置103输出。此时，图像检索部112例如也可以仅输出相同的图像ID的检索结果中的、类似度为规定的阈值以上的检索结果。

此外，图像检索部112在将检索结果按类似度顺序重新排列时，也可以根据使用的查询图像的从输入查询图像传播的传播强度，对检索结果的类似度赋予权重。从图像3向图像6的传播强度是0.9，所以图像检索部112例如对于将图像3作为查询图像的检索结果的类似度，将0.9作为其权重来赋予。

此外，图像检索部112对于从作为输入查询601的查询图像的图像6沿着多个传播信息推移而得到的检索结果的类似度，例如将该多个传播信息中的传播强度的乘积作为其权重来赋予。此外，图像检索部112对于进行属性切换而得到的检索结果的类似度，例如也可以计算作为输入查询的图像6的特征量与该检索结果的图像的特征量间的传播强度，将计算出的传播强度作为其权重来赋予。通过由图像检索部112对类似度赋予权重，与用户最初指定的输入查询601的查询图像接近的图像的类似度变高。

图7是说明本实施的图像检索装置104使用用户指定的查询来检索图像数据库108中登记的图像的处理的一例的流程图。以下，对图7的各步骤进行说明。

查询输入部110从用户受理用来生成输入查询的信息，生成输入查询(S701)。查询输入部110在受理了已登记图像ID和特征量的种类的输入的情况下，从图像表300取得具有该图像ID的图像的该种类的特征量。查询输入部110在受理了外部的图像数据和特征量的种类的输入的情况下，从图像表300中取得具有与从该图像提取出的该种类的特征量类似的特征量的图像的图像ID、和具有该图像ID的图像的该种类的特征量。查询输入部110得到查询图像的图像ID与查询图像的规定的特征量的组合作为输入查询。

查询加强部111将在步骤S701中得到的输入查询追加到空的查询集合(S702)。查询加强部111对于查询集合中包含的各查询，执行从步骤S704到步骤S706的处理(S703)。查询加强部111以查询图像为传播源及传播目的地，从传播信息表310中取得具有与该种类的特征量对应的属性ID的传播信息(S704)。

查询加强部111判定在所取得的传播信息中是否包含传播强度为阈值以上的传播信息(S705)。如果有传播强度为阈值以上的传播信息(S705：是)，则执行步骤S706，否则(S705：否)向步骤S707移动。查询加强部111例如使用系统规定的值、或用户作为检索参数给出的值作为该阈值。另外，该阈值例如也可以是按每个属性ID而不同的值。

查询加强部111向查询集合追加以传播强度是阈值以上的图像为查询图像的查询(S706)。另外，在传播信息表310中记录有生成了传播的时刻的情况下，查询加强部111也可以将生成了传播的时刻相对于当前时刻在规定时间以内的图像从查询集合中排除。

如果对查询集合的全部查询已执行了步骤S704～步骤S706的处理，则向步骤S708移动，如果有尚未被执行步骤S704～步骤S706的处理的查询，则向步骤S704返回，对该查询进行处理(S707)。

图像检索部112对查询集合中包含的全部查询执行从步骤S709到步骤S710的处理(S708)。另外，图像检索部112例如也可以关于传播强度为规定的阈值以上(该阈值是比步骤S705的阈值大的值)的查询(类似性高的查询)，仅对随机选择的规定数量的查询进行处理，而关于其余的查询将步骤S708～步骤S709的处理跳过。基于传播强度极高的两个查询各自得到的类似图像检索结果相互酷似的可能性较高。因而，图像检索部112例如关于传播强度比阈值高的两个查询，仅对一方的查询进行检索处理，由此能够在抑制检索包罗率下降的同时缩短检索时间。

图像检索部112使用该查询进行图像检索，从图像数据库108取得类似图像。图像检索部112例如作为检索结果而得到类似图像ID、和该查询图像的特征量与类似图像的特征量间的类似度的组合(S709)。

图像检索部112对在步骤S709中得到的类似图像赋予对应于输入查询与相应查询间的传播强度的权重，追加到检索结果的集合(S710)。图像检索部112例如也可以按照用户指定的检索参数，切换是否执行步骤S710的处理。

如果对于查询集合中包含的全部的查询已执行步骤S709～步骤S710的处理，则向步骤S712移动，如果有尚未被执行步骤S709～步骤S710的处理的查询，则回到步骤S709，对该查询进行处理(S711)。

图像检索部112将检索结果按类似度(在对类似度赋予了权重的情况下，按赋予权重后的类似度)从高到低的顺序重新排列，显示到显示装置103上并结束处理(S712)。此时，图像检索部112在得到了包含相同图像ID的图像在内的多个检索结果的情况下，例如也可以按类似度从高到低的顺序仅将规定个数的检索结果留下而汇总。

图8是表示用来使用本实施例的图像检索装置104进行图像检索的操作画面的结构例的图。操作画面例如在显示装置103上被提示给用户。用户例如使用输入装置102将显示在画面上的光标800进行操作，从而向图像检索装置104给出处理的指示。

操作画面例如包括查询图像显示区域801、详细选项显示按钮802、追加查询显示区域803、传播信息显示区域804、检索按钮805及检索结果显示区域806。在查询图像显示区域801中显示的信息例如由查询输入部110向显示装置103输出。在追加查询显示区域803及传播信息显示区域804中显示的信息例如由查询加强部111向显示装置103输出。在检索结果显示区域806中显示的信息例如由图像检索部112向显示装置103输出。

首先，用户指定作为检索的线索的图像。操作画面例如可以显示用于登记图像选择的对话，也可以包含输入外部的图像的接口。用户指定的图像显示在查询图像显示区域801中。

查询加强部111使用用户指定的查询图像的传播信息生成追加查询。追加查询显示区域803例如显示所生成的追加查询的信息，例如追加查询的查询图像、特征量等。通过由追加查询显示区域803显示追加查询的信息，用户能够判断追加查询是否适当。另外，例如在用户对详细选项显示按钮802进行了勾选的情况下，追加查询显示区域803也可以显示追加查询的信息。

传播信息显示区域804例如显示查询图像是传播源或传播目的地的传播信息。通过由传播信息显示区域804显示传播信息，能够直观地向用户传达以怎样的缘由得到了追加查询。操作画面也可以构成为，在用户判断为显示在追加查询显示区域803中的追加查询作为追加查询并不适当的情况下，例如用户对追加查询显示区域803及传播信息显示区域804进行操作而能够将查询排除。

如果用户点击检索按钮805，则图像检索部112对图像数据库108进行使用输入查询及检索查询的类似图像检索。将检索结果例如按类似度顺序重新排列，将具有相同图像ID的检索结果汇总，显示到检索结果显示区域806中。

图9是说明本实施例的图像检索系统100的处理的一例的顺序图。图9具体表示上述图像检索系统100的图像登记及图像检索处理中的用户900、图像存储装置101、计算机901及图像数据库108间的处理次序。另外，计算机901是实现图像检索装置104的计算机。用户900例如经由输入装置102进行对于计算机901的请求及指示的发送、以及数据的输入等，经由显示装置103接受来自计算机901的处理结果等的提示。

在图9中，S910表示登记处理，S920表示检索处理。登记处理S910包括在步骤S911～步骤S916中表示的处理。如果用户900发出登记开始请求(S911)，则计算机901向图像存储装置101发出图像数据取得请求(S912)，从图像存储装置101取得图像数据(S913)。

以下所述的步骤S914～步骤S916的处理相当于在图5中说明的一系列的登记处理。计算机901从所取得的图像中提取特征量，将特征量和图像数据向图像数据库108登记(S914)。接着，计算机901将所取得的图像的特征量与已登记在图像数据库108中的图像的相同种类的特征量进行比较，将传播强度高的特征量彼此的链接及该链接的传播强度作为传播信息向图像数据库108记录(S915)。如果登记处理结束，则计算机901对用户900进行登记完成的通知(S916)。

检索处理S920包括在步骤S921～步骤S928中表示的处理，相当于在图7中说明的一系列的检索处理。如果用户900对计算机901发出检索请求(S921)，则计算机901从图像数据库108读出查询图像的数据(S922)。此外，在检索请求中从外部提供了图像的情况下，计算机901提取该图像的特征量，例如从图像数据库108中选择该特征量的类似度高的图像，将所选择的图像作为查询图像。

接着，计算机901使用传播信息搜索图像数据库108，将通过搜索而得到的图像追加到查询集合(S923)。将追加后的查询向用户900提示(S924)，用户900根据需要将查询订正，向计算机901发送检索执行请求(S925)。计算机901使用查询集合的各图像特征量执行类似图像检索(S926)。计算机901将得到的检索结果按类似度顺序重新排列，关于具有相同图像ID的检索结果进行汇总(S927)，将检索结果向用户900提示(S928)。

本实施例的图像检索装置104将输入的图像的1个种类以上的特征量与已登记的图像的特征量进行比较，生成表示类似性高的图像间的链接的传播信息，向图像数据库108记录。图像检索装置104使用通过基于传播信息将输入查询进行加强而得到的检索查询进行类似图像检索，从而能够在确保检索精度的同时提高检索的包罗率。

实施例2

实施例1的图像检索装置104在图像的登记时生成传播信息，而本实施例的图像检索装置104能够在图像的登记后更新传播信息，或赋予对新的属性的传播信息。

图10是表示本实施例的图像检索系统的结构例的框图。图像检索系统100利用图像检索进行属性的赋予及传播信息的更新。本实施例的图像检索系统100除了实施例1的图像检索系统100的结构以外还包括传播信息更新部1001。传播信息更新部1001例如对在图像检索部112的检索处理中得到的检索结果中包含的图像赋予属性及传播信息。传播信息更新部1001对于查询图像与由图像检索部112得到的检索结果的图像之间，例如按照用户的指示赋予传播信息。

图11是用来利用传播信息的追加功能进行对图像的注释的画面结构例。注释是对图像赋予说明图像的词语或语句等的标签的作业，为了基于标签对图像进行分类或检索、及对数据库进行解析等而进行。此外，如果能得到充分的数量的图像和标签的组，则能够通过利用机械学习而制作出识别未知的图像的图像识别器。图11的注释支持画面是在仅通过图像的类似性的自动判定不能期待正确的标签赋予的情况下、用来通过人的判断来传播标签的画面。

注释画面包括标签输入区域1101、检索按钮1102、参照图像显示区域1103、传播信息显示区域1104、标签赋予候选显示区域1105及标签赋予按钮1106。在参照图像显示区域1103及传播信息显示区域1104中显示的信息例如由查询加强部111向显示装置103输出。在标签赋予候选显示区域1105中显示的信息例如由图像检索部112向显示装置103输出。

如果用户向标签输入区域1101输入标签并点击检索按钮1102，则查询加强部111取得具有输入标签的图像作为参照图像。参照图像显示区域1103显示参照图像。接着，图像检索部112进行以各参照图像为查询的、基于输入标签以外的规定的特征量的类似图像检索，从图像数据库108取得没有被赋予输入标签的类似图像。

图像检索部112将包括类似图像与类似度的组合的检索结果例如按类似度顺序重新排列。检索结果由于类似于已赋予标签的图像，所以可以认为是应赋予相同标签的候选图像。标签赋予候选显示区域1105显示该检索结果。此外，例如查询加强部111也可以参照传播信息表310而在参照图像与候选图像之间取得传播信息。传播信息显示区域1104显示查询加强部111取得的传播信息。

通过由传播信息显示区域1104使传播信息可视化，例如用户容易发现作为错误的候选提示的原因的参照图像。在图11的例子中，候选图像c、g及h在与参照图像4之间有传播关系，有可能参照图像4自身被赋予了错误的标签。注释画面也可以将这样的图像强调显示。

用户检查显示在标签赋予候选显示区域1105中的图像，选择应赋予输入标签的图像。选择操作既可以通过鼠标的拖拽操作进行，也可以通过复选框的点击来进行。接着，用户点击标签赋予按钮1106，对所选择的图像赋予标签。图像检索装置104对所选择的图像写入输入标签作为属性的特征量，在与参照图像之间追加传播信息。

图12是表示注释的处理的一例的流程图。以下，对图12的各步骤进行说明。查询输入部110取得用户输入的标签(S1201)。

查询加强部111从图像数据库108取得规定数量的被赋予了输入标签的图像，将由所取得的图像的图像ID和该输入标签以外的规定种类的特征量的组合构成的该规定数量的查询作为查询集合(S1202)。此时，查询加强部111也可以使用传播信息来选择包含到查询集合中的查询图像。例如，有传播信息的特征量间的类似度高，所以带标签的具有该特征量的图像作为参照图像而言是冗余的可能性较高。所以，查询加强部111例如关于在传播信息的图表构造上相邻的图像，例如仅选择该图像的一方作为查询图像。由此，查询加强部111能够得到具有相同标签的富于变化的参照图像。

图像检索部112使用在步骤S1202中得到的参照图像的规定种类的特征量，执行类似图像检索(S1203)。图像检索部112例如按类似度从高到低的顺序将检索结果重新排列，将具有相同的图像ID的检索结果进行汇总。此外，图像检索部112也可以将相互类似的检索结果进行汇总并输出，由此，图像检索部112能够在确保检索结果的变化的同时，减少要显示的检索结果的数量。

图像检索部112将检索结果中包含的图像作为标签赋予的候选图像，向显示装置103显示(S1204)。用户从候选图像中选择标签赋予对象的图像，向系统传递。此时，当选择了候选图像时，显示装置103也可以将作为传播源或传播目的地的参照图像进行强调显示等，此时用户容易确认传播信息。此外，在用实施例1的方法自动构建的传播信息与用户指定的传播信息不一致的情况下，图像检索装置104也可以发出警报。

传播信息更新部1001对用户选择的图像赋予标签(S1205)。此外，传播信息更新部1001在对各个参照图像赋予的标签与新赋予的标签之间追加传播信息。即，传播信息更新部1001例如在传播信息表310的属性ID字段312中保存表示输入标签的ID，在传播源字段313中保存查询图像的图像ID，在传播目的地字段314中保存该选择的图像，在传播强度中保存用户指定的值(例如1.0)。

本实施例的图像检索装置104可以在图像登记后将传播信息更新。特别是，本实施例的图像检索装置104能够高精度且包罗性地检索注释作业中的标签赋予候选图像。

另外，本发明并不限定于上述实施例，包括各种各样的变形例。例如，上述实施例是为了将本发明容易理解地说明而详细说明的，并不一定限定于具备所说明的全部结构的构成。此外，也可以将某实施例的结构的一部分替换为其他实施例的结构，此外，也可以对某实施例的结构添加其他实施例的结构。此外，关于各实施例的结构的一部分，能够进行其他结构的追加、删除、置换。

此外，上述各结构、功能、处理部、处理机构等也可以通过将它们的一部分或全部例如用集成电路设计等而由硬件实现。此外，上述各结构、功能等也可以由处理器对实现各自的功能的程序进行解释并执行而由软件来实现。实现各功能的程序、表、文件等的信息可以置于存储器或硬盘、SSD(Solid State Drive)等记录装置、或者IC卡、SD卡、DVD等记录介质中。

此外，关于控制线及信息线示出了认为在说明上需要的部分，并不一定在产品上示出了全部的控制线及信息线。实际上可以认为几乎全部的结构被相互连接。

Claims (14)

1.一种图像检索装置，从图像数据库中检索图像，该图像数据库保持已登记图像、上述已登记图像的包括第1种类在内的一个以上种类的特征量、以及表示上述已登记图像的相同种类的类似性高或相同的特征量间的链接的传播信息，上述图像检索装置的特征在于，包括：

图像取得部，取得第1图像及上述第1图像的上述一个以上种类的特征量，向上述图像数据库登记；

属性传播部，针对上述第1图像的各个种类的特征量，计算表示与上述已登记图像的该种类的特征量各自之间的类似相同性的传播强度，将上述第1图像的该种类的特征量和与上述第1图像的该种类的特征量之间的传播强度最大的已登记图像的该种类的特征量间的链接包含到上述传播信息中；

查询输入部，从上述图像数据库所保持的上述已登记图像的特征量中，取得第1种类的第1特征量，生成包含上述第1特征量的输入查询；

查询加强部，基于上述传播信息所表示的对应，以上述第1特征量为出发点，沿着上述已登记图像的特征量间的链接推移而进行搜索，生成追加查询，该追加查询包含具有上述搜索的路径上的特征量的已登记图像的第1种类的特征量；以及

图像检索部，使用上述输入查询及上述追加查询，从上述图像数据库中检索图像。

2.如权利要求1所述的图像检索装置，其特征在于，

上述查询加强部在上述搜索中，还在相同的已登记图像的不同种类的特征量间进行切换。

3.如权利要求1所述的图像检索装置，其特征在于，

上述图像数据库所保持的传播信息包含上述已登记图像的相同种类的特征量间的链接各自的传播强度；

上述属性传播部将包含到上述传播信息中的链接的传播强度包含到上述传播信息中；

上述图像检索部进行以下处理：

计算类似度，该类似度表示上述输入查询及上述追加查询的特征量各自与上述已登记图像的上述第1种类的特征量各自之间的类似性；

对计算出的上述类似度分别赋予权重，该权重基于在上述搜索的路径上存在于在该类似度的计算中使用的上述输入查询及上述追加查询的特征量与上述第1特征量之间的上述传播信息所表示的传播强度；

基于被赋予了上述权重的类似度，从上述图像数据库中检索图像。

4.如权利要求1所述的图像检索装置，其特征在于，

上述图像数据库所保持的传播信息包含上述已登记图像的相同种类的特征量间的链接各自的传播强度；

上述属性传播部将包含到上述传播信息中的链接的传播强度包含到上述传播信息中；

上述图像检索部在存在上述输入查询或上述追加查询中包含的、在上述搜索的路径上上述传播信息所表示的传播强度为阈值以上的特征量的组合的情况下，使用上述组合中包含的特征量的一方，从上述图像数据库中检索图像。

5.如权利要求1所述的图像检索装置，其特征在于，

上述查询加强部从上述图像数据库中取得具有上述追加查询的特征量的各个已登记图像，并输出所取得的上述各个已登记图像和表示上述搜索的路径的信息。

6.如权利要求1所述的图像检索装置，其特征在于，

上述1个以上种类的特征量包括表示是否对图像赋予了第1标签的第2种类的特征量、和与上述第2种类不同的第3种类的特征量；

上述查询加强部从上述图像数据库中确定被赋予了上述第1标签的已登记图像，取得所确定的各个上述已登记图像的上述第3种类的特征量；

上述图像检索部使用包含所取得的上述第3种类的特征量各自的查询，从上述图像数据库中检索标签赋予候选图像；

上述图像检索装置包括传播信息更新部，该传播信息更新部对上述标签赋予候选图像中包含的第2图像赋予上述第1标签，将对上述第2图像赋予的第1标签与已被赋予到所确定的上述已登记图像上的第1标签各自间的链接包含到上述传播信息中。

7.如权利要求6所述的图像检索装置，其特征在于，

上述查询加强部进行以下处理：

从上述图像数据库中取得所确定的各个上述已登记图像、以及上述标签赋予候选图像的上述第3种类的特征量；

参照上述传播信息，取得所取得的上述第3种类的特征量各自与上述标签赋予候选图像的上述第3种类的特征量各自间的链接；

输出所确定的各个上述已登记图像、以及表示所取得的上述链接的信息，

上述图像检索部输出上述标签赋予候选图像。

8.一种检索图像的方法，图像检索装置从图像数据库中检索图像，该图像数据库保持已登记图像、上述已登记图像的包括第1种类在内的1个以上种类的特征量、以及表示上述已登记图像的相同种类的类似性高或相同的特征量间的链接的传播信息，上述方法的特征在于，

上述方法包括：

上述图像检索装置取得第1图像及上述第1图像的上述1个以上种类的特征量，向上述图像数据库登记的步骤；

上述图像检索装置针对上述第1图像的各个种类的特征量，计算表示与上述已登记图像的该种类的特征量各自之间的类似相同性的传播强度，将上述第1图像的该种类的特征量和与上述第1图像的该种类的特征量之间的传播强度最大的已登记图像的该种类的特征量间的链接包含到上述传播信息中的步骤；

上述图像检索装置从上述图像数据库所保持的上述已登记图像的特征量中，取得第1种类的第1特征量，生成包含上述第1特征量的输入查询的步骤；

上述图像检索装置基于上述传播信息所表示的对应，以上述第1特征量为出发点，沿着上述已登记图像的特征量间的链接推移而进行搜索，生成追加查询的步骤，该追加查询包含具有上述搜索的路径上的特征量的已登记图像的第1种类的特征量；以及

上述图像检索装置使用上述输入查询及上述追加查询，从上述图像数据库中检索图像的步骤。

9.如权利要求8所述的方法，其特征在于，

上述图像检索装置在生成上述追加查询的步骤中，在上述搜索中还在相同的已登记图像的不同种类的特征量间进行切换。

10.如权利要求8所述的方法，其特征在于，

上述图像数据库所保持的传播信息包含上述已登记图像的相同种类的特征量间的链接各自的传播强度；

在上述方法中，

上述图像检索装置在将链接包含到上述传播信息中的步骤中，将包含到上述传播信息中的链接的传播强度包含到上述传播信息中；

上述图像检索装置在上述检索的步骤中，

计算类似度，该类似度表示上述输入查询及上述追加查询的特征量各自与上述已登记图像的上述第1种类的特征量各自之间的类似性；

对计算出的上述类似度分别赋予权重，该权重基于在上述搜索的路径上存在于在该类似度的计算中使用的上述输入查询及上述追加查询的特征量与上述第1特征量之间的上述传播信息所表示的传播强度；

基于被赋予了上述权重的类似度，从上述图像数据库中检索图像。

11.如权利要求8所述的方法，其特征在于，

上述图像数据库所保持的传播信息包含上述已登记图像的相同种类的特征量间的链接各自的传播强度；

在上述方法中，

上述图像检索装置在将链接包含到上述传播信息中的步骤中，将包含到上述传播信息中的链接的传播强度包含到上述传播信息中；

上述图像检索装置在上述检索的步骤中，在存在上述输入查询或上述追加查询中包含的、在上述搜索的路径上上述传播信息所表示的传播强度为阈值以上的特征量的组合的情况下，使用上述组合中包含的特征量的一方，从上述图像数据库中检索图像。

12.如权利要求8所述的方法，其特征在于，还包括：

上述图像检索装置从上述图像数据库中取得具有上述追加查询的特征量的各个已登记图像的步骤；以及

上述图像检索装置输出所取得的上述各个已登记图像和表示上述搜索的路径的信息的步骤。

13.如权利要求8所述的方法，其特征在于，

上述1个以上种类的特征量包括表示是否对图像赋予了第1标签的第2种类的特征量、和与上述第2种类不同的第3种类的特征量；

上述方法还包括：

上述图像检索装置从上述图像数据库中确定被赋予了上述第1标签的已登记图像，取得所确定的各个上述已登记图像的上述第3种类的特征量的步骤；

上述图像检索装置使用包含所取得的上述第3种类的特征量各自的查询，从上述图像数据库中检索标签赋予候选图像的步骤；以及

上述图像检索装置对上述标签赋予候选图像中包含的第2图像赋予上述第1标签，将对上述第2图像赋予的第1标签与已被赋予到所确定的上述已登记图像上的第1标签各自间的链接包含到上述传播信息中的步骤。

14.如权利要求13所述的方法，其特征在于，还包括：

上述图像检索装置从上述图像数据库中取得所确定的各个上述已登记图像和上述标签赋予候选图像的上述第3种类的特征量的步骤；

上述图像检索装置参照上述传播信息，取得所取得的上述第3种类的特征量各自与上述标签赋予候选图像的上述第3种类的特征量各自间的链接的步骤；

上述图像检索装置输出所确定的各个上述已登记图像和表示所取得的上述链接的信息的步骤；以及

上述图像检索装置输出上述标签赋予候选图像的步骤。

Images