CN104380288A - 图像检索系统以及图像检索方法 - Google Patents

Abstract

本发明提供能够在保持检索精度的同时抑制传输量的图像检索系统。检索服务器(300)通常从记录器(200)仅获得数据量较少的低维数据。检索服务器(300)在低维图像数据的在特征空间内的密度为规定的阈值以上的情况下，即，在如果只是低维数据则用于进行图像之间的识别的维数不够的情况下，从记录器(200)获得关于该低维图像数据的高维图像数据。由此，能够在保持检索精度的同时抑制通信路径(130)的数据传输量。

Description

图像检索系统以及图像检索方法

技术领域

本发明涉及图像检索系统以及图像检索方法，涉及检索服务器等的检索装置从记录器等图像存储装置获得图像数据并进行与特定图像对应的图像的检索的系统。

背景技术

以往，有如图1所示那样的图像检索系统。图1的图像检索系统将监视摄像机等多个摄像机10的图像存储在作为图像存储装置的记录器11。记录器11从摄像机10的图像提取图像特征数据(辉度和图像的频率信息、轮廓信息等)，将其通过网络等通信路径12传输到检索服务器13。另外，从个人电脑等检索终端14例如将特定人物的脸部图像作为检索询问图像输入到检索服务器13。检索服务器13对来自记录器11的图像特征数据和检索询问图像进行核对，由此检索与检索询问图像对应的图像。

这样，通过在检索服务器汇集多个图像特征数据，从而可以从存储于多个记录器11的存储映像检索询问图像。

在此，作为与在检索服务器13中进行的图像的核对以及检索有关的现有技术，例如有专利文献1中公开的技术。专利文献1中，公开了能够使核对高速化，能够高效地生成索引的技术。

现有技术文献

专利文献

专利文献1：日本特开平11-338866号公报

发明内容

发明要解决的问题

然而，由于将多个摄像机10拍摄到的图像数据传输到检索服务器13，因此，其传输数据量庞大。其结果，有可能通信路径12的传输成本(线路費用)变高。例如，当在多个分店配置作为监视摄像机的摄像机10，使用配置于监视中心的检索终端14访问检索服务器13，由此在监视中心对多个分店的映像进行监视的情况下，通信路径12的线路費用有可能非常高。

在此，为了抑制通信路径12的线路費用，若削减从记录器11向检索服务器13传输的图像特征数据，则产生检索服务器13中的检索精度降低的问题。

本发明的目的在于，提供能够在保持检索精度的同时抑制传输量的图像检索系统以及图像检索方法。

解决问题的方案

本发明的图像检索系统的一个形态，具有：存储图像数据的图像存储装置；以及通过通信路径与所述图像存储装置连接的、从存储于所述图像存储装置的图像中检索与存在来自检索终端的询问的检索询问图像对应的图像，所述检索装置具备：低维数据获得单元，其通过所述通信路径从所述图像存储装置获得包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据；判定单元，其对关于所述第一物体的低维图像数据和关于所述第二物体的低维图像数据是否相似进行判定；以及高维数据获得单元，其在利用所述判定单元得到了关于所述第一物体的低维图像数据与关于所述第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置获得关于所述第一物体的高维图像数据和关于所述第二物体的高维图像数据。

本发明的图像检索方法的一个形态，其中，检索装置从通过通信路径连接的图像存储装置中存储的图像中检索与存在来自检索终端的询问的检索询问图像对应的图像，该图像检索方法包括：通过所述通信路径从所述图像存储装置向所述检索装置传输包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据的步骤；对关于所述第一物体的低维图像数据和关于所述第二物体的低维图像数据是否相似进行判定的步骤；以及在得到关于所述第一物体的低维图像数据与关于所述第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置向所述检索装置传输关于所述第一物体的高维图像数据和关于所述第二物体的高维图像数据的步骤。

发明效果

根据本发明，能够在保持检索精度的同时抑制传输量。

附图说明

图1是表示以往的图像检索系统的结构例的图。

图2是表示实施方式的图像检索系统的概略结构的图。

图3是表示图像检索系统的详细结构的方框图。

图4是表示对是否获得特征数据进行判定的处理的流程的流程图。

图5中，图5A是表示低维空间中的数据的情况的图，图5B是表示高维空间中的数据的情况的图。

图6是表示检索处理的流程的流程图。

图7中，图7A是表示低维数据的检索结果的例的图，图7B是表示按特征数据的距离顺序重新排序后的检索结果的例的图。

具体实施方式

下面，参照附图对本发明的实施方式详细地进行说明。

图2表示本实施方式的图像检索系统的概略结构。

图像检索系统100具有作为拍摄装置的摄像机110、作为图像存储装置的记录器200、作为检索装置的检索服务器300、和检索终端120。图像检索系统100例如是摄像机110配置在各分店，检索服务器300以及检索终端120配置在监视中心的监视系统。

对于摄像机110的数量，是单个或多个。一般地，记录器200连接有多个摄像机110。通过摄像机110拍摄到的图像数据存储在记录器200中。

对于记录器200的数量，是单个或多个。记录器200从自摄像机110输入的图像数据中提取由图像的辉度信息、频率信息、轮廓信息等构成的图像特征数据(以下将其简称为特征数据)，并将其存储。另外，记录器200提取与特征数据相比低维的数据即低维图像数据(以下将其简称为低维数据)，并将其存储。低维数据是从特征数据只提取主成分而得到的数据，维数比特征数据小，数据量比特征数据少。

检索服务器300通常获得数据量较少的低维数据，只对于判断为如果只是低维数据则用于进行图像之间的识别的维数不够的对象，获得作为高维数据的特征数据。这样，检索服务器300通常获得数据量较少的低维数据，根据需要获得最小限的特征数据，通过这样做，能够在保持检索精度的同时抑制通过通信路径130的数据传输量。

另外，从个人电脑等检索终端120向检索服务器300例如输入人物的脸部图像等检索询问图像。检索服务器300通过将检索询问图像、和从记录器200获得的低维数据、特征数据进行核对，来检索与检索询问图像对应的图像，并将检索结果发送到检索终端120。

图3表示图像检索系统100的详细结构。图3中，只表示了图像检索系统的构成中的记录器200以及检索服务器300的结构。

首先，对记录器200的结构进行说明。记录器200将由摄像机110拍摄到的图像数据通过图像获得单元201输入到特征数据提取单元202。特征数据提取单元202从图像提取作为检索对象的部分的特征数据。特征数据提取单元202例如从图像检测脸部的部分区域，对部分图像计算出Haar-wavelet等滤波器响应值，将矢量化的数据设为特征数据。特征数据存储于特征数据存储单元203。

低维数据提取单元204从由特征数据提取单元202提取的特征数据中提取维数较低的低维数据。低维数据提取单元204例如预先通过主成分分析根据多个特征数据计算低维的固有空间，将把所输入的特征数据投影到低维的固有空间后而得到的数据设为低维数据。

接着，对检索服务器300的结构进行说明。检索服务器300大体上具有对图像数据进行登记的登记系统、和进行检索的检索系统。登记系统具有低维数据获得单元301、低维数据存储单元302、特征数据获得判定单元303、特征数据获得单元304以及特征数据存储单元305。检索系统具有特征数据提取单元311、低维数据提取单元312、低维数据检索单元313以及特征数据检索单元314。

登记系统的低维数据获得单元301通过网络等通信路径130获得由低维数据提取单元204提取出的低维数据。在本实施方式的情况下，通信路径130是网络和电话线路等公众线路，是产生线路使用费的通信路径。

低维数据存储单元302存储低维数据。

特征数据获得判定单元303计算低维数据存储单元302中存储的低维数据中的、检索时分离性能差的对象(即，在特征空间中紧密地分布的数据群)，判定为需要获得关于该对象的特征数据(即高维数据)。关于该特征数据获得判定单元303的处理，在后面详细地进行说明。

特征数据获得单元304从特征数据存储单元203通过通信路径130获得在特征数据获得判定单元303中判定为需要获得的特征数据。

特征数据存储单元305存储由特征数据获得单元304获得的特征数据。即，在特征数据存储单元305中只存储在记录器200侧的特征数据存储单元203中存储的特征数据中的、由特征数据获得判定单元303判定为需要的特征数据。

检索系统的特征数据提取单元311从来自检索终端120(图2)的检索询问图像中提取作为检索对象的特征数据。

低维数据提取单元312从由特征数据提取单元311提取的特征数据中提取维数较低的低维数据。由低维数据提取单元312进行的处理与由低维数据提取单元204进行的处理相同。

低维数据检索单元313从存储在低维数据存储单元302的低维数据中检索与检索询问图像的低维数据相似的低维数据。

特征数据检索单元314对由低维数据检索单元313检索出的低维数据中的、存在特征数据的对象，再次使用特征数据判定相似性，并将检索结果输出到检索终端120。

图4是表示由特征数据获得判定单元303进行的处理的流程的流程图。

特征数据获得判定单元303若在步骤S0中开始了处理，则在步骤S1中从低维数据存储单元302获得低维数据。特征数据获得判定单元303在步骤S2中通过k-means法对低维数据进行分群。对于群数，群数＝w×N(在此，N：全部数据数，0<w<1)。此外，分群的方法不限于k-means法。

接着，特征数据获得判定单元303在步骤S3中计算群的密度。可以通过D＝n/ν(在此，n：群内数据数，ν：群内方差)求群的密度D。

接着，特征数据获得判定单元303在步骤S4中，对密度是否为阈值以上进行判断。特征数据获得判定单元303在密度为阈值以上的情况下，转到步骤S5，判定为需要获得特征数据。另一方面，特征数据获得判定单元303在密度不是阈值以上的情况下，转到步骤S6。

在此，图5A所示那样的密度较大的群的数据间的分离性能较低。因此，在密度较大的群中的数据之间，距检索关键词的、在特征空间中的距离之差较小，因此，容易产生检索误差。因此，在本实施方式中，在密度为阈值以上的情况下，关于该群中包含的低维数据，获得维更高的数据、即设为低维数据之前的原来的特征数据，由此，提高数据之间的分离性能。图5B中表示高维数据的例。可知，即使是在图5A所示的低维空间中距检索关键词的距离之差较小的数据(即低维数据)，在图5B所示的高维空间中，距检索关键词的距离之差变大。

特征数据获得判定单元303在步骤S6中，判断是否对全部群进行了处理，若得到否定结果，则返回到步骤S3。这样，直到全部群的处理结束为止，反复进行步骤S3-S4-(S5)-S6-S3的处理。而且，若在步骤S6中得到肯定结果，则转到步骤S7，结束判定处理。

图6是表示在检索服务器300的检索系统中进行的检索处理的流程的流程图。

检索服务器300若在步骤S10中开始了检索处理，则在步骤S11中通过低维数据检索单元313从低维数据存储单元302检索与来自检索终端120的询问图像相似的低维数据。具体而言，低维数据检索单元313在步骤S11中，对存储在低维数据存储单元302的全部的低维数据计算与被检索终端120询问的低维数据之间的距离。

接着，在步骤S12中，低维数据检索单元313按距离顺序对低维数据进行排序，将候选缩选到被指定的件数。

接着，在步骤S13中，特征数据检索单元314判断候选中是否存在在特征数据存储单元305中存在特征数据的候选。在存在特征数据的情况下，在步骤S14中从特征数据存储单元305读出特征数据，并计算被询问的数据和特征数据之间的距离。

接着，在步骤S15中，判断是否对全部的候选进行了处理，若得到否定结果，返回到步骤S13。这样，直到全部的候选的处理结束为止，反复进行步骤S13-(S14)-S15-S13的处理。而且，若在步骤S15得到肯定结果，则转到步骤S16。

在步骤S16中，特征数据检索单元314利用与特征数据之间的距离对候选中的、属于相同群的对象重新排序。在接着的步骤S17中结束检索处理。

图7A表示由低维数据检索单元313得到的低维数据的检索结果的例。图7B表示由特征数据检索单元314得到的按特征数据的距离顺序重新排序的检索结果的例。

在图7A以及图7B中，所谓“数据编号”，表示用于识别对象的识别编号。在图7A中，所谓“群编号”的“无”是表示没有特征数据(即高维数据)。

如根据图7B也可以知道那样，若在同一群中，按特征数据的距离顺序进行了重新排序，则也有成为与低维数据的距离顺序的排序不同的“结果位次”的对象。由此，能够比使用低维数据的检索精度高地进行检索。“检索位次”作为检索结果发送到检索终端120，在检索终端120显示。此外，检索服务器300也可以发送检索位次的顺序的缩略图等，作为检索结果。

如以上说明的那样，根据本实施方式，检索服务器300通常获得数据量较少的低维数据，只对判断为如果只是低维数据则用于进行图像之间的识别的维数不够的对象，获得作为高维数据的特征数据。由此，能够在保持检索精度的同时抑制通信路径130的数据传输量。

此外，在上述的实施方式中，对存储图像数据的图像存储装置是记录器的情况进行了描述，但是，图像存储装置也可以是摄像机。

另外，可以通过CPU读出存储在存储器上的计算机程序并进行执行处理来实现图3所示的构成记录器200以及检索服务器300的各构成部件的功能。

在2012年5月24日提出的日本专利申请特愿2012-118411号中包含的说明书、附图以及摘要的公开内容全部引用于本申请。

工业实用性

本发明具有能够在保持检索精度的同时抑制传输量这样的效果，例如，适用于对特定人物进行监视的监视系统等是适宜的。

符号说明

10、110  摄像机

11、200  记录器

12、130  通信路径

13、300  检索服务器

14、120  检索终端

202、311  特征数据提取单元

203、305  特征数据存储单元

204、312  低维数据提取单元

301  低维数据获得单元

302  低维数据存储单元

303  特征数据获得判定单元

304  特征数据获得单元

313  低维数据检索单元

314  特征数据检索单元

Claims (4)

1.图像检索系统，具有：图像存储装置，其存储图像数据；以及检索装置，其通过通信路径与所述图像存储装置连接，从存储于所述图像存储装置的图像中检索与由检索终端查询过的检索查询图像对应的图像，

所述检索装置具备：

低维数据获得单元，其通过所述通信路径从所述图像存储装置获得包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据；

判定单元，其判定所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据是否相似；以及

高维数据获得单元，其在由所述判定单元得到了所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置获得所述关于第一物体的高维图像数据和所述关于第二物体的高维图像数据。

2.如权利要求1所述的图像检索系统，

所述判定单元对所述低维图像数据进行分群，计算同一群内的所述低维图像数据的密度，在所述密度为规定的阈值以上的情况下，判定为同一群内的所述低维图像数据相似。

3.如权利要求1或2所述的图像检索系统，

基于所述低维图像数据与所述检索查询图像之间的特征空间内距离，对所述低维图像数据的与所述检索查询图像之间的相似性进行排序，

基于所述高维图像数据与所述检索查询图像之间的特征空间内距离，对存在所述高维图像数据的所述低维图像数据进行重新排序。

4.图像检索方法，其中，

检索装置从通过通信路径连接的图像存储装置中存储的图像中检索与由检索终端查询过的检索查询图像对应的图像，该图像检索方法包括如下步骤：

通过所述通信路径从所述图像存储装置向所述检索装置传输包含关于第一物体的低维图像数据和关于第二物体的低维图像数据的低维图像数据的步骤；

判定所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据是否相似的步骤；以及

在得到所述关于第一物体的低维图像数据和所述关于第二物体的低维图像数据相似的判定结果的情况下，通过所述通信路径从所述图像存储装置向所述检索装置传输所述关于第一物体的高维图像数据和所述关于第二物体的高维图像数据的步骤。