CN103797509A - 图像检索装置、图像检索方法、程序和计算机可读取的存储介质 - Google Patents

图像检索装置、图像检索方法、程序和计算机可读取的存储介质 Download PDF

Info

Publication number
CN103797509A
CN103797509A CN201180073446.1A CN201180073446A CN103797509A CN 103797509 A CN103797509 A CN 103797509A CN 201180073446 A CN201180073446 A CN 201180073446A CN 103797509 A CN103797509 A CN 103797509A
Authority
CN
China
Prior art keywords
image
vector
unit
cluster
common storage
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201180073446.1A
Other languages
English (en)
Other versions
CN103797509B (zh
Inventor
A·西瓦希尔科
鸟居顺次
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lotte Group Co.,Ltd.
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Publication of CN103797509A publication Critical patent/CN103797509A/zh
Application granted granted Critical
Publication of CN103797509B publication Critical patent/CN103797509B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2453—Query optimisation
    • G06F16/24532—Query optimisation of parallel queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G06F16/287—Visualization; Browsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

使用GPU这样的进行大量同类型处理的能力高的硬件，使图像检索处理高速化。图像检索装置1包含公共存储器和执行相同命令的多个并行的处理器。图像检索装置1从存储单元传送分别代表包含多个图像特征矢量的多个聚类的多个代表特征矢量，将从要查询的图像提取出的1个或者多个查询特征矢量保存在所述公共存储器中，使用所述多个并行的处理器计算被传送的所述多个代表特征矢量与所述查询特征矢量之间的距离，根据属于按照所述第1距离计算单元的计算结果选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离，选择多个图像中的任意一个。

Description

图像检索装置、图像检索方法、程序和计算机可读取的存储介质
技术领域
本发明涉及图像检索装置、图像检索方法、程序和计算机可读取的存储介质。
背景技术
由于网络技术等的发达，管理了巨量的图像文件。存在如下图像检索技术：从该大量的图像中，选出与要查询的图像相似的图像。为了从大量图像中高速地选择图像，正在进行被称作BoF（Bag of Features：特征词袋）法的检索方法的开发。该方法使用了被称作BoW（Bag of Words：词袋）法的文本检索方法。在BoF法中，将从作为检索对象的图像提取出的各个特征矢量与相当于BoW法中的单词的视觉词（VisualWord）对应起来，使用该视觉词的出现频度来检索相似的图像。
在专利文献1中，公开了如下技术：使用聚类处理将从要查询的图像提取出的多个图像特征量矢量转换成更少的矢量，查询该转换后的矢量，来进行图像的检索。
现有技术文献
专利文献
专利文献1：日本特开2011-107795号公报
发明内容
发明要解决的问题
然而，图像数据与文字数据相比，其数据量膨胀，因此为了使用通常的CPU进行与文字一样的高速检索，需要减少处理量。因此，在生成检索索引时，不得不使用没有准确地表达该图像数据的特征的视觉词等，很难得到足够的检索精度。
因此，考虑使用例如所谓的GPU（Graphic Processing Unit：图形处理单元）这样的计算能力比CPU高的硬件。GPU包含多个处理器和公共存储器，多个处理器能够分别从公共存储器高效地取入数据，执行公共的程序来进行运算处理。如果使GPU这样的硬件高速地进行运算处理，则能够在确保精度的同时进行高速检索。
但是，上述这样的BoF法等是最适合于CPU的步骤，BoF法为了处理稀疏矩阵等，较多地使用了链表数据结构或分支处理。这些与具有上述特征的GPU的结构的兼容性差，因此即使直接使用GPU，也不能充分发挥其能力。
本发明是鉴于上述问题而完成的，其目的在于，使用GPU这样的进行大量同类型处理的能力高的硬件，来使图像检索处理高速化。
用于解决问题的手段
为了解决上述问题，本发明的图像检索装置具有：公共存储器；和多个并行处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，此外，所述图像检索装置的特征在于，还具有：代表矢量传送单元，其从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；查询特征矢量取得单元，其取得从要查询的图像提取出的1个或多个查询特征矢量，并保存在所述公共存储器中；第1距離計算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
此外，本发明的程序使计算机发挥作用，所述计算机具有：公共存储器；和多个并行处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，该程序的特征在于，使计算机作为以下单元发挥作用：代表矢量传送单元，其从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；查询设定单元，其将从要查询的图像提取出的1个或者多个查询特征矢量设定于所述公共存储器中；第1距离计算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及，根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
此外，本发明的图像检索方法使计算机检索图像，所述计算机具有：公共存储器；和多个并行处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，该图像检索方法的特征在于，所述图像检索方法具有如下步骤：代表矢量传送步骤，从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；查询设定步骤，将从要查询的图像提取出的1个或者多个查询特征矢量设定于所述公共存储器中；第1距离计算步骤，使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；第2距离计算步骤，计算属于根据所述第1距离计算步骤的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及根据所述第2距离计算步骤的计算结果，选择所述多个图像中的至少1个图像的步骤。
此外，本发明的计算机可读取的存储介质的特征在于，该计算机具有：公共存储器；和多个并行处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，该存储介质存储有程序，所述程序用于使所述计算机作为如下单元发挥作用：代表矢量传送单元，其从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；查询设定单元，其将从要查询的图像提取出的1个或者多个查询特征矢量设定于所述公共存储器中；第1距离计算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
根据本发明，能够使用GPU这样的进行大量同类型处理的能力高的硬件，来使图像检索处理高速化。这是因为，通过使用代表矢量，减少了作为距离计算对象的特征矢量的数量，并且，距离计算成为主体，因此，与GPU这样的进行大量同类型处理的硬件的兼容性较高。
在本发明的一个方式中，可以是，还具有图像特征矢量传送单元，该图像特征矢量传送单元将属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量从所述存储单元传送到所述公共存储器，所述第2距离计算单元使用所述多个并行的处理器，计算被传送的所述图像特征矢量与所述查询特征矢量之间的距离。
在本发明的一个方式中，可以是，所述多个代表特征矢量的数据量小于所述公共存储器的容量。
在本发明的一个方式中，可以是，属于所述多个聚类中的1个的图像特征矢量的数据量小于所述公共存储器的容量，属于所述多个聚类的图像特征矢量的数据量大于所述公共存储器的容量。
在本发明的一个方式中，可以是，属于所述多个聚类中的1个的图像特征矢量和所述多个代表矢量的数据量小于所述公共存储器的容量，所述图像特征矢量传送单元将属于选择出的所述聚类的图像特征矢量置换为保存在公共存储器中的其它图像特征矢量。
在本发明的一个方式中，还可以具有：追加图像特征矢量提取单元，其从作为追加的检索对象的图像中，提取多个图像特征矢量；以及图像特征矢量追加单元，其将由所述追加图像特征矢量提取单元提取出的图像特征矢量追加到所述图像特征聚类中的任意一个聚类。
附图说明
图1是示出本发明实施方式的图像检索系统的结构的一例的图。
图2是示出本发明实施方式的图像检索装置的结构的一例的图。
图3是示出并行计算装置的结构的一例的图。
图4是示出本发明实施方式的图像检索装置的功能的功能框图。
图5是示出索引生成部的功能结构的功能框图。
图6是示出作为检索对象的图像的一例的图。
图7是示出从图像提取出的图像特征矢量的概念的图。
图8是示出代表矢量的树结构的一例的图。
图9是示出图像检索部的功能结构的功能框图。
图10是示出装置内存储器处的数据配置的一例的图。
图11是示出装置内存储器处的代表矢量的配置的一例的图。
图12是示出输入要查询的图像的画面的一例的图。
图13是示出距离计算的处理流程的一例的图。
图14是示出对与查询特征矢量对应的图像进行统计处理的结果的一例的图。
图15是示出索引追加部的功能结构的功能框图。
具体实施方式
下面，根据附图，对本发明的实施方式进行说明。在出现的构成要素中，对于具有相同功能的部分，标注相同的标号，省略其说明。
图1是示出本发明实施方式的图像检索系统的结构的一例的图。图像检索系统包含图像检索装置1、网络服务器2和客户端装置3。网络服务器2例如是网络服务器程序进行动作的服务器硬件，客户端装置3例如是网络浏览器的程序进行动作的个人计算机或智能手机。图像检索系统进行图像检索的动作的概要如下。首先，网络服务器2经由互联网等网络，从客户端装置3取得在图像检索中使用的要查询的图像（以下，记作“查询图像”），并将该查询图像输入到图像检索装置1。接下来，图像检索装置1检索与输入的图像相似的1个或多个图像，并输出到网络服务器2。网络服务器2输出用于使客户端装置3显示图像检索装置1检索到的图像的数据。
图2是示出本发明的实施方式的图像检索装置1的结构的一例的图。图像检索装置1包含CPU11、存储部12、通信部13、并行计算装置14和总线15。
CPU11根据保存在存储部12中的程序进行动作。此外，CPU11对通信部13或并行计算装置14进行控制。此外，上述程序可以通过互联网等网络来提供，也可以保存在DVD-ROM或USB存储器等可由计算机读取的信息记录介质中来提供。
存储部12由RAM、ROM等存储器元件或硬盘驱动器等构成。存储部12保存上述程序。此外，存储部12还保存从各部输入的信息和运算结果。
通信部13由设有网卡等的通信单元等构成，用于与网络服务器2等其它装置进行通信连接。通信部13根据CPU11的控制，将从其它装置接收到的信息输入CPU11或存储部12，并向其它装置发送信息。
总线15用于在CPU11、存储部12、通信部13和并行计算装置14之间进行数据交换。例如，CPU11和存储部12与并行计算装置14经由总线15中的扩展总线进行连接。
并行计算装置14是擅长于通过并行计算来进行大量同类型计算的硬件。并行计算装置14例如是GPU。图3是示出并行计算装置14的结构的一例的图。并行计算装置14包含多个并行执行部40和装置内存储器45。此外，各并行执行部40包含多个处理器41、命令单元42和高速存储器43。
多个处理器41中的每一个分别进行浮动小数点计算、装置内存储器45或高速存储器43之间的数据的读取和写入等处理。命令单元42根据保存在装置内存储器45等中的程序，使包含该命令单元42的并行执行部40中包含的多个处理器41进行处理。某并行执行部40中包含的多个处理器41根据来自该并行执行部40中包含的1个命令单元42的指示，对相同命令进行处理。这样，能够通过1个命令单元42控制多个处理器41，能够抑制命令单元42的线路的规模的增加，因此，与CPU11相比，能够增加并行计算装置14中包含的处理器41的数量。
装置内存储器45由能够比存储部12中使用的RAM更高速地进行存取的DRAM构成。装置内存储器45经由总线15与CPU11和存储部12连接。此外，并行计算装置14还具有通过DMA传送来在装置内存储器45与存储部12之间传送数据的线路。高速存储器43由能够比装置内存储器45更高速地进行存取的SRAM等构成。处理器41对高速存储器43进行存取时的等待时间与处理器41对该内部寄存器进行存取时的等待时间几乎相等。此处，装置内存储器45和高速存储器43均是能够由多个处理器41共同地进行存取的公共存储器。
图4是示出本发明的实施方式的图像检索装置1的功能的功能框图。图像检索装置1在功能上，包含索引生成部51、图像检索部52和索引追加部53。CPU11执行保存在存储部12中的程序，对通信部13或并行计算装置14进行控制，此外，并行计算装置14执行针对该并行计算装置14的程序，由此实现上述功能。
索引生成部51根据作为检索对象的多个图像，生成进行图像检索时使用的图像特征矢量20和使该图像特征矢量20的选择变得容易的索引。图像检索部52使用索引和图像特征矢量20，检索与查询图像相似的图像。索引追加部53根据追加的图像来生成图像特征矢量20，并对索引进行变更，使得能够选择该追加的图像。
图5是示出索引生成部51的功能结构的功能框图。索引生成部51在功能上包含图像特征矢量提取部61和聚类生成部62。聚类生成部62生成作为聚类的索引的代表矢量的树结构，并将与索引相关的信息保存在树结构代表矢量保存部72中。此外，聚类矢量保存部71对属于由代表矢量所代表的聚类的图像特征矢量20的信息进行保存，其中，上述代表矢量是该树结构的叶。具体而言，聚类矢量保存部71、树结构代表矢量保存部72由存储部12构成。
图像特征矢量提取部61主要由CPU11和存储部12实现。图像特征矢量提取部61从保存在存储部12中的多个图像即作为检索对象的多个图像，提取多个图像特征矢量20。更具体而言，图像特征矢量提取部61分别从该多个图像，提取1个或多个图像特征矢量20，并将提取出的图像特征矢量20与提取出该图像特征矢量20的图像关联起来存储在存储部12中。
图6是示出作为检索对象的图像的一例的图。图7是示出从图像提取出的图像特征矢量20的概念的图。从图像提取出的图像特征矢量20中的每一个分别是表示该图像的局部特征的局部特征量。图像特征矢量20中的每一个例如是具有128个要素（维）的矢量。为了提取图像特征矢量20，可以使用SIFT（Scale-Invariant Feature transform：尺度不变特征转换），SURF（Speeded Up Robust Features：快速鲁棒特征）等公知的方法。图像特征矢量20中的每一个分别具有的要素的数量可以根据基于图像的提取方法等而变化。此外，从1个图像提取出的图像特征矢量20的数量可以是预先决定的数（例如300），不过从简单图像提取出的图像特征矢量20的数量也可以少于该预先决定的数。
聚类生成部62主要由CPU11和存储部12实现。聚类生成部62通过聚类处理，将由图像特征矢量提取部61提取出的多个图像特征矢量20中的每一个分类到多个聚类中的任意一个聚类。将图像特征矢量20分类到聚类的处理不限于1个阶段的处理，也可以是多个阶段的处理。此外，该多个阶段的处理可以通过递归地调用如下处理来实现。下面，对如下情况的例子进行说明：进行2个阶段的处理，并在第1阶段，将由图像特征矢量提取部61提取出的多个图像特征矢量20分类到1024个聚类，进一步，在第2阶段，将该1024个聚类中的每一个分类到512个聚类。
在聚类生成部62的各阶段的处理中，进行如下两个处理。第1个处理是如下处理：通过聚类处理，将所给的多个图像特征矢量20分类到给定个数的聚类，来生成多个聚类。第2个处理是如下处理：生成该生成的聚类的代表矢量，将生成的代表矢量作为该阶段的代表矢量保存在树结构代表矢量保存部72中。在处理中的阶段不是最末阶段的情况下，聚类生成部62将属于在处理中的阶段生成的各个聚类的多个图像特征矢量20作为输入信息，递归地调用下一阶段的处理。代表矢量是代表该聚类的矢量，例如是属于该分类后的聚类的图像特征矢量20的重心。此外，聚类生成部62针对在最末阶段的处理中生成的每一个聚类，将属于该聚类的图像特征矢量20保存在聚类矢量保存部71中。
在上述示例的情况下，在第1阶段的处理中，聚类生成部62将所给的图像特征矢量20分类到1024个聚类，生成该分类后的第1阶段的各聚类的代表矢量，并将生成的第1阶段的代表矢量保存在树结构代表矢量保存部72中。在第2阶段的处理中，聚类生成部62将属于在第1阶段中生成的1024个聚类中的各个聚类的多个图像特征矢量20作为输入信息，进一步分类到512个聚类，生成该分类后的第2阶段的各聚类的代表矢量，并将生成的下位的阶段的代表矢量保存在树结构代表矢量保存部72中。在第2阶段的聚类全部被生成后，该第2阶段的聚类的总数为（1024×512）个。进而，聚类生成部62针对在第2阶段中生成的每一个聚类，将属于该聚类的图像特征矢量20保存在聚类矢量保存部71中。下面，为了容易进行说明，将代表第1阶段的聚类的代表矢量记作上位代表矢量，将代表最末阶段（在上述示例中为第2阶段）的聚类的代表矢量记作代表特征矢量。此外，最终地生成的聚类（在上述示例中，为第2阶段的聚类）也被记作图像特征聚类。
在将图像特征矢量20分类到聚类时，可以使用k-means法等公知的聚类处理方法。考虑到后述的图像检索部52的处理内容，聚类的数量优选为2的幂，不过也可以不是2的幂。此外，在对全部的图像中包含的图像特征矢量20进行分类时，多个图像特征矢量20属于各自的图像特征聚类。通过分2个阶段进行聚类生成部62的递归处理，能够在树结构代表矢量保存部72中保存2个级别的信息。聚类生成部62的计算可以使用并行计算装置14来进行。
图8是示出代表矢量的树结构的一例的图。在聚类生成部62进行上述2个阶段的处理的情况下，与2个阶段的聚类对应的2个阶段的代表矢量构成树结构。上位代表矢量的数量为1024个，上位代表矢量中的每一个分别是512个代表特征矢量的母。图像检索部52利用以代表矢量构成树结构的方式具有母子关系这一情况，来进行检索。
图9是示出图像检索部52的功能结构的功能框图。图像检索部52在功能上包含：代表矢量传送部81、查询特征矢量取得部82、上位代表矢量距离计算部83、代表聚类选择部84、代表特征矢量距离计算部85、图像特征聚类选择部86、图像特征矢量传送部87、图像特征矢量距离计算部88以及检索结果图像选择部89。
代表矢量传送部81主要由并行计算装置14和存储部12实现。代表矢量传送部81将保存在树结构代表矢量保存部72中的上位代表矢量和代表各个图像特征聚类的多个代表特征矢量传送到能够由多个处理器41共同地进行存取的装置内存储器45。具体而言，代表矢量传送部81使用并行计算装置14和总线15的DMA（Direct MemoryAccess：直接内存存取）功能，将上述数据从存储部12传送到装置内存储器45。
图10是示出装置内存储器45的数据配置的一例的图。在装置内存储器45中，设置有保存代表特征矢量的区域、保存上位代表矢量的区域和保存1个图像特征聚类的区域。代表矢量传送部81将存储在存储部12中的多个代表矢量的信息保存在预先分配的装置内存储器45的存储器区域中。关于保存图像特征聚类的区域中的数据的保存，后面将进行描述。
此处，在设代表特征矢量的要素数为128维、设代表特征矢量的数量为与图像特征聚类的数量相同的（1024×512）个、设各要素为1字节的整数型时，该多个代表特征矢量的全部数据量为（1024×512×128）字节（B），即64MB。此外，在该情况下，多个上位代表矢量的数量为1024，因此多个上位代表矢量的数据量同样为（1024×128）字节，即128KB。例如，在现行的GPU中搭载的装置内存储器45的存储器容量为1GB左右、装置内存储器45的容量也为1GB时，多个代表矢量的数据量小于装置内存储器45的容量。
另一方面，在图像的数量为100万、从1个图像提取出的图像特征矢量20的数量为300时，多个图像特征聚类中包含的图像特征矢量20的数据量为（100万×300×128）字节，即约36GB，不能保存在装置内存储器45中。另一方面，由于平均每个图像特征聚类的图像特征矢量20的数量为（100万×300÷（1024×512）），即约600，因此，数据量为75KB左右。即使图像特征聚类中包含的图像特征矢量20的数量根据聚类处理而稍微发生变动，多个代表特征矢量的数据量、多个上位代表矢量的数据量与1个图像特征聚类中包含的图像特征矢量20的数据量之和也会小于装置内存储器45的容量。
图11是示出装置内存储器45处的代表矢量的配置的一例的图。保存在装置内存储器45中的代表矢量的各要素的尺寸为4字节，并按要素的顺序排列。此外，某代表矢量的数据的起始地址是能够从装置内存储器45一并地读出的数据的字节数（例如32和64）的倍数。该数据结构在后述的距离计算的处理中，用于使多个处理器41一并地读取保存在装置内存储器45中的数据。即使代表矢量的各要素的大小是1个字节，为了一并地地进行读取，代表矢量传送部81也将各要素的大小被转换成了4个字节的数据传送到装置内存储器45。此外，上位代表矢量和1个图像特征聚类内的图像特征矢量20也以相同的数据结构保存在装置内存储器45中。虽然装置内存储器45内的多个代表特征矢量、多个上位代表矢量和1个图像特征聚类中包含的图像特征矢量20的数据量成为4倍，但是在该示例中，这些数据量之和小于装置内存储器45的容量这点没有改变。在本实施方式中，调整图像特征聚类和代表矢量的数量，使得至少装置内存储器45内的多个代表特征矢量和多个上位代表矢量的数据量之和收纳于装置内存储器45的容量即可。
查询特征矢量取得部82主要由CPU11、存储部12和并行计算装置14实现。查询特征矢量取得部82取得从查询图像提取出的1个或多个查询特征矢量，并将其保存在作为公共存储器的装置内存储器45中。
查询特征矢量取得部82首先经由网络服务器2从客户端装置3取得查询图像。图12是示出输入查询图像的画面的一例的图。客户端装置3根据网络服务器2生成的数据来显示本画面。查询图像可以通过用户上传客户端装置3内的图像文件来取得，也可以通过发送某些网页中显示的图像的URL来取得，或者通过从保存在照片共享服务等中的图像中选择查询图像来取得。接下来，查询特征矢量取得部82从网络服务器2取得已取得的查询图像，从该查询图像提取并取得1个或多个查询特征矢量。查询特征矢量是使用与图像特征矢量提取部61提取图像特征矢量20的方法相同的方法而生成的。接下来，查询特征矢量取得部82将查询特征矢量保存在装置内存储器45中。在此，CPU11提取查询特征矢量，CPU11可以使并行计算装置14将查询特征矢量加载到装置内存储器45中，也可以将查询图像加载到并行计算装置14中，使并行计算装置14提取出查询特征矢量，并将其保存在装置内存储器45中。
上位代表矢量距离计算部83是以并行计算装置14为中心来实现的。上位代表矢量距离计算部83使用多个并行处理器41，来计算多个上位代表矢量中的每一个与查询特征矢量的距离。以下，对上位代表矢量距离计算部83处的距离计算的详细情况进行说明。此外，上位代表矢量距离计算部83、代表聚类选择部84、代表特征矢量距离计算部85、图像特征聚类选择部86和图像特征矢量距离计算部88中的处理是针对从查询图像提取出的各个查询特征矢量来进行的。
图13是示出距离计算的处理流程的一例的图。首先，上位代表矢量距离计算部83将查询特征矢量从装置内存储器45加载到进行距离计算的并行执行部40的高速存储器43（步骤S101）中。接下来，将作为计算对象的矢量（此处为上位代表矢量）的各要素从装置内存储器45加载到进行该要素的计算的处理器41的寄存器（步骤S102）。此时，多个处理器41从装置内存储器45一并地读取计算对象矢量的数据。由于预先通过代表矢量传送部81等将作为计算对象的矢量的数据以能够进行该一并地读取的方式保存在装置内存储器45中，因而多个处理器41能够进行该读取。接下来，上位代表矢量距离计算部83对保存在寄存器中的作为计算对象的矢量的要素与和该要素对应的查询特征矢量的要素进行减法运算，进而对该减法运算结果进行平方（步骤S103）。接下来，针对作为计算对象的矢量的各要素，对步骤S103的计算结果进行合计（步骤S104）。进而，上位代表矢量距离计算部83将合计结果保存在装置内存储器45中（步骤S105）。此外，如果某并行执行部40中包含的执行相同命令的处理器41的数量小于查询特征矢量和作为计算对象的矢量的要素的数量，则根据处理器41的数量，对步骤S102～步骤S104的处理进行分割，来多次执行。此外，在存在多个并行执行部40的情况下，上位代表矢量距离计算部83使其他并行执行部40针对作为其他计算对象的矢量，执行步骤S101～S105的处理。此外，也可以针对从查询图像提取出的其它查询特征矢量，并行地进行计算。由此，查询特征矢量与其它多个计算对象的矢量之间的距离计算，能够与GPU这样的并行计算装置14的并行计算能力对应地，并行地进行计算。根据该距离计算的处理内容可知，适当地配置在装置内存储器45中的多个矢量与查询特征矢量之间的距离计算与GPU这样的硬件兼容性高，可非常高速地进行处理。
代表聚类选择部84是以并行计算装置14为中心实现的。代表聚类选择部84根据由上位代表矢量距离计算部83计算出的查询特征矢量与多个上位代表矢量的每一个之间的距离，从多个代表特征矢量的集合中选择1个集合。更具体而言，例如，选择作为与查询特征矢量之间的距离最短的上位代表矢量的子的多个代表特征矢量的集合。该代表特征矢量的集合中的每一个分别对应于第1阶段的聚类（代表聚类）。代表特征矢量的集合的选择也相当于与其对应的代表聚类的选择。此外，上位代表矢量中的每一个分别可以视为代表多个代表特征矢量。更具体而言，代表聚类选择部84通过计算保存该代表矢量的集合的存储器内的区域的起始地址，来选择该集合。例如，如果将作为某上位代表矢量的子的代表特征矢量的数量设为与上位代表矢量无关而是固定的，则只要知晓距离最短的上位代表矢量是第几个，即可通过乘法等简单计算求出起始地址。这样，无需使用需要分支或需要追加的存储器存取的运算，因而可进行更能发挥GPU这样的硬件的性能的处理。
代表特征矢量距离计算部85是以并行计算装置14为中心实现的。代表特征矢量距离计算部85使用多个并行的处理器41，计算多个代表特征矢量的至少一部分中的每一个与查询特征矢量之间的距离。此处，作为计算对象的代表特征矢量是属于由代表聚类选择部84选择出的集合的代表特征矢量。代表特征矢量距离计算部85与上位代表矢量距离计算部83计算距离同样地，根据图13的流程来计算距离。不过，计算对象矢量是上述代表特征矢量。与上位代表矢量距离计算部83同样，该处理内容与GPU这样的硬件兼容性高，可非常高速地进行处理。
图像特征聚类选择部86是以并行计算装置14为中心实现的。图像特征聚类选择部86基于由代表特征矢量距离计算部85计算出的查询特征矢量与多个代表特征矢量中的每一个之间的距离，从多个图像特征聚类选择图像特征聚类。更具体而言，例如选择由与查询特征矢量之间的距离最短的代表特征矢量所代表的图像特征聚类。
图像特征矢量传送部87是以存储部12和并行计算装置14为中心实现的。图像特征矢量传送部87将属于由图像特征聚类选择部86选择出的图像特征聚类的多个图像特征矢量20从聚类矢量保存部71传送到能够由多个处理器41共同地进行存取的装置内存储器45。图像特征矢量传送部87使用并行计算装置14和总线15的DMA功能，将上述数据从存储部12传送到装置内存储器45。与图11中代表矢量传送部81传送代表特征矢量等相同，图像特征矢量传送部87配置图像特征矢量20的数据，使得多个处理器41可一并地读取保存在装置内存储器45中的数据。
图像特征矢量距离计算部88是以并行计算装置14为中心实现的。图像特征矢量距离计算部88使用多个并行的处理器41，来计算多个图像特征矢量20中的每一个与查询特征矢量之间的距离。此处，计算中使用的图像特征矢量20是属于由图像特征聚类选择部86选择出的图像特征聚类的图像特征矢量20。该数据被图像特征矢量传送部87传送到装置内存储器45。图像特征矢量距离计算部88与上位代表矢量距离计算部83计算距离的方式同样，根据图13的流程，对各个查询特征矢量计算距离。不过，计算对象矢量为图像特征矢量20。与上位代表矢量距离计算部83同样，该处理内容与GPU这样的硬件兼容性高，可非常高速地进行处理。
检索结果图像选择部89是以并行计算装置14为中心实现的。检索结果图像选择部89根据图像特征矢量距离计算部88的计算结果，选择作为检索对象的多个图像中的任意一个作为检索结果。首先，检索结果图像选择部89根据由图像特征矢量距离计算部88计算出的查询特征矢量和多个图像特征矢量20中的每一个之间的距离，取得与使用了该距离计算的查询特征矢量对应的图像。更具体而言，例如，针对每一个查询特征矢量，选择已提取出与该查询特征矢量之间的距离最短的图像特征矢量20的图像特征矢量20，取得已提取出该图像特征矢量20的图像。将该取得的图像的图像ID保存在装置内存储器45中。
接下来，检索结果图像选择部89对与各个查询特征矢量中的任意一个对应的、取得的多个图像进行统计处理，选择与要查询的图像相似的1个或多个图像。图14是示出对与查询特征矢量对应的图像进行统计处理的结果的一例的图。在图14的示例中，检索结果图像选择部89针对选择出的每一个图像，对与该图像对应的查询特征矢量的数量（检索出的次数）进行计数，针对每一个图像进行计分。进行从该计分后的数值大的起降序地排序的统计处理。由于针对从查询图像提取出的多个查询特征矢量图像中的每一个来选择图像，因此，通过对其进行统计处理，能够根据通过距离计算而选择出的图像，来评价哪个图像与查询图像相似。根据该统计结果，检索结果图像选择部89选择1个或多个图像作为检索结果的图像，并将选择出的图像的信息输出到网络服务器2。选择出的图像例如可以是检索出的次数最多的图像，或者按照该次数由多到少的顺序靠前的几个。网络服务器2向客户端装置3输出用于显示检索结果的图像的信息。
根据到此为止的说明可知，从上位代表矢量距离计算部83起到图像特征矢量距离计算部88为止的处理与GPU等进行并行计算的硬件的兼容性高，能够充分地发挥其并行计算能力。而且，检索结果图像选择部89的处理也可以进行一定程度的并行处理，与使用了CPU11的处理相比，能够更高速地进行处理。此外，与从上位代表矢量距离计算部83起到图像特征矢量距离计算部88为止的处理相比，检索结果图像选择部89的处理量较小，因此，本处理的处理时间相对于整体的处理时间的比例非常小。由此，能够充分获得基于GPU而实现的处理时间的缩短效果。
在上述说明中，图像特征矢量距离计算部88和检索结果图像选择部89的处理是以并行计算装置14为中心进行的，不过也可以以CPU11为中心来进行。这是因为，仅使GPU执行其它处理也可得到高速化的效果。此外，如果通过CPU11来执行图像特征矢量距离计算部88和检索结果图像选择部89的处理，能够省略图像特征矢量传送部87的处理，因此，与代表特征矢量的距离计算等相比，抑制了由CPU11进行处理而造成的计算时间的增加。
此外，在本实施方式中，如上位代表矢量和代表特征矢量这样，设为代表矢量是2个阶段的树结构的结构，不过也可以是不设置上位代表矢量的1个阶段的结构。在该情况下，不需要上位代表矢量距离计算部83和代表聚类选择部84的处理，代表特征矢量距离计算部85对全部的代表特征矢量进行距离计算。此外，也可以设置作为上位代表矢量的母的母代表矢量，成为3个阶段以上的结构。在设为3个阶段以上的结构的情况下，在上位代表矢量距离计算部83之前，进行计算与该母代表矢量之间的距离计算的处理以及从其中选择出上位代表矢量的集合的处理，上位代表矢量距离计算部83针对该选择出的上位代表矢量的集合（一部分的上位代表矢量）进行距离计算。
图15是示出索引追加部53的功能结构的功能框图。索引追加部53在功能上包含追加特征矢量提取部91、追加特征矢量距离计算部92、追加聚类选择部93和图像特征矢量追加部94。
追加特征矢量提取部91主要由CPU11和存储部12实现。追加特征矢量提取部91从保存在存储部12中的、作为检索对象而被追加的图像，提取多个图像特征矢量20。该提取方法可以是与图像特征矢量提取部61相同的方法。以下，将该图像特征矢量20记作追加特征矢量。
追加特征矢量距离计算部92是以并行计算装置14为中心实现的。追加特征矢量距离计算部92计算追加特征矢量与保存在树结构代表矢量保存部72中的代表特征矢量中的每一个之间的距离。该距离是根据如下流程计算出的：在该流程中，将图13所示的处理方法中的查询特征矢量和作为计算对象的矢量分别替换为追加特征矢量和全部的代表聚类中包含的代表特征矢量。
追加聚类选择部93以并行计算装置14为中心进行计算。追加聚类选择部93根据追加特征矢量距离计算部92的计算结果，来选择追加特征矢量所属的图像特征聚类。例如，针对各个追加特征矢量，选择与该追加特征矢量之间的距离最短的代表特征矢量所代表的图像特征聚类，作为与该追加特征矢量对应的图像特征聚类。
图像特征矢量追加部94是以CPU11和存储部12为中心实现的。图像特征矢量追加部94在由追加聚类选择部93选择出的图像特征聚类中追加与其对应的追加特征矢量，并将该图像特征聚类的数据保存在聚类矢量保存部71中。由此，即使在追加作为检索对象的图像的情况下，也能够在不再次进行聚类处理的情况下，将追加后的图像追加到检索对象中，从而节约与该追加相对应的处理时间。

Claims (9)

1.一种图像检索装置，该图像检索装置具有：
公共存储器；和
多个并行的处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，
该图像检索装置的特征在于，具有：
代表矢量传送单元，其从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；
查询特征矢量取得单元，其取得从要查询的图像提取出的1个或多个查询特征矢量，并保存在所述公共存储器中；
第1距离计算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；
第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及
根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
2.根据权利要求1所述的图像检索装置，其特征在于，
所述图像检索装置还具有图像特征矢量传送单元，该图像特征矢量传送单元将属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量从所述存储单元传送到所述公共存储器，
所述第2距离计算单元使用所述多个并行的处理器，计算被传送的所述图像特征矢量与所述查询特征矢量之间的距离。
3.根据权利要求1或2所述的图像检索装置，其特征在于，
所述多个代表特征矢量的数据量小于所述公共存储器的容量。
4.根据权利要求3所述的图像检索装置，其特征在于，
属于所述多个聚类中的1个的图像特征矢量的数据量小于所述公共存储器的容量，
属于所述多个聚类的图像特征矢量的数据量大于所述公共存储器的容量。
5.根据权利要求2所述的图像检索装置，其特征在于，
属于所述多个聚类中的1个的图像特征矢量和所述多个代表矢量的数据量小于所述公共存储器的容量，
所述图像特征矢量传送单元将属于选择出的所述聚类的图像特征矢量置换为存储在公共存储器中的其它图像特征矢量。
6.根据权利要求1所述的图像检索装置，其特征在于，
所述图像检索装置还具有：
追加图像特征矢量提取单元，其从作为追加的检索对象的图像中，提取多个图像特征矢量；以及
图像特征矢量追加单元，其将由所述追加图像特征矢量提取单元提取出的图像特征矢量追加到所述聚类中的任意一个聚类。
7.一种程序，其使计算机发挥作用，其中，所述计算机具有：
公共存储器；和
多个并行的处理器，它们执行相同的命令，分别一次性读取保存在所述公共存储器中的数据并进行处理，
所述程序使所述计算机作为如下单元发挥作用：
代表矢量传送单元，其从存储有分别属于多个聚类中的某一个的多个图像特征矢量和分别代表所述多个聚类中的某一个的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是根据作为检索对象的多个图像提取出的；
查询设定单元，其将根据要查询的图像提取出的1或者多个查询特征矢量设定于所述公共存储器中；
第1距离计算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；
第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及
根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
8.一种图像检索方法，该画像检索方法使计算机检索图像，其中，所述计算机具有：
公共存储器；和
多个并行的处理器，它们执行相同的命令，分别一并地读取保存在所述公共存储器中的数据并进行处理，
该图像检索方法的特征在于，该画像检索方法具有如下步骤：
代表矢量传送步骤，从存储有分别属于多个聚类中的任意一个聚类的多个图像特征矢量和分别代表所述多个聚类中的任意一个聚类的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是从作为检索对象的多个图像提取出的；
查询设定步骤，将从要查询的图像提取出的1个或者多个查询特征矢量设定于所述公共存储器中，
第1距离计算步骤，使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；
第2距离计算步骤，计算属于根据所述第1距离计算步骤的计算结果选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及
根据所述第2距离计算步骤的计算结果，选择所述多个图像中的至少1个图像的步骤。
9.一种计算机可读取的存储介质，所述计算机具有：
公共存储器；和
多个并行的处理器，它们执行相同的命令，分别一次性读取保存在所述公共存储器中的数据并进行处理，
所述存储介质存储有程序，所述程序用于使所述计算机作为如下单元发挥作用：
代表矢量传送单元，其从存储有分别属于多个聚类中的某一个的多个图像特征矢量和分别代表所述多个聚类中的某一个的多个代表特征矢量的存储单元，将所述多个代表特征矢量传送到所述公共存储器，其中，所述多个图像特征矢量是根据作为检索对象的多个图像提取出的；
查询设定单元，其将根据要查询的图像提取出的1个或者多个查询特征矢量设定于所述公共存储器中；
第1距离计算单元，其使用所述多个并行的处理器，计算被传送的所述多个代表特征矢量中的至少一部分与所述查询特征矢量之间的距离；
第2距离计算单元，其计算属于根据所述第1距离计算单元的计算结果而选择出的聚类的图像特征矢量与所述查询特征矢量之间的距离；以及
根据所述第2距离计算单元的计算结果，选择所述多个图像中的至少1个图像的单元。
CN201180073446.1A 2011-09-16 2011-11-25 图像检索装置和图像检索方法 Active CN103797509B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011202713A JP4976578B1 (ja) 2011-09-16 2011-09-16 画像検索装置およびプログラム
JP2011-202713 2011-09-16
PCT/JP2011/077149 WO2013038574A1 (ja) 2011-09-16 2011-11-25 画像検索装置、画像検索方法、プログラムおよびコンピュータ読み取り可能な記憶媒体

Publications (2)

Publication Number Publication Date
CN103797509A true CN103797509A (zh) 2014-05-14
CN103797509B CN103797509B (zh) 2017-07-07

Family

ID=46678851

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201180073446.1A Active CN103797509B (zh) 2011-09-16 2011-11-25 图像检索装置和图像检索方法

Country Status (6)

Country Link
US (1) US9588991B2 (zh)
EP (1) EP2757521B1 (zh)
JP (1) JP4976578B1 (zh)
CN (1) CN103797509B (zh)
ES (1) ES2699252T3 (zh)
WO (1) WO2013038574A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209942A (zh) * 2015-04-20 2017-09-26 株式会社日立制作所 对象检测方法和图像检索系统
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870485B (zh) * 2012-12-13 2017-04-26 华为终端有限公司 实现增强现实应用的方法及设备
US10503732B2 (en) 2013-10-31 2019-12-10 Micro Focus Llc Storing time series data for a search query
US10678765B2 (en) 2014-03-31 2020-06-09 Rakuten, Inc. Similarity calculation system, method of calculating similarity, and program
US20150302036A1 (en) * 2014-04-18 2015-10-22 Inplore Inc. Method, system and computer program for information retrieval using content algebra
US10423616B2 (en) 2014-04-30 2019-09-24 Hewlett Packard Enterprise Development Lp Using local memory nodes of a multicore machine to process a search query
JP5755822B1 (ja) * 2014-06-30 2015-07-29 楽天株式会社 類似度算出システム、類似度算出方法およびプログラム
GB2534535A (en) * 2014-10-08 2016-08-03 Lancaster Univ Business Entpr Ltd Data structuring and searching methods and apparatus
JP6420162B2 (ja) * 2015-01-22 2018-11-07 株式会社デンソーアイティーラボラトリ 画像検索装置、画像検索方法および画像検索プログラム
US9430718B1 (en) 2015-02-09 2016-08-30 Sony Corporation Efficient local feature descriptor filtering
US9311342B1 (en) * 2015-02-09 2016-04-12 Sony Corporation Tree based image storage system
US10528613B2 (en) * 2015-11-23 2020-01-07 Advanced Micro Devices, Inc. Method and apparatus for performing a parallel search operation
US11816143B2 (en) 2017-07-18 2023-11-14 Ebay Inc. Integrated image system based on image search feature
CN110019867A (zh) * 2017-10-10 2019-07-16 阿里巴巴集团控股有限公司 图像搜索方法、系统和索引构建方法和介质
CN108241745B (zh) * 2018-01-08 2020-04-28 阿里巴巴集团控股有限公司 样本集的处理方法及装置、样本的查询方法及装置
CN110959157B (zh) * 2018-05-01 2024-03-12 谷歌有限责任公司 加速大规模相似性计算
WO2020051704A1 (en) * 2018-09-12 2020-03-19 Avigilon Corporation System and method for improving speed of similarity based searches
US10956778B2 (en) * 2019-03-05 2021-03-23 International Business Machines Corporation Multi-level deep feature and multi-matcher fusion for improved image recognition
CN113495965A (zh) * 2020-04-08 2021-10-12 百度在线网络技术（北京）有限公司 一种多媒体内容检索方法、装置、设备及存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6728752B1 (en) * 1999-01-26 2004-04-27 Xerox Corporation System and method for information browsing using multi-modal features
CN102129451A (zh) * 2011-02-17 2011-07-20 上海交通大学 图像检索系统中数据聚类方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4344134A (en) * 1980-06-30 1982-08-10 Burroughs Corporation Partitionable parallel processor
US4742552A (en) * 1983-09-27 1988-05-03 The Boeing Company Vector image processing system
JPS6432379A (en) * 1987-07-29 1989-02-02 Hitachi Ltd Computer
US5253308A (en) * 1989-06-21 1993-10-12 Amber Engineering, Inc. Massively parallel digital image data processor using pixel-mapped input/output and relative indexed addressing
JP2609196B2 (ja) * 1993-03-22 1997-05-14 株式会社エイ・ティ・アール自動翻訳電話研究所 類似度計算装置
US6134541A (en) 1997-10-31 2000-10-17 International Business Machines Corporation Searching multidimensional indexes using associated clustering and dimension reduction information
JP2000076268A (ja) * 1998-08-31 2000-03-14 Canon Inc 画像検索装置及びその方法、コンピュータ可読メモリ
EP1089198A3 (en) * 1999-09-30 2003-03-12 Hewlett-Packard Company, A Delaware Corporation Content-based image searching
GB2382886B (en) * 2001-10-31 2006-03-15 Alphamosaic Ltd Vector processing system
US7219085B2 (en) 2003-12-09 2007-05-15 Microsoft Corporation System and method for accelerating and optimizing the processing of machine learning techniques using a graphics processing unit
JP2005234994A (ja) 2004-02-20 2005-09-02 Fujitsu Ltd 類似度判定プログラム、マルチメディアデータ検索プログラム、類似度判定方法、および類似度判定装置
US7548892B2 (en) 2004-04-30 2009-06-16 Microsoft Corporation Processing machine learning techniques using a graphics processing unit
JP2006031567A (ja) 2004-07-20 2006-02-02 Chuden Gijutsu Consultant Kk 建造物画像検索システム
WO2006033257A1 (ja) 2004-09-24 2006-03-30 Matsushita Electric Industrial Co., Ltd. 画像変換方法、画像変換装置、サーバークライアントシステム、携帯機器およびプログラム
JP4545641B2 (ja) 2005-06-01 2010-09-15 日本電信電話株式会社 類似画像検索方法，類似画像検索システム，類似画像検索プログラム及び記録媒体
US20070244925A1 (en) * 2006-04-12 2007-10-18 Jean-Francois Albouze Intelligent image searching
JP4753082B2 (ja) 2006-07-11 2011-08-17 独立行政法人産業技術総合研究所 高次局所共起特徴導出方法及びプログラム
JP5098559B2 (ja) 2007-10-11 2012-12-12 富士ゼロックス株式会社 類似画像検索装置、及び類似画像検索プログラム
JP5322111B2 (ja) * 2007-11-06 2013-10-23 国立大学法人北海道大学 類似画像検索装置
KR101582142B1 (ko) * 2008-06-06 2016-01-05 톰슨 라이센싱 이미지들의 유사성 검색을 위한 시스템 및 방법
US8195689B2 (en) * 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8144947B2 (en) 2008-06-27 2012-03-27 Palo Alto Research Center Incorporated System and method for finding a picture image in an image collection using localized two-dimensional visual fingerprints
JP2010250637A (ja) 2009-04-17 2010-11-04 Seiko Epson Corp 画像サーバー、画像検索システム、画像検索方法および画像管理方法
US8429173B1 (en) * 2009-04-20 2013-04-23 Google Inc. Method, system, and computer readable medium for identifying result images based on an image query
WO2011021605A1 (ja) 2009-08-18 2011-02-24 公立大学法人大阪府立大学 物体検出方法
JP5458815B2 (ja) 2009-11-11 2014-04-02 株式会社デンソーアイティーラボラトリ マルチメディア検索システム
JP5337673B2 (ja) * 2009-11-13 2013-11-06 株式会社日立製作所 画像検索システム
JP5385105B2 (ja) 2009-11-25 2014-01-08 Ｋｄｄｉ株式会社 画像検索方法およびシステム
CA2785746C (en) 2009-12-30 2016-09-13 Nokia Corporation Methods and apparatuses for facilitating content-based image retrieval
JP2012033022A (ja) 2010-07-30 2012-02-16 Panasonic Corp 空間における変化領域検出装置及び方法
US8515193B1 (en) * 2011-04-08 2013-08-20 Google Inc. Image compression using exemplar dictionary based on hierarchical clustering
JP5577371B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法およびプログラム
JP5577372B2 (ja) * 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体
WO2014158169A1 (en) * 2013-03-28 2014-10-02 Hewlett-Packard Development Company, L.P. Generating a feature set

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6728752B1 (en) * 1999-01-26 2004-04-27 Xerox Corporation System and method for information browsing using multi-modal features
CN102129451A (zh) * 2011-02-17 2011-07-20 上海交通大学 图像检索系统中数据聚类方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
CHUNSHENG FANG: "A Parallel Implementation of Content‐Based Image Retrieval: Final Project Report", 《HTTP://EECS.CEAS.UC.EDU/~FANGCG/COURSE/CS668%20FINAL%20PROJECT%20REPORT.PDF》 *
NGUY EN-KHANG PHAM 等: "Accelerating Image Retrieval Using Factorial Correspondence Analysis on GPU", 《COMPUTER ANALYSIS OF IMAGES AND PATTERNS》 *
徐焕 等: "基于内容的多媒体数据库索引算法研究", 《郑州轻工业学院学报》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107209942A (zh) * 2015-04-20 2017-09-26 株式会社日立制作所 对象检测方法和图像检索系统
CN110659373A (zh) * 2019-08-27 2020-01-07 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质
CN110659373B (zh) * 2019-08-27 2022-11-08 浙江大华技术股份有限公司 图像检索的方法、设备、计算机设备和存储介质

Also Published As

Publication number Publication date
CN103797509B (zh) 2017-07-07
EP2757521A4 (en) 2015-09-23
JP2013065146A (ja) 2013-04-11
EP2757521B1 (en) 2018-10-10
WO2013038574A1 (ja) 2013-03-21
US9588991B2 (en) 2017-03-07
JP4976578B1 (ja) 2012-07-18
US20150052139A1 (en) 2015-02-19
ES2699252T3 (es) 2019-02-08
EP2757521A1 (en) 2014-07-23

Similar Documents

Publication Publication Date Title
CN103797509A (zh) 图像检索装置、图像检索方法、程序和计算机可读取的存储介质
CN104246765B (zh) 图像检索装置、图像检索方法、程序以及计算机可读取的存储介质
EP2833275B1 (en) Image search device, image search method, program, and computer-readable storage medium
CN102880854B (zh) 基于分布式和哈希映射的室外海量物体识别方法和系统
CN106202224B (zh) 搜索处理方法及装置
CN111078952B (zh) 一种基于层次结构的跨模态可变长度哈希检索方法
KR101931859B1 (ko) 전자문서의 대표 단어 선정 방법, 전자 문서 제공 방법, 및 이를 수행하는 컴퓨팅 시스템
CN115878824B (zh) 图像检索系统、方法和装置
KR101780534B1 (ko) 이미지 기반 검색을 위한 맵리듀스 기반의 이미지 특징 추출 방법 및 시스템
CN111506750B (zh) 图片检索方法、装置及电子设备
CN113590898A (zh) 数据检索方法、装置、电子设备、存储介质及计算机产品
CN110633379B (zh) 一种基于gpu并行运算的以图搜图系统及方法
CN113971225A (zh) 图像检索系统、方法和装置
Wu et al. Asymmetric feature fusion for image retrieval
CN111090743B (zh) 一种基于词嵌入和多值形式概念分析的论文推荐方法及装置
CN113821704B (zh) 构建索引的方法、装置、电子设备和存储介质
CN116116013A (zh) 卡组推荐处理方法及其装置、设备、介质、产品
CN118093782A (zh) 一种基于知识图谱检索多模态信息的处理方法和装置
CN114791978A (zh) 新闻推荐方法、装置、设备以及存储介质
CN113609214A (zh) 一种基于区块链的数据反哺方法及系统
KR100944655B1 (ko) 비공간정보를 포함하는 데이터 생성장치 및 방법, 그리고 데이터 검색장치 및 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CP01 Change in the name or title of a patent holder

Address after: Tokyo, Japan

Patentee after: Lotte Group Co.,Ltd.

Address before: Tokyo, Japan

Patentee before: Rakuten, Inc.

CP01 Change in the name or title of a patent holder