JP2012003357A - Feature information creation device, method and program - Google Patents

Feature information creation device, method and program Download PDF

Info

Publication number
JP2012003357A
JP2012003357A JP2010135642A JP2010135642A JP2012003357A JP 2012003357 A JP2012003357 A JP 2012003357A JP 2010135642 A JP2010135642 A JP 2010135642A JP 2010135642 A JP2010135642 A JP 2010135642A JP 2012003357 A JP2012003357 A JP 2012003357A
Authority
JP
Japan
Prior art keywords
image
feature
search
feature amount
similar
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010135642A
Other languages
Japanese (ja)
Other versions
JP5197680B2 (en
Inventor
Masajiro Iwasaki
雅二郎 岩崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yahoo Japan Corp
Original Assignee
Yahoo Japan Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yahoo Japan Corp filed Critical Yahoo Japan Corp
Priority to JP2010135642A priority Critical patent/JP5197680B2/en
Publication of JP2012003357A publication Critical patent/JP2012003357A/en
Application granted granted Critical
Publication of JP5197680B2 publication Critical patent/JP5197680B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PROBLEM TO BE SOLVED: To prevent deterioration of retrieval accuracy when similar image retrieval is performed with an image as a key.SOLUTION: An existing web retrieval engine E is used to obtain an image from a web server GS on the basis of a retrieval result obtained by providing a keyword for the web retrieval engine. An image feature amount extracted from the image is stored and accumulated for use in similar image retrieval, so that a similar image retrieval engine is realized without a large burden associated with specific use of a crawler. Deterioration of retrieval accuracy that occurs when an irrelevant image similar only in appearance hits as a similar image candidate during a retrieval using only image feature amount is avoided by storing text feature amount in addition to image feature amount for consideration into a similar image retrieval.

Description

本発明は、画像をキーとした類似画像検索に関する。   The present invention relates to a similar image search using an image as a key.

従来、ウェブ上におけるコンテンツの充実や多様化に伴い、インターネット上で公開されている様々な情報を検索する手法が増加しつつある。基本的な手法として、指定されるキーワードを検索キー(クエリ)とするキーワード検索が知られ、その他にも、検索で指定される画像(「クエリ画像」などと呼ばれる)を検索キーとしてそれに類似する画像を検索して表示する、いわゆる類似画像検索が知られている(例えば、非特許文献1参照)。   2. Description of the Related Art Conventionally, with the enrichment and diversification of content on the web, methods for searching various information published on the Internet are increasing. As a basic method, keyword search using a specified keyword as a search key (query) is known, and in addition, an image specified by a search (called “query image” or the like) is used as a search key and similar to it. A so-called similar image search in which an image is searched and displayed is known (for example, see Non-Patent Document 1).

類似画像検索では、画像ごとの色や形状など視覚的な特徴をデータ化した特徴量と呼ぶ情報同士を画像同士で比較することにより、クエリ画像に類似する画像を検索して表示する。ここで、検索結果の候補として、クエリ画像と比較される側の多数の画像を以下「候補画像」と呼ぶこととするが、上記のような類似画像検索をシステムなどで実現するためには、多数の候補画像に、その画像データから抽出した色や形状などを表す特徴量を関連付け、データベースなどとして予め用意しておく必要がある。   In the similar image search, images similar to the query image are searched and displayed by comparing information called feature amounts obtained by converting visual features such as color and shape of each image into data. Here, as a search result candidate, a large number of images to be compared with the query image are hereinafter referred to as “candidate images”. In order to implement the similar image search as described above in the system or the like, It is necessary to prepare in advance as a database or the like by associating a large number of candidate images with feature amounts representing colors and shapes extracted from the image data.

グーグル株式会社、「Google Similar Images」、[online]、[2010年3月17日検索]、インターネット〈URL: http://similar-images.googlelabs.com/ >Google Inc., “Google Similar Images”, [online], [Search March 17, 2010], Internet <URL: http://similar-images.googlelabs.com/>

特開2008−160556号公報JP 2008-160556 A

ここで、検索に関連して画像を登録する従来技術の例として、ユーザが入力したキーワードに関する画像をインターネットの検索エンジンで検索し、ヒットした画像を登録する例はあるが(特許文献1参照)、この種の検索で取得できる画像はサムネイル画像やキャッシュ画像であり、類似画像検索用の特徴量抽出に適したオリジナルの画像データを取得できるものではなかった。   Here, as an example of a conventional technique for registering an image in relation to a search, there is an example in which an image related to a keyword input by a user is searched by an Internet search engine and a hit image is registered (see Patent Document 1). Images that can be acquired by this type of search are thumbnail images and cache images, and original image data suitable for feature amount extraction for similar image search cannot be acquired.

この点、ウェブ上から任意のデータを網羅的に得る技術としては、クローラによるクローリングがある。クローリングは、クローラと呼ぶコンピュータ・プログラムにより、ウェブページ間のハイパーリンクやURLの階層構造などを基に、ウェブ上を巡回(クロール)するようにアクセスして情報を収集する処理である。   In this regard, as a technique for comprehensively obtaining arbitrary data from the web, there is a crawling by a crawler. Crawling is a process in which a computer program called a crawler accesses and collects information by crawls on the web based on hyperlinks between web pages, URL hierarchical structures, and the like.

このクローリングで画像を収集することも理論上は考えられるが、クロールのスケジュール管理、収集した情報から検索用データ(いわゆるインデックスデータ)を生成するインデクシング処理、情報間の優先順位を判断するランキング処理など、クローラの作成や運用はコストなどの負荷が大きい。このため、従来では、ウェブ上の画像を検索可能にする類似画像検索システムの実現は容易ではなかった。   Although it is theoretically possible to collect images by this crawling, crawl schedule management, indexing processing for generating search data (so-called index data) from collected information, ranking processing for determining priority among information, etc. The creation and operation of crawlers are costly. For this reason, conventionally, it has not been easy to implement a similar image retrieval system that enables retrieval of images on the web.

上記の課題に対し本発明の目的は、独自にクローラを用意する大きな負荷無しで類似画像検索用データを作成し類似画像検索システムを実現することである。   In view of the above problems, an object of the present invention is to create a similar image search system by creating similar image search data without a large load of preparing a crawler independently.

上記の目的をふまえ、本発明の一態様(1)は、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、を有することを特徴とする。   Based on the above object, one aspect (1) of the present invention is a feature information creation device that creates feature storage means for storing image feature quantities for each image in order to search for an image similar to a designated image. The search access means for transmitting the keyword to the web search engine and receiving the search result related to the transmitted keyword, and the image by accessing the web server based on the identification information of the information included in the received search result. Image acquisition means for acquiring data, and feature quantity extraction means for extracting an image feature quantity from the acquired image data and storing the image feature quantity in association with the identification information in a predetermined feature storage means It is characterized by that.

本発明の他の態様(5)は、上記態様を方法のカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、を含むことを特徴とする。   According to another aspect (5) of the present invention, the above aspect is captured by a method category, and a feature storage means for storing an image feature amount for each image in order to search for an image similar to a designated image is provided. A method of creating characteristic information created by a computer, wherein the computer transmits a keyword to a web search engine and receives a search result relating to the transmitted keyword, and information included in the search result received by the computer An image acquisition step of acquiring image data by accessing a web server based on the identification information of the image, and the computer extracts an image feature amount from the acquired image data, and the image feature amount corresponds to the identification information And a feature amount extraction step for storing the feature amount in a predetermined feature storage means.

本発明の他の態様(6)は、上記態様をコンピュータ・プログラムのカテゴリで捉えたもので、指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、そのプログラムはコンピュータを制御することにより、ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させることを特徴とする。   According to another aspect (6) of the present invention, the above aspect is captured by a category of a computer program, and a feature memory that stores an image feature amount for each image in order to search for an image similar to a designated image. A feature information creation program for causing a computer to create means, which controls a computer to cause a web search engine to transmit a keyword, to receive a search result related to the transmitted keyword, and to be included in the received search result The image data is acquired by accessing the web server based on the identification information of the information to be extracted, the image feature amount is extracted from the acquired image data, and the image feature amount is associated with the identification information to obtain a predetermined feature It is stored in a storage means.

このように、既存のウェブ検索エンジンを活用し、ウェブ検索エンジンにキーワードを渡して得る検索結果に基づいてウェブサーバから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。   In this way, utilizing an existing web search engine, acquiring an image from a web server based on a search result obtained by passing a keyword to the web search engine, storing and accumulating image features extracted from the image, and similar images By using it for the search, a similar image search engine can be realized without a large load using a crawler independently.

本発明の他の態様(2)は、上記いずれかの態様において、前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする。   According to another aspect (2) of the present invention, in any one of the above aspects, the web search engine is an image search engine that searches for an image based on a keyword.

このように、前記ウェブ検索エンジンとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。   As described above, since an image is obtained as a search result by using an image search engine that searches for an image from a keyword as the web search engine, an original image is provided as compared with the case of obtaining a web page as a search result. The web server can be accessed quickly and processing can be made more efficient.

本発明の他の態様(3)は、上記いずれかの態様において、前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする。   According to another aspect (3) of the present invention, in any one of the above aspects, the feature amount extraction unit further includes a text feature amount based on a keyword transmitted to the web search engine by the search access unit, and the image feature. It is characterized by being stored in the feature storage means in association with the quantity or the identification information.

このように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。   In this way, by storing not only the image feature amount but also the text feature amount and adding to the similar image search, another similar image candidate similar only in appearance is hit in the case of only the image feature amount, and the search accuracy is deteriorated. The problem can be avoided.

本発明の他の態様(4)は、上記いずれかの態様において、類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる、判別制御手段を有することを特徴とする。   According to another aspect (4) of the present invention, in any one of the above aspects, for the image specified in the similar image search request, whether or not the image feature amount is stored in the feature storage unit is determined. For the image determined not to be stored, the image acquisition unit acquires image data, the image feature amount is extracted by the feature amount extraction unit, and the image feature amount is associated with the identification information. It is characterized by having a discrimination control means for storing in the feature storage means.

このように、類似画像検索で指定された画像の画像特徴量が未記憶の場合、画像を取得し画像特徴量の抽出と記憶を行うことにより、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。   As described above, when the image feature amount of the image specified in the similar image search is not stored, the image is acquired, and the image feature amount is extracted and stored. Sequential enhancements can improve the quality of similar image retrieval.

なお、上記の各態様とは異なるカテゴリ(装置に対し方法、方法に対しプログラムなど)や、以下に説明するさらに具体的な各態様も本発明に含まれる。異なるカテゴリについては、「手段」を「ステップ」のように適宜読み替えるものとする。   It should be noted that a category (method for the apparatus, program for the method, etc.) different from each of the above-described modes and more specific modes described below are also included in the present invention. For different categories, “means” shall be appropriately read as “step”.

本発明によれば、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。   According to the present invention, it is possible to prevent a decrease in search accuracy when a similar image search is performed using an image as a key.

本発明の実施形態の構成を示す機能ブロック図。The functional block diagram which shows the structure of embodiment of this invention. 本発明の実施形態で用いる情報(データ)を例示する図。The figure which illustrates the information (data) used by embodiment of this invention. 本発明の実施形態における特徴情報作成の処理手順を示すフローチャート。The flowchart which shows the process sequence of the feature information creation in embodiment of this invention. 本発明の実施形態における類似画像検索の処理手順を示すフローチャート。The flowchart which shows the process sequence of the similar image search in embodiment of this invention. 本発明の実施形態において、テキストから画像を検索するための画面例を示す図。The figure which shows the example of a screen for searching an image from a text in embodiment of this invention. 本発明の実施形態において類似画像検索のために画像を選定する画面例を示す図。The figure which shows the example of a screen which selects an image for a similar image search in embodiment of this invention. 本発明の実施形態における重み付けの一例を示す概念図。The conceptual diagram which shows an example of the weighting in embodiment of this invention. 本発明の実施形態における重み付けの一例を示す概念図。The conceptual diagram which shows an example of the weighting in embodiment of this invention. 本発明の実施形態における類似画像検索結果の画面表示例を示す図。The figure which shows the example of a screen display of the similar image search result in embodiment of this invention. 本発明の実施形態における類似画像検索結果の画面表示例を示す図。The figure which shows the example of a screen display of the similar image search result in embodiment of this invention. 本発明の実施形態における類似画像検索結果の画面表示例を示す図。The figure which shows the example of a screen display of the similar image search result in embodiment of this invention.

次に、本発明を実施するための形態(「実施形態」と呼ぶ)について、図に沿って説明する。なお、背景技術や課題などで既に述べた内容と共通の前提事項については適宜省略する。   Next, modes for carrying out the present invention (referred to as “embodiments”) will be described with reference to the drawings. It should be noted that assumptions common to those already described in the background art and problems are omitted as appropriate.

〔1.構成〕
本実施形態は、本発明の特徴情報作成装置を図1の検索サーバ1(以下「サーバ」又は「サーバ1」と呼ぶ)に適用した例であり、サーバ1は、端末T(図1右下寄り)から通信ネットワークN経由で指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段21を作成する機能と、作成された特徴記憶手段21を用いて端末Tからの要求に応じて類似画像の検索サービスを提供する機能と、を有する。
[1. Constitution〕
The present embodiment is an example in which the feature information creation apparatus of the present invention is applied to the search server 1 in FIG. 1 (hereinafter referred to as “server” or “server 1”). A feature storage unit 21 that stores image feature quantities for each image and a feature storage unit 21 that is used to search for an image similar to the image specified via the communication network N. And a function of providing a similar image search service in response to a request from the terminal T.

サーバ1は、一般的なコンピュータの構成として少なくとも、CPUなどの演算制御部6と、外部記憶装置(HDD等)や主メモリ等の記憶装置7と、通信ネットワークN(インターネット、携帯電話網、LANなど)との通信手段8(LANアダプタや通信ゲートウェイなど)と、を有する。なお、図1で通信ネットワークNを2つ示しているが、両者は互いに同一でも異なってもよい。また、端末Tは、パーソナル・コンピュータ(PC)、スマートフォンや携帯電話端末装置など、ユーザがクライアント・システムとして用いる情報処理装置で、図1は模式的なものであり、実際には多数存在する。   The server 1 has, as a general computer configuration, at least an arithmetic control unit 6 such as a CPU, a storage device 7 such as an external storage device (HDD or the like) or a main memory, and a communication network N (Internet, mobile phone network, LAN, etc.). Communication means 8 (such as a LAN adapter and a communication gateway). Although two communication networks N are shown in FIG. 1, they may be the same or different from each other. The terminal T is an information processing apparatus used as a client system by a user, such as a personal computer (PC), a smart phone, or a mobile phone terminal device. FIG. 1 is a schematic one, and there are actually many.

そして、サーバ1では、それぞれ、記憶装置7に予め記憶(インストール)した図示しない所定のコンピュータ・プログラムが演算制御部6を制御することで、図1に示す各手段などの要素(11,12,13…,21,22,23…など)を実現する。これら各要素のうち、情報の記憶手段は、記憶装置7において各種のファイルやデータベース(「DB」とも表す)、配列等の変数、各種スタックやレジスタ、システム設定値など任意の形式で実現できる。   In the server 1, elements (11, 12, and so on) shown in FIG. 1 are respectively controlled by a predetermined computer program (not shown) stored (installed) in advance in the storage device 7 by controlling the arithmetic control unit 6. 13 ..., 21, 22, 23 ... etc.). Among these elements, the information storage means can be realized in the storage device 7 in any format such as various files and databases (also referred to as “DB”), variables such as arrays, various stacks and registers, and system setting values.

このような記憶手段のうち、特徴記憶手段21は、指定されたクエリ画像と類似する画像を検索するために、検索対象となる候補画像ごとの画像特徴量を記憶するための手段で(例えば図2。後述)、サーバ1のうち特徴情報作成装置としての構成は、特徴記憶手段21にそのような画像特徴量を記憶させるものである。なお、特徴情報作成装置の構成と、類似画像を検索する類似画像検索装置の構成は、一体に限らず別々でもよい。また、記憶手段以外の各手段は、以下のような情報処理の機能・作用を実現・実行する処理手段である。   Among such storage means, the feature storage means 21 is a means for storing an image feature amount for each candidate image to be searched in order to search for an image similar to the designated query image (for example, FIG. 2. The configuration of the server 1 as a feature information creation device in the server 1 stores such image feature quantities in the feature storage unit 21. Note that the configuration of the feature information creation device and the configuration of the similar image search device that searches for similar images are not limited to being integrated, and may be different. Each means other than the storage means is a processing means for realizing and executing the following information processing functions and operations.

〔2.特徴情報作成の作用〕
上記のように構成した本実施形態では、予め決められた所定のウェブ検索エンジンEにキーワードを送信し、得られる検索結果に基づいて特徴記憶手段21を作成する。この際に用いるキーワードは、検索エンジンなどで頻繁に用いられる語やウェブページで多く用いられる語などをキーワードリストDなどとして予め用意しておき、その内容を順次処理対象とする。このようなキーワードリストDを用いて特徴量を記憶させることで特徴記憶手段21を作成する処理(仮に「特徴情報作成」と呼ぶ)の手順を図3のフローチャートに示す。
[2. (Feature information creation)
In the present embodiment configured as described above, a keyword is transmitted to a predetermined web search engine E determined in advance, and the feature storage unit 21 is created based on the obtained search result. As keywords used in this case, words frequently used in a search engine or words frequently used in a web page are prepared in advance as a keyword list D or the like, and the contents are sequentially processed. A flow chart of FIG. 3 shows a procedure of processing for creating the feature storage means 21 by storing feature quantities using such a keyword list D (referred to as “feature information creation”).

〔2−1.検索結果に基づく画像の取得〕
すなわち、検索アクセス手段12は、キーワードリストDに未処理のキーワードが残っていれば(ステップS10)、その未処理のキーワードをキーワードリストDから一つ取り出してウェブ検索エンジンEに検索要求として送信し、送信したキーワードに関する検索結果を受信する(ステップS11)。ウェブ検索エンジンEとしては、本実施形態においては、キーワードに基づいて画像を検索する既存の画像検索エンジンを用いる。
[2-1. (Acquiring images based on search results)
That is, if an unprocessed keyword remains in the keyword list D (step S10), the search access unit 12 extracts one unprocessed keyword from the keyword list D and transmits it to the web search engine E as a search request. The search result relating to the transmitted keyword is received (step S11). As the web search engine E, in the present embodiment, an existing image search engine that searches for an image based on a keyword is used.

このウェブ検索エンジンEは、サーバなどのハードウェア上に実現されるサービスであり、WWW(ワールド・ワイド・ウェブ)などのウェブ空間をクロールすることにより、キーワードごとに関連する画像を紐付けた検索用のインデックスデータをインデックス記憶手段11に予め記憶し、アクセス元から検索要求で指定されたキーワードに対応する画像の検索結果をウェブページとしてアクセス元へ送信するものである。   This web search engine E is a service realized on hardware such as a server, and crawls a web space such as the WWW (World Wide Web) to search related keywords for each keyword. Index data is stored in advance in the index storage means 11, and the search result of the image corresponding to the keyword specified in the search request from the access source is transmitted to the access source as a web page.

そして、画像取得手段13は、検索アクセス手段12が受信した検索結果に含まれる情報の識別情報(例えば、画像ごとのURLとファイル名など)に基づいて、画像を提供しているウェブサーバである画像サーバGSにアクセスすることで画像データを取得する(ステップS12)。画像取得手段13は、例えば、検索結果の画面にサムネイルとして列挙されている画像に対応するURLに一つずつ順次httpアクセスすることにより、各画像のファイルを画像データとして取得する。   The image acquisition unit 13 is a web server that provides an image based on identification information (for example, URL and file name for each image) of information included in the search result received by the search access unit 12. Image data is acquired by accessing the image server GS (step S12). For example, the image acquisition unit 13 sequentially acquires http files one by one to URLs corresponding to the images listed as thumbnails on the search result screen, thereby acquiring each image file as image data.

〔2−2.特徴量の抽出〕
続いて、画像取得手段13が取得した画像データから、特徴量抽出手段14が画像特徴量を抽出し、その画像特徴量を識別情報と対応付けて所定の特徴記憶手段21に記憶させる(ステップS13)。ここで、画像特徴量は、画像に含まれる色や形状など視覚的特徴(輪郭線、模様やパターンなどでもよい)を表すデータで、実際の要素や表現形式は自由であるが、説明のため単純化して模式的な例を示せば、図2の「画像特徴量」の欄に例示するように、画像に含まれる形状や色彩などの要素を大きい順、目立つ順などでデータ化したものである。
[2-2. Feature extraction)
Subsequently, the feature amount extraction unit 14 extracts the image feature amount from the image data acquired by the image acquisition unit 13, and stores the image feature amount in association with the identification information in the predetermined feature storage unit 21 (step S13). ). Here, the image feature amount is data representing visual features such as colors and shapes included in the image (may be contour lines, patterns, patterns, etc.), and the actual elements and expression formats are arbitrary, but for explanation. If a simplified and schematic example is shown, as illustrated in the column of “image feature amount” in FIG. 2, elements such as shapes and colors included in the image are converted into data in descending order or in order of conspicuousness. is there.

また、本実施形態では、特徴量抽出手段14は、画像に関連するテキスト(文字列)に基づくテキスト特徴量として、検索アクセス手段12によりウェブ検索エンジンEに送信されたキーワードテキストに基づくテキスト特徴量(図2)を、更に画像特徴量ないし識別情報と対応付けて、候補画像ごとに特徴記憶手段21に記憶させる(ステップS14)。ここで、テキスト特徴量は、その画像に関連する一又は二以上のテキストについて、図2に例示するように、そのテキストとその画像との関連の深さを表す重みと、を対応付けたものである。   In the present embodiment, the feature quantity extraction unit 14 uses the text feature quantity based on the keyword text transmitted to the web search engine E by the search access unit 12 as the text feature quantity based on the text (character string) related to the image. (FIG. 2) is further stored in the feature storage unit 21 for each candidate image in association with the image feature quantity or identification information (step S14). In this case, the text feature amount is obtained by associating, with respect to one or two or more texts related to the image, weights representing the depth of the relationship between the text and the image as illustrated in FIG. It is.

このように画像に関連するテキストは、画像に写っている対象物、情景、テーマ、時間帯などのキーワードで(以下「タグ」とも呼ぶ)、その典型的な出所(取得源)としては、その画像が掲載されていたウェブページから抽出したり、又はそのようなウェブページでその画像にキャプションやその他のタグ記述などの形で関連付けられていたものなど自由である。例えば、ウェブページで画像に一以上のタグが付与されていれば、類似テキスト検索における一般的な手法であるベクトル空間モデルにより、画像特徴量と同様にテキスト特徴量が抽出可能である。また、各画像を取得する基礎となったキーワードを基に、そのキーワード自体や、その上位概念や下位概念その他の関連語をテキスト特徴量とすることもできる。   In this way, text related to an image is a keyword such as an object, a scene, a theme, a time zone, etc. (hereinafter also referred to as a “tag”), and its typical source (acquisition source) is It is free to extract from the web page on which the image was posted, or to be associated with the image in the form of a caption or other tag description. For example, if one or more tags are given to an image on a web page, a text feature amount can be extracted in the same manner as an image feature amount by a vector space model, which is a general method for similar text search. Also, based on the keyword that is the basis for acquiring each image, the keyword itself, its superordinate concept, subordinate concept, and other related terms can be used as text feature quantities.

このようなテキスト特徴量を画像特徴量と共に特徴記憶手段21で記憶しておくことにより、本実施形態では、テキスト特徴量を加味した類似画像検索が可能となる。但し、テキスト特徴量の出所は自由で、上記のようなウェブページからの抽出に限らないので、例えば、管理者やユーザなどが画像ごとに予め入力してもよい。   By storing such a text feature amount together with the image feature amount in the feature storage unit 21, in this embodiment, it is possible to perform a similar image search in consideration of the text feature amount. However, since the source of the text feature amount is free and is not limited to extraction from the web page as described above, for example, an administrator or a user may input in advance for each image.

〔3.類似画像検索の作用〕
続いて、上記のように作成した構成した特徴記憶手段21を用いて、画像特徴量とテキスト特徴量を併用して類似画像検索を行う処理手順を図4のフローチャートに示す。この処理手順は、クエリ画像の受付、類似画像の検索、検索結果の表示、を含む。
[3. Effect of similar image search)
Next, a flowchart of FIG. 4 shows a processing procedure for performing a similar image search using both the image feature quantity and the text feature quantity using the feature storage means 21 configured as described above. This processing procedure includes receiving a query image, searching for a similar image, and displaying a search result.

〔3−1.クエリ画像の受付〕
すなわち、まず、受付手段22が、クエリ画像の指定を伴う類似画像検索の要求指示を、端末Tと通信ネットワークNを介して、端末Tを使用するユーザから受け付ける(ステップS29)。ここで、クエリ画像の指定に至る画面遷移の一例を示す。例えば、図5に例示するような画面で、文字列入力欄F(いわゆるテキストボックス)に所望のテキストX1を入力し検索ボタンB1をマウスポインタPで操作した結果、この入力されたテキスト(「指定テキスト」と呼ぶこととする)を基にWeb画像検索APIなどを介した画像検索の結果が、図6に例示するように一覧表示されたとする。Web画像検索APIを用いることで、テキスト検索については網羅的な結果が得られる。
[3-1. (Reception of query image)
That is, first, the accepting unit 22 accepts a request instruction for similar image search accompanied by a query image specification from the user who uses the terminal T via the terminal T and the communication network N (step S29). Here, an example of the screen transition leading to the designation of the query image is shown. For example, as a result of inputting a desired text X1 in a character string input field F (so-called text box) and operating the search button B1 with the mouse pointer P on the screen illustrated in FIG. Assume that the result of image search via the Web image search API or the like is displayed as a list as illustrated in FIG. By using the Web image search API, comprehensive results can be obtained for text search.

図6の一覧表示では、検索でヒットした複数の画像Gごとに所定の類似検索ボタンB2が表示され、受付手段22は、マウスポインタPなどで操作された類似検索ボタンB2に対応する画像をクエリ画像として要求指示を受け付ける。なお、画像の指定を受け付けるユーザインタフェースの構成は自由で、図5、図6の例のように検索が指定テキストから出発することは必須ではなく、例えば、お薦め画像集や話題の画像コーナーのような画像一覧からクエリ画像の指定を受け付けるだけでもよい。   In the list display of FIG. 6, a predetermined similarity search button B2 is displayed for each of a plurality of images G hit in the search, and the accepting unit 22 queries the image corresponding to the similarity search button B2 operated with the mouse pointer P or the like. A request instruction is accepted as an image. The configuration of the user interface for accepting the designation of the image is free, and it is not essential that the search starts from the designated text as in the examples of FIGS. 5 and 6, for example, a recommended image collection or a topic image corner. It is also possible to simply accept the specification of the query image from the list of images.

また、図5のようなキーワード指定に基づく画像検索結果を図6のように一覧表示するには、ウェブ検索エンジンEを利用することができる。例えば、図5のような画面で指定を受け付けたキーワードをウェブ検索エンジンEに転送し、検索結果に含まれる画像ごとに、類似検索ボタンB2を添えて図6のような画面表示を行えば、図5から図6へ遷移させる際の類似画像検索の処理負荷が軽減できる。   Further, the web search engine E can be used to display a list of image search results based on keyword designation as shown in FIG. 5 as shown in FIG. For example, if the keyword received on the screen as shown in FIG. 5 is transferred to the web search engine E, and a similar search button B2 is added to each image included in the search result, the screen display as shown in FIG. It is possible to reduce the processing load of the similar image search when transitioning from FIG. 5 to FIG.

〔3−2.未登録画像の登録〕
図6の画面での操作などによりクエリ画像が指定されると(ステップS30)、まず、判別制御手段15は、類似画像検索手段23が受けた検索要求で指定されたクエリ画像の識別情報(URLなど)に基づいて、画像特徴量が特徴記憶手段21に記憶されているか否かを判断すると共に(ステップS30)、未だ記憶されていない(ステップS30:「NO」)と判断された画像について、画像データを画像取得手段13に取得させ、その画像特徴量を特徴量抽出手段14に抽出させたうえ特徴記憶手段21に記憶させる(ステップS31)。
[3-2. (Registering unregistered images)
When a query image is designated by an operation on the screen of FIG. 6 or the like (step S30), first, the discrimination control unit 15 first identifies the query image identification information (URL) designated by the search request received by the similar image search unit 23. Or the like), whether or not the image feature amount is stored in the feature storage means 21 (step S30), and for the image that has not yet been stored (step S30: “NO”), Image data is acquired by the image acquisition means 13, and the image feature quantity is extracted by the feature quantity extraction means 14 and then stored in the feature storage means 21 (step S31).

〔3−3.類似画像の検索〕
続いて、後述する重み設定の処理(ステップS32〜S35)に続き、類似画像検索手段23が、検索される側の多数の候補画像について特徴記憶手段21を参照することにより、要求指示に際し指定されたクエリ画像に対する画像特徴量の類似度(「画像類似度」とも呼ぶこととする)と、クエリ画像に関連付けられたタグなどのテキスト(「基準テキスト」とも呼ぶこととする)に対するテキスト特徴量の類似度(「テキスト類似度」とも呼ぶこととする)と、に基づいて類似画像を検索する(ステップS36)。
[3-3. (Search for similar images)
Subsequently, following the weight setting process (steps S32 to S35), which will be described later, the similar image search means 23 is designated in the request instruction by referring to the feature storage means 21 for a large number of candidate images to be searched. The similarity of the image feature amount to the query image (also referred to as “image similarity”) and the text feature amount relative to text such as a tag associated with the query image (also referred to as “reference text”) Similar images are searched based on the similarity (also referred to as “text similarity”) (step S36).

この際、指定テキストに基づいて検索された画像群からクエリ画像が指定されていた場合(例えば図5、図6)、類似画像検索手段23は、指定されたクエリ画像に関連付けられた基準テキストとして、少なくとも指定テキストを用い、画像に関連付けられているタグがあれば、そのタグと指定テキストを合わせて基準テキストとする。なお、指定テキストからの画像検索を経ず、クエリ画像の選択から類似画像検索を行う場合は、選択したクエリ画像に関連付けられているタグなどのテキストのみを基準テキストとして用いればよい。   At this time, when a query image is specified from a group of images searched based on the specified text (for example, FIGS. 5 and 6), the similar image search means 23 uses the reference text associated with the specified query image as the reference text. If at least the designated text is used and there is a tag associated with the image, the tag and the designated text are combined as a reference text. Note that when a similar image search is performed by selecting a query image without performing an image search from the designated text, only text such as a tag associated with the selected query image may be used as the reference text.

上記のような類似画像の検索において、画像類似度及びテキスト類似度を計算する基準やアルゴリズムは自由であるが、例えば、画像特徴量同士、テキスト特徴量同士をそれぞれ多次元ベクトルデータとしてその距離を算出し比較するなどが一般的と考えられる。より具体的には、例えば、クエリ画像と各候補画像の間について、画像類似度を示す距離関数(特徴量空間上における距離算出に関する関数。以下同じ)と、テキスト類似度を示す距離関数が、同一の距離式、例えばユークリッド距離であれば、一般の多次元空間インデックスで高速な検索が可能であるが、異なる距離空間やユークリッド距離ではない場合には、vp−treeに代表される距離空間インデックスを用いて検索してもよい。   In the search for similar images as described above, the criteria and algorithms for calculating the image similarity and the text similarity are arbitrary. For example, the image feature amounts and the text feature amounts are set as multidimensional vector data, and the distance is set. It is generally considered to calculate and compare. More specifically, for example, between the query image and each candidate image, a distance function indicating the image similarity (a function related to distance calculation in the feature amount space; hereinafter the same) and a distance function indicating the text similarity are: If the distance formula is the same, for example, Euclidean distance, a high-speed search is possible with a general multidimensional space index, but if it is not a different metric space or Euclidean distance, a metric space index represented by vp-tree. You may search using.

なお、類似画像検索手段23は、画像特徴量の類似度とテキスト特徴の類似度とを、加算や乗算などで総合評価するので、その総合評価における計算基準の設定に応じ、画像類似度とテキスト類似度について、少なくともいずれか一方が優れた候補画像や、どちらも大きく劣ることが無い候補画像が類似検索結果の上位として優先される。   The similar image search means 23 comprehensively evaluates the similarity of the image feature amount and the similarity of the text feature by addition or multiplication, so that the image similarity and the text are determined according to the setting of the calculation standard in the comprehensive evaluation. With regard to the similarity, at least one of the candidate images that is superior or the candidate image that is neither significantly inferior is prioritized as the top of the similar search results.

〔3−4.類似画像検索における重み付け〕
なお、指定されたクエリ画像や候補画像に関連付けられた複数のテキストを用いてテキスト特徴量の類似度を計算する場合、重み付け手段24が、計算に用いるそれら複数のテキスト間で所定の重み付けを行う。ここでは、テキストへの重みの設定と、設定した重みを用いた類似度の計算に分けて説明する。重みの設定は、各候補画像の側についての重み(例えば図2)の設定と、クエリ画像の基準テキストの側についての重みの設定が考えられ、一方でも足りるが、ここでは双方に重みを設定する例を示す。
[3-4. Weighting in similar image search)
In addition, when calculating the similarity of a text feature amount using a plurality of texts associated with a designated query image or candidate image, the weighting unit 24 performs a predetermined weighting between the plurality of texts used for the calculation. . Here, the description will be divided into the setting of the weight for the text and the calculation of the similarity using the set weight. As for the setting of the weight, setting of the weight (for example, FIG. 2) for each candidate image and setting of the weight for the reference text side of the query image can be considered. An example is shown.

候補画像の側についての重みの設定は、その画像の内容や、その画像を含んでいたウェブページの内容や、そのウェブページでその画像に対応付けられてキャプションの内容、そのウェブページの例えばXML記述などによりその画像に対応付けられていたタグ間の優先順位などに基づいて、特徴記憶手段21に予め記憶させておく。基準テキストへの重みの設定は、類似度の計算を候補画像ごとに繰り返す際に行ってもよいが、ここではそれら計算に先立って行う例を示す。   The setting of the weight on the candidate image side is performed by determining the content of the image, the content of the web page that included the image, the content of the caption associated with the image on the web page, the XML of the web page, for example, Based on the priority order between tags associated with the image by description or the like, it is stored in advance in the feature storage means 21. The setting of the weight for the reference text may be performed when the similarity calculation is repeated for each candidate image. Here, an example is shown in which the calculation is performed prior to the calculation.

例えば、まず、指定テキストが存在する場合、指定テキストと、指定テキストで検索された画像に付与されているタグは一致するとは限らず、画像特徴量の類似性が高い場合には全く異なるタグが付与された画像が検索される場合もあるし、検索結果に含まれる画像に付与されている複数のタグの一部が指定テキストと一致している場合もある。   For example, first, when the specified text exists, the specified text and the tag attached to the image searched with the specified text do not always match. In some cases, the assigned image may be searched, or some of a plurality of tags assigned to the image included in the search result may match the specified text.

そこで、指定テキストに表れている検索者の意図をより反映させるため、指定テキストに関連して次のような重みを与える。まず、図7(1)に例示するように、指定テキストX1(例えば「山」)に基づく検索結果から指定されたクエリ画像Gに付与されているタグ(例えばX2)のなかにテキストX1と一致するものが無い場合、重み付け手段24は、図7(2)に例示するように、クエリ画像Gのタグに加えて、指定テキストX1を基準テキストに加え、その重みは他のタグX2の重み(例えば「1」)より相対的に大きい所定の重み(例えば「5」)とする。   Therefore, in order to more reflect the intention of the searcher appearing in the designated text, the following weight is given in relation to the designated text. First, as illustrated in FIG. 7 (1), the tag matches the text X1 in the tag (for example, X2) given to the query image G specified from the search result based on the specified text X1 (for example, “mountain”). When there is nothing to do, the weighting means 24 adds the designated text X1 to the reference text in addition to the tag of the query image G as illustrated in FIG. For example, a predetermined weight (for example, “5”) that is relatively larger than “1”) is used.

一方、図8(1)に例示するように、指定テキストX1(例えば「山」)に基づく検索結果から指定されたクエリ画像Gに付与されているタグ(例えばX2,X3)のなかにテキストX1と一致するもの(関連タグX3「山」)がある場合は、図8(2)に例示するように、その一致するタグの重み(例えば「1」)に、上記のような大きい所定の重み(例えば「5」)を加えて例えば「6」にする。なお、一致するタグの重みを、そのような大きい所定の重みに置き換え(例えば「1」→「5」)てもよい。   On the other hand, as illustrated in FIG. 8A, the text X1 is included in the tags (for example, X2 and X3) given to the query image G specified from the search result based on the specified text X1 (for example, “mountain”). If there is a match (related tag X3 “mountain”), as shown in FIG. 8 (2), the weight of the matching tag (for example, “1”) is set to a large predetermined weight as described above. (For example, “5”) is added to, for example, “6”. Note that the weight of the matching tag may be replaced with such a large predetermined weight (for example, “1” → “5”).

上記のように指定テキストに基づく基準テキストの重み付けを実現するため、図4の処理手順では、指定テキストがある場合(ステップS32:「YES」)、クエリ画像のタグに指定テキストが無ければ(ステップS33:「NO」)、クエリ画像のタグに加え指定テキストも基準テキストとしたうえで(ステップS34)、基準テキスト内の指定テキストの重みに所定値(上記の例では「5」)を加算する(ステップS35)。   In order to realize the weighting of the reference text based on the designated text as described above, in the processing procedure of FIG. 4, when there is a designated text (step S32: “YES”), if there is no designated text in the tag of the query image (step S33: “NO”), the designated text is used as the reference text in addition to the tag of the query image (step S34), and a predetermined value (“5” in the above example) is added to the weight of the designated text in the reference text. (Step S35).

以上のように候補画像のテキスト側及びクエリ画像の基準テキスト側の双方に設定した重みを、類似画像検索(ステップS36)における類似度の計算に反映させることにより、画像クエリの基準テキストと重要なテキストが一致している候補画像が高い優先順位でヒットすることとなる。例えば、テキスト特徴量の類似度が最も高くなるのは、クエリ画像側で重みの大きい基準テキストと、候補画像側で大きい重みを持つテキストと、が一致している場合である。   As described above, the weight set on both the text side of the candidate image and the reference text side of the query image is reflected in the calculation of the similarity in the similar image search (step S36). Candidate images with matching text will hit with high priority. For example, the similarity of the text feature amount is highest when the reference text having a large weight on the query image side matches the text having a large weight on the candidate image side.

〔3−5.検索結果の表示〕
そして、以上のような重みを反映した類似画像の検索結果を、結果表示手段25が画面表示する(ステップS37)。この際、類似度表示手段26が、検索された画像について、クエリ画像に対する画像特徴量の類似の有無又は類似度と、クエリ画像に関連付けられた基準テキストに対するテキスト特徴量の類似の有無又は類似度と、の少なくとも一方を表示する。ここでは、画像類似度とテキスト類似度を表示するものとし、その一例を図9に示す。この例は、類似画像検索結果の表示画面例で、画面上部が検索条件の表示欄Jであり、下部がその条件による類似画像検索結果の表示欄Kとなっているが、表示欄Kのうち検索結果の画像ごとの類似度表示欄R1で、画像類似度とテキスト類似度それぞれを数値表示している。
[3-5. (Display of search results)
Then, the result display means 25 displays a search result of similar images reflecting the weights as described above (step S37). At this time, the similarity display means 26 for the searched image, the presence / absence or similarity of the image feature amount with respect to the query image and the presence / absence or similarity of the text feature amount with respect to the reference text associated with the query image And at least one of them is displayed. Here, the image similarity and the text similarity are displayed, and an example thereof is shown in FIG. This example is a display screen example of a similar image search result. The upper part of the screen is a search condition display field J, and the lower part is a display field K of similar image search results based on the condition. In the similarity display field R1 for each image of the search result, the image similarity and the text similarity are numerically displayed.

類似度表示の他の例として、図10に示す類似度表示欄R2のように、画像ごとに、画像類似度とテキスト類似度を棒グラフの黒い部分の長さで示すようにすれば、一見して視覚的に把握できる利点がある。さらに他の例として、図11に示す類似度表示欄R3では、画像類似度とテキスト類似度それぞれの高さを相対的に帯グラフで示しているので、二種の類似度が重視された相対的な割合を簡明な表示形態で容易に把握することができる。   As another example of the similarity display, if the image similarity and the text similarity are indicated by the length of the black portion of the bar graph for each image as in the similarity display column R2 shown in FIG. There is an advantage that can be grasped visually. As another example, in the similarity display column R3 shown in FIG. 11, the height of each of the image similarity and the text similarity is relatively shown by a band graph. Can be easily grasped in a simple display form.

〔4.主な効果〕
以上のように、本実施形態では、既存のウェブ検索エンジンEを活用し、ウェブ検索エンジンEにキーワードを渡して得る検索結果に基づいてウェブサーバ(画像サーバ)GSから画像を取得し、その画像から抽出した画像特徴量を記憶蓄積して類似画像検索に利用することにより、独自にクローラを用いる大きな負荷なく、類似画像検索エンジンを実現することができる。
[4. Main effect)
As described above, in the present embodiment, an image is acquired from the web server (image server) GS based on the search result obtained by using the existing web search engine E and passing the keyword to the web search engine E, and the image By storing and storing the image feature amount extracted from the image and using it for similar image search, a similar image search engine can be realized without a heavy load using a crawler independently.

特に、本実施形態では、上記のように、ウェブ検索エンジンEとして、キーワードから画像を検索する画像検索エンジンを用いることにより、検索結果として画像が得られるので、検索結果としてウェブページを得る場合と比べて、画像のオリジナルを提供するウェブサーバへ迅速にアクセスでき処理が効率化できる。   In particular, in the present embodiment, as described above, by using an image search engine that searches for an image from a keyword as the web search engine E, an image can be obtained as a search result. In comparison, the web server that provides the original image can be accessed quickly and the processing can be made more efficient.

また、本実施形態では、上記のように、画像特徴量だけでなくテキスト特徴量も記憶させ類似画像検索(図2、図3)に加味することにより、画像特徴量のみの場合に外見だけ似た別物の類似画像候補がヒットして検索精度が劣化する問題が回避できる。   In the present embodiment, as described above, not only the image feature amount but also the text feature amount is stored and added to the similar image search (FIGS. 2 and 3), so that only the appearance is similar in the case of only the image feature amount. It is possible to avoid the problem that the search accuracy deteriorates due to hitting another similar image candidate.

加えて、本実施形態では、上記のように、類似画像検索で指定された画像の画像特徴量が未記憶の場合(図4のステップS30)、画像を取得し画像特徴量の抽出と記憶を行うことにより(ステップS31)、類似画像検索の運用に伴って検索用データが逐次充実し、類似画像検索の品質が改善できる。   In addition, in the present embodiment, as described above, when the image feature amount of the image specified in the similar image search is not stored (step S30 in FIG. 4), the image is acquired and the image feature amount is extracted and stored. By performing (step S31), the search data is sequentially enriched with the operation of the similar image search, and the quality of the similar image search can be improved.

〔5.その他の効果〕
また、本実施形態では、以上のように、指定された画像を基に類似画像を検索する際、指定された基の画像との画像特徴量の類似度だけでなく、指定された基の画像に関連付けられたテキストに対するテキスト特徴量(例えば図2)に係る類似度に基づく類似画像の絞込みも併用することにより(図4のステップS36)、画像をキーとして類似画像検索を行う際の検索精度の低下を防止することが可能となる。
[5. Other effects
Further, in the present embodiment, as described above, when searching for a similar image based on the specified image, not only the similarity of the image feature quantity with the specified base image but also the specified base image By using the similar image narrowing based on the similarity based on the text feature amount (for example, FIG. 2) with respect to the text associated with the text (step S36 in FIG. 4), the search accuracy when the similar image search is performed using the image as a key. It is possible to prevent a decrease in the above.

特に、以上の本実施形態では、指定されたテキストに基づく検索画像からクエリ画像の指定を受け付け(例えば図5)、クエリ側のテキスト特徴量の基礎として前記指定されたテキストを用いることにより(図4のステップS32〜S34、図7(1)(2))、ユーザが意識して指定したテキスト自体を類似画像検索に反映できるので、検索精度の低下防止が一層確実となる。   In particular, in the present embodiment described above, the specification of a query image is received from a search image based on the specified text (for example, FIG. 5), and the specified text is used as the basis of the text feature amount on the query side (see FIG. Steps S32 to S34 of FIG. 4, FIGS. 7 (1) and (2)), the text itself consciously specified can be reflected in the similar image search, so that the prevention of a decrease in search accuracy is further ensured.

また、以上の本実施形態では、画像に関連付けられている複数のテキストを用いてテキスト特徴量の類似度を計算する場合に、例えばユーザがタイプ入力などで直接指定したテキストの重みを相対的に大きくする(図4のステップS35)など所定の重み付けを行うことにより(図7(1)(2))、ユーザの意向に適合した高精度な検索結果が実現できる。   Further, in the above embodiment, when the similarity of text feature amounts is calculated using a plurality of texts associated with an image, for example, the weight of the text directly designated by the user by type input or the like is relatively set. By performing predetermined weighting such as enlarging (step S35 in FIG. 4) (FIGS. 7 (1) and (2)), a highly accurate search result suitable for the user's intention can be realized.

さらに、以上の本実施形態では、得られた検索結果が、画像とテキストとどちらに適合したかを示すことにより(例えば図9〜図11)、検索結果の把握が容易になる。   Furthermore, in the above-described embodiment, the search result obtained can be easily grasped by indicating whether the obtained search result is suitable for an image or text (for example, FIGS. 9 to 11).

〔6.他の実施形態〕
なお、上記各実施形態は例示に過ぎず、本発明は、以下に例示するものやそれ以外の他の実施態様も含むものである。例えば、画像ごとの情報として画像特徴量やテキスト特徴量以外に、画像データ自体など任意の情報を、特徴記憶手段21又は他の記憶手段に記憶しておいて、新たな基準による特徴量抽出など適宜な用途に活用してもよい。
[6. Other embodiments]
In addition, said each embodiment is only an illustration, and this invention includes what is illustrated below and other embodiment other than that. For example, in addition to the image feature amount and text feature amount as information for each image, arbitrary information such as image data itself is stored in the feature storage unit 21 or other storage unit, and feature amount extraction based on a new standard is performed. You may utilize for an appropriate use.

また、類似画像検索時に用いる指定テキストは、キーボードなどからのタイプ入力に限らず、例えば注目のキーワード群の羅列表示から選択するなどにより指定されるものでもよい。また、上記実施形態はサーバ1と端末Tからなるクライアント・サーバ・システム(図1)を前提としたが、本装置はスタンドアロンの装置として実現してもよい。   Also, the designated text used when searching for similar images is not limited to type input from a keyboard or the like, but may be designated by selecting from a list of keyword groups of interest, for example. Moreover, although the said embodiment presupposed the client server system (FIG. 1) which consists of the server 1 and the terminal T, you may implement | achieve this apparatus as a stand-alone apparatus.

また、手段などの各要素は、コンピュータの演算制御部に限らず、ワイヤードロジック等に基づく電子回路など他の情報処理機構で実現してもよい。また、各構成図、データの図、フローチャートの図などは例示に過ぎず、各要素の有無、その順序や具体的内容などは適宜変更可能である。例えば、本発明の装置は、サーバなどの装置を複数用いて実現してもよく、個々の記憶手段を別個独立のサーバ装置やシステムで実現する構成も一般的である。また、機能によっては、外部のプラットフォーム等をAPI(アプリケーション・プログラム・インタフェース)やネットワークコンピューティング(いわゆるクラウドなど)で呼び出して実現するなど、構成は柔軟に変更できる。   In addition, each element such as means may be realized by other information processing mechanisms such as an electronic circuit based on a wired logic or the like without being limited to an arithmetic control unit of a computer. Further, each configuration diagram, data diagram, flowchart diagram, and the like are merely examples, and the presence / absence of each element, its order, specific contents, and the like can be changed as appropriate. For example, the apparatus of the present invention may be realized by using a plurality of apparatuses such as servers, and a configuration in which each storage unit is realized by a separate and independent server apparatus or system is also common. Depending on the function, the configuration can be flexibly changed, for example, by calling an external platform or the like with an API (application program interface) or network computing (so-called cloud or the like).

1 検索サーバ
6 演算制御部
7 記憶装置
8 通信手段
11 インデックス記憶手段
12 検索アクセス手段
13 画像取得手段
14 特徴量抽出手段
15 判別制御手段
21 特徴記憶手段
22 受付手段
23 類似画像検索手段
24 重み付け手段
25 結果表示手段
26 類似度表示手段
B1 検索ボタン
B2 類似検索ボタン
D キーワードリスト
E ウェブ検索エンジン
F 文字列入力欄
G クエリ画像
GS 画像サーバ
J,K 条件表示欄
N 通信ネットワーク
P マウスポインタ
R1,R2,R3 類似度表示欄
T 端末
X(X1〜X3) テキスト
X2,X3 タグ
DESCRIPTION OF SYMBOLS 1 Search server 6 Arithmetic control part 7 Storage device 8 Communication means 11 Index storage means 12 Search access means 13 Image acquisition means 14 Feature quantity extraction means 15 Discrimination control means 21 Feature storage means 22 Acceptance means 23 Similar image search means 24 Weighting means 25 Result display means 26 Similarity display means B1 Search button B2 Similar search button D Keyword list E Web search engine F Character string input field G Query image GS Image server J, K Condition display field N Communication network P Mouse pointers R1, R2, R3 Similarity display field T Terminal X (X1 to X3) Text X2, X3 Tag

Claims (6)

指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段を作成する特徴情報作成装置であって、
ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセス手段と、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得手段と、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出手段と、
を有することを特徴とする特徴情報作成装置。
A feature information creation device that creates a feature storage unit that stores an image feature amount for each image in order to search for an image similar to a specified image,
Search access means for sending keywords to web search engines and receiving search results for the submitted keywords,
Based on the identification information of the information included in the received search results, image acquisition means for acquiring image data by accessing a web server;
Feature quantity extraction means for extracting an image feature quantity from the acquired image data and storing the image feature quantity in association with the identification information in a predetermined feature storage means;
A feature information creating apparatus characterized by comprising:
前記ウェブ検索エンジンは、キーワードに基づいて画像を検索する画像検索エンジンであることを特徴とする請求項1記載の特徴情報作成装置。   The feature information creating apparatus according to claim 1, wherein the web search engine is an image search engine that searches for an image based on a keyword. 前記特徴量抽出手段は、前記検索アクセス手段により前記ウェブ検索エンジンに送信されたキーワードに基づくテキスト特徴量を、更に前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させることを特徴とする請求項1又は2のいずれか一項に記載の特徴情報作成装置。   The feature amount extraction unit further causes the feature storage unit to store a text feature amount based on the keyword transmitted by the search access unit to the web search engine in association with the image feature amount or the identification information. The feature information creation device according to claim 1, wherein the feature information creation device is a feature. 類似画像の検索要求で指定された画像について、前記画像特徴量が前記特徴記憶手段に記憶されているか否かを判断すると共に、記憶されていないと判断された画像について、画像データを前記画像取得手段に取得させ、前記画像特徴量を前記特徴量抽出手段に抽出させ及び前記画像特徴量ないし前記識別情報と対応付けて前記特徴記憶手段に記憶させる判別制御手段を有することを特徴とする請求項1から3のいずれか一項に記載の特徴情報作成装置。   For the image specified in the search request for similar images, it is determined whether the image feature amount is stored in the feature storage means, and the image data is acquired for the image determined not to be stored. And a determination control unit that causes the image storage unit to acquire the image feature amount, to extract the image feature amount to the feature amount extraction unit, and to store the image feature amount in association with the image feature amount or the identification information in the feature storage unit. The feature information creation device according to any one of 1 to 3. 指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータが作成する特徴情報作成方法であって、
コンピュータが、ウェブ検索エンジンにキーワードを送信し、送信したキーワードに関する検索結果を受信する検索アクセスステップと、
コンピュータが、受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得する画像取得ステップと、
コンピュータが、取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる特徴量抽出ステップと、
を含むことを特徴とする特徴情報作成方法。
A feature information creation method in which a computer creates feature storage means for storing an image feature amount for each image in order to search for an image similar to a designated image,
A search access step in which a computer sends a keyword to a web search engine and receives search results for the sent keyword;
An image acquisition step in which the computer acquires image data by accessing a web server based on identification information of information included in the received search result;
A feature amount extracting step in which a computer extracts an image feature amount from the acquired image data and stores the image feature amount in association with the identification information in a predetermined feature storage unit;
A feature information creating method characterized by comprising:
指定された画像と類似する画像を検索するために画像ごとの画像特徴量を記憶させた特徴記憶手段をコンピュータに作成させる特徴情報作成プログラムであって、
そのプログラムはコンピュータを制御することにより、
ウェブ検索エンジンにキーワードを送信させ、送信したキーワードに関する検索結果を受信させ、
受信した前記検索結果に含まれる情報の識別情報に基づいて、ウェブサーバにアクセスすることで画像データを取得させ、
取得した前記画像データから画像特徴量を抽出し、その画像特徴量を前記識別情報と対応付けて所定の特徴記憶手段に記憶させる
ことを特徴とする特徴情報作成プログラム。
A feature information creation program for causing a computer to create a feature storage unit that stores an image feature amount for each image in order to search for an image similar to a specified image,
The program controls the computer,
Have web search engines send keywords, receive search results for those keywords,
Based on the identification information of the information included in the received search results, the image data is obtained by accessing the web server,
An image feature amount is extracted from the acquired image data, and the image feature amount is stored in a predetermined feature storage unit in association with the identification information.
JP2010135642A 2010-06-15 2010-06-15 Feature information creation apparatus, method, and program Active JP5197680B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010135642A JP5197680B2 (en) 2010-06-15 2010-06-15 Feature information creation apparatus, method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010135642A JP5197680B2 (en) 2010-06-15 2010-06-15 Feature information creation apparatus, method, and program

Publications (2)

Publication Number Publication Date
JP2012003357A true JP2012003357A (en) 2012-01-05
JP5197680B2 JP5197680B2 (en) 2013-05-15

Family

ID=45535289

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010135642A Active JP5197680B2 (en) 2010-06-15 2010-06-15 Feature information creation apparatus, method, and program

Country Status (1)

Country Link
JP (1) JP5197680B2 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540332A (en) * 2013-11-30 2016-12-22 ベイジン センスタイム テクノロジー デベロップメント シーオー.,エルティーディー Visual-semantic composite network and method for forming the network
JP2017530451A (en) * 2014-12-30 2017-10-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Information retrieval method and apparatus
JP2018517959A (en) * 2015-06-24 2018-07-05 グーグル エルエルシー Selecting a representative video frame for the video
JP6375084B1 (en) * 2017-11-29 2018-08-15 株式会社オプティム Computer system, hand-drawn object specifying method and program
JP2019101552A (en) * 2017-11-29 2019-06-24 アイシン・エィ・ダブリュ株式会社 Image retrieval system, image retrieval program, image retrieval terminal and image retrieval terminal control program
JP2020144440A (en) * 2019-03-04 2020-09-10 公立大学法人大阪 Similar image retrieval device, similar image retrieval method, and similar image retrieval program
CN118192976A (en) * 2024-05-08 2024-06-14 工业富联(杭州)数据科技有限公司 Operation guide generation method and device, electronic equipment and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224256A (en) * 1998-02-05 1999-08-17 Nippon Telegr & Teleph Corp <Ntt> Information retrieving method and record medium recording information retrieving program
JP2005107931A (en) * 2003-09-30 2005-04-21 Ricoh Co Ltd Image search apparatus
JP2005235041A (en) * 2004-02-23 2005-09-02 Nippon Telegr & Teleph Corp <Ntt> Retrieval image display method and retrieval image display program
JP2007080210A (en) * 2005-09-16 2007-03-29 Ricoh Co Ltd Information management device, information management method, information management program and recording medium
JP2007164648A (en) * 2005-12-16 2007-06-28 Ricoh Co Ltd Similar image search device, similar image search method, program and information recording medium

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11224256A (en) * 1998-02-05 1999-08-17 Nippon Telegr & Teleph Corp <Ntt> Information retrieving method and record medium recording information retrieving program
JP2005107931A (en) * 2003-09-30 2005-04-21 Ricoh Co Ltd Image search apparatus
JP2005235041A (en) * 2004-02-23 2005-09-02 Nippon Telegr & Teleph Corp <Ntt> Retrieval image display method and retrieval image display program
JP2007080210A (en) * 2005-09-16 2007-03-29 Ricoh Co Ltd Information management device, information management method, information management program and recording medium
JP2007164648A (en) * 2005-12-16 2007-06-28 Ricoh Co Ltd Similar image search device, similar image search method, program and information recording medium

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
柳井 啓司: ""Web画像収集における単語ベクトルの導入と画像特徴の改良"", 電子情報通信学会技術研究報告 VOL.102 NO.555 IEICE TECHNICAL REPORT, vol. 第102巻,第555号, JPN6012043673, 10 January 2003 (2003-01-10), JP, pages 55 - 60, ISSN: 0002309006 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016540332A (en) * 2013-11-30 2016-12-22 ベイジン センスタイム テクノロジー デベロップメント シーオー.,エルティーディー Visual-semantic composite network and method for forming the network
JP2017530451A (en) * 2014-12-30 2017-10-12 バイドゥ オンライン ネットワーク テクノロジー (ベイジン) カンパニー リミテッド Information retrieval method and apparatus
JP2018517959A (en) * 2015-06-24 2018-07-05 グーグル エルエルシー Selecting a representative video frame for the video
JP6375084B1 (en) * 2017-11-29 2018-08-15 株式会社オプティム Computer system, hand-drawn object specifying method and program
WO2019106735A1 (en) * 2017-11-29 2019-06-06 株式会社オプティム Computer system, hand-drawn object identification method, and program
JP2019101552A (en) * 2017-11-29 2019-06-24 アイシン・エィ・ダブリュ株式会社 Image retrieval system, image retrieval program, image retrieval terminal and image retrieval terminal control program
JP2020144440A (en) * 2019-03-04 2020-09-10 公立大学法人大阪 Similar image retrieval device, similar image retrieval method, and similar image retrieval program
JP7329933B2 (en) 2019-03-04 2023-08-21 公立大学法人大阪 Similar image retrieval device, similar image retrieval method and similar image retrieval program
CN118192976A (en) * 2024-05-08 2024-06-14 工业富联(杭州)数据科技有限公司 Operation guide generation method and device, electronic equipment and storage medium

Also Published As

Publication number Publication date
JP5197680B2 (en) 2013-05-15

Similar Documents

Publication Publication Date Title
US10248662B2 (en) Generating descriptive text for images in documents using seed descriptors
JP5197680B2 (en) Feature information creation apparatus, method, and program
CN103631794B (en) A kind of method, apparatus and equipment for being ranked up to search result
JP4746439B2 (en) Document search server and document search method
JP5084858B2 (en) Summary creation device, summary creation method and program
JP5469046B2 (en) Information search apparatus, information search method, and information search program
KR20080091821A (en) Automated tool for human assisted mining and capturing of precise results
US20070239692A1 (en) Logo or image based search engine for presenting search results
US8538941B2 (en) Visual information search tool
JP5194731B2 (en) Document relevance calculation system, document relevance calculation method, and document relevance calculation program
JP2011203776A (en) Similar image retrieval device, method, and program
JP2002334107A (en) Device, method for searching information, information search program and recording medium in which the same program is stored
JP2013054606A (en) Document retrieval device, method and program
JP5265610B2 (en) Related word extractor
JP2002132769A (en) Method and device for multilateral retrieval service and recording medium recording program therefor
KR101103671B1 (en) Method, system and computer readable recording medium for extracting the most relevant images dynamically and providing them responsive to users&#39; request
JP2006236221A (en) Management server for web page retrieval
JP2003256472A (en) System for retrieving document
JP2007188134A (en) Method of document retrieval using index file
JP2018072873A (en) Information processing apparatus, information processing method, and program
JP3248530B2 (en) Search system and computer-readable recording medium storing program for generating search system
JP5813560B2 (en) Search condition presentation device, method, and program
JP2006072844A (en) Keyword specifying device, keyword specifying method, and keyword specifying program
US9754030B2 (en) Free text search engine system and method
JP5903370B2 (en) Information search apparatus, information search method, and program

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120813

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120821

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120904

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121018

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130205

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 5197680

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250