JP2001525959A - Image search method and system - Google Patents

Image search method and system

Info

Publication number
JP2001525959A
JP2001525959A JP54918598A JP54918598A JP2001525959A JP 2001525959 A JP2001525959 A JP 2001525959A JP 54918598 A JP54918598 A JP 54918598A JP 54918598 A JP54918598 A JP 54918598A JP 2001525959 A JP2001525959 A JP 2001525959A
Authority
JP
Japan
Prior art keywords
image
database
similarity
feature
regions
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
JP54918598A
Other languages
Japanese (ja)
Inventor
シー−フー チャン
ジョン アール スミス
Original Assignee
ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク filed Critical ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク
Publication of JP2001525959A publication Critical patent/JP2001525959A/en
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship

Landscapes

  • Engineering & Computer Science (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】 データベース画像を指定された特徴属性及び空間位置属性を有する複数の領域により表わすシステムにおいては、画像問合せを領域特徴類似性及び領域空間位置類似性の組合せに向けることができる。必要に応じ、これらの領域の相対的空間配置も考慮することもできる。 (57) [Summary] In a system in which a database image is represented by a plurality of regions having designated feature attributes and spatial position attributes, an image query can be directed to a combination of region feature similarity and region spatial position similarity. If necessary, the relative spatial arrangement of these regions can also be considered.

Description

【発明の詳細な説明】 画像検索方法及びシステム技術分野 本発明はコンピュータ画像検索に関するものであり、特に画像データベース問 合せに基づく検索に関するものである。発明の背景 コンピュータハードウエア技術の進歩に伴ない、多数の画像を蓄積し、処理し 、伝送することが可能になった。画像は、コンピュータ処理し易い形で表現する と、画像データベースに含めることができる。 画像データベース管理及び画像検索用のシステムが、代表的にはコンピュータ ソフトウエアの形で開発されている。例えば、１９９６年２月２０日にバロウ等 に付与された米国特許５，４９３，６７７に開示されているように、画像は問合 せとの照合のために関連するテキストをサーチすることにより検索することがで きる。 画像内容による問合わせのために画像内容デスクリプタを用いるシステムも開 発されている。このようなシステムは１９９６年１１月２６日にバーバー等に付 与された米国特許５，５７９，４７１及びニブラック等の論文”The QBIC Proje ct:Querying Images by Content Using Color，Texture and Shape”，in Stora ge and Retrieval for Image and Video Databases，ワイン ニブラック、エデ ィタ、Proc．SPIE 1908，pp.173-187(1993)に開示されている。発明の概要 本発明者は、画像データベースからの画像検索の精度を大きくために、画像内 容に基づく問合せを空間位置に基づく問合せと組み合わせることができることを 確かめた。従って、各画像を特徴属性及び空間位置属性を有する複数の領域によ り表現するシステムにおいて、問合せを領域特徴類似性及び領域空間位置類似性 の組合せに向けることができるようにする。必要に応じ、これらの領域の相対的 空間配置も考慮に入れることができる。図面の簡単な説明 図１はデータベースに含めるための複数の領域を有する画像の一例を示す。 図２は図１の複数の領域の表現の表形式表示である。 図３はデータベース問合せのための複数の領域を有する画像の一例を示す。 図４は図３の複数の領域の表現の表形式表示である。 図５は領域特徴及び領域絶対空間位置に基づいて識別するデータベース問合せ プロセスのフローチャートである。 図６は領域の相対位置に基づいて識別するデータベース問合せプロセスのフロ ーチャートである。好適実施例の詳細な説明 以下の説明は主としてプログラム制御のもとで適切なプロセッサにより実行す る方法のステップについて行う。このプログラムはソフトウエアとして生成する ことができ、高い効率のためには少なくとも部分的に専用ファームウエア又はハ ードウエアに実現することができる。 上述した特徴を具体化するプロトタイプシステムはＪＡＶＡ言語で公式化され ている。システムはＳＵＮワークステーション、シリコングラフィックスワーク ステーション、又は例えばペンティアムプロセッサを含むＰＣのような適切なハ ードウエアで動作することができる。 問い合わせるべき画像データベースは画像の各領域を表わす各レコード又は表 項目を有する表形式にするのが都合が良い。各レコードは画像識別子、領域識別 子、領域属性及び、幾何的特徴として、領域の重心のｘ及びｙ座標、領域の幅及 び高さ及び領域の面積を含む。表は画像の目視検査に基づいて手動キーボード入 力により発生させることができる。或いは又、適切なパターン認識システムが使 用可能である場合には、表を自動的に発生させることができる。 データベース項目を説明するために、図１に示す識別子“Ｔ”が与えられた画 像１０は図２に示す表項目で表現することができる。次の項目： 領域１００（破線より下の、画像底部を横切って延在する領域ｔ0）； 領域１０１（破線で描かれた長方形により囲まれた領域ｔ1）； 領域１０２（一点鎖線で描かれた長方形により囲まれた領域ｔ2）； 領域１０３（破線で描かれた長方形で囲まれた領域ｔ3）；及び 領域１０４（破線より上の、画像上部を横切って延在する領域ｔ4） が含まれる。 各領域のｘ，ｙ座標、幅ｗ及び高さｈはそれぞれの最大値のパーセントで与え る。値ｘ，ｙ，ｗ及びｈは各領域の「境界長方形」を規定するため、領域の面積 はｗ×ｈ以下になる。図に示すように、領域はオーバラップしてもよく、またそ れらの連合が画像をカバーしなくても良い。 属性ｆは単に色を表わすものとすることができ、例えば色を既知の手段によっ て、例えばカラーヒストグラム又はカラーセットにより表わすことができる。使 用可能な他の簡単な属性にはテクスチュア及び形状があり、このような属性を組 み合わせてもっと複雑な属性とすることもできる。 検索問合せは同様に表現することができる。例えば、図３に示す検索パターン に対し、問合せ領域表を図４に示すように形成することができる。 図５は、それぞれ例えば図２及び図４に示すような項目を有するデータベース 及び問合せについて、問合せに基づいてデータベース項目を見つけ出す問合せプ ロセスを説明するものである。一般的ねらいは問合せ画像の領域の配置に類似す る領域の配置を含む画像を見つけ出すことにある。 図５に従って、「α」で開始し、問合せの各領域ごとに、データベース領域を 特徴マッチング（ステップ５１）及び空間マッチング（ステップ５２）について サーチする。この検索は、空間マッチングに対しては、問合せ領域のｘ、ｙ，ｈ ，ｗ及び面積のような空間情報をデータベース領域の対応する情報と比較し、適 切な距離（メトリック）を用いる。適切な距離（メトリック）はユークリッド距 離及びミンコフスキ距離、及びその定義がベクトルの成分間の相対類似度を表わ す正方行列を意味する二次距離（カドラティックメトリック）を含む。距離（メ トリック）は各幾何パラメータごとに相違する重みを含むこともできる。 類似距離を特徴マッチング（ｆi）に使用することができる。例えば、カラー ヒストグラム情報が「赤」、「緑」及び「青」の３成分の形で含まれる場合には、 ３−成分ユークリッド距離を使用することができる。同様に、これはこのような 情報が「色相」、「飽和」及び「強度」の３成分の形で含まれる場合にも言える。 効率のために、図５に示すように、閾値処理を計算される特徴及び空間距離に 適用する。従って、距離が閾値を超える場合には、そのデータベース領域は以後 の考察に含めない。図５に示すように空間及び特徴類似度に対し別々の閾値を使 用する代わりに、又は加えて、結合領域距離又はスコアにも、即ちステップ５３ における領域マッチの保存前に、閾値処理を適用することができる。これらの距 離は、例えば簡単な加算又は適切な加重加算により結合することができる。 複数のプロセッサが使用可能である場合には、ステップ５１のような「ｋ−ル ープ」特徴類似度検査処理及びステップ５２のような空間類似度検査処理を図５ に示すように対にして逐次実行する代わりに並列に実行することができる。並列 処理は２組の領域、即ち(i)空間類似度と無関係に特徴類似度を満たす領域及び( ii)特徴類似度と無関係に空間類似度を満たす領域を発生する。従って、両タイ プの特徴を満たす領域の所望の組を得るために、「結合」処理が必要とされる。結 合後に、最終閾値処理を行うことができる。ステップ５２及び５３においても複 数のプロセッサを用いて並列処理を実行することができる。 画像整合がステップ５４における「結合」処理の結果として得られ、問合せの領 域要求の各々と一致するすべてのデータベース画像を発生させる。問合せはステ ップ５４において２度以上保存される、即ち問合せを満足する領域の異なる組合 せに対し保存される画像を生じ得る。このような重複性はシステムのユーザに有 用であり、そうでない場合には、重複を保存画像のワンパスサーチにより除去す ることができる。 領域の相対空間位置又は配置がユーザに重要でない場合には、保存画像のスコ アによる分類後が好ましいが、計算をこの時点(β)で終了させることができる。 領域の相対空間位置に基づいて更に識別するには、所謂２−Ｄストリングを使 用する図６に示すプロセスを使用することができる。この時点、即ち類似度検査 プロセス後における２−Ｄストリングの発生は「問合せ時間２−Ｄストリング発 生」ということができる。 問合せ画像に対し、２−Ｄストリングは複数の領域の昇順に配置された重心の ｘ座標と、同様に昇順に配置された重心のｙ座標とを含む。データベース画像に 対しも同様に、問合せ画像の領域と整合した領域の座標を使用する。 問合せ画像の２−Ｄストリングをステップ６１において形成し、ステップ６２ において、このストリングを保存画像の各々からの２−Ｄストリングと整合させ る。ステップ６３において、整合の場合にのみ、データベース画像を保存し、ス テップ６４において、問合せ画像の２−Ｄストリングと整合する２−Ｄストリン グを有する画像のみを最終的に分類し、発生させる。 上述した重心のｘ及びｙ座標を含む２−Ｄストリングの代わりに、又は加えて 、座標系を例えば４５°回転させた後に２−Ｄストリングを発生させることがで きる。このような２−Ｄストリングは回転座標系における重心の座標ｘ'及びｙ' を用いて同様に定義される。Description: TECHNICAL FIELD The present invention relates to a computer image search, and more particularly to a search based on an image database query. BACKGROUND OF THE INVENTION Advances in computer hardware technology have made it possible to store, process, and transmit multiple images. Images can be included in an image database when represented in a form that is easy for computer processing. Systems for image database management and image retrieval have been developed, typically in the form of computer software. For example, as disclosed in US Pat. No. 5,493,677 to Barrow et al. On Feb. 20, 1996, images may be retrieved by searching for relevant text for matching against a query. Can be. Systems using image content descriptors for inquiries by image content have also been developed. Such a system is described in U.S. Pat. No. 5,579,471, issued to Barber et al. On Nov. 26, 1996, and in the article by Nibrach et al. Storage and Retrieval for Image and Video Databases, Wine Niblack, Editor, Proc. SPIE 1908, pp.173-187 (1993). SUMMARY OF THE INVENTION The present inventors have determined that queries based on image content can be combined with queries based on spatial location to increase the accuracy of image retrieval from image databases. Therefore, in a system in which each image is represented by a plurality of regions having a feature attribute and a spatial position attribute, the query can be directed to a combination of the region feature similarity and the region spatial position similarity. If necessary, the relative spatial arrangement of these regions can also be taken into account. BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 shows an example of an image having a plurality of regions for inclusion in a database. FIG. 2 is a tabular display of the representation of the plurality of regions of FIG. FIG. 3 shows an example of an image having a plurality of areas for querying a database. FIG. 4 is a tabular display of the representation of the plurality of regions of FIG. FIG. 5 is a flowchart of a database query process for identification based on region features and region absolute spatial position. FIG. 6 is a flowchart of a database query process for identifying based on the relative positions of the areas. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The following description focuses primarily on method steps performed by a suitable processor under program control. The program can be generated as software and can be implemented at least partially in dedicated firmware or hardware for high efficiency. A prototype system embodying the features described above has been formulated in the JAVA language. The system can operate on any suitable hardware, such as a SUN workstation, a Silicon Graphics workstation, or a PC including, for example, a Pentium processor. The image database to be queried is conveniently in tabular form with each record or table entry representing each region of the image. Each record includes an image identifier, an area identifier, an area attribute, and, as geometric features, x and y coordinates of a center of gravity of the area, a width and height of the area, and an area of the area. The table can be generated by manual keyboard input based on visual inspection of the image. Alternatively, the table can be generated automatically if a suitable pattern recognition system is available. To explain the database items, the image 10 given the identifier "T" shown in FIG. 1 can be represented by a table item shown in FIG. Next items: region 100 (region t 0 below the dashed line and extending across the bottom of the image); region 101 (region t 1 surrounded by a rectangle drawn by a broken line); region 102 (drawn by a dashed line) region t 2) is surrounded by a rectangle which; region 103 (region t 3 surrounded by a rectangle drawn by a broken line); and region 104 (above the dashed line, the area t 4 when extending across an image top ) Is included. The x, y coordinates, width w, and height h of each area are given as percentages of the respective maximum values. Since the values x, y, w and h define the "boundary rectangle" of each area, the area of the area is equal to or less than w × h. As shown, the regions may overlap and their association may not cover the image. The attribute f may simply represent the color, for example the color may be represented by known means, for example by a color histogram or a color set. Other simple attributes that can be used include texture and shape, and such attributes can be combined into more complex attributes. Search queries can be similarly expressed. For example, an inquiry area table can be formed as shown in FIG. 4 for the search pattern shown in FIG. FIG. 5 illustrates a query process for finding a database item based on a query, for example, for a database and a query having items as shown in FIGS. 2 and 4, respectively. A general aim is to find an image that includes an area arrangement similar to that of the query image. According to FIG. 5, starting with “α”, the database area is searched for feature matching (step 51) and spatial matching (step 52) for each area of the query. This search compares spatial information such as x, y, h, w, and area of the query area with corresponding information in the database area for spatial matching, and uses an appropriate distance (metric). Suitable distances (metrics) include the Euclidean distance and the Minkowski distance, and quadratic distances (cadratic metrics) whose definition means a square matrix representing the relative similarity between the components of the vector. The distance (metric) can also include different weights for each geometric parameter. The similarity distance can be used for feature matching (f i ). For example, if the color histogram information is included in the form of three components of “red”, “green”, and “blue”, a three-component Euclidean distance can be used. Similarly, this is also the case when such information is included in the form of three components: "hue", "saturation" and "intensity". For efficiency, thresholding is applied to the calculated features and spatial distances, as shown in FIG. Therefore, if the distance exceeds the threshold, the database area is not included in further consideration. Instead of or in addition to using separate thresholds for spatial and feature similarities as shown in FIG. 5, thresholding is also applied to the combined region distance or score, ie, prior to storing the region match in step 53. be able to. These distances can be combined, for example, by simple addition or appropriate weighted addition. If a plurality of processors are available, a "k-loop" feature similarity check process as in step 51 and a spatial similarity check process as in step 52 are sequentially executed as a pair as shown in FIG. Instead of running in parallel. Parallel processing generates two sets of regions: (i) a region that satisfies feature similarity independently of spatial similarity, and (ii) a region that satisfies spatial similarity regardless of feature similarity. Therefore, a "combine" process is required to obtain the desired set of regions that satisfy both types of features. After combining, final thresholding can be performed. Also in steps 52 and 53, parallel processing can be executed using a plurality of processors. Image matching is obtained as a result of the "combine" process in step 54, generating all database images that match each of the query's area requirements. The query may be saved at step 54 more than once, ie, an image stored for different combinations of regions that satisfy the query. Such redundancy is useful to the user of the system; otherwise, the redundancy can be removed by a one-pass search of stored images. If the relative spatial position or arrangement of the regions is not important to the user, it is preferable after the classification based on the score of the stored image, but the calculation can be terminated at this point (β). To further identify based on the relative spatial position of the region, the process shown in FIG. 6 using so-called 2-D strings can be used. The occurrence of the 2-D string at this point, that is, after the similarity check process, can be referred to as "query time 2-D string generation". For the query image, the 2-D string includes the x-coordinate of the centroid arranged in ascending order of the plurality of regions and the y-coordinate of the centroid similarly arranged in ascending order. Similarly, for the database image, the coordinates of the area that matches the area of the query image are used. A 2-D string of the query image is formed at step 61, and at step 62 this string is matched with the 2-D string from each of the stored images. In step 63, the database image is saved only in the case of a match, and in step 64, only those images having a 2-D string that matches the 2-D string of the query image are finally classified and generated. Instead of, or in addition to, the 2-D string containing the x and y coordinates of the center of gravity described above, the 2-D string can be generated after rotating the coordinate system, for example, by 45 °. Such a 2-D string is similarly defined using the coordinates x 'and y' of the center of gravity in the rotating coordinate system.

───────────────────────────────────────────────────── フロントページの続き (72)発明者 チャン シー−フー アメリカ合衆国 ニューヨーク州 ニュー ヨーク ウェスト ワンハンドレッドトゥ エンティース ストリート 500 デパー トメント オブ エレクトリカル エンジ ニアリング コロンビア ユニヴァーシテ ィ (72)発明者 スミス ジョン アール アメリカ合衆国 ニューヨーク州 10025 ニューヨーク ウェスト ナインティシ ックスス ストリート 275 アパートメ ント 15ビー────────────────────────────────────────────────── ─── Continuation of front page    (72) Inventor Chang Shi-Fu             United States of America New York New             York West One Hundred Toe             Entees Street 500 Deper             Toment of electrical engine             Nearing Columbia University             I (72) Inventor Smith John Earl             United States of America New York 10025               New York West Ninety             Xuss Street 275 Apartment             15 bets

Claims (1)

【特許請求の範囲】 １． 画像データベースから画像表現を検索するために、 問合せ画像の複数の領域の各々に対し、問合せ領域と少なくとも１つの特徴類 似性及び少なくとも１つの空間類似性に関し整合する画像領域についてデータベ ースをサーチするステップと、 整合した画像領域を結合するステップと、 を具えることを特徴とする画像検索方法。 ２． データベースをサーチするステップにおいて、データベース画像領域の特 徴類似性及び空間類似性を対にして逐次確認することを特徴とする請求項１記載 の方法。 ３． データベースをサーチするステップにおいて、データベース画像領域の特 徴類似性及び空間類似性を別々のプロセスで並列に確認することを特徴とする請 求項１記載の方法。 ４． 結合された画像領域を含むデータベース画像を保存するステップを更に具 えることを特徴とする請求項１記載の方法。 ５． 保存画像を分類するステップを更に具えることを特徴とする請求項４記載 の方法。 ６． 保存画像を結合された領域の相対位置に基づいて識別するステップを更に 具えることを特徴とする請求項４記載の方法。 ７． 保存画像を識別するステップは２−Ｄストリングを比較するステップを含 むことを特徴とする請求項６記載の方法。 ８． ２−Ｄストリングは領域の重心のｘ及びｙ座標を含むことを特徴とする請 求項７記載の方法。 ９． ２−Ｄストリングは回転座標系における領域重心のｘ'及びｙ'座標を含む ことを特徴とする請求項７記載の方法。 １０． 識別した画像を分類するステップを更に具えることを特徴とする請求項 ６記載の方法。 １１． 保存画像から重複を除去するステップを更に具えることを特徴とする請 求項４記載の方法。 １２． 特徴類似性は色類似性を含むことを特徴とする請求項１記載の方法。 １３． 特徴類似性はテクスチュア類似性を含むことを特徴とする請求項１記載 の方法。 １４． 特徴類似性は形状類似性を含むことを特徴とする請求項１記載の方法。 １５． 画像データベースから画像表現を検索するために、 問合せ画像の複数の領域の各々に対し、問合せ領域と少なくとも１つの特徴類 似性及び少なくとも１つの空間類似性に関し整合する画像領域についてデータベ ースをサーチする手段と、 整合した画像領域を結合する手段と、 を具えることを特徴とする画像検索システム。 １６． データベースをサーチする手段はデータベース画像領域の特徴類似性及 び空間類似性を対にして逐次確認する手段を具えることを特徴とする請求項１５ 記載のシステム。 １７． データベースをサーチする手段はデータベース画像領域の特徴類似性及 び空間類似性を並列に確認する手段を具えることを特徴とする請求項１５記載の システム。 １８． 結合された画像領域を含むデータベース画像を保存する手段を更に具え ることを特徴とする請求項１５記載のシステム。 １９． 保存画像を分類する手段を更に具えることを特徴とする請求項１８記載 の方法。 ２０． 保存画像を結合された領域の相対位置に基づいて識別する手段を更に具 えることを特徴とする請求項１８記載のシステム。 ２１． 保存画像を識別するステップは２−Ｄストリングを比較する手段を具え ることを特徴とする請求項２０記載の方法。 ２２． ２−Ｄストリングは領域の重心のｘ及びｙ座標を含むことを特徴とする 請求項２１記載のシステム。 ２３． ２−Ｄストリングは回転座標系における領域重心のｘ'及びｙ'座標を含 むことを特徴とする請求項２１記載のシステム。 ２４． 弁別した画像を分類する手段を更に具えることを特徴とする請求項２０ 記載の方法。 ２５． 保存画像から重複を除去する手段を更に具えることを特徴とする請求項 １８記載のシステム。 ２６． 特徴類似性は色類似性を含むことを特徴とする請求項１５記載のシステ ム。 ２７． 特徴類似性はテクスチュア類似性を含むことを特徴とする請求項１５記 載のシステム。 ２８． 特徴類似性は形状類似性を含むことを特徴とする請求項１５記載のシス テム。[Claims] 1. To retrieve image representations from an image database,   For each of the plurality of regions of the query image, a query region and at least one feature class Database for image regions that match for similarity and at least one spatial similarity Searching for a source.   Combining the aligned image regions; An image search method comprising: 2. In the database search step, the characteristics of the database image area 2. The method according to claim 1, wherein the signature similarity and the spatial similarity are sequentially checked in pairs. the method of. 3. In the database search step, the characteristics of the database image area Checking similarity and spatial similarity in parallel in separate processes The method of claim 1. 4. Further comprising the step of storing a database image including the combined image regions. 2. The method according to claim 1, further comprising the steps of: 5. The method of claim 4, further comprising the step of classifying the stored images. the method of. 6. Identifying the stored image based on the relative position of the combined region. The method of claim 4, comprising: 7. Identifying the stored image includes comparing the 2-D strings. 7. The method of claim 6, wherein: 8. The 2-D string includes x and y coordinates of the center of gravity of the region. The method of claim 7. 9. The 2-D string contains the x 'and y' coordinates of the area centroid in the rotating coordinate system The method of claim 7, wherein: 10. The method of claim 11, further comprising the step of classifying the identified image. 6. The method according to 6. 11. The method further comprising the step of removing duplication from the stored image. The method of claim 4. 12. The method of claim 1, wherein the feature similarities include color similarities. 13. 2. The method of claim 1, wherein the feature similarities include texture similarities. the method of. 14． The method of claim 1, wherein the feature similarities include shape similarities. 15. To retrieve image representations from an image database,   For each of the plurality of regions of the query image, a query region and at least one feature class Database for image regions that match for similarity and at least one spatial similarity Means for searching for resources,   Means for combining the aligned image regions; An image retrieval system comprising: 16. The means for searching the database is based on the feature similarity and 16. A means for successively confirming a pair of data and spatial similarity. The described system. 17． The means for searching the database is based on the feature similarity and 16. The method according to claim 15, further comprising: means for confirming the spatial similarity in parallel. system. 18. Further comprising means for storing a database image including the combined image area. The system of claim 15, wherein 19. 19. The method according to claim 18, further comprising means for classifying stored images. the method of. 20. Means for identifying the stored image based on the relative position of the combined area. The system of claim 18, wherein 21. Identifying the stored image comprises means for comparing the 2-D strings 21. The method of claim 20, wherein: 22. The 2-D string includes x and y coordinates of the center of gravity of the region The system of claim 21. 23. The 2-D string contains the x 'and y' coordinates of the area centroid in the rotating coordinate system. 22. The system according to claim 21, wherein 24. 21. The apparatus according to claim 20, further comprising means for classifying the discriminated images. The described method. 25. The method according to claim 11, further comprising: means for removing duplication from the stored image. 19. The system of claim 18. 26. The system of claim 15, wherein the feature similarities include color similarities. M 27. The method of claim 15, wherein the feature similarities include texture similarities. On-board system. 28. The system of claim 15, wherein the feature similarity includes shape similarity. Tem.
JP54918598A 1997-05-16 1997-05-16 Image search method and system Ceased JP2001525959A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US1997/009256 WO1998052119A1 (en) 1997-05-16 1997-05-16 Method and system for image retrieval

Publications (1)

Publication Number Publication Date
JP2001525959A true JP2001525959A (en) 2001-12-11

Family

ID=22260985

Family Applications (1)

Application Number Title Priority Date Filing Date
JP54918598A Ceased JP2001525959A (en) 1997-05-16 1997-05-16 Image search method and system

Country Status (3)

Country Link
JP (1) JP2001525959A (en)
CA (1) CA2290445A1 (en)
WO (1) WO1998052119A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163841A (en) * 2004-12-07 2006-06-22 Canon Inc Image searching device, image searching method, program, and storage medium

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6285995B1 (en) * 1998-06-22 2001-09-04 U.S. Philips Corporation Image retrieval system using a query image
US6253201B1 (en) * 1998-06-23 2001-06-26 Philips Electronics North America Corporation Scalable solution for image retrieval
CN1193623C (en) * 1999-05-17 2005-03-16 三星电子株式会社 Color image processing method
US7212667B1 (en) 1999-05-17 2007-05-01 Samsung Electronics Co., Ltd. Color image processing method for indexing an image using a lattice structure
US6782395B2 (en) 1999-12-03 2004-08-24 Canon Kabushiki Kaisha Method and devices for indexing and seeking digital images taking into account the definition of regions of interest
FR2801992B1 (en) * 1999-12-03 2002-05-03 Canon Kk CONTENT-BASED IMAGE SEARCHING METHOD AND APPARATUS TAKING INTO ACCOUNT THE DEFINITION OF REGIONS OF INTEREST
EP1184796A1 (en) * 2000-08-29 2002-03-06 Sudimage Method of associative navigation in a multimedia database
FR2815741B1 (en) * 2000-10-24 2004-09-10 Canon Kk METHOD AND DEVICE FOR INDEXING AND SEARCHING IMAGES BASED ON THE CONTENT OF REGIONS OF INTEREST
US6801661B1 (en) 2001-02-15 2004-10-05 Eastman Kodak Company Method and system for archival and retrieval of images based on the shape properties of identified segments
US20030039410A1 (en) * 2001-08-23 2003-02-27 Beeman Edward S. System and method for facilitating image retrieval
GB2417801A (en) * 2004-09-07 2006-03-08 Pepperdog Ltd Image processing apparatus
AT514355B1 (en) * 2013-05-17 2017-01-15 Ait Austrian Institute Of Technology Gmbh Used to select digital images from an image database
CN117370590A (en) * 2015-12-02 2024-01-09 杭州海康威视数字技术股份有限公司 Image retrieval method, device and system

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0528084B1 (en) * 1991-08-15 1999-05-19 International Business Machines Corporation System and method for processing data representing stored images
US5546572A (en) * 1991-08-28 1996-08-13 Hitachi, Ltd. Method for retrieving database of image information
JPH0756652B2 (en) * 1992-03-24 1995-06-14 インターナショナル・ビジネス・マシーンズ・コーポレイション Search for video frame sequence
US5615112A (en) * 1993-01-29 1997-03-25 Arizona Board Of Regents Synthesized object-oriented entity-relationship (SOOER) model for coupled knowledge-base/database of image retrieval expert system (IRES)
US5493677A (en) * 1994-06-08 1996-02-20 Systems Research & Applications Corporation Generation, archiving, and retrieval of digital images with evoked suggestion-set captions and natural language interface

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006163841A (en) * 2004-12-07 2006-06-22 Canon Inc Image searching device, image searching method, program, and storage medium
JP4641414B2 (en) * 2004-12-07 2011-03-02 キヤノン株式会社 Document image search apparatus, document image search method, program, and storage medium

Also Published As

Publication number Publication date
CA2290445A1 (en) 1998-11-19
WO1998052119A1 (en) 1998-11-19

Similar Documents

Publication Publication Date Title
US9268795B2 (en) Selection of an image or images most representative of a set of images
US8150216B2 (en) Methods and apparatus for automated true object-based image analysis and retrieval
US6691126B1 (en) Method and apparatus for locating multi-region objects in an image or video database
US6192150B1 (en) Invariant texture matching method for image retrieval
US9007647B2 (en) Methods and apparatus to identify images in print advertisements
US8200010B1 (en) Image segmentation by clustering web images
JP2001525959A (en) Image search method and system
Yang Content-based image retrieval: a comparison between query by example and image browsing map approaches
Shih et al. An intelligent content-based image retrieval system based on color, shape and spatial relations
Song et al. Analyzing scenery images by monotonic tree
Prasad et al. Color and shape index for region-based image retrieval
KR100323364B1 (en) A method for extracting characterized vectors in color image and a retrieval method using the characterized vectors
Keyvanpour et al. Feature weighting for improving document image retrieval system performance
KR20030005908A (en) apparatus and method for representative feature extraction of objects and, its application to content-based image retrieval
Rusinol et al. Interactive trademark image retrieval by fusing semantic and visual content
CN112445926A (en) Image retrieval method and device
Huet et al. Inexact graph retrieval
Chalechale et al. An abstract image representation based on edge pixel neighborhood information (EPNI)
Nam et al. Elis: An efficient leaf image retrieval system
van Leuken et al. Layout indexing of trademark images
Li et al. Towards Effective Crowd-Assisted Similarity Retrieval of Large Cursive Chinese Calligraphic Character Images
Elboushaki et al. Efficient object indexing and retrieval using partial dominant orientation descriptor
Chang et al. Image content analysis using modular RBF neural network
Saurav et al. Holistic Correlation of Color Models, Color Features and Distance Metrics on Content-Based Image Retrieval
Kushima et al. ExSight: Highly accurate object based image retrieval system enhanced by redundant object extraction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070220

A313 Final decision of rejection without a dissenting response from the applicant

Free format text: JAPANESE INTERMEDIATE CODE: A313

Effective date: 20070711

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070911