JP2002519748A - 像検索システム - Google Patents

像検索システム

Info

Publication number
JP2002519748A
JP2002519748A JP2000556292A JP2000556292A JP2002519748A JP 2002519748 A JP2002519748 A JP 2002519748A JP 2000556292 A JP2000556292 A JP 2000556292A JP 2000556292 A JP2000556292 A JP 2000556292A JP 2002519748 A JP2002519748 A JP 2002519748A
Authority
JP
Japan
Prior art keywords
cluster
image
images
clusters
similarity
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000556292A
Other languages
English (en)
Inventor
エス アブデル−モッタレブ モハメド
クリシュナマハリ サンタナ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Electronics NV filed Critical Philips Electronics NV
Publication of JP2002519748A publication Critical patent/JP2002519748A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/912—Applications of a database
    • Y10S707/913—Multimedia
    • Y10S707/915—Image
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99932—Access augmentation or optimizing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99931—Database or file accessing
    • Y10S707/99933—Query processing, i.e. searching
    • Y10S707/99936—Pattern matching access
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99944—Object-oriented database structure
    • Y10S707/99945—Object-oriented database structure processing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S707/00—Data processing: database and file management or data structures
    • Y10S707/99941—Database schema or data structure
    • Y10S707/99948—Application of database or data structure, e.g. distributed, multimedia, or image

Abstract

(57)【要約】 像検索システムは多数の像を有するデータベースを具える。このシステムによってユーザにより入力されたクエリー像に類似のデータベースから像を検索する。データベースの像は類似度規準に従ってクラスターで群別し、相互に類似の像が同一クラスターに存在し得るようにする。各クラスターは内包される像に対する代表であるクラスター中心を有する。類似像に対する探索の第１ステップはクエリー像と全てのクラスターのクラスター中心とを比較することによってクエリー像に類似の像を含むクラスターを選択する。探索の第２のステップによって選択されたクラスターの像とクエリー像とを比較してクエリー像に対するその類似度を決めるようにする。

Description

【発明の詳細な説明】
【０００１】 本発明は候補像を有するデータベースと；クエリー像をエンターするエントリー
手段と；クエリー像と候補像の一つとを比較する比較手段と；少なくとも最大類
似度を有する候補像およびクエリー像を存在させる代表手段とを具える像検索シ
ステムに関するものである。 本発明はさらにクエリー像を入力するステップと；クエリー像と候補像とを比
較してこれら候補像およびクエリー像間の個別の類似度を確立するステップと；
少なくとも最大の類似度を有する候補像およびクエリー像を代表するステップと
を具える候補像を有するデータベースから像を検索する方法に関するものである
。 本発明はさらにデータベースの像を編成する方法に関するものである。 本発明はさらにデータベースの像を編成するシステムに関するものである。 本発明はさらに複数の像を有するデータベースに関するものである。
【産業上の利用分野】
【０００２】 像検索システムは、像の大きな収集を含む用途に重要である。その職業的用途に
はビデオの一片を一組のショットを介して確認するとともにビデオの１ショット
を所定の像に従って検索する放送局が含まれる。また、映画の製作では多数のシ
ーンの中から前の数シーンを前にさかのぼって見いだし得るようにするする必要
がある。さらに、美術館には絵画、写真およびデッサンからの像の大きなコレク
ションがあり、且つ、その内容に対してある基準に基づき像を検索し得るように
する必要がある。消費者の用途はスライド、写真およびビデオのコレクションを
保持し、これらコレクションから例えば特定のクエリー像を有する類似度に基づ
きアイテムを前にさかのぼって見いだし得るようにする必要がある。
【０００３】
【従来の技術】
上述した像検索システムおよび像検索方法はProc.SPIE-Int.Soc.Opt.Eng(USA)
,Vol.2670,pp.426-437にJohn R.SmithShih-Fu Changが発表した論文“Tools and
Techniques for Color Image Retrieval”から既知である。像検索システムは
多数の像を有するデータベースを具える。特定の像に対するユーザの探索は探索
された像を如何にそれらしく見えるようにするか、についてクエリー像を特定す
ることである。従って、像検索システムはクエリー像を有する記憶された像を具
えるとともにクエリー像を有する類似度に従って記憶された像をランク付けする
ことにある。このランク付けの結果は１つ以上の像を検索するユーザに示される
。クエリー像と記憶された像とを比較して類似度を決めることは個別の像から取
出した多数の特徴に基づいて行う。像の特徴および比較に用いられる特徴は特徴
ベクトルと称される。上記論文にはかかる特徴ベクトルとしてカラーベクトルを
用いることが記載されている。像のRGB(赤、青および緑)表示を用いる際に、カ
ラーヒストグラムは、像内の色を量子化し、各色の画素の数を計数することによ
って計算する。類似度を決めるために、各像の２つのカラーヒストグラムを比較
する多数の技術が開示されている。かかる技術の一例は２つの比較するの関連す
るビン(bin)の対の最小値の全ヒストグラムビンを合計するヒストグラム共通集
合である。
【０００４】 特定のセットアップでは、像の数を極めて大きくすることができる。例えば、
インターネットでは、像の数は100万程度であり、更に増え続けている。たとえ
クエリー像と候補像との比較時間が極めて短い場合でも、クエリー像とデータベ
ースの全ての像とを比較するに必要な累積時間は長くなる。既知の像検索システ
ムの欠点はかかる大きなデータベースにおいて一つの像を探索するユーザは、像
検索システムのクエリー像を提起した後、長時間待つ必要がある。
【０００５】
【発明が解決しようとする課題】
本発明の目的はクエリー像と類似の候補像を見出す時間を短縮する上述した種
類の像検索システムを提供せんとするにある。
【０００６】
【課題を解決するための手段】
この目的を達成するために、本発明像検索システムは、各々が候補像の各組お
よびこの組に対し代表されるクラスター中心を具えるクラスター付きデータベー
スと；クエリー像をエンターするエントリー手段と；クエリー像と各クラスター
中心とを比較してクエリー像および各クラスター間の各クラスター類似度を確立
するクラスター比較手段と；少なくとも最大のクラスター類似度付きクラスター
およびクエリー像を選択する選択手段と；前記クエリー像および前記選択クラス
ターの候補像を比較してクエリー像および各候補像間の各像類似度を確立する像
比較手段と；最大の像類似度を有する候補像を少なくとも存在させる代表手段と
；を具えるようにしたことを特徴とする。
【０００７】 クエリー像にもっとも類似の１つ以上のクラスターを選択し、次いでクエリー
像および選択されたクラスターの候補像のみを比較することによって数回の比較
が必要となる。これにより、クエリー像と類似の候補像を見出すに必要な時間を
短縮する。クラスターの数が像の数よりも著しく小さいため、クエリー像とクラ
スターとを比較する追加の比較数が節約された比較数よりも著しく少なくなる。
その理由はクエリー像と選択されなかったクラスターとを比較しないからである
。候補像をその類似度に従ってクラスターにクラスター化するには何等クエリー
像を必要としない。これがため、クラスター化は予め行い、ユーザがクエリー像
に基づいて像を実際に探索する際には行われない。像をクラスター化するに必要
な時間は待ち時間に追加されないため、像検索システムのユーザはこれを探索時
に経験する。
【０００８】 本発明像検索システムの一例では、像間の類似度はそのカラーヒストグラムに
基づいて決めることができる。クラスターの多数の代表像の各ヒストグラムの平
均値は全クラスターの代表として有利に用いることができる。
【０００９】 本発明の他の目的はクエリー像に類似した候補像を見出す時間を短縮し得るよ
うにした上述した種類の像検索方法を提供せんとするにある。
【００１０】 この目的を達成するために、本発明は、各々が候補像の各組およびこの組に対
する代表であるクラスター中心を具えるクラスター付きデータベースから像を検
索する方法において、クエリー像を入力するステップと；クエリー像と各クラス
ター中心とを比較してクエリー像および各クラスター間の各クラスター類似度を
確立するステップと；少なくとも最大のクラスター類似度付きクラスターおよび
クエリー像を選択するステップと；前記クエリー像および前記選択クラスターの
候補像を比較してクエリー像および各候補像間の各像類似度を確立するステップ
と；少なくとも候補像に最大の像類似度を存在させるステップと；を具えること
を特徴とする。
【００１１】 どのクラスターがクエリー像に類似であるかを先ず最初に決め、次いで、クエ
リー像とこれらクラスターの像のみとを比較することによって、さらに少数会の
比較を比較とする。これによりクエリー像に類似の候補像を見出すに必要な時間
を一層短縮する。
【００１２】 本発明のさらに他の目的は得られたデータベースによって所定のクエリー像と
類似の像を短縮時間で見出すようにしたデータベースの像を編成する方法を提供
せんとするにある。
【００１３】 この目的を達成するために、本発明データベースの像を編成する方法は、デー
タベースの像を編成するに当たり、各々が像のサブセットを具え、クラスター内
の像が互いに相似し、且つクラスターの少なくとも一つが一つ以上の像を具える
クラスターを規定するステップと；クラスターの各々に対しクラスター中心を規
定するステップと；を具えることを特徴とする。
【００１４】 個別のクラスターの類似像を相互に群別し、且つこれらクラスターに対し各ク
ラスター中心を規定することによって、所定のクエリー像に類似の像への続く探
索を一層迅速に行うことができる。この探索によって先ず最初クラスター中心に
基づいてどのクラスターがクエリー像に類似の像を含むかを決めることができる
。次いで、探索によってクエリー像とデータベースの像とのこれらクラスターに
対する更なる比較を制限する。これがため、数回の比較を必要とするだけで、類
似の像を見出す時間が探索されるようになる。
【００１５】 本発明データベースの像を編成する方法の一例は請求項５に規定する。全ての
クラスター間のうちでどの２つのクラスターが互いにもっとも類似しているかを
決めるとともにこれら２つのクラスターを新たなクラスターに併合することによ
って、クラスターを有するデータベースを良好に発生させ、これにより一つのク
ラスターが相互に類似の像を具えるようにする。この手順は、２つのもっとも類
似のクラスターが新たなクラスターに併合される度毎に、繰返し実行され、これ
によってクラスターが所望数に到達するまで、即ち、２つのもっとも類似のクラ
スター間の類似度が所定のスレシホルド値以下に降下するまでクラスターの数を
１つ宛減少する。
【００１６】 本発明データベースの像を編成する方法の他の一例を請求項６に規定する。２
つのクラスターの像の全ての対間の類似度の平均値はこれら２つのクラスター間
の類似度に対する良好な目安である。その理由は両クラスターのあらゆる像がこ
の目安に寄与するからである。
【００１７】 本発明データベースの像を編成する方法の他の一例を請求項７に規定する。特
定のクラスターのクラスター中心をこの特定のクラスターの数個の像に基づいて
決める場合には、この目的のために、かかる特定のクラスターに併合されたクラ
スターから個別の像を選択するのが有利である。これらクラスターがある早期の
段階で分隔（分離）された、と云う事実は、クラスターの一つの像がそれ自体の
クラスターからのある像以外のクラスターの像よりも類似度が低いことを示す。
従って、クラスターの各々からの像を選択することによってクラスターを併合す
ることにより得られる特定のクラスターの像の多様性（相違）を良好に示す。
【００１８】 本発明データベースの像を編成する方法の他の一例を請求項８に規定する。ク
ラスター中心が多数の代表像のみに基づくものであるため、それ自体のクラスタ
ーのクラスター中心よりも他のクラスターのクラスター中心と一層類似する像が
存在する。１つ以上のかかる像が存在することが決まると、これら像は他の各ク
ラスターに移動してクラスター中心を有するクラスターに像の最適編成を行い得
るようにする。かかる像の移動ステップは内包クラスターのクラスター中心の再
計算が追従し、即ち、クラスターから像を移動するとともにクラスターに像を移
動するステップはクラスター中心の再計算を行い、且つ再び、それ自体よりも他
のクラスター中心に一層類似する１つ以上の像の再チェックが追従する。これら
ステップは移動すべき像の数が所定スレシホルド以下となるまで、繰返し実行す
る。
【００１９】 本発明のさらに他の目的は、得られたデータベースによって所定クエリー像に
類似する像を見出し得るようにしたデータベースの像を編成するシステムを提供
せんとするにある。
【００２０】 この目的を達成するために、本発明システムは各々が像のサブセットを具える
クラスターを規定し、これによりクラスターの像が互いに類似であり、且つ、ク
ラスターの少なくとも１つが１つ以上の像を具えるクラスター化手段と；クラス
ターの各々に対するクラスター中心を決める中心決定手段と；を具えることを特
徴とする。
【００２１】 各クラスターの類似像を相互に群別するとともにこれらクラスターに対する各
クラスター中心を規定することによって、所定のクエリー像に類似する像に対す
る後続の探索を一層迅速に行い得るようにした像を編成する。探索第１ステップ
によってどのクラスターがクエリー像に類似する像を含んでいるかを決定する。
次いで、探索の第２ステップによってクエリー像とこれらクラスターの像とを比
較する。これにより所定のクエリー像に類似する像を見出す必要のある比較の回
数を著しく短縮する。
【００２２】 本発明のさらに他の目的は所定のクエリー像に短縮時間に類似する編成におい
て複数の像を有するデータベースを提供せんとするにある。
【００２３】 この目的を達成するために、本発明複数の像を有するデータベースは各々が像
のサブセットを具え、これによりクラスターの像が互いに類似であり、且つ、ク
ラスターの少なくとも１つが１つ以上の像を具えるクラスターと；クラスター中
心の各々に対するクラスター中心と；を具える。
【００２４】 各クラスターの類似像およびこれらクラスターの各クラスター中心を相互に群
別することによって所定のクエリー像に類似の像をに対する後続の探索を一層迅
速に行い得るようにすることができる。
【実施例】
図面につき本発明を説明する。 種々の図面の関連する特徴は同一の符号で示す。
【００２５】 図１は本発明像検索システムを線図的に示す。像検索システム100は候補像を
電位的に大きく収集したデータベース102を具える。本発明システムの目的はシ
ステムのユーザの要求と一致する１つ以上の捕捉像から探索する必要がある。こ
のシステムによって像の捕捉時に内容に基づく検索を行い得るようにする。即ち
、像に加える注釈キーワードに基づいて探索するシステムとは逆に、像の内容を
探索またはランキング規準として用いる。本発明によるデータベースの像はクラ
スターに群別され、そのクラスター104、106および108を図示する。１つのクラス
ターの像は互いにある程度類似させる必要がある。例えば、クラスター108は像1
10、112、114および116を含み、これら像は互いに類似するある目安に従っている
。１つの像の内容は、システムにおいて、いわゆる特徴ベクトルによって代表さ
れ、例えば像116は特徴ベクトル118を有する。本発明システムでは、像のカラー
ヒストグラムを特徴ベクトルとして用いるが、特徴ベクトルの型は本発明の要旨
ではないので、像の内容の特徴を表わす他の手段を用いることができる。特徴ベ
クトルは像自体とともにデータベースに、またはデータベースのある他の場所、
例えば、像に対する規準を含む他の像の特徴ベクトルを有するテーブルに、記憶
することができる。クラスターは含まれる像を代表するクラスター中心を有し、
例えばクラスター中心108はクラスター中心120を有する。本発明システムでは、
クラスター中心はクラスターの多数の代表像のカラーヒストグラムの平均値であ
る。他の種類のクラスター中心、例えば、クラスターの全部の像に対する代表像
として選択された単一像の特徴ベクトルを用いることができる。
【００２６】 さらに、本発明システムはユーザがクエリー像124をエンターするエントリー
ユニット122を具える。このエントリーユニットによってユーザは多数の現存像
からのクエリー像を構成するかまたはスクラッチからクエリー像を発生させるこ
とができる。このエントリーユニットはペーパー上に得られる像からデジタル像
を発生させる走査装置またはデジタル像を発生する他の装置を含めることができ
る。このエントリーユニットによって内容を表わす特徴ベクトル126をクエリー
像124に対して決めるようにする。クエリー像がデータベースの像と類似する程
度を決めるために、双方の像の特徴ベクトルを用いて類似度を計算する。また、
本発明システム100はクエリー像124とデータベースのクラスターとを比較するク
ラスター比較ユニット128を具える。クラスターの各々に対して、クラスター比
較ユニット128はクエリー像の特徴ベクトル126およびクラスター108の各クラス
ター中心、例えば、120に基づいてクラスターの類似度130を計算する。このクラ
スターの類似度130は候補像が特定のクラスター中心を有するか、またはこれを
経てこのクラスター内に候補像を有する手段の目安である。選択ユニット132に
よって計算されたクラスター類似度130に基づいて最高の類似度を有するクラス
ターのリスト134を選択する。良好な総合検索精度に対して、クラスター当たり1
5個の像の平均値を有する総合133個のクラスターから10個のもっとも類似のクラ
スターを選択することを実験により確かめた。次いで、像比較手段136によって
クエリー像124および選択されたクラスターの候補像の各々とを比較する。かか
る各候補像に対して、像類似度138をクエリー像の特徴ベクトル126および特定の
候補像の特徴ベクトルに基づいて計算する。
【００２７】 最後に、クエリー像にもっとも類似する候補像を表示ユニット140によってユ
ーザに表示する。表示ユニット140には計算された像類似度138に対してランク付
された像のリスト142が存在する。さらに、エントリーユニット122によって決め
る代わりに、特徴ベクトル126を比較ユニット128またはこの目的のために特別に
配列された他のユニットによって決めることができる。
【００２８】 本発明像検索システムの一例では、像の特徴ベクトルをカラーヒストグラムと
する。２つの像間の類似度測定はいわゆるヒストグラム交点を決めることによっ
てこれら像の２つのカラーヒストグラムに基づいて計算する。この技術はProc.
SPIE-Int. Soc. Opt. Eng(USA), Vol. 2670, pp. 426-437に発表されたJohn R.
Smithおよび Shih-Fu Changによる論文“Tools and Techniques for Color Imag
e Retrieval”に記載されている。
【００２９】 他の例では、２つのヒストグラムを２つの確率分布として処理することにより
ヒストグラム交点技術の代替案を用いる。次いで、２つのヒストグラムの類似す
る程度としての質問は、一方の確率分布および他方の確率分布から相違する程度
を測定することによって回答することができる。２つの空間分布間のこの相違は
情報ダイバージェンスまたはクルバック(Kullback)情報ダイバージェンスと称さ
れ、次式により計算することができる。
【数１】 ここに、Q(x)は正規化クエリーカラーヒストグラム、P(x)は正規化候補カラーヒ
ストグラム、D(Q‖P)はクルバック情報ダイバージェンスである。
【００３０】 クルバック情報ダイバージェンスに関する一層詳細な検討はテキストブック“
Information Theory : Coding Theorems for Discrete Memoryless Systems”,
I.Csizer and L.Korner, Akademia Kiado, Budapest, 1981, pages19-22を参照
されたい。
【００３１】 式（１）は次式のように書換えることができる。
【数２】 式（２）の第１項は分布Q(x)のエントロピーであり、候補像の内容によって完全
に決まる。従ってこの第１項はデータベースの全ての候補像に対し同一であり、
クエリー像の類似度に対し候補像をランク付けする場合には考慮する必要はない
。本発明像検索システムの第１例によれば、候補像およびクエリー像間の類似度
は次式により計算することができる。
【数３】 ここにSK(Q,P)は候補像およびクエリー像間の類似度、Q(x)は正規化クエリーカ
ラーヒストグラム、P(x)は正規化候補カラーヒストグラムである。
【００３２】 SK(Q,P)の値は候補像をクエリー像に対する類似度に対してランク付けするた
めに用いる。相対的に大きな値は２つの像が類似することを示し、相対的に小さ
な値は２つの像が類似していないことを示す。
【００３３】 本発明像検索システムのさらに他の例では、類似度係数は類似度を決める必要
のある２つのカラーヒストグラムの関連するビンス(bins)の各対に対して決める
ようにする。次いで、類似度係数のかくして得られた収集を確率分布として処理
するとともに２つのヒストグラムがどうして類似であるか、の質問には確率分布
を解析することによって返答する。この例では、類似度係数は次式を用いて計算
する。
【数４】 ここに、ri(P,Q)は候補カラーヒストグラムのビンiおよびクエリーカラーヒスト
グラムのビンi間の類似度係数、Piは候補カラーヒストグラムのビンiの画素数、
qiは候補カラーヒストグラムのビンiの画素数である。
【００３４】 特に、データベースの候補像が著しく異なるカラーヒストグラムを有する場合
には、類似度係数そのままに基づく比較は十分ではない。これがため、ビンス全
体に亘る類似度係数の分布を解析する。先ず最初、この分布は次式を用いて正規
化する。
【数５】 ここに、siは正規化確率分布Sの要素であり、riは式（４）を用いて計算し、Nは
ビンスの数である。
【００３５】 確率分布Sの平坦化は候補像カラーヒストグラムおよびクエリー像カラーヒス
トグラム間の類似度を決める類似度係数自体に追加して用いる。平坦化確率分布
は良好な総合一致を示すが、数個のピーク値を有する確率分布は数個のビンスに
亘る良好な一致を示す。確率分布Sの平坦度のレベルは次式を用いてそのエント
ロピーを計算することにより測定する。
【数６】 ここに、H(S)は確率分布Sのエントロピー、siは式（５）を用いて計算された確
率分布Sの要素、Nはビンスの数である。
【００３６】 H(S)は範囲〔0,log(N)〕にある。H(S)=log(N)は全てのビンスの類似度係数が
等しく、即ち、ri=rj, i,j=〔0,N-1〕の素子であることを示す。H(S)=0はヒスト
グラムＰおよびＱが類似となる多くとも１ヒストグラムビンが存在することを示
す。本発明像検索システムの例では、この類似度はエントロピーH(S)と次式を用
いる類似度係数の和とを組合せることによって得る。
【数７】 ここに、SE(P,Q)は候補像およびクエリー像間の類似度、H(S)は式（６）による
エントロピー、およびriは式（４）による類似度係数である。
【００３７】 SE(P,Q)は範囲〔0,Nlog(N)〕にある。SE(P,Q)の値が大きいことは候補カラー
ヒストグラムPおよびクエリーカラーヒストグラムQ間の類似度が高いことを示す
。SE(P,Q)=0の場合には、PおよびQは殆ど類似していない。SE(P,Q)=〔0,Nlog(N)
〕の場合には、PおよびQは理想的である。
【００３８】 上述した像検索システムの例では、単一カラーヒストグラムを善画像から形成
した。これがため、像からの空間情報が消失し、２つの像を比較することによっ
て全体的な類似度のみを反映する。例えば、ユーザが頂部に空、底部に砂を有す
るクエリー像をエンターする場合には、検索された像は青およびベージュの混合
を有することを期待するが、必ずしも空および砂を有することを期待しない。検
索された候補像に必要な結果は頂部に青、底部にベージュを有する像である。こ
の結果を達成するために、本発明像検索システムの他の例によって、クエリー像
の多数の各領域を決めるとともに斯く決められたヒストグラムをクエリー像の関
連する領域のヒストグラムと比較する。クエリー像は予め固定された協会を用い
る領域に分割することができ、予め像の多数の矩形への分割を行うことができる
。さらに、これら領域はクエリー像の重要な対象を考慮に入れたユーザによって
手動的に示すことができる。斯様にしてユーザは、対象物体を比較する領域のヒ
ストグラムが作成されるようにする。この領域の大きさの選定は重要である。そ
の理由はこれによって局部情報に与えられる重要性を決定するらである。極端な
場合には、全画像を単一領域と見なして、かかる比較に全体的な情報のみを用い
る。他の極端な場合には、領域の大きさを個別の画素に整合させる。本発明のさ
らに他の例では、像を４×４の矩形領域に分割する。
【００３９】 クエリー像および候補像の各領域に相当する領域類似度を組合せて一つの総合
類似度を得ることによって、領域類似度の任意の一つに充分すぎる重要性が置か
れるのを防止する必要がある。従って、像当たりの多重カラーヒストグラムを有
する本発明像検索システムの例では領域類似度の中央値を全画像の類似度の目安
として用いる。クルバック情報ダイバージェンスを用いる像検索システムの例で
は、像の各領域の類似度に基づいて、候補像およびクエリー像間の総合類似度を
次式に従って計算する。
【数８】 ここに、IQはクエリー像、IPは特定の候補像、SK(IQ,IP)は像PおよびQ間の総合
類似度、QKlはクエリー像の領域k,lのカラーヒストグラム、PKlは特定の候補像
の領域k,lのカラーヒストグラム、SK(QKl,PKl)は式（３）によるクルバック情報
ダイバージェンスに基づいて候補像の領域k,lおよびクエリー像の領域k,l間の類
似度、Mは像を水平方向および垂直方向に分割する領域の数である。
【００４０】 メディアン関数によって個別の領域類似度を分類するとともに総合類似度とす
べき中央値を選択する。
【００４１】 エントロピー測定を用いる像検索システムの例では、像の各領域の類似度に基
づいて候補像およびクエリー像間の総合類似度を次式に従って計算する。
【数９】 ここに、IQはクエリー像、IPは特定の候補像、SK(IQ,IP)は像PおよびQ間の総合
類似度、QKlはクエリー像の領域k,lのカラーヒストグラム、PKlは特定の候補像
の領域k,lのカラーヒストグラム、SK(QKl,PKl)は式（７）によるエントロピー測
定に基づいて候補像の領域k,lおよびクエリー像の領域k,l間の類似度、Mは像を
水平方向および垂直方向に分割する領域の数である。
【００４２】 本発明による像検索システムのデータベースの像はクラスターに編成して、ク
ラスターを有するすべての像を比較する必要なく、所定のクエリー像と類似する
像に対する探索を行い得るようにする。本発明によれば像のクラスターを規定し
、これにより類似の像を同一のクラスターに群別し、クラスター内の像を代表す
るクラスターに対するクラスター中心を規定する。本発明によるデータベースの
像を編成する方法の一例では、像をハイアラーキー状にクラスター化する。デー
タベースの像の数をnとし、像の全ての対間の類似度を予備計算する。データベ
ース内の候補像間の類似度の計算は、クエリー像および候補像間の類似度の計算
に対して、上述した同一特徴のベクトルを用いて、即ち、関連する像のカラーヒ
ストグラムを用いて行う。しかし、異なる型の特徴ベクトルを用いることができ
る。その理由はデータベースの像をクラスター化する処理がデータベースを探索
する処理に直接リンクしないからである。ハイアラーキー的クラスター化は次の
ステップのように実行する。 １．データベース内のn個の像をn個の各クラスターに置き、これらクラスターを
リーフクラスターと称し、｛C1, C2, ・・・・, Cn｝で索引付けする。k番目の
クラスターに対しては組Ekはこのクラスターに含まれる像全部を含む。全てのク
ラスターに対してはEk={k}であり、像の数はNk=1である。 ２．互いに対する類似度が最大となる２のクラスターCkおよびClを選択する。２
つのクラスター間の類似度の計算を以下に述べる。 ３．これら２つのクラスターは新たなクラスターCn+1に併合する。これによって
クラスターの数を１だけ減少する。この新たなクラスターの像の組はEn+1={EkU El}となり、この新たな像の数はNn+1=Nk+Nlとなる。 ４．クラスターの数が所望の数まで減少するまで、またはクラスター間の最大の
類似度が所定スレシホルド値に低下するまで、ステップ２および３を繰返す。
【００４３】 図２は本発明による像をクラスターに編成する簡単な例を示す。データベース
は８個の画像、像202-216を含む。ステップ１では、これら像を８個の個別のク
ラスターに置く。ステップ２の第１の実行において、８個のクラスター間のうち
の全ての対から、クラスター202およびクラスター206が互いに対しもっとも類似
である。これら２つのクラスターは併合されてステップ３で新たなクラスター21
8なる。この結果、全体は７個のクラスター、即ち、クラスター218、204、208、210
、212、214および216となる。ステップ２の第２の実行の後、これら７個のクラス
ターの全ての対のうちからクラスター204および208が最高の類似度を有する。こ
れらクラスターを新たなクラスター220に併合する。次いで、ステップ２および
３を繰返して、クラスター212および214をクラスター222に併合し、クラスター2
22およびクラスター216をクラスター224に併合し、クラスター218およびクラス
ター220をクラスター226に併合する。斯様にして３つの異なるクラスター：クラ
スター226、クラスター210およびクラスター224を有する構体を得る。次に、ステ
ップ２の最後の実行において、クラスター226および210がこれら３つのクラスタ
ーのうち最高の類似度を有し、従ってこれらクラスターが新たなクラスターに併
合されるようにする。クラスター化の処理はここで停止する。その理由はクラス
ター化が本例では所望数ncであった多数の２種類のクラスターに到達するからで
ある。この例では、N14=5, N12=3, E14={1,2,3,4,5}およびE12={6,7,8}である。
【００４４】 本発明像検索方法の他の例では、代替クラスター化技術を選択する。この代替
クラスター化は次のようにして実行する。 １．クラスターncの数は先験的に選択する。ncクラスターはデータベースからnc 個の像を任意にピックアップすることによって選択する。 ２．データベースの各像に対して、像およびクラスター中心間の類似度測定を計
算し、且つ、像をクラスター中心に割当てこのクラスター中心で最大の類似度測
定を提示する。 ３．新たなクラスター中心をクラスター中心の重心として計算する。 ４．ステップ２および３は、クラスター中心の変化がなくなるまで、繰返す。
【００４５】 本発明像編成方法の一例では、２つのクラスターCkおよびCl間の類似度の測定
は、次式を用い、これらクラスターに含まれる像の類似度測定によって規定する
。
【数１０】 ここに、Sk,lはクラスターCkおよびCl間の類似度測定、EkはクラスターCｋの像
の組、ElはクラスターClの像の組、sijは２つの像iおよびj間の類似度測定、P(N k+Nl) はクラスターCkおよびClの組合せにおける像の対の数である。
【００４６】 従って、Sk,lはクラスターCkおよびClの併合によって得られたクラスターに存
在する像の全部の対間の平均類似度として規定する。斯様にして、２つのクラス
ターを併合すと、併合クラスターはこれら２つのクラスターのすべての像間の類
似度が最大となる。クラスター間の類似度はクラスターの像間の類似度測定によ
って規定されるため、２つのクラスターが併合される度毎にクラスター中心を計
算する必要はない。
【００４７】 n個の像の対のするPnは次式を用いて計算する。
【数１１】
【００４８】 ２つのクラスターClおよびCkを新たなクラスターCmに併合する場合には、他の
全てのクラスターを有するこのクラスターの類似度を計算する必要がある。これ
は式（10）を用いて行うことができる。しかし、この計算は徹底して計算的であ
り、且つ迅速な巡回計算を行うことができる。任意所定のクラスターClに対して
、クラスターCmおよびクラスターCl間の類似度は次式を用いて巡回的に計算する
。
【数１２】 ここに、Sl,mはクラスターCmおよびCl間の類似度測定、Pxはx個の像からの像の
対の数、クラスター化の始めに、全てのリーフクラスターに対してSi,jはsi,jに
等しく設定され、Si,iは零に等しく設定される。
【００４９】 本発明像編成方法の上述した例では、クラスターのクラスター中心はこのクラ
スターの多数の代表像のカラーヒストグラムの平均値として規定される。これら
像は、像から計算されたクラスター中心がクラスターの像全部に近似するように
選択する。ハイアラーキクラスター化アルゴリズムの副産物として得られた３つ
の構造を有効に用いて代表像の組を選択する。以下の説明において、サブクラス
ターとは、他のクラスターと併合されて合成された大きなクラスターの一部分を
形成するクラスターである。図２の例において、クラスターC14の代表像は以下
を考慮して選択する。ツリー構造から推測するに、像１および３は一方のサブク
ラスターに属し、像２および４は他方のサブクラスターに属する。上述した考察
に従う選択によって一つのクラスターに存在する像のダイバーシティを捕捉する
代表組を得ることができる。
【００５０】 一般に、組Ciに対し、r個の像の代表組を以下に説明するように選択する。r個
のサブクラスターの一組はCiに関連するツリーから選択するとともに、これらサ
ブクラスターの各々から代表像を選択して、r個の代表像を得る。この手順には
次のステップが含まれる。 １．n=0および組Rn={i}を形成する。r=1とすると、この際ステップ５に進む。 ２．Rnの各素子をサブクラスターのインデックスとする。Nkが最大となるように
素子kを見つける、即ち、サブクラスターの像が最大数のハイアラーキの次のレ
ベルでサブクラスターを見出す。 ３．k以外のRnの素子全部をコピーするとともにCkの右側チルドおよびCkの左側
チルドを加えることにより新たな組Rn+1を形成する。 ４．ステップ２および３は、Rnに含まれる数がrに等しくなるまで、繰返す。 ５．RnがCiに関連するツリーからr個のサブクラスターを含むものとする。これ
らサブクラスターの各々から代表像を選択する。kをRnの素子、Ckをリーフクラ
スターとする場合には、Nk=1となり且つ選択は簡単となる、即ち、リーフクラス
ターに関連する像が選択される。Ckがリーフクラスターでなく、即ち、Nk＞1の
場合には、Ekから単一像を選択する必要がある。これはEkの他のNk-1像を有する
最大平均類似度測定を有する像を選択することによって行う。
【００５１】 r=2のC14の像の代表組を見出す図２に示す例に対し、R0={14}およびR1={13,5}
で開始し、ここで繰返しを停止する。その理由はR1が２個の素子を既に含んでい
るからである。C5が単一素子を有するリーフクラスターであるため、像５は一方
の代表として選択する。他の３個の像を有する各像の平均類似度を計算するとと
もに最大平均類似度を有する像を選択することによって４個の像{1,2,3,4}を含
むC13から他方の代表を選択する。像２が最大平均類似度を有するものとすると
、クラスターC14に対する像の代表組は{2,5}となる。r個の代表像の組を選択し
た後、その関連するヒストグラムの平均値をクラスター中心の代表に用いる。像
当たり多重ヒストグラムを用いる、即ち、空間情報を捕捉するために像の領域当
たり１ヒストグラムを用いる本発明の例では、クラスター中心は代表像の関連す
る領域を平均化することによって得られる多重ヒストグラムによって代表する。
上述した例において、従って、像を16領域に分割する場合には、C16に対するク
ラスター中心は、像２および５の領域の関連するヒストグラムを平均化して得ら
れる16個のヒストグラムによって代表する。
【００５２】 クラスターの像を代表するために、クラスター中心はサブクラスターでなくク
ラスターの各々に対して計算することができる。クラスター中心を計算した後、
クラスター化の最適度およびクラスターの計算を評価する。クラスターに含まれ
る各像に対し、像およびクラスター間の類似度測定が像および他の全てのクラス
ター中心間の各類似度測定容量も大きい場合には、クラスター中心が最適となる
。像の一つの代表組のみを用いてクラスター中心を計算するが、クラスターのす
べての像を計算するものではない、と云う事実を与える場合にはこれは真実では
ない。このクラスター中心の編成は次のように実行する。 １．データベースのn個の像の各々に対して、像と全てのクラスター中心との間
の類似度測定を決める。最大類似度のクラスターが像の存在するクラスターと同
一クラスターである場合には、何もしない。同一クラスターでない場合にはもっ
とも類似しているクラスターであるクラスターから移動させる。両クラスターの
ツリーを再配列させて後述する除去各々追加に反映させるようにする。 ２．関連するクラスターのクラスター中心を再度計算する。これらは像が除去さ
れたクラスターまたは像を追加するクラスターである。 ３．移動すべき像の数画像スレシホルド以下となるまで、ステップ１および２を
繰返す。従って、これら像はステップ１では移動するとともにクラスター中心を
ステップ２では 再計算しない。 ステップ３の終わりに、全ての像はこれらが存在するクラスターの中心を有する
最大の類似度測定を呈し、従って、クラスター化が最適となる。
【００５３】 像をクラスターから取除く際に、サブクラスターおよび像の関連するツリーを
更新する。像を取除く際には取除かれたノードがクラスターのルートの直接チル
ドであるかどうかに依存して２つの可能な手段がある。図３はクラスターのルー
トの直接チルドである像の除去の例を示す。これは図２の例示クラスターの像５
における除去を示す。像5を除去すると、ノード13は冗長となり、従って、ノー
ド13除去され、ノード14と置換される。N14=4,E14={1,2,3,4}とすると、右チル
ドRC14=10,左チルドLC14=9となる。 図４はルートの直接チルドでない像の除去の例を示す。これは図２に示す例示ク
ラスターにおける像２の除去を示す。像２が除去されると、ノード10が一つのチ
ルドのみを有し、従って、これが除去される。これにより、像４がノード13のチ
ルドとなる。これがためN13=4、E14={1,3,4}、右側チルドRC13=4および左側チルド
LC13=9となる。また、C14に対し、N14=4、E14={1,3,4,5}、右側チルドRC14=5およ
び左側チルドLC14=13となる。
【００５４】 図５は像にクラスターを追加する例を示す。クラスターに像を追加すると、こ
れをツリーに新たなノードとして挿入する箇所を決める必要がある。この決定は
上から下まで行う。一つの像を右側チルドCiおよび左側チルドCjを有するクラス
ターCkに追加する必要がある場合には、先ず最初、EkおよびNkを更新して、Ckの
ツリーへのノードの追加を反映させる。右側チルドCiまたは左側チルドCjへの像
の追加箇所の決定は類似度測定に基づいて行う。右側チルドCiにおける全ての像
を有する像の平均類似度が左側チルドCjにおける全ての像を有する像の平均類似
度容量も大きい場合、およびその逆の場合には、像を右側チルドCiに追加する。
ノードを右側チルドCiに追加する場合には、右側チルドCiに関連するパラメータ
を更新する。次いで、像を右側チルドCiの右側または左側チルドの何れかに追加
する。この処理はツリーの葉に到達するまで巡回的に繰返す。図５は図２のクラ
スターC12への像２の追加を示す。先ず最初、クラスターC12に関連するパラメー
タを更新して、N12=4,E12={6,7,8,2}とする。次いで、像２をクラスターC11また
はC8に追加すべき箇所を決定するために、類似度測定s2,8を(s2,6+s2,7)/2と比
較する。(s2,6+s2,7)/2が大きい場合には、{6,7,2}およびN11に更新されたE11s
は3に更新される。次いで、s2,6およびs2,7を比較し、s2,7が大きい場合には、
右側チルドRC15=2および左側チルドLC15=7を有する新たなノードC15を発生する
。また、クラスターC11の右側チルドを更新して、RC11=15とする。
【００５５】 図６は本発明像検索システムのもっとも重要な構成素子を示す。像検索システ
ム600は基地のアーキテクチャに従って実行するとともに汎用コンピュータで実
施することができる。本例像検索システムはワーキングメモリ604にロ-ドすべき
アプリケーションプログラムの命令を実行するプロセッサー602を有する。さら
に、この像検索システムは周辺装置で通信するインターエース606を有する。像
検索システムの種々の構成素子間には命令および情報の交換を行うバス608を設
ける。像検索システムの周辺には実行可能プログラム、像付きデータベースその
他種々のデータを含む蓄積媒体610を包含する。この蓄積媒体610は蓄積装置の異
なる種類の、可能には、種々の個別の装置として実現することができる。本発明
の適用は、装置の型によって制限されず、且つ用い得る蓄積装置は光学ディスク
、磁気ディスク、テープ、チップカード、固体状態、これら装置のある組合せを
含む。さらに、データおよび像のあるものは遠隔箇所に設置し、像検索システム
をかかる遠隔箇所にコネクタ611を経てネットワークにより接続する。さらに、
像検索システムの周辺にはディスプレイ612を設け、このディスプレイ上でシス
テムにより特にクエリー像および候補像を表示する。さらに、前記周辺には選択
装置614およびポインティング装置616を設け、これによりユーザがディスプレイ
上でカーソルを動かし得るようにする。選択装置614およびポインティング装置6
16は一体化して、１つ以上の選択釦を有するコンピュータマウスのように一つの
選択手段618とすることができる。しかし、トラックボール、グラフィックタブ
レット、ジョイスティック、またはタッチ感応ディスプレイのような他の装置も
可能である。種々のタスクを実行するために、多数のソフトウエアユニットをワ
ーキングメモリ604にロードすることができる。ユーザはエントリーユニット122
によってクエリー像を像検索システムにエンターさせることができる。クラスタ
ーのクラスター中心を有するクエリー像と像とを比較するとともに各クラスター
類似度を計算するクラスター比較ユニット128を配列する。選択ユニット132を設
けてクラスター中心がクエリー像の最高類似度を呈するクラスターを選択する。
像比較ユニット136はクエリー像と選択されたクラスターの像とを比較するとと
もにクエリー像およびこれら像間の像類似度を計算する。代表ユニット140を設
けてその像類似度に対してランクされた順序に像を代表させ、従ってユーザは最
高像類似度を有する像を示すようにする。種々のソフトウエアユニットに亘るシ
ステムの関数度の分布は上述した所以外の手段で実現することができる。即ち、
あるユニットは組合せに用い、他のユニットはたのタスクを実現するために用い
ることができる。さらに、ワーキングメモリ604は入出力メモリおよびヒストグ
ラム並びに決定類似度のような中間結果を一時的に蓄積するメモリスペース620
を有する。
【００５６】 図７は本発明像を編成するシステムのもっとも重要な構成素子を示す。像を編
成する示す700は基地のアーキテクチャに従って実現するとともに汎用コンピュ
ータで実施することができる。システム700はワーキングメモリ704にロードされ
たアプリケーションプログラムの命令を実行するプロセッサー702を有する。さ
らに、システム700は周辺装置と通信するインターフェース706をも有する。像検
索システムの種々の構成素子間には命令および情報の交換を行うバス708を設け
る。像検索システムの周辺には実行可能プログラム、像付きデータベースその他
種々のデータを含む蓄積媒体710を包含する。この蓄積媒体710は蓄積装置の異な
る種類の、可能には、種々の個別の装置として実現することができる。本発明の
適用は、装置の型によって制限されず、且つ用い得る蓄積装置は光学ディスク、
磁気ディスク、テープ、チップカード、固体状態、これら装置のある組合せを含
む。本発明像編成システムの一例では、編成すべき像はハードディスクに存在さ
せるとともに、得られたデータベースもこのハードデータベース上に存在させる
要にしている。しかし、像を他の手段で、例えば、テープを経てシステムに転送
することができる。さらに、データおよび像のあるものは遠隔箇所に設置し、像
検索システムをかかる遠隔箇所に接続部711を経てネットワークにより接続する
。このシステム700にはワーキングメモリ内にロードされ、クラスターを規定し
て相互に類似の像を同一のクラスターに群別するようにしたクラスター化ユニッ
ト714を設ける。さらに、システム700には個別のクラスターに対するクラスター
中心を決める中心決定ユニット716を設ける。
【図面の簡単な説明】
【図１】 図１は本発明像検索システムを示す概略図である。
【図２】 図２は本発明による像をクラスターに編成する簡単な例を示す説明図
である。
【図３】 図３はクラスターの子孫のうち直系の子孫である像の除去の例を示す
説明図である。
【図４】 図４は同じく直系の子孫でない像の除去の例を示す説明図である。
【図５】 図５は１つの像を一つがクラスターに追加する例を示す説明図である
。
【図６】 図６は本発明像検索システムのもっとも重要な構成要素を示す概略図
である。
【図７】 図７は本発明による像の編成システムをのもっとも重要な構成要素を
示す概略図である。
───────────────────────────────────────────────────── フロントページの続き (71)出願人 Ｇｒｏｅｎｅｗｏｕｄｓｅｗｅｇ １， 5621 ＢＡ Ｅｉｎｄｈｏｖｅｎ， Ｔｈ ｅ Ｎｅｔｈｅｒｌａｎｄｓ Ｆターム(参考） 5B075 ND06 NK06 NK39 PP30 PQ02 PR06 QM08 5L096 AA02 FA15 FA35 GA38 HA09 JA11

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 各々が候補像の各組およびこの組に対し表わされるクラスター中
    心を具えるクラスター付きデータベースと；クエリー像をエンターするエントリ
    ー手段と；クエリー像と各クラスター中心とを比較してクエリー像および各クラ
    スター間の各クラスター類似度を確立するクラスター比較手段と；少なくとも最
    大のクラスター類似度付きクラスターおよびクエリー像を選択する選択手段と；
    前記クエリー像および前記選択クラスターの候補像を比較してクエリー像および
    各候補像間の各像類似度を確立する像比較手段と；最大の像類似度を有する候補
    像を少なくとも存在させる代表手段と；を具えるようにしたことを特徴とする像
    検索システム。
  2. 【請求項２】 前記クラスター中心の少なくとも一つを、特定のクラスターの多
    数の代表像の各カラーヒストグラムの平均値である一つのカラーヒストグラムに
    よって表わすようにしたことを特徴とする請求項１に記載の像検索システム。
  3. 【請求項３】 各々が候補像の各組およびこの組に対する代表であるクラスター
    中心を具えるクラスター付きデータベースから像を検索する方法において、クエ
    リー像を入力するステップと；クエリー像と各クラスター中心とを比較してクエ
    リー像および各クラスター間の各クラスター類似度を確立するステップと；少な
    くとも最大のクラスター類似度付きクラスターおよびクエリー像を選択するステ
    ップと；前記クエリー像および前記選択クラスターの候補像を比較してクエリー
    像および各候補像間の各像類似度を確立するステップと；少なくとも候補像に最
    大の像類似度を存在させるステップと；を具えることを特徴とする像検索方法。
  4. 【請求項４】 データベースの像を編成するに当たり、各々が像のサブセットを
    具え、クラスター内の像が互いに相似し、且つクラスターの少なくとも一つが一
    つ以上の像を具えるクラスターを規定するステップと；クラスターの各々に対し
    クラスター中心を規定するステップと；を具えることを特徴とするデータベース
    の像を編成する方法。
  5. 【請求項５】 各個別のクラスターとクラスターの互いのクラスターとの間の類
    似度を決めるステップをさらに具え；クラスターを規定するステップが２つのク
    ラスターを最大の相互類似度で比較併合して一つの新たなクラスターにすること
    を含み、クラスター中心を決めるステップが新たなクラスターに対するクラスタ
    ー中心を決めることを含むことを特徴とする請求項４に記載のデータベースの像
    を編成する方法。
  6. 【請求項６】 ２つのクラスター間の類似度は２つのクラスターの像の全ての対
    間の類似度の平均値に基づいて決めるようにしたことを特徴とする請求項５に記
    載のデータベースの像を編成する方法。
  7. 【請求項７】 新たなクラスターのクラスター中心を、２つのクラスターの新た
    なクラスターに併合するために選択された各々のクラスターから選択された像基
    づいて決めるようにしたことを特徴とする請求項５に記載のデータベースの像を
    編成する方法。
  8. 【請求項８】 像の少なくとも１つおよびクラスター中心の各々間の類似度を決
    めるステップと、この像の類似度がそれ自体のクラスター中心よりも他のクラス
    ターのクラスター中心のそれ自体のよりも大きい場合にこの像を他のクラスター
    に移動するステップとを含むクラスター中心最適化ステップをさらに具えること
    を特徴とする請求項４に記載のデータベースの像を編成する方法。
  9. 【請求項９】 各々が像のサブセットを具えるクラスターを規定し、これにより
    クラスターの像が互いに類似であり、且つ、クラスターの少なくとも１つが１つ
    以上の像を具えるクラスター化手段と；クラスターの各々に対するクラスター中
    心を決める中心決定手段と；を具えることを特徴とするデータベースの像を編成
    するシステム。
  10. 【請求項１０】 各々が像のサブセットを具え、これによりクラスターの像が互
    いに類似であり、且つ、クラスターの少なくとも１つが１つ以上の像を具えるク
    ラスターと；クラスター中心の各々に対するクラスター中心と；を具える複数の
    像を有するデータベース。
JP2000556292A 1998-06-22 1999-06-03 像検索システム Pending JP2002519748A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US09/102,474 US6285995B1 (en) 1998-06-22 1998-06-22 Image retrieval system using a query image
US09/102,474 1998-06-22
PCT/IB1999/001008 WO1999067695A2 (en) 1998-06-22 1999-06-03 Image retrieval system

Publications (1)

Publication Number Publication Date
JP2002519748A true JP2002519748A (ja) 2002-07-02

Family

ID=22290050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000556292A Pending JP2002519748A (ja) 1998-06-22 1999-06-03 像検索システム

Country Status (4)

Country Link
US (2) US6285995B1 (ja)
EP (1) EP1036366A2 (ja)
JP (1) JP2002519748A (ja)
WO (1) WO1999067695A2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
JP2012048400A (ja) * 2010-08-25 2012-03-08 Canon Inc オブジェクト認識装置およびその認識方法
JP2014197412A (ja) * 2014-06-12 2014-10-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像の類似検索システム及び方法
JP2021051469A (ja) * 2019-09-24 2021-04-01 日新電機株式会社 図面検索装置、モデル生成装置、図面検索方法、およびモデル生成方法

Families Citing this family (168)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6735253B1 (en) 1997-05-16 2004-05-11 The Trustees Of Columbia University In The City Of New York Methods and architecture for indexing and editing compressed video over the world wide web
US6721449B1 (en) * 1998-07-06 2004-04-13 Koninklijke Philips Electronics N.V. Color quantization and similarity measure for content based image retrieval
US6564206B1 (en) * 1998-10-05 2003-05-13 Canon Kabushiki Kaisha Information search apparatus and method, and storage medium
US7143434B1 (en) 1998-11-06 2006-11-28 Seungyup Paek Video description system and method
DE60044924D1 (de) * 1999-01-29 2010-10-21 Lg Electronics Inc Verfajren zum suchen und browsen von multimediadaten und datenstruktur
US7417640B1 (en) 1999-01-29 2008-08-26 Lg Electronics Inc. Method for dominant color setting of video region and data structure and method of confidence measure extraction
US7016916B1 (en) * 1999-02-01 2006-03-21 Lg Electronics Inc. Method of searching multimedia data
US7096426B1 (en) * 1999-05-07 2006-08-22 Catherine Lin-Hendel Clustered presentation of objects with group and individual identity in, and virtual layered composition of, electronically recorded, computer presented media
US6501855B1 (en) * 1999-07-20 2002-12-31 Parascript, Llc Manual-search restriction on documents not having an ASCII index
US6862559B1 (en) * 1999-07-23 2005-03-01 Xerox Corporation Methods and apparatuses for measuring diversity in combinatorial structures
US6751363B1 (en) * 1999-08-10 2004-06-15 Lucent Technologies Inc. Methods of imaging based on wavelet retrieval of scenes
US6928448B1 (en) * 1999-10-18 2005-08-09 Sony Corporation System and method to match linguistic structures using thesaurus information
US6671407B1 (en) 1999-10-19 2003-12-30 Microsoft Corporation System and method for hashing digital images
US6647141B1 (en) * 1999-11-18 2003-11-11 Sony Corporation User interface of query by color statistics
US6708167B2 (en) * 1999-11-29 2004-03-16 Lg Electronics, Inc. Method for searching multimedia data using color histogram
US6574616B1 (en) * 2000-02-16 2003-06-03 Index Stock Imagery, Inc. Stochastic visually based image query and retrieval system
KR20010081894A (ko) * 2000-02-18 2001-08-29 구자홍 이종 시스템간의 내용기반 멀티미디어 검색을 가능하게하는 칼라 히스토그램 변환방법, 멀티미디어 검색 방법,데이터 구조 및 멀티미디어 검색 시스템
US20020065813A1 (en) * 2000-04-18 2002-05-30 Scanlon Henry R. Image relationships derived from thresholding of historically tracked user data for facilitating image based searching
JP2002117407A (ja) * 2000-10-10 2002-04-19 Satake Corp 動画像検索方法及びその装置
US7099860B1 (en) * 2000-10-30 2006-08-29 Microsoft Corporation Image retrieval systems and methods with semantic and feature based relevance feedback
US6970860B1 (en) * 2000-10-30 2005-11-29 Microsoft Corporation Semi-automatic annotation of multimedia objects
US7899243B2 (en) 2000-11-06 2011-03-01 Evryx Technologies, Inc. Image capture and identification system and process
US9310892B2 (en) 2000-11-06 2016-04-12 Nant Holdings Ip, Llc Object information derived from object images
US7565008B2 (en) 2000-11-06 2009-07-21 Evryx Technologies, Inc. Data capture and identification system and process
US8817045B2 (en) 2000-11-06 2014-08-26 Nant Holdings Ip, Llc Interactivity via mobile image recognition
US8224078B2 (en) 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
US7680324B2 (en) 2000-11-06 2010-03-16 Evryx Technologies, Inc. Use of image-derived information as search criteria for internet and other search engines
US7552139B2 (en) * 2001-03-19 2009-06-23 Xerox Corporation Represented object groups
US6798911B1 (en) * 2001-03-28 2004-09-28 At&T Corp. Method and system for fuzzy clustering of images
US6975743B2 (en) * 2001-04-24 2005-12-13 Microsoft Corporation Robust and stealthy video watermarking into regions of successive frames
US6973574B2 (en) * 2001-04-24 2005-12-06 Microsoft Corp. Recognizer of audio-content in digital signals
US7356188B2 (en) * 2001-04-24 2008-04-08 Microsoft Corporation Recognizer of text-based work
US6996273B2 (en) 2001-04-24 2006-02-07 Microsoft Corporation Robust recognizer of perceptually similar content
US7020775B2 (en) * 2001-04-24 2006-03-28 Microsoft Corporation Derivation and quantization of robust non-local characteristics for blind watermarking
US6847733B2 (en) * 2001-05-23 2005-01-25 Eastman Kodak Company Retrieval and browsing of database images based on image emphasis and appeal
US7425963B2 (en) * 2001-07-16 2008-09-16 Hewlett-Packard Development Company, L.P. Hierarchical image feature-based visualization
GB0118436D0 (en) * 2001-07-27 2001-09-19 Hewlett Packard Co Synchronised cameras with auto-exchange
DE10140152A1 (de) 2001-08-16 2003-03-06 Kurt Staehle Verfahren zur Erstellung und Auswertung einer medizinischen Datenbank
US6993180B2 (en) * 2001-09-04 2006-01-31 Eastman Kodak Company Method and system for automated grouping of images
US6961467B2 (en) * 2001-10-17 2005-11-01 Intel Corporation Identifying image content
FR2831293A1 (fr) * 2001-10-19 2003-04-25 Univ Nantes Procedes de regroupement automatique d'images, notamment pour l'indexation
US7130864B2 (en) * 2001-10-31 2006-10-31 Hewlett-Packard Development Company, L.P. Method and system for accessing a collection of images in a database
US7136852B1 (en) * 2001-11-27 2006-11-14 Ncr Corp. Case-based reasoning similarity metrics implementation using user defined functions
WO2003051031A2 (en) 2001-12-06 2003-06-19 The Trustees Of Columbia University In The City Of New York Method and apparatus for planarization of a material by growing and removing a sacrificial film
JP3979834B2 (ja) * 2001-12-13 2007-09-19 富士フイルム株式会社 画像データベース装置およびその動作制御方法
US7167574B2 (en) * 2002-03-14 2007-01-23 Seiko Epson Corporation Method and apparatus for content-based image copy detection
US7116825B2 (en) * 2002-03-22 2006-10-03 Lee Shih-Jong J Multilevel chain-and-tree model for image-based decisions
US7095873B2 (en) 2002-06-28 2006-08-22 Microsoft Corporation Watermarking via quantization of statistics of overlapping regions
US7006703B2 (en) * 2002-06-28 2006-02-28 Microsoft Corporation Content recognizer via probabilistic mirror distribution
US7240075B1 (en) * 2002-09-24 2007-07-03 Exphand, Inc. Interactive generating query related to telestrator data designating at least a portion of the still image frame and data identifying a user is generated from the user designating a selected region on the display screen, transmitting the query to the remote information system
KR100474769B1 (ko) * 2002-12-06 2005-03-10 엘지전자 주식회사 영상 저장 장치 및 그 관리방법
US6958103B2 (en) * 2002-12-23 2005-10-25 Kimberly-Clark Worldwide, Inc. Entangled fabrics containing staple fibers
JP2004220424A (ja) * 2003-01-16 2004-08-05 Canon Inc 文書管理システム
GB2397908A (en) * 2003-01-31 2004-08-04 Hewlett Packard Co Image-capture event monitoring
JP2004326491A (ja) * 2003-04-25 2004-11-18 Canon Inc 画像処理方法
JP4388301B2 (ja) * 2003-05-08 2009-12-24 オリンパス株式会社 画像検索装置、画像検索方法、画像検索プログラム及びそのプログラムを記録した記録媒体
US20050036692A1 (en) * 2003-05-26 2005-02-17 Takayuki Iida Method and device for determining time-of-photograph of individual image, and image retrieving method and computer program for the method
US7532804B2 (en) * 2003-06-23 2009-05-12 Seiko Epson Corporation Method and apparatus for video copy detection
DE60317053T2 (de) * 2003-07-04 2008-08-07 Mitsubishi Denki K.K. Verfahren und Vorrichtung zur Darstellung einer Bildgruppe
GB2403824A (en) * 2003-07-09 2005-01-12 Hewlett Packard Development Co Data processing system and method
KR20060095558A (ko) * 2003-09-30 2006-08-31 코닌클리케 필립스 일렉트로닉스 엔.브이. 휴대형 정보 시스템을 위한 정보를 자동으로 검색하기 위한시스템 및 방법
US7313574B2 (en) 2003-10-02 2007-12-25 Nokia Corporation Method for clustering and querying media items
JP2005115672A (ja) * 2003-10-08 2005-04-28 Fuji Photo Film Co Ltd 画像処理装置
JP4333350B2 (ja) * 2003-12-04 2009-09-16 コニカミノルタホールディングス株式会社 画像管理装置、画像管理方法及びプログラム
US7920716B2 (en) * 2003-12-25 2011-04-05 Fujitsu Limited Vehicle search system and vehicle search method
US7831832B2 (en) * 2004-01-06 2010-11-09 Microsoft Corporation Digital goods representation based upon matrix invariances
JP4632667B2 (ja) * 2004-01-07 2011-02-16 日本電気株式会社 画像数値化システム、携帯端末装置及びキャラクタデータ配信方法
US20050165690A1 (en) * 2004-01-23 2005-07-28 Microsoft Corporation Watermarking via quantization of rational statistics of regions
US7991232B2 (en) * 2004-03-03 2011-08-02 Nec Corporation Image similarity calculation system, image search system, image similarity calculation method, and image similarity calculation program
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US7770014B2 (en) * 2004-04-30 2010-08-03 Microsoft Corporation Randomized signal transforms and their applications
US7805024B2 (en) * 2004-05-05 2010-09-28 Nokia Corporation Method and apparatus to provide efficient multimedia content storage
US7486827B2 (en) * 2005-01-21 2009-02-03 Seiko Epson Corporation Efficient and robust algorithm for video sequence matching
JP4333599B2 (ja) * 2005-02-15 2009-09-16 ソニー株式会社 情報処理装置、情報処理方法
US7831599B2 (en) * 2005-03-04 2010-11-09 Eastman Kodak Company Addition of new images to an image database by clustering according to date/time and image content and representative image comparison
WO2006096612A2 (en) 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
JP2008533580A (ja) * 2005-03-10 2008-08-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ オーディオ及び／又はビジュアルデータの要約
US8130285B2 (en) * 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
US9020955B2 (en) * 2005-05-12 2015-04-28 Hewlett-Packard Development Company, L.P. Compositional balance driven content retrieval
WO2006134509A2 (en) * 2005-06-15 2006-12-21 Koninklijke Philips Electronics N.V. Method and apparatus for storing image data files
US7715658B2 (en) * 2005-08-03 2010-05-11 Samsung Electronics Co., Ltd. Apparatus and method for super-resolution enhancement processing
WO2007027738A2 (en) 2005-08-29 2007-03-08 Evryx Technologies, Inc. Interactivity via mobile image recognition
US7457825B2 (en) * 2005-09-21 2008-11-25 Microsoft Corporation Generating search requests from multimodal queries
JP5009577B2 (ja) * 2005-09-30 2012-08-22 富士フイルム株式会社 画像検索装置および方法並びにプログラム
US7801893B2 (en) * 2005-09-30 2010-09-21 Iac Search & Media, Inc. Similarity detection and clustering of images
US20070076869A1 (en) * 2005-10-03 2007-04-05 Microsoft Corporation Digital goods representation based upon matrix invariants using non-negative matrix factorizations
US7921146B2 (en) * 2005-11-01 2011-04-05 Infoprint Solutions Company, Llc Apparatus, system, and method for interpolating high-dimensional, non-linear data
US8683314B2 (en) * 2006-01-13 2014-03-25 Ricoh Co., Ltd. Tree pruning of icon trees via subtree selection using tree functionals
US8078618B2 (en) 2006-01-30 2011-12-13 Eastman Kodak Company Automatic multimode system for organizing and retrieving content data files
JP2007257308A (ja) * 2006-03-23 2007-10-04 Canon Inc 文書管理装置、文書管理システム、及びその制御方法、プログラム、記憶媒体
US7647331B2 (en) * 2006-03-28 2010-01-12 Microsoft Corporation Detecting duplicate images using hash code grouping
JP2007281596A (ja) * 2006-04-03 2007-10-25 Canon Inc 情報処理装置、情報処理システム、及びその制御方法、プログラム、記憶媒体
US8243999B2 (en) 2006-05-03 2012-08-14 Ut-Battelle, Llc Method and system for the diagnosis of disease using retinal image content and an archive of diagnosed human patient data
US8341112B2 (en) * 2006-05-19 2012-12-25 Microsoft Corporation Annotation by search
US20080002855A1 (en) * 2006-07-03 2008-01-03 Barinder Singh Rai Recognizing An Unidentified Object Using Average Frame Color
EP2049983A2 (en) * 2006-08-07 2009-04-22 Yeda Research And Development Co. Ltd. Data similarity and importance using local and global evidence scores
US8046200B2 (en) * 2006-09-05 2011-10-25 Colorado State University Research Foundation Nonlinear function approximation over high-dimensional domains
AU2011265426B2 (en) * 2006-09-15 2012-06-07 The Nielsen Company (Us), Llc Methods and apparatus to identify images in print advertisements
GB2455025A (en) * 2006-09-15 2009-06-03 Nielsen Co Methods and apparatus to identify images in print advertisements
US7840076B2 (en) * 2006-11-22 2010-11-23 Intel Corporation Methods and apparatus for retrieving images from a large collection of images
US20080118160A1 (en) * 2006-11-22 2008-05-22 Nokia Corporation System and method for browsing an image database
JP5139716B2 (ja) * 2007-05-16 2013-02-06 キヤノン株式会社 画像検索装置及び画像検索方法
US20090099922A1 (en) * 2007-08-23 2009-04-16 Andrew Paradies Advertising system and method
US8321424B2 (en) * 2007-08-30 2012-11-27 Microsoft Corporation Bipartite graph reinforcement modeling to annotate web images
US20090064008A1 (en) * 2007-08-31 2009-03-05 Matsushita Electric Industrial Co., Ltd. User interaction for content based storage and retrieval
US20090144238A1 (en) * 2007-12-04 2009-06-04 Microsoft Corporation Hide and seek game to elicit human input
US8165406B2 (en) 2007-12-12 2012-04-24 Microsoft Corp. Interactive concept learning in image search
US8775441B2 (en) 2008-01-16 2014-07-08 Ab Initio Technology Llc Managing an archive for approximate string matching
US8126858B1 (en) 2008-01-23 2012-02-28 A9.Com, Inc. System and method for delivering content to a communication device in a content delivery system
US8190604B2 (en) * 2008-04-03 2012-05-29 Microsoft Corporation User intention modeling for interactive image retrieval
WO2009126785A2 (en) 2008-04-10 2009-10-15 The Trustees Of Columbia University In The City Of New York Systems and methods for image archaeology
JP2009271693A (ja) * 2008-05-07 2009-11-19 Canon Inc 画像処理装置、画像処理方法、プログラム、記憶媒体
WO2009155281A1 (en) 2008-06-17 2009-12-23 The Trustees Of Columbia University In The City Of New York System and method for dynamically and interactively searching media data
US8972410B2 (en) * 2008-07-30 2015-03-03 Hewlett-Packard Development Company, L.P. Identifying related objects in a computer database
US8200669B1 (en) * 2008-08-21 2012-06-12 Adobe Systems Incorporated Management of smart tags via hierarchy
US8589402B1 (en) 2008-08-21 2013-11-19 Adobe Systems Incorporated Generation of smart tags to locate elements of content
JP5535230B2 (ja) 2008-10-23 2014-07-02 アビニシオ テクノロジー エルエルシー ファジーなデータ操作
US8218838B2 (en) * 2008-11-03 2012-07-10 Ut-Battelle, Llc Method and system for assigning a confidence metric for automated determination of optic disc location
US8671069B2 (en) 2008-12-22 2014-03-11 The Trustees Of Columbia University, In The City Of New York Rapid image annotation via brain state decoding and visual pattern mining
US8150858B2 (en) * 2009-01-28 2012-04-03 Xerox Corporation Contextual similarity measures for objects and retrieval, classification, and clustering using same
CN101576932B (zh) * 2009-06-16 2012-07-04 阿里巴巴集团控股有限公司 近重复图片的计算机查找方法和装置
WO2011029067A2 (en) * 2009-09-03 2011-03-10 Obscura Digital, Inc. Large scale multi-user, multi-touch system
US20110072047A1 (en) * 2009-09-21 2011-03-24 Microsoft Corporation Interest Learning from an Image Collection for Advertising
US8903798B2 (en) 2010-05-28 2014-12-02 Microsoft Corporation Real-time annotation and enrichment of captured video
US8422782B1 (en) 2010-09-30 2013-04-16 A9.Com, Inc. Contour detection and image classification
US8990199B1 (en) 2010-09-30 2015-03-24 Amazon Technologies, Inc. Content search with category-aware visual similarity
US8463036B1 (en) * 2010-09-30 2013-06-11 A9.Com, Inc. Shape-based search of a collection of content
US9317533B2 (en) 2010-11-02 2016-04-19 Microsoft Technology Licensing, Inc. Adaptive image retrieval database
US8559682B2 (en) 2010-11-09 2013-10-15 Microsoft Corporation Building a person profile database
US8463045B2 (en) 2010-11-10 2013-06-11 Microsoft Corporation Hierarchical sparse representation for image retrieval
WO2012089902A1 (en) * 2010-12-30 2012-07-05 Nokia Corporation Method, apparatus, and computer program product for image clustering
US8600172B2 (en) 2011-03-16 2013-12-03 Sensormatic Electronics, LLC Video based matching and tracking by analyzing one or more image abstractions
US8588534B2 (en) 2011-05-06 2013-11-19 Microsoft Corporation Staged element classification
US9678992B2 (en) 2011-05-18 2017-06-13 Microsoft Technology Licensing, Llc Text to image translation
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
CN104054074B (zh) 2011-11-15 2019-03-08 起元科技有限公司 基于候选项查询的数据分群
KR101851241B1 (ko) * 2011-12-06 2018-04-24 삼성전자 주식회사 휴대 단말기의 컨텐츠 통합 관리 방법 및 장치
US8897553B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Image comparison using color histograms
US8750613B2 (en) 2011-12-13 2014-06-10 The Nielsen Company (Us), Llc Detecting objects in images using color histograms
US8897554B2 (en) 2011-12-13 2014-11-25 The Nielsen Company (Us), Llc Video comparison using color histograms
CN103207879B (zh) * 2012-01-17 2016-03-30 阿里巴巴集团控股有限公司 图像索引的生成方法及设备
EP2805260A1 (en) 2012-01-19 2014-11-26 Telefonaktiebolaget LM Ericsson (Publ) Data distibution/retrieval using multi-dimensional index
US9239848B2 (en) 2012-02-06 2016-01-19 Microsoft Technology Licensing, Llc System and method for semantically annotating images
GB201205348D0 (en) * 2012-03-27 2012-05-09 Tomtom Belgium Nv Digital location-based data methods and product
JP5577372B2 (ja) 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読取り可能な記憶媒体
JP5577371B2 (ja) 2012-03-29 2014-08-20 楽天株式会社 画像検索装置、画像検索方法およびプログラム
US8949253B1 (en) * 2012-05-24 2015-02-03 Google Inc. Low-overhead image search result generation
US8996516B2 (en) * 2013-01-02 2015-03-31 Google Inc. Adjacent search results exploration
US9064149B1 (en) 2013-03-15 2015-06-23 A9.Com, Inc. Visual search utilizing color descriptors
US9177226B2 (en) * 2013-03-15 2015-11-03 Google Inc. Object detection in images based on affinity determinations
US9299009B1 (en) * 2013-05-13 2016-03-29 A9.Com, Inc. Utilizing color descriptors to determine color content of images
US11250203B2 (en) 2013-08-12 2022-02-15 Microsoft Technology Licensing, Llc Browsing images via mined hyperlinked text snippets
CN104424257A (zh) * 2013-08-28 2015-03-18 北大方正集团有限公司 信息检索装置和信息检索方法
KR20150049877A (ko) * 2013-10-31 2015-05-08 삼성에스디에스 주식회사 데이터 군집 관리 장치 및 방법
WO2015070678A1 (zh) * 2013-11-15 2015-05-21 北京奇虎科技有限公司 一种图像识别方法、挖掘图像主体信息方法及装置
CN103838864B (zh) * 2014-03-20 2017-02-22 北京工业大学 一种视觉显著性与短语相结合的图像检索方法
TWI571753B (zh) 2014-11-07 2017-02-21 財團法人資訊工業策進會 用於產生一影像之一互動索引碼圖之電子計算裝置、其方法及其電腦程式產品
US9311342B1 (en) * 2015-02-09 2016-04-12 Sony Corporation Tree based image storage system
US9430718B1 (en) * 2015-02-09 2016-08-30 Sony Corporation Efficient local feature descriptor filtering
US9811540B2 (en) * 2015-04-08 2017-11-07 Nec Corporation Compact, clustering-based indexes for large-scale real-time lookups on streaming videos
US10489681B2 (en) 2015-04-15 2019-11-26 Stmicroelectronics S.R.L. Method of clustering digital images, corresponding system, apparatus and computer program product
CN106874268A (zh) * 2015-12-10 2017-06-20 富士通株式会社 图像检索方法和图像检索设备
US10534671B1 (en) * 2016-06-28 2020-01-14 EMC IP Holding Company LLC Container image layer compaction
CN108090117B (zh) * 2017-11-06 2019-03-19 北京三快在线科技有限公司 一种图像检索方法及装置，电子设备
US10819789B2 (en) 2018-06-15 2020-10-27 At&T Intellectual Property I, L.P. Method for identifying and serving similar web content
US10957444B2 (en) * 2019-05-06 2021-03-23 Wisconsin Alumni Research Foundation Apparatus for tomography repeat rate/reject rate capture
CN111859004A (zh) * 2020-07-29 2020-10-30 书行科技(北京)有限公司 检索图像的获取方法、装置、设备及可读存储介质
US20230039776A1 (en) * 2021-08-09 2023-02-09 Known Global LLC Systems and methods of log optimization for television advertisements

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1993018484A1 (en) * 1992-03-10 1993-09-16 Oracle Corporation Method and apparatus for comparison of data strings
US5537485A (en) * 1992-07-21 1996-07-16 Arch Development Corporation Method for computer-aided detection of clustered microcalcifications from digital mammograms
US5579471A (en) * 1992-11-09 1996-11-26 International Business Machines Corporation Image query system and method
US6029195A (en) * 1994-11-29 2000-02-22 Herz; Frederick S. M. System for customized electronic identification of desirable objects
US5933823A (en) * 1996-03-01 1999-08-03 Ricoh Company Limited Image database browsing and query using texture analysis
US5870754A (en) * 1996-04-25 1999-02-09 Philips Electronics North America Corporation Video retrieval of MPEG compressed sequences using DC and motion signatures
JP2001525959A (ja) * 1997-05-16 2001-12-11 ザ トラスティーズ オブ コロンビア ユニヴァーシティ イン ザ シティ オブ ニューヨーク 画像検索方法及びシステム
US6185314B1 (en) * 1997-06-19 2001-02-06 Ncr Corporation System and method for matching image information to object model information
US5983218A (en) * 1997-06-30 1999-11-09 Xerox Corporation Multimedia database for use over networks
US5995978A (en) * 1997-09-24 1999-11-30 Ricoh Company, Ltd. Navigation system for document image database
US6134541A (en) * 1997-10-31 2000-10-17 International Business Machines Corporation Searching multidimensional indexes using associated clustering and dimension reduction information
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system
US6240424B1 (en) * 1998-04-22 2001-05-29 Nbc Usa, Inc. Method and system for similarity-based image classification
US6175829B1 (en) * 1998-04-22 2001-01-16 Nec Usa, Inc. Method and apparatus for facilitating query reformulation
US6415282B1 (en) * 1998-04-22 2002-07-02 Nec Usa, Inc. Method and apparatus for query refinement

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009232450A (ja) * 2008-03-24 2009-10-08 Fujitsu Ltd 画像処理方法、画像処理装置及び透かし検出システム
JP2012048400A (ja) * 2010-08-25 2012-03-08 Canon Inc オブジェクト認識装置およびその認識方法
US8781235B2 (en) 2010-08-25 2014-07-15 Canon Kabushiki Kaisha Object recognition apparatus, recognition method thereof, and non-transitory computer-readable storage medium
JP2014197412A (ja) * 2014-06-12 2014-10-16 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ 画像の類似検索システム及び方法
JP2021051469A (ja) * 2019-09-24 2021-04-01 日新電機株式会社 図面検索装置、モデル生成装置、図面検索方法、およびモデル生成方法
JP7291347B2 (ja) 2019-09-24 2023-06-15 日新電機株式会社 図面検索装置、モデル生成装置、図面検索方法、およびモデル生成方法

Also Published As

Publication number Publication date
US20020087538A1 (en) 2002-07-04
WO1999067695A2 (en) 1999-12-29
EP1036366A2 (en) 2000-09-20
US6754675B2 (en) 2004-06-22
US6285995B1 (en) 2001-09-04
WO1999067695A3 (en) 2000-04-13

Similar Documents

Publication Publication Date Title
JP2002519748A (ja) 像検索システム
KR100385528B1 (ko) 다차원 데이터 표시 방법 및 기록 매체
US6993180B2 (en) Method and system for automated grouping of images
EP1036354B1 (en) A scalable solution for image retrieval
Zhang et al. Image retrieval based on color features: An evaluation study
Murthy et al. Content based image retrieval using Hierarchical and K-means clustering techniques
US20070094226A1 (en) Modular intelligent multimedia analysis system
US20060190425A1 (en) Method for merging multiple ranked lists with bounded memory
JP2001511930A (ja) イメージ検索システム
WO2013129580A1 (ja) 近似最近傍探索装置、近似最近傍探索方法およびそのプログラム
Jenni et al. Pre-processing image database for efficient Content Based Image Retrieval
US7577684B2 (en) Fast generalized 2-Dimensional heap for Hausdorff and earth mover's distance
JP3938815B2 (ja) ノード作成方法、画像検索方法及び記録媒体
Egas et al. Adapting kd trees to visual retrieval
JP2007073063A (ja) 空間インデックス方法
Bretschneider et al. A retrieval system for remotely sensed imagery
Surong et al. Efficient image retrieval using MPEG-7 descriptors
Chien Hierarchical data structures for picture storage, retrieval and classification
CN111274265B (zh) 基于多种检索方式融合检索的方法和装置
JP2001052024A (ja) 類似特徴量の検索方法及び装置及び類似特徴量の検索プログラムを格納した記憶媒体
Kanaparthi et al. A comprehensive content-based image retrieval systems using Hadoop MapReduce Framework
Lu Salient Index for Similarity Search Over High Dimensional Vectors
Daoudi et al. Vector Approximation based Indexing for High-Dimensional Multimedia Databases.
Zhang et al. A color indexing scheme using two-Level clustering processing for effective and efficient image retrieval
JP2000339352A (ja) 知覚的顕在特徴に基づく画像のアーカイブ及び検索

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060531

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20080903

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090526

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091027