JP2001160070A - コンテンツベース画像の検索の階層的方法 - Google Patents

コンテンツベース画像の検索の階層的方法

Info

Publication number
JP2001160070A
JP2001160070A JP2000297992A JP2000297992A JP2001160070A JP 2001160070 A JP2001160070 A JP 2001160070A JP 2000297992 A JP2000297992 A JP 2000297992A JP 2000297992 A JP2000297992 A JP 2000297992A JP 2001160070 A JP2001160070 A JP 2001160070A
Authority
JP
Japan
Prior art keywords
image
subset
images
feature
search
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2000297992A
Other languages
English (en)
Inventor
Ping Wah Wong
ピン・ワー・ウォン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2001160070A publication Critical patent/JP2001160070A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/56—Information retrieval; Database structures therefor; File system structures therefor of still image data having vectorial format
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53—Querying
    • G06F16/532—Query formulation, e.g. graphical querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】分割された画像データベースを検索する改良さ
れた検索方法を提供する。 【解決手段】本発明の一実施例によれば、複数の画像の
データベースセットからコンテンツベースの画像木を導
出する階層的方法が提供される。各画像は、関連する特
徴メトリックを有する。本方法は、画像を、特徴メトリ
ックが各サブセットのシード画像の特徴メトリックによ
り近いサブセットに割当てることにより、複数の画像の
セットを第１のサブセットと第２のサブセットとに分割
し、各サブセットについて、特徴メトリックが各々のサ
ブセットに分割された画像の特徴メトリックを表す比較
画像を選択し、各サブセット、各サブセットのサブセッ
ト等について上記ステップを再帰的に繰返すことによ
り、画像の分割されたサブセットの木を生成する。本方
法は比較画像に基づく検索を可能にする。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明は、コンテンツベース
の画像検索の階層的方法に関し、特に、検索の速度を実
質的に向上させ、それによって多数の画像を含むデータ
ベースの検索を実用的にする、階層的画像検索木を構成
する方法に関する。
【０００２】
【従来の技術】画像データベースにおいて基準検索画像
に一致した画像を検索する際、特に画像データベースが
大きい場合、非常に大量の処理時間を消費する可能性が
あることが知られている。環境によっては、検索時間が
長いために、検索が非実用的なものとなる場合がある。
【０００３】コンテンツベースの画像検索の問題を解決
する目的を、以下のように述べることができる。基準検
索画像とｎ個の画像の集まりとがあるとし、その画像の
集まりに対し検索を行い、ランク順位付けにおいて上位
ｋ個の一致（ｋ＜＝ｎ）を返すことが要求されているも
のとする。一致の近似性は、画像の特徴から計算された
メトリック(metric)を用いて決定される。実際には、し
ばしば、ｋをｎとは無関係の定数で維持することが要求
される。これは、例えば、検索の結果を格納するために
使用される記憶バッファサイズが有限であるという要件
による。
【０００４】画像検索問題を解決する方法の従来技術
は、画像特徴ベースのメトリックを用いてデータベース
の各画像を検索画像と比較し、上位ｋ個の一致を選択
し、それらをランク順位付けし、その結果をユーザに返
すというものであった。これは、「全検索」（または
「全数検索」）方法と呼ばれる。全検索の複雑性は、検
索画像をデータベースの画像と比較し、上位ｋ個の一致
をランク順位付けするという複雑性である。
【０００５】全検索の特徴比較ステップの複雑性は、ｎ
に対して線形に比例している。すなわち、検索画像ｘ
と、ｉ＝１，２，…，ｎについてのデータベースにおけ
る各画像ｙiとの間の距離ｄ（ｘ，ｙi）を計算する必要
がある。また、ｎ個の画像のセットから上位ｋ個の画像
をランク順位付けする複雑性（ｋはｎとは無関係の定
数）は、ｎに対して線形に比例している。このため、全
検索の全体の複雑性は、ｎ、すなわち、集まりにおける
画像の数に線形に比例している。従って、データベース
に潜在的に多数の画像を有する実際的なシステムに対
し、検索時間と画像の数とが線形に依存するため、全検
索方法は適切に作用しない。
【０００６】Ｌｉその他に対する米国特許第５，７３
４，８９３号は、コンテンツベースのクエリ検索から結
果を取得するために必要な時間を最小化する方法を開示
している。データベースは、複数のグループに分割され
る。そして、グループのスケジュールまたはシーケンス
が、クエリのオペレーションの各々に割当てられる。こ
こで、スケジュールは、クエリのオペレーションがスケ
ジュールのグループに割当てられる順序を表している。
各スケジュールは、オペレーションの各アプリケーショ
ンが最終的な結果に最も近似している中間的な結果をも
たらすグループに対して作用するよう、調整されてい
る。
【０００７】Ｂａｒｂｅｒその他に対する米国特許第
５，７５１，２８６号は、データベースの画像が、画像
に添付されたテクスチャタグによるのと同様に、色、テ
クスチャ、形状およびサイズ等、画像の視覚的特徴を含
むクエリに応じて検索されるシステムを述べている。ク
エリは、画像クエリ領域において、視覚的な画像の特徴
を表す値と、画像クエリ領域における表現の位置とに応
じて構成される。
【０００８】更に、Ｊａｉｎその他に対する米国特許第
５，８９３，０９５号、第５，９１１，１３９号、第
５，９１３，２０５号および、第５，９１５，２５０号
は、データベースからの視覚的物体のコンテンツベース
の検索および検索の方法を述べている。
【０００９】
【発明が解決しようとする課題】本発明の目的は、画像
のデータベースを分割して、より効率的な検索を可能と
する改良された方法を提供することである。本発明の更
なる目的は、分割された画像データベースを検索する改
良された検索方法を提供することである。
【００１０】
【課題を解決するための手段】本発明を組込んだ階層的
方法は、複数の画像のデータベースセットからコンテン
ツベースの画像木を導出する。各画像は、関連した特徴
メトリックを有している。本方法は、画像を、特徴メト
リックが各々のサブセットのシード(seed)画像の特徴メ
トリックにより近いサブセットに割当てることにより、
複数の画像のセットを第１のサブセットと第２のサブセ
ットとに分割し、各サブセットについて、特徴メトリッ
クが各々のサブセットに分割された画像の特徴メトリッ
クを表す比較画像を選択し、各サブセットについて上記
ステップを再帰的に繰返すことにより、画像の分割され
たサブセットの木を生成する。そして、本方法により、
比較画像に基づく検索が可能となる。
【００１１】本方法は、基準検索画像に関連する特徴メ
トリックを、第１および第２のサブセットの比較画像に
関連する特徴メトリックと比較し、各々のサブセットに
おける比較画像に関連するいずれの特徴メトリックが検
索画像に関連する特徴メトリックにより近いかにより、
第１のサブセットまたは第２のサブセットのいずれかを
選択し、選択されたサブセットから広がるサブセットに
対し、その木の最低サブセットに達するまでサブセット
の木を下って、比較動作を繰返す。
【００１２】
【発明の実施の形態】本発明の方法は、データベースの
ｎ個の画像の集まりを、各々がｎ／２個の画像を有する
２つの等しいサイズのサブセットに分割する。分割中に
強制される重要な条件は、同じサブセットの画像はすべ
て互いに近似している（画像に関連する画像特徴メトリ
ックによって決定されるように）ということである。
【００１３】データベースの画像に一致すべき基準検索
画像が提供される時、まず、いずれのサブセットから検
索が開始されるかが決定される。図１に示されているよ
うに、１つのサブセットしかない場合、検索はそのサブ
セットに亙って行われ、結果が返される。この検索の複
雑性は、２＋ｎ／２に対して線形に比例している。この
最初の２は、いずれのサブセットを検索すべきかを決定
しようとすることを表し、ｎ／２は、ｎ／２個の画像の
サブセットを検索しようとすることを表す。複雑性は、
まだｎに直線的に比例しているが、全検索に比較してお
およそ２の割合で低減することを表している。なお、検
索を開始することができる前に画像を分割する必要があ
る、という損失がある。
【００１４】この分割方法は、図１に示すようにｐ個の
群を含むように拡張することができる。画像は、各々ｎ
／ｐ個の画像のｐ個のサブセットに分割される。画像特
徴ベースのメトリックによって測定されるように、各サ
ブセット内の画像が互いに近似しているという条件が強
制されている。この群化方式の複雑性は、ｐ＋（ｎ／
ｐ）に比例している。このため、最適な（最小の）複雑
性はｎ1/2に比例しており、これはｐ＝ｎ1/2を設定する
ことによって達成される。
【００１５】図１の概念を拡張するため、分割動作が、
各ステップにおいて生成されたサブセットに再帰的に適
用される。再び、各分割ステップ中に、各サブセット内
の画像が、それらの画像特徴ベースのメトリックによっ
て測定されるように互いに近似している、という要件が
強制される。このように、階層木が構築される。図２
は、２つのレベルに分割されている階層木を示す。概し
て、ｍレベルの再帰的分割を行うことができる。ｎ個の
画像の集まりに対するレベルｍの最大数は、ｌｏｇ2 ｎ
である。
【００１６】検索を実行するために、基準検索画像が与
えられ、その目的は、最も近似した一致を見つけること
である。例として図２の分割を用いることにより、検索
画像が、セット１および２の各々において各画像と比較
される。セット１の画像がセット２の画像より近似して
一致している場合、セット２は破棄される。そして、検
索は次のレベルまで移動し、セット１１および１２にお
いて、その検索画像を代表的な画像と比較することによ
り、いずれのセットが続けられるべきかを決定する。こ
の手続きは、木の底に達するまで再帰的に適用される。
かかる時点で、検索画像にすべて適切に近似して一致す
る画像の小さいサブセットが、見つけられる。そして、
この小さいサブセットは、個々に検査されてそのランク
付けが戻される。
【００１７】本発明の階層木を確立するために、１つま
たは複数の画像特徴メトリックに従って各画像を評価す
るように、データベースの画像を分析しなければならな
い。すべての画像に対し、１つまたは複数の共通の画像
特徴が使用され、各画像が分析されてその各々の特徴に
対しメトリックが導出される。多くの特徴を考慮するこ
とが可能であるが、以下は、共通の特徴として１つまた
は複数選択することができる好ましい特徴のリストであ
る。
【００１８】１．カラーヒストグラム：画像内の色の分
布を測定する。予め定義された色のセットを用いて、各
画素の色値を、それが予め定義された色のビン（ｂｉ
ｎ）のセットの１つに入るように量子化する。そして、
各ビンの画素の数が、画像特徴メトリックとして画像に
関連付けられる。 ２．カラーモーメント：各々の画像における各原色成分
（Ｒ、ＧおよびＢ）の平均偏差および標準偏差を測定す
る。平均偏差は、平均強度を与え、標準偏差は、平均的
な広がりを与え、それらは共に、画像特徴メトリックと
して各々の画像に関連付けられている。 ３．カラーコヒーレンス:画像の色の空間的分布を測定
する。例えば、画像が１つの大きい赤の領域から構成さ
れているか、あるいは、多くの拡散した赤の画素を含む
か等である。 ４．テクスチャ：画像のテクスチャを、その環境から各
画素がいかに予測可能であるかにより測定する。より詳
細には、画像の色変化の空間的速度を示すメトリックが
決定される。 ５．粗さ：画像のテクスチャの粒子サイズを測定する。
まず、画像を平滑化し、次に、水平および垂直方向の最
大勾配を示す値を見つける。 ６．方向性：画像の構造の方向を測定する。例えば、画
像のテクスチャに方向成分があるか（例えば、画像に存
在するストライプが水平かまたは垂直か、等）である。
【００１９】以降、各画像について、画像特徴メトリッ
クとしてカラーヒストグラムが導出されるものと推定す
る。例示的な画像ヒストグラムを、図５乃至図７に示
す。画像の特徴メトリックを、各々の画像と、大きさが
閾値を超えるヒストグラムピークの波長値と、各々のヒ
ストグラムピークの大きさの値と、に関連付けることに
よって、ヒストグラムから導出することができる。かか
る値は、画像について色分布（および強度）の特徴メト
リックを提供する。
【００２０】図２の階層木を構成するために、各サブセ
ット内の画像が互いに近似するよう画像の集まりを２つ
のサブセットに分割する分割ステップが適用される。適
切な分割を生成することができる非反復的な再帰的方法
を、図３Ａおよび図３Ｂに示す。
【００２１】分割 各画像に対して特徴メトリックを割当てるよう分析され
た画像のデータベースがあるとすると、そのデータベー
スの画像のセットから、基準画像がランダムに選択され
る（ステップ３０）。そして、複数の画像のセットにお
いて、関連する特徴メトリックが基準画像に関連する特
徴メトリックから最も離れている第１のシード画像が見
つけられる（ステップ３２）。次に、複数の画像のセッ
トにおいて、関連する特徴メトリックが第１の画像に関
連する特徴メトリックから最も離れている第２のシード
画像が見つけられる（ステップ３４）。
【００２２】ここで、複数の画像のセットは、第１及び
第２のサブセットに分割される。それは、（i）第１の
サブセットに対し、関連する特徴メトリックが第２のシ
ード画像に関連する特徴メトリックより第１のシード画
像の関連する特徴メトリックに対して距離的に近い画像
を割当てることにより、および、（ii）第２のサブセッ
トに対し、関連する特徴メトリックが第１のシード画像
に関連する特徴メトリックより第２のシード画像の関連
する特徴メトリックに対して距離的に近い画像を割当て
ることによって行われる（ステップ３６）。
【００２３】分割によって生成されるサブセットに含ま
れる画像の数が等しくない場合、画像の数の少ない方の
サブセットに、画像の数が多い方のサブセットから画像
を移動することにより、各サブセットの画像の数を等し
くする試みがなされる。移動される画像は、画像の数が
多い方のサブセットに残っている画像の特徴メトリック
と比較されることにより、画像の数が少ない方のサブセ
ットの特徴メトリックに近い特徴メトリックを有するも
のである（ステップ３８）。
【００２４】次に、各サブセットについて、特徴メトリ
ックが各サブセットに分割された画像の特徴メトリック
を表している各サブセットから、比較画像が選択される
（ステップ４０）。以降、各サブセット、各サブセット
のサブセット等に対し、ステップ３０〜４０が再帰的に
繰返されることにより、残っているサブセットが決めら
れた数の画像のみを含むようになるまで画像の分割され
たサブセットの木が生成される（ステップ４２）。
【００２５】分割方法のより厳密な記述は、以下の通り
である。 ａ）画像コンテンツ特徴ベクトルを用いて測定されるよ
うな画像ａとｂの間の距離をｄ（ａ，ｂ）とする。画像
データベースは、画像のセットを２つのサブセットに分
割する手続きの組を再帰的に適用することによって分割
される。ここで、各サブセット内の画像は、距離ｄ（）
によって測定されるように互いに近似している。画像ｘ
1，ｘ2，…，ｘnのセットがあるとすると、以下のよう
に進む。 ｂ）セットからランダムに画像を選択し、それをｙと呼
ぶ。 ｃ）セットを調べて、ｄ（）によって測定されるように
ｙから最も離れている画像を見つける。この画像をｐと
する。それは、セットのあらゆる画像ｘについてｄ
（ｐ，ｙ）＞＝ｄ（ｘ，ｙ）である。 ｄ）セットを調べて、ｄ（）によって測定されるように
ｐから最も離れている画像を見つける。この画像をｑと
する。すなわち、セットのあらゆる画像ｘについてｄ
（ｑ，ｐ）＞＝ｄ（ｘ，ｐ）である。 ｅ）画像ｐおよびｑをシード画像として使用し、ある画
像がｐまたはｑのいずれに近いかに従ってセットを２つ
のサブセットＰおよびＱに分割する。セットＰの画像は
すべてｑよりｐに近く、セットＱの画像はすべてｐより
ｑに近い。 ｆ）セットＰおよびＱのサイズが等しい場合、停止す
る。そうでなく、セットＱよりセットＰにより多くの画
像がある場合、Ｑに最も近いＰの画像から開始して、Ｐ
とＱのサイズが等しくなるまで、セットＰからセットＱ
にいくつかの画像を移動する。ＰよりＱの画像が多い場
合、ＱからＰに同様に画像を移動する。
【００２６】データベースの画像が分割されると、基準
検索画像と最も近似して一致する画像のサブセットを識
別するために、検索が行われる。この検索は、以下のよ
うに、図３Ｃに示すように進められる。
【００２７】検索 基準検索画像に関連する特徴メトリックは、第１および
第２のサブセットの比較画像に関連する特徴メトリック
と比較され、比較画像に関連するいずれの特徴メトリッ
クが、基準検索画像に関連する特徴メトリックにより近
いかにより、第１のサブセットまたは第２のサブセット
のいずれかが選択される（ステップ４４）。
【００２８】そして、上記のように選択されたサブセッ
トから広がるサブセットに対し、決められた数だけの画
像を含む終端サブセットに達するまでサブセットの木を
下り、比較動作が繰返される（ステップ４６）。その
後、終端サブセットの画像が、それらの特徴メトリック
が基準検索画像の特徴メトリックにいかに近いかに従っ
てランク順位付けされる（ステップ４８）。そして、画
像はユーザに表示される。
【００２９】階層的画像検索システムのブロック図を、
図４に示す。システム全体は、３つの主なサブシステム
から構成されている。すなわち、 ａ）すべての画像について画像特徴メトリック値を事前
計算し、それらをデータベース５２に格納する画像特徴
計算サブシステム５０と、 ｂ）画像データベース５２から階層木を構築する画像デ
ータベース分割サブシステム５４と、 ｃ）階層木を用いて画像検索を実行する階層的画像検索
サブシステム５６と、である。
【００３０】画像データベース分割アプリケーションの
目的は、データベースの画像の特徴に基づいて階層木を
生成することである。入力側では、システムは、画像の
リストを取得するためにデータベース５２とインタフェ
ースする。また、事前計算された画像特徴メトリックす
べてにアクセスする。画像データベース分割サブシステ
ム５４では、画像を分割し、階層木を構築する。階層木
は、ディスク５８に書込まれ、階層的画像検索サブシス
テム５６により後にアクセスされる。画像データベース
分割サブシステム５４は、画像データベースに対する新
たな追加が示されるように階層木を周期的に更新し始め
る。
【００３１】階層的画像検索サブシステム５６は、画像
検索が実行される時にユーザによって起動される。特
に、それは、ディスク５８から階層木を読出し、この情
報を画像特徴メトリックと共に使用してそれが木の葉に
達するまでその木を下る。葉は、すべてが互いに近似し
相対的に基準検索画像に近似している画像のサブセット
を表す。そして、画像のサブセットが検索され、ユーザ
に対して上位一致のリストを返すためにランク付けされ
る。
【００３２】上述した発明の有効性は、以下の例から認
めることができる。ｎ個の画像のデータベースを検索
し、ｎに無関係なｋについて、基準検索画像に対し上位
ｋ個の一致を返したい場合について考える。通常の全検
索方式の複雑性は、ｎに対して線形に比例している。従
って、ｎが大きい場合、検索の複雑性は大きい。本発明
の分割方法が用いられる場合、検索の複雑性は低減さ
れ、結果としての複雑性は、ｍレベルの階層木につい
て、２ｍ＋（ｎ／２m）となる。１６００万画像（ｎ＝
１６×１０6）を有するデータベースがあるとする。
（i）全数検索、（ii）最適分割および（iii）１６レベ
ル階層木を用いる特徴比較の数は、それぞれ、１６×１
０6、８×１０3および２８８である。
【００３３】上述した説明は、本発明の単に例示的なも
のであることは理解されるべきである。当業者は、本発
明を逸脱することなく、様々の代替態様および変更態様
を考案することができる。例えば、本発明の方法を実現
するために必要なソフトウェア／ファームウェアを、必
要に応じてロードするために１つまたは複数のメモリ装
置６０（図４）に常駐させてもよい。従って、本発明
は、添付の特許請求の範囲内にあるかかるすべての代替
態様、変更態様および変形態様を包含することが意図さ
れている。
【００３４】以上、本発明の実施例について詳述した
が、以下、本発明の各実施態様の例を示す。
【００３５】[実施態様１]関連する特徴メトリックを各
画像が有する複数の画像のデータベース（５２）セット
から、コンテンツベースの画像木を導出する階層的方法
であって、 ａ）画像を、特徴メトリックが各サブセットのシード画
像の特徴メトリックにより近い各サブセットに割当てる
ことにより、複数画像のセットを第１のサブセットおよ
び第２のサブセットに分割するステップ（ステップ３
６）と、 ｂ）各サブセットについて、特徴メトリックが前記各サ
ブセットに分割された画像の特徴メトリックを表す各サ
ブセットから、比較画像を選択するステップ（ステップ
４０）と、 ｃ）各サブセット、各サブセットのサブセット等につい
て、残っているサブセットが決められた数の画像を含む
まで、画像の分割されたサブセットの木を生成するため
にステップａ）およびｂ）を再帰的に繰返すステップ
（ステップ４２）と、を備えて成る方法。
【００３６】[実施態様２]分割ステップａ）が、 ａ１）前記画像のセットから基準画像をランダムに選択
するサブステップ（ステップ３０）と、 ａ２）前記複数の画像のセットにおいて、関連する特徴
メトリックが前記基準画像に関連する特徴メトリックか
ら最も離れている第１のシード画像を見つけ、それを第
１のサブセットに割当てるサブステップ（ステップ３
２）と、 ａ３）前記複数の画像のセットにおいて、関連する特徴
メトリックが前記第１の画像に関連する前記特徴メトリ
ックから最も離れている第２のシード画像を見つけ、そ
れを第２のサブセットに割当てるサブステップ（ステッ
プ３４）と、を備えて成ることを特徴とする、実施態様
１に記載の方法。
【００３７】[実施態様３] ｄ）検索画像の特徴メトリックを前記第１および第２の
サブセットの比較画像の特徴メトリックと比較し、各々
のサブセットの比較画像のいずれの特徴メトリックが前
記検索画像の前記特徴メトリックにより近いかにより、
前記第１のサブセットまたは前記第２のサブセットのい
ずれかを選択するステップ（ステップ４４）と、 ｅ）ステップｄ）において選択された前記サブセットか
ら広がるサブセットに対し、決められた数の画像を有す
るサブセットに達するまで前記サブセットの木を下っ
て、比較ステップｄ）を再帰的に繰返すステップ（ステ
ップ４６）と、を有する検索ステップをさらに備えて成
ることを特徴とする、実施態様１に記載の方法。
【００３８】[実施態様４]ステップａ）が、 ａ１）分割によって生成されるサブセットの含む画像の
数が等しくない場合、画像の数が多いサブセットからい
くつかの画像を画像の数が少ないサブセットに移動する
ことにより、各サブセットの画像の数を等しくするよう
試みるサブステップであって、移動される画像が、画像
の数が多いサブセットに残っている画像の特徴メトリッ
クと比較して画像の数が少ないサブセットの特徴メトリ
ックにより近い特徴メトリックを有している、サブステ
ップ（ステップ３８）、を備えていることを特徴とす
る、実施態様１に記載の方法。
【００３９】[実施態様５]前記特徴メトリックが、各画
像の色分布のメトリックの少なくとも１つから導出され
た１つ以上の値と、各画像の各原色成分の平均および標
準偏差と、各画像の１つ以上の色の空間的分布と、各画
像の色の変化の空間的速度のメトリックと、各画像の色
粒子サイズのメトリックと、各画像の方向成分のメトリ
ックと、によることを特徴とする、実施態様１に記載の
方法。
【００４０】[実施態様６]特徴メトリックを各画像が有
する複数の画像のデータベースセットから、コンテンツ
ベースの画像木を導出する階層方法を実行するようプロ
セッサを制御する命令を含むメモリ媒体（６０）であっ
て、 ａ）画像を、特徴メトリックが各々のサブセットのシー
ド画像の特徴メトリックにより近い各サブセットに割当
てることにより、複数画像のセットを第１のサブセット
および第２のサブセットに分割するよう前記プロセッサ
を制御する手段と、 ｂ）各サブセットに対し、特徴メトリックが、各サブセ
ットに分割された画像の特徴メトリックを表す各サブセ
ットから、比較画像を選択するよう前記プロセッサを制
御する手段と、 ｃ）各サブセット、各サブセットのサブセット等につい
て、残っているサブセットが決められた数の画像を含む
まで、画像の分割されたサブセットの木を生成するた
め、手段ａ）およびｂ）を再帰的に動作させるよう前記
プロセッサを制御する手段と、を備えて成るメモリ媒
体。
【００４１】[実施態様７]手段ａ）が、 ａ１）前記複数の画像のセットから基準画像をランダム
に選択するよう前記プロセッサを制御する手段と、 ａ２）前記複数の画像のセットにおいて、特徴メトリッ
クが前記基準画像の特徴メトリックから最も離れている
第１のシード画像を見つけ、それを第１のサブセットに
割当てるよう前記プロセッサを制御する手段と、 ａ３）前記複数の画像のセットにおいて、特徴メトリッ
クが前記第１の画像の前記特徴メトリックから最も離れ
ている第２のシード画像を見つけ、それを第２のサブセ
ットに割当てるよう前記プロセッサを制御する手段と、
をさらに備えて成ることを特徴とする、実施態様６に記
載のメモリ媒体。
【００４２】[実施態様８] ｄ）基準検索画像の特徴メトリックを前記第１および第
２のサブセットの比較画像の特徴メトリックと比較し、
各々のサブセットの比較画像のいずれの特徴メトリック
が前記基準検索画像の前記特徴メトリックにより近いか
により、前記第１のサブセットまたは前記第２のサブセ
ットのいずれかを選択するよう前記プロセッサを制御す
る手段と、 ｅ）手段ｄ）によって選択された前記サブセットから広
がるサブセットに対し、決められた数の画像のみを有す
るサブセットに達するまで前記サブセットの木を下っ
て、前記比較動作を繰返すよう前記プロセッサを制御す
る手段と、をさらに備えて成ることを特徴とする、実施
態様６に記載のメモリ媒体。
【００４３】[実施態様９]手段ａ）が、分割によって生
成されるサブセットの含む画像の数が等しくない場合、
画像の数が多いサブセットからいくつかの画像を画像の
数が少ないサブセットに移動することにより、各サブセ
ットの画像の数を等しくするよう試みるよう前記プロセ
ッサをさらに制御し、移動される画像が、画像の数が多
いサブセットに残っている画像の特徴メトリックと比較
して，画像の数が少ないサブセットの特徴メトリックに
より近い特徴メトリックを有していることを特徴とす
る、実施態様６に記載のメモリ媒体。
【００４４】[実施態様１０]前記特徴メトリックが、各
画像の色分布のメトリックの少なくとも１つから導出さ
れた１つ以上の値と、各画像の各原色成分の平均および
標準偏差と、各画像の１つ以上の色の空間的分布と、各
画像の色の変化の空間的速度のメトリックと、各画像の
色粒子サイズのメトリックと、各画像の方向成分のメト
リックと、によることを特徴とする、実施態様６に記載
のメモリ媒体。
【００４５】
【発明の効果】以上説明したように、本発明を用いるこ
とにより、多数の画像を含むデータベースにおける画像
検索を効率的に行うことができ、検索速度を向上させる
ことができる。
【図面の簡単な説明】
【図１】第１の分割方法を示す概略図である。
【図２】本発明によって採用される分割方法を示す概略
図である。
【図３Ａ】本発明の方法を示す論理フローチャートであ
る。
【図３Ｂ】本発明の方法を示す論理フローチャートであ
る。
【図３Ｃ】本発明の方法を示す論理フローチャートであ
る。
【図４】階層的画像検索システムのブロック図である。
【図５】各々の画像について特徴メトリックが導出され
る画像のカラーヒストグラム図である。
【図６】各々の画像について特徴メトリックが導出され
る画像のカラーヒストグラム図である。
【図７】各々の画像について特徴メトリックが導出され
る画像のカラーヒストグラム図である。
【符号の説明】
５２：データベース ６０：メモリ媒体 ステップ３０，ステップ３２，ステップ３４，ステップ
３６，ステップ３８，ステップ４０，ステップ４２，ス
テップ４４，ステップ４６：処理ステップ

Claims (1)

    【特許請求の範囲】
  1. 【請求項１】関連する特徴メトリックを各画像が有する
    複数の画像のデータベースセットから、コンテンツベー
    スの画像木を導出する階層的方法であって、 ａ）画像を、特徴メトリックが各サブセットのシード画
    像の特徴メトリックにより近い各サブセットに割当てる
    ことにより、複数画像のセットを第１のサブセットおよ
    び第２のサブセットに分割するステップと、 ｂ）各サブセットについて、特徴メトリックが前記各サ
    ブセットに分割された画像の特徴メトリックを表す各サ
    ブセットから、比較画像を選択するステップと、 ｃ）各サブセット、各サブセットのサブセット等につい
    て、残っているサブセットが決められた数の画像を含む
    まで、画像の分割されたサブセットの木を生成するため
    にステップａ）およびｂ）を再帰的に繰返すステップ
    と、 を備えて成る方法。
JP2000297992A 1999-09-30 2000-09-29 コンテンツベース画像の検索の階層的方法 Pending JP2001160070A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US40947099A 1999-09-30 1999-09-30
US409470 1999-09-30

Publications (1)

Publication Number Publication Date
JP2001160070A true JP2001160070A (ja) 2001-06-12

Family

ID=23620632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000297992A Pending JP2001160070A (ja) 1999-09-30 2000-09-29 コンテンツベース画像の検索の階層的方法

Country Status (2)

Country Link
EP (1) EP1089198A3 (ja)
JP (1) JP2001160070A (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005525606A (ja) * 2001-07-16 2005-08-25 ヒューレット・パッカード・カンパニー 階層的な画像特徴ベースの視覚化方法
US8036497B2 (en) * 2005-03-01 2011-10-11 Osaka Prefecture University Public Corporation Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
JP2013541096A (ja) * 2010-09-20 2013-11-07 クゥアルコム・インコーポレイテッド クラウド支援型拡張現実のための適応可能なフレームワーク
JP2014096175A (ja) * 2009-06-16 2014-05-22 Alibaba Group Holding Ltd 準複製画像検索のための方法およびシステム
US9747305B2 (en) 2012-03-29 2017-08-29 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9940366B2 (en) 2012-03-29 2018-04-10 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7433895B2 (en) 2005-06-24 2008-10-07 Microsoft Corporation Adding dominant media elements to search results
US9619469B2 (en) 2009-12-22 2017-04-11 Apple Inc. Adaptive image browsing
CN107480282A (zh) * 2017-08-23 2017-12-15 深圳天珑无线科技有限公司 一种图片搜索的方法及装置
CA3111455C (en) 2018-09-12 2023-05-09 Avigilon Coporation System and method for improving speed of similarity based searches

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2717285B1 (fr) * 1994-03-08 1996-06-07 Vacher Jean Noel Procédé de classification d'objets, utilisation de ce procédé et systèmes de mise en Óoeuvre du procédé et de son utilisation.
US5893095A (en) * 1996-03-29 1999-04-06 Virage, Inc. Similarity engine for content-based retrieval of images
US6163622A (en) * 1997-12-18 2000-12-19 U.S. Philips Corporation Image retrieval system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005525606A (ja) * 2001-07-16 2005-08-25 ヒューレット・パッカード・カンパニー 階層的な画像特徴ベースの視覚化方法
US8036497B2 (en) * 2005-03-01 2011-10-11 Osaka Prefecture University Public Corporation Method, program and apparatus for storing document and/or image using invariant values calculated from feature points and method, program and apparatus for retrieving document based on stored document and/or image
JP2014096175A (ja) * 2009-06-16 2014-05-22 Alibaba Group Holding Ltd 準複製画像検索のための方法およびシステム
US9405993B2 (en) 2009-06-16 2016-08-02 Alibaba Group Holdings Limited Method and system for near-duplicate image searching
US9495760B2 (en) 2010-09-20 2016-11-15 Qualcomm Incorporated Adaptable framework for cloud assisted augmented reality
US9633447B2 (en) 2010-09-20 2017-04-25 Qualcomm Incorporated Adaptable framework for cloud assisted augmented reality
JP2013541096A (ja) * 2010-09-20 2013-11-07 クゥアルコム・インコーポレイテッド クラウド支援型拡張現実のための適応可能なフレームワーク
JP2015144474A (ja) * 2010-09-20 2015-08-06 クゥアルコム・インコーポレイテッドＱｕａｌｃｏｍｍ Ｉｎｃｏｒｐｏｒａｔｅｄ クラウド支援型拡張現実のための適応可能なフレームワーク
WO2013038574A1 (ja) * 2011-09-16 2013-03-21 楽天株式会社 画像検索装置、画像検索方法、プログラムおよびコンピュータ読み取り可能な記憶媒体
US9588991B2 (en) 2011-09-16 2017-03-07 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
JP4976578B1 (ja) * 2011-09-16 2012-07-18 楽天株式会社 画像検索装置およびプログラム
US9747305B2 (en) 2012-03-29 2017-08-29 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium
US9940366B2 (en) 2012-03-29 2018-04-10 Rakuten, Inc. Image search device, image search method, program, and computer-readable storage medium

Also Published As

Publication number Publication date
EP1089198A3 (en) 2003-03-12
EP1089198A2 (en) 2001-04-04

Similar Documents

Publication Publication Date Title
US6012069A (en) Method and apparatus for retrieving a desired image from an image database using keywords
US5542089A (en) Method and apparatus for estimating the number of occurrences of frequent values in a data set
KR100809798B1 (ko) 컬러 화상 표시 및 검색을 위한 장치 및 방법
US7006714B2 (en) Image retrieval device, image retrieval method and storage medium storing similar-image retrieval program
US6253201B1 (en) Scalable solution for image retrieval
US6285995B1 (en) Image retrieval system using a query image
US6072904A (en) Fast image retrieval using multi-scale edge representation of images
US5960431A (en) Method and apparatus for adding data storage bins to a stored computer database while minimizing movement of data and balancing data distribution
US7080101B1 (en) Method and apparatus for partitioning data for storage in a database
US6460045B1 (en) Self-tuning histogram and database modeling
KR101015324B1 (ko) 데이터 맵핑 방법과 md 데이터 객체 검색을 위한 컴퓨터로 구현되는 방법, 컴퓨터로 구현되는 시스템 및 컴퓨터 판독가능 기록매체
US20100121848A1 (en) Multi-interval quicksort algorithm for complex objects
US20060190425A1 (en) Method for merging multiple ranked lists with bounded memory
US5367677A (en) System for iterated generation from an array of records of a posting file with row segments based on column entry value ranges
US20150310010A1 (en) Systems and methods for multimedia image clustering
KR20030066582A (ko) 순환적 히스토그램 벡터 발생과 매칭하는 팔레트-기초히스토그램
JP2001160070A (ja) コンテンツベース画像の検索の階層的方法
CN110569244A (zh) 一种海明空间近似查询方法及存储介质
JPH11312248A (ja) 画像検索装置及び方法
JPH05233392A (ja) 平衡木メモリ構造のデータ回復効率の向上方法、仮想メモリデータ処理システム、及びデータ処理システム
JPH11288418A (ja) 画像検索装置及び方法
Egas et al. Adapting kd trees to visual retrieval
CN112860734B (zh) 地震数据多维度范围查询方法及装置
US7269542B2 (en) System and method for determining a cache optimized ordering of cells in an unstructured graph
WO2021149091A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体