JP2000339352A - 知覚的顕在特徴に基づく画像のアーカイブ及び検索 - Google Patents

Abstract

(57)【要約】 【課題】 画像をその知覚的顕在特徴に基づいてアーカ
イブ及び検索する方法を提供する。 【解決手段】 画像をその描写的特徴に基づく表現に基
づいてアーカイブする方法が、前記画像の前記表現を、
前記画像の知覚を支配する一つ又はそれ以上の知覚的に
顕在する描写的特徴により、自動的に抽出するステップ
（Ｓ２０）と、前記画像及びその表現をデータベースに
記憶するステップ（Ｓ４０）と、を含む。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、一般的にはデジタ
ル画像処理の分野に関しており、より具体的には、知覚
的に顕在する（知覚的顕在；ｐｅｒｃｅｐｔｕａｌｌｙ
ｓｉｇｎｉｆｉｃａｎｔ）特徴に基づいた画像の記憶
及び検索に関している。

【０００２】

【従来の技術】大きな画像コレクション（又はデータベ
ース）を効果的に利用するためには、与えられた例又は
問合せ画像に類似した画像の効率的な選択及び／又は検
索が、本質的に求められる。データベースをサーチして
問合せに類似した画像を選択／検索する最も一般的なア
プローチは、問合せ画像とデータベース中の画像とをそ
の特徴に基づいた表現を使用して距離関数によって比較
することである。Ｒ・Ｊ・バーバーら（Ｒ．Ｊ．Ｂａｒ
ｂｅｒ ｅｔ ａｌ．）の米国特許第５，５７９，４７
１号「画像問合せシステム及び方法」、Ｊ・Ｓ・デュボ
ネ（Ｊ．Ｓ．ＤｅＢｏｎｅｔ）の米国特許第５，８５
２，８２３号「例示質問パラダイムを使用したデータベ
ースからの自動画像分類及び検索システム」、Ｓ・チャ
ング及びＪ・Ｒ・スミス（Ｓ．Ｃｈａｎｇ ａｎｄ
Ｊ．Ｒ．Ｓｍｉｔｈ）の国際特許出願公開公報第ＷＯ９
８／５２１１９号「特徴及び領域に基づくデータベース
画像の検索方法」、Ｍ・Ｊ・スエイン及びＤ・Ｈ・バラ
ード（Ｍ．Ｊ．Ｓｗａｉｎ ａｎｄ Ｄ．Ｈ．Ｂａｌｌ
ａｒｄ）の「カラーインデクシング」（国際コンピュー
タビジョン誌、第７巻第１号、１９９１、第１１〜３２
頁）、及びＧ・パスら（Ｇ．Ｐａｓｓ ｅｔ ａｌ．）
の「カラーコヒーレンスベクトルを使用した画像の比
較」（ＡＣＭマルチメディア会議講演論文集、１９９
６）を参照のこと。これらの技法は全て、画像を、カラ
ーやテクスチュアのようなその描写的特徴により表現す
る。問合せ画像Ｑが与えられると、その特徴に基づく表
現がデータベース中の各画像Ｉの表現に対して比較され
て、ＱとＩとの類似性が計算される。データベース中の
画像はその後に、その問合せ画像に対する類似性の降順
にランク付けされて、その問合せに対する回答が形成さ
れる。

【０００３】

【発明が解決しようとする課題】これらの技法のキーと
なる短所は、画像表現及びマッチングスキームにおける
知覚的顕在画像特徴と非顕在（ｉｎｓｉｇｎｉｆｉｃａ
ｎｔ）画像特徴との間が区別されていないということで
ある。一般に、人間の観察者は、二つの画像の内容に基
づく類似性を、細かい詳細ではなく、画像の知覚的顕在
内容に基づいて決定する。この行為を模倣することによ
って、類似性検索システムは、人間による類似性の解釈
により一致する結果を生成することができる。しかし、
この事実は、現存する技法の何れにおいても満足されて
きていない。本発明は、画像をその知覚的顕在特徴によ
り表現することによって、この短所を克服する。これよ
り、二つの画像の類似性が、それらの知覚的顕在特徴の
類似性の関数となる。

【０００４】

【課題を解決するための手段】本発明は、上述の問題の
一つ又はそれ以上を克服することを目的としている。簡
単に要約すると、本発明のある局面によれば、画像をそ
の描写的特徴に基づく表現に基づいてアーカイブする方
法が、画像の知覚を支配する一つ又はそれ以上の知覚的
に顕在する描写的特徴により画像の表現を自動的に抽出
するステップと、画像及びその表現をデータベースに記
憶するステップとを含む。

【０００５】上述の技術水準を考慮すると、本発明の目
的は、画像をその知覚的顕在特徴により表現する、描写
的特徴に基づく画像の表現方法を提供することである。

【０００６】第２の目的は、知覚的顕在特徴に基づく画
像表現を使用して画像をデータベースにアーカイブする
スキームを提供することである。

【０００７】第３の目的は、知覚的顕在特徴に基づく画
像表現を使用した例（又は問合せ）画像に類似した画像
の選択及び／又は検索を効果的に取り扱うことができる
画像検索システムを提供することである。

【０００８】本発明のこれら及びその他の局面、目的、
特徴、及び効果が、好適な実施形態の以下の詳細な説明
及び添付の請求の範囲のレビューから、及び添付の図面
を参照することによって、より明瞭に理解され且つ認識
されるであろう。

【０００９】

【発明の実施の形態】以下の説明では、本発明が、好適
な実施形態においてソフトウエアプログラムとして説明
される。そのようなソフトウエアの均等物がハードウエ
アにおいても構築され得ることを、当業者は容易に認識
するであろう。

【００１０】さらに、本明細書で使用されているよう
に、コンピュータが読み取り可能な記憶媒体は、例え
ば、（フロッピー（登録商標）ディスクのような）磁気
ディスク又は磁気テープのような磁気的記憶媒体、光デ
ィスク、光テープ、又は機械読み取り可能なバーコード
のような光学的記憶媒体、ランダムアクセスメモリ（Ｒ
ＡＭ）又はリードオンリーメモリ（ＲＯＭ）のような固
体電子記憶デバイス、あるいはコンピュータプログラム
を記憶するために使用される任意の他の物理的装置又は
媒体を備えてもよい。

【００１１】さらに、本発明は、コンピュータシステム
上で実現される。そのようなコンピュータシステムは当
該技術分野では良く知られており、本明細書では詳細に
説明されないであろう。

【００１２】本発明は描写的特徴に基づく画像アーカイ
ブ及び検索システムを提供し、このシステムは二つの機
能的なフェーズからなっている。画像アーカイブフェー
ズと呼ばれる第１のフェーズでは、システムにより記憶
且つ管理される各画像が処理され、その描写的特徴に基
づく表現が自動的に抽出される。画像表現及び画像はデ
ータベースに記憶され、サーチインデックスが更新され
て、将来の描写的特徴に基づく画像選択及び／又は検索
にその画像表現が参加できるようにする。画像検索フェ
ーズと呼ばれる第２のフェーズは、ユーザが特定した描
写的特徴に基づく制約を満足する画像の検索及び／又は
選択に関する。アーカイブ及び検索フェーズのために画
像カラー空間が任意のあらかじめ規定された又は所望の
カラー空間に変換されることができることに留意された
い。以下に説明される実施形態の詳細は、何れのカラー
空間（例えば、ＲＧＢ、ＹＣＣ、ＨＳＶ、ＣＩＥカラー
空間など）の画像にも適用可能である。また、画像は、
計算コスト及び記憶の要求条件を減らすために、両フェ
ーズにおいて所望の圧縮ダイナミックレンジに変換され
ることができる。

【００１３】画像アーカイブフェーズ 画像アーカイブフェーズの主なステップが図１に示され
ている。各入力画像は分析されて、その表現が構築され
る。画像は、カラー、テクスチュア、及びカラー成分の
ような様々な異なる描写的特徴により表現されることが
できる。図１を参照すると、Ｓ１０で、描写的特徴ｆが
まず選択される。好適な実施形態では、カラー又はテク
スチュアの何れかを選択することができる。Ｓ２０で、
画像は分析されて、特徴ｆによってその知覚的顕在成分
が識別される。画像の描写的特徴は、それが観察者によ
る画像の知覚を支配するならば、知覚的に顕在する描写
的特徴とみなされる。例えば、赤というカラーは、大き
な赤い花の画像では、知覚的顕在カラー特徴である。画
像はそれから、Ｓ３０で、選択された特徴の検出された
知覚的顕在成分により表現される。入力画像及びその表
現はその後に、Ｓ４０で、画像データベースに追加され
る。

【００１４】本発明によれば、画像のカラー特徴に基づ
く表現は、その画像中に存在する知覚的顕在カラーによ
る。画像の知覚的顕在カラーを識別する好適なアプロー
チは、画像における顕著なサイズのコヒーレントにカラ
ーが付いた領域は知覚的に顕在するという推定に基づい
ている。したがって、顕著なサイズのコヒーレントにカ
ラーが付いた領域は、知覚的顕在カラーとみなされる。
好適な実施形態は、画像の知覚的顕在カラーの識別のた
めに、２つの異なる方法を提供する。これらの方法の一
つは、データベースをセットアップするために選択され
る。第１のアプローチのキーとなるステップが図２に示
されている。入力画像毎に、そのコヒーレントカラーヒ
ストグラムがＳ１００で最初に計算される。画像のコヒ
ーレントカラーヒストグラムは、Ｈ（ｃ）＝コヒーレン
トにカラーが付いた領域に属するカラーｃのピクセル数
という形の関数である。ここで、ｃは画像のダイナミッ
クレンジにおける有効カラーである。ピクセルは、その
カラーがあらかじめ特定された最小数の近隣ピクセルの
カラーと等しいか又は類似しているならば、コヒーレン
トにカラーが付いた領域に属しているとみなされる。本
実施形態では、コヒーレンシーには、（i）少なくとも
２つの近隣がマッチする又は類似する場合、（ii）全て
の近隣がマッチ／類似しているという２つの定義があ
る。コヒーレンシーの同じ定義を、画像アーカイブ及び
検索フェーズの両方において全ての画像の分析のために
使用しなければならない。２つのカラーは、対応するチ
ャネル値が全て等しければ、等しいとみなされる。２つ
のカラーｃ１及びｃ２は、それらの差ｄｉｆｆ（ｃ１，
ｃ２）がユーザにより特定された閾値Ｃ_Tよりも小さけ
れば、類似しているとみなされる。ＣＴの好適な値は、
ｄｉｆｆ（ｃ１，ｃ２）の可能性のある最大値の１５％
から２０％の範囲である。幾つかの異なるカラー差の計
算方法が可能である。本実施形態では、２つのＬチャネ
ルのカラーを比較する以下の３つの方法の一つを、シス
テムの初期化時に選択することができる。

【００１５】（i）カラーｃ_xとｃ_yとは、｜ｃ_x ⁱ−ｃ_y ⁱ
｜＜Ｃⁱ _Tであれば類似しているとみなされる。ここで、
ｃ_k ⁱはカラーｃ_kのｉ番目のチャネルの値を示し、Ｃ_T ⁱ
はｉ番目のチャネル値の差に対するあらかじめ特定され
た閾値である。

【００１６】（ii）カラーｃ_xとｃ_yとは、Σ_i=1、Lｗ_i・
（ｃ_x ⁱ−ｃ_y ⁱ）²＜Ｃ_Tであれば類似しているとみなされ
る。ここで、ｃ_k ⁱはカラーｃ_kのｉ番目のチャネルの値
を示し、ｗ_iはｉ番目のチャネルの重みを示し、Ｃ_Tはあ
らかじめ特定された閾値である。

【００１７】（iii）カラーｃ_xとｃ_yとは、Σ_i＝₁、Lｗ_i
・｜（ｃ_x ⁱ−ｃ_y ⁱ）｜＜Ｃ_Tであれば類似しているとみ
なされる。ここで、ｃ_k ⁱはカラーｃ_kのｉ番目のチャネ
ルの値を示し、ｗ_iはｉ番目のチャネルの重みを示し、
Ｃ_Tはあらかじめ特定された閾値である。

【００１８】その後にＳ１１０で、コヒーレントカラー
ヒストグラムが分析されて、知覚的顕在カラーを識別す
る。カラーｋは、Ｈ（ｋ）＞Ｔであれば知覚的顕在カラ
ーであるとみなされる。ここでＴは閾値である。この実
施形態では、Ｔ＝画像中の全ピクセル数の０．５％であ
る。次のステップは、Ｓ１２０で、画像をその知覚的顕
在カラーにより表現することである。具体的には、画像
Ｉは、Ｉ_C＝｛Ｎ，Ｚ，＜Ｃ_i，Ｓ_i＞｝（ただし、０＜
ｉ＜Ｎ＋１）というかたちのベクトルによって表現され
る。ここで、Ｎは画像Ｉにおける知覚的顕在カラーの数
であり、Ｚ＝ΣＳ_iであり、Ｃ_iは画像Ｉのｉ番目の知覚
的顕在カラーのカラー値であり、Ｓ_iは画像ＩのＨ
（Ｃ_i）と全ピクセル数との比である。

【００１９】画像の知覚的顕在カラーを識別する第２の
方法のキーとなるステップが、図３に示されている。こ
の方法は、第１の方法の延長である。この場合、Ｓ２０
０で、第１のステップのステップＳ１００及びＳ１１０
が実行されて、知覚的顕在カラーを検出する。そのよう
にして獲得された知覚的顕在カラーのセットは知覚的顕
在カラーの初期セットとみなされ、支配的な知覚的顕在
カラーのセットを得るためにリファインされる。リファ
インプロセスは、Ｓ２１０で、知覚的顕在カラーの初期
セットに属するカラーのピクセルのみで構成された接続
成分を見いだすことでスタートする。これは、知覚的顕
在カラーのピクセルのみを考慮して（すなわち、それら
を目的のピクセルとみなして）且つ他のものを無視し
（すなわち、それらを背景ピクセルとみなし）ながら、
入力画像上の接続成分の分析を実行することによって達
成される。知覚的顕在カラー（すなわち、知覚的顕在カ
ラーの初期セットのカラー）を有する２つの近隣ピクセ
ル（４又は８の近隣）は、それらがマッチする／類似の
カラーであるときのみ、接続されているとみなされる。
そのようにして獲得された接続成分は、Ｓ２２０で、支
配的な知覚的顕在カラーのセットを決定するために分析
される。あらかじめ特定された閾値Ｔ_Sよりも大きなサ
イズの接続成分は、支配的な知覚的顕在セグメントとみ
なされる。本実施形態では、Ｔ_S＝画像中の全ピクセル
数の０．２５％である。支配的な知覚的顕在セグメント
に属するカラーは、画像表現のための知覚的顕在カラー
のセットを形成する。最終ステップは再び、Ｓ２３０に
おいて、知覚的顕在カラーにより画像を表現することで
ある。知覚的顕在カラーのこの最終的なセットが知覚的
顕在カラーの初期セットのサブセットであることに留意
されたい。

【００２０】当業者は、上記の２つのカラーに基づく画
像表現の様々な変化が、本発明の範囲内で可能であるこ
とを認識するであろう。例えば、一つの簡単な延長はこ
れらの２つの表現のコンビネーションであり、その場合
には、方法１の表現が、各々の知覚的顕在カラーを、そ
のカラーが支配的な知覚的顕在セグメントに属するかど
うかを示すタイプによって修飾することによって延長さ
れる。

【００２１】本発明によれば、テクスチュアに基づく画
像の表現は、その画像にランダムに又は組織化されて
（ｓｔｒｕｃｔｕｒｅｄ）存在する知覚的顕在テクスチ
ュアによる。画像の知覚的顕在テクスチュアを識別する
好適なアプローチは、各々の知覚的顕在テクスチュアが
同じカラー転移（ｔｒａｎｓｉｔｉｏｎ）の多数の反復
で構成されるという推定に基づいている。したがって、
頻繁に生じる（頻出；ｆｒｅｑｕｅｎｔｌｙ ｏｃｃｕ
ｒｒｉｎｇ）カラー転移を識別してそれらのテクスチュ
ア特性を分析することによって、知覚的顕在テクスチュ
アを抽出して表現することができる。画像の知覚的顕在
テクスチュアの識別のための好適な実施形態が、図４に
示されている。入力画像毎に、プロセスの第１のステッ
プは、Ｓ３００で、その画像中に存在するカラー転移を
全て検出することである。カラー転移は、今着目してい
る（カレント）ピクセル（ｃ）とそれよりも下位の位置
にある直前のピクセル（ｐ）との間で、カラー値の変化
ｄｉｓｔ（ｃ，ｐ）が所定の閾値ｔｈよりも大きければ
発生する。ｔｈの好適な値は、ｄｉｓｔ（ｃ，ｐ）の可
能な最大値の１５％〜２０％の範囲である。カラー転移
が生じるピクセルは、カラー転移ピクセルと呼ばれる。
本実施形態では、２つのＬチャネルのカラーを比較する
以下の２つの方法の一つを選択して、カラー値の変化、
ここではカラー転移の発生を決定することができる。

【００２２】（i）現在のピクセルは、｜ｃ．ｃｈ₀−
ｐ．ｃｈ₀｜≧ｔｈ．ｃｈ₀ 又は｜ｃ．ｃｈ₁−ｐ．ｃ
ｈ₁｜≧ｔｈ．ｃｈ₁．．． 又は｜ｃ．ｃｈ_i−ｐ．ｃ
ｈ_i｜≧ｔｈ．ｃｈ_i （ただし、０≦ｉ≦Ｌ）であるな
らば、カラー転移ピクセルと識別される。ここで、ｃ．
ｃｈ_iはカレントピクセルのｉ番目のカラーチャネル値
を示し、ｐ．ｃｈ_iはそれよりも下位の位置にある直前
のピクセルのｉ番目のカラーチャネル値を示し、ｔｈ．
ｃｈ_iはｉ番目のカラーチャネルのための所定の差閾値
を示す。

【００２３】（ii）カレントピクセルは、

【数１】 であるならば、カラー転移ピクセルと識別される。ここ
で、ｃ．ｃｈ_iはカレントピクセルのｉ番目のカラーチ
ャネル値を示し、ｐ．ｃｈ_iはそれよりも下位の位置に
ある直前のピクセルのｉ番目のカラーチャネル値を示
し、ｔｈは所定のカラー差閾値を示す。

【００２４】当業者は、カラー転移の概念が、白黒画像
の場合にはグレイレベル又は明るさ（ブライトネス）の
転移として規定できることを認識するであろう。当業者
はまた、本発明の範囲内で、他のカラー差の計量法（メ
トリックス）を使用してカラー転移の存在を決定できる
ことも認識するであろう。画像は水平及び垂直にスキャ
ンされて、上記の方法の一つを使用して全てのカラー転
移ピクセルを識別する。カラー転移ピクセル毎にカラー
転移をシグナルし、各カラー転移は、カラー転移を形成
する過去及び現在ピクセルカラー値に対応する２つのカ
ラー（ｃ１，ｃ２）により表現される。プロセスにおけ
る第２のステップは、Ｓ３１０で、頻出カラー転移を全
て識別することである。ｃ１及びｃ２を２つの次元とす
る２次元カラー転移ヒストグラムが構築されて、先のス
テップで発見された様々なカラー転移の頻度が記録され
る。好適な実施形態では、カラー転移ヒストグラムの構
築及び頻度記録（ｐｏｐｕｌａｔｉｎｇ）のために３つ
のオプションを提供する。第１のオプションではグロー
バルなカラー転移ヒストグラムの構築を行い、これに
は、その画像で発見される全てのカラー転移の頻度が記
録される。カラー転移ヒストグラムにおける発生閾値の
所定の最小頻度も越えるピークを全て見いだすことで、
頻出カラー転移を識別する。グローバルなカラー転移ヒ
ストグラムのための頻出カラー転移を識別するための好
適な最小頻度閾値は、画像の全ピクセル数の０．２５％
である。第２のオプションでは、画像をオーバーラップ
しないセクションにモザイク化し、それからセクション
転移ヒストグラムのセットを構築して、これに、対応す
る画像セクションで発見されるカラー転移の頻度を記録
する。本実施形態では、２４のセクションヒストグラム
のセットを構築する。全セクション転移ヒストグラムに
おける発生閾値の所定の最小頻度も越えるピークを全て
見いだすことで、頻出カラー転移を識別する。セクショ
ンカラー転移ヒストグラムのための頻出カラー転移を識
別するための好適な最小頻度閾値は、各モザイクセクシ
ョンにおける画像の全ピクセル数の２．５％である。最
後のオプションは、上記２つの方法のコンビネーション
であり、グローバルヒストグラム及びセクションヒスト
グラムの両方が構築されて、全ピークが上述の方法で識
別される。これらのピークは最頻出カラー転移を示し、
これらは、画像における知覚的顕在テクスチュアに対応
する。プロセスの第３のステップは、Ｓ３２０における
知覚的顕在テクスチュアを表現するための頻出カラー転
移のテクスチュア特性の分析である。頻出カラー転移毎
に、画像全体におけるこの特定のカラー転移の発生を全
て見いだして、スケール及び勾配値が計算される。現在
の実施形態では、スケールは、カラーｃ１とカラーｃ２
との発生の間のピクセルによる距離として計算される。
勾配は、ｔａｎ^-1（ｇ_y／ｇ_x）として計算されるが、こ
こでｇ_y及びｇ_xはそれぞれ、カラー転移における垂直及
び水平のエッジ情報であり、ソベルオペレータ（Ｓｏｂ
ｅｌ ｏｐｅｒａｔｏｒ）を使用して計算される。スケ
ール及び勾配値を計算するための他の技法が本発明の範
囲を超えることなく可能であることに留意されたい。各
々の発生に対する計算されたスケール及び勾配値は、ス
ケール−勾配ヒストグラムを構築するために使用され
る。全ての発生が考慮された後で、スケール−勾配ヒス
トグラムを使用して知覚的顕在テクスチュアのテクスチ
ュア特性を分析する。ランダムテクスチュアに対して
は、スケール−勾配ヒストグラムはランダムに分布し、
組織化テクスチュアに対しては、スケール、勾配、又は
その両方の顕在するシャープなモードがスケール−勾配
ヒストグラムに検出されることができる。ランダムテク
スチュアに対応するカラー転移に対しては、スケール−
勾配ヒストグラムを使用してスケール−勾配平均ベクト
ル及びスケール−勾配共分散（ｃｏ−ｖａｒｉａｎｃ
ｅ）マトリクスを計算する。組織化テクスチュアに対応
するカラー転移に対しては、対応するヒストグラムモー
ドを使用してスケール−勾配平均ベクトル及びスケール
−勾配共分散マトリクスを計算する。これらの特性を使
用して、知覚的顕在テクスチュアを表現する。最終ステ
ップは、Ｓ３３０において、画像をその知覚的顕在テク
スチュアにより表現することである。画像Ｉは、Ｉ_T＝
｛Ｎ，Ｚ，＜Ｃ¹ _i，Ｃ² _i，Ｐ_i，Ｍ_i，Ｖ_i，Ｓ_i＞｝（た
だし、０＜ｉ＜Ｎ＋１）という形のベクトルにより表現
される。ここで、Ｎは画像Ｉにおける支配的な知覚的顕
在テクスチュアの数であり、Ｚ＝ΣＳ_iであり、Ｃ¹ _i及
びＣ² _iはｉ番目の知覚的顕在テクスチュアに対応する頻
出カラー転移のカラー値であり、Ｐ_iはｉ番目の知覚的
顕在テクスチュアのテクスチュアタイプであって、ラン
ダム、スケール組織化、勾配組織化、又はスケール−勾
配組織化という可能性のある値のうちの一つをとり、Ｍ
_i及びＶ_iはそれぞれ、セットにおけるｉ番目の知覚的顕
在テクスチュアのスケール−勾配平均ベクトル及びスケ
ール−勾配共分散マトリクスであり、Ｓ_iはｉ番目の知
覚的顕在テクスチュアの全エリアカバレッジであって、
ｉ番目の知覚的顕在テクスチュアに対応する頻出カラー
転移の全ての発生に対するスケール値を全て累積するこ
とによって計算される。当業者は、Ｉ_Tの他のテクスチ
ュア特性又はサブセット／スーパーセットを使用して知
覚的顕在テクスチュアを表現することができることを認
識するであろう。

【００２５】知覚的顕在特徴に基づく画像表示を生成し
た後、次のステップは、画像及び関連する表現をデータ
ベース及び適当なインデックス構造へ挿入することであ
る。当業者は、全体のデータベース組織が下位のデータ
ベース／ファイル管理システムに依存することを認識す
るであろう。また、インデクシングスキームは、問合せ
のタイプとそれらの期待頻度とに依存する。本実施形態
では、画像は画像データベースの中に存在する。登録さ
れた画像毎にサムネイルバージョンが生成され、これが
サムネイルデータベースに記憶される。画像のサムネイ
ルバージョンは、サーチ／検索結果を表示するために使
用される。画像表現（メタデータ）はメタデータベース
に記憶される。知覚的顕在特徴の表現に加えて、画像表
現（メタデータ）は、対応するサムネイルと共に画像フ
ァイルへのリファレンスとして機能する画像識別子／ロ
ケータも含む。画像名／ＩＤは、その表現のロケータと
して機能する。本実施形態ではカラー及びテクスチュア
表現が別個の構造に組織されるが、これらが共通の画像
及びサムネイルセットを共有することに留意されたい。

【００２６】当業者は、データセットを組織するための
インデックス構造の選択が、そのインデックス構造によ
り実行されるべき所望の機能に依存していることを認識
するであろう。本実施形態で必要とされる機能性は、所
与の問合せ／例画像に類似する画像の選択及び検索を促
進することである。この機能を促進するために、カラー
／テクスチュア表現を組織するために使用される概念的
インデックス構造が図５に示されている。知覚的顕在特
徴値ｆが与えられると、この組織は、その特徴ｆを含む
データベース中の全ての画像表現へのポインタ／リファ
レンスのリストを提供する。当業者は、この概念的イン
デックス構造が本発明の範囲内で様々な方法で実現でき
ることを認識するであろう。当業者はまた、所望のタス
クを達成するために様々な他のインデックス構造が可能
であることも認識するであろう。一般に、知覚的顕在特
徴の重要性は、その表現の中の対応するＳ値に直接的に
比例する。したがって、画像表現を、その知覚的顕在特
徴の各々に関連する画像表現リストに加える代わりに、
本実施形態は、表現の挿入を、その特定の画像における
主要な特徴に関連したリストのみに限定するというオプ
ションを提供する。好適な実施形態では、知覚的顕在特
徴は、そのＳ値が閾値Ｇよりも大きいか、又はそのＳ値
が画像の知覚的顕在特徴のＭ個の最大Ｓ値の一つである
ならば、主要であるとみなされる。Ｇ及びＭの値は、シ
ステムのインストール／初期化の時点で設定される。オ
プションの一つが、画像の各々の知覚的顕在特徴を主要
な知覚的顕在特徴とみなすことであることに留意された
い。

【００２７】好適な実施形態では、カラーに基づくサー
チに対しては、知覚的顕在（支配的な知覚的顕在）カラ
ーに基づくインデックスが生成される。すなわち、カラ
ー値を与えられると、インデックスは、そのカラーを知
覚的顕在カラーとして含む画像のリストを提供する。テ
クスチュアに基づくサーチに対しては、以下の２つのイ
ンデックスのうちの一つ又は両方が生成される；（ａ）
カラー転移値、そのカラー転移からなる知覚的顕在特徴
を含む画像及び対応する表現のリストに関連するインデ
ックス、及び（ｂ）（カラー転移、テクスチュアタイ
プ）ペア、そのカラー転移からなるタイプの知覚的顕在
テクスチュアを含む画像及び対応する表現のリストに関
連するインデックス。２つの画像のテクスチュア類似性
が、テクスチュアタイプを強制的に同じにするならば、
そのときには、（カラー転移、テクスチュアタイプ）ペ
アに基づくインデックスを使用して所望の画像がサーチ
される。そうでなければ、カラー転移に基づくインデッ
クスがサーチされる。

【００２８】画像選択／検索フェーズ 画像選択／検索フェーズでは、サーチ／検索リクエスト
が、問合せ／例画像と、検索又は選択された画像により
満足されなければならないある制約条件とを特定する。
好適な実施形態では、許容される制約条件は、（i）知
覚的に顕在する問合せ／例画像の特徴のうちでマッチし
なければならない最小数、（ii）問合せ画像の知覚的顕
在特徴の全サイズのうちでマッチしなければならない最
小パーセンテージ、及び（iii）これら２つの制約条件
の論理的なコンビネーション、である。問合せ／例画像
に類似すると共に特定された制約条件を満足する画像
が、選択及び／又は検索される。これを達成するため
に、適当なインデックスサーチがまず実行されて、問合
せ／例画像の一つ又はそれ以上の知覚的顕在特徴（又
は、主要な知覚的顕在特徴に基づくインデックスが使用
されるときには、主要な知覚的顕在特徴）を含む画像を
選択する。選択された画像毎に、その表現がそれから分
析されて、上述の特定された制約条件を満たすかどうか
が決定され、その制約条件を満たす画像に対しては、問
合せ／例との類似性の尺度（ｍｅａｓｕｒｅ）が計算さ
れて、これらが候補画像として検索される。候補画像は
その後に、問合せ／例画像に対するそれらの類似値に基
づいてランク付けされる。

【００２９】例画像に基づく類似画像の検索／選択プロ
セスのキーとなるステップは、図６に示されている。問
合せ／例画像が与えられると、Ｓ５００で、その所望の
表現（すなわちカラー又はテクスチュアに基づいた）が
計算又は獲得される。問合せ／例画像が現在の画像デー
タベースから選択されるならば、その表現はそのデータ
ベースから獲得される。問合せ／例画像が新しい画像で
あれば、そのときにはその表現が計算される。次に、Ｓ
５１０で、メタデータのデータベース又は関連したイン
デックス構造がサーチされて、サーチ規準を潜在的に満
たすことができる候補画像を見いだす。これは、インデ
ックス構造をサーチして、問合せ／例画像と共通な少な
くとも一つの知覚的顕在特徴（又は、主要な知覚的顕在
特徴に基づく表現が使用されるときには、主要な知覚的
顕在特徴）を含む画像を識別することによって達成され
る。好適なインデックス構造に対して、これは、知覚的
顕在（又は主要な知覚的顕在）特徴ｆ_p毎にインデック
ス構造をサーチして、特徴ｆ_pを知覚的顕在（又は主要
な知覚的顕在）特徴として有する画像を見いだすことに
より達成される。各々の個別のサーチから獲得された画
像のセットの組合せ（ユニオン）が、選択された画像の
セットを形成する。Ｓ５２０で、各々の選択された画像
の表現が問合せ画像の表現と比較されて、特定された制
約条件を満足する候補画像が選択される。オプションと
して、Ｓ５３０で、サーチ／検索制約条件を満足する各
画像に対して問合せ画像との類似性の尺度が計算され
て、選択された画像のセットが計算された画像類似性に
基づいた順番にランク付けされる。

【００３０】カラーに基づく画像の選択／検索に対して
は、知覚的顕在又は主要な知覚的顕在カラーに基づくイ
ンデックス構造がサーチされて、問合せ画像の知覚的顕
在（又は主要な知覚的顕在）カラーの少なくとも一つを
その表現の中に含む画像を見いだす。カラーに基づく表
現に対する類似性の尺度に対する好適なオプションは、

【数２】 である。ここで、Ｎはデータベース中の問合せ画像ｑ及
び画像ｄのマッチするカラーの数であり、Ｓ_i ^q及びＳ_i ^d
はそれぞれ、画像ｑ及びｄのｉ番目のマッチングカラー
に対するサイズ修飾値であり、diffは与えられたｘに対
するＬ_x｜.｜ノームというタイプの正規化された距離関
数であり、Ω^q及びΩ^dは画像ｑ及びｄの対応する知覚的
顕在カラーのサイズ修飾値のセットである。

【００３１】テクスチュアに基づく画像の選択／検索に
対しては、知覚的顕在（又は主要な知覚的顕在）テクス
チュアに基づくインデックス構造がサーチされて、問合
せ画像の知覚的顕在（又は主要な知覚的顕在）テクスチ
ュアの少なくとも一つをその表現の中に含むとともに、
特定された候補制約条件を満足する画像を見いだす。結
果として得られた候補画像のセットは、さらに問合せ／
例画像と比較されて、問合せ／例画像に対する候補のテ
クスチュアに基づく類似性が決定される。問合せ／例画
像と候補画像との間の類似性の好適な尺度は、マッチす
る又は共通の知覚的顕在テクスチュアの類似性に依存し
ており、また、マッチする／共通の知覚的顕在テクスチ
ュアによる問合せ／例画像及び候補画像における全エリ
アカバレッジにも依存している。２つの知覚的顕在テク
スチュアは、それらがその表現の中にマッチするカラー
値Ｃ１，Ｃ２及びテクスチュア特性値Ｐ（ランダムな又
は組織化された）を有するならば、マッチする／共通で
ある。好適な実施形態では、各々のマッチする／共通な
知覚的顕在テクスチュアに対して、マッチする知覚的顕
在テクスチュアの類似性が、スケール−勾配平均ベクト
ルＭ及びスケール−勾配共分散マトリクスＶからユーク
リッド距離又はマハラノビス距離の何れかを使用して計
算される。他の距離関数が本発明の範囲内で使用されて
も良いことに留意されたい。候補と問合せ／例画像との
間の全体的な画像類似性のスコアは、全てのマッチする
知覚的顕在テクスチュアの類似性値に画像内でのそのテ
クスチュアの相対的なエリアカバレッジＳをかけたもの
の合計として決定される。一般的に、マハラノビス距離
はシンメトリックな距離ではなく、分布Ａから分布Ｂま
での距離は分布Ｂから分布Ａまでの距離とは異なること
に留意されたい。加えて、相対的なエリアカバレッジＳ
は、候補及び問合せ画像で異なっている。したがって、
２つの全体的な画像の類似性スコアが一般的に類似性の
計算から得られるのであり、その一つは、問合せから候
補までのＳ_q-cであり、他方は、候補から問合せまでの
Ｓ_c-qである。好適な実施形態は、一つの単一類似性メ
トリックを得るために５つの異なるオプションを有して
いる。最初の２つのオプションは、Ｓ_q-c又はＳ_c-qの何
れかを最終的な全体的類似性メトリックとしてとり、第
３のオプションはＳ_q-c及びＳ_c-qのうちの最大をとり、
第４のオプションはＳ_q-c及びＳ_c-qの平均をとり、第５
のオプションはＳ_q-c及びＳ_c-qの積をとる。他のコンビ
ネーション的な方法を、本発明の範囲を超えることなく
使用することもできる。全ての候補画像に対して類似性
メトリックを計算した後に、それらはその類似性メトリ
ックに従って順にランク付けされて表示される。

【００３２】当業者は、他の類似性尺度を本発明の範囲
内で使用できることを認識するであろう。オプションと
して、選択された画像のサムネールを検索し、ランク付
けされた順に表示することができる。

【００３３】本発明が、好適な実施形態を参照して説明
されてきたが、本発明の範囲を離れることなく変更及び
改変が当業者により行われることができることが理解さ
れるであろう。

【図面の簡単な説明】

【図１】 本発明の実施の形態に係るソフトウエアプロ
グラムの概略を示すフローチャートである。

【図２】 画像における知覚的顕在カラーを計算する一
つの方法を示すフローチャートである。

【図３】 画像における知覚的顕在カラーを計算する第
２の方法を示すフローチャートである。

【図４】 画像における知覚的顕在テクスチュアを示す
フローチャートである。

【図５】 画像を組織するために使用されるインデック
ス構造のダイアグラム図である。

【図６】 例の画像を使用した画像検索を示すフローチ
ャートである。

【符号の説明】

Ｓ２０ 画像を分析して、その知覚的顕在成分を識別す
るステップ、Ｓ３０特徴ｆのその検出された知覚的顕在
成分により画像を表現するステップ、Ｓ４０画像とその
表現をデータベースに記憶するステップ。

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/00 ３００ Ｇ０６Ｔ 7/00 ３００Ｆ 7/40 7/40 Ｚ

Claims (3)

【特許請求の範囲】
1. 【請求項１】 画像を前記画像の描写的特徴に基づく表
   現に基づいてアーカイブする方法であって、 （ａ）前記画像の知覚において優勢である、一つ又は複
   数の知覚的に顕在する描写的特徴により表された前記表
   現を、自動的に抽出するステップと、 （ｂ）前記画像及び該表現をデータベースに記憶するス
   テップと、を含む、方法。
2. 【請求項２】 前記画像の知覚的に顕在する描写的特徴
   に基づく表現を自動的に抽出する前記ステップ（ａ）
   が、その知覚的に顕在するカラーに基づく表現の抽出を
   含む、請求項１に記載の方法。
3. 【請求項３】 前記画像の知覚的に顕在する描写的特徴
   に基づく表現を自動的に抽出する前記ステップ（ａ）
   が、その知覚的に顕在するテクスチュアに基づく表現の
   抽出を含む、請求項１に記載の方法。