JP2004133947A - 反復マッチングを利用した画像検索方法及び装置 - Google Patents

Abstract

【課題】　反復マッチングを利用した画像検索方法及び装置を提供する。
【解決手段】（ａ）ユーザーが選択した照会画像と画像データベースに保存されているＮ個の参照画像とを比較検索してＫ個の類似画像をマッチング順位通りに抽出する段階と、（ｂ）前記Ｋ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行って前記Ｍ個の類似画像に対してマッチング順位を再整列する段階と、を含む反復マッチングを利用した画像検索方法。これにより、ユーザーが選択した照会画像で検索した類似画像のうち上位にランクされたＭ個の類似画像を選択し、Ｍ個の類似画像に対して最上位ランク類似画像を利用して反復検索を行ってＭ個の類似画像に対してマッチング順位を再整列して出力することによって、マッチングの正確度を大幅向上させうるだけでなく反復検索による検索エンジンの負荷を最小化させうる。
【選択図】　　　図１

Description

　本発明はマルチメディア検索システムに係り、特に画像内容検索システムで検索時間の過度な負担なしに検索の正確さを向上させるための、反復マッチングを利用した画像検索方法及び装置に関する。

　最近、内容マルチメディア検索はテキスト検索でキーワード検索の制限を克服してユーザーにやさしいインターフェースを提供する側面に焦点をおいている。特に、インターネットの急速な成長、マルチメディア装置の個人への普及、及びデジタルライブラリーの出現によって内容マルチメディア検索の必要性は加速している。一方、画像内容検索は、カラー、テクスチャー、形状、及び顔などの画像特徴情報を分析して視覚的に最も類似した画像をランクされた順番に羅列することを意味する。画像内容検索は、特徴抽出段階及び画像マッチング段階よりなる。特徴抽出段階では、画像の特徴を記述するために特徴ベクトルを抽出し、あらゆる画像は各々特徴ベクトルで表現されて、所定のデータベースに保存される。画像マッチング段階では、照会画像(query image，問い合わせ画像)が提供されれば、特徴ベクトルドメインでデータベースの画像と照会画像との類似度を計算してデータベースの画像をランクされた順番に羅列する。

　特徴抽出及び画像マッチングに関して多くの方法が開発されている。このうち、特徴抽出に対しては、特にＭＰＥＧ−７のカテゴリーで多様な特徴記述子が開発されている。一方、画像マッチングについては、探索時間を短縮して多数の特徴を結合させる方法について重点的に研究されている（非特許文献１、２参照）

　しかし、前記文献のように画像マッチング段階で検索時間を短縮したり多数の特徴を効率的に結合させたりするために多くの方法が従来試みられてきたが、知識に基づいてマッチング精度を改善するための努力はまだ試みられていない。したがって、前記方法による画像検索時に、類似に見られるための重要な特徴情報が画像ごとに異なるため、満足できない結果が出る場合がある。また、同じ内容を有する画像であっても、照明の変化や姿勢の変化によって色や質感の特徴に対して相異なる特徴情報を有するために正確な画像検索ができない場合もある。

　このような部分を解決するために、ユーザーが１次検索した結果を使用して、探そうとする画像と類似した画像に関する情報を検索器にフィードバックさせることによって、検索器が該当画像を検索するのにさらに重要な特徴情報が何かを自動で計算し、その結果、重要な特徴情報の加重値を高くして再度検索を行わせる方法がある。しかし、このように再度検索を行う場合、１次検索時に使用した画像データベースに保存されたあらゆる画像を全部検索しなければならないために照会画像との類似度計算が複雑になる。そして、検索性能を高めるために反復回数を増加させる場合には、検索エンジンの負担はさらに重くなるという問題点がある。

W.Hwang, J.Weng "Hierarchical Discriminant Regression," IEEE Trans.Pattern Analysis and Machine Intelligence, vol.22, no.11, Nov.2000, pp.1277-1293 C.Breitneder, H.Eidenberger "Automatic Query Generation for Content-Based Image Retrieval," IEEE Conference on Multimedia and Expo, Jul.30--Aug.2, 2000, vol.2, pp.705-708

　本発明が解決しようとする技術的課題は、ユーザーが選択した照会画像で検索した類似画像のうち上位にランクされたＭ個の類似画像を選択し、Ｍ個の類似画像に対して反復マッチングを行ってマッチング順位を再整列して出力する反復マッチングを利用した画像検索方法を提供するところにある。

　本発明が解決しようとする他の技術的課題は、前記反復マッチングを利用した画像検索方法を実現するのに最も適した装置を提供するところにある。

　前記技術的課題を達成するために、本発明による反復マッチングを利用した画像検索方法は、（ａ）ユーザーが選択した照会画像と画像データベースに保存されているＮ個の参照画像とを比較検索してＫ個の類似画像をマッチング順位通りに抽出する段階と、（ｂ）前記Ｋ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行い、前記Ｍ個の類似画像に対してマッチング順位を再整列する段階と、を含むことを特徴とする。

　前記方法において、（ｂ）段階は、（ｂ１）前記（ａ）段階で抽出される前記Ｋ個の類似画像からマッチング順位が上位であるＭ個の類似画像を保存する段階と、（ｂ２）前記Ｍ個の類似画像のうち最上位ランク類似画像を新しい照会画像として採択し、前記最上位ランク類似画像を除外した（Ｍ−１）個の類似画像に対して反復マッチングを行って前記最上位ランクの次の順位の類似画像を決定する段階と、（ｂ３）前記所定の反復回数だけ前記（ｂ２）段階で新しい照会画像と検索範囲を変更した後、反復マッチングを行って前記Ｍ個の類似画像のマッチング順位を再整列する段階と、を含む。

　前記他の技術的課題を達成するために、本発明による反復マッチングを利用した画像検索装置は、ユーザーが選択した照会画像と画像データベースに保存されているＮ個の参照画像とを比較検索してＫ個の類似画像をマッチング順位通りに抽出する第１検索部と、前記第１検索部から抽出されるＫ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行って前記Ｍ個の類似画像に対してマッチング順位を再整列する第２検索部と、を含むことを特徴とする。

　前記装置において、前記第２検索部は、前記第１検索部から提供される、Ｋ個の類似画像のうちマッチング順位が上位であるＭ個の類似画像を保存する第１記憶部と、前記第１記憶部に保存された前記Ｍ個の類似画像から、最上位ランク類似画像を新しい照会画像として採択して、前記最上位ランク類似画像を除外した類似画像に対して反復マッチングを行い、前記Ｍ個の類似画像のマッチング順位を再整列して前記第１記憶部に保存する反復マッチング部と、を含むことが望ましい。

　また、前記装置において、第２検索部での検索結果がＭ＜Ｋである場合、前記第１記憶部で保存されたＭ個の類似画像を除外した（Ｋ−Ｍ）個の類似画像を保存する第２記憶部をさらに含むことが望ましい。

　また、前記第２検索部は、前記反復マッチング部によりマッチング順位が再整列されて前記第１記憶部に保存されたＭ個の類似画像に対し、前記第２記憶部に保存された（Ｋ−Ｍ）個の類似画像を付加して検索結果として出力する検索結果組合せ部をさらに含むことが望ましい。

　前記の課題を解決するために、本発明では、前記方法をコンピュータで実行させるためのプログラムを記録したコンピュータで再生できる記録媒体を提供する。

　本発明によれば、ユーザーが選択した照会画像で検索した類似画像のうち上位にランクされたＭ個の類似画像を選択し、Ｍ個の類似画像に対して最上位ランク類似画像を利用して反復検索を行って、Ｍ個の類似画像に対してマッチング順位を再整列して出力することによって、マッチングの正確さを大幅に向上させるだけでなく反復検索による検索エンジンの負荷を最小化させうる。

　次いで、添付された図面を参照して本発明の望ましい実施形態について詳細に説明する。
　図１は本発明による画像検索方法の概念を説明するための図面であって、画像データベースを具備したサーバ１１０と、所定のサイズＭを有するバッファ１２３または１２６を具備して選択した照会画像に対して検索を要請するクライアント１２０とよりなる。説明の便宜のためにサーバ１１０とクライアント１２０とに区分したが、明確に区分する必要はなく、単一コンピュータ上で具現されてもよく、バッファ１２３または１２６はサーバ１１０に備えられてもよい。

　図１に示すように、サーバ１１０はＮ個の参照画像から抽出された特徴ベクトルが保存されている画像データベースを具備する。クライアント１２０の要請により照会画像が与えられれば、サーバ１１０は、照会画像の特徴ベクトルを利用して画像データベースから検索された特徴ベクトルに該当する参照画像をクライアント１２０に送信する。説明の便宜のために画像検索のための画像の数学的な表現である特徴ベクトルを画像と称する。

　クライアント１２０は、サーバ１１０にインストールされる検索エンジン（図示せず）で照会画像qを選択し、検索画像数Ｋのような所定の検索条件を設定する。こうして検索要求がなされると、検索エンジンは、サーバ１１０のイメージデータベースを検索してＫ個の類似画像１１１をマッチング点数順に抽出してクライアント１２０に提供する。抽出されたＫ個の類似画像１１１のうち、バッファ１２３のサイズＭに該当する上位Ｍ個の類似画像１２１は、バッファ１２３で画像領域１２４とマッチング点数領域１２５とが各々対応するように保存され、残りの（Ｋ−Ｍ）個の類似画像１２２は別途の記憶媒体（図示せず）に保存される。

　そして、クライアント１２０にインストールされる検索エンジン（図示せず）は、バッファ１２３に保存された上位Ｍ個の類似画像のうち最上位類似画像q′を新しい照会画像として採択し、バッファ１２３に保存されたＭ個の類似画像に対して反復マッチングを行う。そうして、検索エンジンは、最上位類似画像q′を除外した（Ｍ−１）個の類似画像をマッチング点数順に抽出する。最上位類似画像q′及び抽出された（Ｍ−１）の類似画像は、同じバッファ１２６で画像領域１２７とマッチング点数領域１２８とが各々対応するように再保存される。そして、検索エンジンはバッファ１２６に保存された（Ｍ−１）個の類似画像のうち最上位類似画像q″を新しい照会画像として採択し、バッファ１２６に保存された（Ｍ−２）個の類似画像に対して反復マッチングを行って最上位類似画像q″を除外した（Ｍ−２）個の類似画像をマッチング点数順に抽出する。

　このような方法によれば、（Ｍ−ｎ＋１）個の類似画像のうち最上位ランク類似画像を利用して（Ｍ−ｎ）個の類似画像に対する再整列が行われる。ここで、ｎは反復回数に該当する。

　最終検索結果１３０としては、初期検索されたＭ個の類似画像１２１に対して順位が再整列されたＭ個の類似画像１３１が出力される。この時、順位が再整列されたＭ個の類似画像１３１にバッファ１２３、１２６のサイズを超過して別途に保存された（Ｋ−Ｍ）個の類似画像１２２を付加して出力することもできる。

　ここで、サーバ１１０及びクライアント１２０が各々検索エンジンを具備することを例示したが、二つの検索エンジンを統合した一つの検索エンジンとして具現してサーバ１１０またはクライアント１２０に具備できる。

　画像検索のために画像が特徴ベクトルで符号化される場合、該当画像の数学的表現には画像の特徴自体だけでなく照明変化やポーズ変化などのような環境的な変動が含まれる。したがって、与えられた照会画像により検索される画像は環境的な変動によって照会画像の符号化エラーを反映し、一部画像は照会画像と類似した環境的な変動により検索される。一般的に大部分の最上位ランク類似画像は主に画像の特徴により探索されるために、最上位ランク類似画像はユーザーが選択した照会画像と同じ特徴及び相異なる環境的な変動を有するということが分かる。本発明ではこのような最上位ランク類似画像を新しい照会画像として設定した。

　図２は、本発明による画像検索方法の一実施形態を説明するためのフローチャートであって、第１検索段階（２１０ないし２４０段階）及び第２検索段階（２５０ないし２７０段階）よりなる。

　図２を参照すれば、２１０段階ではユーザーが選択した照会画像qを入力され、２２０段階ではユーザーにより設定された検索条件を入力される。ここで、検索条件には検索分野、検索結果として表示される最大類似画像数Ｋ、反復マッチングに使われる類似画像数及び反復回数ｎなどが含まれうる。

　２３０段階では、前記２１０段階で入力された照会画像qを前記２２０段階で設定された検索条件によって画像データベースの参照画像[I_i|i=1,...,N]と比較検索する。このために、先に照会画像qの特徴情報が抽出され、抽出された特徴情報と画像データベースにインデックスされた参照画像の特徴情報とを比較して検索する。２４０段階では、前記２３０段階の検索結果に従いマッチング点数が高い順番にＫ個の類似画像を抽出する。

　２５０段階では、前記２４０段階で抽出されたＫ個の類似画像のうち上位Ｍ個の類似画像[q_i|i=1,...,M]を抽出してバッファ（図示せず）に保存する。この時、Ｍ個のマッチング点数[s(i)|i=1,...,M]もＭ個の類似画像に対応して保存される。マッチング点数s(i)は、一例としてD(q,q_i)を利用して算出できる。D(q,q_i)は照会画像qと類似画像q_i間の特徴情報距離の絶対値を意味する。特徴情報距離の絶対値が小さいほど照会画像qと類似した画像として上位に位置する。一方、前記２５０段階はＫ個の類似画像のうち上位Ｍ個の類似画像[q_i|i=1,...,M]を除外した（Ｋ−Ｍ）個の類似画像を別途の記憶媒体に保存する段階をさらに含むこともある。

　２６０段階では、前記２５０段階で選択されたＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行って再整列されたＭ個の類似画像を出力する。

　このためにまず、Ｍ個の類似画像のうち最上位ランク類似画像q₁を新しい照会画像q′として選択して最上位ランク類似画像q₁を除外した（Ｍ−１）個の類似画像に対して前記２３０段階と同じ方法で再検索を行う。このように、再検索を画像データベースに保存されたＮ個のすべての参照画像に対してではなく、バッファに保存されたＭ個の類似画像に対して行う点で、類似度計算の複雑度がだいぶ減るという効果がある。検索の結果、再整列された類似画像[q_i′|i=1,...,M]及び各類似画像に対応するマッチング点数[s′(i)|i=1,...,M]が得られる。新しい照会画像q′によるマッチングを反映するためにマッチング点数s′(i)は次の数式（１）により更新される。

　s′(i)= s(i) + w₁・D(q′,q_i′) ・・・（１）
　ここで、ｗ₁は加重値定数である。このように再検索した結果得られるマッチング点数D(q′,q_i′)に加重値定数ｗ₁を利用して加重させる理由は、任意回数の反復検索により検索された類似画像から最上位ランク類似画像が誤って検索された場合、次の検索で誤検索された最上位ランク類似画像を新しい照会画像とすることの悪影響を減少させるためである。

　このような反復検索過程がｎ回行われるならば、検索の結果再整列された類似画像[q_i ^(n-1)|i=1,...,M]及び各類似画像に対応するマッチング点数[s^(n-1)(i)|i=1,...,M]が得られ、これはバッファに再保存される。この時、マッチング点数s^(n-1)(i)は次の数式（２）で表すことができる。

　s^(n-1)(i) = s^(n-2)(i) + w_n-1・D(q^(n-1),q_i ^(n-1)) ・・・（２）
　ここで、ｗは０．７ないし０．９まで設定され、望ましくは０．８に設定される。前記数式（２）において、加重値パラメータw_n-1は(w₁)^n-1であり、w₁はwに設定することが望ましい。これによれば、加重値パラメータは反復回数が増加するほど指数関数的に減少する。

　前記のような反復検索により、順位が再整列されてバッファに保存されたＭ個の類似画像が検索結果として出力される。

　２７０段階では、もしバッファのサイズがユーザーの要請した検索画像数より小さな場合、すなわち、Ｍ＜Ｋである場合、前記２５０段階で別途に保存されたバッファサイズを超過する（Ｋ−Ｍ）個の類似画像を前記２６０段階で再整列されたＭ個の類似画像の終端部に付加して出力する。

　一方、類似したフレームワークを使用する場合、前記数式２は次の数式（３）のように修正できる。

　s^(n-1)(i)=D(q_i,q)+…+ w_n-1・D(q_i,q^(n-1)) ・・・（３）

　前記数式（３）を説明すれば、前記２４０段階で、２３０段階の検索の結果、マッチング点数が高い順番に抽出されたＫ個の類似画像のうち上位にランクされた複数の画像のマッチング順位を固定させた後、反復マッチングを行うことができる。

　図３は、図２に図示された２６０段階の詳細なフローチャートである。３１０段階では反復回数ｎを１に設定する。３２０段階では（Ｍ−ｎ＋１）個の類似画像に対して最上位ランク類似画像を新しい照会画像として設定して（Ｍ−ｎ）個の類似画像を再整列させる。すなわち、反復回数ｎが１である場合、Ｍ個の類似画像に対して最上位ランク類似画像を利用して（Ｍ−１）個の類似画像を再整列させうる。

　３３０段階では、反復回数ｎが設定値ｔに到達したかどうかを判断して、反復回数ｎが設定値ｔに到達した場合に３４０段階に移行して、再整列されたＭ個の類似画像を出力する。ここで、前記反復回数ｎは、前記２２０段階で検索条件を設定する時にユーザーにより定められる。また、反復回数は、直前の順位と比較して順位が変動される画像の数、またはｉ番目のマッチング順位付後に順位の変動があるかどうかなどによって検索エンジン内部で定められることもある。すなわち、順位が変動される画像の数が所定のＰ個以下であるか、またはｉ番目のマッチング順位付後に順位が変動されない場合に、反復マッチングを終了する。

　一方、前記３３０段階の判断の結果、反復回数ｎが設定値ｔに到達していない場合に３５０段階に移行して反復回数ｎを１増加させ、前記３２０段階に移行して、新しい照会画像及び検索範囲を変更して再度反復マッチングを行う。

　図４は、本発明による画像検索装置の一実施形態の構成を示したブロック図であって、ユーザーインターフェース部４１０、第１検索部４２０、及び第２検索部４２０を含む。また、ユーザーインターフェース部４１０は、照会画像入力部４１１、検索条件設定部４１３及び検索結果窓４１５を含んでなる。第１検索部４２０は、画像データベース４２１及び類似画像抽出部４２３よりなり、第２検索部４３０は、第１記憶部４３１、第２記憶部４３３、反復マッチング部４３５、及び検索結果組合わせ部４３７よりなる。

　図４を参照すれば、ユーザーインターフェース部４１０において、照会画像入力部４１１はユーザーが選択した照会画像qを入力して類似画像抽出部４２３に提供する。ユーザーは、検索条件設定部４１３を介して、検索条件、例えば、検索分野、検索結果として表示される最大類似画像数Ｋ、反復マッチングに使われる類似画像数Ｍ、及び反復回数ｎなどを設定する。そして、検索条件設定部４１３は、検索分野、検索結果として表示される最大類似画像数Ｋ、及び反復マッチングに使われる類似画像数Ｍを類似画像抽出部４２３に送信し、反復回数ｎを反復マッチング部４３５に送信する。検索結果窓４１５は、本発明によって最終的に検索された類似画像を表示する。

　第１検索部４２０において、画像データベース４２１はＮ個の参照画像が保存されている。類似画像抽出部４２３は、照会画像入力部４１１を通じて入力された照会画像qを検索条件設定部４１３で設定された検索条件により画像データベース４２１の参照画像と比較検索して、検索の結果、マッチング点数が高い順番にＫ個の類似画像を抽出する。

　第２検索部４３０において、第１記憶部４３１は、類似画像抽出部４２３により抽出されたＫ個の類似画像のうちマッチング順位が上位であるＭ個の類似画像を記憶し、第２記憶部４３３は残りの（Ｋ−Ｍ）個の類似画像を記憶する。反復マッチング部４３５は、第１記憶部４３１に保存されたＭ個の類似画像に対し、最上位ランク類似画像を新しい照会画像として採択して最上位ランク類似画像を除外した類似画像に対して反復マッチングを行ってＭ個の類似画像のマッチング順位を再整列して第１記憶部４３１に保存する。検索の結果、組合わせ部４３７は、反復マッチング部４３５によりマッチング順位が再整列されて第１記憶部４３１に保存されたＭ個の類似画像に、第２記憶部４３３に保存された（Ｋ−Ｍ）個の類似画像を付加してユーザーインターフェース部４１０に提供する。

　次に、顔画像検索に適用した例を通じて本発明による画像検索方法の性能評価について説明する。
　図５は、本発明による画像検索方法が適用される顔検索システムを示したものであって、照会顔画像を所定の顔記述アルゴリズムに基づいた特定画像データベースに与え、この画像データベースからマッチング点数の順位通りに１６個の類似顔画像を抽出した例である。顔検索のためにまず顔画像を特徴ベクトルで表現する。両顔画像間の類似度を比較するために、両特徴ベクトル間の距離または相関度を計算する。ここでは特徴ベクトルの次元で各顔画像当り２４０ビットが使われ、類似度の尺度として特徴ベクトル間のユークリッド距離が使われた。一方、特徴ベクトルはToshio Kamei,Yusuke Takahashi及びAkio Yamadaによる『"Report of Core Experiment on fourier Spectral PCA based Face Description," NEC＿MM＿TR＿2002＿330,July 2002』に提示された方法を利用して抽出された。

　一方、データセットとして、５個のデータベースよりなるＭＰＥＧ−７顔データセットが使われた。５個のデータベースは、各々拡張バージョン１ＭＰＥＧ−７顔データベースＥ１、ＡｌｔｋｏｍデータベースＡ２、ＸＭ２ＶＴＳデータベースにあるＭＰＥＧ−７テストセットＭ３、ＦＥＲＥＴデータベースＦ４、及びＢａｎｃａデータベースにあるＭＰＥＧ−７テストセットＢ５である。全体画像数は１１８４５個であって、このうち３６５５個の画像はＬＤＡ(Linear Discriminant Analysis)プロジェクション学習のためのトレーニングイメージとしてのみ使われ、８１９０個の画像は性能評価のためのテストイメージとしてのみ使われた。テストイメージのうち４１９０個の画像は、照会画像として使われ、Ｆ４から得られる４０００個の画像は障害画像として使われた。表１は、トレーニングイメージ及びテストイメージに対する詳細なリストを示したものであって、本発明による画像検索アルゴリズムの性能を評価するために、あらゆる照会画像に対する事前情報類似画像を知っている状態である。

　一方、検索の正確度はＡＮＭＲＲ(Average Normalized Modified Retrieval Rate)で評価された。ＡＮＭＲＲは２つの基準を同時に評価するが、そのうち一つは検出された正確な画像の数であり、他の一つは検索結果でこれら正確な画像が占める順位である。ＡＮＭＲＲの範囲は０から１までであり、小さな値であるほど優秀な正確度を表すことを意味する。ＡＮＭＲＲについての詳細は、B.S.Manjunath, Philippe Salembier及びThomas Sikoraによる『"Introuction to MPEG-7:Multimedia Content Description Interface," John Wiley&Sons Ltd.,2002』に記載されている。

　実験において、検索されるデータセットのサイズＮは表１に示したように８，１９０であり、反復マッチングのためのバッファサイズＭは６０である。高速ソーティングアルゴリズムを使用する場合、反復マッチング適用時に増加した探索時間は、従来のアルゴリズムに比べて僅か０．００７倍（＝（６０ｌｏｇ６０／８１９０ｌｏｇ８１９０）×２）である。ここで、２は最高の正確度に該当する反復回数を表す。

　図６Ａ及び図６Ｂは前記実験条件によって本発明による画像検索方法を図５に図示された顔検索システムで実験した結果、検索の正確度をＡＮＭＲＲで表示したグラフである。図６Ａ及び図６Ｂで最初の検索は反復マッチングが適用されていない従来の検索アルゴリズムを表す。図６Ａは各検索回数に対して加重値パラメータｗの値、すなわち、０．７、０．８、０．９、１による正確度を表したグラフである。グラフに示すように、加重値パラメータと関係なく３番目の検索時に高い正確度を示すことが分かる。図６Ｂは加重値パラメータｗの値を０．７、０．８、０．９、１にした場合に検索回数による正確度を表したグラフであって、加重値パラメータを０．８と１にした場合に高い正確度を表すことが分かる。すなわち、加重値パラメータが０．８であり検索回数が３、すなわち、反復回数が２である場合に最も高い正確度を表す。結論的に、従来の検索アルゴリズム、すなわち、最初の検索と比較すれば、性能はＡＮＭＲＲで表す場合に０．３５４６から０．３３７８に０．０１６８向上したことが分かる。これは１．７％に達するさらに多くの画像が反復マッチングにより検索されることを意味する。このような性能向上のためにバッファサイズ６０に対する検索及びマッチングにかかる演算の複雑度などは、８，１９０という全体データベースで行なわれる最初のマッチングに比べれば無視できる程度である。

　前述した本発明は、コンピュータで読取可能な記録媒体にコンピュータが判読できるコードとして具現することもできる。コンピュータが再生できる記録媒体は、コンピュータシステムによって読取可能なデータが保存されるあらゆる記録装置を含む。コンピュータが再生できる記録媒体の例には、ＲＯＭ、ＲＡＭ、磁気記録媒体（例えば磁気テープ、フロッピーディスク、ハードディスク）、光データ記録装置（例えば、ＣＤ−ＲＯＭ、ＤＶＤ）などがあり、またキャリヤウェーブ（例えば、インターネットを通じた伝送）の形態で具現されるものも含む。またコンピュータが再生できる記録媒体はネットワークに連結されたコンピュータシステムに分散されて、分散方式でコンピュータが判読できるコードで保存して実行することもできる。

　今まで本発明についてその望ましい実施例を中心に説明した。本発明が属する技術分野で当業者であれば本発明を本発明の本質的な特性から離脱しない範囲で変形された形態に具現できることを理解できる。したがって、開示された実施形態は限定的な観点ではなく説明的な観点で考慮されねばならない。本発明の範囲は前述した説明ではなく特許請求の範囲に現れており、それと同等な範囲内にあるあらゆる差異点は本発明に含まれていると解釈されねばならない。

　顔検索技術は、顔認識技術と共に一般的なマルチメディア検索システムだけでなくクレジットカード、現金カード、電子身分証明証など身分確認を必要とするカード類、端末機接近制御、公共場所、管制システム、電子カメラ、犯罪者写真識別など多様な応用分野に適用できる。

本発明による画像検索方法の概念を説明するための図面である。 本発明による画像検索方法の一実施形態を説明するためのフローチャートである。 図２に図示された２６０段階の詳細なフローチャートである。 本発明による画像検索装置の一実施形態の構成を示したブロック図である。 本発明による画像検索方法の性能を評価するために適用される顔検索システムの例を示した図面である。 図５に図示された顔検索システムで実験した結果、検索の正確度をＡＮＭＲＲで表示したグラフである。 図５に図示された顔検索システムで実験した結果、検索の正確度をＡＮＭＲＲで表示したグラフである。

符号の説明

　１１０　サーバ
　１１１　Ｋ個の類似画像
　１２０　クライアント
　１２１、１３１　Ｍ個の類似画像
　１２２　（Ｋ−Ｍ）個の類似画像
　１２３、１２６　バッファ
　１２４、１２７　画像領域
　１２５、１２８　マッチング点数領域
　１３０　最終検索結果

Claims (25)

1. （ａ）ユーザーが選択した照会画像と画像データベースに保存されているＮ個の参照画像とを比較検索してＫ個の類似画像をマッチング順位通りに抽出する段階と、
   （ｂ）前記Ｋ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行って、前記Ｍ個の類似画像に対してマッチング順位を再整列する段階と、を含むことを特徴とする反復マッチングを利用した画像検索方法。
2. 　前記方法は、
   （ｃ）前記（ａ）段階で抽出される前記Ｋ個の類似画像から前記Ｍ個の類似画像を除外した（Ｋ−Ｍ）個の類似画像を前記（ｂ）段階で再整列されたＭ個の類似画像に付加して出力する段階をさらに含むことを特徴とする請求項１に記載の反復マッチングを利用した画像検索方法。
3. 　前記（ｂ）段階は、
   （ｂ１）前記（ａ）段階で抽出される前記Ｋ個の類似画像からマッチング順位が上位であるＭ個の類似画像を保存する段階と、
   （ｂ２）前記Ｍ個の類似画像のうち最上位ランク類似画像を新しい照会画像として採択し、前記最上位ランク類似画像を除外した（Ｍ−１）個の類似画像に対して反復マッチングを行う段階と、
   （ｂ３）前記（ｂ２）段階で新しい照会画像と検索範囲を変更した後、前記所定の反復回数だけ反復マッチングを行って前記Ｍ個の類似画像のマッチング順位を再整列する段階と、を含むことを特徴とする請求項１に記載の反復マッチングを利用した画像検索方法。
4. 　前記（ｂ）段階は、
   （ｂ４）前記（ａ）段階で抽出される前記Ｋ個の類似画像から前記Ｍ個の類似画像を除外した（Ｋ−Ｍ）個の類似画像を保存する段階をさらに含むことを特徴とする請求項３に記載の反復マッチングを利用した画像検索方法。
5. 　前記（ｂ）段階は、
   （ｂ５）前記（ｂ４）段階で保存された（Ｋ−Ｍ）個の類似画像を前記（ｂ３）段階で再整列されたＭ個の類似画像に付加して出力する段階をさらに含むことを特徴とする請求項４に記載の反復マッチングを利用した画像検索方法。
6. 　前記（ｂ）段階において、反復マッチング時に所定の加重値パラメータを利用してマッチング点数を更新させることを特徴とする請求項１ないし５のうちいずれか１項に記載の反復マッチングを利用した画像検索方法。
7. 　前記加重値パラメータは反復回数が増加するほど指数関数的に減少する値であることを特徴とする請求項６に記載の反復マッチングを利用した画像検索方法。
8. 　前記マッチング点数は次の数式
   s^(n-1)(i)=s^(n-2)(i) + w_n-1・D(q^(n-1),q_i ^(n-1))
   　（ここで、ｉは１ないしＭであり、s^(n-1)(i)はｎ回の反復マッチング実行時に再整列された各類似画像（[qi^(n-1)|i=1,...,M]）に対応するマッチング点数、w_n-1はｎ回の反復マッチング実行時に適用された加重値パラメータ、D(q^(n-1),q_i ^(n-1))はｎ回の反復マッチング実行時に照会画像ｑ^(n-1)と再整列された類似画像(q_i ^(n-1))間の特徴情報距離の絶対値である。）
   　により更新されることを特徴とする請求項６に記載の反復マッチングを利用した画像検索方法。
9. 　前記加重値パラメータ(w_n-1)は(w₁)^n-1であり、w₁はwであることを特徴とする請求項８に記載の反復マッチングを利用した画像検索方法。
10. 　前記反復回数は、ユーザーにより設定されることを特徴とする請求項１に記載の反復マッチングを利用した画像検索方法。
11. 　前記反復回数は、前記Ｍ個の類似画像内で既存順位と比較して順位が変動される画像の数によって自動的に設定されることを特徴とする請求項１に記載の反復マッチングを利用した画像検索方法。
12. 　前記反復回数は、ｉ番目のマッチング順位付後に順位の変動があるか否かによって自動的に設定されることを特徴とする請求項１に記載の反復マッチングを利用した画像検索方法。
13. 　請求項１に記載された方法をコンピュータで実行させるためのプログラムを記録したコンピュータで再生できる記録媒体。
14. 　請求項３に記載された方法をコンピュータで実行させるためのプログラムを記録したコンピュータで再生できる記録媒体。
15. 　ユーザーが選択した照会画像と画像データベースに保存されているＮ個の参照画像とを比較検索してＫ個の類似画像をマッチング順位通りに抽出する第１検索部と、
    　前記第１検索部から抽出されるＫ個の類似画像から選択されたマッチング順位が上位であるＭ個の類似画像に対して所定の反復回数だけ反復マッチングを行って前記Ｍ個の類似画像に対してマッチング順位を再整列する第２検索部と、を含むことを特徴とする反復マッチングを利用した画像検索装置。
16. 　前記装置は、
    　ユーザーが選択した照会画像及び検索条件を入力されて前記第１検索部及び第２検索部に提供し、前記第２検索部で再整列された類似画像を表示するユーザーインターフェース部をさらに含むことを特徴とする請求項１５に記載の反復マッチングを利用した画像検索装置。
17. 　前記第２検索部は、
    　前記第１検索部から提供されるＫ個の類似画像のうちマッチング順位が上位であるＭ個の類似画像を保存する第１記憶部と、
    　前記第１記憶部に保存された前記Ｍ個の類似画像に対して、最上位ランク類似画像を新しい照会画像として採択して前記最上位ランク類似画像を除外した類似画像に対して反復マッチングを行って前記Ｍ個の類似画像のマッチング順位を再整列して前記第１記憶部に保存する反復マッチング部と、を含むことを特徴とする請求項１５に記載の反復マッチングを利用した画像検索装置。
18. 　前記反復マッチング部は、反復マッチングを実行する度に新しい照会画像及び検索範囲が変更されることを特徴とする請求項１７に記載の反復マッチングを利用した画像検索装置。
19. 　Ｍ＜Ｋである場合、前記第１記憶部で保存されたＭ個の類似画像を除外した（Ｋ−Ｍ）個の類似画像を保存する第２記憶部をさらに含むことを特徴とする請求項１７に記載の反復マッチングを利用した画像検索装置。
20. 　前記第２検索部は、前記反復マッチング部によりマッチング順位が再整列されて前記第１記憶部に保存されたＭ個の類似画像に前記第２記憶部に保存された（Ｋ−Ｍ）個の類似画像を付加して検索結果として出力する検索結果組み合わせ部をさらに含むことを特徴とする請求項１９に記載の反復マッチングを利用した画像検索装置。
21. 　前記第２検索部は、反復マッチング時に所定の加重値パラメータを利用してマッチング点数を更新させることを特徴とする請求項１５ないし２０のうちいずれか１項に記載の反復マッチングを利用した画像検索装置。
22. 　前記加重値パラメータは、反復回数が増加するほど指数関数的に減少する値であることを特徴とする請求項２１に記載の反復マッチングを利用した画像検索装置。
23. 　前記反復回数は、ユーザーにより設定されることを特徴とする請求項１５に記載の反復マッチングを利用した画像検索装置。
24. 　前記反復回数は、前記Ｍ個の類似画像に対して既存順位と比較して順位が変動される画像の数によって自動的に設定されることを特徴とする請求項１５に記載の反復マッチングを利用した画像検索装置。
25. 　前記反復回数は、ｉ番目のマッチング順位付後に順位の変動があるか否かによって自動的に設定されることを特徴とする請求項１５に記載の反復マッチングを利用した画像検索装置。