JP2008276775A - 画像検索装置 - Google Patents

Abstract

【課題】画像検索のパフォーマンスを向上させる。
【解決手段】画像検索装置は、画像データベースからのラベルなし画像を選択するラベルなし画像選択部と、画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、検索結果を出力する主学習部と、を備え、主学習部は、適合度を評価するとき、ラベルなし画像選択部が選択したラベルなし画像を用いる。画像検索装置は、さらに、各フィードバックにおいて、主学習部の評価結果にしたがってユーザがラベルを付すためのラベルなし画像を選択する能動選択部を有する。
【選択図】 図１

Description

この発明は、画像検索装置に関し、特に能動的適合性フィードバック技術により画像コンテンツを検索する装置に関するものである。

コンピュータ技術およびワールドワイドウェブの急速な発展に伴い、様々な技術分野においてデジタル画像の量および複雑さが急速に増加する傾向にある。その結果、この膨大な量の画像の効果的かつ効率的な管理において、例えば、アクセス、整理、検索等に対する課題も増加している。このような要求を満たすため、前世紀の９０年代より、さまざまな分野の研究者や学者からコンテンツに基づく画像検索技術に大きな注目が集まり、多くの効果的な技術およびシステムが開発されてきた。

画像検索とは、デジタル画像データベースに問い合わせることにより、ユーザの意図を満たす画像が検索できる技術である。従来の画像検索システムでは、ユーザは、キーワードベース検索とコンテンツベース検索との２つの方法の何れによっても画像データベースの検索を行なうことができる。

キーワードベース検索において、データベース内の画像は予めラベリングされている。つまり、画像はキーワードで表現されている。そして、画像の検索はキーワードに従って行われる。しかしながら、この検索方法には２つの重大な問題がある。（１）ひとつは、手動で画像にラベルを付す際、膨大な負荷がかかることである。これは、データベースのサイズが大きいほどより顕著である。（２）もうひとつはより重大な問題であり、画像コンテンツと個人の理解との間のよくある不一致である。つまり、同じ画像に関してもその見方には個人差があり、個人によってその理解および意図も違う。

コンテンツベース画像検索の概念は、キーワードベース検索システムにおける問題に対処するために前世紀の９０年代に提案された。キーワードベース検索のモードとは違い、コンテンツベース検索システムでは、画像コンテンツに基づいて直接に画像を検索する。このようなシステムにおいて、ユーザは、自身の意図を表現するために問合せ画像を提供する必要がある。次いで、検索システムは画像データベースを検索し、問合せ画像と類似する画像を見つけ出し、ユーザにその画像を提供する。この目的を達成するために、通常、検索システムはまず、問合せ画像およびデータベース画像から、色、テクスチャおよび形状のような低レベルの特徴を抽出する。そして、これらの特徴に基づいて問合せ画像およびデータベース画像の間の距離を算出し、それらの類似性を決定する。最後に、問合せ画像に最も類似したデータベース画像を提供する。画像の特徴が画像コンテンツを適切に表現できていれば、このような検索モードは非常に効果的である。例えば、ユーザが特定色および複雑なテクスチャを有する画像を検索する場合、コンテンツベースの検索システムは、色およびテクスチャの特徴を用いて問題なくタスクを実行することができる。一方、キーワード検索ではこのようなタスクを達成することはほとんど不可能である。

しかしながら、コンテンツベース画像検索は、画像の低レベルの特徴と人間の知覚の高レベルな概念化との間の違いにより、その適用を大きく制限される。そもそもコンテンツベースの画像検索システムでは、通常、その有効性は適用される特徴に依存する。例えば、「車」の画像を検索する場合、形状に関連する特徴が比較的有効である。一方、「夕焼け」の景色の画像に関しては、色に関連する特徴で表現することがより合理的である。従って、異なるタイプの画像を検索する際には、異なる方法を適用しなければならない。しかしながら、専門的知識を有さないユーザにとって、どの特徴がより効果的かを決定することは難しい。さらに、同じ画像についてさえ、その画像の見方には個人差があり、またその時々で異なるものである。つまり、知覚的な類似性は、適用環境、関係する各個人、内容等に関係している。

低レベルの特徴と高レベルな知覚との違いを減らすために、研究者により適合性フィードバック法が提案され、この点については大きな成功を収めた。適合性フィードバックを備えた画像検索システムは、検索エンジンとユーザとのやり取りを通して検索の精度を向上させている。このようなシステムは、少なくとも学習モジュールと選択モジュールの２つのモジュールを含まなければならない。各フィードバックにおいて、ユーザはフィードバック情報を提供する必要がある。つまり、ユーザは、選択モジュールから提供された画像を判断し、適合する画像か適合しない画像かを示す必要がある（適合する画像および適合しない画像をそれぞれ正標本および負標本とする）。学習モジュールは、フィードバック情報に基づいて再びユーザの意図を学習し、新たな検索結果を提供する。同時に、選択モジュールは、現時点での学習結果に基づいて画像データベースから画像を選択し、ユーザインターフェースを介してユーザにそれらの画像を提供する。次のフィードバックの間、ユーザはこれらの画像に関するフィードバック情報を提供する必要がある。

過去１０年において、発見的手法から最適化学習に至るまで多くの適合性フィードバック法が開発されてきた。最も初期の適合性フィードバック法のほとんどは「問合せ点移動と再重み付け」のカテゴリに関連するものであり、各フィードバック処理において、検索エンジンは、より適切な問合せ特徴を生成し、合理的に各特徴の重み付けを調整してより適切にユーザの意図に適合させる。

特許文献１には、「問合せ点移動と再重み付け」法に基づく初期の画像検索装置のひとつが記載されている。この装置において、フィードバックにより得られた適合画像（正標本）の特徴の重み付け平均は、新たな問合せ点とされる。同時に、この装置は、標準偏差に基づいた再重み付け方法を用いている。

既存の検索システムのなかには、「問合せ点移動と再重み付け」を実行するために、ベイズ法を用いるものもある。特許文献２では、フィードバックにより得られる適合画像と不適合画像とを区別するために、ベイズ分類器を用いている。この方法において、適合画像（正標本）は同じ意味分類に属するとみなされ、これらの分布はベイズ分類器によって推定される。一方、不適合画像（負標本）は、通常、意味に関連性がない。従って、負標本の周りの画像にはペナルティが課される。

非特許文献１では、問合せ画像の周りの正標本と負標本との局所決定境界を推定するためにベイズ理論を適用し、正標本の領域における適切な位置を新たな問合せ点として算出している。

ユーザのフィードバック情報を考慮し、非特許文献２では、ユーザの意図を推定するためにベイズ理論を適用している。具体的には、データベースの全ての画像の事後確率分布が推定され、この事後確率分布は各検索フィードバックの結果に従って更新される。

その後、研究者は、適合性フィードバックの問題を学習、分類または確率密度推定の問題として系統立てて説明することにより、より系統的に注目し始めた。非特許文献３において、判別ＥＭ法は、より適切な分類結果を得るために、教師あり学習におけるラベルなし画像を用いることにより、画像検索をトランスダクティブ学習の問題として位置づけている。しかしながら、この方法は計算がかなり複雑で、特にデータベースが大きいと手間がかかる。

全ての正標本は類似し、負標本はそれぞれ異なっているという観測結果に基づいて、ＺｈｏｕとＨｕａｎｇは、より適切な変換空間をみつけるために、非特許文献４においてバイアス判別分析とそのカーネル法を提案しており、この方法では負標本は正標本から離れてばらばらになる一方で、正標本は塊となる。

最近の適合性フィードバック技術の多くは、非特許文献５、非特許文献６、非特許文献７に記載されている方法のように、サポートベクターマシーン（ＳＶＭ）を利用している。他の学習法と比較して、ＳＶＭは、例えば、一般化能力が優れている、処理対象物に関し制限条件がない、学習速度および予測速度が速い、柔軟性がある等、多くの利点を有する。

しかしながら、これらの学習法には、サンプルの数が少ない、つまり、学習サンプルが不十分であるという問題がある。なぜなら、ほとんどのユーザは、適合性フィードバック処理において多くの画像に手間をかけてラベリングすることはしないからある。従って、ラベリングする画像の数が与えられた場合に、ユーザがラベリングする画像をどのように選択するのかは、適切な結果を得るために必要なユーザと学習部とのやり取りの量を最小化するために重要な問題である。一般的に、不十分な学習サンプルの問題に対処するためには、（１）能動学習、または能動選択と、（２）ラベルなし画像の活用、の２つの方法が用いられる。

能動学習法は、ユーザがラベリングおよびフィードバックを行うため、画像データベースから画像を能動的に選択するための選択モジュールを通常適用しており、これにより、意思決定およびフィードバックのための最大限の情報を獲得できる。このような方法は非特許文献５に記載されている。非特許文献５では、選択された画像はバージョン空間のサイズを最大限に減らさなければならないが、これは決定境界に最も近い点を選択することによって達成できることを提案している。従来の他の方法として、非特許文献８に示されているようなアングルダイバーシティ法がある。この方法では、複数のサンプル間の角度とともに、画像サンプルと決定境界との間の距離のバランスをとることにより、同時に複数のサンプルを選択することができる。

ここ数年の研究では、学習サンプルが不十分であるという問題に対処するために、ラベルなし画像から情報を得ることが注目を浴びた。この方法の基本原理は、ラベルなし画像により分類の精度を向上させることである。幾つかの方法は、分類器のための生成モデルを用いてＥＭ法を適用することにより、ラベルまたはパラメータ推定プロセスをモデル化し、その他の方法では、グラフの最小カットを使うことにより、ラベルなし画像の最適なラベリングを行なっている。また、ｃｏ−ｔｒａｉｎｉｎｇ法も、ラベルなし画像から情報を得る手法として優れている。非特許文献９に示すように、ｃｏ−ｔｒａｉｎｉｎｇ法では、異なる２つの観点から２つの分類器を学習させ、ラベルなし画像に関する１つの分類器の予測結果を利用して、もうひとつの分類器の学習コレクションを増やしている。

米国特許第６，８５９，８０２ Ｂ１号明細書 米国特許第７，１１３，９４４ Ｂ２号明細書 Giorgio Giacinto, Fabio Roli, Bayesian Relevance Feedback for Content-Based Image Retrieval, Pattern Recognition, vol.37, no.7， pp.1499-1508, 2004. Ingemar J. Cox, Matt L. Miller, Thomas P. Minka, Thomas V. Papathomas, Peter N. Yianilos, The Bayesian Image Retrieval System, PicHunter: Theory, Implementation, and Psychophysical Experiments, IEEE Transactions on Image Processing, vol.9, no.1, pp.20-37, 2000. Ying Wu, Qi Tian, Thomas S. Huang, Discriminant-EM Algorithm with Application to Image Retrieval, in Proc. IEEE Int'l Conf. on Computer Vision and Pattern Recognition, pp.222-227, 2000. Xiang Sean Zhou, Thomas S. Huang, Comparing Discriminating Transformations and SVM for Learning during Multimedia Retrieval, in Proc. ACM Multimedia, pp.137-146, 2001. Simon Tong, Edward Chang, Support Vector Machine Active Learning for Image Retrieval, in Proc. ACM Multimedia, pp.107-118, 2001. Jingrui He, Mingjing Li, Hong-Jiang Zhang, Hanghang Tong, Changshui Zhang, Mean Version Space: a New Active Learning Method for Content-Based Image Retrieval, in Proc. the 6th ACM SIGMM Int. Workshop on Multimedia Information Retrieval （MIR）, pp.15-22, 2004. Lei Wang, Kap Luk Chan, Zhihua Zhang, Bootstrapping SVM Active Learning by Incorporating Unlabelled Images for Image Retrieval, in Proc. IEEE Int’l Conf. on Computer Vision and Pattern Recognition, pp.629-634, 2003. Klaus Brinker, Incorporating Diversity in Active Learning with Support Vector Machines, in Proc. of the 20th Int’l Conf. on Machine Learning （ICML）, pp.59-66, 2003. Zhi Hua Zhou, Enhancing Relevance Feedback in Image Retrieval Using Unlabeled Data, ACM Transactions on Information Systems, vol.２４, no.2, pp.219-244, 2006. Jianbo Shi, Jitendra Malik, Normalized Cuts and Image Segmentation, IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.22, no.8, pp.888-905, 2000. translated by Hongdong LI, and Tianxiang YAO et al., Mode Classification, Publishing House of Machinery Industry, Zhongxin Publishing House, pages 415-477.

この発明は、従来技術における制限および欠点による問題点を解消するための画像検索装置および画像検索方法を提供し、また、少なくとも１つの有効な選択肢を提供する。

画像検索装置の一態様においては、画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択部と、画像検索における各フィードバックにおいて学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、を備え、主学習部は、適合度を評価するとき、ラベルなし画像選択部が選択したラベルなし画像を用いる。

画像検索装置のもう一つの態様においては、画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、ユーザがラベルを付すためのラベルなし画像を、各フィードバックにおいて主学習部の評価結果に基づいて、画像データベースから選択する能動選択部と、主学習部により決定された検索結果と能動選択部により選択されたラベルなし画像とを出力する出力部と、を備える。

開示の画像検索装置によれば、学習サンプル数を増加させることができるため、画像検索のパフォーマンスを向上させることができる。

以下に添付図面を参照して、この発明に係る好適な実施の形態を詳細に説明する。

図１は、本発明の一実施例にかかる画像検索装置１の構成を示すブロック図である。図１に示すように、画像検索装置１は、フィードバック解析部１０１とユーザインターフェース部１０２とを有する。ユーザとのやり取りは、ユーザインターフェース部１０２を介して行われ、検索結果は、検索フィードバックの度にユーザインターフェース部１０２を介してユーザに提供される。本実施例において、ユーザインターフェース部１０２は、ユーザによる大量の画像の閲覧を可能とするためのナビゲーションツールを有する。さらに、ユーザインターフェース部１０２は、能動選択部から出力される画像をユーザに対して表示し、これらの画像のラベルをユーザから受け付ける。ユーザインターフェース部１０２は、例えば表示部（例えば、液晶表示装置、プラズマディスプレイ装置、電子発光ディスプレイ装置、ＣＲＴディスプレイ装置）、マウス、キーボード、タッチパネル、またはこれらの組合せとすることができる。

フィードバック解析部１０１は、画像検索装置１の主な処理モジュールであり、主学習部２、能動選択部３、ラベルなし画像選択部４、および学習データプール５の、４つの手段を有する。

学習データプール５は、ユーザによって入力された問合せ画像およびフィードバック処理でユーザによりラベルが付された画像（正標本または負標本）を、これらの画像のラベルとともに記録する格納部である。検索タスクが開始されたとき、学習データプール５はユーザにより入力された問合せ画像のみを含み、ユーザによってラベルが付された画像はその後のフィードバック処理において格納される。

ラベルなし画像選択部４は、主学習部２の学習サンプルを増やすために、最も信頼性のある負標本をラベルなし画像として選択し、特定のアルゴリズム（分類器）に従い学習データプール５の画像に基づいて主学習部２に供給する。

主学習部２は、画像検索装置１の主分類モジュールであり、ＳＶＭ、ベイズ分類器、最近接分類器、ＢＰニューラルネットワーク分類器等、何れの分類器も用いることができる。分類器は、分類ラベルを割り当てることにより試験対象物のクラスを区別する分類モジュールである。一般的に、分類器は、入力、出力および情報処理モジュールの３つの手段を有する。分類器は、試験対象物の情報の入力を受け付け、情報処理モジュールによって入力情報を処理し、対象物のラベルを出力する。例えば、写真の人物の性別を区別するように設計された分類器において、入力情報は人物の写真または写真から抽出された特徴であり、写真の人物の性別、すなわち男性か女性かは処理後に出力される。分類器はこの技術分野における一般用語であって、適用されるアルゴリズムと本明細書における分類器を実行する装置とのいずれかを意味するものと解釈することができ、いずれも当業者による本発明の理解を容易にするためのものである。さらに、本明細書において、分類器の学習とは分類器を適用している装置（例えば主学習部２）の学習と同義の場合もある。各フィードバックにおいて、主学習部２は、学習データプール５に格納される画像およびラベルなし画像選択部４により出力される負標本の画像を用いて、それ自身で再学習する。次いで、主学習部２は画像データベースの全てのラベルなし画像を評価する、つまり、ユーザの意図に対するこれらの画像の類似度を判断する。主学習部２の評価結果は、ユーザインターフェース部１０２を介してユーザに提供される。つまり、画像データベースの画像とユーザの意図との類似度に従った評価結果がユーザインターフェース部１０２に表示される。

主学習部２の現時点での評価結果に従い、能動選択部３は、情報量が多く代表的な画像を選択し、ラベリングのためにユーザインターフェース部１０２を介してユーザに画像を提供する。

ユーザが現時点での検索結果に満足した場合、つまり、ユーザが検索結果から目的の対象画像を見つけることができた場合、ユーザは検索処理を終了する。ユーザが現時点での検索結果に満足できなかった場合、ユーザは能動選択部３から出力される画像にラベルを付し、次のフィードバックに移る。

図２は、本発明の他の実施例にかかる画像検索装置１’の構成を示す図である。図３は、本発明のさらに他の実施例にかかる画像検索装置１’’の構成を示す図である。図２に示す画像検索装置１’は、ラベルなし画像選択部４を含まない点で、図１に示す画像検索装置１と異なる。図３に示す画像検索装置１’’は、能動選択部３を含まない点で、図１に示す画像検索装置１と異なる。ユーザは、フィードバック処理の間に画像にラベルを付さなければならない。能動選択部３を有する場合、ユーザは能動選択部３から出力される画像にラベルを付し、能動選択部３を有さない場合、ユーザはラベルを付すための画像を任意に選択できる。その他の点において、画像検索装置は図１に示す画像検索装置１と同一である。

以下に、本発明における能動選択部３およびラベルなし画像選択部４をより詳細に説明する。

１．能動選択部
各フィードバックにおいて、能動選択部３は、主学習部２の評価結果に従って、ユーザがラベルを付すためのラベルなし画像を画像データベースから選択する。できるだけ多くの情報を得るために、画像の選択には情報量測定と代表度測定との２つの測定結果が使われる。これら２つの測定結果のうちの１つを用いることもできるが、この場合、装置のパフォーマンスに多少の影響を及ぼす。さらに、これら２つの測定結果は単なる例示であり、充分な情報を得ることができれば、当業者は他の測定結果を用いることもできる。例えば、主学習部２から出力され、ユーザの意図と最も適合する画像を選択することは、最も適合する測定とみなされる。

図４は、本発明の一実施例にかかる能動選択部３の構成を示す図である。図４に示すように、能動選択部３は情報量測定演算部３０１、代表度測定演算部３０２および選択部３０３を有する。代表度測定演算部３０２は画像収集部、クラスタリング部および画像選択部を有する。本実施例は単なる例示であり、例えば、代表度のみを用いる場合は情報量測定演算部３０１を省略することができ、情報量のみを用いる場合は代表度測定演算部３０２を省略することができる。

１.１ 情報量の測定
情報量測定演算部３０１は情報量を算出する。以下の説明においては、「Ｃ」はユーザの意図を示すこととする。「ユーザの意図」の文言は説明を容易にするためのみに用いている。「ユーザの意図」は、ユーザがどの画像を検索しようとしているか、つまり、ユーザが対象とする画像を意味する。「Ｃ」は明確には得ることができないが、検索システムの目的は実際の意図をできるだけ正確に評価することである。主学習部２の現時点での評価（つまり、Ｃに関する画像の推定された適合確率）において、Ｃに対する画像ｘの適合確率をｐ（Ｃ｜ｘ）とする。情報理論の観点から、画像ｘに含まれる情報量は、エントロピーを介して以下のように測定できる。

式中、

は、Ｃに対する画像ｘの不適合確率を表す。ｐ（Ｃ｜ｘ）＝０．５のとき、エントロピーＥｎ（ｘ）が最大となる。これは、画像ｘの属性が不明確であることを表す。つまり、画像ｘがＣと適合するかどうかを決めることは不可能である。さらに、ｐ（Ｃ｜ｘ）の値が０.５に近いほど、エントロピーＥｎ（ｘ）は大きくなる。ここで、エントロピーＥｎ（ｘ）は、ｐ（Ｃ｜ｘ）に応じて以下のように変化することに注意すべきである。ｐ（Ｃ｜ｘ）が０から１に増加するとき、エントロピーＥｎ（ｘ）は始め増加し、それから減少していく。ｐ（Ｃ｜ｘ）＝０．５のとき、エントロピーＥｎ（ｘ）は最大となる。もし分類器（主学習部２）により得られるｐ（Ｃ｜ｘ）が上記のような確率を正確に表す場合、分類境界は０．５とすべきである。しかしながら、分類器（主学習部２）によっては出力される確率は正確ではないため、分類境界は０.５でない場合があることは言うまでもない。

ｐ（Ｃ｜ｘ）＝０．５が分類器の分類境界とすると、情報量測定に従い画像を選択する方法は以下のようになる。つまり、画像が分類境界に近づくほど、この画像の情報量は大きくなり、この画像が選択される可能性は大きくなる。

例えば、ＳＶＭ分類器が主学習部２として用いられる場合、既存の方法により情報量測定を実行することができる。既存の方法の１つとして、解空間に基づく方法が非特許文献５に記載されている。この方法では、画像選択を解空間の探索問題とみなしている。この方法をより適切に実行するためには、解空間を半減させることができる画像を選択する。これにより、解空間のサイズを早く減少させることができる。実際の動作では、各画像と解空間の中心との距離を確認することができ、画像が解空間の中心から近いほど、画像が解空間を半減させる可能性は高くなる。解空間の中心はＳＶＭ分類器の分類境界により近似することができるため、上述の方法は、現時点での分類境界に最も近い画像を選択することに変換できる。従って、非特許文献５に記載された方法は、本発明におけるエントロピーに基づいた測定と一致する。

１.２ 代表度の測定
代表度測定演算部３０２は、代表性の度合いを算出する。本発明の一実施例において、クラスタリング処理は選択された画像の冗長な情報を減少させるために行なわれ、これにより選択された画像の代表度を高めることができる。各フィードバックにおいて、教師なしクラスタリング処理により、主学習部２の分類境界付近のラベルなし画像と学習データプール５の画像とがクラスタリングされる。そして、既にラベルが付された画像を含まない各クラスタから１つの画像が選択され、ユーザはこれらの画像にラベルを付す。この処理において、選択された各画像は小さな固有空間を表し、したがってこれらはより高い代表度を有する。クラスタリング処理および選択処理のいずれも分類境界付近の画像に対するものであるため、これらの画像の情報量は保証される。

図５は、代表度の測定を示す基本図である。２クラスのデータの分類図として、図５は代表度の測定の基本原理を示している。ここで、２クラスのデータは「＋」と「○」とでそれぞれ表されている。図５において、破線は主学習部２の現時点での分類境界を表す。図から分かるように、重大な分類誤りが発生しており、「○」とラベルが付されたサンプルのうちいくつかは他のクラスに分類されている。図５に二点鎖線の矩形で示すように、能動選択部３の画像収集部は、まず、分類境界に近いデータを選択する。次に、能動選択部３のクラスタリング部は、教師なしクラスタリング処理によってこれらのデータをクラスタリングする。これにより、図５に点線の楕円で示すように、全体で４つのクラスタが得られる。最後に、能動選択部３の画像選択部は、クラスタリング部により得られる各クラスタから、図５に実線の三角形で示すような代表的なデータを１つ選択する。

分類境界に近いデータを選択する際に、まず、選択される画像の数を決定する。選択される画像の数は実用化を考慮して決定されるが、一般的には経験に従ってあらかじめ決定され、例えば、１００、１５０、１８０などとすることができる。選択される画像の数が大きすぎると情報量が減少するおそれがあり、また、小さすぎると代表性の度合いが減少するおそれがあることは言うまでもない。さらに、選択される画像の数は、画像データベースの画像の数と関連する。選択される画像の数が決定されると、選択処理は比較的容易に行なうことができる。例えば、主学習部２によって出力されるものが確率であって、分類境界が０．５である場合、画像の確率が０．５に近づくほどこの画像が選択される可能性は高くなる。つまり、各画像の確率と０.５との間の差が算出され、より差の少ない部分が選択される。

上述したクラスタリング処理は、正規化カット法（非特許文献１０を参照）、Ｋ平均法、階層的クラスタリング法（非特許文献１１を参照）などの既存の方法により行うことができる。

以下に、正規化カット法を簡潔に説明する。

クラスタリングされる画像が与えられると、まず、無向完全連結グラフＧ＝（Ｖ，Ｅ）が作られる。ここで、グラフの各ノードは１つの画像に対応する。エッジの重み値は、グラフの２つのノードの類似度を表す。グラフのノードをｉおよびｊとすると、２つのノードを接続するエッジの重み値ｗ_ｉｊは、以下のように定義される。

式中、ｄ（ｉ，ｊ）は画像ｉとｊの間のユークリッド距離を表し、σは、スケーリングパラメータであり、画像間の最大距離の１０〜２０パーセントに設定することができる。

一般的に正規化カット法の目的は、ノードを２つのグループにまとめることであるため、１つのグループ内部の類似度は比較的高く、グループ間の類似度は比較的低い。グラフＧのノードが２つの互いに素な集合ＡとＢとにまとめられ、

と

が満たされるとすると、グループ化が成功したか否かは、２つの集合を接続するエッジの重み値の総和によって評価できる。これがグラフ理論において「カット」と呼ばれるものである。

式中、ｃｕｔ（Ａ，Ｂ）は、集合Ａのノードと集合Ｂのノードを接続しているエッジの重み値の総和である。偏向した結果をさけるため、正規化カット法が成功したか否かは以下の基準により評価される。

式中、

は、集合Ａのノードとグラフの全てのノードと間の接続の重み値の総和であり、ａｓｓｏｃ（Ｂ，Ｖ）の定義もこれと同様である。

Ｎｃｕｔの値がより小さいほど、対応するグループ化はより適切なものとなる。Ｎｃｕｔの最小値は、以下の拡張された固有値の問題を解決することによって得られる。

式中、Ｗは、Ｗ（ｉ，ｊ）＝ｗ_ｉｊで表される対称行列であり、Ｄは、

で表される対角行列である。さらに、λは、固有値問題を解く際に用いられる公知のパラメータであり、本明細書においてはこれについての詳細な説明はしない。上述の拡張された固有値の問題を解決した後に、２番目に小さい固有値に対応する固有ベクトルが最適なグループ化に対応する。

本発明においては、２番目に小さい固有値に対応する固有ベクトルの平均値がカッティングポイントとして用いられる。固有ベクトルにおいて、ある要素の値がカッティングポイントよりも大きい場合、これに対応する画像（ノード）を集合Ａに分類し、その他の場合は、これに対応する画像（ノード）を集合Ｂに分類する。

クラスタリング処理は正規化カットを再帰的に実行することによって達成される。つまり、連続的に正規化カットを適用することによって、ノードの集合をより小さなサブ集合にカットする。しかしながら、この処理においては２つの問題がある。すなわち、(１)正規化カットが適用される毎にどのサブ集合が操作されるべきか。そして、(２)どのようにしてクラスタの数を決定するのか、すなわち、いつクラスタリング処理を終わらせるのか。

第１の問題に関し、本発明は、簡単な方法を採用している。つまり、毎回最もノード数が多いサブ集合を選択してグループ化する。

第２の問題に関し、クラスタリング処理を制御するため、以下の方法を採用している。つまり、クラスタリング処理およびカッティング処理を、既にラベルが付された画像および問合せ画像を含まないクラスタの数が、ラベリングのためにユーザに提供された画像の数と等しくなるまで繰り返す。

さらに、既にラベルが付された画像または問合せ画像を含んでいるクラスタは、そこに含まれる既にラベルが付された画像または問合せ画像により表すことができるものとみなされる。その結果、本発明では、単に既にラベルが付された画像および問合せ画像を含んでいないクラスタから代表的な画像を選択し、ラベリングのためにユーザに提供する。

各フィードバックにおいて、上述したクラスタリング処理は以下のように要約できる。

Ｉ＝Ｉ_Ｎ＋Ｉ_Ｌ＋Ｉ_Ｑは、クラスタリングに関わる画像を表すものとする。式中、Ｉ_Ｎは、主学習部２の現時点での分類境界に最も近いＮ個の画像を表し、Ｉ_Ｌは、学習データプール５の画像を表し、Ｉ_Ｑは、問合せ画像を表す。また、Ｔは、ラベリングのためにユーザに提供された画像の数を表す。
（１）初期クラスタＣ_０＝Ｉ、ｔ＝０とする。
（２）最もノード数の大きいクラスタＣ_ｉを選択し、Ｃ_ｉを正規化カット法により２つのサブ集合Ｃ_ｍとＣ_ｎに分ける。
（３）Ｃ_ｉをクラスタリストから削除し、Ｃ_ｍおよびＣ_ｎをクラスタリストに加える。
（４）以下の条件のうち、いずれか一つが満たされる場合、ｔをｔ＋１に設定する。
（ａ）Ｃ_ｉが、既にラベルが付された画像および問合せ画像を含まない。
（ｂ）Ｃ_ｉが、既にラベルが付された画像または問合せ画像を含むが、Ｃ_ｍまたはＣ_ｎが既にラベルが付された画像および問合せ画像を含まない。
（５）ｔがＴより小さい場合はステップ（２）へ進む。ｔがＴより小さくない場合はクラスタリング処理を終了する。

１.３ 組み合わされた方法
ｃ＝｛ｘ_１，．．．，ｘ_Ｍ｝は、上述の処理により得られたＭ個の画像からなるクラスタを表し、既にラベルが付された画像および問合せ画像は含まないものとする。クラスタの各画像の代表度は、以下のようにして測定される。

各画像の情報量は、以下のようにして測定される。

主学習部２が分類器としてサポートベクターマシーン（ＳＶＭ）を採用する場合、情報量は、以下のようにして測定することもできる。

式中、ｇ（ｘ_ｉ）は、画像に関するＳＶＭ分類器の予測出力を表す。２つの測定結果は統合され、画像ｘ_ｉの最終スコアが得られる。

式中、パラメータλは、２つの測定結果の寄与率を制御する。式（８）は、クラスタｃにおける全ての画像の最終スコアを算出するために用いられ、最も高いスコアを有する画像が選択されてラベリングのためにユーザに提供される。

上述した重み付け方法は単なる例示であり、例えば、２つの測定結果の値を乗算し、二乗した後に重み値を加えるなどの他の方法もまた採用することができる。

２.ラベルなし画像選択部
以下に、図６および７を参照してラベルなし画像選択部４を詳細に説明する。図６は、本発明にかかるラベルなし画像選択部４の一実施例を示す図である、図７は、本発明にかかるラベルなし画像選択部の他の実施例を示す図である。

図６に示すように、ラベルなし画像選択部４は、演算部４０１と決定部４０２とを有する。各フィードバックにおいて、ラベルなし画像選択部４の演算部４０１は、主学習部２で採用されたものと異なる分類器（アルゴリズム）を採用し、画像データベースのラベルなし画像とユーザの意図との適合度を算出する。決定部４０２は、最も適合しないラベルなし画像を負標本として選択し、選択した画像を演算部４０１の演算結果に従って主学習部２に供給する。

決定部４０２は、ユーザの意図と最も適合しないラベルなし画像を負標本として所定数選択し、主学習部２に供給してもよい。また、決定部４０２は、ユーザの意図との不適合度が所定の閾値より大きいラベルなし画像を負標本として選択し、主学習部２に供給してもよい。

なお、本発明の一実施例において、演算部４０１は各フィードバックにおいて演算を行うことで信頼性を向上させている。しかしながら、フィードバックの度に、毎回再計算を行い、負標本として主学習部２に提供されるラベルなし画像を決定する必要はない。例えば、演算および決定を一度だけ実行してもよい。ただしこの場合パフォーマンスは悪化する。また、所定のフィードバック回数ごとに（例えば、５回または１０回ごとに）演算および決定を実行してもよい。あるいは、特定のアルゴリズム（例えば、フィードバックの回数が増すにつれて、演算および決定を実行するための間隔が次第に大きくなる、または小さくなる）に従って、演算および決定を実行してもよい。これによりパフォーマンスがさらに悪化するけれども処理速度を上げることができる。フィードバック回数を考慮する場合には、図７に示すように、ラベルなし画像選択部４はさらにカウンタ４０３を備える。カウンタ４０３は、フィードバック回数をカウントし、カウントした回数を演算部４０１に入力する。演算部４０１は、演算を行なうか否かをこの回数に基づいて決定する。

フィードバック処理の間に主学習部２が再学習するときは、選択されたラベルなし画像もまた負標本として考慮される。

以下に、演算部４０１および決定部４０２の動作プロセスを詳細に説明する。

ＬおよびＵは、学習データプール５のラベルなし画像および画像データベースのラベルなし画像を示すものとする。学習データプール５は、画像データベース内の既にラベルが付された画像および入力された問合せ画像を含む。検索開始時には、Ｌはユーザが入力した問合せ画像のみを含むだけである一方、Ｕは画像データベースの全ての画像を含む。続くフィードバック処理の間、ユーザによって新しくラベルを付された画像が絶えずＬに加えられる。各フィードバックにおいて（または、他の実施例ではフィードバック要求計算において）、演算部４０１は、Ｌの画像に基づいて、主学習部２の分類器とは異なる分類器（アルゴリズム）を用いてＵの画像を評価する。最後に、決定部４０２は、ある特定の（上述したような）規則に従い、ユーザの意図と最も適合しない画像を選択して主学習部２に出力し、これらの画像は負標本として主学習部２の学習データコレクションに追加される。

ここで、学習プール画像は、学習のために演算部４０１で使われる画像と一致しているが、学習のために主学習部２で使われる画像と完全には一致していない。学習のために主学習部２で使われる画像は、ラベルなし画像選択部４により出力されるラベルなし画像をさらに含む。

画像検索のリアルタイム要求を満たすため、本発明の一実施例において、演算部４０１は、単純なモデルを用いて演算を実行している。このモデルは重み付きユークリッド距離モデルである。なお、アルゴリズム（またはモデル）は単なる例示であり、主学習部２に採用された分類器と異なる限り、上述したベイズ分類器やＢＰニューラルネットワーク分類器等、その他の方法も採用することができる。

重み付きユークリッド距離モデルについては、以下の文献を参照する。Yong Rui, Thomas S. Huang, Michael Ortega, Sharad Mehrotra, Relevance Feedback: A Power Tool for Interactive Content−Based Image Retrieval, IEEE Transactions on Circuits and Video Technology, Vol.8, No.5, pp.644−655, 1998.

上記文献を簡単に説明する。

式中、ｘおよびｑは、それぞれラベルなし画像および問合せ点である。問合せ点は、ユーザの意図を適切に表現するために、問合せ画像に対応する固有ベクトルの代わりに用いられる固有ベクトルである。いずれも、ｄ次元ベクトルとして表され、ｄｉｓｔ（ｘ，ｑ）はベクトルｘおよびｑの間の距離を示す。ｗ^ｉは各特徴要素に割り当てられた重み値を示し、ｆ（ｘ）はラベルなし画像ｘに関する分類器の評価結果、すなわち、ラベルなし画像ｘとユーザの意図との間の距離を示す。

Ｐが既にラベルが付された正標本の画像とユーザによって入力された問合せ画像を表すものとし、Ｎが既にラベルが付された負標本の画像を表すものとすると、

となる。これらのサンプルに基づき、問合せ点ｑは以下のように表される。

各特徴要素の重み値ｗ^ｉは、上述したアルゴリズム（分類器）における特徴要素の影響の度合を反映する。ある特定の特徴要素に関し、正標本の全ての画像が類似した値を有する場合、この特徴要素がユーザの意図を見事に捕えていることを示している。そのため、問合せ点とラベルなし画像との間の距離の算出において、この特徴要素は非常に重要である。つまり、この特徴要素は距離の算出に大きく影響した要素であり、より大きな重み値を割り当てるべきである。逆に、正標本の画像に対応する値の違いが比較的大きい場合、この特徴要素がユーザの意図と一致しないことを示している。そのため、この特徴要素は問合せ点とラベルなし画像との間の距離の算出にほとんど寄与せず、より小さい重み値を割り当てるべきである。ある特徴要素に関し、正標本の画像に対応する値の偏差平方和の逆数をその重み値として使うことができる。偏差平方和が小さいほど重み値が大きくなり、逆に、偏差平方和が大きいほど重み値が小さくなる。

が正標本の画像に対応する固有ベクトル、

が画像ｘ_ｋの固有ベクトル、σ^ｉが集合

の偏差平方和を表すとすれば、

である。

上述の重み値は、最終重み値を得るために正規化される。

正標本がひとつだけの場合には偏差平方和はゼロであり、このとき、各特徴要素には同じ重み値を用いる。

さらに、上述の重み付きユークリッド距離モデルに基づく分類器の分類能力は比較的低く、通常、分類エラーがおこる。この問題を回避するため、本発明の実施例では比較的保守的な方法を採用することができる。つまり、主学習部２は、比較的少数で、ラベルなし画像選択部４で出力されるようなユーザの意図と最も適合しない画像（特定の目的に対して経験に基づいて予め決めることができる）を単に用いることで、主学習部２の学習データコレクションを強化することができる。つまり、決定部４０２は、単に比較的少数のラベルなし画像を決定して主学習部２に供給する。ユーザの意図を考慮すると、画像データベースの大部分の画像は通常不適合であり、少数の画像のみが適合する。したがって、分類器により得られたようなユーザの意図とは最も不適合な画像は基本的に信頼性が高い。

さらに、上記のように、信頼性をより向上させるために別の保守的な方法を採用することもできる。つまり、主学習部２が、これらのラベルなし画像を永久的にではなく一時的にだけ使用する。言い換えれば、各フィードバックにおいて、演算部４０１は、学習データプール５の画像に基づき動的に算出を行なう。その結果、生成されたラベルなし画像は各フィードバックにおいて異なり得る。

図８は、本発明の一実施例に係る画像検索方法を示すフローチャートである。

検索タスクが開始されると、ユーザは自身の意図を表すためにユーザインターフェース１０２を介して問合せ画像を入力する（Ｓ８０１）。画像検索装置１は、学習データプール５に問合せ画像を格納する。Ｕはラベルなし画像を示し、検索タスクが開始された際は画像データベースの全ての画像に対応する（Ｓ８０２）。

学習データプール５の画像に従って、画像検索装置１は、重み付きユークリッド距離モデルに基づいて分類器ｆ（ｘ）を生成する（Ｓ８０３）。分類器を生成するために、まず、問合せ点ｑと各特徴要素についての重み値ｗ^ｉとを同時に算出する必要がある。問合せ点ｑと重み値ｗ^ｉの算出方法は上述したとおりであり、その説明を省略する。

続いて、ステップ８０４において、分類器ｆ（ｘ）によりＵの画像を評価する。すなわち、これらの画像と問合せ点ｑとの間の距離を算出する。距離が最も離れた画像はユーザの意図と最も不適合な画像とみなされ、Ｎ^＊とラベリングされる。これらの画像は、主学習部２の学習データコレクションを強化するために用いられる。

そして、学習データプール５の画像とｆ（ｘ）で出力されるユーザの意図と最も不適合な負標本とを用いて、主学習部２を再学習させる（Ｓ８０５）。つまり、ＬとＮ^＊を用いて主学習部２を学習させる。

主学習部２はＵの画像を評価するために用いられ、検索結果はユーザインターフェース１０２を介してユーザに提供される（Ｓ８０６）。つまり、主学習部２の評価結果に従ってデータベース画像を再配置する。

同時に、現時点での分類境界の近傍のラベルなし画像が選択され、学習データコレクションの画像と共にクラスタ化される（Ｓ８０７）。クラスタリング処理の後、大部分の代表画像が、既にラベルが付された画像および問合せ画像を含まないクラスタから選択されてＬ^＊とラベルが付され、その後ラベリングのためにユーザに提供される（Ｓ８０８）。

ユーザが現時点での検索結果に満足した場合（Ｓ８０９，ＹＥＳ）、検索処理は終了する。ユーザが現時点での検索結果に満足しない場合（Ｓ８０９，ＮＯ）、ユーザには能動選択部３により出力されたＬ^＊の画像にラベルを付すことが要求され（Ｓ８１０）、次のフィードバック処理に移る。

新たなフィードバック処理が始まる前に、Ｌ^＊に含まれる画像がＵから削除され、Ｌに加えられる。さらに、ユーザによってＬ^＊の画像にラベルが付けされた情報、例えば、正標本あるいは負標本といった情報は、学習データプール５に併せて格納される。

上述の動作フローは、図１に示す画像検索装置１に関するものである。図２および３で示す画像検索装置に関する動作フローは適宜変更される。例えば、図２に示す画像検索装置１’では、ステップ８０３および８０４は省略され、図３に示す画像検索装置１’’では、ステップ８０７および８０８は省略される。

上記に鑑み、一実施例において、画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択部と、画像検索における各フィードバックにおいて学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、を備え、主学習部は、適合度を評価するとき、ラベルなし画像選択部が選択したラベルなし画像を用いる画像検索装置を提供する。

また、一実施例において、画像検索装置は、各フィードバックにおいて主学習部の評価結果に基づいて、ユーザがラベルを付すためのラベルなし画像を画像データベースから選択する能動選択部、をさらに備える。

また、一実施例において、ラベルなし画像選択部は、主学習部が用いた方法とは異なる方法を用いて、画像データベース内の画像とユーザが対象とする画像との適合度を算出する。

また、一実施例において、ラベルなし画像選択部により選択されたラベルなし画像は、ユーザが対象とする画像ともっとも適合しない画像である。

また、一実施例において、ラベルなし画像選択部は、重み付きユークリッド距離モデルを用いてラベルなし画像を選択する。

また、一実施例において、ラベルなし画像選択部は、ラベル付き画像及びユーザにより入力された問合せ画像に基づいて重み付きユークリッド距離モデルを用いることにより新しい問合せ点を生成し、画像データベース内のラベルなし画像と新しい問合せ点との間の重み付きユークリッド距離を、画像データベース内の各ラベルなし画像の評価結果とする。

また、一実施例において、ラベルなし画像選択部は、重み付きユークリッド距離モデルを用い、ユーザが対象とする画像に適合する標本である正標本の画像に対する固有ベクトルの各要素の値の偏差平方和の逆数を正標本の画像の重み値に設定する。

また、一実施例において、ラベルなし画像選択部は、重み付きユークリッド距離モデルにより出力されたユーザが対象とする画像と最も適合しない所定数の画像のみを、主学習部に出力する負標本の画像として用いる。

また、一実施例において、ラベルなし画像選択部は、重み付きユークリッド距離モデルに基づいて出力され、問合せ点から所定距離以上離れた画像のみを、主学習部へ出力する負標本の画像とする。

また、一実施例において、主学習部は、ラベル付き画像、ユーザが入力した問合せ画像、およびラベルなし画像選択部により出力され、ユーザが対象とする画像に適合しない標本である負標本の画像に従って、各フィードバックにおいて再学習をする。

また、一実施例において、能動選択部は、情報量測定演算部と選定部とを備え、情報量測定演算部は、画像データベース内の各ラベルなし画像の情報量を算出し、選定部は、情報量測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定する。

また、一実施例において、能動選択部は、代表度測定演算部と選定部とを備え、代表度測定演算部は、画像データベース内の各ラベルなし画像の代表度を算出し、選定部は、代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定する。さらに、一実施例において、能動選択部は、情報量測定演算部を備える。

また、一実施例において、情報量測定演算部は、画像の情報量を、当該画像と前記主学習部が決定した現時点での分類境界との間の距離を求めることにより算出する。

また、一実施例において、代表度測定演算部は、クラスタリングされる画像を決定する画像収集部と、画像収集部により決定された画像を複数のクラスタに区分するクラスタリング部と、クラスタリング部から得られたクラスタから代表画像を選択する画像選択部と、を備える。

また、一実施例において、画像収集部により収集された画像は、ユーザにより入力された問合せ画像と、主学習部により決定された分類境界に近いラベルなし画像と、ラベル付き画像とを含む。

また、一実施例において、クラスタリング部は、正規化カット方法を用いてクラスタに区分する処理を行なう。

また、一実施例において、クラスタリング部は、ラベル付き画像と問合せ画像を含まないクラスタの数がラベルを付すためにユーザに返される画像の数と等しくなるように、適応的に決定する。

また、一実施例において、画像選択部は、ラベル付き画像と問合せ画像を含まないクラスタからのみ代表画像を選択する。

また、一実施例において、画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、ユーザがラベルを付すためのラベルなし画像を、各フィードバックにおいて主学習部の評価結果に基づいて、画像データベースから選択する能動選択部と、主学習部により決定された検索結果と能動選択部により選択されたラベルなし画像とを出力する出力部と、を備える画像検索装置を提供する。

さらに、上記に鑑み、一実施例において、画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択ステップと、画像検索における各フィードバックにおいて学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習ステップと、を含み、適合度を評価するとき、ラベルなし画像選択ステップで選択されたラベルなし画像を用いる画像検索方法を提供する。

また、一実施例において、画像検索方法は、各フィードバックにおいて主学習ステップの評価結果に基づいて、ユーザがラベルを付すためのラベルなし画像を画像データベースから選択する能動選択ステップを、さらに含む。

また、一実施例において、ラベルなし画像選択ステップは、主学習ステップが用いた方法とは異なる方法を用いて、画像データベース内の画像とユーザが対象とする画像との適合度を算出する。

また、一実施例において、ラベルなし画像選択ステップで選択されたラベルなし画像は、ユーザが対象とする画像ともっとも適合しない画像である。

また、一実施例において、ラベルなし画像選択ステップは、重み付きユークリッド距離モデルを用いてラベルなし画像を選択する。

また、一実施例において、ラベル付き画像及びユーザにより入力された問合せ画像に基づいて重み付きユークリッド距離モデルを用いることにより新しい問合せ点を生成し、画像データベース内のラベルなし画像と新しい問合せ点との間の重み付きユークリッド距離を、画像データベース内の各ラベルなし画像の評価結果とする。

また、一実施例において、ラベルなし画像選択ステップは、重み付きユークリッド距離モデルを用い、ユーザが対象とする画像に適合する標本である正標本の画像に対する固有ベクトルの各要素の値の偏差平方和の逆数を正標本の画像の重み値に設定する。

また、一実施例において、ラベルなし画像選択ステップは、重み付きユークリッド距離モデルにより出力されたユーザが対象とする画像と最も適合しない所定数の画像のみを、主学習部に出力する負標本の画像として用いる。

また、一実施例において、ラベルなし画像選択ステップは、重み付きユークリッド距離モデルに基づいて出力され、問合せ点から所定距離以上離れた画像のみを、主学習ステップへ出力する負標本の画像とする。

また、一実施例において、主学習ステップは、ラベル付き画像、ユーザが入力した問合せ画像、およびラベルなし画像選択部により出力され、ユーザが対象とする画像に適合しない標本である負標本の画像に基づいて、各フィードバックにおいて再学習をする。

また、一実施例において、能動選択ステップは、情報量測定演算ステップと選定ステップとを含み、情報量測定演算ステップは、画像データベース内の各ラベルなし画像の情報量を算出し、選定ステップは、情報量測定演算ステップの演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定する。

また、一実施例において、能動選択ステップは、代表度測定演算ステップと選定ステップとを含み、代表度測定演算ステップは、画像データベース内の各ラベルなし画像の代表度を算出し、選定ステップは、代表度測定演算ステップの演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定する。さらに、一実施例において、能動選択ステップは、画像データベース内の各ラベルなし画像の情報量を計算する情報量測定演算ステップを含み、選定ステップは、情報量測定演算ステップの演算結果と代表度測定演算ステップの演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定する。

また、一実施例において、情報量測定演算ステップは、画像の情報量を、当該画像と主学習ステップで決定された現時点での分類境界との間の距離を求めることにより算出する。

また、一実施例において、代表度測定演算ステップは、クラスタリングされる画像を決定する画像収集ステップと、画像収集ステップで決定された画像を複数のクラスタに区分するクラスタリングステップと、当該クラスタリングステップから得られたクラスタから代表画像を選択する画像選択ステップと、を含む。

また、一実施例において、画像収集ステップで収集された画像は、ユーザにより入力された問合せ画像と、主学習ステップで決定された現時点での分類境界に近いラベルなし画像と、ラベル付き画像とを含む。

また、一実施例において、クラスタリングステップは、正規化カット方法を用いてクラスタに区分する処理を行なう。

また、一実施例において、クラスタリングステップは、ラベル付き画像と問合せ画像を含まないクラスタの数が、ラベルを付すためにユーザに返される画像の数と等しくなるように、適応的に決定する。

また、一実施例において、画像選択ステップは、ラベル付き画像と問合せ画像を含まないクラスタからのみ代表画像を選択する。

また、一実施例において、画像検索方法は、画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習ステップと、ユーザがラベルを付すためのラベルなし画像を、各フィードバックにおいて主学習ステップの評価結果に基づいて、画像データベースから選択する能動選択ステップと、主学習ステップにより決定された検索結果と能動選択ステップにより選択されたラベルなし画像とを出力する出力ステップと、を含む。

本発明の上述したステップ、構成要素は、組み合わせることができる。

本発明にかかる画像検索装置および画像検索方法はハードウェアにより、あるいはソフトウェアプログラムを実行することにより汎用のコンピュータを用いて実行することができる。

本発明の一態様において、画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択ステップと、画像検索における各フィードバックにおいて学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習ステップと、をコンピュータにより実行可能とし、主学習ステップは、適合度を評価するとき、ラベルなし画像選択部が選択したラベルなし画像を用いるコンピュータプログラムを提供する。結果として、コンピュータプログラムはまた、上述した方法の各ステップをコンピュータに実行させることができる。

本発明のもう一つの態様においては、本発明に係る画像検索方法の各ステップ、あるいは本発明に係る画像検索装置の各機能をコンピュータに実行させるコンピュータプログラムを記録したコンピュータ読み取り可能な媒体を提供する。コンピュータ読み取り可能な媒体は、フレキシブルディスク、ＣＤ、テープ、光磁気ディスク、ＤＶＤ、ハードディスク、ＲＡＭ、ＲＯＭ等、あるいは公知の如何なる他の情報記録媒体とすることができる。

なお、当業者にとって明らかなように、本発明の意図または範囲を逸脱することなく、本発明に種々の改良及び変形を施すことができる。したがって、クレームまたはそれらの類似の範囲内において、本発明は、これらの改良及び変形を含むものである。

（付記１）画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択部と、
画像検索における各フィードバックにおいて学習し、前記画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、
を備え、
前記主学習部は、前記適合度を評価するとき、前記ラベルなし画像選択部が選択したラベルなし画像を用いることを特徴とする画像検索装置。

（付記２）各フィードバックにおいて前記主学習部の評価結果に基づいて、ユーザがラベルを付すためのラベルなし画像を前記画像データベースから選択する能動選択部、をさらに備えたことを特徴とする付記１に記載の画像検索装置。

（付記３）前記ラベルなし画像選択部は、前記主学習部が用いた方法とは異なる方法を用いて、前記画像データベース内の画像と前記ユーザが対象とする画像との適合度を算出することを特徴とする付記１に記載の画像検索装置。

（付記４）前記ラベルなし画像選択部により選択された前記ラベルなし画像は、前記ユーザが対象とする画像ともっとも適合しない画像であることを特徴とする付記１〜３のいずれか１つに記載の画像検索装置。

（付記５）前記ラベルなし画像選択部は、重み付きユークリッド距離モデルを用いて前記ラベルなし画像を選択することを特徴とする付記１〜３のいずれか１つに記載の画像検索装置。

（付記６）前記ラベルなし画像選択部は、ラベル付き画像及びユーザにより入力された問合せ画像に基づいて重み付きユークリッド距離モデルを用いることにより新しい問合せ点を生成し、前記画像データベース内の前記ラベルなし画像と前記新しい問合せ点との間の重み付きユークリッド距離を、前記画像データベース内の各ラベルなし画像の評価結果とすることを特徴とする付記５に記載の画像検索装置。

（付記７）前記ラベルなし画像選択部は、重み付きユークリッド距離モデルを用い、ユーザが対象とする画像に適合する標本である正標本の画像に対する固有ベクトルの各要素の値の偏差平方和の逆数を正標本の画像の重み値に設定することを特徴とする付記５に記載の画像検索装置。

（付記８）前記ラベルなし画像選択部は、重み付きユークリッド距離モデルにより出力された前記ユーザが対象とする画像と最も適合しない所定数の画像のみを、前記主学習部に出力する負標本の画像として用いることを特徴とする付記５に記載の画像検索装置。

（付記９）前記ラベルなし画像選択部は、重み付きユークリッド距離モデルに基づいて出力され、前記問合せ点から所定距離以上離れた画像のみを、前記主学習部へ出力する負標本の画像とすることを特徴とする付記５に記載の画像検索装置。

（付記１０）前記主学習部は、ラベル付き画像、ユーザが入力した問合せ画像、および前記ラベルなし画像選択部により出力され、ユーザが対象とする画像に適合しない標本である負標本の画像に基づいて、各フィードバックにおいて再学習をすることを特徴とする付記１に記載の画像検索装置。

（付記１１）前記能動選択部は、情報量測定演算部と選定部とを備え、
前記情報量測定演算部は、前記画像データベース内の各ラベルなし画像の情報量を算出し、
前記選定部は、前記情報量測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記２に記載の画像検索装置。

（付記１２）前記能動選択部は、代表度測定演算部と選定部とを備え、
前記代表度測定演算部は、前記画像データベース内の各ラベルなし画像の代表度を算出し、
前記選定部は、前記代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記２に記載の画像検索装置。

（付記１３）前記能動選択部は、前記画像データベース内の各ラベルなし画像の情報量を計算する情報量測定演算部を備え、
前記選定部は、前記情報量測定演算部の演算結果と前記代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記１２に記載の画像検索装置。

（付記１４）前記情報量測定演算部は、画像の情報量を、当該画像と前記主学習部が決定した分類境界との間の距離を求めることにより算出することを特徴とする付記１１または１３に記載の画像検索装置。

（付記１５）前記代表度測定演算部は、クラスタリングされる画像を決定する画像収集部と、前記画像収集部により決定された画像を複数のクラスタに区分するクラスタリング部と、前記クラスタリング部から得られたクラスタから代表画像を選択する画像選択部と、を備えたことを特徴とする付記１２または１３に記載の画像検索装置。

（付記１６）前記画像収集部により収集された画像は、ユーザにより入力された問合せ画像と、前記主学習部により決定された分類境界に近いラベルなし画像と、ラベル付き画像とを含むことを特徴とする付記１５に記載の画像検索装置。

（付記１７）前記クラスタリング部は、正規化カット方法を用いて前記クラスタに区分する処理を行なうことを特徴とする付記１５に記載の画像検索装置。

（付記１８）前記クラスタリング部は、ラベル付き画像と問合せ画像を含まないクラスタの数が、ラベルを付すためにユーザに返される画像の数と等しくなるように、適応的に決定することを特徴とする付記１５に記載の画像検索装置。

（付記１９）前記画像選択部は、前記ラベル付き画像と問合せ画像を含まないクラスタからのみ代表画像を選択することを特徴とする付記１５に記載の画像検索装置。

（付記２０）画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、
ユーザがラベルを付すためのラベルなし画像を、各フィードバックにおいて前記主学習部の評価結果に基づいて、画像データベースから選択する能動選択部と、
前記主学習部により決定された検索結果と前記能動選択部により選択された前記ラベルなし画像とを出力する出力部と、
を備えたことを特徴とする画像検索装置。

（付記２１）前記能動選択部は、情報量測定演算部と選定部とを備え、
前記情報量測定演算部は、前記画像データベース内の各ラベルなし画像の情報量を算出し、
前記選定部は、前記情報量測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記２０に記載の画像検索装置。

（付記２２）前記能動選択部は、代表度測定演算部と選定部とを備え、
前記代表度測定演算部は、前記画像データベース内の各ラベルなし画像の代表度を算出し、
前記選定部は、前記代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記２０に記載の画像検索装置。

（付記２３）前記能動選択部は、前記画像データベース内の各ラベルなし画像の情報量を計算する情報量測定演算部を備え、
前記選定部は、前記情報量測定演算部の演算結果と前記代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする付記２２に記載の画像検索装置。

（付記２４）前記情報量測定演算部は、画像の情報量を、当該画像と前記主学習部が決定した分類境界との間の距離を求めることにより算出することを特徴とする付記２１または２３に記載の画像検索装置。

（付記２５）前記代表度測定演算部は、クラスタリングされる画像を決定する画像収集部と、前記画像収集部により決定された画像を複数のクラスタに区分するクラスタリング部と、前記クラスタリング部から得られたクラスタから代表画像を選択する画像選択部と、を備えたことを特徴とする付記２２または２３に記載の画像検索装置。

（付記２６）前記画像収集部により収集された画像は、ユーザにより入力された問合せ画像と、前記主学習部により決定された分類境界に近いラベルなし画像と、ラベル付き画像とを含むことを特徴とする付記２５に記載の画像検索装置。

（付記２７）前記クラスタリング部は、正規化カット方法を用いて前記クラスタに区分する処理を行なうことを特徴とする付記２５に記載の画像検索装置。

（付記２８）前記クラスタリング部は、ラベル付き画像と問合せ画像を含まないクラスタの数を、ラベルを付すためにユーザに返される画像の数と等しくなるように、適応的に決定することを特徴とする付記２５に記載の画像検索装置。

（付記２９）前記画像選択部は、前記ラベル付き画像と問合せ画像を含まないクラスタからのみ代表画像を選択することを特徴とする付記２５に記載の画像検索装置。

本発明の一実施例にかかる画像検索装置の構成を示す図である。 本発明の他の実施例にかかる画像検索装置の構成を示す図である。 本発明のさらに別の実施例にかかる画像検索装置の構成を示す図である。 本発明の一実施例にかかる画像検索装置の能動選択部の構成を示す図である。 代表度の測定を示す基本図である。 本発明にかかるラベルなし画像選択部の一実施例を示す図である。 本発明にかかるラベルなし画像選択部の他の実施例を示す図である。 本発明の一実施例にかかる画像検索方法を示すフローチャートである。

符号の説明

１，１’，１’’ 画像検索装置
１０１ フィードバック解析部
１０２ ユーザインターフェース部
２ 主学習部
３ 能動選択部
４ ラベルなし画像選択部
５ 学習データプール
３０１ 情報量測定演算部
３０２ 代表度測定演算部
３０３ 選択部
４０１ 演算部
４０２ 決定部
４０３ カウンタ

Claims (10)

1. 画像データベース内の画像からラベルなし画像を選択するラベルなし画像選択部と、
   画像検索における各フィードバックにおいて学習し、前記画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、
   を備え、
   前記主学習部は、前記適合度を評価するとき、前記ラベルなし画像選択部が選択したラベルなし画像を用いることを特徴とする画像検索装置。
2. 各フィードバックにおいて前記主学習部の評価結果に基づいて、ユーザがラベルを付すためのラベルなし画像を前記画像データベースから選択する能動選択部、をさらに備えたことを特徴とする請求項１に記載の画像検索装置。
3. 前記ラベルなし画像選択部は、前記主学習部が用いた方法とは異なる方法を用いて、前記画像データベース内の画像と前記ユーザが対象とする画像との適合度を算出することを特徴とする請求項１に記載の画像検索装置。
4. 前記ラベルなし画像選択部により選択された前記ラベルなし画像は、前記ユーザが対象とする画像ともっとも適合しない画像であることを特徴とする請求項１〜３のいずれか１つに記載の画像検索装置。
5. 前記ラベルなし画像選択部は、重み付きユークリッド距離モデルを用いて前記ラベルなし画像を選択することを特徴とする請求項１〜３のいずれか１つに記載の画像検索装置。
6. 前記ラベルなし画像選択部は、ラベル付き画像及びユーザにより入力された問合せ画像に基づいて重み付きユークリッド距離モデルを用いることにより新しい問合せ点を生成し、前記画像データベース内の前記ラベルなし画像と前記新しい問合せ点との間の重み付きユークリッド距離を、前記画像データベース内の各ラベルなし画像の評価結果とすることを特徴とする請求項５に記載の画像検索装置。
7. 前記主学習部は、ラベル付き画像、ユーザが入力した問合せ画像、および前記ラベルなし画像選択部により出力され、ユーザが対象とする画像に適合しない標本である負標本の画像に基づいて、各フィードバックにおいて再学習をすることを特徴とする請求項１に記載の画像検索装置。
8. 画像検索における各フィードバックで学習し、画像データベース内の画像とユーザが対象とする画像との適合度を評価し、ユーザが対象とする画像に対応する当該画像データベース内の画像の検索結果を決定する主学習部と、
   ユーザがラベルを付すためのラベルなし画像を、各フィードバックにおいて前記主学習部の評価結果に基づいて、画像データベースから選択する能動選択部と、
   前記主学習部により決定された検索結果と前記能動選択部により選択された前記ラベルなし画像とを出力する出力部と、
   を備えたことを特徴とする画像検索装置。
9. 前記能動選択部は、情報量測定演算部と選定部とを備え、
   前記情報量測定演算部は、前記画像データベース内の各ラベルなし画像の情報量を算出し、
   前記選定部は、前記情報量測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする請求項８に記載の画像検索装置。
10. 前記能動選択部は、代表度測定演算部と選定部とを備え、
    前記代表度測定演算部は、前記画像データベース内の各ラベルなし画像の代表度を算出し、
    前記選定部は、前記代表度測定演算部の演算結果に基づいて、ラベルを付すためにユーザに提供されるラベルなし画像を選定することを特徴とする請求項８に記載の画像検索装置。

Images