JP2009205558A - 類似情報分類参照装置および類似情報分類参照方法 - Google Patents

Abstract

【課題】
大量の画像を効率的かつ自動またはユーザ操作により分類ができまたは検索ができる類似情報分類参照装置または方法を提供する。
【解決手段】
低解像度化情報生成部１１と低解像度化情報保存部１２と自己組織化処理部１３と処理結果保存部１４とからなるもので、類似情報分類参照装置１は、解像度を高くしつつ、自己組織化処理において学習プロセスを伴う低解像度化画像群のクラスタリングを行い、このクラスタリングにより分けられた低解像度化画像群について同様の自己組織化処理を順次繰り返し行う。
【選択図】 図１

Description

本発明は、 解像度を持つ複数の対象情報の類似情報分類参照装置および類似情報分類参照方法に関し、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに階層状の自己組織化処理を生成する技術およびこの自己組織化処理を利用した高速検索技術に関する。

近年、インターネットの発達とデジタル化カメラの普及により、個人がコンピュータ上に大量の画像を蓄積して利用するようになっている。これらの画像を検索する手法として、現在主流なのはファイル名やフォルダの分類を用いた検索である。

この種の検索では、画像ファイルのファイル名や、画像を格納するフォルダのフォルダ名には、通し番号や日付が用いた手法が採用されることが多いが、この手法はユーザが対象情報の撮影時期等を記憶していることが前提となるため利用することが難しい。

そこで、最近では画像内を用いた検索方法容（画像内容検索）に関する研究が盛んに行われている。この画像内容検索は、画像の内容そのものをインデックスとして検索できるため、ファイル名やフォルダ名を用いた検索と比べて、検索に用いることができる情報が多く、優れた検索方法といえる。
特開２００６−２３５９７１

ところが、画像内容検索では、画像の内容をインデックス化するために画像認識が必要である。たとえば、自己組織化技術を用い、学習に際して画像の小さい特徴を捨てることなしに検索する手法も知られているが（特許文献１参照）、この手法では対象情報数が少ないときには、対象情報中から検索画像に類似する画像を抽出することができる。しかし、被検索対象の画像数が膨大になると対象情報中から検索画像に類似する画像を抽出する時間も膨大となり、実質上、画像を抽出できず実用的とはいえない。

この不都合を解消するために、自己組織化処理において、小さな特徴を捨て、処理する画像数を減らすことも考えられるが、小さな特徴を捨てたために、コンピュータによる判断と人間の認識との乖離が発生してしまい、これも実用的とはいえない。
さらに、類似画像をクエリとして用いる手法もあるが、この手法では、タグや日付などの付加的な情報によらないため、利用価値が高いと考えられているが、クエリ画像の作成そのものが難しく、この手法も実用的とはいえない。

本発明の目的は、タグ情報やクエリを用いずにかつ小さい特徴量の情報を捨てずに、自己組織化により被処理対象画像を階層状に分類する技術およびこの自己組織化処理を利用した高速検索技術を提供することにある。

本発明者は、解像度を高くしつつ、自己組織化処理において学習プロセスを伴う低解像度化画像群のクラスタリングを行い、このクラスタリングにより分けられた低解像度化画像群について同様の自己組織化処理を順次繰り返し行うことで、大量の画像を効率的かつ自動またはユーザ操作により分類ができ、または検索ができるとの知見を得て本発明をなすに至った。

本発明の類似情報分類参照装置は（１）から（６）を要旨とする。
（１）
低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出するための類似情報分類参照装置において、
前記対象情報は複数の解像度を持ち、
前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像化情報群を生成し、
前記自己組織化処理部は、
解像度Ｒ₁の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ₂の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ₃の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_K-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、
前記処理結果保存部は、前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照装置。

本発明において、検索対象は、典型的には画像、音声であるが、たとえばデジタル波形データなどの解像度を持つ情報であれば本発明を適用することができる。

本発明において、自己組織化処理の階層が低い場合には、自己組織化処理部に入力される低解像度化情報の数は多く、学習を伴う適切なクラスタリング（特徴により分割）を行うことができる。自己組織化処理の階層が高くなるにつれて、自己組織化処理部に入力される低解像度化情報の数が少なくなるが、低解像度化情報の解像度が小さけいままだと、自己組織化処理に使用される情報が減少してしまう。このことから、本発明では、解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像化情報群を生成しておき、自己組織化処理の階層が高くなるにしたがって、自己組織化処理部に入力する低解像度化情報の解像度をＲ₁からＲ_Mに順次増大させている。

本発明では、解像度をＲ₁からＲ_Mに順次増大させるべく、第２階層以降の自己組織化処理の際には、直前の階層におけるクラスタリングに際して分割された画像をより高い解像度に置き換えたものを使用する。

（２）
さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
前記自己組織化マップ作成部は、前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成し、
前記可視化インデックス生成部は、前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記検索候補情報一覧生成部は、前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする（１）に記載の対象情報の類似情報分類参照装置。

（３）
前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、少なくとも１回クラスタリング処理を繰り返すことで学習を行うことを特徴とする（１）または（２）に記載の対象情報の類似情報分類参照装置。

この学習では、自己組織化マップ作成部に入力される低解像化情報を用いて参照ベクトルを更新する。この更新（すなわち学習）は１度とは限らず、２回以上とする（再学習を行う）ようにできる。本発明では、この自己組織化マップ作成における学習（または再学習）においては、通常は、自己組織化マップ作成部に入力された入力画像を捨てることはしないので、コンピュータ処理による判断と人間の認識との乖離をなくすことができる。

（４）
前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする（１）から（３）の何れかに記載の類似情報分類参照装置。

（５）
前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする（１）から（４）の何れかに記載の類似情報分類参照装置。

（６）
問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする（１）から（５）の何れかに記載の類似情報分類参照装置。

本発明の類似情報分類参照方法は（７）から（１２）を要旨とする。
（７）
複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
前記対象情報は解像度を持ち、
前記複数の対象情報から、当該解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像化情報群を生成し、ついで、
解像度Ｒ₁の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ₂の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ₃の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
順次、
前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_K-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、この後、
前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
ことを特徴とする対象情報の類似情報分類参照方法。

（８）
前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップ作成し、
前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする（７）に記載の対象情報の類似情報分類参照方法。

（９）
前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする（７）または（８）に記載の対象情報の類似情報分類参照方法。

（１０）
前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする（７）から（９）の何れかに記載の類似情報分類参照方法。

（１１）
自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする（７）から（１０）の何れかに記載の類似情報分類参照方法。

（１２）
問い合わせ情報を入力して、当該問い合わせ情報と、保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする（７）から（１１）の何れかに記載の類似情報分類参照方法。

本発明では、小さい特徴量の情報を捨てることなく、対象情報を階層ごとに順次クラスタリングしているので、タグ情報やクエリ（対象情報が画像の場合にはクエリ画像）を用いることなく、人間が行う本来の情報比較とは乖離しない検索結果を抽出することができる。

また、本発明では、階層構造の自己組織化マップ上の検索対象に近い対象情報を、自己組織化マップ作成に際してクラスタリングされたセルから選択し、このセルを元にさらに自己組織化処理を行う。これらの処理を繰り返すことで、検索結果を高速で絞り込むことができる。

さらに、本発明では、類似情報分類参照装置および類似情報分類参照方法や類似情報分類参照装置や類似情報分類参照方法では、自己組織化マップは可視化しなくてもよいし、自己組織化マップを可視化しておき、検索対象に近い対象情報をユーザに選択させることもできる。

対象情報が画像である場合には、これまで日付やテキストでの検索が行われていたたとえば画像データベースの画像や、デジタルカメラのメモリ内の画像を、ユーザが直感的に参照し、目的の画像を瞬時に検索することが可能となる。た、オンラインサーバに本発明を組み込むことで、インターネット上の画像検索エンジンとしての利用も可能である。

図１は本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図であり、図２は図１の類似情報分類参照装置１の処理を詳しく示す図である。
図１において、類似情報分類参照装置１は、複数の解像度を持つ対象情報から所望の情報を抽出するためのもので、元情報記憶装置１０と、低解像度化情報生成部１１と、低解像度化情報保存部１２と、自己組織化処理部１３と、処理結果保存部１４とを備えている。

元情報記憶装置１０は、典型的には、本発明の処理装置を構成するコンピュータや本発明方法を実行するプログラムが搭載されたコンピュータに内蔵または接続された記憶装置であるが、これに限定されるその一部または全部がネットワーク上の他のコンピュータに内蔵または接続された記憶装置であってもよい。

低解像度化情報生成部１１は、元情報記憶装置１０の記憶されている複数の対象情報から、図２に示すような解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の低解像化情報群Ｇ_M，Ｇ_M-1，・・・，Ｇ₂，Ｇ₁を生成する（すなわち、Ｒ_M＞Ｒ_M-1＞・・・＞Ｒ₂＞Ｒ₁）。この低解像度化は、Ｗａｖｅｌｅｔ変換によって作成することができるし、Ｗａｖｅｌｅｔ変換以外の変換方法によっても作成することができる。

たとえば、Ｍ＝４である低解像度化情報群Ｇ₄を構成する画像は、元の低解像度化情報群Ｇ₄の各画像を解像度Ｒ₄（たとえば、６４×６４）に変換したものであり、低解像度化情報群Ｇ₃を構成する画像は、解像度Ｒ₄の各画像を解像度Ｒ₃（たとえば、３２×３２）に変換したものである。また、低解像度化情報群Ｇ₂を構成する画像は、解像度Ｒ₃の各画像を解像度Ｒ₂（たとえば、１６×１６）に変換したものであり、低解像度化情報群Ｇ₁を構成する画像は、解像度Ｒ₂の各画像を解像度Ｒ₁（たとえば、８×８）に変換したものである。

本実施形態では、上記のように階層が低いほど自己組織化処理における入力画像の解像度が低く、階層が高いほど自己組織化処理における入力画像の解像度が高く設定されている。第１階層では入力画像数が多いので、低解像度でも十分な特徴の正規分布をとらえることができ、クラスタを構成することができる。しかし、階層が高くなるにつれて入力画像数は小さくなりクラスタリングの情報量が減少してしまうので、入力画像数が少ない場合には解像度を高くして、クラスタリングの情報量のバランスをとっている。こうすることで、局所的な特徴を、自己組織化処理における学習とクラスタリングに利用できる。

低解像度化情報保存部１２は、必ず必要とされるものではないが、低解像化情報群Ｇ_M，Ｇ_M-1，・・・，Ｇ₂，Ｇ₁を保存しておくことで、自己組織化処理における学習する際に使い分けることで、アップコンバートや、ダウンコンバートの手間を省くことができる。

自己組織化処理部１３は、以下の（Ａ₁）から（Ａ_N）の処理を行う。
（Ａ₁）低解像度化情報保存部１２に保存されている解像度Ｒ₁の低解像度化情報群Ｇ₁について、低解像度化情報群Ｇ₁を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行う。
（Ａ₂）第１階層の自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する低解像度化情報保存部１２に保存されている解像度Ｒ₂の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行う。
（Ａ₃）第２階層の各自己組織化処理によるクラスタリング結果を元に、このクラスタリング結果に対応する解像度Ｒ₃の複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行う。
・・・
（Ａ_K）第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ−１）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_Kの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行う。
・・・
（Ａ_N）記各第（Ｎ−１）階層（Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_Nの複数の低解像度化情報群について、低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行う。

自己組織化処理は、第Ｍ階層まで行う必要はなく、たとえば、図４の説明において述べるように、クラスタの個数が所定のしきい値に達したときに、繰り返しの処理を停止することができる。上述の「Ｎ≦Ｍ」は、自己組織化処理を第Ｍ階層まで行わないときは「Ｎ＜Ｍ」であり、第Ｍ階層まで行ったときは「Ｎ＝Ｍ」であることを意味している。

処理結果保存部１４は、第１階層から第Ｎ階層の自己組織化処理の結果を保存しておく。
以下、図１の類似情報分類参照装置１の詳細を図２により説明する。図２では、検索対象画像群Ｇはｑ個の対象情報ｇ₁，ｇ₂，・・・，ｇ_qからなる。
低解像度化情報生成部１１は、複数の対象情報ｇ₁，ｇ₂，・・・，ｇ_qから、解像度がＲ_MからＲ₁に順次低下するＭ段階の低解像化画像群Ｇ_M，・・・，Ｇ₃，Ｇ₂，Ｇ₁を生成する。

図２では、低解像度化情報群は、最も解像度が低い群から、
ｇ₁₁，ｇ₁₂，・・・，ｇ_1q、
ｇ₂₁，ｇ₂₂，・・・，ｇ_2q、
・・・
ｇ_M1，ｇ_M2，・・・，ｇ_Mq、
で表してある。

自己組織化処理部１３は、まず、解像度Ｒ₁の低解像度化情報群Ｓ₁について、この低解像度化情報群Ｓ₁を構成する複数の低解像度化情報ｇ₁₁，ｇ₁₂，・・・，ｇ_1qを入力としてクラスタリングを含む第１階層の自己組織化処理を行い自己組織化マップＳＯＭ１を作成する。

図２では、第１階層の自己組織化処理においてＳＯＭ１の作成処理が行われ、低解像度化情報ｇ₁₁，ｇ₁₂，・・・，ｇ_1qは、クラスタリングにより３集合（画像群Ｓ_1-1，Ｓ_1-2，Ｓ_1-3）に分けられている。解像度Ｒ₁の画像群は、低解像度化情報ｇ₂₁，ｇ₂₂，・・・，ｇ_2qからなるので、これらｇ₂₁，ｇ₂₂，・・・，ｇ_2qは、低解像度化情報群Ｓ_1-1，Ｓ_1-2，Ｓ_1-3の何れかに属している。

自己組織化処理部１３は、次に、第１階層の自己組織化処理におけるクラスタリング結果を元に、解像度Ｒ₂の複数の低解像度化情報群（ここでは、Ｓ_1-1，Ｓ_1-2，Ｓ_1-3の３つ）についてそれぞれ自己組織化処理を行う。

第１階層のクラスタリングにより分割された画像の解像度Ｒ₁であるが、第２階層の自己組織化処理では、解像度Ｒ₂の画像が用いられる。言い換えると、第２階層の自己組織化処理では、低解像度化情報群Ｇ₁を構成する解像度Ｒ₁の低解像度化情報を、解像度Ｒ₂の低解像度化情報に置き換えられる。

すなわち、第２階層における低解像度化情報群Ｓ_1-1についての自己組織化処理では、低解像度化情報群Ｓ_1-1を構成する複数の低解像度化情報（解像度Ｒ₂）を入力としてクラスタリングを含む第２階層の自己組織化処理を行う。同様に、第２階層における低解像度化情報群Ｓ_1-2，Ｓ_1-3についての自己組織化処理では、低解像度化情報群Ｓ_1-2，Ｓ_1-3を構成する複数の低解像度化情報（解像度Ｒ₂）を入力として、それぞれクラスタリングを含む第２階層の自己組織化処理を行う。

これらの第２階層の自己組織化処理において自己組織化マップＳＯＭ２（１），ＳＯＭ２（２），ＳＯＭ２（３）が作成される。
第２階層の自己組織化処理は、これら３つの画像群Ｓ_1-1，Ｓ_1-2，Ｓ_1-3についてそれぞれ行われる。

自己組織化マップＳＯＭ２（１）の作成処理においては、低解像度化情報群Ｓ_1-1を構成する複数の低解像度化情報は、クラスタリングにより５集合（画像群Ｓ_1-1-1，Ｓ_1-1-2，Ｓ_1-1-3，Ｓ_1-1-4，Ｓ_1-1-5）に分けられている。
自己組織化マップＳＯＭ２（２）の作成処理においては、低解像度化情報群Ｓ_1-2を構成する複数の低解像度化情報は、クラスタリングにより４集合（画像群Ｓ₁₃₁，Ｓ₁₃₂，Ｓ₁₃₃，Ｓ₁₃₄）に分けられている。

ＳＯＭ２（３）の作成処理においては、低解像度化情報群Ｓ_1-3を構成する複数の低解像度化情報は、クラスタリングにより２集合（画像群Ｓ_1-3-1，Ｓ_1-3-2）に分けられている。
第３階層の自己組織化処理は、ＳＯＭ２（１）の作成処理においてクラスタリングされた５集合（画像群Ｓ_1-1-1，Ｓ_1-1-2，Ｓ_1-1-3，Ｓ_1-1-4，Ｓ_1-1-5）、ＳＯＭ２（２）の作成処理においてクラスタリングされた４集合（画像群Ｓ₁₃₁，Ｓ₁₃₂，Ｓ₁₃₃，Ｓ₁₃₄）、ＳＯＭ２（３）の作成処理においてクラスタリングされた２集合（画像群Ｓ_1-3-1，Ｓ_1-3-2）の、合計で１１の画像群₃についてそれぞれ行われる。

以下、順次、各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_K-1の複数の低解像度化情報群について低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを行う第Ｋ階層の自己組織化処理を行う。

図３は、図１および図２における類似情報分類参照装置１の処理を示すフローチャートである。
図３では、解像度（Ｒａ）の入力画像を、低解像度化情報保存部１２から取得して（Ｓ１２０）、自己組織化処理部１３による処理を行う（Ｓ１３０）とともに、クラスタリングを行う（Ｓ１４０）。自己組織化マップおよびクラスタリングの結果は、処理結果保存部１４に保存される。

次に、該当する階層において作成していない自己組織化マップが残っているかが判断される（Ｓ１５０）。Ｐは自己組織化処理の直前の階層におけるクラスタ数であり、直前の階層でのクラスタ数が、「３」である場合にはＰ＝３である。残っていないとき（すなわち、図３のｋ（ｋは、Ｓ１１０において初期化されている）が直前の階層のクラスタの個数Ｐに達しているとき）は処理を終了し（Ｓ１５０の「ＹＥＳ」）、残っているとき（すなわち、図３のｋが直前の階層のクラスタ数Ｐに達していないとき）はｋをインクリメントし（Ｓ１６０）、処理をＳ１２０に戻して、他の自己組織化マップの作成処理を行う。

図４は、図１の類似情報分類参照装置１を検索装置とした場合の実施形態を示す機能ブロック図である。また、図５に類似情報分類参照装置１の検索処理の流れを示す。
図４および図５に示す処理により、図１および図２の実施形態の類似情報分類参照装置や類似情報分類参照方法を使用して、問い合わせ画像（検索対象画像）に近い画像を、階層の低い階層から高い階層で比較することで（段階的に自己組織化マップのセルから選択することを繰り返すことで）、検索結果を絞り込むことができ、ユーザが意図する画像（問い合わせ画像と類似した画像（同一の画像のこともある））を検索することができる。

図４において、類似情報分類参照装置１は、元情報記憶装置１０と、低解像度化情報生成部１１と、低解像度化情報保存部１２と、自己組織化処理部１３と、処理結果保存部１４とに加え、可視化インデックス生成部１６と、検索候補情報一覧生成部１７と、段階的可視化手段１８と、操作表示部１９とを備えている。また、図４では、自己組織化処理部１３は、自己組織化処理本体部１３０と、自己組織化マップ作成部１３１と、自己組織化処理続行判断部１３２とを備えている。

図４の自己組織化処理部１３は、図１における自己組織化処理部１３と実質上同じであり、図１の自己組織化処理部１３よりも詳しく記述してある。自己組織化処理本体部１３０は自己組織化処理を行う。

自己組織化マップ作成部１３１は第１階層から第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成する。自己組織化マップの個数は、階層が上位となるに従って増加する。第Ｋ階層の自己組織化マップの個数Ｑ_SOMは、
Ｑ_SOM＝ｔ₂＋ｔ₃＋・・・ｔ_k
である。ただし、
ｔ₂＝第２階層のクラスタ数
ｔ₃＝第３階層のクラスタ数
・・・
ｔ_k＝第ｋ階層のクラスタ数
である。

以下、自己組織化マップ作成部１３１における学習（自己組織化学習）について説明する。自己組織化マップ作成部１３１は、低解像化情報保存部１２の画像を入力し、学習を行う。
自己組織化マップは、高次元データの視覚化と近似表現を目的として作成されるもので、本発明で用いる自己組織化マップは、参照ベクトルを二次元配列状に並べた基本的なものである。これらの参照ベクトルは自らの座標と、内部データを保持している。入力として与えるベクトルは、本発明では低解像化情報保存部１２に保存されている低解像化情報（画像）である。

可視化インデックス生成部１６は、第１階層から第Ｎ階層の自己組織化マップにおける参照ベクトルのインデックスを生成する。参照ベクトルの個数は、たとえば数個のこともあるし、１０００個を超えることもある。

本実施形態では、第１階層の自己組織化マップの参照ベクトルの初期ベクトルは任意であり、学習により、第１階層の低解像度化画像群Ｇ１を構成する画像の特徴が反映されるように変更が加えられる。

第２階層では、第１階層の自己組織化処理におけるクラスタリングにより生成された複数の画像群（たとえば４つの画像群）についてそれぞれ自己組織化処理が行われ、自己組織化マップが作成される（画像群が４つの場合には４つの自己組織化マップが作成される）。このときの参照ベクトルの参照ベクトルは、第１階層の学習により変更された参照ベクトルに基づいて作成することができる。

検索候補情報一覧生成部１７は、第１階層から第Ｎ階層においてクラスタリングされた対象情報の一覧を生成する。ここで、検索対象情報の一覧は、対象情報ｇ₁，ｇ₂，・・・，ｇ_qの一覧とすることもできるし、たとえば第２階層の自己組織化処理においては解像度がＲ₂の画像情報の一覧である。

自己組織化処理続行判断部１３２は、自己組織化マップのあるものについては、より高い階層の自己組織化処理を行うか否かを判断し、自己組織化マップ作成部１３１に処理を停止させる（停止命令ＳＴＰを出力する）。たとえば、自己組織化処理続行判断部１３２は、ある自己組織化マップのクラスタの個数が所定数（たとえば、１０）以下となったときに、当該自己組織化マップについては、自己組織化マップ作成部１３１に繰り返しの処理を停止させることができる。

操作表示部１９は、可視化インデックス生成部１６により生成した参照ベクトルのインデックスと、検索候補情報一覧生成部１７により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化して画像（ＳＯＭ画像）として出力する。

自己組織化マップ作成部１３１による処理、可視化インデックス生成部１６による処理、検索候補情報一覧生成部１７による処理および操作表示部１９による処理を、上記のようにして繰り返すことで、検索候補情報が可視化しつつ絞り込まれる。
処理結果保存部１４は、第１階層から第Ｋ階層の自己組織化処理の結果を保存しておく。
自己組織化マップ作成部１３１における学習は、参照ベクトルが初期化された状態から始まる。本実施形態では、自己組織化後のクラスタの配置に一意性を持たせるため、色合いと輝度のグラデーションを用いて初期化する。

まず、低解像化情報保存部からランダムに選出した一つのデータを、自己組織化マップ作成部１３１に入力する。
自己組織化マップ作成部１３１の参照ベクトルのうち、入力画像（入力ベクトル）との距離が最も近い参照ベクトル（選択参照ベクトルと言う）を選択する。

選択参照ベクトルは、学習により入力画像に空間的に近づくように更新される（具体的には、選択参照ベクトル内部データ）。学習回数は通常は複数であり、学習に際しては、選択参照ベクトルと入力画像との空間距離に応じた重み付けがなされる。
選択参照ベクトルの学習は、近傍の参照ベクトルを伴って行われる。本実施形態では、選択参照ベクトルの近傍にある参照ベクトルが同時に更新される。

自己組織化マップ作成部１３１における学習では、個々の参照ベクトルが入力データ空間の確率密度分布に従って特徴空間上に展開し、入力画像群の特徴空間を２次元配列状に表現する。

次に、色空間上の距離について述べる。人の肌を構成する主な色である肌色は、ＹＵＶ色空間内においてＹ軸方向では２１０−４０＝１７０の幅に分布しているのに対し、ＵＶ平面に射影して得た領域の広がりは（１３０?８０）×（１７０?１３０）＝５０×４０である。この領域の広がりが一致度に寄与し、その比は１７０／５０＝３．４〜１７０／４０＝４．２５４である。そこでｄＹとｄＵ，ｄＶとの寄与度を同等にするために混合係数Ｋ_cを導入する。
ｄ_i,j＝ｄＹ_i,j＋Ｋ_c×（ｄＵ_i,j＋ｄＶ_i,j）
とすることで、Ｋ_c＝４とした場合には、好適な結果が得られた。

本実施形態は顔画像のみを対象とするものではないが、色合いを強く反映したクラスタを発生させ易くするため、Ｋ_c＝４とした混合係数による色差の寄与度補正を行った距離を用いている。また、本実施形態では、学習の初期での参照ベクトルは正方形ではあり、サイズ（たとえば、１３×１３）は、学習中に縦横ともにたとえば２ずつ減少させている（たとえば、５回目の終了時のサイズは３×３である）。

自己組織化マップ作成部１３１における学習では、画像の持つ特徴に従って自己組織化が成される。すなわち、画像の中でオブジェクトの大きさや配置、陰影、色合いなどが距離を決める大きな要素となるため、これらの特徴を示すクラスタが形成される。

図５に示すように、検索に際しては、問合わせ画像Ｇｒは、低解像度化情報生成部１１により、複数段階の低解像度画像（前述したＭ段階の低解像度化処理と同じ処理により生成された画像）に変換されて低解像度化情報保存部１２に保存される。そして、比較処理部Ｃ１，Ｃ１，・・・，ＣＭにより参照ベクトルとの比較が順次行われ、絞込みを行うことで、問合わせ画像Ｇｒに近い画像を抽出することができる。図５では、最終段階（Ｍ段階）までの比較処理を行っているが、検索画像が絞り込まれたときは、検索を途中の段階で止めるようにすることもできる。

なお、低解像度化情報生成部１１により低解像化される様子を図６（Ａ）から（Ｄ）に示す。図６（Ａ）は最も解像度が高く、（Ｂ），（Ｃ），（Ｄ）のように順次解像度が低くなっている。また、任意の初期ベクトル（画像）を入力とした自己組織化マップの自己組織化結果を図７に示す。これが、画像を検索するためのインデックスになる。

自己組織化処理部では学習により更新された参照ベクトルによりクラスタリングされる。クラスタリングの方法は以下のように定めた。近傍距離Ｄ_nbhdを、全参照ベクトルについて求め，Ｄ_nbhdが所定の閾値よりも大きい参照ベクトルをクラスタ参照ベクトルとしてある。自己組織化マップ上の参照ベクトの近傍距離Ｄ_nbhdを、たとえば、自身が持つ参照ベクトルと近傍の８個の参照ベクトルの持つ参照ベクトルとの距離として定義することができる。

図８（Ａ）は近傍距離Ｄ_nbhdを可視化した図であり、色が濃い部分ほど近傍距離が小さい。クラスタ参照ベクトルか否かを決定する閾値γは、近傍距離Ｄ_nbhdの標準偏差を用いて定めた。図８（Ｂ）は近傍距離を用いてのクラスタリング結果を示す図である。接触しているクラスタ参照ベクトルをまとめて、１から昇順でクラスタ番号を付けてある。

自己組織化の結果得られた複数の参照ベクトルと、入力画像保存装置に保存されている対応する解像度の画像との距離（色空間での距離）を比較し、全ての元画像自己組織化マップのどの参照ベクトルに属するかを決定する。次に、分割結果記録部と照会され、参照ベクトルのクラスタ番号に従って、元画像はグループ分けされる。

グループ分けされた元画像は、自己組織化部に再び入力され、階層が低い自己組織化マップのあるクラスタの次の階層に新しく自己組織化マップが作られる。これを、自己組織化処理続行判断部１３１が停止命令を出すまで繰り返す。
図９は、図４における類似情報分類参照装置１の検索処理を示すフローチャートである。
図９では、問い合わせ画像の特徴を、自己組織化マップ（ＳＯＭｉ（ｊ））と比較して、繰り返し比較を行う例を示している。まず、ＳＯＭｉ（ｊ）のｉ，ｊは初期化されている（Ｓ２１０）。

処理結果保存部１４から自己組織化マップＳＯＭｉ（ｊ）を呼び出し（Ｓ２２０）、参照ベクトルを操作表示部１９に表示し（Ｓ２３０）、自己組織化マップの画像が問い合わせ画像に該当するが判断される（Ｓ２４０）。該当しない場合（Ｓ２４０の「ＮＯ」）には、ｊをインクリメントし（Ｓ２５０）同一階層の他のＳＯＭｉ（ｊ＋１）について同様の比較判断を行う（Ｓ２１０からＳ２４０）。Ｓ２５０において該当する場合（Ｓ２５０の「ＹＥＳ」）には、処理を終了するかが判断される。類似する画像が検索され処理が必要でなくなった場合には処理は終了する。通常は、処理を終了する場合には、元画像の表示等が行われるが、説明の便宜上、図９では説明を省略している。

Ｓ２６０において処理を終了しない場合（Ｓ２６０の「ＮＯ」）には、自己組織化マップＳＯＭｉ（ｊ）のｉをインクリメントするとともに、ｊを初期化（ｊ＝１）して、処理をＳ２１０に戻す。

本発明の類似情報分類参照装置および類似情報分類参照方法の実施形態を示す機能ブロック図である。 図１の類似情報分類参照装置の処理を詳しく示す図である。 図１および図２における類似情報分類参照装置の処理を示すフローチャートである。 図１の類似情報分類参照装置を検索装置とした場合の実施形態を示す機能ブロック図である。 図４の類似情報分類参照装置における検索処理を示す説明図である。 低解像度化情報生成部１１により低解像化される様子を示す図であり、（Ａ）から（Ｄ）には順次解像度が低くなっている様子が示されている。 画像を検索するためのインデックスの例を示す図である。 （Ａ）は色空間での近傍距離を可視化した図であり、（Ｂ）は近傍距離を用いてのクラスタリング結果を示す図である。 図４における類似情報分類参照装置の検索処理を示すフローチャートである。

符号の説明

１ 類似情報分類参照装置
１０ 元情報記憶装置
１１ 低解像度化情報生成部
１２ 低解像度化情報保存部
１３ 自己組織化処理部
１４ 処理結果保存部
１５比較処理部
１６ 可視化インデックス生成部
１７ 検索候補情報一覧生成部
１８ 段階的可視化手段
１９ 操作表示部
１３１ 自己組織化マップ作成部
１３２ 自己組織化処理続行判断部

Claims (12)

1. 低解像度化情報生成部と、自己組織化処理部と、処理結果保存部とを備えた複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照装置において、
   前記対象情報は複数の解像度を持ち、
   前記低解像度化情報生成部は、前記複数の対象情報から、当該解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像化情報群を生成し、
   前記自己組織化処理部は、
   解像度Ｒ₁の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
   前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ₂の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
   前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ₃の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
   順次、
   前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_K-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、
   前記処理結果保存部は、前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
   ことを特徴とする対象情報の類似情報分類参照装置。
2. さらに、可視化インデックス生成部と、検索候補情報一覧生成部と、段階的可視化手段と、操作表示部とを備えた類似情報分類参照装置であって、
   前記自己組織化マップ作成部は、前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップを作成し、
   前記可視化インデックス生成部は、前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
   前記検索候補情報一覧生成部は、前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
   前記操作表示部は、前記可視化インデックス生成部により生成した参照ベクトルのインデックスと、前記検索候補情報一覧生成部により生成した対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
   前記自己組織化マップ作成部による処理、前記可視化インデックス生成部による処理、前記検索候補情報一覧生成部による処理および前記操作表示部による処理を繰り返すことで、前記段階的可視化手段は、検索候補情報を可視化して絞り込むことを特徴とする請求項１に記載の対象情報の類似情報分類参照装置。
3. 前記自己組織化マップ作成部における自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする請求項１または請求項２に記載の対象情報の類似情報分類参照装置。
4. 前記対象情報が画像であり、前記自己組織化マップ作成部における自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする請求項１から請求項３の何れかに記載の類似情報分類参照装置。
5. 前記自己組織化処理部が自己組織化処理続行判断部をさらに備え、
   自己組織化処理続行判断部は、より高い階層の自己組織化処理を行うか否かを判断し、当該判断結果に応じて自己組織化処理部における処理を続行または中止させることを特徴とする請求項１から請求項４の何れかに記載の類似情報分類参照装置。
6. 問い合わせ情報を入力して、当該問い合わせ情報と、前記処理結果保存部に保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項１から請求項５の何れかに記載の類似情報分類参照装置。
7. 複数の対象情報から所望の情報を抽出して参照するための類似情報分類参照方法において、
   前記対象情報は解像度を持ち、
   前記複数の対象情報から、当該解像度がＲ_MからＲ₁に順次低下するＭ段階（Ｍは２以上の整数）の複数の低解像化情報群を生成し、ついで、
   解像度Ｒ₁の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてクラスタリングを含む第１階層の自己組織化処理を行い、
   前記第１階層の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する所定解像度Ｒ₂の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第２階層の自己組織化処理を行い、
   前記各第２階層の各自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ₃の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第３階層の自己組織化処理を行い、
   順次、
   前記各第（Ｋ−１）階層（Ｋ＝４，５，・・・，Ｎ、Ｎ≦Ｍ）の自己組織化処理によるクラスタリング結果を元に、当該クラスタリング結果に対応する解像度Ｒ_K-1の複数の低解像度化情報群について、当該低解像度化情報群を構成する複数の低解像度化情報を入力としてそれぞれクラスタリングを含む第Ｋ階層の自己組織化処理を行い、この後、
   前記第１階層から前記第Ｎ階層の自己組織化処理の結果を保存しておく、
   ことを特徴とする対象情報の類似情報分類参照方法。
8. 前記第１階層から前記第Ｎ階層における自己組織化処理において参照ベクトルを用いた２次元の自己組織化マップ作成し、
   前記第１階層から前記第Ｎ階層における参照ベクトルのインデックスを生成し、
   前記第１階層から前記第Ｎ階層においてクラスタリングされた対象情報の一覧を生成し、
   前記参照ベクトルのインデックスと、前記対象情報の一覧とを照合し、上位階層の自己組織化マップを生成して当該自己組織化マップを可視化し、
   上記処理を繰り返すことで、検索候補情報を可視化して絞り込むことを特徴とする請求項７に記載の対象情報の類似情報分類参照方法。
9. 前記自己組織化マップ作成に際して、クラスタリングされたセルの全てを用いて、再学習により少なくとも１回クラスタリング処理を繰り返すことを特徴とする請求項７または請求項８に記載の対象情報の類似情報分類参照方法。
10. 前記対象情報が画像であり、前記自己組織化マップ作成に際して、低解像度化情報と参照ベクトルとの距離定義として、色差成分に重みをおいたＹＵＶの差分絶対値和を使用することを特徴とする請求項７から請求項９の何れかに記載の類似情報分類参照方法。
11. 自己組織化処理において、より高い階層の自己組織化処理を行うか否かを判断することを特徴とする請求項７から請求項１０の何れかに記載の類似情報分類参照方法。
12. 問い合わせ情報を入力して、問い合わせ情報と、保存された前記第１階層から前記第Ｎ階層の自己組織化処理の結果とを順次比較して類似情報を抽出することを特徴とする請求項７から請求項１１の何れかに記載の類似情報分類参照方法。