JP2003256443A

JP2003256443A - データ分類装置

Info

Publication number: JP2003256443A
Application number: JP2002059012A
Authority: JP
Inventors: Hitoshi Ikeda; 仁池田; Sukeji Kato; 典司加藤; Hirotsugu Kashimura; 洋次鹿志村
Original assignee: Fuji Xerox Co Ltd
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2002-03-05
Filing date: 2002-03-05
Publication date: 2003-09-12
Also published as: US20030169919A1; US7227985B2

Abstract

(57)【要約】【課題】自律的に動作し、かつマップ上のプロトタイ
プの数に配慮したデータ分類装置を提供する。【解決手段】クラスタ決定部３１が、入力されたパタ
ーンデータについて、各パターンベクトル間の類似度を
演算し、当該類似度によって近傍クラスタを決定して、
当該近傍クラスタに属するパターンベクトルと、注目パ
ターンベクトルとの間の相関値を演算し、当該相関値を
用いて、注目パターンベクトルの属するべきクラスタの
番号を分類部４２に設定する。分類部４２は、この設定
を用いて、分類対象として入力されるパターンベクトル
をクラスタに分類する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像、音声を含む
感覚データ等、種々のデータを分類するデータ分類装置
に関する。

【０００２】

【従来の技術】近年、情報機器の普及・発展に伴い、人
々が受取る情報量はますます増加している。このような
背景の下では、必要な情報を選びやすくするため、人間
の介入なしに情報を認識し分類する技術の開発が要望さ
れている。

【０００３】こうした要望に対し、分類対象のデータに
ついて比較して類似性のあるもの同士を一群のデータと
して分類する、クラスタリング方法が考えられている。
ここで類似性の判断に際しては、最尤度推定法、K-mean
s法、併合法、MDS（Multi-Dimensional Scaling）法な
どが知られている。

【０００４】

【発明が解決しようとする課題】しかしながら、上記従
来のクラスタリング方法は、パラメータの設定等、人間
の介入が不可欠で、自律的にクラスタリング処理を実行
できないという問題点があった。

【０００５】［関連技術］一方、比較的自律的にクラス
タリング処理を行うための方法として、パターンデータ
の１つとしての入力画像データを格子空間マップ上で分
類整理するものがある。この分類整理のためには、例え
ば自己組織化特徴マッピング（以下、ＳＯＭと略す）
（T. コホーネン Self-organizing formation of topol
ogically correct feature maps. Biological Cybernet
ics, 1982）を利用している。このＳＯＭは、データが
入力される入力層と、格子空間マップの競合層とからな
る２階層のネットワークで、入力はある重みづけがさ
れ、各格子に入力される。入力各成分についての重みづ
けをまとめたものを重みベクトルと称する。

【０００６】当初、重みベクトルは次の方法で初期化さ
れる。すなわち、上記コホーネンの文献に示されるよう
に、学習の対象となる複数の入力ベクトル（ここでの特
徴量セットに相当する）の中からプロトタイプ数と同数
の入力ベクトルＩをランダムに選び出し、各格子の重み
ベクトルの初期化を行う。また、同じく、コホーネンに
よれば、各重みベクトルに乱数で初期値を設定すること
としても構わない。

【０００７】次に、重みベクトルの学習を行う。この学
習課程においては、学習用の特徴量セットが生成され、
当該学習用特徴量セットと格子空間上の各格子の重みベ
クトルとの所定測度（例えばユークリッド距離）が演算
される。そして各格子のうち、関係が最大（測度が最
小）となる格子（勝利ノード）を見いだす。そして格子
空間上、その格子（勝利ノード）に対し近傍に存在する
各格子について、学習用特徴量セットとの測度が小さく
なるように、その重みベクトルを補正する。このような
重みベクトルの補正を行いつつ学習を繰り返すことで、
互いに類似する特徴量からなる特徴量セットに対し、最
小測度を有する格子が特定の領域に集中するようにな
り、データの分類に適用可能な状態となる。ここで、重
みベクトルを補正する対象となる格子を選ぶにあたり、
勝利ノードからのマップ上の距離を用いる。また、補正
量は、勝利ノードｃからの距離に応じて変化させること
が好ましく、補正量の大きさも変更可能としておくこと
が好ましい。一般的には、次の（１）式のように近隣の
ノードの重みベクトルＩに近づくよう重みベクトルwを
補正する。

【０００８】

【数１】なお、

【数２】ここで、α（ｔ）は、補正量の大きさを支配する量で、
学習係数と呼ばれる。また、σ（ｔ）は、重みベクトル
を修正する範囲の変化を決定する関数であり、近傍関数
と呼ばれる。これらは時間ｔに対し、ともに単調減少す
る関数である。勝者ノードを中心にマップ上のノード間
距離Ｒmaxが、

【数３】の範囲に属する格子について（１）式による補正が行わ
れるが、学習の繰り返しの中で、Ｒmaxはσ（ｔ）によ
って減少する。近傍関数σ（ｔ）としては、トライアン
グル型、レクトアングル型（四角）、メキシカンハット
型等の関数を用いる。この近傍関数σ（ｔ）の選択によ
っても、学習結果に影響があることが知られている。な
お、ｔは、「時刻」であり、特徴量セットが入力される
ごとにインクリメントされる。また、||rc-rj||は、勝
利ノードと、重みベクトルの補正対象ノードの間のノル
ム（距離）である。

【０００９】しかし、上記技術をそのまま適用したので
は、直ちに自律的なデータ分類を行うことはできない。
自律的なデータ分類を実現するには、まず、学習後の格
子空間マップが適切なものであるかの判断が必要であ
る。すなわち、（１）最適な格子空間マップを獲得する
方法が必要である。また、当該学習後の格子空間マップ
を利用してデータ分類を行うときには、分類の基準とな
る境界線を上記格子空間上に形成し、分類対象として与
えられたデータについての特徴量セットに対して最小測
度を有する格子が、どの境界線内に属するか（この境界
線で区切られた格子空間上の領域を以下、クラスタと呼
ぶ）に基づき、当該データを分類することが適切であ
る。すなわち、（２）クラスタの境界を決定する方法も
求められる。

【００１０】このうち、（１）最適な格子空間マップを
獲得する方法として、コホーネンは、平均量子化誤差が
最小となるマップを選択するという方法を提案してい
る。つまり、学習条件を互いに異ならせて形成した複数
の格子空間マップのうち、平均量子化誤差が最小のもの
を選択し、これを近似的に最適な格子空間マップとする
のである。この方法によると、入力される特徴量セット
の空間のトポロジーがマップのトポロジーに反映されな
い。いわば、トポロジーの保存度が低い。これは、クラ
スタリングの方法によっては誤分類に結びつくこともあ
る。

【００１１】トポロジーの保存に配慮したものとして、
トポロジー関数（topographic function）と呼ばれる所
定の指標を学習中にモニタし、これにより学習条件を制
御して適切なマップを形成する技術（Auto-SOM法）も開
発されている。しかし、トポロジー関数の演算自体が負
荷の高い処理であるため、学習時間が長くなる問題点が
ある。

【００１２】次に（２）クラスタの境界を自律的に決定
する方法としては、U-Matrix（Unified Distance Matri
x Methods）法と呼ばれる方法や、ポテンシャル法と呼
ばれる方法が研究されている。ここで、U-Matrix法につ
いては、A.Ultsch et. al.,"Knowledge Extraction fro
m Artificial Neural Networks and Applications",Pro
c.Transputer Anwender Treffen/ World Transputer Co
ngress TAT/WTC 93Aachen, Springer 1993に詳しく開示
されている。U-Matrixでは、マップ上で隣接する２つの
格子間の距離を次のように定義する。すなわち、当該２
つの格子の各重みベクトルの成分毎の差について、その
絶対値を総和したものや、当該差の二乗平均などを距離
として定義するのである。すると、類似性の高い特徴量
セットにそれぞれ強く結合（重みベクトルが特徴量セッ
トに近い値を持つもの、このようなものを以下、「特徴
量セットにプロトタイピングされている」と表現する）
している隣接格子間、つまり、類似性の高い２つの特徴
量セットのそれぞれにプロトタイピングされている隣接
格子間の上記距離は小さくなり、類似性の低い２つの特
徴量セットのそれぞれにプロトタイピングされている隣
接格子間の距離は大きくなる。そこでこの距離の大きさ
を高さとした３次元的な面を考えると、互いに類似する
特徴量セットにプロトタイピングされた格子間に対応す
る面の高さは低くなり「谷」を形成するのに対し、互い
に異なる特徴量セットにプロトタイピングされた格子間
に対応する面の高さは高くなり「山」を形成する。従っ
てこの「山」に沿って境界線を形成すれば、類似性の高
い特徴量セットにプロトタイピングされている格子の集
合（クラスタ）を規定できる。U-Matrixは、いわば、自
己組織化マップでは入力空間での距離が保存されない点
を補強したものであるということができる。

【００１３】しかしU-Matrixは、「山」と「谷」との高
低差が明瞭であれば境界を規定できるものの、現実の情
報処理では「山」と「谷」との高低差は期待されるほど
明瞭にならず、３次元面の高さはゆるやかに変化するこ
とも多い。この場合には、人為的に境界線を設定する必
要があって、必ずしも自律的に境界が決定できるわけで
はない。

【００１４】一方のポテンシャル法は、D.Coomans, D.
L.Massart, Anal.Chem.Acta., 5-3,225-239(1981)に開
示されているもので、事前に定めたポテンシャル関数を
用いて、入力データに対する関数の値を重ね合わせて入
力データを近似的に表現する母集団の確率密度関数を推
定し、重なりあいの少ない部分を境界として決定すると
いうものである。ポテンシャル関数としてはガウシアン
型の関数とすることが多い。具体的には、Ｎ個の入力ベ
クトルからなる入力データ群があるとき、それぞれＫ次
元の大きさを持つとするとｌ番目の入力データが他の入
力データから受ける平均的なポテンシャル（ｌ番目入力
が全体の入力集合に対する寄与率）Ψｌを次の（２），
（３）式によって定義する。

【００１５】

【数４】

【００１６】尚、ｘklはｌ番目入力のｋ番目の成分を意
味する。また、αはスムージングパラメータで分類され
るクラスタの数に影響を与える。従って、ポテンシャル
法では、その分布形状を仮定する分布関数の最適化や、
各種パラメータの最適化が入力ベクトル集合ごとに求め
られ、要するに分類対象となるデータの特性について事
前に知識が必要であるうえ、人為的調整が不可欠とな
る。また、このポテンシャル法では、入力データから得
られる特徴量セットが高次元になると、それについて適
切な確率密度分布を求めるにはサンプルが多数なければ
ならず、少数の格子からなるマップに対しての適用が困
難であるという問題点がある。つまり、ポテンシャル法
についても、必ずしも自律的に境界が決定できるわけで
はない。

【００１７】これらの問題点を解決するため、例えば特
開平７−２３４８５４号公報、特開平８−３６５５７号
公報、「自己組織化特徴マップ上のデータ密度ヒストグ
ラムを用いた教師無しクラスタ分類法」，電子情報通信
学会論文誌D-II Vol.J79-DIINo.7 pp.1280-1290, 1996
年７月などに開示された技術が研究されている。しかし
ながら、どの技術においても、入力されるデータの構成
自体や、マッピングの結果において、分類に使いたい特
徴が十分な距離をあけて各格子にプロトタイピングされ
ることを前提としており、画像データの分類において例
えば見られるような、分類してほしい特徴毎の分布形状
の差異や重なり、その特徴にプロトタイピングされてい
る格子のマップ上の位置の重心間の距離にばらつきがあ
る場合などでは、マップ上でクラスタの境界が複雑に入
り組むため、適切なクラスタリングができなくなる。

【００１８】さらに、関連技術においては、マップ上の
格子の数については研究の過程で経験的に決定するだけ
で、実際の用途に適合した適切な格子の数を決定すると
いったことは配慮されていなかった。しかしながら、適
切な数よりも格子の数が少ない場合、クラスタ境界部の
格子と、別のクラスタに属するべき特徴量セットが強く
結合されてしまう場合があり、この場合は分類誤りが多
くなる。この点について、格子の数を追加／削減して平
均量子化誤差が所定量を下回るようにするという技術
が、James S. Kirk et. al. "A Self-Organized Map wi
th Dynamic Architecture for Efficient Color Quanti
zation", IJCNN'01, 2128-2132に開示されている。尤
も、この技術では、入力データに対応する特徴量セット
の空間でのデータ分布を写像した格子が追加等されるだ
けなので、データ分類において重要となる、クラスタ境
界付近の格子の数を増大させるというようなことには配
慮されていない。そこで例えば当初から格子の数を多く
しておくこととしてもよいが、この場合、計算時間が長
くなって実用的でない。

【００１９】また、プロトタイプを用いることなく、入
力されるデータ（パターンデータ）を直接、クラスタに
分類する場合も同様に、パターンデータの集合の確率的
性質に基づき、パターンデータの集合をクラスタに分類
する方法がある。なお、ここで確率的性質は、例えばベ
イズ学習により確率分布パラメータを逐次的に推定する
方法や、ポテンシャル関数を用いる方法が知られてい
る。しかし、この場合に確率的性質を推定するにあたっ
ては、入力されるパターンデータについて、予めクラス
タリングのヒントとなる情報（例えばラベル）が付与さ
れている必要がある。これは、当該ヒントとなる情報ご
とに、パターンデータを仮に分類した上で、各分類での
確率分布を推定する演算を要するからである。

【００２０】そこで、個々のパターンデータ間の類似度
を所定の関数により演算し、パターンデータ空間の構造
を分析し、その分析結果としての構造に従ってクラスタ
リングを行うこともできる。この週の方法には、K-mean
s法や分割併合法（いわゆるISODATA法）として知られて
いる方法があるが、いずれも人為的にパラメータを設定
する必要がある。すなわち、K-means法では、パターン
データ群をいくつのクラスタに分割したいかを表す最終
クラスタ数を設定しておかなければならない。また、ク
ラスタ中心値と呼ばれるパラメータの設定に、クラスタ
リングの結果が敏感に依存してしまい、設定する値に応
じてクラスタリング結果の良否が決ってしまう問題点も
ある。

【００２１】一方、分割併合法においても、クラスタ除
去閾値、クラスタ分割閾値、クラスタ併合閾値といった
数多くのパラメータ設定が必要であり、クラスタリング
結果は、これらの値の設定に大きく依存している。

【００２２】本発明は、上記実情に鑑みて為されたもの
で、自律的にクラスタリングを行うことのできるデータ
分類装置を提供することを目的とする。

【００２３】

【課題を解決するための手段】上記従来例の問題点を解
決するための本発明は、入力される複数のパターンデー
タを少なくとも一つのクラスタに分類するデータ分類装
置であって、当初は前記パターンデータの各々につい
て、その属するクラスタを仮に決定しておき、各クラス
タごとに、当該クラスタに属している少なくとも１つの
パターンデータと、クラスタに分類する対象となった注
目パターンデータとの間で所定の相関値を演算し、前記
相関値に基づき、前記注目パターンデータの属するべき
クラスタを決定することを特徴としている。

【００２４】また、上記従来例の問題点を解決するため
の本発明は、入力される複数のパターンデータを少なく
とも一つのクラスタに分類するデータ分類装置であっ
て、当初は前記パターンデータの各々について、その属
するクラスタを仮に決定しておき、各クラスタごとに、
当該クラスタに属している各パターンデータと、クラス
タに分類する対象となった注目パターンデータとの間の
各類似度を所定の関数により決定し、前記各類似度の値
を総和して相関値を演算し、各クラスタごとの前記相関
値に基づき、前記注目パターンデータの属するべきクラ
スタを決定することを特徴としている。

【００２５】ここで、前記所定の関数は、パターンデー
タの類似度の出現頻度分布に基づくパラメータまたは、
各パターンデータについての他のパターンデータとの類
似度の統計量に基づくパラメータを含んで定義されるこ
とも好ましい。また、前記所定の関数は、類似度の低下
に伴いその値が比較的急速に最小値に漸近する関数であ
ることとするのも好ましい。

【００２６】さらに、上記従来例の問題点を解決するた
めの本発明は、入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類装置であっ
て、（ａ）前記パターンデータの各々について、その属
するクラスタを仮に決定し、（ｂ）各パターンデータを
順次、クラスタに分類する対象となるべき注目パターン
データとして選択し、（ｃ）各クラスタごとに、当該ク
ラスタに属している少なくとも１つのパターンデータ
と、クラスタに分類する対象となった注目パターンデー
タとの間で所定の相関値を演算し、（ｄ）前記相関値に
基づき、前記注目パターンデータの属するべきクラスタ
を決定し、前記（ｂ），（ｃ），（ｄ）の処理を、各パ
ターンデータの属するべきクラスタの変更がなくなるま
で繰返して行って、各パターンデータをクラスタに分類
することを特徴とする。

【００２７】また、本発明のある態様によれば、入力さ
れる複数のパターンデータを少なくとも一つのクラスタ
に分類するデータ分類方法であって、当初は前記パター
ンデータの各々について、その属するクラスタを仮に決
定しておき、各クラスタごとに、当該クラスタに属して
いる少なくとも１つのパターンデータと、クラスタに分
類する対象となった注目パターンデータとの間で所定の
相関値を演算し、前記相関値に基づき、前記注目パター
ンデータの属するべきクラスタを決定することを特徴と
している。

【００２８】さらに、本発明の別の態様によると、入力
される複数のパターンデータを少なくとも一つのクラス
タに分類するデータ分類方法であって、当初は前記パタ
ーンデータの各々について、その属するクラスタを仮に
決定しておき、各クラスタごとに、当該クラスタに属し
ている各パターンデータと、クラスタに分類する対象と
なった注目パターンデータとの間の各類似度を所定の関
数により決定し、前記各類似度の値を総和して相関値を
演算し、各クラスタごとの前記相関値に基づき、前記注
目パターンデータの属するべきクラスタを決定すること
を特徴としている。

【００２９】さらに、上記従来例の問題点を解決するた
めの本発明は、コンピュータに、入力される複数のパタ
ーンデータを少なくとも一つのクラスタに分類させるデ
ータ分類プログラムであって、当初は前記パターンデー
タの各々について、その属するクラスタを仮に決定して
おき、各クラスタごとに、当該クラスタに属している少
なくとも１つのパターンデータと、クラスタに分類する
対象となった注目パターンデータとの間で所定の相関値
を演算する手順と、前記相関値に基づき、前記注目パタ
ーンデータの属するべきクラスタを決定する手順と、を
実行させることを特徴としている。

【００３０】また、上記従来例の問題点を解決するため
の本発明は、コンピュータに、入力される複数のパター
ンデータを少なくとも一つのクラスタに分類させるデー
タ分類プログラムであって、当初は前記パターンデータ
の各々について、その属するクラスタを仮に決定してお
き、各クラスタごとに、当該クラスタに属している各パ
ターンデータと、クラスタに分類する対象となった注目
パターンデータとの間の各類似度を所定の関数により決
定し、前記各類似度の値を総和して相関値を演算する手
順と、各クラスタごとの前記相関値に基づき、前記注目
パターンデータの属するべきクラスタを決定する手順
と、を実行させることを特徴としている。

【００３１】

【発明の実施の形態】本発明の実施の形態について図面
を参照しながら説明する。なお、以下の説明では画像デ
ータの分類を行う場合を例として挙げながら説明する
が、実際の利用においては、画像データのみならず、味
覚データなど他の感覚器データであってもよいし、さら
に実験結果などの測定データであっても構わない。

【００３２】本実施の形態に係るデータ分類装置１は、
図１に示すように、ＣＰＵ１１と、ＲＡＭ１２と、ＲＯ
Ｍ１３と、ハードディスク１４と、画像入力用インタフ
ェース１５と、ディスプレイ１６と、外部記憶部１７と
から基本的に構成され、これら各部はバス接続されてい
る。すなわち、本実施の形態のデータ分類装置１は、一
般的なパーソナルコンピュータによってソフトウエア的
に実現される。このソフトウエアは、一般的にはＣＤＲ
ＯＭやＤＶＤＲＯＭなどの記録媒体に格納された状態で
頒布され、またはネットワークを介してダウンロードさ
れる（ネットワークに対する接続インタフェースは図示
を省略した）。そして、当該記録媒体によって頒布され
る場合には外部記憶部１７にて読み出されて、所定のイ
ンストール処理により、ハードディスク１４に格納され
る。また、ネットワークを介してダウンロードされた場
合も同様に、ハードディスク１４にインストールされ
る。

【００３３】ＣＰＵ１１は、このハードディスク１４に
格納されているプログラムに従って動作し、基本的には
Ｗｉｎｄｏｗｓ（登録商標）等のオペレーティングシス
テムの管理下で本実施の形態のデータ分類装置１を具現
化するデータ分類プログラム等を実行する。

【００３４】ＲＡＭ１２は、ＣＰＵ１１のワークメモリ
として利用されるもので、ＣＰＵ１１の処理中に各種パ
ラメータやデータを記憶するために用いられる。ＲＯＭ
１３は、主としてオペレーティングシステムの読み込み
の処理など、データ分類装置１が起動する際に必要とな
るプログラムが格納されている。この起動用プログラム
の内容は広く知られているので、その説明を省略する。

【００３５】ハードディスク１４は、オペレーティング
システムの本体や、種々のプログラムがインストールさ
れている。また、本実施の形態においては、このハード
ディスク１４には、既に説明したように、データ分類プ
ログラムがインストールされている。尚、ここではハー
ドディスク内に格納されている場合について例示した
が、例えばＳＲＡＭ（Static Random Access Memory）
や、ＥＥＰＲＯＭ等の不揮発性メモリにインストールし
ても構わないし、図１に示したように、ＣＰＵ１１と同
一筐体に含まなくても、図示しないネットワークインタ
フェースを介して接続される別のコンピュータ内にイン
ストールされていてもよい。

【００３６】画像入力用インタフェース１５には、スキ
ャナ等の画像入力装置が接続され、当該画像入力装置か
ら画像データの入力を受けて、ＣＰＵ１１に出力する。
ディスプレイ１６は、ＣＰＵ１１からの指示に従って、
画像を表示する。

【００３７】［実施の形態１］ここで第１の実施の形態
として、具体的に入力されるパターンデータについて、
各パターンデータを代表するプロトタイプを生成し、そ
のプロトタイプをマップ上で分類した上で、当該マップ
上で分類されたプロトタイプ群を、入力される各パター
ンデータの分類に供するものについて、第１の実施の形
態として説明する。本実施の形態のデータ分類プログラ
ムは、マップ生成部２１と、クラスタ境界決定部２２と
を含み、マップ生成部２１は、ＳＯＭ学習部３１と、マ
ップ選択部３２と、学習条件設定部３３と、プロトタイ
プ追加部３４とを備える。ここでは、これらの各部が、
それぞれソフトウエアモジュールとして実現されること
としているが、ハードウエア的に論理回路によって構成
されても構わない。このＣＰＵ１１における処理につい
ては後に詳しく述べる。

【００３８】［処理の詳細］ここでＣＰＵ１１が実行す
るデータ分類プログラムの詳細について、図２を参照し
ながら説明する。マップ生成部２１は、例えば既に説明
した自己組織化マッピング（ＳＯＭ）により、プロトタ
イプマップを形成し、形成したプロトタイプマップの情
報をクラスタ境界決定部２２に出力する。クラスタ境界
決定部２２は、マップ生成部２１から入力されるプロト
タイプマップに対し、各プロトタイプをクラスタに分類
する。以下、これらの各部についての動作を分けて詳し
く述べる。

【００３９】［マップ生成］まず、マップ生成部２１の
ＳＯＭ学習部３１は、学習条件設定部３３から入力され
る複数（例えばＭセット（Ｍは２以上の整数））の学習
条件のセットの各々に対応するＭ個のプロトタイプマッ
プ候補を生成する。各マップ候補は、各プロトタイプを
特定する情報に対して、そのプロトタイプと特徴量セッ
トの成分の各々との関係重みの情報を関連づけたもので
ある。本実施の形態においては、マップを構成するプロ
トタイプは必ずしも格子点状に配列されている必要はな
い（この場合、プロトタイプを特定する情報にプロトタ
イプのマップ上の座標情報が含まれてもよい）が、以下
の説明では簡単のため、格子点状に配列されているもの
として説明する。

【００４０】マップ選択部３２は、各マップ候補を量子
化誤差（ＱＥ）と、トポロジカル・プロダクト（以下、
ＴＰと呼ぶ）とを演算して、これらに基づき、クラスタ
決定に適したマップを一つ、チャンピオンマップとして
選択する。ここで、量子化誤差は、次の（４）式で演算
される。

【００４１】

【数５】

【００４２】（４）式において、Ｐはマップ学習に用い
る特徴量セットの数（つまり学習パターン数）であり、
Ｅjは、ｊ番目の特徴量セットベクトルであり、Ｗcは、
ｊ番目の特徴量セットベクトルに対しての勝利ノードの
重みベクトルである。なお、この量子化誤差について
は、コホーネンらにより広く知られたものであるので、
その詳細な説明を省略する。

【００４３】また、ＴＰは、次の（５）式で演算され
る。

【００４４】

【数６】

【００４５】このＴＰは、入力層での空間（特徴量セッ
トの空間）と、競合層での空間（プロトタイプの空間）
との相対的位置関係が一致するほど小さい値となるもの
で、バウアー（Bauer）らによって、Bauer, H.U., and
Pawelzik, K.R.,(1992), "Quantifying the neighborho
od preservation of self-organizing feature maps."
IEEE Trans. Neural Networks, 3, 570-579などの論文
で提案されているものである。

【００４６】マップ選択部３２は、これらＱＥとＴＰと
の値を用いて、次の（６）式にて演算されるスコア値が
小さいものをチャンピオンマップＭＡＰcとして選択
し、その選択結果を出力する。

【００４７】

【数７】つまり、

【数８】である。

【００４８】また、マップ選択部３２は、当初は、この
チャンピオンマップの選択結果を後段のクラスタ境界決
定部２２には出力せず、少なくとも一度、学習条件設定
部３３に出力する。そして事前に設定された回数だけ繰
返してチャンピオンマップの選択を行った後に、その時
点での選択結果をクラスタ境界決定部２２に出力する。

【００４９】学習条件設定部３３は、学習条件として例
えば学習用の入力データの数（学習の回数）Ｎと、近傍
距離σ（ｔ）と、学習係数α（ｔ）とのセットをＭセッ
ト出力する。この学習条件設定部３３は、当初はこれら
の値や関数（Ｎ，σ（ｔ），α（ｔ））をランダムなパ
ラメータに基づいて決定するか、事前に定められたセッ
ト（プリセット）として決定する。また、この学習条件
設定部３３は、マップ選択部３２からチャンピオンマッ
プの選択結果の入力を受けて、当該選択結果のマップ候
補に対応する学習条件のセットを取出す。そして、この
取出した学習条件のセットを基準として、さらにＭ個の
学習条件のセットを生成して設定し、ＳＯＭ学習部３１
に出力する。

【００５０】なお、プロトタイプ追加部３４は、クラス
タ境界決定がされた後に、プロトタイプマップの所定の
位置にプロトタイプを追加してさらに学習を行わせるも
のであるが、クラスタ境界決定部２２の動作に関係する
ので、後に詳しく説明する。

【００５１】ここで、マップ生成部２１における学習の
動作について説明する。当初、学習条件設定部３３がラ
ンダムな、又は事前に定められたパラメータを用いて学
習条件のセットを複数（例えばＭセット）生成して出力
する。ＳＯＭ学習部３１は、学習条件設定部３３が出力
する各学習条件のセットに応じてＭ個のプロトタイプマ
ップの候補（マップ候補）を生成し、マップ選択部３２
に出力する。マップ選択部３２は、これらのマップ候補
の中から、量子化誤差とＴＰとの双方を用いて学習状態
がクラスタリングに対して好適となっているマップ（チ
ャンピオンマップ）を選択し、その選択結果を学習条件
設定部３３に出力する。すると、学習条件設定部３３が
当該チャンピオンマップの生成に用いられた学習条件に
基づき、新たな学習条件のセットを複数生成し、再度Ｓ
ＯＭ学習部３１に出力して複数のマップ候補を生成させ
る。

【００５２】このようにして、マップ候補の生成、チャ
ンピオンマップの選択、学習条件の再設定という動作を
所定の回数だけ繰返し、その結果得られたチャンピオン
マップがクラスタの境界設定対象マップとしてクラスタ
境界決定部２２に出力される。

【００５３】［クラスタ境界決定］クラスタ境界決定部
２２は、マップ生成部２１から入力される境界設定対象
となったマップについて、図３に示すような処理を実行
する。具体的にクラスタ境界決定部２２は、入力された
マップに含まれるプロトタイプの各々に固有の番号を割
当てて、仮のクラスタリング結果を生成する（Ｓ１）。
この番号は、所定の順序に「１」から順に「Ｐ」（プロ
トタイプの数をＰとする）まで番号を振ったものでよ
い。この番号が仮のクラスタ番号となる。すなわち、当
初は、各プロトタイプが互いに異なるクラスタに分類さ
れる。

【００５４】次に、クラスタ境界決定部２２は、プロト
タイプペアを抽出し、抽出したプロトタイプペアに係る
各プロトタイプの重みベクトル間の類似度（Ｃｄ）を計
算する（Ｓ２）。この計算の結果は、類似度テーブルと
してＲＡＭ１２に格納される。ここでプロトタイプペア
というのは、各プロトタイプを順次注目プロトタイプと
して選択し、注目プロトタイプと、他のプロトタイプと
のすべての組み合せを採ったもの、すなわち２つのプロ
トタイプの組み合せ（combination）のすべてをいって
いる。またここで類似度とは、各重みベクトルの成分ご
との差の二乗和（距離）を用いる。

【００５５】この類似度をクラス（所定の数値範囲ご
と）に分類して、各クラスごとの出現頻度の情報を生成
し（図４）、この出現頻度が最大となった距離をＣｄと
し、所定の「０」に近い微小量δ（例えばδ＝０．０
１）を決定しておく。あるいは、出現頻度が最大となる
距離より短くかつ頻度が減少から増加に転じる最大の距
離をＣｄとしてもよい。

【００５６】次に、クラスタ番号の更新処理を開始する
（Ｓ３）。このクラスタ番号更新処理は、図５に示すよ
うなものであるが、ここでは簡単のため、クラスタの境
界を決定しようとするプロトタイプマップとして３×３
の格子マップがあるとして説明する。当初プロトタイプ
マップに対しては処理Ｓ１にて、３×３＝９個のプロト
タイプにそれぞれ図６（ａ）に示すような「１」〜
「９」の固有の番号を割当ててある。

【００５７】クラスタ境界決定部２２は、各プロトタイ
プを順次、注目プロトタイプとして選択する（Ｓ１
１）。そして、当該注目プロトタイプに隣接する（仮に
クラスタリングされたプロトタイプマップ上で所定距離
内の）プロトタイプの属しているクラスタを選択し（Ｓ
１２）、当該選択したクラスタに属するプロトタイプを
抽出する（Ｓ１３）。

【００５８】図６の例では例えば左下側の「１」を注目
プロトタイプとして、それに隣接するクラスタの番号
「１」，「４」，「５」，「２」のそれぞれについて、
各クラスタに属するプロトタイプを選択することにな
る。そして、クラスタ境界決定部２２は、処理Ｓ１２に
て選択したクラスタに属する各プロトタイプと注目プロ
トタイプとの測度としての相関量を次の（７）式（類似
度の低下に伴い、所定微分値より急速に「０」に漸近す
る関数）を用いて演算し（Ｓ１４）、この相関量に基づ
き注目プロトタイプの属するクラスタを決定する。

【００５９】

【数９】

【００６０】ここで、y*は、注目プロトタイプの重みベ
クトルであり、yiは、i番目のプロトタイプの重みベク
トルである。また、χは、プロトタイプベクトルの集合
であり、χ(c)は、クラスタ番号ｃのプロトタイプベク
トルの集合である。また、αの決定に用いられるＣｄ，
δは、処理Ｓ２にて得たものであり、Lnは、自然対数を
表す。すなわち、（７）式は、注目プロトタイプと、ク
ラスタ番号ｃに属するプロトタイプとの距離の総和を全
体平均で除したもので、注目プロトタイプと、クラスタ
ｃの相関量を表し、クラスタｃの中に注目プロトタイプ
との重みベクトル間の相関量の大きいプロトタイプが多
いほど（７）式は、大きい値となる。

【００６１】クラスタ境界決定部２２は、（７）式が最
も大きい値となるクラスタの番号を、注目プロトタイプ
のクラスタ番号として仮決定し（Ｓ１５）、この仮決定
の内容を記憶する（Ｓ１６）。

【００６２】ここで図６（ａ）に示したクラスタ「１」
に分類されたプロトタイプが注目プロトタイプである場
合、隣接プロトタイプとして「１」に属するプロトタイ
プについては、当初は他のプロトタイプがないので、演
算されず、「４」に属するプロトタイプ、「５」に属す
るプロトタイプ、「２」に属するプロトタイプとの間の
相関量が演算され、例えば「４」に属するプロトタイプ
との距離が最も短い場合、注目プロトタイプの属するク
ラスタを「１」から「４」に変更する（図６（ｂ））。
ここで隣接するプロトタイプだけでなく、全プロトタイ
プとの演算を行ってもよい。そのようにすると、プロト
タイプマップ上は距離があるが、重みベクトル間の距離
は小さいというようなプロトタイプを同一クラスタにま
とめることができる。しかしながら、このようにする
と、計算時間が大きくなるので、ここでは事前にＴＰを
用いた評価を加味してプロトタイプマップ上の距離と、
重みベクトル間の距離とが大きく違わないようなマップ
を選択したのである。

【００６３】そしてクラスタ境界決定部２２は、すべて
のプロトタイプを注目プロトタイプとして選択したか否
かを調べ（Ｓ１７）、まだ選択されていないプロトタイ
プがあれば（Ｎｏならば）、処理Ｓ１１に戻って処理を
続ける。また、処理Ｓ１７において、すべてのプロトタ
イプが選択されているならば（Ｙｅｓならば）、クラス
タ番号更新の処理を終了する。

【００６４】クラスタ境界決定部２２は、図３に示す処
理に戻り、このようにして仮決定した内容と、更新処理
前のクラスタ番号とを比較し、クラスタ番号に変化があ
ったか（クラスタ番号がまだ収束していないか）を調べ
（Ｓ４）、変化があった場合には（Ｙｅｓならば）、当
該仮決定した内容を新たに仮のクラスタリング結果と
し、処理Ｓ３を繰返して実行する。また、処理Ｓ４にて
変化がなければ（Ｎｏならば）、すなわち収束したなら
ば、現在のクラスタリング結果を出力する。

【００６５】なお、上述の処理Ｓ２でのＣｄの決定方法
に代えて、各注目プロトタイプについて、他のプロトタ
イプとの類似度の統計量を演算し、各注目プロトタイプ
ごとの統計量に対して、さらに所定の統計処理を行った
結果を用いて、Ｃｄを決定してもよい。この場合、Ｃｄ
は、次の（９）式で決められる。

【００６６】

【数１０】

【００６７】ここで、ｋは、クラスタ決定の対象となる
プロトタイプが現在属するクラスタに隣接するクラスタ
であり、Ｃ1は、「１」より大きな正の定数である。こ
の（９）式によりＣｄを決めることで、隣接クラスタの
中で、少なくとも１つのクラスタに属するすべてのプロ
トタイプが、クラスタ決定の対象となるプロトタイプに
影響する。また、個々のプロトタイプごとに適したＣｄ
を適応的に決定することが可能となる。

【００６８】［プロトタイプの追加］本実施の形態にお
いて特徴的なことは、クラスタ境界決定部２２がクラス
タリング結果を直ちに最終的な結果として出力せず、少
なくとも１度、マップ生成部２１のプロトタイプ追加部
３４に戻して出力できることである。プロトタイプ追加
部３４は、クラスタリング結果を参照して、クラスタの
境界部に新規プロトタイプを生成して、再度学習を行わ
せるべく、ＳＯＭ学習部３１に当該新規プロトタイプ追
加後のプロトタイプマップを出力する。この際の学習
は、微調整を目的とするものなので、例えばクラスタリ
ング前の学習ではα（ｔ）＝０．２、σ（ｔ）＝２．０
と初期設定して、７００パターンを１００００回学習す
るよう学習条件パラメータが設定されていた場合でも、
新規プロトタイプ追加後の学習では、α（ｔ）＝０．０
０２、σ（ｔ）＝１．０、パターンの繰返し入力が１０
０といった学習条件パラメータで構わない。

【００６９】具体的に、図６（ａ）のように当初仮にク
ラスタリングされていたプロトタイプマップに対して、
クラスタ境界決定部２２が、クラスタ図６（ｃ）のよう
なクラスタリング結果を出力したとすると、この「４」
と「６」との境界に新規プロトタイプを形成する（図６
（ｄ））。ここで図６（ｄ）では、理解のために先のク
ラスタリング結果を括弧つきで示したが、このようにプ
ロトタイプを追加した後は、先のクラスタリング結果は
無意味なものである。

【００７０】なお、新規プロトタイプは、必ずしもクラ
スタ境界に沿って全体的に追加しなければならないもの
ではなく、その少なくとも一部に追加するものであって
も構わない。この場合において、追加する部分として
は、学習入力ベクトル（パターン）に対して最も距離の
短い、最近接プロトタイプとなった回数（パターンの
数）に基づいて決定することが好ましい。ＳＯＭ学習や
ＶＱ学習といった学習方法では、U-Matrix法が利用する
ように、クラスタの中心部ではプロトタイプの密度が大
きくなり、クラスタ境界部ではプロトタイプの密度が小
さくなる。従って、学習入力パターンに対して最近接プ
ロトタイプとなる機会が少なく、所定の閾値以下の場
合、つまりプロトタイプの密度が所定のしきい値よりも
低い部分は、クラスタ境界近傍のプロトタイプとみなす
ことができる。そこで、当該部分に新規プロトタイプを
追加するようにすれば、境界全体に沿って追加すること
がなくなり、再度の学習や、再度のクラスタリングにか
かる効率を向上できる。

【００７１】また、追加する新規プロトタイプの重みベ
クトルを決定するには、追加しようとする位置（例えば
境界部分）近傍の既存プロトタイプの重みベクトルに対
する所定の統計演算結果（例えば算術平均値）により重
みベクトルを決定する。

【００７２】［動作］次に、本実施の形態に係るデータ
分類装置１の動作について説明する。まず、学習条件設
定部３３が複数の学習条件パラメータのセットＳ1，Ｓ
2，…ＳMを出力して、ＳＯＭ学習部３１において当該学
習条件パラメータのセットの数に対応した（Ｍ個の）プ
ロトタイプマップが生成される。ＳＯＭ学習部３１は、
外部から入力される学習画像データに基づき所定の特徴
量ベクトルを生成し、各プロトタイプマップの各プロト
タイプと当該特徴量ベクトルの各成分との結合重みを調
整する。ＳＯＭ学習部３１のこの動作は、コホーネンら
の記述により広く知られたものである。学習画像データ
としては、例えば「目」に関する画像データや、「鼻」
に関する画像データなど、後に分類の対象としようとす
る画像データとする。

【００７３】ＳＯＭ学習部３１により生成された複数の
プロトタイプマップは、マップ選択部３２に出力され、
マップ選択部３２が各マップに含まれるプロトタイプに
関する演算から、量子化誤差（ＱＥ）及びトポロジカル
・プロダクト（ＴＰ）に基づき、量子化誤差が低く、Ｔ
Ｐにより示される入力層での空間（特徴量セットの空
間）と、競合層での空間（プロトタイプの空間）との相
対的位置関係の一致度、すなわち、重みベクトル間の距
離と、競合層での距離との一致度が高いマップを選択す
る。これにより、類似する画像データに反応するプロト
タイプ間のマップ上の距離が小さくなる。

【００７４】そして選択されたマップの学習に用いられ
た学習条件パラメータのセットに基づき、学習条件設定
部３３が再度学習条件パラメータのセットを複数生成し
てＳＯＭ学習部３１に出力し、複数のマップが再度生成
され、その中から、ＱＥ及びＴＰに基づくマップ選択が
行われる。こうして、学習条件パラメータが再帰的に調
整され、マップの学習形成が再帰的に行われる。

【００７５】このような再帰的学習の結果得られたマッ
プについて、クラスタ境界決定部２２が、マップ上のプ
ロトタイプを順次選択し、その選択したプロトタイプと
それに隣接するプロトタイプとの間の相関量が大きいも
の同士を一つのクラスタにまとめる。つまり、プロトタ
イプのマップ上での隣接関係及び相関量によって各プロ
トタイプの属するクラスタが決定される。そして、この
処理を繰返し実行して、クラスタリングの結果が収束し
たところで、そのクラスタリングの結果をプロトタイプ
追加部３４に出力する。

【００７６】プロトタイプ追加部３４がクラスタの境界
部分に新規プロトタイプを追加したマップを生成して、
このマップをＳＯＭ学習部３１に出力し、所定の学習条
件を設定して再度学習を行わせる。この際は学習条件パ
ラメータのセットは１つだけでよく、従ってマップは一
つだけで構わない。そこで、この一つのマップの学習処
理が完了すると、当該マップを（マップ選択部３２を介
することなく）そのままクラスタ境界決定部２２に出力
し、クラスタ境界決定部２２が改めてクラスタリングの
処理を行う。

【００７７】そしてこのクラスタリングの処理の結果と
して得られたマップが分類処理に供される。すなわち、
分類対象として入力された画像データに対して特徴量ベ
クトルを生成し、この特徴量ベクトルに対して最も結合
重みの大きいプロトタイプ（入力された画像データに反
応するプロトタイプ）を見いだす。そして当該プロトタ
イプの属するクラスタの番号が、当該画像データの分類
番号となる。これにより、互いに類似する画像データ
（例えば「目」の画像データ）に対して特定の分類番号
が決定され、互いに異なる画像データ（例えば「目」と
「鼻」との画像データの各々）に対しては、異なる分類
番号が決定されて出力され、その結果は、ディスプレイ
１６に表示され、また図示しないプリンタ等により印字
される。

【００７８】このように本実施の形態によると、人間が
介入してパラメータを設定することなく、自律的に学習
とクラスタリングとが行われる。また、プロトタイプの
数が不足していれば、自律的にクラスタ境界部分にプロ
トタイプが追加され、適切な数のプロトタイプでの学
習、分類処理が実行される。

【００７９】［具体的実施例］ここで、本実施の形態に
おける、新規プロトタイプを追加することについての実
施例について説明する。まず、「目」と「口」の２つに
分類されるべき画像データを７００個用意し、プロトタ
イプ数が３×３＝９個のプロトタイプマップを用いて学
習をさせることとする。ここでは簡単のため、学習条件
パラメータは、１つのセットのみ（従ってマップは１つ
だけ）とし、α（ｔ）＝０．２、σ（ｔ）＝２．０、７
００パターンを１００００回繰返して入力してＳＯＭ学
習させる。この結果得られたプロトタイプマップに対し
てクラスタ境界決定を行った結果、図７に示すようにク
ラスタ境界が形成された。そして、このマップを用いて
データ分類を実行したところ、７００のうち１５のパタ
ーンが誤って分類されることが実験的に確認された。

【００８０】そこで、クラスタ境界に図８（ａ）に示す
ような新規プロトタイプ（図面上、「New」と示したも
の）を追加し、改めてα（ｔ）＝０．００２、σ（ｔ）
＝１．０、パターン繰返し入力回数１００として追加的
な学習を行わせ、再度クラスタ境界決定を実行したとこ
ろ、図８（ｂ）に示すようなクラスタリング結果が得ら
れた。これによるデータ分類の結果、誤って分類された
データの数は０となった。そこで、境界部分のプロトタ
イプの重みベクトルを検証したところ、分類対象となる
「目」と「口」との双方に対して最近接プロトタイプと
なるものがなくなっていることがわかった。

【００８１】これに対し、始めから３×４＝１２のプロ
トタイプを配置したマップを用いて、学習条件パラメー
タをα（ｔ）＝０．２、σ（ｔ）＝２．０とし、７００
パターンを１００００回繰返して入力してＳＯＭ学習さ
せ、クラスタリングしたものを用いてデータ分類を行わ
せると、「目」と「口」との双方に対して最近接プロト
タイプとなるものが、クラスタ境界部分に存在し、若干
の分類誤りが発生することが実験的にわかった。これ
は、一旦クラスタ境界が形成された部分の解像度を高め
るべくプロトタイプが追加される本実施の形態のものに
対し、予めプロトタイプの数を多くしておく方法では、
入力空間でのパターン分布を写像するようにプロトタイ
プの学習が行われてしまうので、クラスタ境界部分での
データ分類の精度を高めるようにはならないためであ
る。さらに、本実施の形態では、当初は少ない数のプロ
トタイプで学習が行われるために、初期の学習にかかる
時間を短縮できる。再学習は、上に述べたように学習条
件パラメータを変更し、微調整程度の学習を行えば済む
ので、再学習の時間を加えても、最初からプロトタイプ
の数を多くした場合よりも短い学習時間で済む。

【００８２】［変形例］なお、ここまでの説明では、学
習条件パラメータを再帰的に調整して学習し、プロトタ
イプ間の相関度を用いてクラスタを決定し、クラスタ決
定後にプロトタイプを追加して再学習、再度のクラスタ
決定を行うこととしているが、プロトタイプを追加する
技術については、既に用いられているプロトタイプマッ
プの学習形成と、クラスタリング技術に独立して適用し
てもよい。この場合、プロトタイプマップの学習には、
ＳＯＭだけでなく、ＶＱ学習なども用いてもよい。

【００８３】さらに、ここまでの説明では、画像データ
の分類について説明したが、その他のデータの分類につ
いても本実施の形態のデータ分類装置を用いることがで
きる。

【００８４】［第２の実施の形態］次に、本発明の第２
の実施の形態として、パターンデータを直接的にクラス
タリングするデータ分類装置について説明する。本実施
の形態のデータ分類プログラムは、図９に示すように、
クラスタ決定部４１と、分類部４２とを含んで構成され
ている。

【００８５】クラスタ決定部４１は、クラスタリングの
ための学習を行うときに動作し、後に詳しく説明する、
クラスタリング処理を実行してクラスタリング結果（い
わゆるクラスタフィルタ）を生成して、分類部４２に出
力する。分類部４２は、実際の分類処理を実行するとき
に動作し、入力されたクラスタリング結果を記憶して
（例えばハードディスク１４に格納して）、入力される
パターンデータについて、当該クラスタフィルタを参照
しながら、どのクラスタに分類されるべきデータである
かを決定し、その決定の結果を分類結果として出力す
る。この分類部４２の処理の詳細についても後に詳しく
述べる。

【００８６】［処理の詳細］ここでＣＰＵ１１が実行す
るデータ分類プログラムにおけるクラスタ決定部４１及
び分類部４２の処理の詳細について説明する。まず、ク
ラスタ決定部４１の処理の詳細について説明する。ＣＰ
Ｕ１１は、クラスタ決定部４１の処理として、図１０に
示す処理が行われ、入力されたＮ個のパターンデータを
ＲＡＭ１２又はハードディスク１４に記憶し、入力され
た順番に、「１」から「Ｎ」までの番号をクラスタ番号
として仮に割当てる（Ｓ２１）。また、各パターンデー
タについて、その性状を特徴づける量をパターンベクト
ルとして演算する。ＣＰＵ１１は、これら（仮の）クラ
スタ番号と、パターンベクトルとを、それぞれ対応する
パターンデータに関連づけて格納しておく。当該パター
ンベクトル間の類似度を所定の関数によって演算する
（Ｓ２２）。ここで類似度の演算に用いられる関数は、
例えばパターンベクトル間の測度、具体的にはパターン
ベクトル間の成分ごとの差の二乗和を用いる。すなわ
ち、複数のパターンデータから２つのパターンデータの
組み合せを選択し、各組み合せに係る２つのパターンデ
ータの２つのパターンベクトル間の測度を類似度として
演算し、当該類似度を類似度テーブルとしてＲＡＭ１２
に記憶する。

【００８７】またここで（８）式により、後に相関値の
演算に用いるパラメータ、αを演算しておく。具体的に
は、処理Ｓ２２で演算した類似度をクラス（所定数値範
囲）ごとに分類して各クラスごとの出現頻度の情報を生
成して、当該出現頻度が最大となった距離をＣｄとし、
「０」に近い、所定の微小量δを決定して、αを演算す
る。この処理は、既に説明したプロトタイプ間の類似度
を演算して、αを決定する処理と同様のものである。

【００８８】なお、この場合にも、Ｃｄについては、当
該出現頻度が最大となった距離の代わりに、各注目パタ
ーンデータについて、他のパターンデータとの類似度の
統計量を演算し、各注目パターンデータごとの統計量に
対して、さらに所定の統計処理（各統計量の最小値）を
行った結果を用いて、すなわち（９）式にてＣｄを決定
してもよい。この（９）式によりＣｄを決めることで、
隣接クラスタの中で、少なくとも１つのクラスタに属す
るすべてのパターンデータが、クラスタ決定の対象とな
るパターンデータに影響する。また、個々のパターンデ
ータごとに適したＣｄを適応的に決定することが可能と
なる。

【００８９】そしてＣＰＵ１１は、クラスタ番号の更新
処理を開始する（Ｓ２３）。このクラスタ番号の更新処
理は、図１１に示すようなものであり、後に詳しく説明
する。クラスタ番号の更新処理が完了すると、ＣＰＵ１
１は、処理Ｓ２３の前後で、クラスタ番号に変化がない
か（クラスタリングの収束が完了したか）を調べ（Ｓ２
４）、変化があった場合（収束していない場合；Ｎｏの
場合）には、処理Ｓ２３を繰返して実行する。また、処
理Ｓ２４において、変化がなかった場合（クラスタリン
グが収束した場合、Ｙｅｓの場合）、処理を完了して、
当該クラスタリングの結果（パターンデータとクラスタ
番号とを関連づけた情報を含むもの）をハードディスク
１４に格納する。

【００９０】ここで、処理Ｓ２３のクラスタ番号の更新
処理について図１１を参照しながら説明する。ＣＰＵ１
１は、まず各パターンデータを順次、注目パターンデー
タとして選択する（Ｓ３１）。この選択の順序は、例え
ば処理Ｓ２１において仮のクラスタ番号を割当てた順序
（例えば入力順）であってもよい。そしてＣＰＵ１１
は、注目パターンデータに対して現在割当てられている
クラスタ番号を取得し、その近傍クラスタを決定する
（Ｓ３２）。ここで近傍クラスタ番号は、例えば類似度
テーブルを参照しながら、注目パターンデータとの間の
類似度の高い順に複数のパターンデータを取り出し、当
該取り出した複数のパターンデータの各々に割当てられ
ているクラスタ番号とする。なお、取り出すパターンデ
ータの個数は、予め「８個」等と決めておいてもよい
し、近傍クラスタとして決定されたクラスタ番号が複数
（例えば「４個」等の所定個数）となるまでと決めてお
いてもよい。また、ここで近傍クラスタには、注目パタ
ーンデータ自身が属しているクラスタが含まれる。

【００９１】ＣＰＵ１１は、近傍クラスタとして決定さ
れたクラスタの番号を用いて、各近傍クラスタに現在属
しているパターンデータを、決定された近傍クラスタご
とに取り出し（Ｓ３３）、近傍クラスタごとに取出され
たパターンデータと、注目パターンデータとの間の相関
量を（７）式（類似度の低下に伴い、所定微分値より急
速に「０」に漸近する関数）によって演算する（Ｓ３
４）。すなわち、ｙ*を注目パターンデータのパターン
ベクトルとし、取出されたパターンデータのうち、i番
目のパターンデータのパターンベクトルをｙiとし、
（７）式により、クラスタ番号ｃに属するパターンデー
タのパターンベクトルと、注目パターンデータのパター
ンベクトルとの間の距離（類似度）の総和を全体平均で
除した値を演算する。そしてこの値が、注目パターンデ
ータと、クラスタ番号ｃに属するパターンデータ群との
間の相関量とするのである。

【００９２】ＣＰＵ１１は、近傍クラスタごとに、その
クラスタに属するパターンデータ群と、注目パターンデ
ータとの相関量を演算しておき、近傍クラスタのうち、
相関量が最大となったものを選びだす（Ｓ３５）。そし
て注目パターンデータと当該選び出した近傍クラスタの
番号とを関連づけて、仮の更新結果としてＲＡＭ１２に
記憶しておく（Ｓ３６）。

【００９３】そしてＣＰＵ１１は、すべてのパターンデ
ータを注目パターンデータとして選択したか否かを調べ
（Ｓ３７）、すべてのパターンデータを選択していなけ
れば（未選択のものがあれば、Ｎｏであれば）、処理Ｓ
３１に戻って処理を続ける。また、処理Ｓ３７におい
て、未選択のものがなければ（Ｙｅｓであれば）、ＲＡ
Ｍ１２に記憶された仮の更新結果に基づいて、各パター
ンデータに現在関連づけられているクラスタ番号を更新
し（Ｓ３８）、クラスタ番号の更新処理を完了する。こ
こで、一旦仮の更新結果として保持した上で、最後に更
新を実行しているのは、ある注目パターンデータに対す
る更新処理により、後で注目パターンデータとして選択
されるパターンデータのクラスタ番号の決定に影響を及
ぼさないようにしたものである。

【００９４】このように本実施の形態では、ＣＰＵ１１
は、パターンデータごとに定義される、パターンベクト
ル間の距離により、クラスタ間の隣接関係を規定しなが
ら、各クラスタに属しているパターンデータ群と、クラ
スタリング（分類学習）の対象となっている注目パター
ンデータとの相関量に基づいて、より相関性の高いクラ
スタに注目パターンデータを分類するという処理をクラ
スタリングの結果に変化がなくなるまで繰返して行う。
なお、ここでは、近傍クラスタを決定した上で、当該近
傍クラスタとの関係において相関量の演算を行うように
しているが、ＣＰＵ１１の処理速度が十分であれば、す
べてのクラスタについて総当り的に、上記相関量の演算
を行うようにしても構わない。この場合、処理Ｓ３２、
Ｓ３３は、必ずしも必要でなくなり、処理Ｓ３４におい
て、すべてのクラスタについて、各クラスタに属してい
るパターンデータ群と、注目パターンデータとの相関量
を演算することとなる。

【００９５】次に、こうして生成されたクラスタリング
の結果を用いて、実際にデータの分類を行う処理（分類
部４２の処理）について説明する。分類の対象となるパ
ターンデータ（対象パターンデータ）が入力されると、
ＣＰＵ１１は、当該対象パターンデータについてのパタ
ーンベクトル（対象ベクトル）を演算により求め、ハー
ドディスク１４に格納されているクラスタリングの結果
（例えばパターンデータと、そのパターンデータについ
てのパターンベクトルと、クラスタ番号とを関連づけた
もの）を参照して、クラスタリングの結果に含まれてい
る各パターンベクトル（基準ベクトル）と、対象パター
ンベクトルとの距離を演算する。そして、その距離が最
も短い基準ベクトル（対象パターンベクトルに対して、
最も類似度の高い基準ベクトル）を見いだして、当該見
いだした基準ベクトルに関連づけられたクラスタ番号を
分類結果として出力する。

【００９６】このように、本実施の形態においては、相
関性の高いクラスタを自律的に見いだして、各パターン
データを分類するので、人為的なパラメータ設定を要す
ることのない、自律的なクラスタリングが行われる。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態に係るデータ分類
装置の構成ブロック図である。

【図２】本発明の第１の実施の形態に係るデータ分類
装置の構成ブロック図である。

【図３】クラスタリングの処理を表すフローチャート
図である。

【図４】プロトタイプ間の距離のヒストグラムの検出
例を表す説明図である。

【図５】クラスタリングの処理におけるクラスタ更新
処理の一例を表すフローチャート図である。

【図６】クラスタリングの処理の動作例を表す説明図
である。

【図７】プロトタイプマップのクラスタリング結果の
一例を表す説明図である。

【図８】プロトタイプの追加状態とその後のクラスタ
リング結果の一例を表す説明図である。

【図９】本発明の第２の実施の形態に係るデータ分類
装置の構成ブロック図である。

【図１０】クラスタリングの処理を表すフローチャー
ト図である。

【図１１】クラスタリングの処理を表すフローチャー
ト図である。

【符号の説明】

１データ分類装置、１１ＣＰＵ、１２ＲＡＭ、１
３ＲＯＭ、１４ハードディスク、１５画像入力用
インタフェース、１６ディスプレイ、１７外部記憶
部、２１マップ生成部、２２クラスタ境界決定部、
３１ＳＯＭ学習部、３２マップ選択部、３３学習
条件設定部、３４プロトタイプ追加部、４１クラス
タ決定部、４２分類部。

─────────────────────────────────────────────────────

【手続補正書】

【提出日】平成１５年２月２６日（２００３．２．２
６）

【手続補正１】

【補正対象書類名】明細書

【補正対象項目名】特許請求の範囲

【補正方法】変更

【補正内容】

【特許請求の範囲】

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号ＦＩテーマコート゛(参考）Ｇ０６Ｔ 7/00 ３００Ｇ０６Ｔ 7/00 ３００ＥＨ０４Ｎ 5/91 Ｈ０４Ｎ 5/91 Ｎ (72)発明者鹿志村洋次神奈川県足柄上郡中井町境430 グリーンテクなかい富士ゼロックス株式会社内Ｆターム(参考） 5B056 BB23 BB72 5B075 ND06 ND14 NR12 PP04 PR06 QM08 5C053 FA14 FA23 5L096 FA34 JA03 KA04 KA13 MA07

Claims

【特許請求の範囲】

【請求項１】入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類装置であっ
て、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している少なくと
も１つのパターンデータと、クラスタに分類する対象と
なった注目パターンデータとの間で所定の相関値を演算
し、前記相関値に基づき、前記注目パターンデータの属する
べきクラスタを決定することを特徴とするデータ分類装
置。
【請求項２】入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類装置であっ
て、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している各パター
ンデータと、クラスタに分類する対象となった注目パタ
ーンデータとの間の各類似度を所定の関数により決定
し、前記各類似度の値を総和して相関値を演算し、各クラスタごとに決定された前記相関値に基づき、前記
注目パターンデータの属するべきクラスタを決定するこ
とを特徴とするデータ分類装置。
【請求項３】請求項１に記載のデータ分類装置におい
て、前記所定の関数は、パターンデータの類似度の出現頻度
分布に基づくパラメータまたは、各パターンデータにつ
いての他のパターンデータとの類似度の統計量に基づく
パラメータを含んで定義されることを特徴とするデータ
分類装置。
【請求項４】請求項１に記載のデータ分類装置におい
て、前記所定の関数は、類似度の低下に伴いその値が比較的
急速に最小値に漸近する関数であることを特徴とするデ
ータ分類装置。
【請求項５】入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類装置であっ
て、（ａ）前記パターンデータの各々について、その属する
クラスタを仮に決定し、（ｂ）各パターンデータを順次、クラスタに分類する対
象となるべき注目パターンデータとして選択し、（ｃ）各クラスタごとに、当該クラスタに属している少
なくとも１つのパターンデータと、クラスタに分類する
対象となった注目パターンデータとの間で所定の相関値
を演算し、（ｄ）前記相関値に基づき、前記注目パターンデータの
属するべきクラスタを決定し、前記（ｂ），（ｃ），（ｄ）の処理を、各パターンデー
タの属するべきクラスタの変更がなくなるまで繰返して
行って、各パターンデータをクラスタに分類することを
特徴とするデータ分類装置。
【請求項６】入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類方法であっ
て、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している少なくと
も１つのパターンデータと、クラスタに分類する対象と
なった注目パターンデータとの間で所定の相関値を演算
し、前記相関値に基づき、前記注目パターンデータの属する
べきクラスタを決定することを特徴とするデータ分類方
法。
【請求項７】入力される複数のパターンデータを少な
くとも一つのクラスタに分類するデータ分類方法であっ
て、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している各パター
ンデータと、クラスタに分類する対象となった注目パタ
ーンデータとの間の各類似度を所定の関数により決定
し、前記各類似度の値を総和して相関値を演算し、各クラスタごとの前記相関値に基づき、前記注目パター
ンデータの属するべきクラスタを決定することを特徴と
するデータ分類方法。
【請求項８】コンピュータに、入力される複数のパターンデータを少なくとも一つのク
ラスタに分類させるデータ分類プログラムであって、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している少なくと
も１つのパターンデータと、クラスタに分類する対象と
なった注目パターンデータとの間で所定の相関値を演算
する手順と、前記相関値に基づき、前記注目パターンデータの属する
べきクラスタを決定する手順と、を実行させることを特徴とするデータ分類プログラム。
【請求項９】コンピュータに、入力される複数のパターンデータを少なくとも一つのク
ラスタに分類させるデータ分類プログラムであって、当初は前記パターンデータの各々について、その属する
クラスタを仮に決定しておき、各クラスタごとに、当該クラスタに属している各パター
ンデータと、クラスタに分類する対象となった注目パタ
ーンデータとの間の各類似度を所定の関数により決定
し、前記各類似度の値を総和して相関値を演算する手順
と、各クラスタごとの前記相関値に基づき、前記注目パター
ンデータの属するべきクラスタを決定する手順と、を実行させることを特徴とするデータ分類プログラム。