JP2001250101A - データ領域の解析方法及び表現方法 - Google Patents

データ領域の解析方法及び表現方法

Info

Publication number
JP2001250101A
JP2001250101A JP2000061709A JP2000061709A JP2001250101A JP 2001250101 A JP2001250101 A JP 2001250101A JP 2000061709 A JP2000061709 A JP 2000061709A JP 2000061709 A JP2000061709 A JP 2000061709A JP 2001250101 A JP2001250101 A JP 2001250101A
Authority
JP
Japan
Prior art keywords
area
data
learning
region
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2000061709A
Other languages
English (en)
Other versions
JP3779519B2 (ja
Inventor
Osao Kaseda
長生 綛田
Hiroaki Tsutsui
宏明 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Azbil Corp
Original Assignee
Azbil Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Azbil Corp filed Critical Azbil Corp
Priority to JP2000061709A priority Critical patent/JP3779519B2/ja
Publication of JP2001250101A publication Critical patent/JP2001250101A/ja
Application granted granted Critical
Publication of JP3779519B2 publication Critical patent/JP3779519B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Abstract

(57)【要約】 【課題】 同一クラスに属するデータ群のばらつき程度
の把握、最適な特徴空間の選択、最適な類別モデルの生
成を容易にする。 【解決手段】 n種類の変量で定義されるn次元の特徴
空間内において1つのクラスに属し、その位置が変量で
特定されるn次元データが入力されたとき、各変量のm
分割により特徴空間をmn 個の分割領域に分割して、n
次元データを内包する分割領域をクラスに属する学習領
域とする学習領域生成処理(ステップ101)と、連結
した学習領域群を1つのデータ領域とみなし、同一のデ
ータ領域内の学習領域に同一のラベルを付与するラベリ
ング処理(ステップ102)と、同一のラベルが付与さ
れたデータ領域ごとに近似領域を設定して表示する近似
処理(ステップ103,104)とを行う。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、音声や画像などの
パターンの認識又は状況の類別を行うコンピュータシス
テムで使用される、パターン認識又は状況類別のための
類別モデルの生成等の技術に適用して好適な、データ領
域の解析方法及び表現方法に関するものである。
【0002】
【従来の技術】プロセス制御等の分野で使用されるシス
テムにおいては、異常な状況か否か、あるいは所定の動
作を行うべき状況であるか否か等を判別するために、状
況の類別が要求される。このような異常判定や動作決定
のための状況類別は、状況の類別に用いられる特徴量
(以下、変量と呼ぶ)によって定義される特徴空間にお
いて、異常/正常、あるいは動作A/動作Bといったク
ラス分けをすることで状況を類別する問題ととらえるこ
とができる。
【0003】従来、状況の類別を実現する方法として、
判別分析法が知られている。判別分析法は、数種類の変
量によって特徴付けられるクラスが存在するとき、各ク
ラスに属するデータにより、類別すべき状況がどのクラ
スに属するかを判別する方法であり、通常、統計的手法
に基づいた方法である。
【0004】例えば、ある目標を達成したクラスをA、
目標を達成しなかったクラスをBとし、変量x1,x
2,・・・,xn(例えば、顧客訪問回数、電話使用料
金、熱意を数量化した数値等)によって特徴付けられる
複数のデータがクラスごとに得られているとする。判別
分析法では、クラスA,Bの相違が明らかになるように
各変量に重みを与えた判別関数Yを考える。 Y=a1x1+a2x2+・・・・+anxn ・・・(1)
【0005】a1,a2,・・・・,anは各変量の重
みである。なお、式(1)では、判別関数の1例とし
て、判別関数Yが線形の場合(各クラスの分散共分散行
列が等しい場合)を記述している。図19は、このよう
な判別分析法を用いた状況類別方法を説明するための図
である。図19の例では、変量x1,x2によって定義
される2次元の特徴空間内に、データDaの集まりであ
るクラスAの空間、データDbの集まりであるクラスB
の空間が存在し、判別関数Yを定めた様子を示してい
る。これにより、Y≧0となる状況が発生すれば、この
状況はクラスAに属すると判定でき、Y<0となる状況
が発生すれば、この状況はクラスBに属すると判定でき
る。
【0006】また、状況の類別を実現する他の方法とし
て、対象を特徴付ける型、様式や模様などに基づいて対
象を認識するパターン認識法が知られている。このパタ
ーン認識法としては、ニューラルネットワークを用いた
方法が提案されている(GailA.Carpenter and Stephen
Grossberg,”PATTERN RECOGNITION BY SELF-ORGANIZING
NEURAL NETWORKS”,A Bradford Book,1991)。また、
他のパターン認識法として、RCE(Restricted Coulo
mb Energy )ネットワークを利用した方法が提案されて
いる(D.L.Reilly,L.N.Cooper and C.Elbaum,”Self Or
ganizing Pattern Class Separator and Identifier”,
U.S.Patent No.4,326,259.Awarded Apr.20,1982 )。
【0007】ニューラルネットワークは、生物の脳で行
われているようなニューロンによる並列情報処理メカニ
ズムを工学的に実現しようとするものである。ニューラ
ルネットワークを状況の類別に使用する場合には、いく
つかの代表的な状況が有する変量と、これらの変量に応
じてニューラルネットワークが出力すべき判別結果とを
ニューラルネットワークに与え、所望の判別結果が得ら
れるようにニューラルネットワークを学習させる必要が
ある。ニューラルネットワークを学習させる方法として
は、通常、バックプロパゲーション(Back Pro
pargation )法が用いられる。
【0008】図20は、RCEネットワークを用いた状
況類別方法を説明するための図である。RCEネットワ
ークは、線形分離不可能な多次元の空間を占めるクラス
を複数の基本図形(例えば、多次元の超球)で近似する
ことにより、特徴空間をクラス分けするものである。図
20に示した例では、線形分離不可能なクラスA,Bの
空間を基本図形Ca,Cbでそれぞれ近似して、変量x
1,X2で定義される2次元の特徴空間をクラス分けし
ている。
【0009】ところで、以上のような状況類別方法で
は、類別精度を向上させるため、データ群のばらつきを
最適にするように変量を選択することが重要である。つ
まり、データ群のばらつきの程度を把握しながら最適な
変量選択を行い、それらの変量により作られる最適な特
徴空間において、データを類別するための類別モデルを
生成する必要がある。
【0010】特徴空間内のデータ群のばらつき程度を把
握する手段としては、以下のΛ(ラムダ)統計量を利用
する方法がある。Λ統計量は、特徴空間内における異な
るクラス(例えば、クラスA;正常、クラスB;異常な
ど)に属するデータ群同士のばらつきを把握するための
指標である。この指標は、前述の線形判別関数を利用し
てデータを類別する場合の変量選択の指標として利用さ
れる。
【0011】図21は、Λ統計量を利用したデータ領域
の解析方法を説明するための図である。なお、図21で
は、白丸印がクラスAに属するデータを示し、黒丸印が
クラスBに属するデータを示している。異なるクラスに
属するデータ群同士がなるべく離れていて、かつ同一ク
ラス内におけるデータのばらつきがなるべく小さい場合
に、Λの値はより小さい値となる。すなわち、Λ統計量
は、特徴空間内において、異なるクラスに属するデータ
を線形近似式で分離しやすいかどうかを評価する指標と
なる。図21(a)の場合、図21(b)の場合に比べ
て線形分離容易であるため、Λの値は小さい。一方、図
21(b)の場合、線形分離困難であるため、Λの値は
大きい。
【0012】また、グラフにより特徴空間内のデータの
ばらつき程度を可視化し、把握する方法がある。データ
領域を直接グラフ表示する方法としては、2変量(2次
元)以内の特徴空間のデータ領域をコンピュータ画面上
に直接表示する方法がある。また、2変量(2次元)以
上の特徴空間内のデータ領域をグラフ表示可能な低次元
グラフに射影して表示する方法もある(図22)。
【0013】また、多変量の特徴空間内のデータ領域を
グラフ表示する方法として、p変量のデータをp個の頂
点を持った等辺多角形の中心と各頂点を結ぶ線分上にプ
ロットするレーダーチャート(radar chart )、多次元
のデータの変量の1つ1つを人間の顔の輪郭、鼻、口、
目、瞳、眉などに対応させ、1つの多変量データを人間
の顔の表情として表現する顔形グラフ(face grafh)、
デンドログラムなどがある。
【0014】
【発明が解決しようとする課題】しかしながら、Λ統計
量は、基本的には線形判別関数を利用する場合に適用さ
れるものであるため、非線形な類別手法を利用する場合
には、必ずしも有効であるとは限らないという問題点が
ある。また、Λ統計量を利用すると、異なるクラス間の
ばらつき程度を把握することができるが、同一クラスに
属するデータ群のばらつき程度を把握することが難しい
という問題点があった。
【0015】さらに、Λ統計量を利用すると、ノイズに
よって不適切な類別モデルが生成されるという問題点が
生じる。図23は、Λ統計量を利用した状況類別方法の
問題点を説明するための図である。図23では、白丸印
がクラスAに属するデータを示し、黒丸印がクラスBに
属するデータを示している。計測されるデータには、通
常、ノイズが含まれており、そのノイズの影響により、
特徴空間内におけるデータ領域は、図23に示すように
線形分離困難となることがある。
【0016】この場合、本質的な領域A,Bに属さない
ノイズデータを除去すれば、線形分離容易となる。しか
し、Λ統計量を利用するだけでは、線形分離困難である
という結果しか得られず、ノイズ除去を行えばよりよい
モデルができるのか、変量の選択からやり直さなければ
ならないのかが分からないという問題がある。つまり、
本質的には線形分離容易でも、Λ統計量では、線形分離
困難と検知されてしまう場合があり、精度のよい識別を
行うための最適な特徴空間が見いだせない可能性があ
る。
【0017】また、Λ統計量は線形分離の容易さを把握
するための指標であるが、対象によっては線形分離困難
な場合もある。このような場合、非線形な対象の類別を
目的とした、ニューラルネットワーク、RCEネットワ
ーク、国際公開公報WO99/26164で開示された
類別モデルなどが利用される。しかしながら、このよう
な非線形な状況類別方法を利用する場合、Λ統計量だけ
では最適な特徴空間を選択することが難しいという問題
点があった。
【0018】図24は従来の非線形類別方法の問題点を
説明するための図である。例えば、ニューラルネットワ
ークでは、入力を座標値、出力をクラスA,B,C,・
・・・として、多層型のネットワークにバックプロパゲ
ーションなどの収束計算により学習させる。この場合、
同一クラスのデータ領域が複数点在するような特徴空間
(図24(a))よりも、同一クラスのデータ領域が限
られた領域(例えば、1つの領域)にデータが密集し、
その形状が単純となる特徴空間(図24(b))の方が
ネットワーク構築が容易となり、学習時間が少なくな
る。また、構造が単純なことから、収束計算によるパラ
メータ同定が容易となり、誤った類別モデルを生成する
可能性が少なくなり、より精度のよい類別モデルの生成
が期待できる。
【0019】しかし、Λ統計量は異なるクラスに属する
データ群同士のばらつきの程度を把握するためのもので
あるため、Λ統計量を用いて、同一クラスに属するデー
タ群が点在しているか密集しているかを把握したり、デ
ータ群の領域の形状を把握したりすることが難しいとい
う問題点があった。
【0020】また、従来のグラフによる可視化では、多
変量(多次元)、多量のデータを表示することが難しい
という問題点があった。すなわち、データ領域を直接グ
ラフ表示する方法では、データを単純に描画できるのは
2次元の特徴空間までに限られるという問題がある。し
かし、複雑に要因がからむシステムの異常判定問題など
では、システムの挙動を表現するモデルの特徴空間は必
ずしも2次元以下であるとは限らないため、単純なグラ
フ描画の利用は困難である。
【0021】また、多次元のデータを低次元グラフへ射
影する方法もあるが、この場合、本来は離れているデー
タ領域であるにもかかわらず、射影する方向により領域
が重なって1つの領域に見えてしまうといった問題点が
ある(図25)。このような領域が重なってしまう問題
に対し、射影方向、射影面を徐々に変化させ、その都
度、射影された領域を確認していく方法もあるが、多変
量(多次元)、多量のデータの場合、繰り返し射影を行
って、ユーザが領域を具体的にイメージしていくこと
は、実質的には困難である。
【0022】また、システムの異常判定問題などでは数
千点などという多量データを取り扱う必要があるが、レ
ーダーチャートや顔形グラフ、デンドログラムなどの多
次元の変量を対象としたグラフは、数点(多くても数十
点)を取り扱うためのものであるため、このようなグラ
フで数千点などという多量のデータを取り扱うことは難
しいという問題点があった。
【0023】本発明は、上記課題を解決するためになさ
れたもので、同一クラスに属するデータ群のばらつき程
度の把握、最適な特徴空間(変量)の選択、最適な類別
モデルの生成が容易なデータ領域の解析方法を提供する
ことを目的とする。また、多変量(多次元)、多量のデ
ータを表示することが容易なデータ領域の表現方法を提
供することを目的とする。
【0024】
【課題を解決するための手段】本発明のデータ領域の解
析方法は、n(nは1以上の整数)種類の変量で定義さ
れるn次元の特徴空間内において1つのクラスに属し、
その位置が変量で特定されるn次元データが入力された
とき、各変量のm(mは1以上の整数)分割により特徴
空間をmn 個の分割領域に分割して、n次元データを内
包する分割領域をクラスに属する学習領域とし、入力さ
れた個々のデータと分割領域との対応付けを行う学習領
域生成処理(ステップ101)と、連結した学習領域群
を1つのデータ領域とみなし、同一のデータ領域内の学
習領域に同一のラベルを付与するラベリング処理(ステ
ップ102)とからなるものである。このように、学習
領域生成処理とラベリング処理を行うことにより、特徴
空間内の同一クラスに属するデータ群のばらつきの把握
が可能となる。また、本発明のデータ領域の解析方法の
1構成例として、特徴空間を分割する処理は、内包する
データの数が1個となる分割領域が生成される度合いが
分割数mに対し確率分布に従うとみなして、統計的有意
水準に基づき分割数mを決定する処理(ステップ20
4)からなるものである。また、本発明のデータ領域の
解析方法の1構成例として、前記ラベリング処理は、学
習領域生成処理で生成された学習領域ごとにラベルを付
与するとともに、学習領域がとるべき真のラベルを記憶
するためのラベル表を作成する処理からなり、この処理
は、1.ラベルの付与対象となる学習領域に対して、隣
接する学習領域に付与されたラベルに基づく所定の条件
によってラベルを付与し、ラベル表を更新するステップ
(ステップ301〜304)と、2.ラベル表に記憶さ
れている真のラベルが通し番号となるようラベル表を修
正するステップ(ステップ305,306)と、3.ス
テップ1で付与されたラベルをラベル表に基づいて真の
ラベルに更新するステップ(ステップ307,308)
とからなるものである。
【0025】また、本発明のデータ領域の表現方法は、
n種類の変量で定義されるn次元の特徴空間内において
1つのクラスに属し、その位置が変量で特定されるn次
元データが入力されたとき、各変量のm分割により特徴
空間をmn 個の分割領域に分割して、n次元データを内
包する分割領域を前記クラスに属する学習領域とし、入
力された個々のデータと分割領域との対応付けを行う学
習領域生成処理と、同一クラスに属する連結した学習領
域群を1つのデータ領域とみなし、同一のデータ領域内
の学習領域に同一のラベルを付与するラベリング処理
と、同一のラベルが付与されたデータ領域ごとに近似領
域を設定して、この近似領域を表示する近似処理とから
なるデータ領域の表現方法であって、近似処理は、デー
タ領域を包含する近似領域を定義するステップ(ステッ
プ401)と、近似領域内の分割領域の個数をN、該近
似領域の近似対象となったデータ領域に含まれる学習領
域の個数をNaとしたとき、Na/Nが所定値以上とな
るまで近似領域を分割して、分割終了後の近似領域を表
示するステップ(ステップ402,403)とからなる
ものである。
【0026】また、本発明のデータ領域の表現方法の1
構成例は、同一クラスの同一データ領域を近似した、分
割終了後の近似領域のうち、1変量の方向については互
いに隣接する学習領域を持たず、残りの全ての変量につ
いては互いに隣接する学習領域を有する近似領域同士を
合成して表示するようにしたものである。また、本発明
のデータ領域の表現方法の1構成例は、近似領域が存在
する範囲を変量ごとに棒グラフで表すようにしたもので
ある。
【0027】
【発明の実施の形態】以下、本発明の概要を記述する。
多変量の観測データを用いてシステムの異常判定、動作
状況類別などを行うために、判別分析、ニューラルネッ
トワークなどの数値データによる類別技術が利用されて
いる。このような類別技術においては、類別精度を向上
させるため、データ群のばらつきを最適にするように変
量を選択することが重要である。つまり、データ群のば
らつきの程度を把握しながら最適な変量選択を行い、そ
れらの変量により作られる最適な特徴空間において、デ
ータを類別するための類別モデルを生成する必要があ
る。
【0028】本発明は、多次元の変量で作られる特徴空
間において、データ群のばらつきの程度、特に同一クラ
スに属するデータ群のばらつき(データ領域数)や、デ
ータ領域の大きさ、形状などを把握するための技術であ
る。本発明では、まずデータの密度に基づいて特徴空間
内に学習領域を生成する。つぎに生成した学習領域(同
一クラスのデータが属する学習領域)に対して、画像処
理技術で利用されているラベリング技術を多次元に拡張
したものを適用する。ここでは、連結した学習領域群を
1つのデータ領域であるとし,データ領域ごとにラベル
付けを行う。これにより、同一クラス内のデータに関す
る領域数(データ領域が点在しているか否か)を確認で
きる。
【0029】次に、本発明では、文字によるデータ領域
の表示に変換することにより、データ領域を具体的な数
値で把握できるようにしている。ここでは、データ領域
を全て詳細に数値で表現しているわけではなく、まず、
ラベル付けされた領域ごとを、大まかな領域となるよう
近似処理を行う。次に、各クラスごとに、近似されたデ
ータ領域の範囲を数値で提示する。これにより、データ
のばらつき程度、データ領域の大きさ、形状などをより
具体的にイメージしやすくなる。また、上記近似は、人
間が視覚により物体の領域を把握している感覚に近い近
似であるため、データ領域を全て詳細に数値で表現する
よりも、ユーザが具体的な領域をイメージしやすい。
【0030】以上の本発明により、特徴空間内での異な
るクラスに属するデータのばらつき程度だけでなく、同
一クラスにおけるデータのばらつき、データ群の領域の
大きさ、形状なども確認しながら、より適切な特徴空間
を決定することができ、類別精度の向上が期待できる。
また、本発明では、多次元、多量のデータにも適用可能
であるため、多数の要因が複雑に絡み合うシステムの異
常判定問題などにデータ類別技術を適用する場合に有効
な技術となる。
【0031】以下、本発明の実施の形態について図面を
参照して詳細に説明する。図1は本発明の実施の形態と
なるデータ領域の解析方法及び表現方法を説明するため
のフローチャート図である。本発明のデータ領域の解析
方法及び表現方法を利用するコンピュータシステムは、
コンピュータ、ディスプレイ装置、キーボード、外部記
憶装置などを備えた周知の構成のものでよい。
【0032】また、コンピュータ本体も、中央処理装置
(CPU)、リードオンリメモリ(ROM)、ランダム
アクセスメモリ(RAM)、ディスプレイ装置やキーボ
ードあるいは外部記憶装置とのインタフェースをとるた
めの回路などを備えた周知の構成のものでよく、これら
の構成を1チップ化したマイクロコンピュータでもよ
い。
【0033】CPUは、ROM若しくはRAMに記憶さ
れたプログラム、又はキーボードから入力されたコマン
ドに従って処理を実行する。また、CPUは、外部記憶
装置にデータを書き込んだり、外部記憶装置からデータ
を読み出したりすることができる。
【0034】このようなコンピュータシステムにおい
て、本発明のデータ領域の解析方法及び表現方法を実現
させるためのプログラムは、フレキシブルディスク、C
D−ROM、DVD−ROM、メモリカード等の記録媒
体に記録された状態で提供される。この記録媒体を外部
記憶装置に挿入すると、記録媒体に書き込まれたプログ
ラムが読み取られ、コンピュータに転送される。そし
て、CPUは、読み込んだプログラムをRAM等に書き
込む。こうして、CPUは、以下で説明するような処理
を実行する。
【0035】次に、本発明で用いる学習領域生成方法の
基本概念について説明する。この学習領域生成方法は、
特徴空間をあるクラスに属する学習領域と、クラスに属
さない学習されていない領域とにクラス分けする方法で
ある。例えば、状況類別等の目的のために選定された変
量がn(nは1以上の整数)種類あるとすれば、特徴空
間は、このn種類の変量によって定義されるn次元の空
間である。そして、本発明では、状況の類別に好適又は
クラス間の分離性が良好であると考えられるn種類の変
量を選定して、各変量の最小値と最大値との間のレンジ
を変量ごとに正規化し、各変量をある数m(mは1以上
の整数)で区切ることにより、特徴空間を有限個の領域
に分割する。
【0036】今、データの総数がMとなる1クラスが存
在するとき、このクラスを特徴付けるのに好適な変量を
選定して、クラス領域を包含する特徴空間を定義する。
これにより、上記クラスに属するデータは、特徴空間内
に分布し、変量によって位置が特定される点となる。各
変量をそれぞれm分割すれば、特徴空間は、mn 個の領
域に分割され、生成された各領域は、データを内包する
か否かでクラス分けされる。これが、学習領域生成の基
本概念であり、特徴空間を学習領域と学習されていない
領域とにクラス分けしたものは類別モデルとして利用す
ることが可能である。
【0037】次に、特徴空間の適切なクラス分けが可能
な分割数mの決定方法について説明する。まず、m分割
によって生成される分割領域のうち、内包するデータの
数が1個となる分割領域の数をpとしたときの比率F
(m)=p/Mを考える。この比率F(m)は、内包す
るデータの数が1個となる分割領域の確からしさととら
えることができ、分割数mに対して図2のような特性を
示す。つまり、比率F(m)は非減少関数であり、次式
のような性質を有する。
【0038】
【数1】
【0039】図2及び式(2)において、m*は、分割
数mを増加していったときにF(m)=1となった最初
の分割数mである。分割数mは整数値であり、離散的な
値しか取り得ない。しかし、例えば2分割したときの長
さ(変量のフルレンジ/2)と3分割したときの長さ
(変量のフルレンジ/3)の中間値を2.5分割という
ような有理分割に拡張して考えれば、F(m)は連続で
ある。よって、比率F(m)は、右連続関数であり、確
率分布関数の1つと考えられる。本発明では、連続関数
F(m)を整数mでサンプリングしていると考えればよ
い。
【0040】続いて、データ密度lについて考える。こ
こで扱うデータ密度lは、あるデータに着目したとき、
この着目データと最も近いデータとの距離である。ま
た、ここでの距離は、ユークリッド距離である。特徴空
間の次元をn、第1のデータを表すn種類の変量の値を
x1,x2,・・・・,xn、第2のデータを表すn種
類の変量の値をx1’,x2’,・・・・,xn’とす
ると、第1のデータと第2のデータのユークリッド距離
は、((x1−x1’)2+(x2−x2’)2+・・・
・+(xn−xn’)21/2となる。
【0041】このようなデータ密度lの度数分布は正規
分布とみなせる。また、分割数mを増やしていったと
き、内包するデータの数が1個となる分割領域が生成さ
れる度合いが最も高くなるのは、データ密度lの度数が
最も高いときと考えられる。そして、上記度合いは、デ
ータ密度lが極めて小さいときやデータ密度lが極めて
大きいときには低くなると考えられる。したがって、内
包するデータの数が1個となる分割領域が生成される度
合いは、分割数mに対して正規分布に従うと考えられ
る。
【0042】なお、データ密度を考えるときの距離をユ
ークリッド距離ではなく、m分割によって得られる分割
領域の縦・横の長さに相当するような距離で考えれば、
正規分布に従うことは明白である。ここでの距離は、例
えばmax(|x1−x1’|,|x2−x2’|,・
・・・,|xn−xn’|)となる。maxは()内の
値のうちの最大値を取り出すことを意味する。
【0043】以上の説明により、正規分布に基づく有意
な分割数mを決めることが可能と考えられる。ただし、
内包するデータの数が1個となる分割領域が少なくとも
1個生成される分割数mについて、その平均μ及び分散
σを求めるには、クラスに属するデータの総数Mが20
0個以上であることが必要となる。その理由は、M≧2
00のとき、平均μ及び分散σが真の値とみなせるから
である。
【0044】内包するデータの数が1個となる分割領域
が少なくとも1個生成される分割数mについて、その平
均μ及び分散σを計算するには、以下に示す式を用いれ
ばよい。
【0045】
【数2】
【0046】
【数3】
【0047】上述の有意な分割数mの「有意」とは、統
計の分野で用いられる言葉である。つまり、ある統計的
有意水準を定めて分割数mを決定することにより、この
分割数mは、内包するデータの数が1個となる分割領域
が生成される度合いが高く、かつ分割領域間の距離がで
きるだけ短いという条件を満たし、適切な類別モデルを
実現する値となる。なお、分割数がmのときの比率F
(m)から分割数がm−1のときの比率F(m−1)を
引いた、F(m)−F(m−1)が、m分割の際にデー
タの数が1個となる分割領域が生成される度合いに相当
する。
【0048】そして、本実施の形態では、μ+3σを統
計的有意水準とし、これに最も近い整数値を有意な分割
数mとする。なお、統計的有意水準は、μ+3σに限る
ものではないことは言うまでもない。
【0049】こうして、分割数mを決定することができ
る。分割数mを決定して、各変量をそれぞれm分割すれ
ば、特徴空間は、mn 個の領域に分割され、生成された
各領域は、データを内包する学習領域とデータを内包し
ない領域とにクラス分けされる。
【0050】なお、以上の説明はクラスが1つの場合で
あって、クラスがi個(i=1,・・・,k;k≧2)
存在する場合は、上述の方法によってクラスごとに分割
数miを求め、これらに基づいて全クラスに共通な最終
的な分割数mを次式のように求める。
【0051】
【数4】
【0052】式(5)において、μiは式(3)により
求めたクラスiにおける平均、σiは式(4)により求
めたクラスiにおける分散、mi(μi+3σi)はμ
i+3σiにより求めたクラスiにおける分割数であ
る。また、maxは、mi(μi+3σi)のうちの最
大値を取り出すことを意味する。ただし、全クラスに共
通な分割数mを求めずに、クラス別の分割数miで後述
する処理をクラスごとに行ってもよい。
【0053】次に、以上の方法に基づく実際の処理につ
いて説明する。図3はステップ101の学習領域生成処
理をより詳細に説明するためのフローチャート図であ
る。まず、コンピュータシステムの利用者は、複数種の
変量によって特徴付けられる多次元データを収集し(図
3ステップ201)、複数種の変量から状況の類別に好
適又はクラス間の分離性が良好であると考えられるn種
類の変量を選定する(ステップ202)。
【0054】そして、利用者は、収集したデータをn種
類の変量によって特徴付けられる多次元データ(つま
り、n種類の変量によって特徴空間上の位置が特定され
るデータ)としてコンピュータに入力する(ステップ2
03)。
【0055】例えば、2つの変量x1,x2によって特
徴付けられる1つのクラスAが存在し、このクラスAに
属する複数のデータDが変量x1,x2によって定義さ
れる2次元の特徴空間S内に図4のように分布している
と仮定する。図4は2次元の特徴空間内に分布するデー
タの1例を示す図である。なお、図4では、データDを
黒丸印で示している。
【0056】このような変量x1,x2によって特徴付
けられる多数のデータDが入力されると、コンピュータ
は、データDをメモリに格納した後、上述の方法により
分割数mを決定する(ステップ204)。ここでは、分
割数m=32が得られたので、変量x1,x2のフルレ
ンジをそれぞれ32分割した結果を図5に示す。これ
で、特徴空間Sは1024個の領域Eに分割される。
【0057】続いて、コンピュータは、m分割によって
生成された分割領域EとデータDとを対応づけ、特徴空
間Sをクラス分けする(ステップ205)。つまり、コ
ンピュータは、分割領域E内にデータDが存在すれば、
この領域EをクラスAに属すると認識して、このクラス
Aに属すると判定した分割領域Eを学習領域Eaとし、
学習領域Eaの位置をメモリに格納する。
【0058】図6は分割領域EのうちクラスAに属する
と判定された学習領域Eaを示す図である。図6では、
白地の四角形が学習されていない分割領域Eを示し、斜
線を施した四角形が学習領域Eaを示している。こうし
て、ステップ101(ステップ201〜205)の学習
領域生成処理が終了する。
【0059】なお、学習領域Eaの中には、2つ以上の
データを内包する分割領域も含まれている。このデータ
を正確に表わそうとすれば、より細かい分割が必要とな
るがデータ全体の密度を統計的に考慮した場合には図5
の分割が相応しい。
【0060】以上のように、本実施の形態では、n種類
の変量で定義されるn次元の特徴空間S内において1つ
のクラスに属し、その位置が前記変量で特定されるn次
元データDが入力されたとき、各変量のm分割により特
徴空間Sをmn 個の分割領域Eに分割し、この分割に際
して、内包するデータの数が1個となる分割領域が生成
される度合いが分割数mに対し確率分布に従うとみなし
て、統計的有意水準に基づき分割数mを決定する処理
と、n次元データDを内包する分割領域Eを前記クラス
に属する学習領域Eaとし、入力された個々のデータD
と分割領域Eとの対応付けを行う処理とを行う。また、
本実施の形態では、分割数mを、内包するデータの数が
1個となる分割領域が少なくとも1個生成される分割数
mについての平均と分散から、統計的有意水準に基づい
て決定する。
【0061】こうして、本実施の形態では、各クラスの
空間を線形分離することが不可能な場合でも、各クラス
の空間を非線形的に分離可能な学習領域(類別モデル)
を生成することができる。その結果、各クラスの空間を
正確に近似でき、誤類別率の低い類別処理を行うことが
できる。
【0062】また、統計的有意水準に基づいて分割数m
を決定することにより、統計的に有意な大きさの分割領
域を生成するので、データの偏りの影響を受け難くする
ことができる。また、必要以上の分割領域を生成しない
ので、コンピュータのメモリの使用量を少なくすること
ができ、学習領域を生成する学習速度を速くすることが
できる。
【0063】次に、以上の処理で生成された学習領域E
aは、隣接する領域同士であっても関連付けられておら
ず、別の領域として扱われているので、このままでは同
一クラスに属するデータ群のばらつきの程度を把握する
ことは困難である。
【0064】そこで、本発明では、連結した学習領域群
を1つのデータ領域とみなし、同一のデータ領域内の学
習領域には同一のラベル(番号又は名前)を与え、異な
るデータ領域には異なるラベルを与えるラベリング処理
を行う(ステップ102)。これにより,同一クラス内
のデータ領域数(データ領域が点在しているか否か)を
確認することができる。
【0065】以下、2変量の場合を例としてラベリング
処理を説明する。図7はラベリング処理を説明するため
のフローチャート図である。最初に、コンピュータは、
ラベルカウンタLを0に初期化すると共に、配列(ラベ
ル表)T[i]を0に初期化する(図7ステップ30
1)。
【0066】ラベルカウンタLは付与済みのラベル番号
の中で最大の値を示す。ここでは、ラベル番号をまだ付
与していないので、ラベルカウンタLを0に初期化す
る。配列T[i]は真のラベル番号を記憶するための変
数である。配列T[i]の要素番号iは、学習領域Ea
に付与されたラベル番号を示し、各配列要素T[1],
T[2],T[3]・・・・は、要素番号i=1,2,
3・・・・のラベルが付与された学習領域Eaがとるべ
き真のラベル番号を示す。ここでは、ラベル番号をまだ
付与していないので、各配列要素T[1],T[2],
T[3]・・・・を全て0に初期化する。
【0067】次に、コンピュータは、全ての学習領域E
aにラベル番号を与える初期ラベリング処理を行う。初
期ラベリング処理において、コンピュータは、ラベルが
まだ付いていない学習領域Eaを検索して、これを注目
領域(これからラベル付けをする学習領域)とする。図
8は注目領域に対するラベル付けの方法を説明するため
の説明図である。図8(a)では、白地が学習されてい
ない分割領域Eを示し、斜線部が学習領域Eaを示して
おり、9個の領域のうち中央の学習領域Eaを注目領域
としている。図8(b)、図8(c)についても同様で
ある。また、学習領域Ea内に記されている番号は、そ
の領域Eaに付与されたラベル番号である。
【0068】次いで、コンピュータは、注目領域の周囲
の隣接領域のラベル付けの状況を見て、以下のような条
件に従って注目領域にラベルを付与する。 条件1:隣接する領域の中にラベル番号が付与された学
習領域Eaが1つも存在しない場合、ラベルカウンタL
をL+1、すなわち1加算して、更新後のラベルカウン
タLの値を注目領域のラベル番号とする(図8
(a))。さらに、配列要素T[L]=Lとして、配列
T[i]を更新する。
【0069】条件2:隣接する領域の中にラベル番号が
付与された学習領域Eaが存在し、かつ隣接学習領域E
aに付与されたラベル番号が1種類だけの場合、この番
号を注目領域のラベル番号とする(図8(b))。
【0070】条件3:隣接する領域の中にラベル番号が
付与された学習領域Eaが存在し、かつ隣接学習領域E
aに付与されたラベル番号が2種類以上の場合、これら
ラベル番号のなかで最小の番号を注目領域のラベル番号
とする(図8(c))。さらに、前記隣接学習領域Ea
に付与されたラベル番号のうち注目領域の番号以外のラ
ベル番号を要素番号iとする配列要素を更新して、これ
ら配列要素に真のラベル番号を格納しておく。
【0071】図8(a)の例では、隣接する領域の中に
ラベル番号が付与された学習領域Eaが1つも存在しな
いので、条件1に従って、更新後のラベルカウンタLの
値を注目領域のラベル番号としている。また、図8
(b)の例では、隣接する領域の中にラベル番号が付与
された学習領域Eaが存在し、かつ隣接学習領域Eaに
付与されたラベル番号がL1の1種類だけなので、条件
2に従って、ラベル番号L1を注目領域のラベル番号と
している。
【0072】そして、図8(c)の例では、隣接する領
域の中にラベル番号が付与された学習領域Eaが存在
し、かつ隣接学習領域Eaに付与されたラベル番号がL
2,L3,L5(ただし、L2<L3<L5)の3種類
なので、条件3に従って、ラベル番号がL2,L3,L
5のなかで最小の番号L2を注目領域のラベル番号とし
ている。
【0073】さらに、隣接学習領域Eaに付与されたラ
ベル番号L2,L3,L5のうち注目領域の番号L2以
外のラベル番号L3,L5を要素番号iとする配列要素
T[L3],T[L5]の値を更新する。ここでは、最
小の番号L2が真のラベル番号となるので、T[L3]
=L2、T[L5]=L2とする。
【0074】以上のように、コンピュータは、注目領域
にラベル番号を付与する初期ラベリング処理を行い、付
与したラベル番号をメモリに格納して(ステップ30
2)、配列T[i]の更新が必用な場合には配列T
[i]の更新を行った後(ステップ303)、特徴空間
S内の全学習領域Eaについて初期ラベリング処理が終
了したかどうかを判定する(ステップ304)。終了し
ていない場合、コンピュータは、ステップ302,30
3の処理を繰り返す。
【0075】図9は図6に示す各学習領域Eaに対して
初期ラベリング処理を行った結果を示す図である。各学
習領域Ea内に記されている番号は、その領域Eaに付
与されたラベル番号である。図9は、変量X1の方向、
すなわち列方向に沿って注目領域を検索して、注目領域
を発見するたびに初期ラベリング処理を行い、1列分の
検索が終了した後に、次の列について注目領域の検索と
初期ラベリング処理とを行うことを特徴空間Sの各列ご
とに繰り返すことにより、特徴空間S内の全領域を走査
している。ただし、注目領域の検索方法はこれに限るも
のではなく、例えば学習領域Eaをランダムに検索して
処理してもよい。
【0076】初期ラベリング処理の終了後、コンピュー
タは、特徴空間S内の全学習領域Eaについて初期ラベ
リング処理が終了した場合、配列T[i]の各配列要素
を要素番号iが小さい方から順次調べて、配列T[i]
としてメモリに格納されている真のラベル番号を通し番
号にする(ステップ305)。図9の例の場合、初期ラ
ベリング処理が終了した状態では、T[1]=1、T
[2]=2、T[3]=1、T[4]=1、T[5]=
5、T[6]=6、T[7]=7、T[8]=8、T
[9]=9、T[10]=9となっている。
【0077】初期ラベリング終了時の配列要素T[1]
〜T[4]が示す真のラベル番号は1又は2である。こ
れに対して、配列要素T[5]が示す真のラベル番号は
5であって、配列要素T[1]〜T[4]に対して通し
番号となっていない。したがって、コンピュータは、配
列要素T[5]=3と修正する。
【0078】続いて、初期ラベリング終了時の配列要素
T[6]が示す真のラベル番号は6であって、配列要素
T[1]〜T[5]に対して通し番号となっていない。
このため、コンピュータは、配列要素T[6]=4と修
正する。
【0079】次に、配列要素T[7]が示す真のラベル
番号は7であって、配列要素T[1]〜T[6]に対し
て通し番号となっていない。このため、コンピュータ
は、配列要素T[7]=5と修正する。
【0080】以下、同様にして、配列要素T[8]=
6、T[9]=7、T[10]=7とする。なお、配列
要素T[10]では、配列要素T[9]のときに真のラ
ベル番号を9から7に修正したので、同様に7に修正す
る。このように、コンピュータは、配列T[i]の各配
列要素ごとに真のラベル番号を修正する(ステップ30
6)。
【0081】配列T[i]の修正後、コンピュータは、
全ての学習領域Eaのラベル番号を更新する再ラベリン
グ処理を行う(ステップ307)。再ラベリング処理に
おいて、コンピュータは、初期ラベリング処理によって
ラベル番号が付与された学習領域Eaを検索して、これ
をラベル番号更新の対象となる注目領域とする。そし
て、コンピュータは、注目領域に付与されているラベル
番号を修正後の配列T[i]に従って更新する。
【0082】例えば、ラベル番号1が付与されている注
目領域の場合、これに対応する配列要素がT[1]=1
で、要素番号iと配列要素が示す真のラベル番号とが一
致しているので、番号更新の必要がなく、初期ラベリン
グ処理によって付与されたラベル番号1のままとする。
ラベル番号2が付与されている注目領域の場合も同様で
ある。
【0083】一方、ラベル番号3が付与されている注目
領域の場合、これに対応する配列要素がT[3]=1
で、要素番号iと配列要素が示す真のラベル番号とが異
なるので、初期ラベリング処理によって付与されたラベ
ル番号3を真のラベル番号1に更新する。同様に、ラベ
ル番号4が付与されている注目領域の場合、これに対応
する配列要素がT[4]=1なので、初期ラベリング処
理によって付与されたラベル番号4を真のラベル番号1
に更新する。
【0084】以下、同様にして、ラベル番号5,6,
7,8,9,10が付与されている注目領域について
は、それぞれ真のラベル番号3,4,5,6,7,7に
更新する処理を行う。このように、コンピュータは、特
徴空間S内の学習領域Eaごとに再ラベリング処理を繰
り返す(ステップ308)。全学習領域Eaの再ラベリ
ング処理が終了した時点で、ステップ102のラベリン
グ処理が終了する。
【0085】図10は図9に示す各学習領域Eaに対し
て再ラベリング処理を行った結果を示す図である。以上
のように、本発明によれば、連結した学習領域群を1つ
のデータ領域とみなし、同一のデータ領域内の学習領域
に同一のラベルを付与するので、以下に示す表現方法の
ための処理を各データ領域ごとに行うことが可能とな
る。
【0086】また、ラベル番号の最大値が同一クラスに
属するデータ領域の数となるので、同一クラスにおける
データ領域の数を把握することができる。これにより、
同一クラスに属するデータ群が点在しているか密集して
いるかを把握することができる。
【0087】なお、ユークリッド距離などの類似度又は
非類似度を利用して、各データをいくつかの群(クラス
タ)に融合する方式(参考文献:安居院他、「画像の処
理と認識」、p.92−95、昭晃堂)により、同一ク
ラス内におけるデータ領域数を把握することも考えるこ
とができるが、以下のような問題があるため、これを利
用することは現実的には困難である。
【0088】この方式は、各データ間の類似度又は非類
似度が、あるしきい値以上又はしきい値以下となった場
合、同一クラスタとして融合し、最終的に融合されたク
ラスタ数をデータ領域と考え、同一クラスに属するデー
タ群が点在しているか密集しているかを把握するもので
ある。
【0089】しかしながら、このように各データをクラ
スタに融合する方式では、同じクラスタにデータを融合
していくための基準、しきい値に関して、最適な値を決
めるための指針が明確でなく、試行錯誤的に決める必要
があるという問題が生じる。また、この方式では、しき
い値などの違いにより、最終的に把握されるデータ領域
数が変化してしまい、意味のあるデータ領域数のカウン
トが困難であるという問題が生じる。
【0090】これに対し、本発明では、データ密度に応
じてデータを自動的に学習領域化することができる。ま
た、学習領域に対してラベリング処理を施すことによ
り、適切なデータ領域数の把握が可能となる。
【0091】なお、本実施の形態では、単一クラス内の
データに対する処理について記述しているが、クラスが
i個(i=1,・・・,k;k≧2)存在する場合は、
前述のようにクラスごとに統計的有意水準に基づいて分
割数miを求め、これらに基づいて全クラスに共通な分
割数mを式(5)により求めた後に、学習領域生成処理
とラベリング処理とをクラスごとに行ってもよいし、全
クラスに共通な分割数mを求めずに、クラス別の分割数
miを用いて学習領域生成処理とラベリング処理とをク
ラスごとに行ってもよい。
【0092】また、本実施の形態では、変量が2種類の
場合について説明しているが、変量が2種類以上の場合
も同様にして扱えることは明らかである。n変量、すな
わち特徴空間がn次元の場合、注目領域に対して3n
1又はn×2近傍の領域を注目領域に隣接する領域と呼
ぶ。本実施の形態では、ラベリング処理に際して3n
1近傍(2変量の場合は8近傍)を隣接する領域として
いるが、n×2近傍(2変量の場合は4近傍)を隣接す
る領域としてもよく、対象に応じていずれかを用いる。
【0093】次に、本発明では、文字によるデータ領域
の表示により、データ領域を具体的な数値で把握できる
ようにしている。ここでは、データ領域を全て詳細に数
値で表現しているわけではなく、まずラベル付けされた
データ領域が大まかな領域となるよう近似処理を行う。
【0094】続いて、クラス及び変量ごとに、近似され
たデータ領域の範囲を数値とグラフで提示する。これに
より、データのばらつき程度、データ領域の形状や大き
さなどをより具体的にイメージしやすくなる。また、上
記近似は、人間が視覚により物体の領域を把握している
感覚に近い近似であるため、データ領域を全て詳細に数
値で表現するよりも、ユーザが具体的な領域をイメージ
しやすくなる。
【0095】なお、以下の処理は、ラベル付けされた同
一クラス内のデータ領域ごとに実施される。また、デー
タのクラスが複数ある場合には、さらにクラスごとに以
下の処理を繰り返すことになる。まず、コンピュータ
は、ステップ102でラベル付けされたデータ領域に対
して近似処理を行う(ステップ103)。
【0096】図11はデータ領域の近似処理を説明する
ためのフローチャート図、図12〜図15はデータ領域
の近似処理を説明するための説明図である。ここでは、
図10におけるデータ領域6を例として近似処理を説明
する。データ領域の近似処理において、最初にコンピュ
ータは、同一のラベル番号が付与されたデータ領域に対
して初期近似領域を設定する(ステップ401)。
【0097】初期近似領域を設定するには、近似対象と
なるデータ領域の大きさを変量ごとに算出して、算出し
た大きさのうち最大値Rmaxを次式のように求める。 Rmax=max{Rx1,Rx2,Rx3,・・・・Rxn} ・・・(6) 式(6)において、Rx1,Rx2,Rx3,Rxn
は、近似対象となるデータ領域の変量x1,x2,x
3,xn方向の大きさである。
【0098】そして、コンピュータは、2p-1<Rma
x≦2pを満たす変数pを求め、初期近似領域の1辺の
大きさR=2p を決定して、初期近似領域を設定する。
このとき、初期近似領域の各変量方向の大きさは全てR
である。また、特徴空間S内における初期近似領域の位
置は、近似の対象となるデータ領域を内包するような位
置に設定すればよい。そして、コンピュータは、初期近
似領域の大きさと位置をメモリに格納する。
【0099】図12の例では、データ領域の変量x1方
向の大きさが12であるため、すべての変量x1,x2
方向の大きさを24 (=16)として、破線で示すよう
な初期近似領域を設定している。
【0100】続いて、コンピュータは、初期近似領域内
の分割領域Eの個数をN、該初期近似領域に含まれるデ
ータ領域内の学習領域Eaの個数をNaとしたとき、N
a/N、すなわち初期近似領域内の領域数に対するデー
タ領域内の学習領域数の割合が所定値(本実施の形態で
は0.5)以下かどうかを判定する(ステップ40
2)。
【0101】なお、ここでの計数の対象となる学習領域
Eaは、初期近似領域の近似対象となったデータ領域に
属するものであって、空間的な位置の上では初期近似領
域の内部に含まれる学習領域Eaであっても、他のデー
タ領域に属するものは数えない。例えば、データ領域6
を近似対象とする場合、このときの初期近似領域には図
12に示すようにデータ領域7に属する学習領域が含ま
れるが、この学習領域は計数の対象としない。
【0102】そして、コンピュータは、前記割合が所定
値以下の場合、初期近似領域を分割して、中間近似領域
を生成する(ステップ403)。この分割では、初期近
似領域の各変量方向の大きさを全て1/2にする。図1
2の例では、初期近似領域内の領域数に対するデータ領
域6内の学習領域数の割合が0.5以下であるため、初
期近似領域を分割して、図13に示すような中間近似領
域を生成している。
【0103】次いで、コンピュータは、中間近似領域内
の分割領域Eの個数をN、該中間近似領域に含まれるデ
ータ領域内の学習領域Eaの個数をNaとしたとき、N
a/N、すなわち中間近似領域内の領域数に対するデー
タ領域内の学習領域数の割合が所定値(本実施の形態で
は0.5)以下かどうかを判定する(ステップ40
2)。初期近似領域の場合と同様に、ここでの計数の対
象となる学習領域Eaは、中間近似領域に含まれ、かつ
該中間近似領域の生成元である初期近似領域が近似対象
としたデータ領域に属するものである。
【0104】そして、コンピュータは、前記割合が所定
値以下の場合、中間近似領域を各変量方向の大きさが全
て1/2となるように分割する(ステップ403)。コ
ンピュータは、以上のようなステップ402,403の
処理を中間近似領域ごとに繰り返して、中間近似領域内
の領域数に対するデータ領域内の学習領域数の割合が所
定値より大きくなった場合、その中間近似領域について
は分割を終了する。なお、前記割合が0、すなわち中間
近似領域内に対応する学習領域Eaが1つもない中間近
似領域については分割処理を実施しない。
【0105】このような中間近似領域の分割を繰り返す
ことにより、図14のような最終近似領域が得られる。
この最終近似領域の確定にあたっては、データ領域内の
学習領域数Naが対応する中間近似領域内の領域数Nに
対して著しく小さい場合(例えば、個数Naが1の場
合)、この中間近似領域を無視して、最終近似領域を確
定する。
【0106】これにより、図14の例では、近似領域内
に学習領域Eaが1個の領域を削除して、最終近似領域
を確定している。データ領域6は、3つの最終近似領域
で近似されている。
【0107】全ての中間近似領域について分割が終了し
て最終近似領域が確定した後、コンピュータは、最終近
似領域をよりユーザに提示しやすくするために、最終近
似領域の合成を行う(ステップ404)。すなわち、コ
ンピュータは、1変量の方向については互いに隣接する
学習領域Eaを持たず、残りの全ての変量については互
いに隣接する学習領域Eaを有する最終近似領域同士を
合成する。
【0108】図15に、データ領域6を近似した3つの
最終近似領域を1つに合成した結果を示す。3つの最終
近似領域は、変量x2の方向について隣接する学習領域
Eaを有し、変量x1の方向については隣接する学習領
域Eaを持たないので、近似領域の合成が行われる。
【0109】コンピュータは、以上のようなステップ4
01〜404の処理を各データ領域ごとに行う(ステッ
プ405)。図16は図10に示す各データ領域に対し
て近似処理を行った結果を示す図である。図16におい
て、例えば近似領域2−1は、近似対象がデータ領域2
(ラベル番号が2)で、その1番目の最終近似領域であ
ることを示している。
【0110】なお、以上のような近似処理において、初
期近似領域の近似対象となるデータ領域内の学習領域E
aが始めから1個の場合は、この学習領域Eaを最終近
似領域として確定する。図10の例では、データ領域4
がこの場合に相当する。また、本実施の形態では、1つ
のクラスについて説明したが、クラスが複数ある場合に
は、クラスごとに近似処理を行うことになる。
【0111】次に、コンピュータは、ユーザに対して近
似領域を提示する(ステップ104)。この近似領域の
提示処理は、文字や棒グラフを利用して、ステップ10
3で得た近似領域をディスプレイ装置の画面に表示した
り、印刷したりすることによって行う。以下、図16の
近似領域を提示する場合を例にとって説明する。
【0112】図10におけるデータ領域6の場合、近似
処理で得た近似領域6−1は、x1={18,29}、
x2={21,24}の範囲に存在する。ここで、x=
{a,b}とは、その近似領域の変量x成分座標の最小
値がa、最大値がbという意味である。
【0113】これを基にして、例えば図17のような棒
グラフを利用したユーザへの近似領域の提示が可能とな
る。図17では、データ領域6を近似した近似領域6−
1が存在する範囲を変量x1,x2ごとに示している。
図17における斜線部が近似領域6−1の存在する範囲
である。他の近似領域についても、同様にして棒グラフ
で提示することが可能である。また、各近似領域を表1
のように文字で提示してもよい。
【0114】
【表1】
【0115】表1は各近似領域が存在する範囲を変量x
1,x2ごとに記したものである。図17、表1は、1
つのクラス(例えば、正常データが属するクラス)につ
いて近似領域を提示したものであるが、クラスが複数あ
る場合には、クラスごとに棒グラフや表を用いて近似領
域を提示することが可能である。
【0116】例えば、特徴空間内にクラスA,B,Cと
いう3つのクラスに属するデータが存在する場合、図1
8のような棒グラフを利用したユーザへの近似領域の提
示が可能である。クラスAに属するデータは、近似領域
A1,A2,A3という3つの領域に分かれて存在し、
クラスBに属するデータは、近似領域B1内のみに存在
し、クラスCに属するデータは、近似領域C1,C2,
C3,C4という4つの領域に分かれて存在している。
【0117】図18(a)に示したクラスAの近似領域
A1,A2,A3を文字で提示する場合を表2に示す。
【0118】
【表2】
【0119】表2において、例えば近似領域番号がA1
−2の近似領域は、近似対象がデータ領域1(ラベル番
号が1)で、その2番目の最終近似領域であることを示
している。近似領域A1は、3つの最終近似領域A1−
1,A1−2,A1−3を合成したものであり、近似領
域A2は、1つの最終近似領域A2−1からなり、近似
領域A3は、5つの最終近似領域A3−1,A3−2,
A3−3,A3−4,A3−5を合成したものである。
【0120】図18(b)に示したクラスBの近似領域
B1を文字で提示する場合を表3に示す。
【0121】
【表3】
【0122】近似領域B1は、2つの最終近似領域B1
−1,B1−2を合成したものである。図18(c)に
示したクラスCの近似領域C1,C2,C3,C4を文
字で提示する場合を表4に示す。
【0123】
【表4】
【0124】近似領域C1は、1つの最終近似領域C1
−1からなり、近似領域C2は、4つの最終近似領域C
2−1,C2−2,C2−3,C2−4を合成したもの
であり、近似領域C3は、2つの最終近似領域C3−
1,C3−2を合成したものであり、近似領域C4は、
1つの最終近似領域C4−1からなるものである。
【0125】なお、図18では、最終近似領域をステッ
プ404の処理で合成した上で、合成した近似領域を棒
グラフで図示しているが、合成する前の最終近似領域ご
とに棒グラフで提示してもよく、合成する前の各最終近
似領域を同一の棒グラフ上で異なる色で提示してもよ
い。
【0126】また、本発明におけるデータ領域の表現方
法は、表1のような情報を利用した方法であればよく、
以上の方法に限定するものではない。つまり、複雑な形
状のデータ領域1などは、表1のような近似領域1の座
標ベクトルからデータ領域の境界を代表する点を得るこ
とができるので、座標ベクトルを簡単に、x1={6,
19}、x2={2,13}として表示することも可能
である。
【0127】以上のようなデータ領域の表現方法を用い
れば、2次元以上の多変量(多次元)、かつ多量データ
の場合も領域の表現が可能である。また、図16、表1
に示したように、表現するデータ領域の複雑さに応じ
て、近似領域も複雑となる(数が多くなる)ため、対象
の複雑さを把握することが可能となる。つまり、提示さ
れた近似領域の情報を調べることで、より簡単な類別モ
デル形状となるような特徴空間を見つけることが可能と
なり、識別精度の向上が期待できる。
【0128】さらに、特徴空間内の近似領域が存在する
範囲を座標で把握できるため、近似領域の大きさ(面積
や体積等)を計算することができる。これにより、大き
さの小さい近似領域はノイズであると判断して、該当す
るデータを削除することができ、不適切な類別モデル生
成を防ぐことが可能となる。
【0129】また、図16などのような情報と棒グラフ
とを併用することで、より分かりやすいデータ領域の表
現が可能となる。例えば、図25のような単純な低次元
グラフへの射影だけでは、領域が重なってしまい、実際
のデータ領域が表現できない。これに対して、本発明で
は、棒グラフや表1のような情報を併用することで、た
とえ射影後の領域が重なっていても、実際は離れている
ことが把握できているため、それに応じたグラフ描画
(例えば、お互いの領域間の距離,視点からの距離,領
域が上にあるか下にあるか等に応じて領域の色を変える
など)が可能となり、より分かりやすい領域表現の実現
が期待できる。
【0130】さらに、本発明を適用することで、データ
について、領域ごとにラベル付けされているため、上記
文字提示に加え、他の画像処理手法を多次元に拡張して
適用することができ、より詳細な領域の形状解析(領域
内の空洞の有無の把握、包含関係の把握など)が可能と
なる。
【0131】この場合、以下のような手順により、空洞
の有無、包含関係の把握が可能である。 (A)周囲に学習されていない分割領域がある場合に
は、この領域は境界線であるとして抽出する。 (B)境界線が同一領域に2本以上ある場合には、その
領域内に空洞があると判断する。 (C)境界線が同一領域に2本以上あり、そのうち、す
べての変量において、境界の値が小さいほうの境界線を
内側境界線と判断する。 (D)すべての変量において、上記内側境界線よりも、
他の領域の外側境界線のほうが小さい場合には、他の領
域が注目している領域に包含されていると判断できる。
【0132】なお、本発明のデータ領域の解析方法及び
表現方法は、以下の状況類別方法において、特徴空間内
のデータ領域を把握したり、データ領域の把握のために
データ領域を表示したり、高精度な類別を行うために最
適な特徴空間(変量)を選定したりするのに使用され
る。
【0133】(A)国際公開公報WO99/26164
で開示された類別モデル。 (B)判別分析法を用いた状況類別方法。 (C)ニューラルネットワークを用いた状況類別方法。 (D)RCEネットワークを用いた状況類別方法。
【0134】なお、以上のような状況類別方法は、以下
のような分野に適用される。 (A)ハンチングなどの計装不具合時の状況把握や、プ
ラントおよび機器の異常状態の検知などの異常診断。 (B)状況に応じて採るべき行動の支援などの意思決
定。 (C)その他一般の類別問題。
【0135】
【発明の効果】従来の特徴空間内のデータのばらつき程
度を定量化する手法(Λ統計量)では、線形判別を対象
としており、特徴空間内の同一クラスに属するデータ群
のばらつきの把握が困難であった。しかし、本発明で
は、n種類の変量で定義されるn次元の特徴空間内にお
いて1つのクラスに属し、その位置が変量で特定される
n次元データが入力されたとき、各変量のm分割により
特徴空間をmn 個の分割領域に分割して、n次元データ
を内包する分割領域をクラスに属する学習領域とし、入
力された個々のデータと分割領域との対応付けを行う学
習領域生成処理と、同一クラスに属する連結した学習領
域群を1つのデータ領域とみなし、同一のデータ領域内
の学習領域に同一のラベルを付与するラベリング処理と
を行うことにより、特徴空間内の同一クラスに属するデ
ータ群のばらつき(データ領域が点在するか否か)の把
握が可能となる。これにより、より適切な特徴空間の選
択(つまり、より適切な変量の選択)が可能となり、類
別精度の向上が期待できる。また、収集されたデータの
類別モデルへの近似がより容易となり、類別モデル生成
時における生成速度を高速化し、メモリ負荷を軽減する
ことができる。これは、適用する類別手法が非線形の場
合、より有効となる。また、データにノイズがある場合
にそれを検知でき、特徴空間内でノイズを削除すること
が可能となる。また、データ領域が複雑であるかどうか
を判断するための情報が提示可能である。これにより、
不適切な類別モデル生成を防ぐことができ、類別モデル
生成時における生成速度を高速化し、メモリ負荷を軽減
することができる。また、本発明により得られる情報を
もとに、詳細なデータ領域形状解析が可能となり、より
分かりやすいデータ領域表現が期待できる。
【0136】また、内包するデータの数が1個となる分
割領域が生成される度合いが分割数mに対し確率分布に
従うとみなして、統計的有意水準に基づき分割数mを決
定して、特徴空間を分割することにより、データ密度に
応じて自動的にデータを学習領域化し、データ領域の表
現が可能となるため、従来のようにクラスタリングを利
用した場合のようなデータのばらつき程度を把握するた
めの試行錯誤的な手順が不要となる。
【0137】従来のデータ領域を把握する手段(グラ
フ)では、多変量(多次元)、多量のデータを取り扱う
ことは困難であり、また実際には同一領域ではない領域
を同一領域と見誤る問題があった。しかし、本発明で
は、学習領域生成処理と、ラベリング処理と、同一のラ
ベルが付与されたデータ領域ごとに近似領域を設定し
て、この近似領域を表示する近似処理を行うことによ
り、多次元、多量のデータを取り扱うことができ、正確
にデータ領域把握、データ領域表現が可能である。ま
た、人間が視覚により物体の領域を把握している感覚に
近い近似により、データ領域を大まかに近似して提示し
ているため、データ領域を全て詳細に数値で表現するよ
りも、ユーザが具体的な領域をイメージしやすいという
利点が得られる。
【0138】また、同一クラスの同一データ領域を近似
した、分割終了後の近似領域のうち、1変量の方向につ
いては互いに隣接する学習領域を持たず、残りの全ての
変量については互いに隣接する学習領域を有する近似領
域同士を合成して表示することにより、同一データ領域
をまとめて表示することが可能となる。
【0139】また、近似領域が存在する範囲を変量ごと
に棒グラフで表すことにより、より分かりやすいデータ
領域表現が可能となる。これにより、多数の要因が複雑
に絡み合うシステムの異常判定問題などにおいても、適
切な特徴空間の選択(適切な変量の選択)が可能とな
り、類別精度の向上が期待できる。
【図面の簡単な説明】
【図1】 本発明の実施の形態となるデータ領域の解析
方法及び表現方法を説明するためのフローチャート図で
ある。
【図2】 分割数mに対する比率F(m)の特性を示す
図である。
【図3】 本発明の実施の形態における学習領域生成処
理を説明するためのフローチャート図である。
【図4】 本発明の実施の形態において2次元の特徴空
間内に分布するデータの1例を示す図である。
【図5】 図4の特徴空間において2つの変量をそれぞ
れ32分割した結果を示す図である。
【図6】 分割によって生成された領域のうちクラスに
属すると判定された学習領域を示す図である。
【図7】 本発明の実施の形態におけるラベリング処理
を説明するためのフローチャート図である。
【図8】 注目領域に対するラベル付けの方法を説明す
るための説明図である。
【図9】 図6に示す各学習領域に対して初期ラベリン
グ処理を行った結果を示す図である。
【図10】 図9に示す各学習領域に対して再ラベリン
グ処理を行った結果を示す図である。
【図11】 本発明の実施の形態におけるデータ領域の
近似処理を説明するためのフローチャート図である。
【図12】 本発明の実施の形態におけるデータ領域の
近似処理を説明するための説明図である。
【図13】 本発明の実施の形態におけるデータ領域の
近似処理を説明するための説明図である。
【図14】 本発明の実施の形態におけるデータ領域の
近似処理を説明するための説明図である。
【図15】 本発明の実施の形態におけるデータ領域の
近似処理を説明するための説明図である。
【図16】 図10に示す各データ領域に対して近似処
理を行った結果を示す図である。
【図17】 本発明の実施の形態における近似領域の提
示方法の1例を示す図である。
【図18】 本発明の実施の形態における近似領域の提
示方法の他の例を示す図である。
【図19】 判別分析法を用いた従来の状況類別方法を
説明するための図である。
【図20】 RCEネットワークを用いた従来の状況類
別方法を説明するための図である。
【図21】 Λ統計量を利用した従来のデータ領域の解
析方法を説明するための図である。
【図22】 2変量以上の特徴空間内のデータ領域を低
次元グラフに射影したグラフを示す図である。
【図23】 Λ統計量を利用した従来の状況類別方法の
問題点を説明するための図である。
【図24】 従来の非線形類別方法の問題点を説明する
ための図である。
【図25】 2変量以上の特徴空間内のデータ領域を低
次元グラフに射影した場合の問題点を説明するための図
である。
【符号の説明】
101…学習領域生成処理、102…ラベリング処理、
103…データ領域の近似処理、104…近似領域の提
示処理。
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 5D015 GG01 GG03 5L096 FA38 FA53 GA34 9A001 BB02 BB03 BB04 EE07 GG05 HH16 HH21 KK32 KK54 KK55

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 n(nは1以上の整数)種類の変量で定
    義されるn次元の特徴空間内において1つのクラスに属
    し、その位置が前記変量で特定されるn次元データが入
    力されたとき、各変量のm(mは1以上の整数)分割に
    より前記特徴空間をmn 個の分割領域に分割して、前記
    n次元データを内包する分割領域を前記クラスに属する
    学習領域とし、入力された個々のデータと分割領域との
    対応付けを行う学習領域生成処理と、 同一クラスに属する連結した学習領域群を1つのデータ
    領域とみなし、同一のデータ領域内の前記学習領域に同
    一のラベルを付与するラベリング処理とからなることを
    特徴とするデータ領域の解析方法。
  2. 【請求項2】 請求項1記載のデータ領域の解析方法に
    おいて、 前記特徴空間を分割する処理は、内包するデータの数が
    1個となる分割領域が生成される度合いが分割数mに対
    し確率分布に従うとみなして、統計的有意水準に基づき
    分割数mを決定する処理からなることを特徴とするデー
    タ領域の解析方法。
  3. 【請求項3】 請求項1記載のデータ領域の解析方法に
    おいて、 前記ラベリング処理は、前記学習領域生成処理で生成さ
    れた学習領域ごとにラベルを付与すると共に、前記学習
    領域がとるべき真のラベルを記憶するためのラベル表を
    作成する処理からなり、この処理は、 1.ラベルの付与対象となる学習領域に対して、隣接す
    る学習領域に付与されたラベルに基づく所定の条件によ
    ってラベルを付与し、前記ラベル表を更新するステップ
    と、 2.前記ラベル表に記憶されている真のラベルが通し番
    号となるよう前記ラベル表を修正するステップと、 3.前記ステップ1で付与されたラベルを前記ラベル表
    に基づいて真のラベルに更新するステップとからなるこ
    とを特徴とするデータ領域の解析方法。
  4. 【請求項4】 n種類の変量で定義されるn次元の特徴
    空間内において1つのクラスに属し、その位置が前記変
    量で特定されるn次元データが入力されたとき、各変量
    のm分割により前記特徴空間をmn 個の分割領域に分割
    して、前記n次元データを内包する分割領域を前記クラ
    スに属する学習領域とし、入力された個々のデータと分
    割領域との対応付けを行う学習領域生成処理と、 同一クラスに属する連結した学習領域群を1つのデータ
    領域とみなし、同一のデータ領域内の前記学習領域に同
    一のラベルを付与するラベリング処理と、 同一のラベルが付与されたデータ領域ごとに近似領域を
    設定して、この近似領域を表示する近似処理とからなる
    データ領域の表現方法であって、 前記近似処理は、前記データ領域を包含する近似領域を
    定義するステップと、 近似領域内の前記分割領域の個数をN、該近似領域の近
    似対象となったデータ領域に含まれる学習領域の個数を
    Naとしたとき、Na/Nが所定値以上となるまで前記
    近似領域を分割して、分割終了後の近似領域を表示する
    ステップとからなることを特徴とするデータ領域の表現
    方法。
  5. 【請求項5】 請求項4記載のデータ領域の表現方法に
    おいて、 同一クラスの同一データ領域を近似した、前記分割終了
    後の近似領域のうち、1変量の方向については互いに隣
    接する学習領域を持たず、残りの全ての変量については
    互いに隣接する学習領域を有する近似領域同士を合成し
    て表示することを特徴とするデータ領域の表現方法。
  6. 【請求項6】 請求項4又は5記載のデータ領域の表現
    方法において、 前記近似領域が存在する範囲を変量ごとに棒グラフで表
    すことを特徴とするデータ領域の表現方法。
JP2000061709A 2000-03-07 2000-03-07 データ領域の解析方法及び表現方法 Expired - Fee Related JP3779519B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000061709A JP3779519B2 (ja) 2000-03-07 2000-03-07 データ領域の解析方法及び表現方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000061709A JP3779519B2 (ja) 2000-03-07 2000-03-07 データ領域の解析方法及び表現方法

Publications (2)

Publication Number Publication Date
JP2001250101A true JP2001250101A (ja) 2001-09-14
JP3779519B2 JP3779519B2 (ja) 2006-05-31

Family

ID=18581812

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000061709A Expired - Fee Related JP3779519B2 (ja) 2000-03-07 2000-03-07 データ領域の解析方法及び表現方法

Country Status (1)

Country Link
JP (1) JP3779519B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264856A (ja) * 2003-02-28 2004-09-24 Samsung Electronics Co Ltd 最適区画の分類神経網の構成方法、最適区画の分類神経網を用いた自動ラベリング方法、並びに装置
US7729921B2 (en) 2006-08-14 2010-06-01 Nuance Communications, Inc. Apparatus, method, and program for supporting speech interface design
WO2020026395A1 (ja) * 2018-08-02 2020-02-06 日本電気株式会社 モデル作成装置、モデル作成方法、及び、モデル作成プログラムが記録された記録媒体
JP2020052519A (ja) * 2018-09-25 2020-04-02 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、およびプログラム
US10713539B2 (en) 2015-11-27 2020-07-14 Fujitsu Limited Recording medium, case data generation support system, and case data generation support method
JPWO2019058775A1 (ja) * 2017-09-21 2021-01-21 株式会社アダコテック 異常検出装置、異常検出方法及びプログラム
WO2021210414A1 (ja) * 2020-04-17 2021-10-21 株式会社Roxy 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004264856A (ja) * 2003-02-28 2004-09-24 Samsung Electronics Co Ltd 最適区画の分類神経網の構成方法、最適区画の分類神経網を用いた自動ラベリング方法、並びに装置
JP4545456B2 (ja) * 2003-02-28 2010-09-15 三星電子株式会社 最適区画の分類神経網の構成方法、最適区画の分類神経網を用いた自動ラベリング方法、並びに装置
US7729921B2 (en) 2006-08-14 2010-06-01 Nuance Communications, Inc. Apparatus, method, and program for supporting speech interface design
US7747443B2 (en) 2006-08-14 2010-06-29 Nuance Communications, Inc. Apparatus, method, and program for supporting speech interface design
US10713539B2 (en) 2015-11-27 2020-07-14 Fujitsu Limited Recording medium, case data generation support system, and case data generation support method
JPWO2019058775A1 (ja) * 2017-09-21 2021-01-21 株式会社アダコテック 異常検出装置、異常検出方法及びプログラム
WO2020026395A1 (ja) * 2018-08-02 2020-02-06 日本電気株式会社 モデル作成装置、モデル作成方法、及び、モデル作成プログラムが記録された記録媒体
JPWO2020026395A1 (ja) * 2018-08-02 2021-08-02 日本電気株式会社 モデル作成装置、モデル作成方法、及び、モデル作成プログラム
JP7115546B2 (ja) 2018-08-02 2022-08-09 日本電気株式会社 モデル作成装置、モデル作成方法、及び、モデル作成プログラム
JP2020052519A (ja) * 2018-09-25 2020-04-02 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、およびプログラム
JP7112924B2 (ja) 2018-09-25 2022-08-04 エヌ・ティ・ティ・コムウェア株式会社 情報処理装置、情報処理方法、およびプログラム
WO2021210414A1 (ja) * 2020-04-17 2021-10-21 株式会社Roxy 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置
JPWO2021210414A1 (ja) * 2020-04-17 2021-10-21
JP7309134B2 (ja) 2020-04-17 2023-07-18 株式会社Roxy 可視化方法、これに用いるプログラム、および、可視化装置、並びに、これを備える判別装置

Also Published As

Publication number Publication date
JP3779519B2 (ja) 2006-05-31

Similar Documents

Publication Publication Date Title
US10872446B2 (en) Systems and methods for high dimensional 3D data visualization
Fraley et al. Enhanced model-based clustering, density estimation, and discriminant analysis software: MCLUST
US7440638B2 (en) Image retrieving system, image classifying system, image retrieving program, image classifying program, image retrieving method and image classifying method
US7603329B2 (en) Data set modification using training algorithm that grows the data set
EP1388804A2 (en) Method and system for face detection using pattern classifier
WO2019102005A1 (en) Object recognition using a convolutional neural network trained by principal component analysis and repeated spectral clustering
EP0363828A2 (en) Method and apparatus for adaptive learning type general purpose image measurement and recognition
JP6863926B2 (ja) データ分析システム及びデータ分析方法
EP1246124B1 (en) Image space display method and apparatus
Van Long et al. Visualizing high density clusters in multidimensional data using optimized star coordinates
JPH02238588A (ja) 文字認識装置
CN111739017A (zh) 一种在样本不平衡条件下显微图像的细胞识别方法及系统
CN110544310A (zh) 一种双曲共形映射下三维点云的特征分析方法
Broadhurst Statistical estimation of histogram variation for texture classification
JP3779519B2 (ja) データ領域の解析方法及び表現方法
MacLeod The direct analysis of digital images (eigenimage) with a comment on the use of discriminant analysis in morphometrics
Chen et al. A novel graphical model approach to segmenting cell images
CN114511587A (zh) 一种ct图像的标记方法、系统、介质及设备
CN113822283A (zh) 文本内容处理方法、装置、计算机设备及存储介质
EP0435099B1 (en) A method of selecting characteristics data for a data processing system
Farouk Principal component pyramids using image blurring for nonlinearity reduction in hand shape recognition
Mehidi et al. Retinal Image Segmentation U sing Clustering Methods: Performance Analysis
Saxsena et al. Feature Selection Using Heterogeneous Data Indexes: a data science perspective
Yang et al. Investigations on skeleton completeness for skeleton-based shape matching
US20230169307A1 (en) Method of executing class classification processing using machine learning model, information processing device, and non-transitory computer-readable storage medium storing computer program

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060228

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060302

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100310

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110310

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120310

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130310

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140310

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees