JP2000507376A

JP2000507376A - コンピュータを用いてニューラルネットワークから除くべき重みを求める方法

Info

Publication number: JP2000507376A
Application number: JP9533925A
Authority: JP
Inventors: トレスプフォルカー; ツィンマーマンハンス―ゲオルク; ノインアイアーラルフ
Original assignee: Siemens AG
Current assignee: Siemens AG
Priority date: 1996-03-25
Filing date: 1997-03-11
Publication date: 2000-06-13
Anticipated expiration: 2017-03-11
Also published as: EP0890153B1; EP0890153A1; WO1997036248A1; DE59703599D1; JP3935211B2; US6311172B1; DE19611732C1

Abstract

(57)【要約】トレーニングフェーズにて最小化されるべき誤差関数が最小値になる前に、ニューラルネットワーク（ＮＮ）のトレーニングフェーズをストップする（３０１）。例えば、ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）又はＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法により、誤差関数が最小値に達しているとの仮定のもとで、第１の変量（ＥＧ）を求める、ないし、規定する。更に、第２変量（ＺＧ）を求め、ないし、規定し、該第２変量（ＺＧ）により、ニューラルネットワーク（ＮＮ）から重み（Ｗｉ）を除く際どの程度誤差関数の値が重み（Ｗｉ）の変化のとき変化するかが求められる、ないし、規定される。第１変量（ＥＧ）及び第２変量（ＺＧ）を用いて、重み（Ｗｉ）は、ニューラルネットワーク（ＮＮ）からの除くのに適する、または不適であるものと判定、分類される。

Description

【発明の詳細な説明】コンピュータを用いてニューラルネットワークから除くべき重みを求める方法近似されるべきトレーニングデータに関し、たんにわずかな情報内容を有する重みを除くことによりそれのディメンション次元性の点で低減されたニューラルネットワークの一般化ないし汎化特性が著しく改善される。更に、低減縮小されたニューラルネットワークをトレーニングするため必要とされるトレーニングデータの数もわずかである。亦、テストフェーズにおける学習及び分類の速度も増大される。ニューラルネットワークの重みを除くことはプルーニング（Ｐｒｕｎｉｎｇ）と称される。種々のプルーニング（Ｐｒｕｎｉｎｇ）方法が公知である。例えば文献〔１〕から所謂ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）法が公知である。この方法では、ニューラルネットワークの個個、個別の重みに基づき除くべき重みを選択するため、誤差関数の２次導関数が使用される。この方法の欠点とするところは、次のような前提のもとでしか、動作、実施できないことである、即ち、トレーニングフェーズが収束しているという前提のもとでのみ動作実施できる、換言すれば、トレーニングフェーズ中最小化される誤差関数が当該誤差関数のローカル局所的最小値又はグローバル大域的最小値に達しているとの前提下でのみ動作実施できないことである。ここで、前記の公知方法の欠点とするところは、就中、当該の方法において大抵は単に著しくオーバートレーニングされたニューラルネットワークのみしか除くべき重みに関して調べることができないことである。トレーニングフェーズの収束性の同一前提、従って、亦同一の欠点を、同様に文献〔１〕にて記載された方法も有する。この方法は、ＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法として知られている。更に、公知の方法では、誤差関数が最小値に達する前に、トレーニングフェーズはストップされる。この手法は、早期ストップ（ＥｅａｌｙＳｔｏｐｐｉｎｇ）法と称され、例えば、文献〔２〕に記載されている。そこには、除くのに適する重みの評価のためのＯＢＤ法も提案されているが、但し、誤差関数が最小値に達している場合しか重み評価が可能でない（参照７７５頁第２番目最終段落）。プルーニング（Ｐｒｕｎｉｎｇ）が〔３〕及び〔４〕から公知であり、ここではニューラルネットワークからの重み（Ｗｉ）を除く際どの程度誤差関数の値が変化するかを記述、表示する評価量が利用される。本発明の基礎を成す課題、問題とするところは、コンピュータを用いてニューラルネットワークから除くのに適する重みを求めることにある。前記課題、問題は、請求の範囲１の方法により、解決される。ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）又はＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法の公知方法により求められ、ないし、規定される第１変量を基にして、各被検重みに対して第２変量が求められ、ないし、規定され、、該第２変量により、当該の重みの変化の際誤差関数がどのくらい変化するかを記述、表示するものである。従って、第２変量を次のような補正項と見なすことができる、即ち、それにより、トレーニングフェーズの終了を誤差関数が最小値に到達する前に補正する補正項と見なすことができる。今や第１の変量及び第２の変量から、基準判定量が形成され、該基準判定量により、重みに対してその都度、当該の重みがニューラルネットワークから除くのに適するか否かが調べられる。前述のような方法での第２変量の形成により基準判定量が著しく改善され、該基準判定量を用いて、或１つの重みがニューラルネットワークから除くのに適するか否かの判定がなされる。それにより、実際に次のような重みが、除くのに適するものとして分類される、即ちトレーニングデータに関して最も少ない情報内容を有し、従って、相当に必要とされる情報を失うことなく除くことができる重みとして分類される。それにより、ニューラルネットワークのテストフェーズにおける一般化特性の著しい改善、大した情報損失なしでのトレーニングフェーズの加速、及びテストフェーズにおける著しく一層高速の分類が達成される。本発明の方法の更なる利点とするところは、ＥａｒｌｙＳｔｏｐｐｉｎｇに関連して使用されることである。このことは、ＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）及びＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）の手法にとって可能でない。要するに、本発明の方法により、ニューラルネットワークの自由度の低減のための２つの有利な方法を相互に組み合わせることが可能である。本発明の有利な発展形態が従属形請求項形、引用請求項形の請求範囲に示されている。請求の範囲９による方法の発展形態により、次のような場合、１度除かれた重みを再び挿入することが可能になる、即ち、更に継続されたトレーニングの枠内で、除かれた重みの情報内容が未だ除かれていない重みより大であることが明らかになった場合、当該の重みの再挿入が可能である。既に除かれた重みを再びニューラルネットワーク中に挿入できるような前記の手法により、当該方法は、そのフレキシビリティが増大され、従って、或る時間の後重みを除いたことが不都合であると明らかになった場合、当該の方法プロセス過程は、再び覆すことが可能、ないし、元に戻すことができる。前記の特性により、公知方法により可能であった場合におけるより最終的に一層最適に形成されたニューラルネットワークの構造が得られる。本発明の１実施例を図示してあり、以下詳述する。図１ａ及び１ｂは、重みを除く前（図１ａ）及び重みを除いた後（図１ｂ）の重み及びニューロンを有するニューラルネットワークを示す。図２は、Ｐｒｕｎｉｎｇ手法を必要に応じて実施するため使用されるコンピュータを表すブロックダイヤグラムを示す。図３は、本発明の方法の個々の方法ステップを含むシーケンスダイヤグラムを示す。図１ａには、ニューラルネットワークＮＮが示してあり、該ニューラルネットワークＮＮは、本実施例では、１０のニューロンＮＥ−これらは、３つの層に分類分布されている−を有する。個々の１０のニューロンＮＥは、本事例ではそれぞれ直ぐ後続する層のすべてのニューロンに結合されている。当該の結合部は、それぞれ重みＷｉで重み付けられている、換言すれば、１つのニューロンＮＥの１つの出力信号がそれぞれ、結合部に対応付けられた重みＷｉと乗算されて入力信号として、直ぐ後続する層の相応のニューロンＮＥに供給される。ここで、インデックスｉは、ニューラルネットワークＮＮの各重みＷｉを一義的に表わし、１とｏとの間の自然数である。ここで、ｏは、ニューラルネットワークＮＮのすべての重みＷｉの数を表す。図１ｂには、幾つかの重みＷｉを本発明の方法によりニューラルネットワークＮＮから除いた後の低減縮小されたニューラルネットワークＮＮＰを示す。図１ａ及び図１ｂに示すニューラルネットワークＮＮの構造は、何らの限定をしているものではない。たんに簡単な分かり易い例に即して本発明の方法における手段を示すものである。図２には、コンピュータＲを示してあり、該コンピュータＲにより、本発明の方法が必然的に実施される。ニューラルネットワークＮＮは、トレ−ニングフェーズにてトレーニングデータセットＴＤＳを使用してトレーニングされる。トレーニングデータセットＴＤＳはトレーニングデータ及び所属の設定値Ｙ_kのデータセット（Ｔｕｐｅｌ）を有する。ニューラルネットワークＮＮに対するトレーニングフェーズの通常の目標とするところは、誤差関数−これは、印加されたトレーニングデータＸ_kに対する設定値Ｙ_Kの差を記述、表示する−を最小化することである。ここで当業者に極めて様々の方法例えばバックプロパケーションが公知である。更なる手法、方法を当該の本発明の方法にて制約を受けずに使用できる。コンピュータＲではトレーニングフェーズにてトレーニングデータセットＴＤＳ及びニューラルネットワークＮＮから図１ｂに示す低減縮小されたニューラルネットワークＮＮＰが求められる。図３には、本発明の方法の個々の方法ステップをシーケンスダイヤグラムの形で示す。誤差関数がローカル又はグローバルな最小値に収束する前にトレーニングフェーズがストップされる。誤差関数がローカル最小値に収束されているとの仮定のもとで、第１変量ＥＧが、例えば、ＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）法又はＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）〔１〕の使用下でニューラルネットワークＮＮの各々の考慮されるべき重みＷｉに対して求められ、ないし、規定される（３０２）。ニューラルネットワークＮＮのすべての重みＷｉをそのようにして調べるように設計されている。本発明の方法のバリエーションによれば、ただ、ニューラルネットワークの重みＷｉの任意の所定数を考慮するものである。各々の考慮される重みＷｉに対して、第２変量ＺＧが求められ、ないし、規定される（３０３）。当該の第２変量ＺＧによりそれぞれの重みＷｉの変化の際の誤差関数が記述、表示される。第２の変量ＺＧは、例えば、下記関係式から求めることができる、即ち、但し、ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、Ｋは、考慮されるトレーニングデータの数を表わし、Ｘ_kは、それぞれ１つのトレーニングデータを表わし、ＮＮ（Ｘ_k）は、トレーニングデータＸ_Kの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、Ｙ_kは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸ_Kの印加の際得られるべきものであり、 ∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、Ｍは、所定の自然数を表わし、ｍは、所定の自然数を表わし、１は、所定の偶数の自然数を表わし、ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち又はから得られるようにしたのである。更に、第２変量を例えば、次のようにして求めることもできる、即ち、第２の変量ＺＧは、下記関係式から得られる、即ち、但し、ｓは、所定の自然数を表わすのである。少なくとも第１変量ＺＧ及び第２変量ＺＧから、基準判定量ＫＧが更なるステップ（３０４）で求められ、ないし、規定される。最終ステップ３０５にてその都度調べられる重みＷｉが、ニューラルネットワークＮＮからの除くのに適する重みＷｉ−それぞれの重みＷｉの情報内容がわずかである故に−又はニューラルネットワークＮＮからの除くのに不適当な重みに分類される。本発明の方法の発展形態では、第３の変量ＫＧが考慮され、当該の第３の変量ＫＧは、下記の規定関係式により形成される：即ち、従って、基準判定量ＫＧは、（６）又は（７）から得られる、即ち、ＫＧ＝ＥＧ＋ＺＧ（６）又はＫＧ＝ＥＧ＋ＺＧ＋ＤＧ（７）から得られる。明確に考察すると、前記手段が、意味するところによれば、そこにて、トレーニングフェーズがストップされた点から出発して、誤差関数の点と、誤差関数の局所最小値との間の間隔が推定される。次のような重みがニューラルネットワークＮＮからの除くのに適するものと分類される、即ち、それにより、局所的最小値への誤差関数の近似を行ない得ない、又は、たんにわずかな近似しか行ない得ないようにする重みが前述のようにニューラルネットワークＮＮからの除くのに適するものと分類される。除くのに適うないし不適の重みへのそれぞれの重みＷｉの分類（３０５）を種々の要領で行うことができる。当該の分類の手法によれば、基準判定量ＫＧに対して、基準判定量ＫＧが第１の所定の限界値を下回る値を有するか、否かが調べられる。その通りである場合には、重みＷｉは、除くのに適する重みであると分類され、そして、そうでない場合には除くのに適しない重みであると分類される。本発明の方法のバリエーションによれば、トレーニングデータに関して重みＷｉの絶対的内容を記述、表示する絶対的限界値でなく、所定数の重みＷｉがニューラルネットワークＮＮから除かれるべきものであり、ここで勿論、できるだけわずかな情報損失を達成すべきである。この場合において、第１の所定の限界値が次のようにした形成される、即ち、すべての考慮される重みＷｉに対して基準判定量ＫＧが相互に比較され、次のような重みＷｉを除く、即ち、それの基準判定量ＫＧの値が最も小さい重みＷｉを除くのである。除くのに適う重みＷｉを今やニューラルネットワークＮＮから除くと良い（Ｐｒｕｎｉｎｇ）。本発明の方法の発展形態によれば、重みＷｉを除くべきであるとされた判定が、トレーニングフェーズないしテストフェーズの更なる経過にて不都合であると判明し得るようにし、及び／又は、既に除かれた重みＷｉよりわずかな情報内容を有する重みが求められ、ないし、規定されるようにすることが可能である。この場合に対して、本発明の発展形態では、重みＷｉを除くことについての判定を覆す、ないし、元に戻すことができ、ここで、各々の除かれた重みＷｉに対して少なくとも第２変量ＺＧ又は基準判定量ＫＧが記憶されるのである。重みＷｉを再び導入しようとする場合、既に除かれた重みＷｉのなかから次のような重みＷｉが再び導入される、即ち、それの第２変量ＺＧが所定の第２限界値を越える重みＷｉが再び導入される。前記の第２の限界値は、先に述べた第１の限界値と同様求めることができ、例えば、所定の百分率により、再び挿入されるべき重みＷｉを求め得る。この場合に対して、すべての除かれた重みＷｉに対して、第２変量ＺＧが相互に比較され、そして、そのつど、最大の値を有する第２変量ＺＧが再びニューラルネットワークＮＮの構造内へとり込まれる。本発明の方法及びそれのすべての発展形態を所謂オフラインラーニングにおいても所謂オンラインラーニングにおいても使用できる。本明細書中下記刊行物文献が引用されている。〔１〕Ａ．Ｚｅｌｌ，ＮｅｕｒｏｎａｌｅｒＮｅｔｚｅ［Ｓｉｍｕｌａｔｉｏｎｏｆｎｅｕｒａｌｎｅｔｗｏｒｋｓ］，Ａｄｄｉｓｏｎ−Ｗｅｓｌｅｙ２，１ｓｔＥｄｉｔｉｏｎ，ＩＳＢＮ３−８９３１９−５５４−８，ｐａｇｅｓ３１９−３２８１９９４〔２〕Ｗ．Ｆｉｎｎｏｆｆｅｔａｌ．，ＩｍｐｒｏｖｉｎｇＭｏｄｅｌＳｅｌｅｃｔｉｏｎｂｙＮｏｎｃｏｎｖｒｇｅｎｔＭｅｔｈｏｄｓ，ＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏｌ．６，ｐａｇｅｓ７７１ｔｏ７８３，１９９３〔３〕Ｒ．Ｒｅｅｄ，ＰｒｕｎｉｎｇＡｌｇｏｒｉｔｈｍｓ−ＡＳｕｒｖｅｙ，Ｉｎ：ＩＥＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏｌ．４，Ｎｏ．５，ｐａｇｅｓ７４０−７４７，Ｓｅｐｔｅｍｂｅｒ１９９３〔４〕Ｅ，ＤＫａｒｎｉｎ，Ａ，ＳｉｍｐｌｅＰｒｏｃｅｄｕｅｆｏｒＰｒｕｎｉｎｇＢａｃｋ−ＰｒｏｐａｇａｔｉｏｎＴｒａｉｎｅｄＮｅｕｒａｌＮｅｔｗｏｒｋｓ，Ｖｏｌ．１，Ｎｏ．２，ｐａｇｅｓ２３９−２４２，Ｊｕｎｅ１９９０

Claims

【特許請求の範囲】 1. コンピュータを用いてニューラルネットワーク（ＮＮ）から除くのに適するそれの重み（Ｗｉ）を求める方法において、 −トレーニングフェーズにて最小化されるべき誤差関数が最小値（３０１）に達する前に、ニューラルネットワーク（ＮＮ）のトレーニングフェーズをストップし、 −誤差関数が最小値に達しているとの仮定のもとで、ニューラルネットワーク（ＮＮ）の少なくとも１つの重み（Ｗｉ，ｉ＝１…０）に対して第１の変量（ＥＧ）を求め、ないし、規定し、、該第１の変量（ＥＧ）により、ニューラルネットワーク（ＮＮ）から前記の少なくとも１つの重み（Ｗｉ）を除くことに関して当該の少なくとも１つの重み（Ｗｉ）の評価が記述、表示されるようにし（３０２）、 −重み（Ｗｉ）に対して、第２変量（ＺＧ）を求め、ないし、規定し、、該第２変量（ＺＧ）により、どの程度誤差関数の値が重み（Ｗｉ）の変ったとき変化するかが記述、表示されるようにし（３０３）、 −少なくとも第１変量（ＥＧ）及び第２変量（ＺＧ）から、重み（Ｗｉ）に対する基準判定量（ＫＧ）が求められ、ないし、規定され、該基準判定量により誤差関数の値が、ニューラルネットワーク（ＮＮ）から重み（Ｗｉ）を除いたときどの程度変化するかが記述、表示されるようにし（３０４）、 −重み（Ｗｉ）は、次のような場合、除くのに適する重み（Ｗｉ）として分類されるようにする、即ち、当該の重み（Ｗｉ）を除くと所定の第１の限界値を下回る値だけ誤差関数の値が変化されることが当該の基準判定量（ＫＧ）から明らかになった場合、除くのに適する重み（Ｗｉ）として分類されるようにする（３０５）ことを特徴とする、コンピュータを用いてニューラルネットワークから除くのに適する重みを求める方法。 2. 第１の変量（ＥＧ）を最適脳損傷ダメージＯｐｔｉｍａｌＢｒａｉｎＤａｍａｇｅ（最適脳損傷ダメージ）（ＯＢＤ）の手法で求めることを特徴とする請求の範囲１記載の方法。 3. 第１の変量（ＥＧ）をＯｐｔｉｍａｌＢｒａｉｎＳｕｒｇｅｏｎ（最適脳外科医）（ＯＢＳ）の手法で求めることを特徴とする請求の範囲１記載の方法。 4. 第２の変量（ＺＧ）は、下記関係式から得られる、即ち、但し、ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、Ｋは、考慮されるトレーニングデータの数を表わし、Ｘ_kは、それぞれ１つのトレーニングデータを表わし、ＮＮ（Ｘ_k）は、トレーニングデータＸ_Kの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、Ｙkは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸ_Kの印加の際得られるべきものであり、 ∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、Ｍは、所定の自然数を表わし、ｍは、所定の自然数を表わし、１は、所定の偶数の自然数を表わし、ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち又はから得られるようにしたことを特徴とする請求の範囲１から３までのうちいずれか１項記載の方法。 5. 第２の変量（ＺＧ）は、下記関係式から得られる、即ち、但し、ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、Ｋは、考慮されるトレーニングデータの数を表わし、Ｘ_kは、それぞれ１つのトレーニングデータを表わし、ＮＮ（Ｘ_k）は、トレーニングデータＸ_Kの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、Ｙkは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸ_Kの印加の際得られるべきものであり、 ∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、Ｍは、所定の自然数を表わし、ｍは、所定の自然数を表わし、ｓは、所定の自然数を表わし、ここで、曲率カーブ変量（Ａｉ）は、下記関係式から得られる、即ち又はから得られるようにしたことを特徴とする請求の範囲１から３までのうちいずれか１項記載の方法。 6. 第３の変量（ＤＧ）を下記の規定関係式により形成する、即ち、但し、ｋは、第１のインデックスを表わし、該第１のインデックスにより、一義的にそれぞれニューラルネットワークのトレーニングデータが表されるものであり、Ｋは、考慮されるトレーニングデータの数を表わし、Ｘ_kは、それぞれ１つのトレーニングデータを表わし、ＮＮ（Ｘ_k）は、トレーニングデータＸ_Kの印加の際生じるニューラルネットワーク（ＮＮ）の出力値を表わし、Ｙkは、設定値を表わし、該設定値は、ニューラルネットワーク（ＮＮ）へのトレーニングデータＸ_Kの印加の際得られるべきものであり、 ∂／∂ｗｉは、それぞれ第２インデックス（ｉ）により指定マーキングされている重みに基づく関数の偏導関数を表わし、ｍは、所定の自然数を表わし、 −第３の変量（ＤＧ）を基準判定量（ＫＧ）において考慮することを特徴とする請求の範囲１から５までのうちいずれか１項記載の方法 7. 選択可能な第１の限界値は、除くべき重みの所定の百分率から得られ、 −重み（Ｗｉ）は、次のような場合、除くのに適する重み（Ｗｉ）として分類されるようにする、即ち、重み（Ｗｉ）に対する基準判定量（ＫＧ）が他の重み（Ｗｉ）の、所定の百分率の数の基準判定量（ＫＧ）を下回る場合、除くのに適する重み（Ｗｉ）として分類されるようにしたことを特徴とする請求の範囲１から６までのうちいずれか１項記載の方法。 8. 除くのに適する重み（Ｗｉ）がニューラルネットワーク（ＮＮ）から除かれるようにしたことを特徴とする請求の範囲１から７までのうちいずれか１項記載の方法。 9. −少なくとも、除かれた重み（Ｗｉ）の第２変量（ＺＧ）を記憶し、 −所定数の再び導入されるべき既に除かれた重みを再び導入し、ここで、再挿入されるべき重みが次のような重みから得られる、ないし、それに由来する、即ち、所定の第２の限界値より大である記憶された第２の変量（ＺＧ）の値を有する重みから得られる、ないし、それに由来するようにしたことを特徴とする請求の範囲８記載の方法。 10．−選択可能な第２の限界値が再挿入されるべき重みの所定の百分率から得られ、 −重みを次のような場合再挿入するようにし、即ち、重み（Ｗｉ）に対する少なくとも第２の変量（ＺＧ）が他の重み（Ｗｉ）の所定の百分率の数の少なくとも第２の変量（ＺＧ）の値を越える場合当該の重み再挿入を行うようにしたことを特徴とする請求の範囲９記載の方法。 11．基準判定量（ＫＧ）が第１変量（ＥＧ）と第２変量（ＺＧ）との和から得られるようにしたことを特徴とする請求の範囲１項から１０項までのうち何れか１項記載の方法。 12．基準判定量（ＫＧ）は、第１変量（ＥＧ）と第２変量（ＺＧ）との和と第３変量（ＤＧ）との差から得られるようにしたことを特徴とする請求の範囲６記載の方法。