JP2000516739A - ニューラルネットワークの訓練データを選択するためのコンピュータ支援された方法 - Google Patents

Abstract

(57)【要約】 訓練データベクトルに対してこの訓練データベクトルの情報量を算出する（２０２）方法を提案する。この情報量は以前考慮された訓練データベクトルを基準にして決定される。訓練データベクトルの情報量が所定の第１の閾値よりも大きい場合（２０３）、この訓練データベクトルはニューラルネットワークの訓練のために使用される（２０４）。しかし、訓練データベクトルの情報量が所定の第１の閾値よりも大きくない場合、この訓練データベクトルはニューラルネットワークの訓練の枠内では考慮されない（２０５）。

Description

【発明の詳細な説明】 ニューラルネットワークの訓練データを選択するためのコンピュータ支援された 方法 例えばニューラルネットワークを使用するプロセス工学的プロセスのデータ駆 動型パラメトリックモデリングの場合、このプロセス工学的プロセスに対する測 定データが継続的に測定される。いわゆるニューラルネットワークのオンライン 学習においては、もとめられた測定データは適応のための訓練データとして、つ まりこのニューラルネットワークの重みの適応のための訓練データとして使用さ れる。従って、プロセス工学的プロセスの全測定データは訓練データとして使用 される。このためオンライン学習の実施のためには計算能力への極めて高い要求 が出される。というのも、各々新しい訓練データ毎に重みの適応が実施されなけ ればならないからである。 さらに、大きく重複する訓練データへのニューラルネットワークの重みの適応 の際には、これらの訓練データに所属する状態空間領域における絶え間ない適応 が行われる。このことはこの領域におけるニューラルネットワークの過適応をも たらす。しかし、このことは、まったく訓練データが測定されないか乃至は著し く少ない訓練データしか測定されない他の領域にとっ ては不利となる。これら著しく少ない訓練データは、従って適応の際に及び近似 すべき関数の近似の際にも「忘れ去られて」しまう。 文献［１］からニューラルネットワークに関する基礎が周知である。 さらに文献［２］から、以前考慮された訓練データベクトルを基準にして、訓 練データベクトルに対してこの訓練データベクトルの情報量を算出することが周 知である。 ［３］から、部分的に少数の訓練データベクトルによってのみ表される状態を 分類するためのニューラルネットワークの訓練データベクトルの人工的な生成の 方法が周知である。この方法では、訓練データベクトルが生成され、これら訓練 データベクトルに対してそれぞれ１つの訓練データベクトルの正確な分類に関す る信頼性がもとめられる。この信頼性が十分に高い場合、この訓練データベクト ルは訓練に使用される。この方法によってはニューラルネットワークによるとり わけシステムの実行時間中の非線形システム特性の近似は不可能である。 ［４］にはニューラルネットワークの訓練のための方法が記述されている。こ の方法では、潜在的訓練データベクトルに対して所与の所属の目標値によって、 この潜在的訓練データベクトルに対するニューラルネットワークの出力値の偏差 がこの目標値から明らかに 偏差しているかどうか、が検査される。この偏差が十分に小さければ、この潜在 的訓練データベクトルは訓練に使用される。この方法では予め設定される目標値 が必要であり、この目標値はしばしば動的なシステムでは既知ではない。従って 、この方法は例えばいわゆるオンライン学習では使用できない。 訓練可能なニューラルネットワークを実現するための装置は［５］に記述され ている。 本発明の課題はニューラルネットワークのための訓練データを選択することで ある。 上記課題は請求項１記載の方法及び請求項２記載の方法によって解決される。 請求項１記載の方法では、少なくとも１つの読み込まれる新しい訓練データベ クトルに対してこの訓練データベクトルの情報量が決定される。この訓練データ ベクトルの情報量は訓練フェーズにおいて以前考慮された訓練データベクトルに 関連付けられている。訓練データベクトルの情報量が十分に大きい場合にのみ、 すなわち所定の閾値よりも大きい場合にのみ、検査された訓練データベクトルが ニューラルネットワークの訓練に使用される。 請求項２記載の方法では、複数の訓練データベクトルが読み込まれ、これら複 数の訓練データベクトルは複数のクラスタにグループ分けされる。これらクラス タの少なくとも一部分に対してこのクラスタの情報量 が決定される。このクラスタの情報量はここでも以前訓練フェーズにおいて考慮 された訓練データベクトルに関連付けられる。この方法では各クラスタの情報量 が所定の第２の閾値よりも大きい場合にのみ、各クラスタの訓練データベクトル がニューラルネットワークの訓練に使用される。 これらの方法によって、計算能力への要求の大幅な低減が実現される。という のも、ニューラルネットワークのこの訓練ではもはや単に全ての訓練データが考 慮されるのではなく、既に訓練された訓練データを基準にして新しい内容を有す る訓練データが選択されるからである。 さらに本発明の方法の利点は、ニューラルネットワークによって実現される写 像関数は、大幅に低減された訓練のための計算所要時間及び考慮される訓練デー タの大幅に低減された量にもかかわらず、元々モデリングすべきプロセスへの、 つまり元々近似すべき関数へのきわめて改善された適応を実現するという点であ る。 このことは次のことに起因する。すなわち、所定の領域においてすでに十分な 個数の訓練データがこのニューラルネットワークの適応のために考慮された場合 には、近似すべき関数の過適応がこの所定の領域では実施されないことに起因す る。 本発明の方法によってさらに処理すべき冗長情報の 低減が達成される。 本発明の有利な実施形態は従属請求項から得られる。 図面に本発明の実施例を示し、この実施例をよりくわしく説明する。 図１ａ〜１ｃは、近似すべき関数、ニューラルネットワークによって形成され る写像関数ならびに多数の訓練データベクトルを表す図であり、これら図面によ って本発明の方法の原理が示されている。 図２は、請求項１記載の本発明の方法の個々の方法ステップを示すフローチャ ートである。 図３は、請求項２記載の本発明の方法の個々の方法ステップを示すフローチャ ートである。 図４は、本発明の方法が実施される、測定機器を有する計算装置の概略図であ る。 図５は、請求項１記載の方法による数値例の結果を示す線図である。 図１ａには写像関数ｆ（ｘ）が図示されている。この写像関数ｆ（ｘ）はニュ ーラルネットワークＮＮによって実現される。さらに図１ａにはニューラルネッ トワークＮＮによって近似される関数ＲＦが図示されている。このニューラルネ ットワークＮＮに印加される入力ベクトルｘに対して写像関数ｆ（ｘ）により出 力ベクトルｙが形成される。この写像関数ｆ（ｘ）は訓練フェーズにおいて所定 の個数の訓練データベクト ルＴＤＶＡによって形成される。これら訓練データベクトルＴＤＶＡは訓練方法 、例えば最急降下法、例えば逆伝播法で適応化される。 図１ｂには、このニューラルネットワークＮＮの訓練のためにさらに別の新た に加わる訓練データベクトルＴＤＶを使用した際によく見られる問題を有する状 況を示している。通常、新たに加えられる各訓練データベクトルＴＤＶ毎に再び 訓練方法が実施される。すなわち、各訓練データベクトルＴＤＶは写像関数ｆ（ｘ ）の適応のために、つまりこのニューラルネットワークＮＮの重みベクトルｗ の重みｗ _i の適応において考慮される。 不都合なケースがこの簡単な実施例において図１ｂに示されている。この図１ ｂでは、近似すべき関数ＲＦが非常に規則的な経過、つまりほぼリニアな経過を 有する第１の領域Ｂ１において非常に多数の訓練データベクトルＴＤＶが測定さ れる。公知の方法の場合、訓練データベクトルＴＤＶは通常は全てニューラルネ ットワークＮＮの訓練において考慮される。かなりの不規則性を有する第２の領 域Ｂ２においてこの実施例では少数の訓練データベクトルＴＤＶのみが測定され る。よって、この領域では少数の訓練データベクトルＴＤＶのみがニューラルネ ットワークＮＮの重みｗ_iの適応のためのこのニューラルネットワークＮＮの訓 練において考慮される。 このことによって、公知の方法では第１の領域Ｂ１で不必要な程に多数の訓練 データベクトルＴＤＶがニューラルネットワークＮＮの訓練において考慮される ことになる。このことによって、すでに説明したように、この方法をコンピュー タにより実施するために本来は不必要な計算を要求しなくてはならなくなる。 図１ｂには、公知の学習方法を使用した場合に写像関数ｆ（ｘ）は第２の領域 Ｂ２において滑らかな経過を有することが示されている。従って、近似すべき関 数ＲＦの近似は大きく失敗している。これは次のことに起因する。すなわち、こ の訓練において第１の領域Ｂ１では多数の訓練データベクトルＴＤＶが考慮され ているが、しかし第２の領域Ｂ２においては比較的少数の訓練データベクトルＴ ＤＶのみが考慮されていることに起因する。 図１ｃには本発明の方法の利点が示されている。本発明の方法によれば、すで に説明したように、各訓練データベクトルＴＤＶ毎にこれら各訓練データベクト ルＴＤＶの情報量Ｎ（Ｐ）が算出され、さらに訓練データベクトルＴＤＶに依存 してこの訓練データベクトルＴＤＶがニューラルネットワークＮＮの訓練におい て考慮されるか否かが決まる。 このことによりこの簡単な原理的な実施例では訓練データベクトルＴＤＶは第 １の領域Ｂ１では考慮されず、これに対して訓練データベクトルＴＤＶは第２の 領域Ｂ２において考慮されることになる。この本発明の方法によって、一方で比 較的少数の訓練データベクトルＴＤＶを訓練において考慮しさえすればよいこと になり、他方で結果的に得られる写像関数ｆ（ｘ）はこれまでの公知の方法によ る場合よりもきわめて良好に近似すべき関数ＲＦを全領域において近似できるこ とになる。 図２ではフローチャートの形式で請求項１記載の本発明の方法が個々の方法ス テップによって示されている。 第１のステップ２０１では少なくとも１つの訓練データベクトルＴＤＶが本発 明の方法を実施するコンピュータＲによって読み込まれる。この訓練データベク トルＴＤＶは例えば測定機器ＭＧ又はセンサＳＥにより検出される任意のプロセ ス工学的プロセスの測定値でよい。しかし、この訓練データベクトルＴＤＶは例 えば記録された音声信号又は音声信号の部分を表していてもよい。訓練データベ クトルＴＤＶの形式及びこの訓練データベクトルＴＤＶを検出する方式は一般に 完全に適用事例固有のものである。 第２のステップ２０２において、この少なくとも１つの訓練データベクトルＴ ＤＶに対してこの訓練データベクトルＴＤＶの情報量Ｎ（Ｐ）を決定する。これ は例えば文献［２］に示されている方法に従って行われる。この場合、例えばこ の訓練データベクトルＴＤ Ｖの情報量Ｎ（Ｐ）は次式によって得られる： ただしこの式において、 ｗはニューラルネットワークＮＮの重みベクトルを示し、この重みベクトルは 要素としてこのニューラルネットワークＮＮの重みｗ _iを有し、 Ｄ ^(P)は訓練データセットを示し、この訓練データセットは既に以前考慮され た訓練データベクトルＴＤＶを含み、 Ｄ ^(P+1)は拡大された訓練データセットを示し、この拡大された訓練データセ ットは以前考慮された訓練データベクトルＴＤＶ及びこの訓練データベクトルＴ ＤＶを含み、 ｐ（.｜.）はぞれぞれ条件付き確率を示す。 情報量Ｎ（Ｐ）の形成のためのこの式は、この算出の実施を簡略化するために 近似的にこの情報量Ｎ（Ｐ）を形成するための次式に単純化できる： これらの式において、ｘはそれぞれニューラルネットワークＮＮの入力ベクトルを示し、 ｗ _piはそれぞれニューラルネットワークＮＮの重みベクトルを示し、 ｆ_i（.）はニューラルネットワークＮＮの出力ベクトルｙの要素ｙ_iに対して このニューラルネットワークＮＮにより実現される写像関数を示し、 ｎは任意の自然数を示し、 ＭはニューラルネットワークＮＮの各出力ベクトルｙの次元を示し、 ｉはニューラルネットワークＮＮの出力ベクトルｙの要素ｙ_iを一意的に識別 するための第１のインデックスを示し、 ｑは考慮された各訓練データベクトルＴＤＶを一意的に識別するための第２の インデックスを示し、 Ｓは以前考慮された訓練データベクトルＴＤＶの個数を示す。 情報量Ｎ（Ｐ）を算出するための上記の式はKullba ck-Leiblerエントロピーの仮定に基づいている。情報量の決定のために他のエン トロピーの定義を使用すれば、当然、相応に適した式が本発明の方法において情 報量Ｎ（Ｐ）の算出のために使用される。 さらに文献［２］において示されているように、近似すべき関数ＲＦが多項式 によって与えられている特殊なケースに対するこのような式は上記の式に変形さ れる形式において周知である。 訓練データベクトルＴＤＶの情報量Ｎ（Ｐ）の算出の際に、以前考慮された訓 練データベクトルＴＤＶＡが考慮される。これは模範的な上記の式からすぐに見 て取れる。 次いで第３のステップ２０３ではこの訓練データベクトルＴＤＶの情報量Ｎ（ Ｐ）が予め自由に設定可能な第１の閾値Ｓ１よりも大きいかどうかが検査される 。 この情報量Ｎ（Ｐ）がこの第１の閾値Ｓ１よりも大きい場合、この訓練データ ベクトルＴＤＶはニューラルネットワークＮＮの訓練に使用される２０４。すな わち、重みｗ_iの適応において考慮される。 しかし、この訓練データベクトルＴＤＶの情報量Ｎ（Ｐ）がこの第１の閾値Ｓ １よりも大きくない場合、この訓練データベクトルＴＤＶはニューラルネットワ ークＮＮの訓練の枠内では考慮されない２０５。 図３には請求項２記載の本発明の方法がその方法ス テップによって図示されている。 第１のステップでは複数の訓練データベクトルＴＤＶが読み込まれる３０１。 これら訓練データベクトルＴＤＶは次のステップ３０２で複数のいわゆるクラ スタにグループ分けされる。１つのクラスタは訓練データベクトルの１つのグル ープとして理解される。ベクトルのグループ形成、つまりベクトルのクラスタリ ングのために様々な方法が公知であり、例えばいわゆるＫ平均クラスタリング法 又はいわゆるNearest Neighborクラスタリング法がある。 第３のステップ３０３では、クラスタの少なくとも一部分に対して各クラスタ の情報量Ｎ（Ｐ）を決定する。この決定は任意のやり方で、例えば情報量Ｎ（Ｐ ）を形成するための上記の式によって行われる。 この場合、本発明の変形実施形態では、有利には各クラスタ毎に例えば各クラ スタの訓練データベクトルＴＤＶから少なくとも１つの代表ベクトルを任意に選 択し、さらにこの代表ベクトルの情報量Ｎ（Ｐ）を算出し、それぞれ全クラスタ の代表ベクトルの情報量Ｎ（Ｐ）を使用する。 さらに、本発明の変形実施形態では、有利にはクラスタの少なくとも一部分に 対してクラスタ中心ベクトルをもとめる。このクラスタ中心ベクトルは例えば各 クラスタの中心点によって形成される。クラスタの情 報量Ｎ（Ｐ）はこの変形実施形態ではこのクラスタ中心ベクトルに対して算出さ れ、各クラスタの情報量Ｎ（Ｐ）として使用される。 この場合も情報量Ｎ（Ｐ）は以前訓練フェーズにおいて考慮された訓練データ ベクトルＴＤＶＡを考慮して決定される。 次のステップ３０４では各クラスタの情報量Ｎ（Ｐ）が予め自由に設定可能な 第２の閾値Ｓ２よりも大きいかどうかが検査される。 イエスの場合、各クラスタの少なくとも１つの訓練データベクトルＴＤＶがニ ューラルネットワークＮＮの訓練の枠内で使用される３０５。 しかし、ノーの場合には各クラスタの訓練データベクトルＴＤＶはニューラル ネットワークＮＮの訓練において考慮されない３０６。 図４には本発明の方法を実施するコンピュータ装置の例が示されている。 訓練データベクトルＴＤＶは例えばセンサＳＥ又は測定機器ＭＧを介して任意 の形式のプロセス工学的プロセスから測定される。訓練データベクトルＴＤＶは コンピュータＲに供給され、このコンピュータＲによって本発明の方法が実施さ れる。さらに、このコンピュータ装置には例えばキーボードＴＡ、マウスＭＡ又 はディスプレイＢＳが設けられている。 図５には本発明の方法の簡単な数値例が示されてい る。この数値例は本発明の方法を簡単に垣間見せるだけのものであるが、しかし 、決して本発明の方法の一般的妥当性を限定するものではない。というのも、近 似すべき関数ＲＦの形式も、訓練データベクトルＴＤＶの個数も、これら訓練デ ータベクトルＴＤＶの特性もなんらかの限定を受けるものではないからである。 この簡単な数値例では近似すべき関数ＲＦは次式で与えられている： ＲＦ＝−１−３ｘ＋１８ｘ² ＋４ｘ³−４８ｘ⁴＋３２ｘ⁶＋ν この例では記号νによって値０.０５の分散を有するガウス雑音を表している 。この数値例の枠内で使用されたニューラルネットワークＮＮのアーキテクチャ は１個の入力ニューロン、１０個の隠れニューロン及び１個の出力ニューロンを 有する。訓練データベクトルＴＤＶは、−０.９＜ｘ＜０.３の領域及び０.３＜ ｘ＜０.９の領域で測定された。 情報量Ｎ（Ｐ）は、全入力ベクトルｘ及び全出力ベクトルｙに対する情報量Ｎ （Ｐ）の経過全体として図５では関数Ｎとして示されている。この数値例の枠内 で考慮された入力ベクトルｘの領域は、−１＜Ｘ＜１の領域内に存在する。 第１の閾値Ｓ１の値は例えば値０.１５である。こ れは図５にも示されている。 このことは次のことを意味している。すなわち、この数値例では０.１５より も大きい情報量Ｎ（Ｐ）を有する全ての訓練データベクトルＴＤＶがニューラル ネットワークＮＮの訓練のために考慮された、ということを意味している。 しかし、一般的には第１の閾値Ｓ１も第２の閾値Ｓ２も完全に自由に選択可能 であり、適用事例固有の要求に依存する。 この明細書の枠内では以下の刊行物を引用した。 ［１］G.Deco und D.Obradovic，An Information-Theoretic Approach to Neura l Computing，Springer Verlag，B，1.Auflage，ISBN 0-387-94666-7，p.23-37 ，1995 ［２］G.Deco undD.Obradovic，An Information-Theoretic Approach to Neural Computing，Springer Verlag，B，1.Auflage，ISBN 0-387-94666-7,p．187-217 ，1995 ［３］米国特許５３５９６９９号明細書 ［４］米国特許５３５５４３４号明細書 ［５］米国特許５２８３８３８号明細書

【手続補正書】特許法第１８４条の８第１項 【提出日】平成１０年８月２０日（１９９８．８．２０） 【補正内容】 偏差しているかどうか、が検査される。この偏差が十分に小さければ、この潜在 的訓練データベクトルは訓練に使用される。この方法では予め設定される目標値 が必要であり、この目標値はしばしば動的システムでは既知ではない。従って、 この方法はとりわけいわゆるオンライン学習では使用できない。 ［９］には、ニューラルネットワークの訓練のための方法が記述されており、 この方法では訓練の際にニューラルネットワークのニューロン重みの有意味な変 化をもたらす訓練データを多数の訓練データの中からこのニューラルネットワー クの訓練のために選択する。 ［７］にはニューラルネットワークの訓練データのクラスタリングのための方 法が記述されている。 ［１０］には訓練データセットの拡大が実施される、ニューラルネットワーク の訓練データの算出のための方法が記述されている。 訓練可能なニューラルネットワークを実現するための装置は［５］に記述され ている。 本発明の課題はニューラルネットワークのための訓練データを選択することで ある。 上記課題は請求項１記載の方法及び請求項２記載の方法によって解決される。 請求項１記載の方法では、少なくとも１つの読み込まれる新しい訓練データベ クトルに対してこの訓練デ ータベクトルの情報量が決定される。この訓練データベクトルの情報量は以前訓 練フェーズにおいて考慮された訓練データベクトルに関連付けられている。訓練 データベクトルの情報量が十分に大きい場合にのみ、すなわち所定の閾値よりも 大きい場合にのみ、検査された訓練データベクトルが実際にニューラルネットワ ークの訓練に使用される。 請求項２記載の方法では、複数の訓練データベクトルが読み込まれ、これら複 数の訓練データベクトルは複数のクラスタにグループ分けされる。これらクラス タの少なくとも一部分に対してこのクラスタの情報量 れは図５にも示されている。 このことは次のことを意味している。すなわち、この数値例では０.１５より も大きい情報量Ｎ（Ｐ）を有する全ての訓練データベクトルＴＤＶがニューラル ネットワークＮＮの訓練のために考慮された、ということを意味している。 しかし、一般的には第１の閾値Ｓ１も第２の閾値Ｓ２も完全に自由に選択可能 であり、適用事例固有の要求に依存する。 この明細書の枠内では以下の刊行物を引用した。 ［１］G.Deco und D.Obradovic，An Information-Theoretic Approach to Neura l Computing，Springer Verlag，B，1.Auflage，ISBN 0-387-94666-7，p.23-37 ，1995 ［２］ G.Deco und D.Obradovic，An Information-Theoretic Approach to Neu ral Computing，Springer Verlag，B，1.Auflage，ISBN 0-387-94666-7，p.187- 217，1995 ［３］米国特許５３５９６９９号明細書 ［４］米国特許５３５５４３４号明細書 ［５］米国特許５２８３８３８号明細書 ［６］Byoung-Tak Zhang,et al.，Focused incrimental learning for improved generalization with reduced training sets，Artifical neural networks，P roceedings of the 1991 international conference ICANN-91，ESPOO，Finland，24.-28.June 1991，ISBN 0-444-89178-1，1991，Am sterdam，Netherlands ［７］Wann,Ｍ.,et al.，The influence of training sets on generalization in feed-forward neural networks，International Joint conference on neura l networks(IJCNN)，San Diego，17.-21.June 1990，Bd．Vol.3，17.June 1990 ，Institute of electrical and electronics engineers ［８］ヨーロッパ特許０５２８３９９号公開公報 ［９］Hunt,S.D.,et al.，Training of feedforward artifical neural network s using selective updating，Proceedings of the midwest symposium on circ uits and systems，Detroit,16.-18.August 1993,Bd．Vol.2，No．Symp．36.，1 6.August 1993，Institute of electrical and electronics engineers ［１０］Cheung,R.K.M.,et al.，Relative effectiveness of training set pat terns for back propagation，International Joint coference on neural netw orks(IJCNN)，San Diego，17.-21.June 1990，Bd．Vol.1，17.June 1990，Insti tute of electrical and electronics engineers 【手続補正書】特許法第１８４条の８第１項 【提出日】平成１０年１１月１３日（１９９８．１１．１３） 【補正内容】 明細書 ニューラルネットワークの訓練データを選択するためのコンピュータ支援された 方法 例えばニューラルネットワークを使用するプロセス工学的プロセスのデータ駆 動型パラメトリックモデリングの場合、このプロセス工学的プロセスに対する測 定データが継続的に測定される。いわゆるニューラルネットワークのオンライン 学習においては、もとめられた測定データは適応のための訓練データとして、つ まりこのニューラルネットワークの重みの適応のための訓練データとして使用さ れる。従って、プロセス工学的プロセスの全測定データは訓練データとして使用 される。このためオンライン学習の実施のためには計算能力への極めて高い要求 が出される。というのも、新しい各訓練データ毎に重みの適応が実施されなけれ ばならないからである。 さらに、著しく重複する複数の訓練データに対するニューラルネットワークの 重みの適応の際には、これらの訓練データに所属する状態空間領域における絶え 間ない適応が行われる。これによりこれらの領域におけるニューラルネットワー クの過適応が起こる。しかし、このことは、まったく訓練データが測定されない か乃至は著しく少ない訓練データしか測定されない他 の領域にとっては不利となる。従って、これら他の領域は、適応の際に、すなわ ち近似すべき関数を近似する際に「忘れ去られて」しまう。 文献［１］からニューラルネットワークに関する基礎が周知である。 さらに文献［２］から、以前考慮された訓練データベクトルを基準にして、訓 練データベクトルに対してこの訓練データベクトルの情報量を算出することが周 知である。さらに［２］にはオンライン学習の枠内で訓練データのアクテイブな 選択を行えることが記述されている。 ［３］から、部分的に少数の訓練データベクトルによってのみ表される状態を 分類するためのニューラルネットワークの訓練データベクトルの人工的な生成の 方法が周知である。この方法では、訓練データベクトルが生成され、これら訓練 データベクトルに対してそれぞれの訓練データベクトルの適正な分類に関する信 頼度がもとめられる。この信頼度が十分に高い場合、この訓練データベクトルは 訓練に使用される。この方法によってはニューラルネットワークによるシステム のとりわけ実行時間中の非線形システム特性の近似は不可能である。 ［４］及び［８］にはニューラルネットワークの訓練のための方法が記述され ている。この方法では、潜在的訓練データベクトルに対して所与の所属の目標値 によって、この潜在的訓練データベクトルに対するニューラルネットワークの出 力値の偏差がこの目標値からあからさまに偏差しているかどうかが検査される。 この偏差が十分に小さければ、この潜在的訓練データベクトルは訓練に使用され る。この方法では予め設定される目標値が必要であり、この目標値はしばしば動 的システムでは既知ではない。従って、この方法はとりわけいわゆるオンライン 学習では使用できない。 ［６］にはニューラルネットワークの訓練のための別の方法が記述されている 。反復的方法の枠内で、各反復ステップにおいてニューラルネットワークの訓練 を実施し、この際、瞬時の反復ステップの訓練に対して、このニューラルネット ワークの訓練のために使用可能な多数の訓練データから訓練データペアを選択す る。 ［９］には、ニューラルネットワークの訓練のための方法が記述されており、 この方法では訓練の際にニューラルネットワークのニューロン重みの有意味な変 化をもたらす訓練データを多数の訓練データの中からこのニューラルネットワー クの訓練のために選択する。 ［７］にはニューラルネットワークの訓練データのクラスタリングのための方 法が記述されている。 ［１０］には訓練データセットの拡大が実施される、ニューラルネットワーク の訓練データの算出のため の方法が記述されている。 訓練可能なニューラルネットワークを実現するための装置は［５］に記述され ている。 本発明の課題はニューラルネットワークのための訓練データを選択することで ある。 上記課題は請求項１記載の方法及び請求項２記載の方法によって解決される。 請求項１記載の方法では、少なくとも１つの読み込まれる新しい訓練データベ クトルに対してこの訓練データベクトルの情報量が決定される。この訓練データ ベクトルの情報量は以前訓練フェーズにおいて考慮された訓練データベクトルに 関連付けられている。訓練データベクトルの情報量が十分に大きい場合にのみ、 すなわち所定の閾値よりも大きい場合にのみ、検査された訓練データベクトルが 実際にニューラルネットワークの訓練に使用される。 請求項２記載の方法では、複数の訓練データベクトルが読み込まれ、これら複 数の訓練データベクトルは複数のクラスタにグループ分けされる。これらクラス タの少なくとも一部分に対してこのクラスタの情報量 低減が達成される。 本発明の有利な実施形態は従属請求項から得られる。 図面に本発明の実施例を示し、この実施例をよりくわしく説明する。 図１ａ〜１ｃは、近似すべき関数、ニューラルネットワークによって形成され る写像関数ならびに多数の訓練データベクトルを表す図であり、これら図面によ って本発明の方法の原理が示されている。 図２は、請求項１記載の本発明の方法の個々の方法ステップを示すフローチャ ートである。 図３は、請求項２記載の本発明の方法の個々の方法ステップを示すフローチャ ートである。 図４は、本発明の方法が実施される、測定機器を有するコンピュータ装置の概 略図である。 図５は、請求項１記載の方法による数値例の結果を示す線図である。 図１ａには写像関数ｆ（ｘ）が図示されている。この写像関数ｆ（ｘ）はニュ ーラルネットワークＮＮによって実現される。さらに図１ａにはニューラルネッ トワークＮＮによって近似される関数ＲＦが図示されている。このニューラルネ ットワークＮＮに印加される入力ベクトルｘに対して写像関数ｆ（ｘ）により出 力ベクトルｙが形成される。この写像関数ｆ（ｘ）は訓練フェーズにおいて所定 の個数の訓練データベクト ルＴＤＶＡによって形成される。これら訓練データベクトルＴＤＶＡは訓練方法 、例えば勾配降下法、例えばバックプロパゲーション法で適応される。 図１ｂにはこのニューラルネットワークＮＮの訓練のためにさらに別の新たな 訓練データベクトルＴＤＶを使用した場合によく見られる問題をはらんだ状況を 示している。通常、再び新たな各訓練データベクトルＴＤＶ毎に訓練方法が実施 される。すなわち、各訓練データベクトルＴＤＶは写像関数ｆ（ｘ）の適応のた めに、つまりこのニューラルネットワークＮＮの重みベクトルｗの重みｗ_iの適 応において考慮される。 不利なケースがこの簡単な実施例において図１ｂに示されている。この図１ｂ では、近似すべき関数ＲＦが非常に規則的に、つまりほぼリニアな経過を有する 第１の領域Ｂ１において非常に多数の訓練データベクトルＴＤＶが測定される。 公知の方法の場合、訓練データベクトルＴＤＶは通常は全てニューラルネットワ ークＮＮの訓練の際に考慮される。かなり不規則性を有する第２の領域Ｂ２では この実施例の場合ほんの僅かな訓練データベクトルＴＤＶのみが測定され、よっ てこの領域ではほんの僅かな訓練データベクトルＴＤＶのみがニューラルネット ワークＮＮの重みベクトルｗの重みｗ_iの適応のためのこのニューラルネットワ ークＮＮの訓練の際に考慮される。 このことは公知の方法では次のことを引き起こす。 すなわち、第１の領域Ｂ１では不必要な程に多数の訓練データベクトルＴＤＶが ニューラルネットワークＮＮの訓練において考慮される、ということを引き起こ す。このことは、すでに説明したように、この方法をコンピュータによって実施 するために本来は不必要な多大な計算を要求することになる。 図１ｂには、公知の訓練方法を使用した場合に写像関数ｆ（ｘ）は第２の領域 Ｂ２において滑らかな経過を有することが示されている。従って、近似すべき関 数ＲＦの近似はまったく失敗している。これは次のことに起因する。すなわち、 第１の領域Ｂ１では多数の訓練データベクトルＴＤＶが考慮されているが、しか し第２の領域Ｂ２においては比較的少数の訓練データベクトルＴＤＶのみが考慮 されていることに起因する。 図１ｃには本発明の方法の利点が示されている。本発明の方法によれば、すで に説明したように、各訓練データベクトルＴＤＶに対してこれら各訓練データベ クトルＴＤＶの情報量Ｎ（Ｐ）が算出され、訓練データベクトルＴＤＶに依存し てこの訓練データベクトルＴＤＶがニューラルネットワークＮＮの訓練において 考慮されるか否かが決まる。 このことによりこの簡単な原理的な実施例では訓練データベクトルＴＤＶは第 １の領域Ｂ１では考慮されず、これに対して訓練データベクトルＴＤＶは第２の 請求の範囲 １． ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピ ュータ支援された方法であって、 少なくとも１つの訓練データベクトル（ＴＤＶ）を読み込み（２０１）、 前記訓練データ、ベクトル（ＴＤＶ）に対して該訓練データベクトル（ＴＤＶ ）の情報量Ｎ（Ｐ）を決定し（２０２）、 前記訓練データベクトル（ＴＤＶ）に対する前記情報量Ｎ（Ｐ）の決定を、以 前訓練フェーズで考慮された訓練データベクトル（ＴＤＶ）を使用して行う、ニ ューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピュータ支援 された方法において、 前記訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）が予め設定可能な第１の 閾値（Ｓ１）よりも大きい場合には（２０３）、前記訓練データベクトル（ＴＤ Ｖ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用し（２０４）、 前記訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）が予め設定可能な第１の 閾値（Ｓ１）よりも大きくない場合には（２０３）、前記訓練データベクトル（ ＴＤＶ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用しない（２ ０５）ことを特徴とする、 ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピュータ支 援された方法。 ２． ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピ ュータ支援された方法において、 複数の訓練データベクトル（ＴＤＶ）を読み込み（３０１）、 前記訓練データベクトル（ＴＤＶ）を複数のクラスタにグループ分けし（３０ ２）、 前記クラスタの少なくとも一部分に対して前記クラスタの情報量Ｎ（Ｐ）を決 定し（３０３）、 各クラスタの情報量Ｎ（Ｐ）の決定を、以前訓練フェーズで考慮された訓練デ ータベクトル（ＴＤＶ）を使用して行い、 各クラスタの情報量Ｎ（Ｐ）が予め設定可能な第２の閾値（Ｓ２）よりも大き い場合には（３０４）、各クラスタの少なくとも１つの訓練データベクトル（Ｔ ＤＶ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用し（３０５） 、 各クラスタの情報量Ｎ（Ｐ）が予め設定可能な第２の閾値（Ｓ２）よりも大き くない場合には（３０４）、各クラスタの訓練データベクトル（ＴＤＶ）を前記 ニューラルネットワーク（ＮＮ）の訓練のために使用しない（３０６）、ニュー ラルネットワーク（ＮＮ）の訓練データを選択するためのコンピュータ支援され た方法。

Claims (1)

1. 【特許請求の範囲】 １． ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピ ュータ支援された方法において、 少なくとも１つの訓練データベクトル（ＴＤＶ）を読み込み（２０１）、 前記訓練データベクトル（ＴＤＶ）に対して該訓練データベクトル（ＴＤＶ） の情報量Ｎ（Ｐ）を決定し（２０２）、 前記訓練データベクトル（ＴＤＶ）に対する前記情報量Ｎ（Ｐ）の決定を、以 前訓練フェーズで考慮された訓練データベクトル（ＴＤＶ）を基準にして行い、 前記訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）が予め設定可能な第１の 閾値（Ｓ１）よりも大きい場合には（２０３）、前記訓練データベクトル（ＴＤ Ｖ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用し（２０４）、 前記訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）が予め設定可能な第１の 閾値（Ｓ１）よりも大きくない場合には（２０３）、前記訓練データベクトル（ ＴＤＶ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用しない（２ ０５）、ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピ ュータ支援された方法。 ２． ニューラルネットワーク（ＮＮ）の訓練データを選択するためのコンピ ュータ支援された方法において、 複数の訓練データベクトル（ＴＤＶ）を読み込み（３０１）、 前記複数の訓練データベクトル（ＴＤＶ）を複数のクラスタにグループ分けし （３０２）、 前記クラスタの少なくとも一部分に対して該クラスタの情報量Ｎ（Ｐ）を決定 し（３０３）、 各クラスタの情報量Ｎ（Ｐ）の決定を、以前訓練フェーズで考慮された訓練デ ータベクトル（ＴＤＶ）を基準にして行い、 各クラスタの情報量Ｎ（Ｐ）が予め設定可能な第２の閾値（Ｓ２）よりも大き い場合には（３０４）、各クラスタの少なくとも１つの訓練データベクトル（Ｔ ＤＶ）を前記ニューラルネットワーク（ＮＮ）の訓練のために使用し（３０５） 、 各クラスタの情報量Ｎ（Ｐ）が予め設定可能な第２の閾値（Ｓ２）よりも大き くない場合には（３０４）、各クラスタの訓練データベクトル（ＴＤＶ）を前記 ニューラルネットワーク（ＮＮ）の訓練のために使用しない（３０６）、ニュー ラルネットワーク（ＮＮ）の訓練データを選択するためのコンピュータ支援され た方法。 ３． 各クラスタ毎にクラスタ中心ベクトルをもと め、 該クラスタ中心ベクトルの情報量Ｎ（Ｐ）をもとめる、請求項２記載の方法。 ４． 訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）乃至はクラスタの情報 量Ｎ（Ｐ）を次式 によって算出し、この式において、 ｗはニューラルネットワーク（ＮＮ）の重みベクトルを示し、該重みベクトル は要素として前記ニューラルネットワーク（ＮＮ）の重みｗ _iを有し、 Ｄ（Ｐ）は訓練データセットを示し、該訓練データセットは以前考慮された訓 練データベクトル（ＴＤＶ）を含み、 Ｄ（Ｐ＋１）は拡大された訓練データセットを示し、該拡大された訓練データ セットは前記以前考慮された訓練データベクトル（ＴＤＶ）及び前記訓練データ べクトル（ＴＤＶ）を含み、 ｐ（.｜.）はそれぞれ条件付き確率を示す、請求項１〜３までのうちの１項記 載の方法。 ５． 訓練データベクトル（ＴＤＶ）の情報量Ｎ（Ｐ）乃至はクラスタの情報 量Ｎ（Ｐ）を次式によって算出し、この式において、 ｘはそれぞれニューラルネットワーク（ＮＮ）の入力ベクトルを示し、 ｗ _piはそれぞれ前記ニューラルネットワーク（ＮＮ）の重みベクトルを示し、 ｆ_i（.）は前記ニューラルネットワーク（ＮＮ）の出力ベクトルｙの要素ｙ_i に対して前記ニューラルネットワーク（ＮＮ）により実現される写像関数を示し 、 ｎは任意の自然数を示し、 Ｍは前記ニューラルネットワーク（ＮＮ）の各出力ベクトルｙの次元を示し、 ｉは前記ニューラルネットワーク（ＮＮ）の出力ベクトルｙの要素ｙ_iを一意 的に識別するための第１のィンデックスを示し、 ｑは考慮された各訓練データベクトル（ＴＤＶ）を一意的に識別するための第 ２のインデックスを示し、 Ｓは以前考慮された訓練データベクトル（ＴＤＶ）の個数を示す、請求項１〜 ３までのうちの１項記載の方法。