JP2005523527A - ローカルネットを介しての自動的モデルメインテナンス - Google Patents

Abstract

モデルメインテナンス方法が提供される。新たなデータとのコンサルテーションを介して現在のモデルによる予測の精度が所定のスレッシュホールドより低いものであると判別される場合には、現在のモデルを新たなデータで訓練したローカルネットで補充することにより合成モデルを形成する。

Description

本願はシステムモデリングに関するものである。特に、本願は自動的モデルメインテナンスに関するものである。

システムモデルは入力空間からシステム挙動空間に対するマッピングを定義する。換言すると、モデルは選択した入力に対してのシステムの挙動を記述する。モデルは、例えば、システムを稼動させる代わりに、モデル化したシステムの予測分析を実施するために使用することが可能である。

システムモデルのパラメータは、１組のトレーニングデータ（「トレーニングセット」）から派生されるか又はそれとのトレーニング即ち訓練を介して形成される。モデルの精度は、訓練したモデルが動作状態にある場合に（しばしば、「コンサルテーション（ｃｏｎｓｕｌｔａｔｉｏｎ）」とも呼ばれる）結果の品質に影響を与え、且つトレーニングセットに大きく依存する。理想的には、トレーニングセットは全ての条件下におけるシステムを表わすものである。トレーニングセットでシステムモデルを形成（又は訓練）した後に、典型的に該システムから時間に亘り新たなデータポイントが未だに収集される。新たなデータポイントは該新たなデータが収集される時間において基礎となるシステムの特性を包含しており、それはトレーニングセット用にシステムからデータを収集した時以来変化している場合も変化していない場合もある。新たなデータポイントは、オリジナルのモデルを構築するために使用したトレーニングセットにおいて表わされなかった特性を包含している場合がある。モデルパラメータを計算するために使用されるトレーニングセットがシステムを表わしており且つそのモデルがトレーニングセットの正確な表現であるとしても、該モデルは、トレーニングセットにおけるデータを収集した時のみにおいてのシステム挙動の表現であるに過ぎない。従って、モデルをアップデートするために新たに使用可能なデータポイントを使用することが望ましい場合がある。

幾つかのインスタンスにおいては、システム挙動が動的に変化し且つシステムの基礎となるダイナミックスが容易に予測可能なものでない場合がある。例えば、システムダイナミックスは、トレーニングセット用のデータを収集した後に変化する場合がある（図１Ａ）。代替的に又は付加的に、トレーニングセットは部分的なシステム挙動の表現に過ぎない場合がある（図１Ｂ）。両方の組の状況下において、システムモデルは、（ｉ）ある時間期間の間良好に動作するがその時間期間の後に許容可能に動作しなくなるか、又は（ｉｉ）時折良好に動作するがその他の時間においてはそうではない場合がある。

図１Ａに示した状況下においては、新たに使用可能なデータがオリジナルのデータと同一の入力空間の領域を占有する。然しながら、システムダイナミックスがＸからＸ´へ変化しており、そのことは新たなデータ入力に対応する新たなシステム出力をオリジナルのデータ入力に対応するシステム出力と異なるものとさせる。然しながら、オリジナルのデータで訓練した従来のシステムモデルは、通常、新たな入力データを参照した場合に、古いシステムダイナミックスＸの下で適切な出力値を発生するが、新たなシステムダイナミックスＸ´を正確に表わすものではない。

図１Ｂに示した状況下においては、新たに使用可能なデータがオリジナルデータにより占有されている領域とは異なる入力空間の領域を占有している。システムダイナミックスＸは部分Ｘｏ及びＸｎから構成されている。訓練したモデルはシステムダイナミックスのＸｏ部分をキャプチャするに過ぎない。システムダイナミックスＸは同じままであるが、新たなデータポイントに対するモデル性能は許容可能なものでない場合がある。

新たな（入力及び出力）データポイントは、典型的に、システムモデルの形成（又は訓練）の後に断続的に収集される。モデルは収集したデータのテストセットを参照し（且つテストセットに対応するモデル出力が実際のシステム応答と比較される）、モデル予測と実際のシステム応答との間の顕著な差異を検知し且つモデルによる不良な性能が異常な挙動であるか（例えば、不良なセンサ）又はモデルの不適切性（故障）であるかを決定することが可能である。幾つかのインスタンスにおいては、故障したモデルは新たに使用可能なデータを使用することにより確立（又は訓練）された新たなモデルにより置換させることが可能であるが、再訓練は通常高価な作業であり且つ長時間を必要とし（新たなデータポイントの全て、及び、多分、前のトレーニングデータと結合して、処理することにより新たなモデルを確立するため）、そのことは特に実時間適用例に対して禁止的なものでさえありうる。モデルの有用な寿命を引き延ばすために新たに使用可能なデータを段階的に既存のモデル内へ組込むことが可能であることが望ましい（即ち、既存のモデルに関しメインテナンスを実施するため）。システムモデルの効果的なメインテナンスは、典型的に、長期的に適切な性能を維持するために重要な問題である。

更に、モデルメインテナンスは自動車のオイル交換等の日常的なプロセスとは異なるものである。オイル交換における作業及びその作業をどのようにして実施することが可能であるかは明確に知られている。対照的に、変化されるべきモデルパラメータ及びモデルメインテナンスのためにそれらをどのように変化させるかは、典型的に、良好に定義されているものではない（それは、特に、ニューラルネットモデルの場合にそうである）。

ニューラルネットはよく知られていないダイナミックスを有するシステムのモデルを形成するために好まれる方法である。何故ならば、ニューラルネットは不変的なアプロキシメータ（ａｐｐｒｏｘｉｍａｔｏｒ）即ち近似体である場合があり、従って、ニューラルネットモデルは広範な適用例において使用することが可能だからである。然しながら、ニューラルネットはブラックボックス的な性質を有しており、即ち、ニューラルネットモデルにおけるパラメータの関数は容易に識別することが不可能であり、そのことはニューラルネット用のモデルメインテナンスを非常に困難なものとさせている。ニューラルネットモデル用のメインテナンス方法は、しばしば、「適応的学習（ａｄａｐｔｉｖｅ ｌｅａｒｎｉｎｇ）」と呼称される。適応的学習は既存のニューラルネットモデルの重み及び構成を修正することにより実施することが可能であるが、オリジナルのニューラルネットモデルを形成するために使用したトレーニングデータの特性と比較して新たなデータの特性に依存して、幾つかの不所望の副作用を発生する場合がある。

例えば、訓練したニューラルネットモデルのパラメータを新たなデータで調節するための１つの技術は、小さな学習割合及び／又は小数の繰返しを有する後方伝播を使用することである。この適応的学習技術は隠れ層ネット構成の場合に最も適している。然しながら、学習割合に対する適切な値及び／又は繰返しの適切な数を決定することは困難である。これらの値が小さすぎる場合には、対応する変化の量がモデル挙動を調節するのに充分でない場合がある。これらの値が大きすぎると、その結果得られるモデルは以前のトレーニングデータ（例えば、を介して学習することから）のそのメモリを失い、そのことはシステムダイナミックスが著しく変化した場合に許容可能な場合がある。然しながら、新たなデータポイントがオリジナルのデータを収集した第二モードとは異なるシステム挙動の第一モードに対応するに過ぎない場合、且つ、特に、第二モードが支配的なモードである場合には、メモリの喪失は破滅的である。

本願はモデルメインテナンス方法を提供するものである。

一実施例においては、本方法は、新たなデータのコンサルテーションを介してシステムモデルによる予測の精度が所定のスレッシュホールドより低いことを決定し、且つシステムモデルを該新たなデータで訓練したローカルネットで補充することにより合成モデルを形成する、ことを包含している。

ローカルネットは、新たなデータに対応する関連する有効データ空間を有している場合がある。クラスタリング又はデシジョンツリー技術を新たなデータに適用してローカルネットと関連する１個又はそれ以上のデータ空間レンジを決定することが可能である。データポイントがローカルネットの関連する有効データ空間内にある場合には、ローカルネットはデータポイントをコンサルテーションし且つローカルネットをコンサルテーションする結果がリターンされる。そのデータポイントがローカルネットの関連する有効データ空間内にない場合には、システムモデルがデータポイントをコンサルテーションし且つシステムモデルをコンサルテーションする結果がリターンされる。

付加的な新たなデータとのコンサルテーションを介しての合成モデルによる予測の精度が所定のスレッシュホールドより低い場合には、オリジナルの合成モデルを付加的な新たなデータで形成した第二のローカルネットで補充することによりアップデートした合成モデルを形成することが可能である。データポイントが第二のローカルネットの有効データ空間内にある場合には、該第二のローカルネットがデータポイントとコンサルテーションされ且つ第二のローカルネットをコンサルテーションする結果がリターンされる。そのデータポイントが第二のローカルネットの有効データ空間内になく且つ第一のローカルネットの有効データ空間内にある場合には、第一のローカルネットがデータポイントとコンサルテーションされ且つ第一のローカルネットをコンサルテーションする結果がリターンされる。そのデータポイントが第二のローカルネットの有効データ空間内にはなく且つ第一のローカルネットの有効データ空間内にない場合には、システムモデルはデータポイントをコンサルテーションされ且つシステムモデルをコンサルテーションする結果がリターンされる。更なる新たなデータポイントが使用可能となり且つ現在のモデルの性能が劣化する場合には、モデルの質の高い性能を維持するために付加的なローカルネットを増分的に付加することが可能である。

モデルをアップデートするためのデータの収集を自動化することが可能である。一実施例によれば、現在のモデルが新たなデータポイントをコンサルテーションする場合にモデル予測のエラーを決定し、且つモデルの新たなデータポイントのコンサルテーションに対応するエラーがデータ収集スレッシュホールドより低くない場合に新たなデータポイントを新たなトレーニングセットへ付加させる。モデルの新たなデータポイントとのコンサルテーションに対応するエラーがモデルアップデートスレッシュホールドより高い場合には、新たなトレーニングセットを使用して新たなローカルネットを確立する（及びモデルを新たなローカルネットで補充することにより現在のモデルをアップデートする）。更に、新たなトレーニングセットにおけるデータポイントの数が最大数に到達する場合に、新たなトレーニングセットを介して新たなローカルネットを確立することも可能である。別の実施例によれば、新たなトレーニングセットにおけるデータポイントの数が最小数と等しいか又はそれより大きいものでない限り、新たなローカルネットを確立するために新たなトレーニングセットを使用することはない。新たなローカルネットを確立するために新たなトレーニングセットを使用する前に、新たなトレーニングセットからアウトライヤ即ち外れ値を除去することが可能である。

一実施例に基づくモデルメインテナンス方法は、現在のモデルの精度が所定のスレッシュホールドより低いことを決定し、現在のモデルを適応的にアップデートするためにデータを収集し、且つ現在のモデルを収集したデータで訓練したローカルネットで補充することにより合成モデルを形成することを包含している。

本開示は、又、システムの合成モデルを提供する。一実施例によれば、合成モデルは現在のモデル、及び関連する有効データ空間を具備する少なくとも１個のローカルネットを包含している。データポイントがローカルネットの関連する有効データ空間内にある場合には、ローカルネットがデータポイントをコンサルテーションさせ且つローカルネットをコンサルテーションする結果をリターンさせる。データポイントがローカルネットの関連する有効データ空間内にない場合には、現在のモデルをデータポイントとコンサルテーションさせ且つ現在のモデルをコンサルテーションする結果をリターンさせる。

１つを超えるローカルネットの場合には、各ローカルネットの関連するデータ空間は、どのネットがデータポイントを包含する関連するデータ空間を有しているかを識別するために形成の逆順でテストする。データポイントを包含する関連するデータ空間を具備するネットをコンサルテーションし且つ該ネットをコンサルテーションする結果をリターンさせる。合成モデルとのコンサルテーションが満足のいく結果を生じるものでない場合には、新たに使用可能なデータをして更に別のローカルネットを確立することが可能である。各ローカルネットの使用を追跡することが可能であり、合成モデルがアップデートされる場合には使用頻度の低いローカルネットをパージさせる。

本開示はモデルメインテナンス用のツール（方法及びシステムの形態において）を提供する。例えば、本開示の方法は、ソフトウエアで実現したシステム内に組込むことが可能であり且つ従来のプログラム格納装置又はコンピュータにより読取り可能な媒体上に格納する１個又はそれ以上のコンピュータプログラム又はソフトウエアモジュール内に実現することが可能であり、及び／又はコンピュータネットワーク又はその他の伝送媒体を介して送信することが可能である。

本開示は、新たなデータが使用可能である場合に、システムモデルパラメータを直接的に修正する代わりに、システムモデルを新たに使用可能なデータを介して形成したローカルネットで補充するための方法（以後、「ローカルネット方法」）を提供する。ローカルネット方法は、システムダイナミックスがシフトしたインスタンス及びオリジナルのモデルが部分的なシステム挙動に対してのみ良好であるインスタンスの両方に対して良好に動作する。

本開示の一実施例に基づくモデルメインテナンス方法について図２を参照して説明する。システムモデルの精度を新たなデータをコンサルテーションすることによりチェックする（ステップＳ２１）。モデル予測の精度が所定のスレッシュホールドより低い場合には（ステップＳ２２）、システムモデルを新たなデータでの訓練を介して形成したローカルネットで補充することにより合成モデルを形成する（ステップＳ２３）。

本明細書において使用されるように、「ローカルネット」という用語は、良好に特定された局所的な空間において有効であるネットのことを意味する。新たに使用可能なデータポイントを使用してローカルネットを訓練することが可能であり、それは、次いで、合成モデルを形成するために既存のニューラルネットへ付加される。ローカルネットを訓練するために使用されるデータポイントによりスパンされる空間はそのローカルネットの有効データ空間（ここでは「特定された空間」とも呼称する）である。

本明細書において使用されるように、「適応的学習」及び「適応的アップデート」という用語は、モデルが確立即ち形成された後に、全体的により良好なモデル予測精度を達成するためにモデルをアップデートするために付加的なデータを使用することが可能であることを意味している（システムダイナミックスの変化に対応するか又は既存のモデルによってカバーされていないシステム挙動空間の１つ又はそれ以上の部分に対応する）。適応的学習を達成するためにローカルネットを既存のモデルへ付加することが可能である。

トレーニングセットを介してシステムモデルが確立されると、モデルの有効レンジはトレーニングセットに対応する。然しながら、モデルは任意の領域において新たなデータポイントをコンサルテーションすることが可能であるという意味においてモデルは、典型的に、グローバルに有効なものであると考えられる（しかし、モデルの予測の精度は勿論トレーニング即ち訓練に依存する）。

対照的に、ローカルネットは定義した作業レンジ内において有効である。一般的にニューラルネットの外挿能力は制限されているので、ローカルネットの有効なレンジはローカルネットを訓練するために使用したデータが分布している入力空間におけるレンジに対応している。新たなデータポイントがその特定した有効レンジの外側に該当する場合には、ローカルネットは単に予測を行うことはない。

ローカルネットは、又、例えば、ラジアル基底関数（ＲＢＦ）ネットにおける局所化させたノード関数（例えばガウス）とは異なるものである。ＲＢＦネットはグローバルに有効であるが、それは局所化したノード関数を使用する。ローカルネットは局所的に有効であるに過ぎないが、任意のノード関数を使用することが可能である。

ニューラルネットモデルは、通常、その内挿する能力と比較して、劣っている外挿する能力を有している。図１Ｂに例示した場合におけるように、それを介してモデルを形成したデータポイントのレンジ外側にある新たなデータポイントからなるグループに対しては、グローバルに有効なモデルにより発生された予測値の精度は許容可能なものでない場合がある。

ローカルネット方法に基づく救済は、既存のシステムモデルを補充するために１個又はそれ以上のローカルネットを提供することである。全体としてそれらはシステムの適合させた合成モデルを形成する。新たな組のデータポイントが使用可能である場合には、その新たなデータセットのレンジをカバーするために１個又はそれ以上のローカルネットが構築される。これらのローカルネットは、次いで、合成モデルを形成するために既存のモデルへアペンド即ち付属される。

一実施例（図３）に基づく合成モデルを使用してコンサルティングを行うプロセスにおいて、新たなデータポイントがコンサルテーションされると、そのデータポイントがローカルネットの有効なレンジ内にあるか否かに依存して、予測を行うためにローカルネットか又は既存のシステムモデルが使用される。合成モデルがコンサルテーションモードにおいて使用される場合には、それがローカルネットの有効なレンジ内に入るか否かを判別するために最初にデータポイントの位置がチェックされる（ステップＳ３１）。データポイントがローカルネットのレンジの内側に入る場合には（ステップＳ３２、ＹＥＳ）、予測を行うためにそのローカルネットが使用される（ステップＳ３３）。そうでない場合には（ステップＳ３２、ＮＯ）、予測のためにそのデータポイントは既存のシステムモデルまでパスされる（ステップＳ３４）。

更なる新たなデータポイントが使用可能となるに従い、付加的なローカルネットを付加することが可能である。ローカルネット方法は再帰的に適用することが可能であり、即ち、既存のモデル自身が合成モデルとなることが可能である。各ローカルネットの使用は追跡することが可能であり、従って全体的なモデルを妥当な寸法に維持するために新たなアップデートの時に使用頻度が極めて低いローカルネットをパージ即ち一掃することが可能である。従って、一連のネットが合成システムモデルを形成することが可能である。

一連のローカルネットでアップデートされた合成モデルが予測においてコンサルテーションされ即ち使用されると、各ローカルネットは作成の逆順で吟味される（即ち、最も最近に形成されたものが最初に吟味される）。モデルがコンサルテーションしたデータポイントがローカルネットの特定した空間内に該当する場合には、ローカルネットをコンサルテーションする結果がリターンされる。そうでない場合には、そのデータポイントは、そのデータポイントがローカルネットの関連するデータ空間内に該当するか否かを決定するために前のローカルネットへパスされる（且つ以下同様にオリジナルのニューラルネットに至るまで）。オリジナルのモデルはグローバルに有効なものであると考えられるので、全てのローカルネットが特定のデータポイントを処理することを拒否する場合にはオリジナルのモデルにより予測をリターンさせることが可能である。

一実施例に基づき合成モデルの品質を自動的に維持するためのプロセスについて図４を参照して説明する。現在の合成モデルがコンサルテーションされる場合に、モデル予測の精度がスレッシュホールドと比較される（ステップＳ４１）。その予測が充分に正確なものである場合には（ステップＳ４２、ＹＥＳ）、現在のモデルが継続して使用される（ステップＳ４３）。合成モデルからリターンされた値が最早適切に正確なものでない場合には（ステップＳ４２、ＮＯ）、適応的学習をもう１回実施するときである（ステップＳ４４）。コンサルテーションのために別の新たなデータポイントが収集された後に（ステップＳ４５）、そのプロセスが繰返される。合成モデルの寸法も通常制御されるので、合成モデル内部での個々のローカルネットの使用を追跡することが可能である。該モデルが更にアップデートされると、滅多に使用されないネットは新たなローカルネットがアペンド即ち付属される場合に消去することが可能である。

ローカルネット方法は、システムダイナミックスが変化した場合（図１Ａ）及びオリジナルのモデルが部分的なシステム挙動に対してのみ良好なものである場合（図１Ｂ）の両方、又はこれら２つの結合したものを取扱うことが可能である。

第一のインスタンスにおいて、新たなデータのセットにおいて表わされる新たなシステムダイナミックス（図１ＡにおけるＸ´）をキャプチャするために１個又はそれ以上のローカルネットを配備させることが可能である。ローカルネットは既存のモデルと同一のレンジ内において有効であり、且つそれらは既存のモデルと比較して優先性を有しているので、新たなシステムダイナミックスに対応するローカルネットがコンサルテーションモードにおいて使用される。既存のモデルはこれらの状況下において陳腐化したものとなる。

第二のインスタンスにおいては、ローカルネットは、それを介して既存のシステムモデルが形成されたデータセットにおいて表わされることのない１個又はそれ以上の新たなデータレンジを包含するシステムダイナミックスの一部（図１ＢにおけるＸｎ）をキャプチャする。ローカルネットは新たなデータレンジにおいて有効なものであるので、合成モデルは、新たなレンジ内のデータポイントをコンサルテーションするためのローカルネットを使用することにより及びオリジナルのレンジにおけるデータポイントをコンサルテーションするための既存のモデルを使用することにより、オリジナルのレンジにおけるポイントに対して及び新たなレンジにおけるポイントに対しての両方に正しく動作する。

実際上、典型的にはこれら２つのインスタンスの結合したものが発生し、且つローカルネットは、同時に、既存のモデルを部分的に置換し且つ既存のモデルを補充する。

本開示の別の実施例に基づく自動的モデルメインテナンスの方法について図５を参照して説明する。現在のモデルの精度を新たなデータとのコンサルテーションを介してチェックする（ステップＳ５１）。モデルの精度が所定のスレッシュホールドより低い場合には（ステップＳ５２、ＮＯ）、システムモデルを適応的にアップデートするためにデータが収集され及び／又は検索される（ステップＳ５３）。検索したデータでの訓練を介して形成したローカルネットでシステムモデルを補充することにより合成モデルを形成する（ステップＳ５４）。

モデルメインテナンスにおいて幾つかの実際的な懸念事項が存在している。１つの問題は、システムモデルをアップデートするために幾つの新たなデータポイントを使用すべきかということである。原理的には、データポイントが多ければ多いほど良好である。然しながら、特に実時間適用例の場合には、アップデートを可及的に速やかに実施することが通常望ましい。従って、新たな情報を提供するデータのみを使用することが有用である（例えば、既存のモデルによって表わされていない）。

ローカルネット方法は、ユーザの介入なしで自動化したモデルアップデートを与えるために、データ収集とモデルアップデートに対するタイミングを決定するためのオプションとしての二重スレッシュホールド技術（以下に説明する）を包含している。一実施例（図６）に基づく自動化したデータ収集及び適応的モデルアップデートのためのプロセスは、新たに使用可能なデータを維持するか否か及び現在のモデルをアップデートするか否かを決定するために２つのスレッシュホールドを使用する。第一のスレッシュホールドｔ１は、新たに使用可能なデータが何らかの新たな情報を包含しているか否か及び現在のモデルをアップデートするためにその新たなデータを維持するか否かを決定するために使用される。第二のスレッシュホールドｔ２は、モデルがアップデートされるべきか否かを決定するために使用される。ｔ２の値はｔ１よりも大きく、且つ各々はオリジナルのデータに関する既存のモデルの典型的なエラーに基づいて決定することが可能である。

現在のモデルが新たなデータポイントとコンサルテーションされる場合に、モデル予測のエラーが決定される（ステップＳ６１）。その予測エラーがデータ収集スレッシュホールドｔ１より低い場合には（ステップＳ６２、ＹＥＳ）、新たなデータポイントは単に捨て去られる。その予測エラーがデータ収集スレッシュホールドｔ１より低くない場合には（ステップＳ６２、ＮＯ）、その新たなデータポイントはモデルをアップデートするための新たなトレーニングセットのために維持される（ステップＳ６４）。その予測エラーがモデルアップデートスレッシュホールドｔ２より高い場合には（ステップＳ６５、ＮＯ）、新たなトレーニングセットを使用してローカルネットを確立し且つ該モデルを該ローカルネットで補充することにより現在のモデルをアップデートする（ステップＳ６６）。別の新たなデータポイントが収集され（又は検索され）（ステップＳ６７）且つ本プロセスが繰返される。

アウトライヤ即ち外れ値によりデータ収集及びアップデートが偶発的にトリガされることを回避するために、新たなデータポイントは小さなセット即ち組内に蓄積することが可能である。そのセットの寸法はそのセット内のアウトライヤを識別し且つ除去することが可能であるために充分な大きさである。該セットの平均エラーを使用して該２つのスレッシュホールドと比較することが可能である。データポイントの最大数に関する限界を特定することが可能である。予測エラーがｔ１を交差するが長期間の間ｔ２の下側に止まる場合には、データポイント限界は適応的モデルアップデートを実施するために使用する時間の量に関する限界を与えるのに貢献することが可能である（データポイントを訓練する数を制限することにより）。既存のモデルの条件及びセットアップにおける好みに依存して、アップデートが開始される前に収集されるデータポイントの最大数に関する限界も特定することが可能である。大きな突然の変化が検知される場合には、既存のモデルが変化されることを下限が防止し且つこのような変化に関してオペレータに警告するために使用することが可能である。何故ならば、このような変化は、通常、システムにおいて又は不良なセンサに起因する異常な挙動を表わすからである。

別の実際的な問題はローカルネットレンジの決定である。入力を訓練することから検知される単純な最小値及び最大値は充分なものでない場合がある。何故ならば、極限値の間におけるデータポイントの分布の中に孔が存在する場合があるからである。より精密な推定を得るためにクラスタリングを使用することが可能である。前もってクラスタの数及びクラスタ半径を特定する必要性を回避するために、階層的ｋ−平均（ｋ−ｍｅａｎｓ）クラスタリング技術を使用することが可能である。この階層的ｋ−平均クラスタリング技術は分裂を発生する方法である。全体的なデータセットを最初に小さな数のクラスタへクラスタ化させる。夫々の結果的に得られるクラスタのポピュレーションに依存して、クラスタのポピュレーションが適当なものであり又はクラスタ階層におけるレベルの数が選択した最大値を超えるまで、大きなクラスタをより小さなクラスタへ更に分割させることが可能である。結果的に得られるモデルの最大の複雑性を制御するためにレベルの数に関する限界を使用することが可能である。クラスタリングの各レベルに対してｋ−平均技術を使用することが可能である。

クラスタリングプロセスが完了した後に、クラスタツリーを発生させることが可能である。このクラスタツリーにおける各リーフクラスタ（ｌｅａｆ ｃｌｕｓｔｅｒ）の半径は、そのクラスタの各及び全てのメンバーからクラスタ中心への距離、又は（より低い程度の精度であるが）クラスタ内の最も遠いメンバーからクラスタ中心への距離に基づいて推定することが可能である。

コンサルティングモードにおいて、新たなデータポイントに遭遇すると、それがリーフクラスタのうちの何れか１つの半径内に入る場合には、それは関連するローカルネットの半径内に入ったものと考えられる。そのデータポイントがローカルネットに対応する何れかのクラスタ内に入るものでない場合には、そのデータポイントは既存のモデルへパスされる。

ローカルネットに対するレンジを決定するためにその他の技術を使用することも可能である。ｋ−平均技術は、通常、クラスタの実際の形状を反映するものでない場合のある球状クラスタを通常発生させるので（即ち、クラスタはメンバーが実際に占有するよりもより広い空間をカバーする場合がある）、例えばＩＳＯＤＡＴＡ及びＳＯＭ等のその他の区画化技術を使用することも可能である。別の可能性は、クラスタリング技術の代わりに例えばＣＡＲＴ及びＩＤ３のようなデシジョンツリー技術を使用することである。

これらのクラスタリング及びデシジョンツリー技術は本願出願人に譲渡されている米国仮出願第６０／３７４，０２０号、発明の名称「自動的ニューラルネットモデル発生及びメインテナンス（ＡＵＴＯＭＡＴＩＣ ＮＥＵＲＡＬ ＮＥＴ ＭＯＤＥＬ ＧＥＮＥＲＡＴＩＯＮ ＡＮＤ ＭＡＩＮＴＥＮＡＮＣＥ）」、及び第６０／３７４，０４１号、発明の名称「システム内の発展的変化を発見するための方法及び装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＩＳＣＯＶＥＲＩＮＧ ＥＶＯＬＵＴＩＯＮＡＲＹ ＣＨＡＮＧＥＳ ＷＩＴＨＩＮ Ａ ＳＹＳＴＥＭ）」において記載されており、これらを引用によりその全体を本明細書に取込む。

本開示のローカルネット方法は、システムモデルに対して適応的アップデートを実施するのに有用であり且つ効果的なものであることが証明されている。モデル重み及び／又は構成を直接的にアップデートする適応的学習技術と比較して、本ローカルネット方法は、システムのダイナミックスがシフトする場合に新たなシステムダイナミックスへのより高速の収束を与える。本ローカルネット方法は、又、オリジナルのモデルにおいて既に表わされているシステム動作に対応する精度を損なうことなしに、オリジナルのモデルを構築するために使用したデータセット内に包含されていなかったシステム動作の新たなエリアに対応する新たに使用可能な情報を吸収し且つ利用することが可能である。

合成モデルを形成するローカルネット及びオリジナルのニューラルネットモデルを構築するために使用することが可能な直交関数リンクネット方法の自動的モデル構成選択能力と結合されて、直交関数リンクネット方法とローカルネット方法との結合はモデル作成及びメインテナンスにおける完全なる自動化を与える。直交関数リンクネット方法は、本願出願人に譲渡されている米国仮特許出願第６０／３７４，０２０号において記載されており、その全体を引用により本明細書に取込む。

例
本ローカルネット方法を使用してシステムモデルをアップデートするプロセスを例示するために非線形時系列問題を使用する。この非線形時系列は次式によりシミュレーションされる。

尚ｅ（ｔ）は偏差が０．０１のゼロ平均ノイズシーケンスである。初期条件はｙ（０）＝０．１及びｙ（−１）＝０である。この問題は、現在のポイントの値を予測するために前の２つのポイントを使用することである。

時系列の２０００個のサンプルを発生させた。最初の１０００個のパターンはトレーニングセットとして使用し且つ残りの１０００個は妥当性検査セットとして使用した。オリジナルのモデルを構築するために直交関数リンクネットを使用した。関数リンクノードとしてガウスを使用した。中心はクラスタ中心を介して決定し且つ広がりはクラスタの半径から決定した。５ｅ−４のエラー目標に対して、全部で１３個のノードを選択した。妥当性検査セットに対するエラーも５ｅ−４未満であり、結果的に得られるモデルの良好な一般化能力を表わしている。

ローカルネットへのアペンド即ち付属を介して最適なモデル性能を維持するためのプロセスを例示するために、式（１）により表わされる非線形時系列システムへ一定なドリフト項を付加する。修正した式はｔ＞１０００に対して以下の如くである。

１０００個のパターンを包含する別のトレーニングデータセットを発生させた。オリジナルのモデルを使用してこれらのパターンをコンサルテーションすることのエラーは０．００３１６であり、それは現在のモデルは現在のシステムダイナミックスの正確な表現ではないことを表わしている。

適応的学習をオリジナルのモデルに適用させた。付加的な直交関数リンクネットを新たに使用可能なデータを使用してローカルネットとして形成した。アップデートした合成モデルの結果的に得られるエラーは、再度、５ｅ−４の目標訓練エラーより低かった。新たに付加したローカルネットも１３個のガウスノードを有している。

図７はオリジナルのモデルに対して且つ適応的にアップデートしたモデルに対しての非線形時系列例の結果を例示している。小さな＋符号はオリジナルのトレーニングパターンの位置である。小さな灰色の十字架符号は新たなトレーニングパターンの位置である。灰色の限界サイクルは式（１）及び（２）から発生した理論的な限界サイクルである。黒色の限界サイクルはオリジナルのモデル及びアップデートしたモデルから発生されたものである。灰色及び黒色の限界サイクルの左下の対はオリジナルの場合に対してのものであり且つ右上のセットは修正した場合に対してのものである。

図７に示したように、オリジナルのモデル及びアップデートしたモデルは、夫々、オリジナルのデータ及び新たなデータの良好な表現である。新たな修正した関数のデータポイントはオリジナルの関数のデータポイントとほとんど同じエリアを占有しているので、新たに構築したローカルネットは、基本的に、合成モデルにおけるオリジナルのネットを置換している。

重み−アップデート技術を使用して得られた結果と比較し、本ローカルネット方法は、変化したシステムダイナミックスに対しすぐさまのキャッチアップを提供する。対照的に、重み−アップデート技術は、オリジナルのシステムダイナミックスから新たなシステムダイナミックスへの徐々のシフトを提供する。合成モデルはより大きな寸法のモデルの負担においてより良い性能を提供する。

上の例は変化したシステムダイナミックスの場合に対し適応的学習を取扱う上でローカルネット方法の有効性を証明するものであるが、以下の例は、システム動作の既存のレンジの知識を失うことなしに、システム動作の新たなレンジの場合を本ローカルネット方法が同じように取扱うことが可能であることを示している。単純なサイン関数及びコサイン関数の積は以下の式（３）に示すように以下の例における基礎となるシステムダイナミックスである。

オリジナルのトレーニングデータセットは、ｘ及びｙの両方に対し［０．０，１．０］のインターバル内側においてランダムに１０００個のポイントを選択することにより得た。１ｅ−４のエラー目標で初期的なモデルを構築するために直交関数リンクネットを使用した。その目標は２７個のガウス関数リンクノードで満足された。このシステムは、又、ｘに対して［１．０，２．０］及びｙに対して［０．０，１．０］の付加的なレンジにおいても稼動することが可能である。然しながら、この付加的なレンジはオリジナルのトレーニングデータセットにおいて表わされていなかった。この付加的なレンジ内側においてランダムに選択した別の１０００個のポイントが新たなトレーニングデータセットを形成し、且つローカルネット適応的学習方法を使用して既存のモデルをアップデートさせた。新たなデータセットを使用することによりローカルネットとして付加的な直交関数リンクネットを確立した。トレーニングエラーは２６個のガウス関数リンクノードで１ｅ−４の目標より低くなった。

オリジナルのモデルとｘに対して［０．０，２．０］及びｙに対して［０．０，１．０］の動作レンジにおいてアップデートしたモデルの両方の性能をテストするために、ｘ方向において０．１のステップ及びｙ方向において０．０５のステップを有するグリッドポイントの組をテストセットとして形成し、その結果全部で４４１個のテストポイントとなった。オリジナルのモデルとアップデートしたモデルの両方をコンサルテーションするためにこのテストセットを使用した。

図８は完全な動作レンジに亘ってのオリジナルのモデルとアップデートしたモデルの性能を例示している。灰色のクロス符号は対応するｘ値に対するｙグリッドポイントに亘ってのオリジナルモデルの平均化したエラーを示している。黒色のプラス符号はアップデートしたモデルの平均化したエラーを示している。性能を簡潔に示すために、同一のｘ値の全てのグリッドポイントの平均二乗誤差を平均化する。

予測されるように、オリジナルのモデルは新たなレンジにおいて平均より性能が劣っており、ｘ値が１の前の最大値から更に逸れるに従い益々悪くなっている。何故ならば、ニューラルネットモデルは外挿において能力が非常に制限されているからである。然しながら、アップデートしたモデルは、アップデートトレーニングを実施した新たなレンジのみならず、全体的なレンジに亘り許容可能な性能を有している。

これら２つのモデルの性能は初期的には同一であり、アップデートした合成モデルは実際には予測を実施するためにオリジナルのネットを使用したことを表わしている。約ｘ＝０．９において、２つのモデルの性能は差を示し始め、それは新たなローカルネットが予測についてオリジナルのモデルから取って代わり始めていることを表わしている。クラスタは球状であり（２−Ｄにおいては円形状）、且つ半径は中心からの最も遠いメンバーの距離であり、そのことは境界に近いクラスタをしてそれらが実際に占有するよりも僅かにより多くの面積を包含させていた。この状況は新たなローカルネットに対する外挿に対応するものであるので、合成モデルの性能は実際にはこのポイントにおいてオリジナルのモデルよりも悪いものである。然しながら、ｘが新たなレンジ内へ更に増加するに従い、合成モデルの性能が改善し且つ良好なままに止まり、一方オリジナルモデルの性能は許容不可能なものとなった。

全体的に、アップデートしたモデルの性能はシステムの全体的なレンジに亘り許容可能である。示した全てのエラー値は、実際には、１ｅ−４の目標値よりも一層大きい。何故ならば、グリッドポイントは、動作レンジにおけるエッジによる極限値及びシステム関数の極限値の両方をたまたま包含することがあるからである。トレーニングパターンは両方のトレーニングセットにおいてランダムに発生されるので、極限ポイントは実際にはそれらに包含されることはなく且つこのようなポイントに対するエラーは平均よりもより大きいものである。

上の問題に対して、アウトライヤの状態（即ち、トレーニングのレンジの外側のデータポイント）に対して重み−アップデート方法は不適当である。何故ならば、既存のモデルにおけるノード関数は前に知られているレンジに適合すべくカスタム化されているからである。新たに使用可能なデータに対してはレンジが異なるものであるから、既存のモデルにおけるノードは新たなレンジを表現するのに不適当である。第一の例においては、動作のレンジはほぼ同一に止まった。ガウスノードのようなラジアル基底ノードを有する関数リンクネットの場合には、新たなレンジ内に幾つかの新たなノードを付加することが可能である。然しながら、このような付加は現在の問題に対してはそうでないが２つのレンジが遠く離れていない限り、オリジナルのレンジにおいて干渉を導入する場合がある。

ローカルネット方法の適用
多くのコンピュータアプリケーションソフトウエアは、人間のパターン認識及び予測能力に類似した能力を有するアプリケーションを提供するためにシステムモデル方法を使用する場合がある。以下のものは、システムモデリングを介してアプリケーションソフトウエアがこのような能力に適合させることが可能であり且つローカルネット方法を適用することによりモデルをアップデートさせることが可能な単に二三の例に過ぎない。

小売業者は、過剰な在庫（例えば、その月に対して必要とされるものを超えている）を維持することなしに、次月における在庫が不足することを回避するためにサプライヤに注文すべき商品の量を周期的に決定する必要性がある。エンタプライズリソースプラニングソフトウエアは、最近の販売、現在の在庫、時代的傾向等に基づいて、小売ビジネスのダイナミックスをモデル化し且つ将来の販売の予測を行うための手段を有している場合がある。然しながら、小売ビジネスのダイナミックスは変化する場合があり、従ってそのモデルはアップデートを必要とする場合がある。例えば、小売店が位置している商店街への訪問者の人口統計（例えば、より若く、より低収入の顧客）における変化に応答して、小売業者は、そのような人口統計変化の前には販売しなかった下級商品を陳列棚に加える場合がある。オリジナルのモデルにおいては表現されていなかった下級商品に対応する小売ビジネスダイナミックスの一部をカバーするためにローカルネットを付加することが可能である。又、新たなローカルの消費税が最近掛けられるようになったために、人口統計変化の前に小売業の焦点であった高級商品に対応するダイナミックスにおける変化をカバーするために別のローカルネットを付加することが必要な場合がある。

ローカルネット方法は、又、例えば、システム内の興味のあるデータパターンを探し出し、且つ、例えば、それらを原因（の効果として）又は効果（の原因として）と関連付けるためにプロファイリング（それは情報技術においては「データマイニング」として知られている）へ適用することも可能である。例えば、選択されたグループの顧客に対しての電子ビジネスアプリケーションにより維持されている１組の顧客プロファイルデータでのトレーニングを介して顧客購入傾向のモデルを開発することが可能である。モデルを確立した後に、そのモデルは、既存のモデルにおいて表わされていない第二のグループの顧客に対して、新たなデータが得られる場合に、ローカルネットで補充することが可能である。既存のモデルが形成された後に経済は急上昇したために、購買力のダイナミックスが変化したので付加的なローカルネットを付加することが可能である。

別の例として、エンタプライズ情報システムにおけるリソースの使用は、例えば時間（例えば、１日のうちの時間、１週間のうちの日、又は１年のうちの月等）、ユーザ又はグループ、リソース等の種々雑多なファクタ（及びファクタの組合わせ）に従って変化する場合がある。エンタプライズシステムリソースを割当てるためのモデルは、履歴的リソース使用パターンに基づいて開発することが可能である。然しながら、オリジナルのモデルは、例えば、既存のモデルを開発した後に無線ネットワークインターフェースがエンタプライズリソースプールに導入される場合には、ローカルネットで補充することが必要な場合がある。システムリソース使用は従来のネットワークインターフェースが使用可能であるに過ぎない場合と比較して無線ネットワークインターフェースが使用可能な場合に著しく異なる場合があるので、無線ネットワークインターフェースが使用される場合に対応するリソース使用のダイナミックスの一部はオリジナルのモデルにおいては表わされない場合がある。更に、無線ネットワークインターフェースが使用可能であるということは、無線ネットワークインターフェースを介してより一層アクセス可能である選択したエンタプライズ情報リソースをより多く使用することをエンタプライズユーザ全体に励ます場合があるので、システムダイナミックスがシフトしている場合がある。

更に別の例として、プロセスレシピ（その各々がゴム、ポリマ、硝子、金属、石油化学、食品等を生産するための材料及び処理条件のリストを包含している）及び夫々の製品の結果的に得られるプロパティを包含するデータベースにおける履歴的製品データから生産プロセスをモデル化するために値予測モデルを訓練することが可能である。例えば、パン（例えば、イタリアパン、バゲット、ロール、マルチグレインパンの塊等）レシピのプロパティを予測すべく訓練されたモデルは、入力として種々の材料の量及びベーキング条件を受取ることが可能であり、且つパン製品の測定可能な品質を予測することが可能である。代替的に、所望のプロパティからなる入力に基づいて適宜のレシピを特定するためにモデルを訓練することが可能である。何れの場合においても、モデルは、例えばマフィン、スコーン等のその他の焼いた品物の生産プロセスをモデル化するためにローカルネットで補充することが可能である。古い従来のオーブンが煉瓦のオーブンと交換されたので、システムのダイナミックスが変化したために別のローカルネットを付加することが可能である。

上の特定の実施例は例示的なものであり、且つ本開示の精神から又は特許請求の範囲から逸脱することなしにこれらの例示的実施例に関して多くの変形例を導入することが可能である。異なる例示的実施例の要素及び／又は特徴は、本開示及び特許請求の範囲内において、互いに結合させることが可能であり及び／又は互いに置換させることが可能である。

付加的な変形例は以下の米国特許出願を読むことにより当業者にとって自明なものであり、尚これらを引用によりその全体を本明細書に取込む。

（ａ）出願番号第６０／３７４，０６４号、２００２年４月１９日出願、発明の名称「混合型数字及び／又は非数字データの処理（ＰＲＯＣＥＳＳＩＮＧ ＭＩＸＥＤ ＮＵＭＥＲＩＣ ＡＮＤ／ＯＲ ＮＯＮ−ＮＵＭＥＲＩＣ ＤＡＴＡ）」、
（ｂ）出願番号第６０／３７４，０２０号、２００２年４月１９日出願、発明の名称「自動的ニューラルネットモデル発生及びメインテナンス（ＡＵＴＯＭＡＴＩＣ ＮＥＵＲＡＬ−ＮＥＴ ＭＯＤＥＬ ＧＥＮＥＲＡＴＩＯＮ ＡＮＤ ＭＡＩＮＴＥＮＡＮＣＥ）」、
（ｃ）出願番号第６０／３７４，０２４号、２００２年４月１９日出願、発明の名称「階層的視覚化を介しての多次元データのビューイング（ＶＩＥＷＩＮＧ ＭＵＬＴＩ−ＤＩＭＥＮＳＩＯＮＡＬ ＤＡＴＡ ＴＨＲＯＵＧＨ ＨＩＥＲＡＲＣＨＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ）」、
（ｄ）出願番号第６０／３７４，０４１号、２００２年４月１９日出願、発明の名称「システム内の発展的変化を発見するための方法及び装置（ＭＥＴＨＯＤ ＡＮＤ ＡＰＰＡＲＡＴＵＳ ＦＯＲ ＤＩＳＣＯＶＥＲＩＮＧ ＥＶＯＬＵＴＩＯＮＡＲＹ ＣＨＡＮＧＥＳ ＷＩＴＨＩＮ Ａ ＳＹＳＴＥＭ）」、
（ｅ）出願番号第６０／３７３，９７７号、２００２年４月１９日出願、発明の名称「ローカルネットを介しての自動的モデルメインテナンス（ＡＵＴＯＭＡＴＩＣ ＭＯＤＥＬ ＭＡＩＮＴＥＮＡＮＣＥ ＴＨＲＯＵＧＨ ＬＯＣＡＬ ＮＥＴＳ）」、
（ｆ）出願番号第６０／３７３，７８０号、２００２年４月１９日出願、発明の名称「データマイニングのためのニューラルネットワークの使用（ＵＳＩＮＧ ＮＥＵＲＡＬ ＮＥＴＷＯＲＫＳ ＦＯＲ ＤＡＴＡ ＭＩＮＩＮＧ）」、
（ｇ）出願番号（代理人ドケット番号６７０９２）、２００３年３月２８日出願、発明の名称「ローカルネットを介しての自動的モデルメインテナンス（ＡＵＴＯＭＡＴＩＣ ＭＯＤＥＬ ＭＡＩＮＴＥＮＡＮＣＥ ＴＨＲＯＵＧＨ ＬＯＣＡＬ ＮＥＴＳ）」。

（Ａ）及び（Ｂ）は入力空間を挙動空間へマッピングするシステムモデルの夫々の概略図を示しており、（Ａ）において、Ｘはオリジナルのマッピングを表わしており且つＸ´は発展したマッピングを表わしており、（Ｂ）において、Ｘｏ及びＸｎは異なる領域におけるデータによりもたらされる同一のマッピングＸの異なる側面を表わしている。 本開示の一実施例に基づくモデルメインテナンス方法のフローチャート。 本開示の一実施例に基づく合成モデルを使用して参照を行うプロセスを示したフローチャート。 本開示の一実施例に基づいてシステムモデルの品質を自動的に維持するためのプロセスを示したフローチャート。 本開示の別の実施例に基づいたモデルメインテナンス方法を示したフローチャート。 本開示の一実施例に基づいて自動化したデータ収集及び適応的モデルアップデートのプロセスを示したフローチャート。 第一の例においてオリジナルのモデルと適応的にアップデートしたモデルとの間の比較を表わしたグラフ図。 第二の例においてオリジナルのモデルと適応的にアップデートしたモデルの夫々の平均エラーを表わすグラフ図。

Claims (29)

1. モデルメインテナンス方法において、
   新たなデータとのコンサルテーションを介してのシステムモデルによる予測の精度が所定のスレッシュホールドより低いことを決定し、
   システムモデルを前記新たなデータで訓練したローカルネットで補充することにより合成モデルを形成する、
   ことを包含している方法。
2. 請求項１において、前記ローカルネットが前記新たなデータによりスパンされる空間に対応する関連する有効データ空間を有している方法。
3. 請求項２において、前記合成モデルがデータポイントとコンサルテーションされる場合に、前記ローカルネットが前記データポイントとコンサルテーションされ且つ前記データポイントが前記ローカルネットの前記関連する有効データ空間内にある場合に前記ローカルネットとのコンサルテーションの結果がリターンされる方法。
4. 請求項３において、前記データポイントが前記ローカルネットの関連する有効データ空間内にない場合には、前記システムモデルが前記データポイントとコンサルテーションされる方法。
5. 請求項１において、付加的な新たなデータとのコンサルテーションを介しての前記合成モデルによる予測の精度が前記所定のスレッシュホールドより低い場合には、オリジナルの合成モデルを付加的な新たなデータとの訓練を介して形成された第二のローカルネットで補充することにより前記合成モデルをアップデートする方法。
6. 請求項５において、前記アップデートした合成モデルをデータポイントとコンサルテーションする場合に、前記第二のローカルネットを前記データポイントとコンサルテーションさせ且つ前記データポイントが前記第二のローカルネットの有効データ空間内にある場合には、前記第二のローカルネットとのコンサルテーションの結果をリターンさせる方法。
7. 請求項６において、前記第一のローカルネットを前記データポイントとコンサルテーションさせ、且つ前記データポイントが前記第二のローカルネットの有効データ空間内にはなく且つ前記第一のローカルネットの関連する有効データ空間内にある場合には、前記第一のローカルネットとのコンサルテーションの結果をリターンする方法。
8. 請求項７において、前記システムモデルを前記データポイントとコンサルテーションさせ且つ前記データポイントが前記第二のローカルネットの有効データ空間内にはなく且つ前記第一のローカルネットの有効データ空間内にない場合には、前記システムモデルとのコンサルテーションの結果をリターンさせる方法。
9. 請求項１において、現在のモデルを新たなデータポイントとコンサルテーションさせる場合にモデル予測のエラーを決定し、且つ前記モデルの前記新たなデータポイントとのコンサルテーションに対応するエラーがデータ収集スレッシュホールドより低くない場合には前記新たなデータポイントを新たなトレーニングセットへ付加する方法。
10. 請求項９において、前記新たなトレーニングセットを使用して新たなローカルネットを確立し且つ前記モデルの前記新たなデータポイントとのコンサルテーションに対応するエラーがモデルアップデートスレッシュホールドより高い場合には、前記モデルを前記新たなローカルネットで補充することにより現在のモデルをアップデートすることを特徴とする方法。
11. 請求項９において、新たなトレーニングセットにおける多数のデータポイントが最大数に到達する場合に、前記新たなトレーニングセットを使用して新たなローカルネットを確立し、且つ前記モデルを前記新たなローカルネットで補充することにより現在のモデルをアップデートする方法。
12. 請求項９において、新たなトレーニングセットにおけるデータポイントの数が最小数と等しいか又はそれより大きいものでない限り、新たなローカルネットを確立するために新たなトレーニングセットを使用しない方法。
13. 請求項９において、前記新たなトレーニングセットからアウトライヤを除去する方法。
14. 請求項１において、前記ローカルネットと関連する１個又はそれ以上のデータ空間レンジを決定するために前記新たなデータに対してクラスタリング技術又はデシジョンツリー技術を適用する方法。
15. コンピュータシステムにおいて、
    プロセッサ、
    請求項１の方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しており前記コンピュータシステムにより読取り可能なプログラム格納装置、
    を有しているコンピュータシステム。
16. マシンにより読取り可能なプログラム格納装置において、請求項１の方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
17. 伝送媒体内に実現されているコンピュータデータ信号において、請求項１の方法を実施するためにコンピュータにより実行可能な命令を実現しているコンピュータデータ信号。
18. モデルメインテナンス方法において、
    現在のモデルの精度が所定のスレッシュホールドより低いことを決定し、
    前記現在のモデルを適応的にアップデートするためのデータを収集し、
    前記収集したデータで訓練したローカルネットで前記現在のモデルを補充することにより合成モデルを形成する、
    ことを包含している方法。
19. 請求項１８において、現在のモデルの予測精度の不適切性が部分的なシステム挙動のみに対応するトレーニングデータで訓練することに起因している方法。
20. 請求項１８において、モデル予測精度の劣化が現在のモデルを確立した後のシステムダイナミックスに対するシフトに起因している方法。
21. 請求項２０において、新たなシステムダイナミックスをキャプチャするために１個又はそれ以上のローカルネットを前記合成モデルへ付加させる方法。
22. 請求項１８において、現在のモデルの予測精度の不適切性が（ａ）部分的なシステム挙動のみに対応するトレーニングデータでの訓練、及び（ｂ）現在のモデルを確立した後のシステムダイナミックスの変化の組合わせに起因している方法。
23. コンピュータシステムにおいて、
    プロセッサ、
    請求項１８の方法を実施するために前記プロセッサにより実行可能な命令からなるプログラムをタンジブルに実現しており前記コンピュータシステムにより読取り可能なプログラム格納装置、
    を有しているコンピュータシステム。
24. マシンにより読取り可能なプログラム格納装置において、請求項１８の方法を実施するために前記マシンにより実行可能な命令からなるプログラムをタンジブルに実現しているプログラム格納装置。
25. 伝送媒体内に実現されているコンピュータデータ信号において、請求項１８の方法を実施するためにコンピュータにより実行可能な命令を実現しているコンピュータデータ信号。
26. システムの合成モデルにおいて、
    現在のモデル、
    関連する有効データ空間を有している少なくとも１個のローカルネット、
    を有しており、前記合成モデルがデータポイントとコンサルテーションされる場合に、前記ローカルネットが前記データポイントとコンサルテーションされ且つ前記データポイントが前記ローカルネットの関連する有効データ空間内にある場合には前記ローカルネットをコンサルテーションする結果がリターンされ、且つ現在のモデルを前記データポイントとコンサルテーションさせ且つ前記データポイントが前記ローカルネットの関連する有効データ空間内にない場合には現在のモデルをコンサルテーションする結果をリターンさせる、合成モデル。
27. 請求項２６において、新たなデータポイントとのコンサルテーションを介しての前記合成モデルによる予測の精度が所定のスレッシュホールドより低い場合に、新たなデータポイントとの訓練を介して形成される一連の付加的なローカルネットを付加することにより前記合成モデルを繰返しアップデートさせる合成モデル。
28. 請求項２７において、新たなデータポイントが該当する有効データ空間を有しているローカルネットのうちの１つを識別するために逆順で前記ローカルネットの有効データ空間に対して前記新たなデータポイントを比較し、識別したローカルネットを前記新たなデータポイントとコンサルテーションさせ、前記識別したローカルネットを前記新たなデータポイントとコンサルテーションさせた結果をリターンさせることにより、前記アップデートした合成モデルを新たなデータポイントとコンサルテーションさせる合成モデル。
29. 請求項２７において、各ローカルネットの使用を追跡し、且つ合成モデルをアップデートする場合に使用頻度の低いローカルネットをパージさせる合成モデル。

Images