JP2004503001A - 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法 - Google Patents
経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法 Download PDFInfo
- Publication number
- JP2004503001A JP2004503001A JP2002508154A JP2002508154A JP2004503001A JP 2004503001 A JP2004503001 A JP 2004503001A JP 2002508154 A JP2002508154 A JP 2002508154A JP 2002508154 A JP2002508154 A JP 2002508154A JP 2004503001 A JP2004503001 A JP 2004503001A
- Authority
- JP
- Japan
- Prior art keywords
- model
- linear
- nonlinear
- initial
- input
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B13/00—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion
- G05B13/02—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric
- G05B13/0265—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion
- G05B13/027—Adaptive control systems, i.e. systems automatically adjusting themselves to have a performance which is optimum according to some preassigned criterion electric the criterion being a learning criterion using neural networks only
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
- G05B17/00—Systems involving the use of models or simulators of said systems
- G05B17/02—Systems involving the use of models or simulators of said systems electric
Landscapes
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- Automation & Control Theory (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Medical Informatics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Feedback Control In General (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Control By Computers (AREA)
- Error Detection And Correction (AREA)
Abstract
経験的プロセスを制御する制約付き非線形近似器が開示される。近似器は、一般的な非線関係を表現するモデルの能力を低下させない経験モデルの導関数の挙動特性を含む。制約付き非線形近似器の形成には３つのステージがある。第１ステージは、グラフィック的、代数的または汎用的に定められ、かつ第２ステージで使用される変換関数のベースとして用いられる利得軌跡、または基本非線形関数の全体的な形状の仕様である。本発明の第２ステージは、非線形近似を可能にする変換関数の相互接続である。本発明の最後のステージはモデル係数の制約付き最適化であり、それにより入力／出力マッピング（およびそれらに対応する導関数）の全体的な形状が保存される。
【選択図】図１
【選択図】図１
Description
【０００１】
【発明の背景】
複雑な非線形の多変数関数をモデル化しようとする場合、ニューラル・ネットワークのような汎用的な近似器を用いるのが長年の慣行であった。このようなテクノロジーの工業的応用は、推測またはソフト・センサ予測の分野において特に普及していた。参照文献としては、例えば、Ｎｅｕｒｏｔｈ， Ｍ．， ＭａｃＣｏｎｎｅｌｌ， Ｐ．， Ｓｔｒｏｎａｃｈ， Ｆ．， Ｖａｍｐｌｅｗ， Ｐ．（Ａｐｒｉｌ ２０００）：“Ｉｍｐｒｏｖｅｄ ｍｏｄｅｌｉｎｇ ａｎｄ ｃｏｎｔｒｏｌ ｏｆ ｏｉｌ ａｎｄ ｇａｓ ｔｒａｎｓｐｏｒｔ ｆａｃｉｌｉｔｙ ｏｐｅｒａｔｉｏｎｓ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ（人工知能を利用するオイルおよびガス輸送施設の最新の管理方法およびモデル化）”， Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅｄ Ｓｙｓｔｅｍｓ， ｖｏｌ．１３， ｎｏ．２， ｐｐ．８１−９、およびＭｏｌｇａ， Ｅ．Ｊ． ｖａｎ Ｗｏｅｚｉｋ， Ｂ．Ａ．Ａ， Ｗｅｓｔｅｒｔｅｒｐ， Ｋ．Ｒ．：“Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ｏｆ ｃｈｅｍｉｃａｌ ｒｅａｃｔｉｏｎ ｓｙｓｔｅｍｓ ｗｉｔｈ ｃｏｍｐｌｅｘ ｋｉｎｅｔｉｃｓ： ｏｘｉｄａｔｉｏｎ ｏｆ ２−ｏｃｔａｎｏｌ ｗｉｔｈ ｎｉｔｒｉｃ ａｃｉｄ（複合動力学を持つ化学反応システムをモデル化するためのニューラル・ネットワーク：硝酸を用いる２−オクタノールの酸化）”，Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ， Ｊｕｌｙ ２０００， ｖｏｌ．３９， ｎｏ．４， ｐｐ．３２３−３３４がある。多くの工業プロセスは、オンラインで測定することが不可能でない場合、依然として高い費用を要する、諸特性の品質管理を必要とする。温度、圧力等の測定の容易なプロセス変数からそのような品質を予測するために、推定品質推定器が用いられてきた。多くの場合、プロセス（特にポリマー・プロセス）内の複合相互作用は、測定の容易な変数と複合品質パラメータとの間の非線形関係として現れる。
【０００２】
歴史的に見て従来のニューラル・ネットワーク（または他の汎用的な非線形近似器）は、それらの複雑な非線形性を表わすのに用いられてきた。参照文献としては、例えば、Ｚｈａｎｇ， Ｊ．， Ｍａｒｔｉｎ， Ｅ．Ｂ．， Ｋｉｐａｒｉｓｓｉｄｅｓ， Ｃ．：“Ｅｓｔｉｍａｔｉｏｎｓ ｏｆ ｉｍｐｕｒｉｔｙ ａｎｄ Ｆｏｕｌｉｎｇ ｉｎ ｂａｔｃｈ ｐｏｌｙｍｅｒｉｚａｔｉｏｎ ｒｅａｃｔｏｒｓ ｔｈｒｏｕｇｈ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ニューラル・ネットワークの利用によるバッチ重合反応器内の不純物および付着物の推定）”，Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｆｅｂｒｕａｒｙ １９９９， ｖｏｌ．２３， ｎｏ．３， ｐｐ．３０１−３１４、およびＨｕａｆａｎｇ， Ｎ．， Ｈｕｎｋｅｌｅｒ， Ｄ．：“Ｐｒｅｄｉｃｔｉｏｎ ｏｆ Ｃｏｐｏｌｙｍｅｒ ｃｏｍｐｏｓｉｔｉｏｎ ｄｒｉｆｔ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ： ｃｏｐｏｌｙｍｅｒｉｚａｔｉｏｎ ｏｆ ａｃｒｙｌａｍｉｄｅ ｗｉｔｈ ｑｕａｔｅｒｎａｒｙ ａｍｍｏｎｉｕｍ ｃａｔｉｏｎｉｃ ｍｏｎｏｍｅｒ（疑似ニューラル・ネットワークを利用したコポリマー組成変化の推定：第四アンモニウム・カチオン・モノマーを持つアクリルアミドの共重合”，Ｐｏｌｙｍｅｒ， Ｆｅｂｒｕａｒｙ １９９７， ｖｏｌ．３８， ｎｏ．３， ｐｐ．６６７−６７５がある。過去のプラント・データを使用してモデルを訓練（すなわち、モデル係数を決定する）し、またモデルの目的関数を設定して、いくつかの任意の（但し代表的な）訓練データ・セットのモデル誤差を最小にする。これらのモデルの訓練に使用されるアルゴリズムは、モデル誤差に注目している。収束関数の導関数の精度に対しては、ほとんど、または全く注意が払われていない。
【０００３】
モデル誤差へのそのような注目（他の面を考慮しない）は、閉ループ制御方式におけるそのようなモデル（すなわち、従来のニューラル・ネットワーク）の利用を妨げる。なぜなら、非線形モデルの目的は通常、コントローラの利得および遅延を予測することにあるからである。ジャケッティング（ｊａｃｋｅｔｉｎｇ）を利用して、モデルが１次元外挿の領域で作用するのを制限できるが、そのモデルは動作点間で補間すると予測される。したがって、線形または良好な挙動の非線形補間が必要となる。利得は、実際のプロセスに正確に一致しない可能性があるが、一つの動作点から他の動作点に移行する際に、プロセス利得における通常変化に少なくとも軌跡が単調調和する必要がある。
【０００４】
閉ループ制御方式における従来のニューラル・ネットワークの動的安定性を解明する研究が試みられてきた。Ｋｕｌａｗｓｋｉその他は、測定不可能な状態を有する非線形安定プラントに適応できる制御方法を発表した（Ｋｕｌａｗｓｋｉ， Ｇ．Ｊ．， Ｂｒｙｄｙｓ’， Ｍ．Ａ．：“Ｓｔａｂｌｅ ａｄａｐｔｉｖｅ ｃｏｎｔｒｏｌ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋｓ（再現ネットワークを用いる安定適応制御）”，Ａｕｔｏｍａｔｉｃａ， ２０００， ｖｏｌ．３６， ｐｐ．５−２２を参照）。コントローラは、非線形動的モデルの形態を取り、コントローラを線形化するフィードバックを計算する。この方式の安定性は、理論的に示されている。Ｋｕｌａｗｓｋｉらの論文は、コントローラの総合的な安定性における単調活動関数の重要性を強調している。ただし、議論はデータの少ない領域における不適正な利得推定の事例までは拡張されていない。
【０００５】
汎用性のある近似器（例えば従来のニューラル・ネットワーク）は、２点間を補間する場合、導関数の値が正しいことを保証できない。これらモデルのこの特性が意味することは、あらゆる結果が、充分なデータを有する２つの領域間に存在する、データが無いか、または少ない領域での汎用近似器による出力の予測に関して起こりうることである。軌跡上の最終の２点が一致すれば、この２点間の経路は重要ではない。本発明の重要な長所の一つは、それがプロセス利得軌跡（例えば単調利得、有界の利得等）の優先情報を使用し、推定量をこれらの特性を有する解に制約することである。
【０００６】
非線形近似器の構造に優先情報を含むことの利点は、多くの領域で例証されている。Ｌｉｎｄｓｋｏｇらは、ファジー・モデル構造の単調制約について述べており、このような方法を水加熱システムの制御に適用している（Ｌｉｎｄｓｋｏｇ， Ｐ， Ｋｊｕｎｇ， Ｌ．：“Ｅｎｓｕｒｉｎｇ ｍｏｎｏｔｏｎｉｃ ｇａｉｎ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｉｎ ｅｓｔｉｍａｔｅｄ ｍｏｄｅｌｓ ｂｙ ｆｕｚｚｙ ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅｓ（ファジー・モデル構造により推定されたモデルにおける単調利得特性の保証）”，Ａｕｔｏｍａｔｉｃａ， ２０００， ｖｏｌ．３６， ｐｐ．３１１−３１７を参照）。Ｙａｓｅｒ，Ｓ．Ａｂｕ−Ｍｏｓｔａｆａは、所望の非線形特性を持つ疑似訓練のデータを“考案する”ことにより、ニューラル・ネットワークに局部的な単調特性を“持たせる”１つの方法を述べている（Ｙａｓｅｒ， Ｓ． Ａｂｕ−Ｍｏｓｔａｆａ：“Ｍａｃｈｉｎｅｓ ｔｈａｔ ｌｅａｒｎ ｆｒｏｍ ｈｉｎｔｓ（ヒントから学習するマシン）”，Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ， Ａｐｒｉｌ １９９５， ｐｐ．６４−６９を参照）。これは、この特定の入力／出力関係への全面的な適合を保証するものではない。
【０００７】
このように、データの領域の外挿処理には、汎用の近似器を用いるべきでないことは広く認められている。近似器があらゆる非線形特性をモデル化できる理由から、あらゆる結果は、外側にあり、また訓練データ範囲の限界値を含む領域で起こりうる。
【０００８】
プロセスコントロールに対して、（入力領域で）経験的非線形モデルの挙動特性を制約することは、最新の非線形制御の開発の成功には不可欠である。従来のニューラル・ネットワークのような汎用近似器は、最新の制御方式で利用されても、潜在的な制御性能を大幅に低下させることなしに、利得を予測することはできない。
【０００９】
【発明の概要】
本発明は、非線形経験的近似器の利得軌跡および単調性を制御できる１つの代替方式である。汎用近似器ではないが、良好な挙動特性の関数に“適合”する本発明の能力は、従来のニューラル・ネットワークに劣らないものであり、しかもこのような方法に付帯する不安定性をも伴わない。本発明の主要な特徴は、汎用の非線形関係を表わすモデルの能力に悪影響を与えることなしに、経験的モデルの導関数の挙動特性を制約することである。
【００１０】
本発明に述べる制約付き非線形近似器は、データの少ない領域（例えば、訓練データにおいて）における不適正な利得の問題に対処し、良好な挙動特性の導関数を持つ非線形近似化環境を提供する。利得軌跡の全体的な形状は、必要に応じて指定される。またこれとは別に、軌跡は、訓練の間に“学習”された後、検査される。本発明の重要点は、モデル導関数の制約された挙動特性は、訓練データ領域だけでなく、モデルの全入力定義域（すなわち、そのモデルの入力として容認できる予測値の全領域）にわたって保証されており。したがって本発明は、利得軌跡制約に対して全体に適合することを保証する。
【００１１】
利得を制約する訓練方法を使用する従来のフィードフォワード・ニューラル・ネットワークを制約することを試みる１つの方法は、Ｅｒｉｋ Ｈａｒｔｍａｎｎの“Ｔｒａｉｎｉｎｇ Ｆｅｅｄｆｏｒｗｏｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｇａｉｎ Ｃｏｎｓｔｒａｉｎｔｓ（利得制約値を有するフィードフォワード・ニューラル・ネットワークの訓練方法）”，Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， １２， ８１１−８２９（２０００）に記載されている。この方法では、制約値は複数の入力と出力を有するモデルの各入力／出力に対して設定される。Ｈａｒｔｍａｎｎの方法は、モデルの全体挙動特性が、制約された全体挙動特性（例えば、モデル入力の全定義域にわたる）を持つことを保証しない。これに対して、本発明の方法は、本明細書で詳細に述べるように、モデルが制約された全体挙動特性を持つことを保証する。
【００１２】
好ましい実施形態においては、経験的プロセスに対する制約付き非線形近似器の開発は３つのステージに分けられている。第１ステージは、利得軌跡の全体的な形状の仕様であり、この仕様により経験プロセスの初期モデルが得られる。これは、グラフィック的に、代数的に、または汎用的に（オプティマイザにより学習される）指定することができる。本発明の第２ステージは、変換（例えば活動）関数の相互接続であり、これにより初期モデルに基づく非線形ネットワーク・モデルの非線形近似が可能になる。本発明の最終ステージでは、非線形ネットワーク・モデルに基づく最適化モデル（すなわち、制約付き非線形近似器）のモデル係数の制約付き最適化であり、入力／出力マッピング（およびそれらに対応する導関数）の全体形状が保存されるようになっている。
【００１３】
前述の３つのステージは、所望の利得軌跡を持つ非線形（動的状態または定常状態）モデルを作成するのに制約アルゴリズムを利用する、本発明のモデル作成部を構成する。本発明の方法によりユーザー（すなわちモデル設計者）は、入力データ定義域の任意または指定された点において、入力／出力および利得軌跡の両者に応答信号を送ることができる。
【００１４】
作成されたモデル（例えば最適化された非線形モデル）を用いて、ユーザは非線形コントローラを形成できる。コントローラは、定常状態への最適軌跡（例えば、所望の出力を発生する定常状態プロセスに達するための、所望の出力の最適利得軌跡）の予測において、最適化されたモデルを利用する。制御される変数およびプロセス利得の正確な非線形予測は、非線形の最適化モデルから得ることができる。
【００１５】
本発明の別の実施形態においては、本発明により、利得軌跡制約アルゴリズムを利用する別の（未経験的または経験的／第１原理ハイブリッド、あるいは別のハイブリッド構造のどちらかの）モデル化が、相互接続ステージまたは制約付き最適化ステージのどちらか（または両ステージ）において、別のプロセス最適化目的のためにプロセスの非線形モデル（例えば非線形プログラム）を作成することもできる。この時、オプティマイザはこの制約付きモデルを使用して、非線形コントローラに対する最適設定点を指定することができる。
【００１６】
本発明は、経験的プロセスのモデルのあらゆる形態に使用して、制約付き非線形近似器を作成できる。この場合、基本のシステム挙動特性の優先情報を利用して、変換関数の相互接続モデル（例えば、階層型アーキテクチャに基づく非線形ネットワーク・モデル）の最適化に関する制約項目を定義できる。例えば本発明の方法は、任意の化学的またはプロセス・モデル、金融予測、パターン認識、小売りモデル化およびバッチ処理モデル化に適用することができるが、これらに限定されない。
【００１７】
したがって、本発明は、非線形経験的プロセスをモデル化する方法および装置を提供する。詳細には、本発明はモデル・クリエータ、モデル・コンストラクタおよびオプティマイザを含むコンピュータ装置を提供する。モデル・クリエータは、モデル化される非線形経験的プロセスにほぼ対応する初期モデルを作成する。初期モデルは、初期入力および初期出力を有する。初期モデルは一般に、経験的プロセスに対する入力／出力マッピングの形状に相当する。モデル・クリエータに接続されているモデル・コントラクタは、初期モデルに基づいて非線形ネットワーク・モデルを形成する。非線形ネットワーク・モデルは、初期入力に基づく複数の入力と、初期出力にほぼ一致する非線形ネットワーク・モデルの全体挙動特性とを有する。モデル・コンストラクタに接続されているオプティマイザは、非線形ネットワーク・モデルの全体挙動特性を制約することにより、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを作成する。最適化されたモデルは、制約付き非線形近似器の一例を提供する。したがって、このようにして得られた最適化モデルは、初期モデルの入力／出力マッピングの全体形状に一致する全体出力を提供し、その一方で、最適化モデルの全体出力が、入力定義域の全範囲に対し一貫性のある結果（例えば単調増加する結果）を出すように制約される。本明細書に記載されたモデル化装置および方法は、あらゆる非線形プロセスに使用可能である。
【００１８】
本発明の別の構成によれば、モデル・クリエータは非線形経験的プロセスの利得軌跡の全体的な形状を指定する。したがって、結果として得られる最適化モデルは、初期モデルに対して指定された利得軌跡の全体的な形状に一致する全体出力を提供する。
【００１９】
本発明の別の構成において、モデル・クリエータは、非線形経験的プロセスの近似化に適した非線形変換関数を指定する。非線形ネットワークは、相互接続された処理要素を含むことができ、またモデル・コンストラクタは、非線形変換関数を少なくとも一つの処理要素に組み込むことができる。オプティマイザは、非線形変換関数の有界の導関数を用いることにより、制約値を設定することができる。好ましい実施形態において、非線形変換関数は、双曲線余弦関数の対数を含む。
【００２０】
本発明の別の構成において、モデル・コンストラクタは、相互に入力／出力関係を持つノードのフィードフォワード・ネットワークを有する階層型ネットワーク・アーキテクチャに基づいて、非線形ネットワーク・モデルを作成する。フィードフォワード・ネットワークは変換要素を含む。各変換要素は、非線形変換関数、重み付き入力係数および重み付き出力係数を持つ。この構成において、オプティマイザは、非線形ネットワーク・モデルの全体挙動特性を初期入力に基づく単調変換に制約する。この制約は、単調変換を可能にする相補的方法で各変換要素につき重み付き入力係数および重み付き出力係数を対にすることによりなされる。相補的方法は、また“相補対形成法”とも呼ばれる。この方法を用いることにより、オプティマイザは、最適化モデルの全体出力が、例えば最適化されたモデルの全体出力の全域にわたり、かつ入力値の範囲全体にわたって、単調に増加するように制約されることを保証する。
【００２１】
本発明の別の構成において、装置および方法は初期モデル、非線形ネットワーク・モデル、および最適化モデルとは異なる非線形経験的プロセスの別のモデルを表わす助言モデル（ａｄｖｉｓｏｒｙ ｍｏｄｅｌ）を含む。オプティマイザは、勧告モデルにより提供される情報に基づいて最適化されるモデルの最適化を調節することができる。勧告モデルは、非線形経験的プロセスの第１原理モデルであることが可能である。したがって、第１原理の方法からのデータを使用して、オプティマイザにより実行される最適化プロセスに通知し、また影響を与えることができる。
【００２２】
非線形経験的プロセスは、またオプティマイザに接続されたコントローラにより、管理されるより大きないプロセスの一部であってもよい。この場合、オプティマイザは最適化モデルをコントローラに伝達して、コントローラ内で展開する。このように、最適化モデルを、特定の大きなモデルの１つの構成要素として含むことができ、またより大きなモデルでは、より大きなモデルの別の構成要素に対し別のモデル化方法を使用できる。
【００２３】
したがって、本明細書に述べるコンピュータ装置および方法により、経験的プロセスの正確な制御（または予測）および出力の変動の減少が可能になる。なぜなら、制約付き非線形近似器（例えば最適化モデル）は、従来の汎用近似器に比べ、一貫性のある予測可能な出力を提供するからである。
【００２４】
別の構成において、本発明は工業プロセスをモデル化するコンピュータ装置および方法を提供する。特にポリマー・プロセスをモデル化するコンピュータ装置および方法は、モデル・クリエータ、モデル・コンストラクタおよびオプティマイザを含む。モデル・クリエータは、モデル化されるポリマー・プロセスにほぼ相当する初期モデル用の基本の非線形関数を指定する。初期モデルは、初期入力と初期出力を含む。基本非線形関数は双曲線余弦関数の対数を含む。モデル・コンストラクタはモデル・クリエータに接続されており、初期モデルに基づいて非線形ネットワーク・モデルを形成する。非線形ネットワーク・モデルは基本非線形関数を含み、初期入力に基づく複数の入力を有する。非線形ネットワーク・モデル全体の全体挙動特性は、一般に初期出力に一致する。オプティマイザはモデル・コントラクタに接続されており、非線形ネットワーク・モデルの全体挙動特性を制約することにより基本非線形関数の有界の導関数を使用して制約値を設定することによって、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを作成する。
【００２５】
適正な関数（例えば双曲線余弦関数の対数）を含むことにより、非線形ネットワーク・モデルおよびオプティマイザは、この関数に基づく有界の導関数を使用して、制約付き非線形近似器（例えば最適化されたモデル）に対する制約値を設定する。その結果得られる出力全体挙動特性は、ポリマー・プロセスに対する入力値の全入力定義域領域全体を介して、ポリマー・プロセスの予測される特性にほぼ一致するように制約され、従来のニューラル・ネットワーク方法に基づく汎用近似器で発生する可能性のある予測不可能な特性は生じない。本発明の装置および方法は、工業施設における既知または現行のポリマー・プロセスの正確な制御を可能にし、また工業施設に導入される新しいポリマー（または他の化学）製品のために高信頼性の制御を可能にする。さらに、制約付き非線形近似器に基づくポリマー・プロセスの移転は、従来のモデル化手法により作成されたポリマー・プロセス・モデルに基づく移転に比べ、同様な工業施設に対して容易に行なうことができる。
【００２６】
一般に、制約付き非線形近似器の優れた一貫性および制御は、モデル化される経験的プロセスのモデルの全体挙動特性に対して、より予測可能な結果を保証する。
【００２７】
本発明の前述およびその他の目的、特徴、および利点は、添付図面に示す本発明の好ましい実施形態の以下の詳細な説明で明らかになるであろう。図面では、同一参照符号は異なる図面においても同一部品を指す。図面は必ずしも縮尺通りでなく、本発明の原理を示すことに重点が置かれている。
【００２８】
【好ましい実施形態の詳細な説明】
図１は、ディジタル・プロセッサ２２上で実現された本発明の方法および装置の好ましい実施形態のブロック図である。非線形近似器を制約して経験的プロセスをモデル化する図示されたコンピュータ装置２０（および方法）は、ディジタル・プロセッサ２２上で実現され、このディジタル・プロセッサ２２は、ＲＡＭ（ランダムアクセスメモリ）のようなワーキング・メモリ内でモデル化モジュール２４およびコントローラ２６を管理および実行する。モデル化モジュール２４は初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８を含む。コンピュータ・システム２０の構成要素（例えばコントローラ２６、初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８）は、図１に示されるディジタル・プロセッサ２２上で実現されるか、または代替の実施形態では、分散コンピュータ配置において、相互に通信する２つまたはそれ以上のディジタル・プロセッサの任意の組み合わせで実現される。さらに構成要素３４、３６および３８は、コントローラ２６および／または他の構成要素３４、３６または３８がモデル化されている経験的プロセスと相互作用するオンライン環境で実現することが可能であり、あるいは構成要素３４、３６および３８はオフライン環境で実現できる。
【００２９】
初期モデル・クリエータ３４を用いるモデル設計者により指定される初期モデル４０は、モデル化する経験的プロセスに対する単一入力および単一出力の一般的関係の仕様を提供する。初期モデル４０は、全体的な（例えばグラフィック）形状、一連のデータ点、基本非線形関数、またはそのモデルに対する一般的な入力／出力関係の他の適切な仕様である。モデル・コンストラクタ３６により作成される非線形ネットワーク・モデル４２は、初期モデル４０および以後に詳細に述べる相互接続層方法のような適切なモデル化アーキテクチャに基づく経験的プロセスのモデルである。非線形ネットワーク・モデル４２は、初期モデル４０の初期入力に基づく複数の入力と、初期モデル４０の初期出力にほぼ一致する非線形ネットワーク・モデル４２全体に対する全体挙動特性とを持つ。最適化されたモデル４４は、オプティマイザ３８により作成された、非線形ネットワーク・モデル４２の最適化されたバージョンである。
【００３０】
モデル化モジュール２４に対するモデル入力２８は、データ・ファイル、別のソフトウェア・プログラム、別のコンピュータ、入力装置（例えばキーボード、マウス等）等からの入力である。コントローラ２６（またはモデル化モジュール２４）に対する経験的データ入力３０は、感知装置（例えば製造プロセス）、モニタリング・ソフトウエア（例えば株式市場価格に対する）、別のソフトウェア・プログラム、別のコンピュータ、入力装置（例えばキーボード、マウス等）およびその他からの入力である。モデル出力３２はコントローラ２６、別のコンピュータ、格納メモリ、別のソフトウェア・プログラム、および／または出力装置（例えばディスプレイ・モニタ等）に送られる。コントローラ出力４６はアクチュエータ（例えば製造プラントにおけるプロセス制御部分に対する）、取引所（例えば株式取引所への発注）、別のコンピュータ、格納メモリ、別のソフトウェア・プログラム、および／または出力装置（例えばディスプレーモニタ、等）およびその他に送られる。コンピュータ・システム２２は、適切なリンクによりローカルエリア・ネットワーク、ワイドエリア・ネットワーク、グローバル・ネットワーク（例えばインターネット）、または同様のネットワークでリンクされることにより、入力および出力データを共有または分散できる。
【００３１】
図１においては、オプティマイザ３８は、マサチューセッツ州、ケンブリッジのアスペン・テクノロジー・インコーポレーテッド（本発明の譲受人）により供給されたＡｓｐｅｎ Ｏｐｅｎ Ｓｏｌｖｅｒｓ ｌｉｂｒａｒｙ ｏｆ ｏｐｔｉｍｉｚｅｒｓからのオプティマイザであることが望ましい。このようなオプティマイザの１つには、アスペン・テクノロジー・インコーポレーテッドのＤＭＯ／ＳＯＰ（Ｒ）もある。別の非線形のオプティマイザも本発明において使用できる。好ましい実施形態においては、コントローラは、アスペン・テクノロジー・インコーポレーテッドにより供給されたＡｓｐｅｎ Ａｄｖａｎｔａｇｅ Ｃｏｎｔｒｏｌ Ｓｕｉｔｅの一部であるＡｓｐｅｎ Ａｐｏｌｌｏである。本発明での使用に適する別のコントローラ２６は、アスペン・テクノロジー・インコーポレーテッドによるＤＭＣ Ｐｌｕｓ（Ｒ）である。１つの実施形態においては、モデル・コンストラクタ３６はアスペン・テクノロジー・インコーポレーテッドのＡｓｐｅｎ ＩＱＴＭにより提供されるような、非線形ネットワークの作成器である。
【００３２】
１つの実施形態において、コンピュータ読取可能なメディア（例えば１つまたは複数のＣＤＲＯＭ、ディスケット、テープ等）を含むコンピュータ・プログラム・プロダクト８０は、初期モデル・クリエータ３４、モデル・コンストラクタ３６および／またはオプティマイザ３８に対してソフトウエア命令を出す。コンピュータ・プログラム・プロダクト８０は、当技術分野では公知の任意の適切なソフトウエア・インストール手順によりインストールできる。別の実施形態では、ソフトウエア命令は無線コネクションによりダウンロードすることもできる。伝播メディア（例えば無線波、赤外波、レーザー波、音波、あるいはインターネットまたは他のネットワークを介して伝播される電波）の伝播信号上で具体化されるコンピュータ・プログラム伝播信号製品（プロダクト）８２は、初期モデル・クリエータ３４、モデル・コンストラクタ３６および／またはオプティマイザ３８に対してソフトウエア命令を出す。別の実施形態では、伝播される信号はアナログ搬送波、または伝播メディア上で搬送されるディジタル信号である。例えば伝播される信号は、インターネットまたは他のネットワークを介して伝播されるディジタル化信号であってもよい。１つの実施形態において、伝播される信号は、一定の時間にわたって伝播メディアを介して送信される信号であり、例えば、ネットワーク上をパケットの形でミリ秒、秒、分、またはそれ以上の時間にわたって送信されるソフトウエア・アプリケーションの命令である。別の実施形態において、コンピュータ・プログラム・プロダクト８０のコンピュータ読取り可能なメディアは、コンピュータが受信して読み取ることのできる伝播メディアであり、この受信および読取りは、例えば、コンピュータ・プログラム伝播信号製品８２に関して先に述べたように、伝播メディアを受け取り、伝播メディア内に組み込まれている伝播される信号を識別することによりなされる。
【００３３】
図２は、好ましい実施形態において制約付き非線形近似器を開発するステージを示す。図２に示された各ステージは、非線形制約付き近似器を開発および最適化し、またこれのオンライン最適化を実現する手順における各ステージと同等である。
【００３４】
ステージ１００は、初期モデル４０の出力を表わす全体の入力／出力マッピング軌跡の仕様である。モデル設計者は、初期モデル・クリエータ３４を使用して単一入力と単一出力との間の一般的な関係（すなわち軌跡）を示すことにより、初期モデル４０を指定する。出力または軌跡は、経時的な経験的プロセスの挙動特性（例えば物理、化学、経済、金融、または他の経験的プロセス）を表現することを意図している。このステージ１００は、ポリマー・プロセスのような化学プロセスの利得軌跡の全体的な形状の仕様を含んでいる。ポリマー・プロセスにおいて、利得軌跡は、工業用ポリマー製造施設におけるように、プロセスがポリマー製造の初期ステージ（例えばゼロ出力状態）から定常状態に進むときのポリマー・プロセスの製造の軌跡を表わす。本発明の方法は、利得軌跡をより制御でき、したがって最初の仕様通りの製品製造のパーセンテージを高めるより正確な移行を可能にする。
【００３５】
図１には、初期モデル４０により、一般的入力／出力マッピング・ステージ１００プロセスの１つの実施例が示されており、このステージ１００の結果を示している。ステージ１００に対しては、一般的入力／出力マッピングはグラフィック的、代数的、または汎用的に指定される（すなわちオプティマイザ３８により学習される）。本発明を用いる１つの方法では、モデル設計者は、初期モデル・クリエータ３４を使用して、プロセスに関する設計者の知識に基づき利得軌跡の一般的なグラフィック形状を表示するコンピュータ・システム２０のディスプレイ上にグラフィック形状（すなわち初期モデル４０）を描く。別の方法では、モデル設計者は初期モデル４０に対する入力／出力マッピングの全体的な形状を指定する入力／出力データの表、またはデータベースを提供できる。
【００３６】
さらに、一般的な入力／出力マッピングは、プロセスの基本物理特性に基づく第１原理モデルにより決定できる。このような第１原理モデル化システムの例は、マサチューセッツ州、ケンブリッジの譲受人アスペン。テクノロジー・インコーポレーテッドにより提供され、何れも譲渡された米国特許出願第０９／６７８，７２４号の発明“Ｃｏｍｐｕｔｅｒ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ｓｔａｔｅ ｏｆ Ｐｈｙｓｉｃａｌ Ｐｒｏｐｅｒｔｉｅｓ ｉｎ ａ Ｃｈｅｍｉｃａｌ ｐｒｏｃｅｓｓ（化学プロセスにおける物理的特性状態を決定するためのコンピュータ利用の方法および装置）”と、第０９／７３０，４６６号の発明“Ｃｏｍｐｕｔｅｒ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｐｔｉｍｉｚｅｄ Ｃｏｎｔｒｏｌｌｅｒ ｉｎ ａ Ｎｏｎ−Ｌｉｎｅａｒ Ｐｒｏｃｅｓｓ（非線形プロセスにおける最適化コントローラのためのコンピュータ利用の方法および装置）”とに記載されている。前記出願は共に、参照により本明細書に引用されている。
【００３７】
好ましい実施形態においては、モデル設計者は、経験的プロセスに対する予測形状にほぼ相当し、かつ初期モデル４０として動作する一般的入力／出力形状を提供する基本非線形関数を選択する。例えばモデル設計者は、ポリマー・プロセス、または特定の影響要素（例えば金利の低下）に対応する株式市場の動向のような多数の非線形経験的プロセスに適合する、非線形の単調増加する形状を提供する基本非線形関数を選択する。このような基本非線形関数は、非線形で一般に単調増加する形状を示す双曲線正接、または双曲線余弦の対数のような双曲線関数であってもよい。以下に詳細に説明するように、モデル設計者が双曲線余弦の対数のような適切な変換関数を選択すると、プロセスのその後のステージ（すなわちステージ１０２および１０４）は基本線形関数の有界の導関数を決定して、制約付き訓練ステージ１０４（すなわち最適化ステージ）に対する制約値を決定する。
【００３８】
本発明の別の実施形態では、ステージ１００において、一般的入力／出力マッピングは、オプティマイザ（必ずしも図１のオプティマイザ３８と同一のオプティマイザである必要はない）により決定される（すなわち学習される）。例えばオプティマイザを使用して、経験的データ入力３０に基づいてニューラル・ネットワーク（モデル４２の非線形ネットワークと混同してはならない）を訓練する。この時、ニューラル・ネットワークの出力は、初期モデル４０としての役割を果たす一般的形状の入力／出力マッピングを表わす。この場合、オプティマイザは初期モデル・クリエータ３４の役割を果たし、ニューラル・ネットワークは初期モデル４０の役割を果たす。
【００３９】
ステージ１０２は、変換関数のアーキテクチャの相互接続の仕様であり、この仕様により経験的プロセスの非線形ネットワーク・モデル４２を作成する。アーキテクチャ相互接続ステージ１０２の１つの実施例は、図１においてモデル・コンストラクタ３６により示されおり、このモデル・コンストラクタ３６は、このステージ１０２の結果として非線形ネットワーク・モデル４２を作成する。ステージ１０２は、初期モデル４０に基づいて非線形ネットワーク・モデル４２を形成すること、およびオプティマイザ３８が後に、制約付き訓練ステージ１０４において使用する非線形ネットワーク・モデル４２の制約値を設定して、最適化モデル４４のモデル出力３２がその制約値内にあることを保証することを含む。一般に、制約値は、経験的データがどのように作用するかに関するモデル設計者の知識を反映する。好ましい実施形態において、モデル設計者は最適化モデル４４全体（例えばポリマー・プロセス）の全体挙動特性に対して単調増加する出力を保証する制約値を選択する。別の実施形態においては、モデル設計者は、単調減少する挙動特性のような特性、または限定された数の反転点（例えば多くても１つの反転点）を持つ出力挙動特性を保証する制約値を選択する。さらに別の実施形態においては、主としてモデル設計者の知識に基づくもの以外の方法を使用して、例えばコンピュータ・プログラムによる経験的プロセスの分析のように、出力挙動特性をどのように制約すべきかを決定し、ステージ１００における初期モデル４０およびステージ１０２において設定される適正な制約値に対する一般的入力／出力マッピングを決める。
【００４０】
ステージ１０２の好ましい実施形態において、非線形変換関数は、基本非線形関数（例えば非線形変換関数は基本非線形関数と同一であるか、または特定の方法で変更される）に基づいて選択される。モデル・コンストラクタ３６は、変換要素を確定し、各変換要素内に非線形変換関数を含む。さらに各変換要素は、重み付き入力係数および重み付き出力係数を持つ。次に、モデル・コンストラクタ３６は、各ノードのフィードフォワード・ネットワーク内で変換要素を組み合わせて、各層を階層型ネットワーク・アーキテクチャとして形成する。通常、一つの層の中の各変換要素は、次の層のすべての変換要素に出力を提供する。その後、この次の層の各変換要素は、前の層の中のすべての変換要素から受け取った入力を処理する。この処理としては、例えば入力を加算し、その加算値を非線形変換関数により変換して出力を作成し、次にこの出力を次の層の変換要素への入力として提供する。
【００４１】
制約付き訓練ステージ１０４に関して詳細に説明されるように、重み付き入力係数および重み付き出力係数は対になって、入力と比較される各変換要素の出力における単調性を保証し、その結果、非線形ネットワーク・モデル４２の全体挙動特性が単調特性に制約される。このような単調特性は、モデル化される経験的プロセスの一般特性に基づく初期モデル４０の形状に応じて、単調増加する特性か、または単調減少する特性の何れかである。“相補対形成法”と呼ばれる本発明の方法においては、各変換要素に対する重み付き入力係数（複数も有り）および重み付き出力係数（複数も有り）は、すべての出力が入力と同一符合（負または正）を持つように、対にされる。例えば変換要素に対する入力のすべてが正であれば、相補対形成方法は、その変換要素の出力のすべても正であることを保証する。
【００４２】
ステージ１０２で形成される非線形ネットワーク・モデル４２は、ニューラル・ネットワークであってもよいが、本発明では、ニューラル・ネットワークである必要はない。一般に従来のニューラル・ネットワークは汎用近似器であり、この汎用近似器では、モデル入力データ２８が無いかまたは少ない領域での予測を実行できないのに対して、本発明の非線形ネットワーク・モデル４２は、ステージ１０４において、制約付き訓練ステージ１０４に用いられるモデル入力データ２８が無いか、または少ない領域において、単調増加するような信頼性のある全体挙動特性を提供する制約付き非線形近似器を形成するのに使用される。
【００４３】
別の実施形態において、基本非線形関数は有界の導関数を提供する場合に使用するのに適する関数であり、ステージ１０４について後述するように、基本非線形関数の有界導関数を使用して、制約付き訓練ステージ１０４における制約値を提供する。基本非線形関数の例は、双曲線正接に基づく関数、シグモイド関数、および双曲線余弦関数の対数である。
【００４４】
前述のように、好ましい実施形態では、非線形ネットワーク・モデル４２の階層型ネットワーク・アーキテクチャ内の各変換要素は、基本非線形関数に基づく非線形変換関数を含む。有界の導関数を用いて制約値を設定するプロセスは、以下に詳細に述べる。変換要素は、本発明では、すべて同一の非線形変換関数を持つ必要はなく、異なる変換要素は異なる非線形変換関数を持つことができ、必ずしもステージ１００で決定される基本非線形関数に基づく必要はない。
【００４５】
ステージ１０４は、制約付き訓練ステージまたは代表例であり、モデル係数を最適化して、ステージ１００で指定された入力／出力マッピングの一般的形状がモデルの訓練（すなわち最適化）の間に維持されるようにする。制約付き訓練（すなわち最適化）ステージ１０４の１つの実施例は、図１のモデル・オプティマイザ３８により示されており、このステージ１０４の結果として最適化モデル４４を形成する。ステージ１０４は、経験的入力（例えばモデル入力２８、または現在の経験的データ入力３０）に基づく非線形ネットワーク・モデル４２を最適化し、非線形ネットワーク・モデル４２の全体挙動特性を制約することにより最適化モデル４４を形成することを含む。ステージ１０４については、モデル入力２８は、工業プロセス施設（例えばポリマー・プロセス施設）の過去のデータ、もしくは経済プロセス（例えば株式市場）に関する過去のデータのような過去のプロセス・データ、または経験的プロセスを表わす一連の仮想モデル・データを表わすことができる。ステージ１０４の場合は、経験的データ入力３０は、オンライン工業プロセス施設または経済プロセスのような現在活動中の経験的プロセスからの現在の経験データを表わすことができる。このような場合には、オプティマイザ３８はオンライン条件下で経験的データ入力３０を受け取っている。すなわち、経験的データ入力３０をリアルタイム、またはほぼリアルタイムのタイム・フレームで受け取っている（例えばデータ３０が活動中の経験的プロセスで感知されるか、または記録された後、データ３０を受け取るのに緩衝または他の限定された遅延を認める）。
【００４６】
ステージ１０４において、オプティマイザ３８が、非線形ネットワーク・モデル４２の挙動特性を制約して最適化モデル４４を作成する一方で、モデル４２は、入力データ２８または３０を受け取ってモデル４２を訓練し、初期モデル４０内に指定され、かつステージ１０２で（例えば相補対形成、非線形変換関数の有界の導関数、または他の制約方法により）設定された制約値により制約される一般的Ｉ／Ｏマッピングに一致させる。好ましい実施形態では、オプティマイザ３８はモデル出力３２を制約して、ステージ１０２で述べたように、制約値に基づいて単調増加するようにする。代替の実施形態においては、オプティマイザ３８はモデル出力３２を別の基準により制約する。
【００４７】
一般に、好ましい実施形態では、オプティマイザ３８は、モデル誤差を検査することにより、また変換要素に対する入力および出力係数の重みを調節することにより、非線形ネットワーク・モデル４２を最適化するように機能し、モデル誤差を減少する。オプティマイザ３８は最適化の結果を制約値と比較して連続的に（または頻繁に）検査することにより、モデル４２の更新が最初の制約値を満たすことを保証する。モデル４２の更新されたバージョンが制約値から外れる場合には、オプティマイザ３８は係数を異なる方向（例えば、以前に減少していた場合には係数値を増加する）に調節して、モデル４２を修正するプロセスの一部として、非線形ネットワーク・モデル４２を、制約値内に入るようにして、最適化モデル４４を形成する。
【００４８】
ステージ１０６は、例えば工業プロセスを制御するか、または経済プロセス（例えば株式市場）を予測するというような経験的状況における最適化モデル４４の展開を含むモデル展開である。
【００４９】
モデル展開ステージ１０６の１つの実施例は、図１ではコントローラ２６により示されており、このコントローラは、コントローラ２６で発生する出力４６を介して、最適化モデル４４に基づいて経験的プロセス（例えばポリマー・プロセス）を制御する機能を有する。このステージ１０６においては、コントローラ２６（または予測装置）は、工業プロセスの異なる局面の入力および状態を監視するセンサから経験的データ入力３０を受け取る。最適化されたモデル４４は、入力を処理し、また工業プロセスを制御するのに使用されるコントローラ出力４６を提供する。例えばポリマー・プロセスでは、最適化モデル４４は、化学薬品の流量を制御する入力バルブの設定を電子的に調節することにより、化学薬品のプロセスへの流入量を調節する。
【００５０】
別の実施例では、最適化モデル４４は、株式市場のような金融プロセスを予測するのに用いられる金融予測装置のような予測装置として採用される。また、金融予測装置は金融コントローラとしての役割を果たし、金融プロセスの最適化モデル４４に基づいて、株式の売買を請求するような金融行為を要求する。
【００５１】
最適化モデル４４を用いて利得をスケジュール化しているステージ１０６のコントローラ２６（すなわち制約付き非線形近似器）は、汎用近似器を用いて利得をスケジュール化しているコントローラに比べて、より堅牢なコントローラであり、またコントローラ２６は、プロセスの全動作領域にわたり予測可能な方法で作用する。
【００５２】
ステージ１０８はハイブリッド・モデル化ステージであり、制約付き訓練ステージ１０４に影響を与えるか、またはモデル展開ステージ１０６に影響を与えるのに使用できる他のモデル構造（初期モデル４０、非線形ネットワーク・モデル４２および最適化モデル４４以外）の包含または追加を含む。
【００５３】
１つの方法では、他のモデル構造は助言モデルであり、このモデルを使用して制約付き訓練ステージ１０４における非線形ネットワーク・モデル４２の訓練に助言し、改善し、または影響を与える。例えば助言モデルは、化学（例えばポリマー）プロセスの第１原理モデルのような第１原理モデルである。
【００５４】
他のモデルの使用が可能であることから、本発明の方法は、工学的知識、第１原理モデル、回帰型モデル、および本明細書またはその一部で述べる制約付き非線形近似器を組み合わせることにより、推測される特性およびその導関数のより正確な予測を可能にする。
【００５５】
別の方法では、ステージ１０８で提供される別のモデルは、より大きなまたは総合的な経験的プロセスをモデル化するより大きなまたは総合的なモデルである。この方法では、最適化されたモデル４４は、より大きなモデルの一部分または側面であり、あるいは最適化モデル４４は、より大きなプロセスにおける１つのステップまたは手順を表わす。例えばポリマー・プロセスでは、最適化モデル４４は、反応器のような、総合ポリマー・プロセスの１つの構成要素用のモデルであってもよい。最適化モデル４４は、より大きな経験的プロセスをモデル化する両親の子供とも考えることができる。一般に最適化されたモデル４４は、より大きなモデルに含まれるか、もしくは関連付けされ、またはより大きなモデルに入力を提供し、またこのような大きなモデルに助言し、影響を与え、または指示を与えることができる。さらに、本発明の他のモデル４０および４２のいずれも、より大きなモデルと共に使用することができ、また本発明の構成要素（すなわち初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８）のいずれも、上記の最適化モデル４４に関して述べた方法に類似する方法で、より大きなモデルと共に使用され、このモデルに関連付けされ、このモデルに含められ、またはこのモデルに入力を提供する。
【００５６】
ステージ１１０は、モデル展開ステージ１０６において実施される最適化モデル４４の微調整、または修正を含む制約付きオンライン・モデル適応である。最適化されたモデル４４におけるこのような微調整または適応化は、ステージ１０４で非線形ネットワーク・モデル４２を訓練して、最適化モデル４４を作成するのに使用されるモデル入力２８により表わされなかった（または僅かしか表わせなかった）データの新しい領域への入力を、コントローラ２６が受け取る場合に必要とされる。例えば最適化モデル４４（すなわち制約付き非線形近似器）は、新しい領域では一般的に単調増加する出力を提供するが、向上した結果を得るには追加的な最適化を必要とすることがある。さらに、このような適応化を必要とするのは、コントローラ２６で展開される最適化モデル４４の性能が低下するか、または最初の予測に一致しなかった場合である。
【００５７】
ステージ１１０では、オプティマイザ３８は、オンラインの最適化の結果を検査して、最適化モデル４４の更新が最初の制約値を満足することを保証する。最適化モデル４４の更新されたバージョンが制約値から外れる場合には、オプティマイザ３８は係数を異なる方向（例えば以前に減少していた場合には、係数の値を増加させる）に調整し、モデル４４を制約値内におさめる。一般にステージ１１０における制約付きオンライン・モデル適応のプロセスは、ステージ１０４での制約付き訓練プロセスと同様である。
【００５８】
本発明の持つモジュール方式の特質は、各ステージ１００、１０２および１０４を互いに独立させ実現できることを意味する。例として、ステージ１０４で述べた訓練アルゴリズムを多層パーセプトロン・ニューラル・ネットワークに適用することにより、特定の入力／出力関係が、これらの入力定義域全体にわたって単調に制約されるように関数を限定できる。
【００５９】
本発明により、各入力／出力関係を分離して取り扱うことが可能になる。したがって、特定の入力／出力関係は制約されない状態に維持され、これにより、それらは完全な汎用近似能力を有することができる。別の入力／出力関係は、単調になるように制約してもよく、また全体的な利得軌跡形状に合致するようにしてもよい。
【００６０】
本発明は、定常状態および動的モデル化アーキテクチャの両者を包含しており、このアーキテクチャを、定常状態オプティマイザにおいて利得のスケジュールおよび非線形プログラム用に使用してもよい。
【００６１】
発明の数学的根拠
以下のセクションは、本発明の数学的根拠を述べる。表題により、本発明が限定されることはない。表題中の主題は他の個所でも考察される。
以下のセクションは、図１および２に図示された非線形ネットワーク・モデル４２の１つの実施例を述べる。
【００６２】
一般構造
非線形ネットワーク・モデルには、アーキテクチャ（ステージ１０２）、および訓練アルゴリズム（ステージ１０４）の制約の両方を通じて単調性条件が付与される。以下のセクションは最初に、一般的なフィードフォワード・ニューラル・ネットワーク（以下“ニューラル・ネット”と称す）の計算を定義する。なぜなら、一般形の１次および２次導関数計算を説明する方がより明確だからである。その後のセクションでは、単調性を付与する特定の手段を述べる。
【００６３】
表記法
一般的なフィードフォワード・ニューラル・ネットは、順序付けされたＬ層から成る。１つの層の中の各処理要素（ＰＥ）の位置は、添字のｉにより表わされ、またｊ、ｋ、ｌ、ｍおよびｎはＰＥ指標として用いられる。処理要素は、図２のステージ１０２に関して述べた変換要素の一例である。各ＰＥは、加算値ｘｉ、出力値ｙｉ、およびｘｉをｙｉに関連付ける変換関数ｆｉを持つ。異なる各層における処理要素は、必要に応じて、括弧内の添字ｐにより識別され、またｑ、ｒおよびｓは層指標として用いられる。ＰＥ間の重みは、ｙｊ （ｑ）からｘｉ （ｐ）までの連結重みを表わすＷｉｊ （ｐ，ｑ）として表示される。なお、ｑ＜ｐである。
【００６４】
これにより幾つかの層は所定の層にフィードすることが可能になり、バイアスを、加算値ｘｌ＝１を持つ単一要素層、および線形変換関数として指定することにより、バイアスはこの構造の中で容易に処理されることに留意されたい。
【００６５】
データ・スケーリング
ニューラル・ネットは、データを正規化ユニットにまで倍率変更することを要求する。通常これは、訓練およびテストデータを平均が０および標準偏差が１に変換する線形マッピングにより行なわれる。
【００６６】
フィードフォワード式
ｘｉ （１）データ入力
【００６７】
【数１】
【００６８】
目的関数
測定された一連のデータ点を使用して、ニューラル・ネット（非線形ネットワーク・モデル４２の一例）を訓練する。このデータ点は、測定された入力および対応する測定された出力（図２のステージ１０４の非線形ネットワーク・モデル４２の訓練に使用されるモデル入力２８の一例）から成る。ニューラル・ネットは測定入力と測定出力との間でこのマッピングの再生を試み、それにより、測定値の存在しない場合に出力を推定できる。この訓練は、適合度の尺度である目的関数を構成することにより達成される。しかし、データはノイズおよび擬似関係要素も含むため、目的関数もまたマッピングの複雑性を抑制する項目を含む。
表記すると、
【００６９】
【数２】
【００７０】
ＪＤは、ニューラル・ネットがどの程度データに適合するかの尺度であり、データ・セットの関数および間接的には重みの関数である。ＪＷは、過適合を抑制し、また重みの直接的関数である調整項である。
【００７１】
導関数
フィードフォワード・ニューラル・ネットにおける導関数計算は、誤差逆伝播学習則またはバックプロパゲーション（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）と呼ばれる。その理由は、出力に関する導関数をネットワークを介して逆に伝播することにより、重みに関する導関数を計算するからである。これには、ニューラル・ネットの世界ではＷｅｒｂｏｓによる連鎖律が用いられる。１９９４年１月に発行されたＰａｕｌ Ｊｏｈｎ Ｗｅｒｂｏｓの、“Ｔｈｅ Ｒｏｏｔｓ ｏｆ Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ（バックプロパゲーションの基礎）：Ｆｒｏｍ Ｏｒｄｅｒｅｄ Ｄｅｒｉｖａｔｉｖｅｓ ｔｏ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｐｏｌｉｔｉｃａｌ Ｆｏｒｅｃａｓｔｉｎｇ（順序導関数からニューラル・ネットワークおよび高精度予測方法）（Ａｄａｐｔｉｖｅ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ ｆｏｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ（信号処理の追加および学習システム））”を参照されたい。
【００７２】
【数３】
【００７３】
次に重み勾配を次のように計算する。
【００７４】
【数４】
【００７５】
２次導関数
特定のオプティマイザ（例えばオプティマイザ３８）は、ヘシアン情報を使用する。ヘシアン情報は、情報をネットワークを通じて順方向および逆方向に通過させることにより、一般的なフィードフォワード・ニューラル・ネット内で解析的に計算される。この考え方は、前述したセクションの導関数の各々を、変数の最初のセット（ｘ’ｓ、ｙ’ｓおよびｗ’ｓ）に追加するものとして考えることである。次にＷｅｒｂｏｓの連鎖律を使用して、２次導関数を計算する。各ウエートｗｍｎ （ｒｓ）に関しては、
【００７６】
【数５】
【００７７】
を新しい目的関数と考える。最終目的は
【００７８】
【数６】
【００７９】
を計算することである。次に所定の重みの宛先層から開始して、所定の重みのソース層で終了するように、ネットワークを通じて順／逆方向の通過を行なう。
【００８０】
【数７】
【００８１】
次に以下の式（６）に示す公式を用いて、重みに関してヘシアンを計算する。
【００８２】
【数８】
ネットワークを通る順／逆方向の通過は、２次導関数が必要となる各重みに対して実行する必要がある。これを実行すると、その重みを含む２次導関数のすべては、２回の乗算と１回の加算により容易に計算できる。
【００８３】
最初の順／逆方向の通過（目的および勾配を計算するのに用いられる）からの加算、出力およびバックプロパゲーション情報は、これらのヘシアンの通過の間は維持する必要がある。なぜなら、公式がヘシアンの通過を使用するからである。さらにヘシアンの順／逆方向の通過は、以下のように最初の通過とは相違している。
【００８４】
【数９】
【００８５】
ｉｉ．フィードフォワード通過においては、
（ａ）ｐｔｈ層より下のソース層は出力が０になるように初期化される。
（ｂ）各ノードでの最初の変換関数は最初のｆｋ’（ｘｋ （ｍ））によるスカラー乗法により置き換えられる。
ｉｉｉ．フィードフォワード通過からの出力に、最初の出力に関する最初の目的関数Ｊのヘシアンを乗じることにより、フィードバックする値を計算する。標準ＲＭＳ誤差をベースとする目的に対しては、このヘシアンは定数に単位行列を乗じたものである。
．バックプロパゲーション通過においては、
（ａ）重みソース層だけに逆伝播する。
（ｂ）フィードフォワード・ステップからの保存された出力を乗算する
【００８６】
【数１０】
【００８７】
【数１１】
【００８８】
【数１２】
【００８９】
への直接の影響を表わす追加項のＤｊＸｍ （ｒ）を持つ。
【００９０】
従来の訓練
標準フィードフォワードの従来の訓練アルゴリズムは、制約されないオプティマイザを利用して、目標関数を最小にする。通常、決定変数は重みだけである。重みに関する目的およびその導関数および２次導関数は、上の公式を用いて計算される。
【００９１】
変換関数
例示の目的で、本発明の好ましい実施形態に用いる３つの変換関数を説明する。本明細書に記載される本発明が用いる変換関数は、これらの３つの例に限定されない。それぞれの実施形態において、本発明は、あらゆる非線形変換を利用することが可能であり、さらに、モデルをベースとする制御および最適化方式に用いる拡張されたモデル・アーキテクチャ（例えば非線形ネットワーク・モデル４２）を作成できる。作動、つまり他の変換は、実際にはユーザ定義の入力／出力、または利得軌跡マッピング（例えば初期モデル４０）に関して訓練できる単一入力／単一出力ニューラル（または他の非線形）ネットワークであってもよい。最新の制御および最適化方式に望まれる堅牢性を生成するのは、制約付き最適化（例えば図２の制約付き訓練ステージ１０４）である。サンプル変換関数は、双曲線正接、シグモイドおよび非対称性の有界の導関数（ＡＢＤ）である。それらの公式、導関数および２次導関数は以下の通りである。
【００９２】
【数１３】
本発明の好ましい実施形態に使用されるＡＢＤ変換関数は、以下の条件では正の単調関数である。
【００９３】
【数１４】
ＡＢＤ公式（（９）の式）の別の利点は、入力／出力関係がデータの極限で飽和しないことである。実際に飽和するのは関数（ｙ＝α・χ＋β・ｌｎ（ｃｏｓｈ（χ）））の導関数（ｙ’＝α＋β・ｔａｎｈ（χ））であり、これは外挿処理領域において線形モデルを形成する（例えば、モデル入力２８のように、訓練データ内に存在しないか、またはわずかに含まれているだけであるデータの領域に入る場合）。
【００９４】
単調ニューラル・ネット構造
以下のセクションは、本発明の好ましい実施形態において非線形ネットワーク・モデル４２に対する制約値の設定例を述べる。単調性に対する制約条件は、（これに限定されることはないが）次の通りである。
【００９５】
相補条件
本発明で述べる３つのサンプル変換関数（式７、８および９）は単調変換である。Ｓ字形作動および双曲線性正接は軸対称でもある。すなわち、
【００９６】
【数１５】
【００９７】
重合せの法則によれば、２つの正の単調関数を加算すると、得られる変換もまた正の単調である。同様に２つの負の単調関数を加算すると、得られる変換は負の単調である。
【００９８】
非線形ネットワーク・モデル４２の出力ノードは、基本的に単調変換の線形加算である。したがって、入力変数を隠れノードにマッピングする係数の符号と、このノードを出力層に接続する係数の符号とが、（すべての隠れノードにとって）所望の方向の単調性に対して相補的であると仮定すると、入力／出力関係の全体の単調性は保たれる。
【００９９】
相補条件の設定例
所望の入力／出力の関係が正の単調であることを要求されると仮定する。この時、出力重み符号がそれぞれ（＋、−、＋、−）の４つの隠れノードを持つ非線形ネットワーク・モデル４２に対して、この入力を各隠れノードにマッピングするのに対応する係数は、それぞれ（＋、−、＋、−）でなければならない。連続する２つの負の符号の係数は、式（１１）に記されたように正の単調変換を発生する。
【０１００】
ＡＢＤ変換は、式（１１）に記された軸対称に従うものではないが、関数−ＡＢＤ（−ｘ）は正の単調であり、したがって依然として全体に正の入力／出力単調性を発生する。同一論理は、負の単調変換にも適用される。
【０１０１】
次のセクションは、図２におけるステージ１０２の非線形ネットワーク・モデル４２の例を作成するのに適した制約付き非線形近似器（ＣＮＡ）アーキテクチャの２つの例を示す。第１の例は６層非線形層状ネットワークＣＮＡアーキテクチャを示し、第２の例は５層非線形層状ネットワークＣＮＡアーキテクチャを示す。“第１例”および“第２例”の表現は、何等の限定を意味するものではない。
【０１０２】
ＣＮＡアーキテクチャ（６層用）の第１例
図３は、非線形ネットワークの一例である６層の制約付き非線形近似器（ＣＮＡ）アーキテクチャ仕様であり、非線形ネットワーク・モデル４２の基本例として使用できるものである。この図に詳しく示された実際のアーキテクチャは、非線形の隠れ層が、ＡＢＤ（例えば、ｌｎ（ｃｏｓｈ（ｘ）））変換の前に加算を含む非線形ネットワークの積分であり、また非線形ネットワークの積分が、非線形ネットワーク・モデル４２に同等と考えられる非線形ネットワークの積分である。すべての層のアーキテクチャは本発明で使用でき、好ましい実施形態においては非線形ネットワーク積分が用いられ、その一例はニューラル・ネットワーク積分である。上述のように、従来のニューラル・ネットワーク（例えば汎用近似器に用いられている）は、入力／出力関係を予測するのには優れているが、導関数の予測には劣っている。したがって非線形ネットワーク積分を入力／出力データに適合させることは、非線形ネットワーク（すなわち非線形ネットワーク・モデル４２の導関数）が、訓練データにおける入力／出力データ関係の導関数に適合させる根底となるアーキテクチャであることを意味する。したがってこれは、良好な挙動特性の導関数を持つ堅牢な非線形経験的モデル（例えば非線形ネットワーク・モデル４２）を作成する問題に対する解を形成する。ここに記されたＣＮＡアーキテクチャの例は、化学プロセス工業生産施設のような閉ループ制御方式において優れた機能を発揮する。さらに、このＣＮＡアーキテクチャを有することにより、飽和（実際の入力／出力関係に対してではなく）するのはモデル導関数（例えば非線形ネットワーク・モデル４２に基づき最適化されたモデル４４の導関数）であるから、モデル（例えば最適化モデル４４）が外挿領域において線形モデルに円滑に収束する。
【０１０３】
図３によれば、非線形ネットワーク５０は入力層２００、バイアス層２０１、変換層２０２、線形の隠れ層２０３、非線形活動層２０４、線形活動層２０５および出力層２０６を含む。入力層２００は１つまたは複数の要素Ｌ０を含み、バイアス層２０１は１つまたは複数の要素Ｌ１を含み、変換層２０２は１つまたは複数の要素Ｌ２を含み、線形の隠れ層２０３は１つまたは複数の要素Ｌ３を含み、非線形活動層２０４は１つまたは複数の要素Ｌ４を含み、線形活動層２０５は１つまたは複数の要素Ｌ５を含み、また出力層２０６は１つまたは複数の要素Ｌ６を含む。
【０１０４】
訓練データ（例えばモデル入力２８）は入力層２００に提供される。アーキテクチャ内の各ノードＬ０〜Ｌ６は、処理要素（ＰＥ）を提供する。各処理要素は、１つまたは複数の入力および１つまたは複数の出力を持つ。処理要素（例えば処理要素Ｌ３）は、一般にすべての入力を加算し、次にこの和を、変換関数に通す。変換関数は、非線形（層２０４のような）または線形（実際に、加算された入力が処理要素の出力を形成する場合）のいずれでもよい。
【０１０５】
図３の各矢印は、モデル係数（または重み）を表わす。入力層２００と変換層２０２との間の接続（矢印）は、（図３のこの例では）１の値に固定されている。これは、入力データの方向を必要に応じて変更することを可能にする（すなわち係数を−１に切り替える）変換層２０２である。
【０１０６】
バイアス層２０１はバイアス項を提供する。この層２０１の出力層２０６への接続は、基本的に、ニューラル・ネットワークを積分するときに生じる“定数”項を表わす。
【０１０７】
層２０３は、入力が単に加算される隠れ層である。変換は、この層２０３では行なわれない。従来のニューラル・ネットワークでは、これらの加算は次にシグモイド（Ｓ字形）、または双曲線正接活動関数を通過する。積分の場合（すなわち本発明の方法を用いた積分方法）、層２０３からの加算は双曲線正接の積分（すなわち積分（ｑ＊ｔａｎｈ（ｖ＊Ｘ））＝ａ＊Ｘ＋ｂ＊ｌｏｇ（ｃｏｓｈ（ｖ＊Ｘ））＋ｃ）を通過する。この積分は層２０４、２０５および２０１によりなされる。最後に、層２０５からの変換された入力は、出力層２０６に直接接続される。この接続は、従来のニューラル・ネットワークのバイアス項の積分を表わす。
【０１０８】
図３の層ＣＮＡアーキテクチャは、この発明に使用できる非線形ネットワーク・アーキテクチャの例である。図３および次のセクションに記載される第２の例は、非線形経験的モデル化のすべての用途に使用できる。
【０１０９】
ＣＮＡアーキテクチャ（５層用）の第２例
以下のセクションでは、本発明に使用するのに適したＣＮＡアーキテクチャの第２例を述べる。
【０１１０】
第２のＣＮＡアーキテクチャ例についてここに述べる単調ニューラル・ネット構造は５層から成る。５つの層は、入力層、バイアス層、符号付き入力層、隠れ層および出力層を含む。本発明は、特定の数の層に限定されない。本発明は、モデルをベースとする制御および最適化方式に用いる優れた挙動特性の非線形モデルを作成する目的で非線形制約最適化アルゴリズムを用いる、制約付きニューラル・アーキテクチャをすべて包含する。
【０１１１】
非標準層は、非線形の方向を示すのに用いられる符号を持つ入力層である。
【表１】
【０１１２】
ＣＮＡアーキテクチャの第２例の接続方式
以下の表は層間の接続を示す。全接続は、ソース層における各プロセス要素（ＰＥ）が宛先層の各ＰＥに接続されることを意味する。対応接続とは、ソース層および宛先層が同一番号のＰＥを持ち、ソース層の各ＰＥは宛先層の対応ＰＥに接続される。
【表２】
【０１１３】
ＣＮＡアーキテクチャの第２例の単調性の指定
ここで“相補対形成”と呼ばれる方法では、モデル設計者は最初に各入力変数の単調性を以下の１つに指定できる。
・単調な正
・単調な負
・単調性不明
・非単調
【０１１４】
これら４つのオプションに対応する一連の指標を、それぞれＩ＋、Ｉ−、Ｉ
およびＩｎｏｎで示す。単調性は、符号付きの入力層（層３）および出力ＰＥ層（層５）との間のデータ経路の重みに制約値を加えることにより得られる。これらのデータ経路は、隠れ層（層４）を経由して間接的である。ここで“表記法”のセクションに述べた指標表記を使用して、制約値は次のように指定される。
【０１１５】
【数１６】
各層における変換関数が単調な正であるために、符号付きの入力層と出力ＰＥとの間の各経路は単調な正の計算を表わす。単調性の方向を与えるのは、入力層と符号付きの入力層との間の重みの役割である。
【０１１６】
ＣＮＡアーキテクチャの第２例における単調性の方向の制約
単調性の方向がユーザにより予め指定される場合には、入力と符号付き入力との間の重みはその符号に制約される。それ以外に重みに課される制約は存在しない。数学的には、
【０１１７】
【数１７】
【０１１８】
ＣＮＡアーキテクチャの第２例の目的関数
セクション０における表記を用いると次の式が成り立つ。
【０１１９】
【数１８】
【０１２０】
ここでβ（ｐ，ｑ）は調整パラメータである。この実施例に関しては、すべてのβ（ｐ，ｑ）は小さいデフォールト値を持つ単一調整パラメータとしてユーザにより設定可能である。ただし、単調性の決定が制約されないように０に設定されているβ（ ３ ， １ ）を除く。
【０１２１】
第２のＣＮＡアーキテクチャの制約導関数
制約導関数は簡単な構造を持つ。各制約は、合計２×Ｈ×ＮＭの非ゼロ制約導関数を与える僅か２つの非ゼロ導関数を持つ。但しＨは隠れＰＥの数であり、ＮＭは単調入力変数の数である。
【０１２２】
【数１９】
【０１２３】
任意の制約付き非線形オプティマイザ３８を使用して、モデルの解を生成できる。以上で第２のＣＮＡアーキテクチャの説明を終える。
【０１２４】
有界の導関数に基づく制約値
本発明の好ましい実施形態においては、制約値は非対称性の有界の導関数に基づいて計算できる。図３に示す非線形ネットワーク５０の例によれば、図３の入力／出力関係の一つの例を表わす一般式は次の通りである。
【０１２５】
【数２０】
【０１２６】
表記に関しては、前述の“表記法”セクションを参照されたい。
【０１２７】
この例では、有界の導関数軌跡（ｌｏｇ（ｃｏｓｈ（））の導関数）を与える非線形変換（活動）関数が有界の双曲線正接であるために、双曲線余弦の対数が選択されている。
【０１２８】
式１６の導関数は次のように計算できる。
【０１２９】
【数２１】
【０１３０】
前記の関数（式１７）の理論的限界値は次のように計算できる。
【０１３１】
【数２２】
【０１３２】
式（１６）の導関数は、上の限界値の間の双曲線正接関数飽和により、式（１８）および（１９）で示される限界値内に全体的に収まることが保証される。
【０１３３】
どちらの限界値が上限で、どちらが下限であるかはＷｋｋ （ ２ ， ０ ）の符号によって決まる。
【０１３４】
モデル４４の訓練の間、前記限界値は各最適化反復において計算できる。モデル４４における各係数に関する前記限界値の導関数は計算でき、指定された限界値内にある前記限界値に基づきモデル４４に限界値が与えられる（例えばゼロの下限およびｌｅ＋２０の上限は、その入力に対して、入力／出力関係が全体に正で単調であることを保証する）。ゼロより僅かに大きい下限は、全体の外挿性能を保証する。
【０１３５】
式（１６）に示されるモデル４４への入力が、例えば状態空間モデルからの状態ベクトルである場合、実際モデルの入力および出力間の総合定常状態利得の制約は、式（１８）および（１９）の重み係数の線形集合としての出力（その特定の入力に対する）に対する各定常変数の定常状態寄与を含むことによりなされる。このような状態空間モデルの例は、マサチューセッツ州、ケンブリッジの譲受人アスペン・テクノロジー・インコーポレーテッドにより提供され、共に譲渡された、１９９８年９月２４日に出願の米国特許出願第０９／１６０，１２８号の発明“Ｎｏｎ−ｌｉｎｅａｒ Ｄｙｎａｍｉｃ Ｐｒｅｄｉｃｔｉｖｅ Ｄｅｖｉｃｅ（非線形動的予測装置）”と、１９９５年１２月１９日に発行された米国特許第５，４７７，４４４号の発明“Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ Ｕｓｉｎｇ ａｎ Ａｄａｐｔｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ａ Ｔａｒｇｅｔ ａｎｄ Ｐａｔｈ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ａ Ｍｕｌｔｉｖａｒｉａｔｅ， Ｎｏｎｌｉｎｅａｒ Ｐｒｏｃｅｓｓ（多変量の対象および経路に対し適合ニューラル・ネットワークを使用する制御システム、非線形処理）”とに記載されており、これら両者は参照により本明細書に引用されている。
【０１３６】
制約付きオプティマイザの機能
このセクションでは、非線形ネットワーク・モデル４２から最適化モデル４４を作成するときに、オプティマイザ３８がどのように機能するかを述べる。
【０１３７】
オプティマイザ３８は、目的関数を必要とする。この場合には、目的関数は通常、モデル誤差の自乗のＥ＝（ｙ−ｙｔａｒｇｅｔ）２である。この目的関数を最小にするために、オプティマイザは、非線形ネットワーク・モデル４２の各係数が、モデル誤差、すなわち、
【０１３８】
【数２３】
【０１３９】
にどのように影響を与えるのかに関する情報を必要とする。
【０１４０】
バックプロパゲーションの理論を用いて、階層型ネットワーク・モデル・アーキテクチャに対し、これらの関係を分析的に導き出すことができる。このデータは、非線形ネットワーク・モデル４２の“ヤコビアン（Ｊａｃｏｂｉａｎ）”と呼ばれる。バックプロパゲーション理論を拡張して、２次導関数情報（すなわちヘシアン）を含むことができる。この情報を利用して、オプティマイザ３８は、次にモデル誤差を最小にするための調査を始めることができる。好ましい実施形態においては、特定の制約値がこの最適化に与えられる。単純な事例は、本明細書に述べる５層非線形ネットワーク用の重み対の制約値である。
【０１４１】
制約値は次のように公式化できる。
【０１４２】
【数２４】
ここでの制約の目的は、ｃ１が常に負でなければならないことである。したがってｗ１およびｗ２は、同一符合を持つ（ここで、ｗ１とｗ２は制約を望む２つの重みである）。
【０１４３】
したがって、オプティマイザ３８は、連続的に前記の制約値を計算する。最適化の間に、ｃ１の値（または別の制約値のどれか）がゼロまたは正になる場合、オプティマイザ３８は目的関数Ｅを最小化する試みから移行して、制約値の計算結果をゼロ以下に戻すことに集中する。これを実行するために、オプティマイザ３８は、制約値の各係数に関して、制約値の導関数を知ることを必要とする。したがって次の式（２１）および（２２）が成り立つ。
【０１４４】
【数２５】
【０１４５】
この情報を利用することにより、オプティマイザ３８は、制約値から外れることがないように試みる。目的関数において、これ以上の減少が得られないとき、最適化は終了する。
【０１４６】
対の制約値（すなわち相補対形成）は、特定タイプの全体挙動特性（この場合単調性）を保証するための階層型モデル・アーキテクチャを制約する方法の一例に過ぎない。本発明の方法を使用して、これらモデルを制約し、一般的に特定の全体モデル挙動特性（必ずしも単調性でない）を得ることができる。例えば、非線形ネットワーク積分アーキテクチャ（または有界の導関数ネットワーク）は、オプティマイザ３８により計算できるモデル導関数に関して特定の限界値を持つ。これらは計算可能であるため、本発明の特定の用途として制約できる。
【０１４７】
代替の最適化方式
これまで述べた方法は、ニューラル・ネットワークを制約する多くの方法の例であり、これらの例は、本発明の制約付き非線形近似器の顕著な特徴を確認するためのものである。代替の方式は、（これに限定されることはないが）分析導関数のない最適化（例えば有限差分近似）、非単調解に対する罰金関数（例えば、隠れ重みに対する入力／出力重み相補違反に対する隠れ入力）、および制約値が、各活動関数の最小および／または最大導関数、およびその線形組み合わせであるＡＢＤ活動関数の制約付き最適化を含むことができる。
【０１４８】
本発明を、その好ましい実施形態により詳細に図示および記述してきたが、当業者には、添付の請求項に包含される本発明の範囲から逸脱することなく形態と細部に各種の変更が可能であることは理解されるであろう。
【図面の簡単な説明】
【図１】
本発明の好ましい実施形態におけるコンピュータ利用実施例のブロック図である。
【図２】
好ましい実施形態における制約付き非線形近似器の開発のステージを示す図である。
【図３】
制約付き非線形近似器のアーキテクチャ仕様の一例である。
【発明の背景】
複雑な非線形の多変数関数をモデル化しようとする場合、ニューラル・ネットワークのような汎用的な近似器を用いるのが長年の慣行であった。このようなテクノロジーの工業的応用は、推測またはソフト・センサ予測の分野において特に普及していた。参照文献としては、例えば、Ｎｅｕｒｏｔｈ， Ｍ．， ＭａｃＣｏｎｎｅｌｌ， Ｐ．， Ｓｔｒｏｎａｃｈ， Ｆ．， Ｖａｍｐｌｅｗ， Ｐ．（Ａｐｒｉｌ ２０００）：“Ｉｍｐｒｏｖｅｄ ｍｏｄｅｌｉｎｇ ａｎｄ ｃｏｎｔｒｏｌ ｏｆ ｏｉｌ ａｎｄ ｇａｓ ｔｒａｎｓｐｏｒｔ ｆａｃｉｌｉｔｙ ｏｐｅｒａｔｉｏｎｓ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ（人工知能を利用するオイルおよびガス輸送施設の最新の管理方法およびモデル化）”， Ｋｎｏｗｌｅｄｇｅ Ｂａｓｅｄ Ｓｙｓｔｅｍｓ， ｖｏｌ．１３， ｎｏ．２， ｐｐ．８１−９、およびＭｏｌｇａ， Ｅ．Ｊ． ｖａｎ Ｗｏｅｚｉｋ， Ｂ．Ａ．Ａ， Ｗｅｓｔｅｒｔｅｒｐ， Ｋ．Ｒ．：“Ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ ｆｏｒ ｍｏｄｅｌｉｎｇ ｏｆ ｃｈｅｍｉｃａｌ ｒｅａｃｔｉｏｎ ｓｙｓｔｅｍｓ ｗｉｔｈ ｃｏｍｐｌｅｘ ｋｉｎｅｔｉｃｓ： ｏｘｉｄａｔｉｏｎ ｏｆ ２−ｏｃｔａｎｏｌ ｗｉｔｈ ｎｉｔｒｉｃ ａｃｉｄ（複合動力学を持つ化学反応システムをモデル化するためのニューラル・ネットワーク：硝酸を用いる２−オクタノールの酸化）”，Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ ａｎｄ Ｐｒｏｃｅｓｓｉｎｇ， Ｊｕｌｙ ２０００， ｖｏｌ．３９， ｎｏ．４， ｐｐ．３２３−３３４がある。多くの工業プロセスは、オンラインで測定することが不可能でない場合、依然として高い費用を要する、諸特性の品質管理を必要とする。温度、圧力等の測定の容易なプロセス変数からそのような品質を予測するために、推定品質推定器が用いられてきた。多くの場合、プロセス（特にポリマー・プロセス）内の複合相互作用は、測定の容易な変数と複合品質パラメータとの間の非線形関係として現れる。
【０００２】
歴史的に見て従来のニューラル・ネットワーク（または他の汎用的な非線形近似器）は、それらの複雑な非線形性を表わすのに用いられてきた。参照文献としては、例えば、Ｚｈａｎｇ， Ｊ．， Ｍａｒｔｉｎ， Ｅ．Ｂ．， Ｋｉｐａｒｉｓｓｉｄｅｓ， Ｃ．：“Ｅｓｔｉｍａｔｉｏｎｓ ｏｆ ｉｍｐｕｒｉｔｙ ａｎｄ Ｆｏｕｌｉｎｇ ｉｎ ｂａｔｃｈ ｐｏｌｙｍｅｒｉｚａｔｉｏｎ ｒｅａｃｔｏｒｓ ｔｈｒｏｕｇｈ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ（ニューラル・ネットワークの利用によるバッチ重合反応器内の不純物および付着物の推定）”，Ｃｏｍｐｕｔｅｒｓ ｉｎ Ｃｈｅｍｉｃａｌ Ｅｎｇｉｎｅｅｒｉｎｇ， Ｆｅｂｒｕａｒｙ １９９９， ｖｏｌ．２３， ｎｏ．３， ｐｐ．３０１−３１４、およびＨｕａｆａｎｇ， Ｎ．， Ｈｕｎｋｅｌｅｒ， Ｄ．：“Ｐｒｅｄｉｃｔｉｏｎ ｏｆ Ｃｏｐｏｌｙｍｅｒ ｃｏｍｐｏｓｉｔｉｏｎ ｄｒｉｆｔ ｕｓｉｎｇ ａｒｔｉｆｉｃｉａｌ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ： ｃｏｐｏｌｙｍｅｒｉｚａｔｉｏｎ ｏｆ ａｃｒｙｌａｍｉｄｅ ｗｉｔｈ ｑｕａｔｅｒｎａｒｙ ａｍｍｏｎｉｕｍ ｃａｔｉｏｎｉｃ ｍｏｎｏｍｅｒ（疑似ニューラル・ネットワークを利用したコポリマー組成変化の推定：第四アンモニウム・カチオン・モノマーを持つアクリルアミドの共重合”，Ｐｏｌｙｍｅｒ， Ｆｅｂｒｕａｒｙ １９９７， ｖｏｌ．３８， ｎｏ．３， ｐｐ．６６７−６７５がある。過去のプラント・データを使用してモデルを訓練（すなわち、モデル係数を決定する）し、またモデルの目的関数を設定して、いくつかの任意の（但し代表的な）訓練データ・セットのモデル誤差を最小にする。これらのモデルの訓練に使用されるアルゴリズムは、モデル誤差に注目している。収束関数の導関数の精度に対しては、ほとんど、または全く注意が払われていない。
【０００３】
モデル誤差へのそのような注目（他の面を考慮しない）は、閉ループ制御方式におけるそのようなモデル（すなわち、従来のニューラル・ネットワーク）の利用を妨げる。なぜなら、非線形モデルの目的は通常、コントローラの利得および遅延を予測することにあるからである。ジャケッティング（ｊａｃｋｅｔｉｎｇ）を利用して、モデルが１次元外挿の領域で作用するのを制限できるが、そのモデルは動作点間で補間すると予測される。したがって、線形または良好な挙動の非線形補間が必要となる。利得は、実際のプロセスに正確に一致しない可能性があるが、一つの動作点から他の動作点に移行する際に、プロセス利得における通常変化に少なくとも軌跡が単調調和する必要がある。
【０００４】
閉ループ制御方式における従来のニューラル・ネットワークの動的安定性を解明する研究が試みられてきた。Ｋｕｌａｗｓｋｉその他は、測定不可能な状態を有する非線形安定プラントに適応できる制御方法を発表した（Ｋｕｌａｗｓｋｉ， Ｇ．Ｊ．， Ｂｒｙｄｙｓ’， Ｍ．Ａ．：“Ｓｔａｂｌｅ ａｄａｐｔｉｖｅ ｃｏｎｔｒｏｌ ｗｉｔｈ ｒｅｃｕｒｒｅｎｔ ｎｅｔｗｏｒｋｓ（再現ネットワークを用いる安定適応制御）”，Ａｕｔｏｍａｔｉｃａ， ２０００， ｖｏｌ．３６， ｐｐ．５−２２を参照）。コントローラは、非線形動的モデルの形態を取り、コントローラを線形化するフィードバックを計算する。この方式の安定性は、理論的に示されている。Ｋｕｌａｗｓｋｉらの論文は、コントローラの総合的な安定性における単調活動関数の重要性を強調している。ただし、議論はデータの少ない領域における不適正な利得推定の事例までは拡張されていない。
【０００５】
汎用性のある近似器（例えば従来のニューラル・ネットワーク）は、２点間を補間する場合、導関数の値が正しいことを保証できない。これらモデルのこの特性が意味することは、あらゆる結果が、充分なデータを有する２つの領域間に存在する、データが無いか、または少ない領域での汎用近似器による出力の予測に関して起こりうることである。軌跡上の最終の２点が一致すれば、この２点間の経路は重要ではない。本発明の重要な長所の一つは、それがプロセス利得軌跡（例えば単調利得、有界の利得等）の優先情報を使用し、推定量をこれらの特性を有する解に制約することである。
【０００６】
非線形近似器の構造に優先情報を含むことの利点は、多くの領域で例証されている。Ｌｉｎｄｓｋｏｇらは、ファジー・モデル構造の単調制約について述べており、このような方法を水加熱システムの制御に適用している（Ｌｉｎｄｓｋｏｇ， Ｐ， Ｋｊｕｎｇ， Ｌ．：“Ｅｎｓｕｒｉｎｇ ｍｏｎｏｔｏｎｉｃ ｇａｉｎ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ ｉｎ ｅｓｔｉｍａｔｅｄ ｍｏｄｅｌｓ ｂｙ ｆｕｚｚｙ ｍｏｄｅｌ ｓｔｒｕｃｔｕｒｅｓ（ファジー・モデル構造により推定されたモデルにおける単調利得特性の保証）”，Ａｕｔｏｍａｔｉｃａ， ２０００， ｖｏｌ．３６， ｐｐ．３１１−３１７を参照）。Ｙａｓｅｒ，Ｓ．Ａｂｕ−Ｍｏｓｔａｆａは、所望の非線形特性を持つ疑似訓練のデータを“考案する”ことにより、ニューラル・ネットワークに局部的な単調特性を“持たせる”１つの方法を述べている（Ｙａｓｅｒ， Ｓ． Ａｂｕ−Ｍｏｓｔａｆａ：“Ｍａｃｈｉｎｅｓ ｔｈａｔ ｌｅａｒｎ ｆｒｏｍ ｈｉｎｔｓ（ヒントから学習するマシン）”，Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ， Ａｐｒｉｌ １９９５， ｐｐ．６４−６９を参照）。これは、この特定の入力／出力関係への全面的な適合を保証するものではない。
【０００７】
このように、データの領域の外挿処理には、汎用の近似器を用いるべきでないことは広く認められている。近似器があらゆる非線形特性をモデル化できる理由から、あらゆる結果は、外側にあり、また訓練データ範囲の限界値を含む領域で起こりうる。
【０００８】
プロセスコントロールに対して、（入力領域で）経験的非線形モデルの挙動特性を制約することは、最新の非線形制御の開発の成功には不可欠である。従来のニューラル・ネットワークのような汎用近似器は、最新の制御方式で利用されても、潜在的な制御性能を大幅に低下させることなしに、利得を予測することはできない。
【０００９】
【発明の概要】
本発明は、非線形経験的近似器の利得軌跡および単調性を制御できる１つの代替方式である。汎用近似器ではないが、良好な挙動特性の関数に“適合”する本発明の能力は、従来のニューラル・ネットワークに劣らないものであり、しかもこのような方法に付帯する不安定性をも伴わない。本発明の主要な特徴は、汎用の非線形関係を表わすモデルの能力に悪影響を与えることなしに、経験的モデルの導関数の挙動特性を制約することである。
【００１０】
本発明に述べる制約付き非線形近似器は、データの少ない領域（例えば、訓練データにおいて）における不適正な利得の問題に対処し、良好な挙動特性の導関数を持つ非線形近似化環境を提供する。利得軌跡の全体的な形状は、必要に応じて指定される。またこれとは別に、軌跡は、訓練の間に“学習”された後、検査される。本発明の重要点は、モデル導関数の制約された挙動特性は、訓練データ領域だけでなく、モデルの全入力定義域（すなわち、そのモデルの入力として容認できる予測値の全領域）にわたって保証されており。したがって本発明は、利得軌跡制約に対して全体に適合することを保証する。
【００１１】
利得を制約する訓練方法を使用する従来のフィードフォワード・ニューラル・ネットワークを制約することを試みる１つの方法は、Ｅｒｉｋ Ｈａｒｔｍａｎｎの“Ｔｒａｉｎｉｎｇ Ｆｅｅｄｆｏｒｗｏｒｄ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ｗｉｔｈ Ｇａｉｎ Ｃｏｎｓｔｒａｉｎｔｓ（利得制約値を有するフィードフォワード・ニューラル・ネットワークの訓練方法）”，Ｎｅｕｒａｌ Ｃｏｍｐｕｔａｔｉｏｎ， １２， ８１１−８２９（２０００）に記載されている。この方法では、制約値は複数の入力と出力を有するモデルの各入力／出力に対して設定される。Ｈａｒｔｍａｎｎの方法は、モデルの全体挙動特性が、制約された全体挙動特性（例えば、モデル入力の全定義域にわたる）を持つことを保証しない。これに対して、本発明の方法は、本明細書で詳細に述べるように、モデルが制約された全体挙動特性を持つことを保証する。
【００１２】
好ましい実施形態においては、経験的プロセスに対する制約付き非線形近似器の開発は３つのステージに分けられている。第１ステージは、利得軌跡の全体的な形状の仕様であり、この仕様により経験プロセスの初期モデルが得られる。これは、グラフィック的に、代数的に、または汎用的に（オプティマイザにより学習される）指定することができる。本発明の第２ステージは、変換（例えば活動）関数の相互接続であり、これにより初期モデルに基づく非線形ネットワーク・モデルの非線形近似が可能になる。本発明の最終ステージでは、非線形ネットワーク・モデルに基づく最適化モデル（すなわち、制約付き非線形近似器）のモデル係数の制約付き最適化であり、入力／出力マッピング（およびそれらに対応する導関数）の全体形状が保存されるようになっている。
【００１３】
前述の３つのステージは、所望の利得軌跡を持つ非線形（動的状態または定常状態）モデルを作成するのに制約アルゴリズムを利用する、本発明のモデル作成部を構成する。本発明の方法によりユーザー（すなわちモデル設計者）は、入力データ定義域の任意または指定された点において、入力／出力および利得軌跡の両者に応答信号を送ることができる。
【００１４】
作成されたモデル（例えば最適化された非線形モデル）を用いて、ユーザは非線形コントローラを形成できる。コントローラは、定常状態への最適軌跡（例えば、所望の出力を発生する定常状態プロセスに達するための、所望の出力の最適利得軌跡）の予測において、最適化されたモデルを利用する。制御される変数およびプロセス利得の正確な非線形予測は、非線形の最適化モデルから得ることができる。
【００１５】
本発明の別の実施形態においては、本発明により、利得軌跡制約アルゴリズムを利用する別の（未経験的または経験的／第１原理ハイブリッド、あるいは別のハイブリッド構造のどちらかの）モデル化が、相互接続ステージまたは制約付き最適化ステージのどちらか（または両ステージ）において、別のプロセス最適化目的のためにプロセスの非線形モデル（例えば非線形プログラム）を作成することもできる。この時、オプティマイザはこの制約付きモデルを使用して、非線形コントローラに対する最適設定点を指定することができる。
【００１６】
本発明は、経験的プロセスのモデルのあらゆる形態に使用して、制約付き非線形近似器を作成できる。この場合、基本のシステム挙動特性の優先情報を利用して、変換関数の相互接続モデル（例えば、階層型アーキテクチャに基づく非線形ネットワーク・モデル）の最適化に関する制約項目を定義できる。例えば本発明の方法は、任意の化学的またはプロセス・モデル、金融予測、パターン認識、小売りモデル化およびバッチ処理モデル化に適用することができるが、これらに限定されない。
【００１７】
したがって、本発明は、非線形経験的プロセスをモデル化する方法および装置を提供する。詳細には、本発明はモデル・クリエータ、モデル・コンストラクタおよびオプティマイザを含むコンピュータ装置を提供する。モデル・クリエータは、モデル化される非線形経験的プロセスにほぼ対応する初期モデルを作成する。初期モデルは、初期入力および初期出力を有する。初期モデルは一般に、経験的プロセスに対する入力／出力マッピングの形状に相当する。モデル・クリエータに接続されているモデル・コントラクタは、初期モデルに基づいて非線形ネットワーク・モデルを形成する。非線形ネットワーク・モデルは、初期入力に基づく複数の入力と、初期出力にほぼ一致する非線形ネットワーク・モデルの全体挙動特性とを有する。モデル・コンストラクタに接続されているオプティマイザは、非線形ネットワーク・モデルの全体挙動特性を制約することにより、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを作成する。最適化されたモデルは、制約付き非線形近似器の一例を提供する。したがって、このようにして得られた最適化モデルは、初期モデルの入力／出力マッピングの全体形状に一致する全体出力を提供し、その一方で、最適化モデルの全体出力が、入力定義域の全範囲に対し一貫性のある結果（例えば単調増加する結果）を出すように制約される。本明細書に記載されたモデル化装置および方法は、あらゆる非線形プロセスに使用可能である。
【００１８】
本発明の別の構成によれば、モデル・クリエータは非線形経験的プロセスの利得軌跡の全体的な形状を指定する。したがって、結果として得られる最適化モデルは、初期モデルに対して指定された利得軌跡の全体的な形状に一致する全体出力を提供する。
【００１９】
本発明の別の構成において、モデル・クリエータは、非線形経験的プロセスの近似化に適した非線形変換関数を指定する。非線形ネットワークは、相互接続された処理要素を含むことができ、またモデル・コンストラクタは、非線形変換関数を少なくとも一つの処理要素に組み込むことができる。オプティマイザは、非線形変換関数の有界の導関数を用いることにより、制約値を設定することができる。好ましい実施形態において、非線形変換関数は、双曲線余弦関数の対数を含む。
【００２０】
本発明の別の構成において、モデル・コンストラクタは、相互に入力／出力関係を持つノードのフィードフォワード・ネットワークを有する階層型ネットワーク・アーキテクチャに基づいて、非線形ネットワーク・モデルを作成する。フィードフォワード・ネットワークは変換要素を含む。各変換要素は、非線形変換関数、重み付き入力係数および重み付き出力係数を持つ。この構成において、オプティマイザは、非線形ネットワーク・モデルの全体挙動特性を初期入力に基づく単調変換に制約する。この制約は、単調変換を可能にする相補的方法で各変換要素につき重み付き入力係数および重み付き出力係数を対にすることによりなされる。相補的方法は、また“相補対形成法”とも呼ばれる。この方法を用いることにより、オプティマイザは、最適化モデルの全体出力が、例えば最適化されたモデルの全体出力の全域にわたり、かつ入力値の範囲全体にわたって、単調に増加するように制約されることを保証する。
【００２１】
本発明の別の構成において、装置および方法は初期モデル、非線形ネットワーク・モデル、および最適化モデルとは異なる非線形経験的プロセスの別のモデルを表わす助言モデル（ａｄｖｉｓｏｒｙ ｍｏｄｅｌ）を含む。オプティマイザは、勧告モデルにより提供される情報に基づいて最適化されるモデルの最適化を調節することができる。勧告モデルは、非線形経験的プロセスの第１原理モデルであることが可能である。したがって、第１原理の方法からのデータを使用して、オプティマイザにより実行される最適化プロセスに通知し、また影響を与えることができる。
【００２２】
非線形経験的プロセスは、またオプティマイザに接続されたコントローラにより、管理されるより大きないプロセスの一部であってもよい。この場合、オプティマイザは最適化モデルをコントローラに伝達して、コントローラ内で展開する。このように、最適化モデルを、特定の大きなモデルの１つの構成要素として含むことができ、またより大きなモデルでは、より大きなモデルの別の構成要素に対し別のモデル化方法を使用できる。
【００２３】
したがって、本明細書に述べるコンピュータ装置および方法により、経験的プロセスの正確な制御（または予測）および出力の変動の減少が可能になる。なぜなら、制約付き非線形近似器（例えば最適化モデル）は、従来の汎用近似器に比べ、一貫性のある予測可能な出力を提供するからである。
【００２４】
別の構成において、本発明は工業プロセスをモデル化するコンピュータ装置および方法を提供する。特にポリマー・プロセスをモデル化するコンピュータ装置および方法は、モデル・クリエータ、モデル・コンストラクタおよびオプティマイザを含む。モデル・クリエータは、モデル化されるポリマー・プロセスにほぼ相当する初期モデル用の基本の非線形関数を指定する。初期モデルは、初期入力と初期出力を含む。基本非線形関数は双曲線余弦関数の対数を含む。モデル・コンストラクタはモデル・クリエータに接続されており、初期モデルに基づいて非線形ネットワーク・モデルを形成する。非線形ネットワーク・モデルは基本非線形関数を含み、初期入力に基づく複数の入力を有する。非線形ネットワーク・モデル全体の全体挙動特性は、一般に初期出力に一致する。オプティマイザはモデル・コントラクタに接続されており、非線形ネットワーク・モデルの全体挙動特性を制約することにより基本非線形関数の有界の導関数を使用して制約値を設定することによって、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを作成する。
【００２５】
適正な関数（例えば双曲線余弦関数の対数）を含むことにより、非線形ネットワーク・モデルおよびオプティマイザは、この関数に基づく有界の導関数を使用して、制約付き非線形近似器（例えば最適化されたモデル）に対する制約値を設定する。その結果得られる出力全体挙動特性は、ポリマー・プロセスに対する入力値の全入力定義域領域全体を介して、ポリマー・プロセスの予測される特性にほぼ一致するように制約され、従来のニューラル・ネットワーク方法に基づく汎用近似器で発生する可能性のある予測不可能な特性は生じない。本発明の装置および方法は、工業施設における既知または現行のポリマー・プロセスの正確な制御を可能にし、また工業施設に導入される新しいポリマー（または他の化学）製品のために高信頼性の制御を可能にする。さらに、制約付き非線形近似器に基づくポリマー・プロセスの移転は、従来のモデル化手法により作成されたポリマー・プロセス・モデルに基づく移転に比べ、同様な工業施設に対して容易に行なうことができる。
【００２６】
一般に、制約付き非線形近似器の優れた一貫性および制御は、モデル化される経験的プロセスのモデルの全体挙動特性に対して、より予測可能な結果を保証する。
【００２７】
本発明の前述およびその他の目的、特徴、および利点は、添付図面に示す本発明の好ましい実施形態の以下の詳細な説明で明らかになるであろう。図面では、同一参照符号は異なる図面においても同一部品を指す。図面は必ずしも縮尺通りでなく、本発明の原理を示すことに重点が置かれている。
【００２８】
【好ましい実施形態の詳細な説明】
図１は、ディジタル・プロセッサ２２上で実現された本発明の方法および装置の好ましい実施形態のブロック図である。非線形近似器を制約して経験的プロセスをモデル化する図示されたコンピュータ装置２０（および方法）は、ディジタル・プロセッサ２２上で実現され、このディジタル・プロセッサ２２は、ＲＡＭ（ランダムアクセスメモリ）のようなワーキング・メモリ内でモデル化モジュール２４およびコントローラ２６を管理および実行する。モデル化モジュール２４は初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８を含む。コンピュータ・システム２０の構成要素（例えばコントローラ２６、初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８）は、図１に示されるディジタル・プロセッサ２２上で実現されるか、または代替の実施形態では、分散コンピュータ配置において、相互に通信する２つまたはそれ以上のディジタル・プロセッサの任意の組み合わせで実現される。さらに構成要素３４、３６および３８は、コントローラ２６および／または他の構成要素３４、３６または３８がモデル化されている経験的プロセスと相互作用するオンライン環境で実現することが可能であり、あるいは構成要素３４、３６および３８はオフライン環境で実現できる。
【００２９】
初期モデル・クリエータ３４を用いるモデル設計者により指定される初期モデル４０は、モデル化する経験的プロセスに対する単一入力および単一出力の一般的関係の仕様を提供する。初期モデル４０は、全体的な（例えばグラフィック）形状、一連のデータ点、基本非線形関数、またはそのモデルに対する一般的な入力／出力関係の他の適切な仕様である。モデル・コンストラクタ３６により作成される非線形ネットワーク・モデル４２は、初期モデル４０および以後に詳細に述べる相互接続層方法のような適切なモデル化アーキテクチャに基づく経験的プロセスのモデルである。非線形ネットワーク・モデル４２は、初期モデル４０の初期入力に基づく複数の入力と、初期モデル４０の初期出力にほぼ一致する非線形ネットワーク・モデル４２全体に対する全体挙動特性とを持つ。最適化されたモデル４４は、オプティマイザ３８により作成された、非線形ネットワーク・モデル４２の最適化されたバージョンである。
【００３０】
モデル化モジュール２４に対するモデル入力２８は、データ・ファイル、別のソフトウェア・プログラム、別のコンピュータ、入力装置（例えばキーボード、マウス等）等からの入力である。コントローラ２６（またはモデル化モジュール２４）に対する経験的データ入力３０は、感知装置（例えば製造プロセス）、モニタリング・ソフトウエア（例えば株式市場価格に対する）、別のソフトウェア・プログラム、別のコンピュータ、入力装置（例えばキーボード、マウス等）およびその他からの入力である。モデル出力３２はコントローラ２６、別のコンピュータ、格納メモリ、別のソフトウェア・プログラム、および／または出力装置（例えばディスプレイ・モニタ等）に送られる。コントローラ出力４６はアクチュエータ（例えば製造プラントにおけるプロセス制御部分に対する）、取引所（例えば株式取引所への発注）、別のコンピュータ、格納メモリ、別のソフトウェア・プログラム、および／または出力装置（例えばディスプレーモニタ、等）およびその他に送られる。コンピュータ・システム２２は、適切なリンクによりローカルエリア・ネットワーク、ワイドエリア・ネットワーク、グローバル・ネットワーク（例えばインターネット）、または同様のネットワークでリンクされることにより、入力および出力データを共有または分散できる。
【００３１】
図１においては、オプティマイザ３８は、マサチューセッツ州、ケンブリッジのアスペン・テクノロジー・インコーポレーテッド（本発明の譲受人）により供給されたＡｓｐｅｎ Ｏｐｅｎ Ｓｏｌｖｅｒｓ ｌｉｂｒａｒｙ ｏｆ ｏｐｔｉｍｉｚｅｒｓからのオプティマイザであることが望ましい。このようなオプティマイザの１つには、アスペン・テクノロジー・インコーポレーテッドのＤＭＯ／ＳＯＰ（Ｒ）もある。別の非線形のオプティマイザも本発明において使用できる。好ましい実施形態においては、コントローラは、アスペン・テクノロジー・インコーポレーテッドにより供給されたＡｓｐｅｎ Ａｄｖａｎｔａｇｅ Ｃｏｎｔｒｏｌ Ｓｕｉｔｅの一部であるＡｓｐｅｎ Ａｐｏｌｌｏである。本発明での使用に適する別のコントローラ２６は、アスペン・テクノロジー・インコーポレーテッドによるＤＭＣ Ｐｌｕｓ（Ｒ）である。１つの実施形態においては、モデル・コンストラクタ３６はアスペン・テクノロジー・インコーポレーテッドのＡｓｐｅｎ ＩＱＴＭにより提供されるような、非線形ネットワークの作成器である。
【００３２】
１つの実施形態において、コンピュータ読取可能なメディア（例えば１つまたは複数のＣＤＲＯＭ、ディスケット、テープ等）を含むコンピュータ・プログラム・プロダクト８０は、初期モデル・クリエータ３４、モデル・コンストラクタ３６および／またはオプティマイザ３８に対してソフトウエア命令を出す。コンピュータ・プログラム・プロダクト８０は、当技術分野では公知の任意の適切なソフトウエア・インストール手順によりインストールできる。別の実施形態では、ソフトウエア命令は無線コネクションによりダウンロードすることもできる。伝播メディア（例えば無線波、赤外波、レーザー波、音波、あるいはインターネットまたは他のネットワークを介して伝播される電波）の伝播信号上で具体化されるコンピュータ・プログラム伝播信号製品（プロダクト）８２は、初期モデル・クリエータ３４、モデル・コンストラクタ３６および／またはオプティマイザ３８に対してソフトウエア命令を出す。別の実施形態では、伝播される信号はアナログ搬送波、または伝播メディア上で搬送されるディジタル信号である。例えば伝播される信号は、インターネットまたは他のネットワークを介して伝播されるディジタル化信号であってもよい。１つの実施形態において、伝播される信号は、一定の時間にわたって伝播メディアを介して送信される信号であり、例えば、ネットワーク上をパケットの形でミリ秒、秒、分、またはそれ以上の時間にわたって送信されるソフトウエア・アプリケーションの命令である。別の実施形態において、コンピュータ・プログラム・プロダクト８０のコンピュータ読取り可能なメディアは、コンピュータが受信して読み取ることのできる伝播メディアであり、この受信および読取りは、例えば、コンピュータ・プログラム伝播信号製品８２に関して先に述べたように、伝播メディアを受け取り、伝播メディア内に組み込まれている伝播される信号を識別することによりなされる。
【００３３】
図２は、好ましい実施形態において制約付き非線形近似器を開発するステージを示す。図２に示された各ステージは、非線形制約付き近似器を開発および最適化し、またこれのオンライン最適化を実現する手順における各ステージと同等である。
【００３４】
ステージ１００は、初期モデル４０の出力を表わす全体の入力／出力マッピング軌跡の仕様である。モデル設計者は、初期モデル・クリエータ３４を使用して単一入力と単一出力との間の一般的な関係（すなわち軌跡）を示すことにより、初期モデル４０を指定する。出力または軌跡は、経時的な経験的プロセスの挙動特性（例えば物理、化学、経済、金融、または他の経験的プロセス）を表現することを意図している。このステージ１００は、ポリマー・プロセスのような化学プロセスの利得軌跡の全体的な形状の仕様を含んでいる。ポリマー・プロセスにおいて、利得軌跡は、工業用ポリマー製造施設におけるように、プロセスがポリマー製造の初期ステージ（例えばゼロ出力状態）から定常状態に進むときのポリマー・プロセスの製造の軌跡を表わす。本発明の方法は、利得軌跡をより制御でき、したがって最初の仕様通りの製品製造のパーセンテージを高めるより正確な移行を可能にする。
【００３５】
図１には、初期モデル４０により、一般的入力／出力マッピング・ステージ１００プロセスの１つの実施例が示されており、このステージ１００の結果を示している。ステージ１００に対しては、一般的入力／出力マッピングはグラフィック的、代数的、または汎用的に指定される（すなわちオプティマイザ３８により学習される）。本発明を用いる１つの方法では、モデル設計者は、初期モデル・クリエータ３４を使用して、プロセスに関する設計者の知識に基づき利得軌跡の一般的なグラフィック形状を表示するコンピュータ・システム２０のディスプレイ上にグラフィック形状（すなわち初期モデル４０）を描く。別の方法では、モデル設計者は初期モデル４０に対する入力／出力マッピングの全体的な形状を指定する入力／出力データの表、またはデータベースを提供できる。
【００３６】
さらに、一般的な入力／出力マッピングは、プロセスの基本物理特性に基づく第１原理モデルにより決定できる。このような第１原理モデル化システムの例は、マサチューセッツ州、ケンブリッジの譲受人アスペン。テクノロジー・インコーポレーテッドにより提供され、何れも譲渡された米国特許出願第０９／６７８，７２４号の発明“Ｃｏｍｐｕｔｅｒ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ｓｔａｔｅ ｏｆ Ｐｈｙｓｉｃａｌ Ｐｒｏｐｅｒｔｉｅｓ ｉｎ ａ Ｃｈｅｍｉｃａｌ ｐｒｏｃｅｓｓ（化学プロセスにおける物理的特性状態を決定するためのコンピュータ利用の方法および装置）”と、第０９／７３０，４６６号の発明“Ｃｏｍｐｕｔｅｒ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｆｏｒ Ｏｐｔｉｍｉｚｅｄ Ｃｏｎｔｒｏｌｌｅｒ ｉｎ ａ Ｎｏｎ−Ｌｉｎｅａｒ Ｐｒｏｃｅｓｓ（非線形プロセスにおける最適化コントローラのためのコンピュータ利用の方法および装置）”とに記載されている。前記出願は共に、参照により本明細書に引用されている。
【００３７】
好ましい実施形態においては、モデル設計者は、経験的プロセスに対する予測形状にほぼ相当し、かつ初期モデル４０として動作する一般的入力／出力形状を提供する基本非線形関数を選択する。例えばモデル設計者は、ポリマー・プロセス、または特定の影響要素（例えば金利の低下）に対応する株式市場の動向のような多数の非線形経験的プロセスに適合する、非線形の単調増加する形状を提供する基本非線形関数を選択する。このような基本非線形関数は、非線形で一般に単調増加する形状を示す双曲線正接、または双曲線余弦の対数のような双曲線関数であってもよい。以下に詳細に説明するように、モデル設計者が双曲線余弦の対数のような適切な変換関数を選択すると、プロセスのその後のステージ（すなわちステージ１０２および１０４）は基本線形関数の有界の導関数を決定して、制約付き訓練ステージ１０４（すなわち最適化ステージ）に対する制約値を決定する。
【００３８】
本発明の別の実施形態では、ステージ１００において、一般的入力／出力マッピングは、オプティマイザ（必ずしも図１のオプティマイザ３８と同一のオプティマイザである必要はない）により決定される（すなわち学習される）。例えばオプティマイザを使用して、経験的データ入力３０に基づいてニューラル・ネットワーク（モデル４２の非線形ネットワークと混同してはならない）を訓練する。この時、ニューラル・ネットワークの出力は、初期モデル４０としての役割を果たす一般的形状の入力／出力マッピングを表わす。この場合、オプティマイザは初期モデル・クリエータ３４の役割を果たし、ニューラル・ネットワークは初期モデル４０の役割を果たす。
【００３９】
ステージ１０２は、変換関数のアーキテクチャの相互接続の仕様であり、この仕様により経験的プロセスの非線形ネットワーク・モデル４２を作成する。アーキテクチャ相互接続ステージ１０２の１つの実施例は、図１においてモデル・コンストラクタ３６により示されおり、このモデル・コンストラクタ３６は、このステージ１０２の結果として非線形ネットワーク・モデル４２を作成する。ステージ１０２は、初期モデル４０に基づいて非線形ネットワーク・モデル４２を形成すること、およびオプティマイザ３８が後に、制約付き訓練ステージ１０４において使用する非線形ネットワーク・モデル４２の制約値を設定して、最適化モデル４４のモデル出力３２がその制約値内にあることを保証することを含む。一般に、制約値は、経験的データがどのように作用するかに関するモデル設計者の知識を反映する。好ましい実施形態において、モデル設計者は最適化モデル４４全体（例えばポリマー・プロセス）の全体挙動特性に対して単調増加する出力を保証する制約値を選択する。別の実施形態においては、モデル設計者は、単調減少する挙動特性のような特性、または限定された数の反転点（例えば多くても１つの反転点）を持つ出力挙動特性を保証する制約値を選択する。さらに別の実施形態においては、主としてモデル設計者の知識に基づくもの以外の方法を使用して、例えばコンピュータ・プログラムによる経験的プロセスの分析のように、出力挙動特性をどのように制約すべきかを決定し、ステージ１００における初期モデル４０およびステージ１０２において設定される適正な制約値に対する一般的入力／出力マッピングを決める。
【００４０】
ステージ１０２の好ましい実施形態において、非線形変換関数は、基本非線形関数（例えば非線形変換関数は基本非線形関数と同一であるか、または特定の方法で変更される）に基づいて選択される。モデル・コンストラクタ３６は、変換要素を確定し、各変換要素内に非線形変換関数を含む。さらに各変換要素は、重み付き入力係数および重み付き出力係数を持つ。次に、モデル・コンストラクタ３６は、各ノードのフィードフォワード・ネットワーク内で変換要素を組み合わせて、各層を階層型ネットワーク・アーキテクチャとして形成する。通常、一つの層の中の各変換要素は、次の層のすべての変換要素に出力を提供する。その後、この次の層の各変換要素は、前の層の中のすべての変換要素から受け取った入力を処理する。この処理としては、例えば入力を加算し、その加算値を非線形変換関数により変換して出力を作成し、次にこの出力を次の層の変換要素への入力として提供する。
【００４１】
制約付き訓練ステージ１０４に関して詳細に説明されるように、重み付き入力係数および重み付き出力係数は対になって、入力と比較される各変換要素の出力における単調性を保証し、その結果、非線形ネットワーク・モデル４２の全体挙動特性が単調特性に制約される。このような単調特性は、モデル化される経験的プロセスの一般特性に基づく初期モデル４０の形状に応じて、単調増加する特性か、または単調減少する特性の何れかである。“相補対形成法”と呼ばれる本発明の方法においては、各変換要素に対する重み付き入力係数（複数も有り）および重み付き出力係数（複数も有り）は、すべての出力が入力と同一符合（負または正）を持つように、対にされる。例えば変換要素に対する入力のすべてが正であれば、相補対形成方法は、その変換要素の出力のすべても正であることを保証する。
【００４２】
ステージ１０２で形成される非線形ネットワーク・モデル４２は、ニューラル・ネットワークであってもよいが、本発明では、ニューラル・ネットワークである必要はない。一般に従来のニューラル・ネットワークは汎用近似器であり、この汎用近似器では、モデル入力データ２８が無いかまたは少ない領域での予測を実行できないのに対して、本発明の非線形ネットワーク・モデル４２は、ステージ１０４において、制約付き訓練ステージ１０４に用いられるモデル入力データ２８が無いか、または少ない領域において、単調増加するような信頼性のある全体挙動特性を提供する制約付き非線形近似器を形成するのに使用される。
【００４３】
別の実施形態において、基本非線形関数は有界の導関数を提供する場合に使用するのに適する関数であり、ステージ１０４について後述するように、基本非線形関数の有界導関数を使用して、制約付き訓練ステージ１０４における制約値を提供する。基本非線形関数の例は、双曲線正接に基づく関数、シグモイド関数、および双曲線余弦関数の対数である。
【００４４】
前述のように、好ましい実施形態では、非線形ネットワーク・モデル４２の階層型ネットワーク・アーキテクチャ内の各変換要素は、基本非線形関数に基づく非線形変換関数を含む。有界の導関数を用いて制約値を設定するプロセスは、以下に詳細に述べる。変換要素は、本発明では、すべて同一の非線形変換関数を持つ必要はなく、異なる変換要素は異なる非線形変換関数を持つことができ、必ずしもステージ１００で決定される基本非線形関数に基づく必要はない。
【００４５】
ステージ１０４は、制約付き訓練ステージまたは代表例であり、モデル係数を最適化して、ステージ１００で指定された入力／出力マッピングの一般的形状がモデルの訓練（すなわち最適化）の間に維持されるようにする。制約付き訓練（すなわち最適化）ステージ１０４の１つの実施例は、図１のモデル・オプティマイザ３８により示されており、このステージ１０４の結果として最適化モデル４４を形成する。ステージ１０４は、経験的入力（例えばモデル入力２８、または現在の経験的データ入力３０）に基づく非線形ネットワーク・モデル４２を最適化し、非線形ネットワーク・モデル４２の全体挙動特性を制約することにより最適化モデル４４を形成することを含む。ステージ１０４については、モデル入力２８は、工業プロセス施設（例えばポリマー・プロセス施設）の過去のデータ、もしくは経済プロセス（例えば株式市場）に関する過去のデータのような過去のプロセス・データ、または経験的プロセスを表わす一連の仮想モデル・データを表わすことができる。ステージ１０４の場合は、経験的データ入力３０は、オンライン工業プロセス施設または経済プロセスのような現在活動中の経験的プロセスからの現在の経験データを表わすことができる。このような場合には、オプティマイザ３８はオンライン条件下で経験的データ入力３０を受け取っている。すなわち、経験的データ入力３０をリアルタイム、またはほぼリアルタイムのタイム・フレームで受け取っている（例えばデータ３０が活動中の経験的プロセスで感知されるか、または記録された後、データ３０を受け取るのに緩衝または他の限定された遅延を認める）。
【００４６】
ステージ１０４において、オプティマイザ３８が、非線形ネットワーク・モデル４２の挙動特性を制約して最適化モデル４４を作成する一方で、モデル４２は、入力データ２８または３０を受け取ってモデル４２を訓練し、初期モデル４０内に指定され、かつステージ１０２で（例えば相補対形成、非線形変換関数の有界の導関数、または他の制約方法により）設定された制約値により制約される一般的Ｉ／Ｏマッピングに一致させる。好ましい実施形態では、オプティマイザ３８はモデル出力３２を制約して、ステージ１０２で述べたように、制約値に基づいて単調増加するようにする。代替の実施形態においては、オプティマイザ３８はモデル出力３２を別の基準により制約する。
【００４７】
一般に、好ましい実施形態では、オプティマイザ３８は、モデル誤差を検査することにより、また変換要素に対する入力および出力係数の重みを調節することにより、非線形ネットワーク・モデル４２を最適化するように機能し、モデル誤差を減少する。オプティマイザ３８は最適化の結果を制約値と比較して連続的に（または頻繁に）検査することにより、モデル４２の更新が最初の制約値を満たすことを保証する。モデル４２の更新されたバージョンが制約値から外れる場合には、オプティマイザ３８は係数を異なる方向（例えば、以前に減少していた場合には係数値を増加する）に調節して、モデル４２を修正するプロセスの一部として、非線形ネットワーク・モデル４２を、制約値内に入るようにして、最適化モデル４４を形成する。
【００４８】
ステージ１０６は、例えば工業プロセスを制御するか、または経済プロセス（例えば株式市場）を予測するというような経験的状況における最適化モデル４４の展開を含むモデル展開である。
【００４９】
モデル展開ステージ１０６の１つの実施例は、図１ではコントローラ２６により示されており、このコントローラは、コントローラ２６で発生する出力４６を介して、最適化モデル４４に基づいて経験的プロセス（例えばポリマー・プロセス）を制御する機能を有する。このステージ１０６においては、コントローラ２６（または予測装置）は、工業プロセスの異なる局面の入力および状態を監視するセンサから経験的データ入力３０を受け取る。最適化されたモデル４４は、入力を処理し、また工業プロセスを制御するのに使用されるコントローラ出力４６を提供する。例えばポリマー・プロセスでは、最適化モデル４４は、化学薬品の流量を制御する入力バルブの設定を電子的に調節することにより、化学薬品のプロセスへの流入量を調節する。
【００５０】
別の実施例では、最適化モデル４４は、株式市場のような金融プロセスを予測するのに用いられる金融予測装置のような予測装置として採用される。また、金融予測装置は金融コントローラとしての役割を果たし、金融プロセスの最適化モデル４４に基づいて、株式の売買を請求するような金融行為を要求する。
【００５１】
最適化モデル４４を用いて利得をスケジュール化しているステージ１０６のコントローラ２６（すなわち制約付き非線形近似器）は、汎用近似器を用いて利得をスケジュール化しているコントローラに比べて、より堅牢なコントローラであり、またコントローラ２６は、プロセスの全動作領域にわたり予測可能な方法で作用する。
【００５２】
ステージ１０８はハイブリッド・モデル化ステージであり、制約付き訓練ステージ１０４に影響を与えるか、またはモデル展開ステージ１０６に影響を与えるのに使用できる他のモデル構造（初期モデル４０、非線形ネットワーク・モデル４２および最適化モデル４４以外）の包含または追加を含む。
【００５３】
１つの方法では、他のモデル構造は助言モデルであり、このモデルを使用して制約付き訓練ステージ１０４における非線形ネットワーク・モデル４２の訓練に助言し、改善し、または影響を与える。例えば助言モデルは、化学（例えばポリマー）プロセスの第１原理モデルのような第１原理モデルである。
【００５４】
他のモデルの使用が可能であることから、本発明の方法は、工学的知識、第１原理モデル、回帰型モデル、および本明細書またはその一部で述べる制約付き非線形近似器を組み合わせることにより、推測される特性およびその導関数のより正確な予測を可能にする。
【００５５】
別の方法では、ステージ１０８で提供される別のモデルは、より大きなまたは総合的な経験的プロセスをモデル化するより大きなまたは総合的なモデルである。この方法では、最適化されたモデル４４は、より大きなモデルの一部分または側面であり、あるいは最適化モデル４４は、より大きなプロセスにおける１つのステップまたは手順を表わす。例えばポリマー・プロセスでは、最適化モデル４４は、反応器のような、総合ポリマー・プロセスの１つの構成要素用のモデルであってもよい。最適化モデル４４は、より大きな経験的プロセスをモデル化する両親の子供とも考えることができる。一般に最適化されたモデル４４は、より大きなモデルに含まれるか、もしくは関連付けされ、またはより大きなモデルに入力を提供し、またこのような大きなモデルに助言し、影響を与え、または指示を与えることができる。さらに、本発明の他のモデル４０および４２のいずれも、より大きなモデルと共に使用することができ、また本発明の構成要素（すなわち初期モデル・クリエータ３４、モデル・コンストラクタ３６およびオプティマイザ３８）のいずれも、上記の最適化モデル４４に関して述べた方法に類似する方法で、より大きなモデルと共に使用され、このモデルに関連付けされ、このモデルに含められ、またはこのモデルに入力を提供する。
【００５６】
ステージ１１０は、モデル展開ステージ１０６において実施される最適化モデル４４の微調整、または修正を含む制約付きオンライン・モデル適応である。最適化されたモデル４４におけるこのような微調整または適応化は、ステージ１０４で非線形ネットワーク・モデル４２を訓練して、最適化モデル４４を作成するのに使用されるモデル入力２８により表わされなかった（または僅かしか表わせなかった）データの新しい領域への入力を、コントローラ２６が受け取る場合に必要とされる。例えば最適化モデル４４（すなわち制約付き非線形近似器）は、新しい領域では一般的に単調増加する出力を提供するが、向上した結果を得るには追加的な最適化を必要とすることがある。さらに、このような適応化を必要とするのは、コントローラ２６で展開される最適化モデル４４の性能が低下するか、または最初の予測に一致しなかった場合である。
【００５７】
ステージ１１０では、オプティマイザ３８は、オンラインの最適化の結果を検査して、最適化モデル４４の更新が最初の制約値を満足することを保証する。最適化モデル４４の更新されたバージョンが制約値から外れる場合には、オプティマイザ３８は係数を異なる方向（例えば以前に減少していた場合には、係数の値を増加させる）に調整し、モデル４４を制約値内におさめる。一般にステージ１１０における制約付きオンライン・モデル適応のプロセスは、ステージ１０４での制約付き訓練プロセスと同様である。
【００５８】
本発明の持つモジュール方式の特質は、各ステージ１００、１０２および１０４を互いに独立させ実現できることを意味する。例として、ステージ１０４で述べた訓練アルゴリズムを多層パーセプトロン・ニューラル・ネットワークに適用することにより、特定の入力／出力関係が、これらの入力定義域全体にわたって単調に制約されるように関数を限定できる。
【００５９】
本発明により、各入力／出力関係を分離して取り扱うことが可能になる。したがって、特定の入力／出力関係は制約されない状態に維持され、これにより、それらは完全な汎用近似能力を有することができる。別の入力／出力関係は、単調になるように制約してもよく、また全体的な利得軌跡形状に合致するようにしてもよい。
【００６０】
本発明は、定常状態および動的モデル化アーキテクチャの両者を包含しており、このアーキテクチャを、定常状態オプティマイザにおいて利得のスケジュールおよび非線形プログラム用に使用してもよい。
【００６１】
発明の数学的根拠
以下のセクションは、本発明の数学的根拠を述べる。表題により、本発明が限定されることはない。表題中の主題は他の個所でも考察される。
以下のセクションは、図１および２に図示された非線形ネットワーク・モデル４２の１つの実施例を述べる。
【００６２】
一般構造
非線形ネットワーク・モデルには、アーキテクチャ（ステージ１０２）、および訓練アルゴリズム（ステージ１０４）の制約の両方を通じて単調性条件が付与される。以下のセクションは最初に、一般的なフィードフォワード・ニューラル・ネットワーク（以下“ニューラル・ネット”と称す）の計算を定義する。なぜなら、一般形の１次および２次導関数計算を説明する方がより明確だからである。その後のセクションでは、単調性を付与する特定の手段を述べる。
【００６３】
表記法
一般的なフィードフォワード・ニューラル・ネットは、順序付けされたＬ層から成る。１つの層の中の各処理要素（ＰＥ）の位置は、添字のｉにより表わされ、またｊ、ｋ、ｌ、ｍおよびｎはＰＥ指標として用いられる。処理要素は、図２のステージ１０２に関して述べた変換要素の一例である。各ＰＥは、加算値ｘｉ、出力値ｙｉ、およびｘｉをｙｉに関連付ける変換関数ｆｉを持つ。異なる各層における処理要素は、必要に応じて、括弧内の添字ｐにより識別され、またｑ、ｒおよびｓは層指標として用いられる。ＰＥ間の重みは、ｙｊ （ｑ）からｘｉ （ｐ）までの連結重みを表わすＷｉｊ （ｐ，ｑ）として表示される。なお、ｑ＜ｐである。
【００６４】
これにより幾つかの層は所定の層にフィードすることが可能になり、バイアスを、加算値ｘｌ＝１を持つ単一要素層、および線形変換関数として指定することにより、バイアスはこの構造の中で容易に処理されることに留意されたい。
【００６５】
データ・スケーリング
ニューラル・ネットは、データを正規化ユニットにまで倍率変更することを要求する。通常これは、訓練およびテストデータを平均が０および標準偏差が１に変換する線形マッピングにより行なわれる。
【００６６】
フィードフォワード式
ｘｉ （１）データ入力
【００６７】
【数１】
目的関数
測定された一連のデータ点を使用して、ニューラル・ネット（非線形ネットワーク・モデル４２の一例）を訓練する。このデータ点は、測定された入力および対応する測定された出力（図２のステージ１０４の非線形ネットワーク・モデル４２の訓練に使用されるモデル入力２８の一例）から成る。ニューラル・ネットは測定入力と測定出力との間でこのマッピングの再生を試み、それにより、測定値の存在しない場合に出力を推定できる。この訓練は、適合度の尺度である目的関数を構成することにより達成される。しかし、データはノイズおよび擬似関係要素も含むため、目的関数もまたマッピングの複雑性を抑制する項目を含む。
表記すると、
【００６９】
【数２】
ＪＤは、ニューラル・ネットがどの程度データに適合するかの尺度であり、データ・セットの関数および間接的には重みの関数である。ＪＷは、過適合を抑制し、また重みの直接的関数である調整項である。
【００７１】
導関数
フィードフォワード・ニューラル・ネットにおける導関数計算は、誤差逆伝播学習則またはバックプロパゲーション（ｂａｃｋ−ｐｒｏｐａｇａｔｉｏｎ）と呼ばれる。その理由は、出力に関する導関数をネットワークを介して逆に伝播することにより、重みに関する導関数を計算するからである。これには、ニューラル・ネットの世界ではＷｅｒｂｏｓによる連鎖律が用いられる。１９９４年１月に発行されたＰａｕｌ Ｊｏｈｎ Ｗｅｒｂｏｓの、“Ｔｈｅ Ｒｏｏｔｓ ｏｆ Ｂａｃｋｐｒｏｐａｇａｔｉｏｎ（バックプロパゲーションの基礎）：Ｆｒｏｍ Ｏｒｄｅｒｅｄ Ｄｅｒｉｖａｔｉｖｅｓ ｔｏ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ ａｎｄ Ｐｏｌｉｔｉｃａｌ Ｆｏｒｅｃａｓｔｉｎｇ（順序導関数からニューラル・ネットワークおよび高精度予測方法）（Ａｄａｐｔｉｖｅ ａｎｄ ｌｅａｒｎｉｎｇ ｓｙｓｔｅｍｓ ｆｏｒ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ（信号処理の追加および学習システム））”を参照されたい。
【００７２】
【数３】
次に重み勾配を次のように計算する。
【００７４】
【数４】
２次導関数
特定のオプティマイザ（例えばオプティマイザ３８）は、ヘシアン情報を使用する。ヘシアン情報は、情報をネットワークを通じて順方向および逆方向に通過させることにより、一般的なフィードフォワード・ニューラル・ネット内で解析的に計算される。この考え方は、前述したセクションの導関数の各々を、変数の最初のセット（ｘ’ｓ、ｙ’ｓおよびｗ’ｓ）に追加するものとして考えることである。次にＷｅｒｂｏｓの連鎖律を使用して、２次導関数を計算する。各ウエートｗｍｎ （ｒｓ）に関しては、
【００７６】
【数５】
を新しい目的関数と考える。最終目的は
【００７８】
【数６】
を計算することである。次に所定の重みの宛先層から開始して、所定の重みのソース層で終了するように、ネットワークを通じて順／逆方向の通過を行なう。
【００８０】
【数７】
次に以下の式（６）に示す公式を用いて、重みに関してヘシアンを計算する。
【００８２】
【数８】
【００８３】
最初の順／逆方向の通過（目的および勾配を計算するのに用いられる）からの加算、出力およびバックプロパゲーション情報は、これらのヘシアンの通過の間は維持する必要がある。なぜなら、公式がヘシアンの通過を使用するからである。さらにヘシアンの順／逆方向の通過は、以下のように最初の通過とは相違している。
【００８４】
【数９】
ｉｉ．フィードフォワード通過においては、
（ａ）ｐｔｈ層より下のソース層は出力が０になるように初期化される。
（ｂ）各ノードでの最初の変換関数は最初のｆｋ’（ｘｋ （ｍ））によるスカラー乗法により置き換えられる。
ｉｉｉ．フィードフォワード通過からの出力に、最初の出力に関する最初の目的関数Ｊのヘシアンを乗じることにより、フィードバックする値を計算する。標準ＲＭＳ誤差をベースとする目的に対しては、このヘシアンは定数に単位行列を乗じたものである。
．バックプロパゲーション通過においては、
（ａ）重みソース層だけに逆伝播する。
（ｂ）フィードフォワード・ステップからの保存された出力を乗算する
【００８６】
【数１０】
【数１１】
【数１２】
への直接の影響を表わす追加項のＤｊＸｍ （ｒ）を持つ。
【００９０】
従来の訓練
標準フィードフォワードの従来の訓練アルゴリズムは、制約されないオプティマイザを利用して、目標関数を最小にする。通常、決定変数は重みだけである。重みに関する目的およびその導関数および２次導関数は、上の公式を用いて計算される。
【００９１】
変換関数
例示の目的で、本発明の好ましい実施形態に用いる３つの変換関数を説明する。本明細書に記載される本発明が用いる変換関数は、これらの３つの例に限定されない。それぞれの実施形態において、本発明は、あらゆる非線形変換を利用することが可能であり、さらに、モデルをベースとする制御および最適化方式に用いる拡張されたモデル・アーキテクチャ（例えば非線形ネットワーク・モデル４２）を作成できる。作動、つまり他の変換は、実際にはユーザ定義の入力／出力、または利得軌跡マッピング（例えば初期モデル４０）に関して訓練できる単一入力／単一出力ニューラル（または他の非線形）ネットワークであってもよい。最新の制御および最適化方式に望まれる堅牢性を生成するのは、制約付き最適化（例えば図２の制約付き訓練ステージ１０４）である。サンプル変換関数は、双曲線正接、シグモイドおよび非対称性の有界の導関数（ＡＢＤ）である。それらの公式、導関数および２次導関数は以下の通りである。
【００９２】
【数１３】
【００９３】
【数１４】
【００９４】
単調ニューラル・ネット構造
以下のセクションは、本発明の好ましい実施形態において非線形ネットワーク・モデル４２に対する制約値の設定例を述べる。単調性に対する制約条件は、（これに限定されることはないが）次の通りである。
【００９５】
相補条件
本発明で述べる３つのサンプル変換関数（式７、８および９）は単調変換である。Ｓ字形作動および双曲線性正接は軸対称でもある。すなわち、
【００９６】
【数１５】
重合せの法則によれば、２つの正の単調関数を加算すると、得られる変換もまた正の単調である。同様に２つの負の単調関数を加算すると、得られる変換は負の単調である。
【００９８】
非線形ネットワーク・モデル４２の出力ノードは、基本的に単調変換の線形加算である。したがって、入力変数を隠れノードにマッピングする係数の符号と、このノードを出力層に接続する係数の符号とが、（すべての隠れノードにとって）所望の方向の単調性に対して相補的であると仮定すると、入力／出力関係の全体の単調性は保たれる。
【００９９】
相補条件の設定例
所望の入力／出力の関係が正の単調であることを要求されると仮定する。この時、出力重み符号がそれぞれ（＋、−、＋、−）の４つの隠れノードを持つ非線形ネットワーク・モデル４２に対して、この入力を各隠れノードにマッピングするのに対応する係数は、それぞれ（＋、−、＋、−）でなければならない。連続する２つの負の符号の係数は、式（１１）に記されたように正の単調変換を発生する。
【０１００】
ＡＢＤ変換は、式（１１）に記された軸対称に従うものではないが、関数−ＡＢＤ（−ｘ）は正の単調であり、したがって依然として全体に正の入力／出力単調性を発生する。同一論理は、負の単調変換にも適用される。
【０１０１】
次のセクションは、図２におけるステージ１０２の非線形ネットワーク・モデル４２の例を作成するのに適した制約付き非線形近似器（ＣＮＡ）アーキテクチャの２つの例を示す。第１の例は６層非線形層状ネットワークＣＮＡアーキテクチャを示し、第２の例は５層非線形層状ネットワークＣＮＡアーキテクチャを示す。“第１例”および“第２例”の表現は、何等の限定を意味するものではない。
【０１０２】
ＣＮＡアーキテクチャ（６層用）の第１例
図３は、非線形ネットワークの一例である６層の制約付き非線形近似器（ＣＮＡ）アーキテクチャ仕様であり、非線形ネットワーク・モデル４２の基本例として使用できるものである。この図に詳しく示された実際のアーキテクチャは、非線形の隠れ層が、ＡＢＤ（例えば、ｌｎ（ｃｏｓｈ（ｘ）））変換の前に加算を含む非線形ネットワークの積分であり、また非線形ネットワークの積分が、非線形ネットワーク・モデル４２に同等と考えられる非線形ネットワークの積分である。すべての層のアーキテクチャは本発明で使用でき、好ましい実施形態においては非線形ネットワーク積分が用いられ、その一例はニューラル・ネットワーク積分である。上述のように、従来のニューラル・ネットワーク（例えば汎用近似器に用いられている）は、入力／出力関係を予測するのには優れているが、導関数の予測には劣っている。したがって非線形ネットワーク積分を入力／出力データに適合させることは、非線形ネットワーク（すなわち非線形ネットワーク・モデル４２の導関数）が、訓練データにおける入力／出力データ関係の導関数に適合させる根底となるアーキテクチャであることを意味する。したがってこれは、良好な挙動特性の導関数を持つ堅牢な非線形経験的モデル（例えば非線形ネットワーク・モデル４２）を作成する問題に対する解を形成する。ここに記されたＣＮＡアーキテクチャの例は、化学プロセス工業生産施設のような閉ループ制御方式において優れた機能を発揮する。さらに、このＣＮＡアーキテクチャを有することにより、飽和（実際の入力／出力関係に対してではなく）するのはモデル導関数（例えば非線形ネットワーク・モデル４２に基づき最適化されたモデル４４の導関数）であるから、モデル（例えば最適化モデル４４）が外挿領域において線形モデルに円滑に収束する。
【０１０３】
図３によれば、非線形ネットワーク５０は入力層２００、バイアス層２０１、変換層２０２、線形の隠れ層２０３、非線形活動層２０４、線形活動層２０５および出力層２０６を含む。入力層２００は１つまたは複数の要素Ｌ０を含み、バイアス層２０１は１つまたは複数の要素Ｌ１を含み、変換層２０２は１つまたは複数の要素Ｌ２を含み、線形の隠れ層２０３は１つまたは複数の要素Ｌ３を含み、非線形活動層２０４は１つまたは複数の要素Ｌ４を含み、線形活動層２０５は１つまたは複数の要素Ｌ５を含み、また出力層２０６は１つまたは複数の要素Ｌ６を含む。
【０１０４】
訓練データ（例えばモデル入力２８）は入力層２００に提供される。アーキテクチャ内の各ノードＬ０〜Ｌ６は、処理要素（ＰＥ）を提供する。各処理要素は、１つまたは複数の入力および１つまたは複数の出力を持つ。処理要素（例えば処理要素Ｌ３）は、一般にすべての入力を加算し、次にこの和を、変換関数に通す。変換関数は、非線形（層２０４のような）または線形（実際に、加算された入力が処理要素の出力を形成する場合）のいずれでもよい。
【０１０５】
図３の各矢印は、モデル係数（または重み）を表わす。入力層２００と変換層２０２との間の接続（矢印）は、（図３のこの例では）１の値に固定されている。これは、入力データの方向を必要に応じて変更することを可能にする（すなわち係数を−１に切り替える）変換層２０２である。
【０１０６】
バイアス層２０１はバイアス項を提供する。この層２０１の出力層２０６への接続は、基本的に、ニューラル・ネットワークを積分するときに生じる“定数”項を表わす。
【０１０７】
層２０３は、入力が単に加算される隠れ層である。変換は、この層２０３では行なわれない。従来のニューラル・ネットワークでは、これらの加算は次にシグモイド（Ｓ字形）、または双曲線正接活動関数を通過する。積分の場合（すなわち本発明の方法を用いた積分方法）、層２０３からの加算は双曲線正接の積分（すなわち積分（ｑ＊ｔａｎｈ（ｖ＊Ｘ））＝ａ＊Ｘ＋ｂ＊ｌｏｇ（ｃｏｓｈ（ｖ＊Ｘ））＋ｃ）を通過する。この積分は層２０４、２０５および２０１によりなされる。最後に、層２０５からの変換された入力は、出力層２０６に直接接続される。この接続は、従来のニューラル・ネットワークのバイアス項の積分を表わす。
【０１０８】
図３の層ＣＮＡアーキテクチャは、この発明に使用できる非線形ネットワーク・アーキテクチャの例である。図３および次のセクションに記載される第２の例は、非線形経験的モデル化のすべての用途に使用できる。
【０１０９】
ＣＮＡアーキテクチャ（５層用）の第２例
以下のセクションでは、本発明に使用するのに適したＣＮＡアーキテクチャの第２例を述べる。
【０１１０】
第２のＣＮＡアーキテクチャ例についてここに述べる単調ニューラル・ネット構造は５層から成る。５つの層は、入力層、バイアス層、符号付き入力層、隠れ層および出力層を含む。本発明は、特定の数の層に限定されない。本発明は、モデルをベースとする制御および最適化方式に用いる優れた挙動特性の非線形モデルを作成する目的で非線形制約最適化アルゴリズムを用いる、制約付きニューラル・アーキテクチャをすべて包含する。
【０１１１】
非標準層は、非線形の方向を示すのに用いられる符号を持つ入力層である。
【表１】
ＣＮＡアーキテクチャの第２例の接続方式
以下の表は層間の接続を示す。全接続は、ソース層における各プロセス要素（ＰＥ）が宛先層の各ＰＥに接続されることを意味する。対応接続とは、ソース層および宛先層が同一番号のＰＥを持ち、ソース層の各ＰＥは宛先層の対応ＰＥに接続される。
【表２】
ＣＮＡアーキテクチャの第２例の単調性の指定
ここで“相補対形成”と呼ばれる方法では、モデル設計者は最初に各入力変数の単調性を以下の１つに指定できる。
・単調な正
・単調な負
・単調性不明
・非単調
【０１１４】
これら４つのオプションに対応する一連の指標を、それぞれＩ＋、Ｉ−、Ｉ
およびＩｎｏｎで示す。単調性は、符号付きの入力層（層３）および出力ＰＥ層（層５）との間のデータ経路の重みに制約値を加えることにより得られる。これらのデータ経路は、隠れ層（層４）を経由して間接的である。ここで“表記法”のセクションに述べた指標表記を使用して、制約値は次のように指定される。
【０１１５】
【数１６】
【０１１６】
ＣＮＡアーキテクチャの第２例における単調性の方向の制約
単調性の方向がユーザにより予め指定される場合には、入力と符号付き入力との間の重みはその符号に制約される。それ以外に重みに課される制約は存在しない。数学的には、
【０１１７】
【数１７】
ＣＮＡアーキテクチャの第２例の目的関数
セクション０における表記を用いると次の式が成り立つ。
【０１１９】
【数１８】
ここでβ（ｐ，ｑ）は調整パラメータである。この実施例に関しては、すべてのβ（ｐ，ｑ）は小さいデフォールト値を持つ単一調整パラメータとしてユーザにより設定可能である。ただし、単調性の決定が制約されないように０に設定されているβ（ ３ ， １ ）を除く。
【０１２１】
第２のＣＮＡアーキテクチャの制約導関数
制約導関数は簡単な構造を持つ。各制約は、合計２×Ｈ×ＮＭの非ゼロ制約導関数を与える僅か２つの非ゼロ導関数を持つ。但しＨは隠れＰＥの数であり、ＮＭは単調入力変数の数である。
【０１２２】
【数１９】
任意の制約付き非線形オプティマイザ３８を使用して、モデルの解を生成できる。以上で第２のＣＮＡアーキテクチャの説明を終える。
【０１２４】
有界の導関数に基づく制約値
本発明の好ましい実施形態においては、制約値は非対称性の有界の導関数に基づいて計算できる。図３に示す非線形ネットワーク５０の例によれば、図３の入力／出力関係の一つの例を表わす一般式は次の通りである。
【０１２５】
【数２０】
表記に関しては、前述の“表記法”セクションを参照されたい。
【０１２７】
この例では、有界の導関数軌跡（ｌｏｇ（ｃｏｓｈ（））の導関数）を与える非線形変換（活動）関数が有界の双曲線正接であるために、双曲線余弦の対数が選択されている。
【０１２８】
式１６の導関数は次のように計算できる。
【０１２９】
【数２１】
前記の関数（式１７）の理論的限界値は次のように計算できる。
【０１３１】
【数２２】
式（１６）の導関数は、上の限界値の間の双曲線正接関数飽和により、式（１８）および（１９）で示される限界値内に全体的に収まることが保証される。
【０１３３】
どちらの限界値が上限で、どちらが下限であるかはＷｋｋ （ ２ ， ０ ）の符号によって決まる。
【０１３４】
モデル４４の訓練の間、前記限界値は各最適化反復において計算できる。モデル４４における各係数に関する前記限界値の導関数は計算でき、指定された限界値内にある前記限界値に基づきモデル４４に限界値が与えられる（例えばゼロの下限およびｌｅ＋２０の上限は、その入力に対して、入力／出力関係が全体に正で単調であることを保証する）。ゼロより僅かに大きい下限は、全体の外挿性能を保証する。
【０１３５】
式（１６）に示されるモデル４４への入力が、例えば状態空間モデルからの状態ベクトルである場合、実際モデルの入力および出力間の総合定常状態利得の制約は、式（１８）および（１９）の重み係数の線形集合としての出力（その特定の入力に対する）に対する各定常変数の定常状態寄与を含むことによりなされる。このような状態空間モデルの例は、マサチューセッツ州、ケンブリッジの譲受人アスペン・テクノロジー・インコーポレーテッドにより提供され、共に譲渡された、１９９８年９月２４日に出願の米国特許出願第０９／１６０，１２８号の発明“Ｎｏｎ−ｌｉｎｅａｒ Ｄｙｎａｍｉｃ Ｐｒｅｄｉｃｔｉｖｅ Ｄｅｖｉｃｅ（非線形動的予測装置）”と、１９９５年１２月１９日に発行された米国特許第５，４７７，４４４号の発明“Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ Ｕｓｉｎｇ ａｎ Ａｄａｐｔｉｖｅ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ ｆｏｒ ａ Ｔａｒｇｅｔ ａｎｄ Ｐａｔｈ Ｏｐｔｉｍｉｚａｔｉｏｎ ｆｏｒ ａ Ｍｕｌｔｉｖａｒｉａｔｅ， Ｎｏｎｌｉｎｅａｒ Ｐｒｏｃｅｓｓ（多変量の対象および経路に対し適合ニューラル・ネットワークを使用する制御システム、非線形処理）”とに記載されており、これら両者は参照により本明細書に引用されている。
【０１３６】
制約付きオプティマイザの機能
このセクションでは、非線形ネットワーク・モデル４２から最適化モデル４４を作成するときに、オプティマイザ３８がどのように機能するかを述べる。
【０１３７】
オプティマイザ３８は、目的関数を必要とする。この場合には、目的関数は通常、モデル誤差の自乗のＥ＝（ｙ−ｙｔａｒｇｅｔ）２である。この目的関数を最小にするために、オプティマイザは、非線形ネットワーク・モデル４２の各係数が、モデル誤差、すなわち、
【０１３８】
【数２３】
にどのように影響を与えるのかに関する情報を必要とする。
【０１４０】
バックプロパゲーションの理論を用いて、階層型ネットワーク・モデル・アーキテクチャに対し、これらの関係を分析的に導き出すことができる。このデータは、非線形ネットワーク・モデル４２の“ヤコビアン（Ｊａｃｏｂｉａｎ）”と呼ばれる。バックプロパゲーション理論を拡張して、２次導関数情報（すなわちヘシアン）を含むことができる。この情報を利用して、オプティマイザ３８は、次にモデル誤差を最小にするための調査を始めることができる。好ましい実施形態においては、特定の制約値がこの最適化に与えられる。単純な事例は、本明細書に述べる５層非線形ネットワーク用の重み対の制約値である。
【０１４１】
制約値は次のように公式化できる。
【０１４２】
【数２４】
【０１４３】
したがって、オプティマイザ３８は、連続的に前記の制約値を計算する。最適化の間に、ｃ１の値（または別の制約値のどれか）がゼロまたは正になる場合、オプティマイザ３８は目的関数Ｅを最小化する試みから移行して、制約値の計算結果をゼロ以下に戻すことに集中する。これを実行するために、オプティマイザ３８は、制約値の各係数に関して、制約値の導関数を知ることを必要とする。したがって次の式（２１）および（２２）が成り立つ。
【０１４４】
【数２５】
この情報を利用することにより、オプティマイザ３８は、制約値から外れることがないように試みる。目的関数において、これ以上の減少が得られないとき、最適化は終了する。
【０１４６】
対の制約値（すなわち相補対形成）は、特定タイプの全体挙動特性（この場合単調性）を保証するための階層型モデル・アーキテクチャを制約する方法の一例に過ぎない。本発明の方法を使用して、これらモデルを制約し、一般的に特定の全体モデル挙動特性（必ずしも単調性でない）を得ることができる。例えば、非線形ネットワーク積分アーキテクチャ（または有界の導関数ネットワーク）は、オプティマイザ３８により計算できるモデル導関数に関して特定の限界値を持つ。これらは計算可能であるため、本発明の特定の用途として制約できる。
【０１４７】
代替の最適化方式
これまで述べた方法は、ニューラル・ネットワークを制約する多くの方法の例であり、これらの例は、本発明の制約付き非線形近似器の顕著な特徴を確認するためのものである。代替の方式は、（これに限定されることはないが）分析導関数のない最適化（例えば有限差分近似）、非単調解に対する罰金関数（例えば、隠れ重みに対する入力／出力重み相補違反に対する隠れ入力）、および制約値が、各活動関数の最小および／または最大導関数、およびその線形組み合わせであるＡＢＤ活動関数の制約付き最適化を含むことができる。
【０１４８】
本発明を、その好ましい実施形態により詳細に図示および記述してきたが、当業者には、添付の請求項に包含される本発明の範囲から逸脱することなく形態と細部に各種の変更が可能であることは理解されるであろう。
【図面の簡単な説明】
【図１】
本発明の好ましい実施形態におけるコンピュータ利用実施例のブロック図である。
【図２】
好ましい実施形態における制約付き非線形近似器の開発のステージを示す図である。
【図３】
制約付き非線形近似器のアーキテクチャ仕様の一例である。
Claims (24)
- 非線形経験的プロセスをモデル化する方法であって、
モデル化される前記非線形経験的プロセスにほぼ対応し、また初期入力および初期出力を有する初期モデルを作成するステップと、
前記初期モデルに基づいて非線形ネットワーク・モデルを形成するステップであって、前記非線形ネットワーク・モデルが、前記初期入力に基づく複数の入力と、一般に前記初期出力に一致する非線形ネットワーク・モデル全体の全体挙動特性とを有する、ステップと、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより、経験的入力に基づき前記非線形ネットワーク・モデルを最適化して、最適化モデルを形成するステップと、を含む方法。 - 請求項１において、前記初期モデルを作成するステップが、前記非線形経験的プロセスに対する利得軌跡の一般的形状を指定することを含む方法。
- 請求項１において、前記初期モデルを作成するステップが、前記非線形経験的プロセスを近似化するのに適している非線形変換関数を指定することを含む方法。
- 請求項３において、前記非線形ネットワークが相互接続された変換要素を含み、前記非線形ネットワークを構成するステップが、前記非線形変換関数を少なくとも１つの変換要素に組み込むことを含む方法。
- 請求項４において、前記非線形モデルを最適化するステップが、前記非線形変換関数の有界の導関数を用いることにより制約値を設定することを含む方法。
- 請求項５において、前記非線形変換関数が双曲線余弦関数の対数を含む方法。
- 請求項１において、前記非線形ネットワーク・モデルが、相互に入力／出力関係を持つノードのフィードフォワード・ネットワークを有する階層型ネットワーク・アーキテクチャに基づいており、前記フィードフォワード・ネットワークが変換要素を有し、
各変換要素が非線形変換関数、重み付き入力係数および重み付き出力係数を有し、
前記非線形ネットワーク・モデルを最適化するステップが、相補的方法で各変換要素に対して前記重み付き入力および出力係数を対にすることにより、前記初期入力に基づき、前記非線形ネットワーク・モデルの全体挙動特性を単調変換に制約して、単調変換を提供することを含む方法。 - 請求項１において、前記非線形ネットワークを最適化するステップが、前記初期モデル、非線形ネットワーク・モデルおよび最適化されたモデルとは異なる前記非線形経験的プロセスの別モデルである助言モデルにより提供される情報に基づいて最適化を調節することを含む方法。
- 請求項８において、前記助言モデルが前記非線形経験的プロセスの第１原理モデルである方法。
- 請求項１において、前記非線形経験的プロセスがより大きなプロセスの一部であり、さらに、この大きなプロセスを制御するコントローラにおいて前記最適化モデルを展開するステップを含む方法。
- 非線形経験的プロセスをモデル化するコンピュータ装置であって、
モデル化される前記非線形経験的プロセスにほぼ対応し、また初期入力および初期出力を有する初期モデルを作成するモデル・クリエータと、
前記モデル・クリエータに接続されて、前記初期モデルに基づき、前記初期入力に基づく複数の入力と、前記初期出力にほぼ一致する前記非線形ネットワーク・モデル全体の全体挙動特性とを有する非線形ネットワーク・モデルを形成するモデル・コンストラクタと、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより、経験的入力に基づき前記非線形ネットワーク・モデルを最適化して、最適化モデルを形成する、モデル・コンストラクタに接続されているオプティマイザと、を備えているコンピュータ装置。 - 請求項１１において、前記モデル・クリエータが前記非線形経験的プロセス用の利得軌跡の全体的な形状を指定するコンピュータ装置。
- 請求項１１において、前記モデル・クリエータが前記非線形経験的プロセスを近似化するのに適した非線形変換関数を指定するコンピュータ装置。
- 請求項１３において、前記非線形ネットワークが相互接続された変換要素を含み、前記モデル・コンストラクタが前記非線形変換関数を少なくとも１つの変換要素に組み入れるコンピュータ装置。
- 請求項１４において、前記オプティマイザが前記非線形変換関数の有界の導関数を用いることにより制約値を設定するコンピュータ装置。
- 請求項１５において、前記非線形変換関数が双曲線余弦関数の対数を含むコンピュータ装置。
- 請求項１１において、前記モデル・コンストラクタが、相互に入力／出力関係を持つノードのフィードフォワード・ネットワークを有する階層型ネットワーク・アーキテクチャに基づいて前記非線形ネットワーク・モデルを形成し、
前記フィードフォワード・ネットワークが変換要素を有し、各変換要素が非線形変換関数、重み付き入力係数および重み付き出力係数を有しており、
前記オプティマイザが、相補的方法で各変換要素に対して前記重み付き入力および出力係数を対にすることにより、前記初期入力に基づき、前記非線形ネットワーク・モデルの全体挙動特性を単調変換に制約して、単調変換を提供するコンピュータ装置。 - 請求項１１において、さらに、前記初期モデル、非線形ネットワーク・モデルおよび最適化モデルとは異なる前記非線形経験的プロセスの別モデルを表わす助言モデルを備え、
前記オプティマイザが前記助言モデルにより提供される情報に基づいて最適化を調節する、コンピュータ装置。 - 請求項１８において、前記助言モデルが前記非線形経験的プロセスの第１原理モデルであるコンピュータ装置。
- 請求項１１において、前記非線形経験的プロセスが、前記オプティマイザに接続されたコントローラにより管理されるより大きなプロセスの一部であり、さらに前記オプティマイザが前記最適化モデルを前記コントローラに伝達し、コントローラ内で該最適化モデルを展開する、コンピュータ装置。
- 非線形経験的プロセスをモデル化するコンピュータ・プログラム命令を格納しているコンピュータ読み取り可能な記録媒体を含むコンピュータ・プログラム・プロダクトであって、ディジタル・プロセッサにより実行されるとき、該コンピュータ・プログラム命令により、前記ディジタル・プロセッサに、
モデル化される前記非線形経験的プロセスにほぼ対応し、また初期入力および初期出力を有する初期モデルを作成し、
前記初期モデルに基づいて、前記初期入力に基づく複数の入力および前記初期出力にほぼ一致する前記非線形ネットワーク・モデル全体の全体挙動特性を有する非線形ネットワーク・モデルを形成し、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより、経験的入力に基づき非線形ネットワーク・モデルを最適化して、最適化モデルを形成する各手順を実行させるコンピュータ・プログラム・プロダクト。 - ポリマー・プロセスをモデル化する方法であって、
モデル化されるポリマー・プロセスにほぼ対応する、初期入力および初期出力を含む初期モデル用の、双曲線余弦関数の対数を含む基本非線形関数を指定するステップと、
前記モデル・クリエータに接続され、前記初期モデルに基づき、前記初期入力に基づく複数の入力および前記初期出力にほぼ一致する前記非線形ネットワーク・モデル全体の全体挙動特性を有する非線形ネットワーク・モデルを形成し、また前記基本非線形関数を含むステップと、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより前記基本非線形関数の有界の導関数を使用して制約値を設定することによって、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを形成するステップと、を含む方法。 - ポリマー・プロセスをモデル化するコンピュータ装置であって、
モデル化されるポリマー・プロセスにほぼ対応する、初期入力および初期出力を含む初期モデル用の、双曲線余弦関数の対数を含む基本非線形関数を指定するモデル・クリエータと、
前記モデル・クリエータに接続されて、前記初期モデルに基づき、前記初期入力に基づく複数の入力および前記初期出力にほぼ一致する前記非線形ネットワーク・モデル全体の全体挙動特性を有する非線形ネットワーク・モデルを形成し、また前記基本非線形関数を含むモデル・コンストラクタと、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより前記基本非線形関数の有界の導関数を使用して制約値を設定することによって、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを形成する、前記モデル・コンストラクタに接続されているオプティマイザと、を備えているコンピュータ装置、 - 非線形経験的プロセスをモデル化するためのコンピュータ命令を格納しているコンピュータ読み取り可能な記録媒体を含むコンピュータ・プログラム・プロダクトであって、ディジタル・プロセッサにより実行されるとき、該コンピュータ・プログラム命令により、前記ディジタル・プロセッサに、
モデル化されるポリマー・プロセスにほぼ対応する、初期入力および初期出力を含む初期モデル用の、双曲線余弦関数の対数を含む基本非線形関数を指定し、
前記初期モデルに基づき、前記初期入力に基づく複数の入力および前記初期出力にほぼ一致する非線形ネットワーク・モデル全体の全体挙動特性を有する非線形ネットワーク・モデルを形成し、また前記基本非線形関数を含み、
前記非線形ネットワーク・モデルの全体挙動特性を制約することにより前記基本非線形関数の有界の導関数を使用して制約値を設定することによって、経験的入力に基づく非線形ネットワーク・モデルを最適化して、最適化モデルを形成する各手順を実行させるコンピュータ・プログラム・プロダクト。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US21487500P | 2000-06-29 | 2000-06-29 | |
| US60/214,875 | 2000-06-29 | ||
| PCT/US2001/020218 WO2002003152A2 (en) | 2000-06-29 | 2001-06-27 | Computer method and apparatus for constraining a non-linear approximator of an empirical process |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004503001A true JP2004503001A (ja) | 2004-01-29 |
| JP4918207B2 JP4918207B2 (ja) | 2012-04-18 |
Family
ID=22800746
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002508154A Expired - Lifetime JP4918207B2 (ja) | 2000-06-29 | 2001-06-27 | 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法 |
Country Status (7)
| Country | Link |
|---|---|
| US (3) | US7330804B2 (ja) |
| EP (1) | EP1295185B9 (ja) |
| JP (1) | JP4918207B2 (ja) |
| AT (1) | ATE261137T1 (ja) |
| CA (2) | CA2414707C (ja) |
| DE (1) | DE60102242T2 (ja) |
| WO (1) | WO2002003152A2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019142242A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | データ処理システムおよびデータ処理方法 |
Families Citing this family (114)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20020133251A1 (en) * | 2001-03-15 | 2002-09-19 | International Business Machines Corporation, | Dynamic techniques for custom-fit knee replacments |
| US20050228511A1 (en) * | 2002-01-15 | 2005-10-13 | Suvajit Das | Computer-implemented system and method for measuring and improving manufacturing processes and maximizing product research and development speed and efficiency |
| US20040024559A1 (en) * | 2002-08-01 | 2004-02-05 | Down John Harry | Method, system and computer product for building calibration lookup tables from sparse data |
| DE50303387D1 (de) * | 2002-09-26 | 2006-06-22 | Siemens Ag | Vorrichtung und verfahren zur überwachung einer mehrere systeme umfassenden technischen anlage, insbesondere einer kraftwerksanlage |
| US20050187643A1 (en) | 2004-02-19 | 2005-08-25 | Pavilion Technologies, Inc. | Parametric universal nonlinear dynamics approximator and use |
| US6941177B2 (en) * | 2002-12-17 | 2005-09-06 | Xerox Corporation | System and method for implementing real-time applications based on stochastic compute time algorithms |
| US7899657B2 (en) * | 2003-01-24 | 2011-03-01 | Rockwell Automoation Technologies, Inc. | Modeling in-situ reservoirs with derivative constraints |
| US20040148144A1 (en) * | 2003-01-24 | 2004-07-29 | Martin Gregory D. | Parameterizing a steady-state model using derivative constraints |
| WO2004081680A1 (en) * | 2003-03-10 | 2004-09-23 | Dynochem Ip Limited | A physiocochemical process modelling system |
| US20040181498A1 (en) * | 2003-03-11 | 2004-09-16 | Kothare Simone L. | Constrained system identification for incorporation of a priori knowledge |
| US6856845B2 (en) * | 2003-04-28 | 2005-02-15 | Palo Alto Research Center Inc. | Monitoring and reporting incremental job status system and method |
| US7809116B2 (en) | 2003-12-07 | 2010-10-05 | Adaptive Spectrum And Signal Alignment, Inc. | DSL system estimation including known DSL line scanning and bad splice detection capability |
| US7302379B2 (en) | 2003-12-07 | 2007-11-27 | Adaptive Spectrum And Signal Alignment, Inc. | DSL system estimation and parameter recommendation |
| US20050136547A1 (en) * | 2003-12-22 | 2005-06-23 | Abb Inc. | Polymer reaction and quality optimizer |
| US7272544B2 (en) * | 2004-01-15 | 2007-09-18 | Honeywell International Inc. | Integrated modeling through symbolic manipulation |
| US20050192680A1 (en) * | 2004-02-27 | 2005-09-01 | Mark Cascia | System and method for optimizing global set points in a building environmental management system |
| US20050251376A1 (en) * | 2004-05-10 | 2005-11-10 | Alexander Pekker | Simulating operation of an electronic circuit |
| US7502715B1 (en) * | 2004-09-21 | 2009-03-10 | Asml Netherlands B.V | Observability in metrology measurements |
| US7467614B2 (en) | 2004-12-29 | 2008-12-23 | Honeywell International Inc. | Pedal position and/or pedal change rate for use in control of an engine |
| CN101233721B (zh) | 2005-07-10 | 2014-07-16 | 适应性频谱和信号校正股份有限公司 | 数字用户线路dsl系统估计 |
| US7389773B2 (en) | 2005-08-18 | 2008-06-24 | Honeywell International Inc. | Emissions sensors for fuel control in engines |
| US7930044B2 (en) * | 2006-09-07 | 2011-04-19 | Fakhruddin T Attarwala | Use of dynamic variance correction in optimization |
| US7603185B2 (en) * | 2006-09-14 | 2009-10-13 | Honeywell International Inc. | System for gain scheduling control |
| US7949417B2 (en) | 2006-09-22 | 2011-05-24 | Exxonmobil Research And Engineering Company | Model predictive controller solution analysis process |
| US7881815B2 (en) * | 2007-07-12 | 2011-02-01 | Honeywell International Inc. | Method and system for process control |
| US8761909B2 (en) * | 2007-11-30 | 2014-06-24 | Honeywell International Inc. | Batch process monitoring using local multivariate trajectories |
| DE102008028777A1 (de) * | 2008-06-17 | 2009-12-24 | Siemens Aktiengesellschaft | Leitsystem einer Anlage mit mehrstufiger Modelloptimierung |
| US8060290B2 (en) | 2008-07-17 | 2011-11-15 | Honeywell International Inc. | Configurable automotive controller |
| US20110307155A1 (en) * | 2009-02-24 | 2011-12-15 | Simard Christian | Method and system for limiting a dynamic parameter of a vehicle |
| WO2010138452A1 (en) * | 2009-05-29 | 2010-12-02 | Aspen Technology, Inc. | Apparatus and method for model quality estimation and model adaptation in multivariable process control |
| US9141911B2 (en) | 2009-05-29 | 2015-09-22 | Aspen Technology, Inc. | Apparatus and method for automated data selection in model identification and adaptation in multivariable process control |
| US8620461B2 (en) | 2009-09-24 | 2013-12-31 | Honeywell International, Inc. | Method and system for updating tuning parameters of a controller |
| JP5732066B2 (ja) | 2009-12-02 | 2015-06-10 | シエル・インターナシヨネイル・リサーチ・マーチヤツピイ・ベー・ウイＳｈｅｌｌ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ Ｒｅｓｅａｒｃｈ Ｍａａｔｓｃｈａｐｐｉｊ Ｂｅｓｌｏｔｅｎｖｅｎｎｏｏｔｓｈａｐ | 先進的プロセス制御とプロセスの実時間最適化とを協調させるための方法、システム及び製造品 |
| DE102009059073A1 (de) * | 2009-12-18 | 2011-06-22 | Bayer Technology Services GmbH, 51373 | Datenbasierte Modelle zur Prognose und Optimierung von Schneckenextrudern und/oder Extrusionsverfahren |
| FR2958911B1 (fr) * | 2010-04-19 | 2012-04-27 | Snecma | Procede et systeme de surveillance du niveau d'huile contenue dans un reservoir d'un moteur d'aeronef |
| US8682635B2 (en) * | 2010-05-28 | 2014-03-25 | Rockwell Automation Technologies, Inc. | Optimal self-maintained energy management system and use |
| US8504175B2 (en) * | 2010-06-02 | 2013-08-06 | Honeywell International Inc. | Using model predictive control to optimize variable trajectories and system control |
| US11465640B2 (en) * | 2010-06-07 | 2022-10-11 | Affectiva, Inc. | Directed control transfer for autonomous vehicles |
| US8452719B2 (en) | 2010-06-29 | 2013-05-28 | Rockwell Automation Technologies, Inc. | Extrapolating empirical models for control, prediction, and optimization applications |
| DE102010017687A1 (de) * | 2010-07-01 | 2012-01-05 | Claas Selbstfahrende Erntemaschinen Gmbh | Verfahren zur Einstellung zumindest eines Arbeitsorganes einer selbstfahrenden Erntemaschine |
| EP2433185B8 (de) * | 2010-08-05 | 2013-07-03 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Vorrichtung und verfahren zum bearbeiten einer prozesssimulationsdatenbasis eines prozesses |
| US20120239169A1 (en) * | 2011-03-18 | 2012-09-20 | Rockwell Automation Technologies, Inc. | Transparent models for large scale optimization and control |
| US8874242B2 (en) * | 2011-03-18 | 2014-10-28 | Rockwell Automation Technologies, Inc. | Graphical language for optimization and use |
| KR101749096B1 (ko) * | 2011-05-12 | 2017-06-21 | 한국전자통신연구원 | Ｌｄｐｃ 부호의 복호화 방법 및 장치 |
| US8489632B1 (en) * | 2011-06-28 | 2013-07-16 | Google Inc. | Predictive model training management |
| US9324193B2 (en) * | 2011-09-08 | 2016-04-26 | The Boeing Company | Methods and systems for cost-based control of aircraft health data reporting |
| US9677493B2 (en) | 2011-09-19 | 2017-06-13 | Honeywell Spol, S.R.O. | Coordinated engine and emissions control system |
| US8370279B1 (en) | 2011-09-29 | 2013-02-05 | Google Inc. | Normalization of predictive model scores |
| US9650934B2 (en) | 2011-11-04 | 2017-05-16 | Honeywell spol.s.r.o. | Engine and aftertreatment optimization system |
| US20130111905A1 (en) | 2011-11-04 | 2013-05-09 | Honeywell Spol. S.R.O. | Integrated optimization and control of an engine and aftertreatment system |
| FI124621B (en) * | 2011-12-23 | 2014-11-14 | Aalto Korkeakoulusäätiö | Method for detecting faults in an industrial process or part thereof or for controlling and / or optimizing an industrial process or part thereof |
| JP6193891B2 (ja) | 2012-02-08 | 2017-09-06 | アスペン テクノロジー インコーポレイテッド | 調整可能なトレードオフ係数を用いて非干渉性の閉ループステップ試験を行う装置および方法 |
| US9878738B2 (en) * | 2012-03-28 | 2018-01-30 | Robert Bosch Gmbh | Non-linear compensation controller for active steering system in a vehicle |
| US9122261B2 (en) * | 2012-04-24 | 2015-09-01 | Honeywell International Inc. | Apparatus and method for real-time sequential quadratic programming in industrial process control systems |
| US9147153B2 (en) | 2012-11-06 | 2015-09-29 | Rockwell Automation Technologies, Inc. | Empirical modeling with globally enforced general constraints |
| US9849785B1 (en) * | 2012-12-10 | 2017-12-26 | The United States Of America, As Represented By The Secretary Of The Navy | Method and apparatus for state space trajectory control of uncertain dynamical systems |
| US9141915B2 (en) * | 2013-01-30 | 2015-09-22 | Siemens Aktiengesellschaft | Method and apparatus for deriving diagnostic data about a technical system |
| US9728184B2 (en) | 2013-06-18 | 2017-08-08 | Microsoft Technology Licensing, Llc | Restructuring deep neural network acoustic models |
| US9311298B2 (en) | 2013-06-21 | 2016-04-12 | Microsoft Technology Licensing, Llc | Building conversational understanding systems using a toolset |
| US9589565B2 (en) | 2013-06-21 | 2017-03-07 | Microsoft Technology Licensing, Llc | Environmentally aware dialog policies and response generation |
| WO2015116326A1 (en) * | 2014-01-30 | 2015-08-06 | Exxonmobil Research And Engineering Company | Real time optimization of batch processes |
| US9324321B2 (en) | 2014-03-07 | 2016-04-26 | Microsoft Technology Licensing, Llc | Low-footprint adaptation and personalization for a deep neural network |
| US9529794B2 (en) | 2014-03-27 | 2016-12-27 | Microsoft Technology Licensing, Llc | Flexible schema for language model customization |
| US9614724B2 (en) | 2014-04-21 | 2017-04-04 | Microsoft Technology Licensing, Llc | Session-based device configuration |
| US20150301510A1 (en) * | 2014-04-22 | 2015-10-22 | Siegmund Düll | Controlling a Target System |
| US9520127B2 (en) | 2014-04-29 | 2016-12-13 | Microsoft Technology Licensing, Llc | Shared hidden layer combination for speech recognition systems |
| US9384335B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content delivery prioritization in managed wireless distribution networks |
| US9384334B2 (en) | 2014-05-12 | 2016-07-05 | Microsoft Technology Licensing, Llc | Content discovery in managed wireless distribution networks |
| US10111099B2 (en) | 2014-05-12 | 2018-10-23 | Microsoft Technology Licensing, Llc | Distributing content in managed wireless distribution networks |
| US9430667B2 (en) | 2014-05-12 | 2016-08-30 | Microsoft Technology Licensing, Llc | Managed wireless distribution network |
| US9874914B2 (en) | 2014-05-19 | 2018-01-23 | Microsoft Technology Licensing, Llc | Power management contracts for accessory devices |
| US10037202B2 (en) | 2014-06-03 | 2018-07-31 | Microsoft Technology Licensing, Llc | Techniques to isolating a portion of an online computing service |
| US9367490B2 (en) | 2014-06-13 | 2016-06-14 | Microsoft Technology Licensing, Llc | Reversible connector for accessory devices |
| US10379503B2 (en) | 2014-07-21 | 2019-08-13 | Honeywell International Inc. | Apparatus and method for calculating proxy limits to support cascaded model predictive control (MPC) |
| US9733629B2 (en) | 2014-07-21 | 2017-08-15 | Honeywell International Inc. | Cascaded model predictive control (MPC) approach for plantwide control and optimization |
| EP3051367B1 (en) | 2015-01-28 | 2020-11-25 | Honeywell spol s.r.o. | An approach and system for handling constraints for measured disturbances with uncertain preview |
| EP3056706A1 (en) | 2015-02-16 | 2016-08-17 | Honeywell International Inc. | An approach for aftertreatment system modeling and model identification |
| EP3274928A4 (en) | 2015-03-27 | 2018-12-12 | Equifax, Inc. | Optimizing neural networks for risk assessment |
| US10031510B2 (en) | 2015-05-01 | 2018-07-24 | Aspen Technology, Inc. | Computer system and method for causality analysis using hybrid first-principles and inferential model |
| EP3091212A1 (en) | 2015-05-06 | 2016-11-09 | Honeywell International Inc. | An identification approach for internal combustion engine mean value models |
| EP3734375B1 (en) | 2015-07-31 | 2023-04-05 | Garrett Transportation I Inc. | Quadratic program solver for mpc using variable ordering |
| US10272779B2 (en) | 2015-08-05 | 2019-04-30 | Garrett Transportation I Inc. | System and approach for dynamic vehicle speed optimization |
| CN105549422B (zh) * | 2016-01-06 | 2018-11-06 | 深圳华强智能技术有限公司 | 基于Maya软件的机构运动轨迹规划方法 |
| US10139809B2 (en) | 2016-01-14 | 2018-11-27 | Rockwell Automation Technologies, Inc. | Optimization based controller tuning systems and methods |
| US10528038B2 (en) * | 2016-01-14 | 2020-01-07 | Rockwell Automation Technologies, Inc. | Optimization-based control with open modeling architecture systems and methods |
| US10415492B2 (en) | 2016-01-29 | 2019-09-17 | Garrett Transportation I Inc. | Engine system with inferential sensor |
| US10036338B2 (en) | 2016-04-26 | 2018-07-31 | Honeywell International Inc. | Condition-based powertrain control system |
| US10124750B2 (en) | 2016-04-26 | 2018-11-13 | Honeywell International Inc. | Vehicle security module system |
| EP3535697A4 (en) | 2016-11-07 | 2020-07-01 | Equifax Inc. | OPTIMIZATION OF AUTOMATIC MODELING ALGORITHMS FOR RISK ASSESSMENT AND GENERATION OF EXPLANATORY DATA |
| US11199120B2 (en) | 2016-11-29 | 2021-12-14 | Garrett Transportation I, Inc. | Inferential flow sensor |
| JP6837848B2 (ja) * | 2017-01-27 | 2021-03-03 | オークマ株式会社 | 診断装置 |
| US10466684B2 (en) | 2017-05-25 | 2019-11-05 | Honeywell International Inc. | Apparatus and method for adjustable identification of controller feasibility regions to support cascaded model predictive control (MPC) |
| US10580228B2 (en) * | 2017-07-07 | 2020-03-03 | The Boeing Company | Fault detection system and method for vehicle system prognosis |
| EP3428746B1 (en) * | 2017-07-14 | 2021-06-02 | Siemens Aktiengesellschaft | A method and apparatus for providing an adaptive self-learning control program for deployment on a target field device |
| CN107679557B (zh) * | 2017-09-19 | 2020-11-27 | 平安科技（深圳）有限公司 | 驾驶模型训练方法、驾驶人识别方法、装置、设备及介质 |
| US11057213B2 (en) | 2017-10-13 | 2021-07-06 | Garrett Transportation I, Inc. | Authentication system for electronic control unit on a bus |
| US10908562B2 (en) | 2017-10-23 | 2021-02-02 | Honeywell International Inc. | Apparatus and method for using advanced process control to define real-time or near real-time operating envelope |
| TWI625682B (zh) * | 2017-12-01 | 2018-06-01 | 財團法人工業技術研究院 | 參數最佳化方法、裝置以及非暫態電腦可讀取媒體 |
| US11200489B2 (en) | 2018-01-30 | 2021-12-14 | Imubit Israel Ltd. | Controller training based on historical data |
| CN108470095B (zh) * | 2018-03-07 | 2021-04-02 | 大连理工大学 | 基于数据驱动径向基函数模型的tbm推进力预测方法 |
| RU182315U1 (ru) * | 2018-05-31 | 2018-08-14 | Федеральное государственное бюджетное образовательное учреждение высшего образования "МИРЭА - Российский технологический университет" | Импульсный кусочно-линейный аппроксиматор нелинейных функций |
| US11681929B2 (en) * | 2018-10-02 | 2023-06-20 | Honeywell International Inc. | Methods and systems for predicting a remaining useful life of a component using an accelerated failure time model |
| CN109614571B (zh) * | 2018-10-09 | 2023-05-12 | 创新先进技术有限公司 | 非线性规划问题的处理方法及装置 |
| US10558913B1 (en) * | 2018-10-24 | 2020-02-11 | Equifax Inc. | Machine-learning techniques for monotonic neural networks |
| US11468315B2 (en) | 2018-10-24 | 2022-10-11 | Equifax Inc. | Machine-learning techniques for monotonic neural networks |
| US11934159B2 (en) | 2018-10-30 | 2024-03-19 | Aspentech Corporation | Apparatus and methods for non-invasive closed loop step testing with controllable optimization relaxation |
| EP3699699A1 (de) * | 2019-02-19 | 2020-08-26 | Siemens Aktiengesellschaft | Verfahren zum bereitstellen eines modells für zumindest eine maschine, trainingssystem, verfahren zum simulieren eines betriebs einer maschine sowie simulationssystem |
| EP3966641A1 (en) | 2019-05-09 | 2022-03-16 | Aspen Technology, Inc. | Combining machine learning with domain knowledge and first principles for modeling in the process industries |
| US11782401B2 (en) | 2019-08-02 | 2023-10-10 | Aspentech Corporation | Apparatus and methods to build deep learning controller using non-invasive closed loop exploration |
| WO2021076760A1 (en) | 2019-10-18 | 2021-04-22 | Aspen Technology, Inc. | System and methods for automated model development from plant historical data for advanced process control |
| CN112070270B (zh) * | 2020-08-05 | 2022-12-20 | 杭州未名信科科技有限公司 | 一种时序预测的网络模型及使用方法 |
| EP4040240A1 (de) | 2021-02-08 | 2022-08-10 | Siemens Aktiengesellschaft | Integrierendes modell für ein technisches system und verfahren zu dessen bereitstellung |
| US11630446B2 (en) | 2021-02-16 | 2023-04-18 | Aspentech Corporation | Reluctant first principles models |
| US11592846B1 (en) * | 2021-11-10 | 2023-02-28 | Beta Air, Llc | System and method for autonomous flight control with mode selection for an electric aircraft |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05143108A (ja) * | 1991-11-20 | 1993-06-11 | Hitachi Ltd | プロセスの適応制御方法 |
| JPH05232986A (ja) * | 1992-02-21 | 1993-09-10 | Hitachi Ltd | 音声信号用前処理方法 |
| JPH08121704A (ja) * | 1994-10-20 | 1996-05-17 | Babcock Hitachi Kk | ボイラの蒸気温度制御装置 |
| JPH08211903A (ja) * | 1995-02-06 | 1996-08-20 | Meidensha Corp | モデル予測制御におけるオートチューニング装置 |
Family Cites Families (45)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2031765C (en) | 1989-12-08 | 1996-02-20 | Masahide Nomura | Method and system for performing control conforming with characteristics of controlled system |
| ES2112853T3 (es) * | 1990-10-10 | 1998-04-16 | Honeywell Inc | Identificacion de sistemas de proceso. |
| EP0524317A4 (en) * | 1991-02-08 | 1995-02-15 | Tokyo Shibaura Electric Co | Model forecasting controller |
| US5675253A (en) | 1991-11-20 | 1997-10-07 | Auburn International, Inc. | Partial least square regression techniques in obtaining measurements of one or more polymer properties with an on-line nmr system |
| US5353207A (en) | 1992-06-10 | 1994-10-04 | Pavilion Technologies, Inc. | Residual activation neural network |
| US5477444A (en) * | 1992-09-14 | 1995-12-19 | Bhat; Naveen V. | Control system using an adaptive neural network for target and path optimization for a multivariable, nonlinear process |
| US5377307A (en) | 1992-10-07 | 1994-12-27 | Schlumberger Technology Corporation | System and method of global optimization using artificial neural networks |
| US5740033A (en) | 1992-10-13 | 1998-04-14 | The Dow Chemical Company | Model predictive controller |
| US5479573A (en) | 1992-11-24 | 1995-12-26 | Pavilion Technologies, Inc. | Predictive network with learned preprocessing parameters |
| US5729661A (en) | 1992-11-24 | 1998-03-17 | Pavilion Technologies, Inc. | Method and apparatus for preprocessing input data to a neural network |
| JPH0752662B2 (ja) * | 1992-12-26 | 1995-06-05 | 山一電機株式会社 | Ｉｃソケット |
| US5825646A (en) | 1993-03-02 | 1998-10-20 | Pavilion Technologies, Inc. | Method and apparatus for determining the sensitivity of inputs to a neural network on output parameters |
| US5687090A (en) * | 1994-09-01 | 1997-11-11 | Aspen Technology, Inc. | Polymer component characterization method and process simulation apparatus |
| US5519605A (en) | 1994-10-24 | 1996-05-21 | Olin Corporation | Model predictive control apparatus and method |
| US5704011A (en) | 1994-11-01 | 1997-12-30 | The Foxboro Company | Method and apparatus for providing multivariable nonlinear control |
| US5682309A (en) | 1995-04-28 | 1997-10-28 | Exxon Chemical Patents Inc. | Feedback method for controlling non-linear processes |
| US6314414B1 (en) | 1998-10-06 | 2001-11-06 | Pavilion Technologies, Inc. | Method for training and/or testing a neural network with missing and/or incomplete data |
| US6249712B1 (en) * | 1995-09-26 | 2001-06-19 | William J. N-O. Boiquaye | Adaptive control process and system |
| US6088689A (en) * | 1995-11-29 | 2000-07-11 | Hynomics Corporation | Multiple-agent hybrid control architecture for intelligent real-time control of distributed nonlinear processes |
| AU1843597A (en) | 1996-01-31 | 1997-08-22 | Asm America, Inc. | Model-based predictive control of thermal processing |
| US5877954A (en) * | 1996-05-03 | 1999-03-02 | Aspen Technology, Inc. | Hybrid linear-neural network process control |
| US6110214A (en) * | 1996-05-03 | 2000-08-29 | Aspen Technology, Inc. | Analyzer for modeling and optimizing maintenance operations |
| US5809490A (en) * | 1996-05-03 | 1998-09-15 | Aspen Technology Inc. | Apparatus and method for selecting a working data set for model development |
| US5933345A (en) | 1996-05-06 | 1999-08-03 | Pavilion Technologies, Inc. | Method and apparatus for dynamic and steady state modeling over a desired path between two end points |
| US6839599B2 (en) | 1996-05-06 | 2005-01-04 | Pavilion Technologies, Inc. | Kiln/cooler control and upset recovery using a combination of model predictive control and expert systems |
| US6493596B1 (en) | 1996-05-06 | 2002-12-10 | Pavilion Technologies, Inc. | Method and apparatus for controlling a non-linear mill |
| US6047221A (en) | 1997-10-03 | 2000-04-04 | Pavilion Technologies, Inc. | Method for steady-state identification based upon identified dynamics |
| US7149590B2 (en) | 1996-05-06 | 2006-12-12 | Pavilion Technologies, Inc. | Kiln control and upset recovery using a model predictive control in series with forward chaining |
| US5847952A (en) | 1996-06-28 | 1998-12-08 | Honeywell Inc. | Nonlinear-approximator-based automatic tuner |
| US6246972B1 (en) * | 1996-08-23 | 2001-06-12 | Aspen Technology, Inc. | Analyzer for modeling and optimizing maintenance operations |
| US6363289B1 (en) | 1996-09-23 | 2002-03-26 | Pavilion Technologies, Inc. | Residual activation neural network |
| US6106785A (en) | 1997-06-30 | 2000-08-22 | Honeywell Inc. | Polymerization process controller |
| WO1999014642A1 (en) * | 1997-09-12 | 1999-03-25 | Cambridge Consultants Limited | Machine controller calibration process |
| US6453308B1 (en) | 1997-10-01 | 2002-09-17 | Aspen Technology, Inc. | Non-linear dynamic predictive device |
| US6122557A (en) | 1997-12-23 | 2000-09-19 | Montell North America Inc. | Non-linear model predictive control method for controlling a gas-phase reactor including a rapid noise filter and method therefor |
| DE19824433A1 (de) * | 1998-05-30 | 1999-12-02 | Ziemann Gmbh Maschinenfabrik A | Verfahren und Vorrichtung zur Regelung des Würzeabflusses aus einem Läuterbottich |
| US6594620B1 (en) | 1998-08-17 | 2003-07-15 | Aspen Technology, Inc. | Sensor validation apparatus and method |
| US20010025232A1 (en) * | 1998-10-02 | 2001-09-27 | Klimasauskas Casimir C. | Hybrid linear-neural network process control |
| US6882992B1 (en) | 1999-09-02 | 2005-04-19 | Paul J. Werbos | Neural networks for intelligent control |
| US6862562B1 (en) * | 1999-10-05 | 2005-03-01 | Aspen Technology, Inc. | Computer method and apparatus for determining state of physical properties in a chemical process |
| US6654649B2 (en) * | 1999-12-22 | 2003-11-25 | Aspen Technology, Inc. | Computer method and apparatus for optimized controller in a non-linear process |
| US6826521B1 (en) | 2000-04-06 | 2004-11-30 | Abb Automation Inc. | System and methodology and adaptive, linear model predictive control based on rigorous, nonlinear process model |
| US6704336B1 (en) | 2000-07-22 | 2004-03-09 | Joseph Reid Henrichs | Folded cavity surface emitting laser |
| US6816822B1 (en) | 2000-08-16 | 2004-11-09 | Abb Automation Inc. | System and method for dynamic modeling, parameter estimation and optimization for processes having operating targets |
| US7123971B2 (en) * | 2004-11-05 | 2006-10-17 | Pegasus Technologies, Inc. | Non-linear model with disturbance rejection |
-
2001
- 2001-06-27 EP EP01946713A patent/EP1295185B9/en not_active Expired - Lifetime
- 2001-06-27 JP JP2002508154A patent/JP4918207B2/ja not_active Expired - Lifetime
- 2001-06-27 AT AT01946713T patent/ATE261137T1/de not_active IP Right Cessation
- 2001-06-27 CA CA2414707A patent/CA2414707C/en not_active Expired - Fee Related
- 2001-06-27 WO PCT/US2001/020218 patent/WO2002003152A2/en active IP Right Grant
- 2001-06-27 US US09/892,586 patent/US7330804B2/en not_active Expired - Lifetime
- 2001-06-27 DE DE60102242T patent/DE60102242T2/de not_active Expired - Lifetime
- 2001-06-27 CA CA2696152A patent/CA2696152A1/en not_active Abandoned
-
2007
- 2007-10-29 US US11/978,320 patent/US7630868B2/en not_active Expired - Lifetime
-
2009
- 2009-11-10 US US12/615,754 patent/US8296107B2/en not_active Expired - Lifetime
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05143108A (ja) * | 1991-11-20 | 1993-06-11 | Hitachi Ltd | プロセスの適応制御方法 |
| JPH05232986A (ja) * | 1992-02-21 | 1993-09-10 | Hitachi Ltd | 音声信号用前処理方法 |
| JPH08121704A (ja) * | 1994-10-20 | 1996-05-17 | Babcock Hitachi Kk | ボイラの蒸気温度制御装置 |
| JPH08211903A (ja) * | 1995-02-06 | 1996-08-20 | Meidensha Corp | モデル予測制御におけるオートチューニング装置 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019142242A1 (ja) * | 2018-01-16 | 2019-07-25 | オリンパス株式会社 | データ処理システムおよびデータ処理方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| ATE261137T1 (de) | 2004-03-15 |
| JP4918207B2 (ja) | 2012-04-18 |
| EP1295185A2 (en) | 2003-03-26 |
| DE60102242D1 (de) | 2004-04-08 |
| US20100057222A1 (en) | 2010-03-04 |
| EP1295185B1 (en) | 2004-03-03 |
| CA2414707C (en) | 2011-08-16 |
| CA2414707A1 (en) | 2002-01-10 |
| US7330804B2 (en) | 2008-02-12 |
| US7630868B2 (en) | 2009-12-08 |
| US20080071394A1 (en) | 2008-03-20 |
| US20020072828A1 (en) | 2002-06-13 |
| DE60102242T2 (de) | 2005-01-27 |
| CA2696152A1 (en) | 2002-01-10 |
| WO2002003152A2 (en) | 2002-01-10 |
| WO2002003152A3 (en) | 2002-07-25 |
| EP1295185B9 (en) | 2005-01-05 |
| US8296107B2 (en) | 2012-10-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4918207B2 (ja) | 経験的プロセスの非線形近似器を制約するコンピュータ装置とその方法 | |
| Lee et al. | Approximate dynamic programming-based approaches for input–output data-driven control of nonlinear processes | |
| US8577481B2 (en) | System and method for utilizing a hybrid model | |
| US7610108B2 (en) | Method and apparatus for attenuating error in dynamic and steady-state processes for prediction, control, and optimization | |
| US9329582B2 (en) | Method and apparatus for minimizing error in dynamic and steady-state processes for prediction, control, and optimization | |
| US7050866B2 (en) | Dynamic controller for controlling a system | |
| US8046089B2 (en) | Apparatus and method for model predictive control (MPC) of a nonlinear process | |
| EP0645025A1 (en) | System and method for controlling a plant | |
| Jafari et al. | Adaptive type-2 fuzzy backstepping control of uncertain fractional-order nonlinear systems with unknown dead-zone | |
| Potočnik et al. | Nonlinear model predictive control of a cutting process | |
| JP2000514217A (ja) | 非線形近似機構式の自動チューナ | |
| Özbek et al. | Design of an optimal fractional fuzzy gain-scheduled Smith Predictor for a time-delay process with experimental application | |
| Beyhan et al. | Stable modeling based control methods using a new RBF network | |
| JP2009175917A (ja) | 制御パラメータ調整方法および制御パラメータ調整プログラム | |
| Chidrawar et al. | Generalized predictive control and neural generalized predictive control | |
| Chen et al. | A nonlinear control scheme for imprecisely known processes using the sliding mode and neural fuzzy techniques | |
| Joy et al. | Approximate dynamic programming‐based control of distributed parameter systems | |
| JPH0588900A (ja) | 学習型フアジイ制御装置および制御方法 | |
| JPH0272404A (ja) | メンバーシップ関数決定方法 | |
| Kim | Applying Conjugate Gradient Method Based Backpropagation Algorithm to Chemical Processing System | |
| Vrabie et al. | Online adaptive optimal control based on reinforcement learning | |
| Gao | Local model network application in control | |
| IE20020064A1 (en) | Neural Network Training |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20080331 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100824 |
|
| A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20101110 |
|
| A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20101117 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110215 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110607 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110823 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120110 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120130 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150203 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4918207 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |