JP2014525096A - パターンシーケンスを用いるカーネル回帰モデリングを使用した監視方法 - Google Patents

Abstract

オブジェクトの状態を監視するための方法は、オブジェクトの正常な動作状態を示す参照データを取得することと、入力パターン配列を取得することとを含む。各入力パターン配列が、複数の時間順の入力ベクトルを有し、各入力ベクトルが、オブジェクトの現在の状態を示す複数のパラメータを表す入力値を有する。次いで、少なくとも１つのプロセッサが、入力パターン配列および参照データを使用して、入力値と参照データとの類似性測度を決定する計算に基づいて推定値を生成する。推定値は、対応する入力値と比較され、比較から得られる値を使用して、オブジェクトの状態を判定することができるようにする。
【選択図】図１

Description

本明細書に開示する主題は、概して、機械、システム、またはプロセスのようなオブジェクトの予測的状態監視および予想に使用されるカーネル回帰モデリングの分野に関し、より詳細には、監視されるオブジェクトの評価を行うためにパラメータの測定値を分析するための多変数モデルの使用に関する。

カーネル回帰は、非線形関数またはデータセット中の値間の関係を判定するために使用されるモデリングの形式であり、機械またはシステムを監視して、機械またはシステムの状態を判定するために使用される。カーネル回帰モデリングの１つの知られている形式は、米国特許第５，７６４，５０９号および第６，１８１，９７５号によって開示された類似性に基づくモデリング（ｓｉｍｉｌａｒｉｔｙ−ｂａｓｅｄ ｍｏｄｅｌｉｎｇ、ＳＢＭ）である。ＳＢＭについては、複数のセンサ信号が、監視されている機械、システム、または他のオブジェクトの物理的に相関性のあるパラメータを測定して、センサデータを提供する。パラメータデータは、信号からの実際の値または現在の値、あるいはセンサ信号に基づくかどうかにかかわらず他の計算されたデータを含むことがある。パラメータデータは、次に経験的モデルによって処理されて、こうした値の推定値を提供する。推定値は、次に実際の値または現在の値と比較されて、監視されているシステムに障害が存在するかどうかを判定する。

より具体的には、モデルは、知られている動作状態を表すセンサ値の選択された履歴パターンの参照ライブラリを使用して推定値を生成する。こうしたパターンは、ベクトル、スナップショット、または観測値（ｏｂｓｅｒｖａｔｉｏｎ）とも呼ばれ、同時に監視されている機械の状態を示す複数のセンサ値からの値、または他の入力データを含む。参照ライブラリからの参照ベクトルの場合、ベクトルは通常、監視されている機械の正常な動作を示す。モデルは、現在の時間からのベクトルを、参照ライブラリの既知の状態からのいくつかの選択された学習ベクトル（ｌｅａｒｎｅｄ ｖｅｃｔｏｒ）と比較して、システムの現在の状態を推定する。一般的に言えば、現在のベクトルは、参照ライブラリからの選択されたベクトルで作成される行列と比較されて、重みベクトルを形成する。さらなるステップにおいて、重みベクトルに行列を掛けて、推定値のベクトルを計算する。推定ベクトルは、次に現在のベクトルと比較される。ベクトル中の推定値と実際の値が十分に似ていない場合、これは監視されているオブジェクトに障害が存在することを示す可能性がある。

しかしながら、このカーネル回帰技法は、センサ信号中の時間領域情報を明示的に使用せず、代わりに、推定値を計算するとき、別個の、分断された同時発生パターンにおいてデータを扱う。例えば、現在のベクトルがそれぞれ個々に参照ライブラリのベクトルと比較されるので、どの順序で現在のベクトルが参照ライブラリのベクトルと比較されるかは重要ではなく、現在のベクトルがそれぞれ、その独自の対応する推定ベクトルを受け取ることになる。

いくつかの知られているモデルは、カーネル回帰モデリングの構築に時間領域情報を取り込む。例えば、複雑な信号の復元技術は、時変信号を、米国特許第６，９５７，１７２号および第７，４０９，３２０号によって開示されるように周波数成分に変換する、または米国特許第７，０８５，６７５号によって開示されるようにスペクトル特性に変換する。これらの成分または特性は、経験的モデリングエンジンへ個々の入力として提供され、したがって、単一の複合信号が、同時に発生する周波数値のパターンまたはベクトルで表される。経験モデリングエンジンは、取り込まれた成分の入力（現在または実際のベクトル）を期待値と比較して、実際の信号に関する、または時変信号を生成するシステムの状態に関するさらなる情報を引き出す。こうした方法は、音響または振動信号のような単一周期の信号を処理するように設計される。しかし、現在の各ベクトルは、入力ベクトルが表す時間にかかわらず参照ベクトルまたは期待ベクトルを有するベクトルの行列と比較されるので、複合信号のためのシステムを用いても、現在のベクトルの推定値を計算するとき、時間領域情報は重要ではない。

国際公開第０２／０８６７２６号

１つの態様では、オブジェクトの状態を監視するための方法は、オブジェクトの正常な動作状態を示す参照データを取得することと、入力パターン配列を取得することとを含む。各入力パターン配列が、複数の時間順の入力ベクトルを有し、各入力ベクトルが、オブジェクトの現在の状態を示す複数のパラメータを表す入力値を有する。次いで、少なくとも１つのプロセッサが、入力パターン配列および参照データを使用して、入力値と参照データとの類似性測度（ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ）を決定する計算に基づいて推定値を生成する。推定値は、対応する入力値と比較され、比較から得られる値を使用して、オブジェクトの状態を判定することができる。

別の態様では、オブジェクトの状態を監視するための方法は、オブジェクトの正常な動作状態を示す、複数の学習逐次パターン行列の形式の参照データを取得することを含む。この場合、各学習逐次パターン行列が、複数の参照ベクトルを有し、各参照ベクトルが、複数のパラメータを表す参照値を有する。この方法はまた、オブジェクトの現在の状態を示す複数のパラメータを表す入力データを取得することと、次いで少なくとも１つのプロセッサを使用し、入力データおよび学習逐次パターン行列を使用して、入力データと複数の参照行列中の参照値との類似性測度を決定する計算に基づいて推定値を生成することとを含む。その後、推定値は、対応する入力値と比較され、比較から得られる値を使用して、オブジェクトの状態を判定することができる。

さらに別の態様では、オブジェクトの状態を監視するための方法は、オブジェクトの正常な動作状態を示す参照データを取得することと、オブジェクトの現在の状態を示す複数のパラメータを表す入力データを取得することとを含む。次いでこの方法は、少なくとも１つのプロセッサによって、入力データと参照データの両方を使用して入力データと参照データとの類似性測度を決定する計算に基づいて推定値を生成することを含む。推定値は、複数の時間順の推定ベクトルを有する推定行列の形式で生成され、各推定ベクトルが、複数のパラメータを表す推定値を有する。この方法はさらに、推定行列によって表される各期間の少なくとも１つの推定ベクトルを、入力データと比較することを含み、比較から得られる値を使用して、オブジェクトの状態を判定することができるようにする。

別の形式では、オブジェクトの状態を判定するための監視システムは、オブジェクトの正常な動作状態を示す参照データと共に経験的モデルと、各入力パターン配列が複数の時間順の入力ベクトルを有する入力パターン配列とを有する。各入力ベクトルは、オブジェクトの現在の状態を示す複数のパラメータを表す入力値を有する。経験的モデルは、入力パターン配列および参照データを使用して、入力値と参照データとの類似性測度を決定する計算に基づいて推定値を生成するように構成される。次いで差分モジュールが、推定値を対応する入力値と比較して、比較から得られる値を使用してオブジェクトの状態を判定することができるようにする。

さらなる形式では、オブジェクトの状態を判定するための監視システムは、少なくとも１つのプロセッサによって処理される経験的モデルを有する。このモデルは、オブジェクトの正常な動作状態を示す、複数の学習逐次パターン行列の形式の参照データを含む。各学習逐次パターン行列が、複数の参照ベクトルを有し、各参照ベクトルが、複数のパラメータを表す参照値を有する。このモデルはまた、オブジェクトの現在の状態を示す複数のパラメータを表す入力データを有する。経験的モデルは、入力データおよび学習逐次パターン行列を使用して、入力データと参照値との類似性測度を決定する計算に基づいて推定値を生成するように構成される。このシステムはまた、推定値を対応する入力値と比較して、比較から得られる値を使用してオブジェクトの状態を判定することができるようにする差分モジュールを有する。

さらに別の形式では、オブジェクトの状態を判定するための監視システムは、オブジェクトの正常な動作状態を示す参照データを含む経験的モデルを有する。このモデルはまた、オブジェクトの現在の状態を示す複数のパラメータを表す入力データを有する。別の状況では経験的モデルは、入力データと参照データの両方を使用して入力データと参照データとの類似性測度を決定する計算に基づいて推定値を生成するように構成される。推定値は、複数の時間順の推定ベクトルを有する推定行列の形式で生成される。各推定ベクトルは、複数のパラメータを表す推定値を有する。このシステムはまた、推定行列によって表される各期間の少なくとも１つの推定ベクトルを入力データと比較して、比較から得られる値を使用して、オブジェクトの状態を判定することができるようにする差分モジュールを有する。

監視システムの例示的配置のブロック図である。 監視システムの基本的プロセスを示すフローチャートである。 自己連想型の類似性に基づくモデリングの式の概略図である。 推論型の類似性に基づくモデリングの式の１つの形式の概略図である。 推論型の類似性に基づくモデリングの式の別の形式の概略図である。 自己連想型の逐次類似性に基づくモデリングの式の概略図である。 モデル化されたセンサ次元（ｓｅｎｓｏｒ ｄｉｍｅｎｓｉｏｎ）において外挿する、推論型の逐次類似性に基づくモデリングの式の１つの形式の概略図である。 モデル化されたセンサ次元において外挿する、推論型の逐次類似性に基づくモデリングの式の別の形式の概略図である。 時間次元において外挿する、推論型の逐次類似性に基づくモデリングの式の概略図である。 時間次元において外挿する、推論型の逐次類似性に基づくモデリングの式の概略図である。 時間次元およびセンサ次元において外挿する、推論型の逐次類似性に基づくモデリングの式の概略図である。

時間領域情報をモデルに組み込むことによって、カーネル回帰モデル、および特に類似性に基づくモデルの精度を、実質的に向上させることができると判断されている。したがって、本監視システムおよび方法の１つの技術的効果は、産業プロセス、システム、または他のオブジェクトを監視する多数の周期的および非周期的なセンサ信号からの時間領域情報を取り込むことによって推定データを生成することである。本システムの技術的効果はまた、以下に詳細に説明するように、カーネル回帰モデルの中核を成す基本的な非線形計算を、ベクトル間の演算から行列間（または配列間）の演算に拡張する経験的モデルを稼働させることである。監視システムおよび方法の別の代替的技術効果は、将来の時間ポイントの仮想推定値または推論型推定値を生成して、推定値を生成するために使用される参照データが、監視されているオブジェクトの正常な動作を表すデータであるか、障害を示すオブジェクトからのデータによりよく一致する故障モードデータであるか、監視されているオブジェクトの将来の状態を判定することである。

図１を参照すると、時間領域情報を組み込む監視システム１０を、１つまたは複数のモジュールの形式でコンピュータプログラムに組み入れて、１つまたは複数のコンピュータ１００で、１つまたは複数のプロセッサ１０２により実行することができる。コンピュータ１００は、センサデータおよび／またはコンピュータプログラムを永久的か一時的かにかかわらず保持するための１つまたは複数のメモリ記憶デバイス１０４を、内部か外部かにかかわらず有することができる。１つの形式では、独立型コンピュータが、機器搭載機械、プロセスまたは生物を含む他のオブジェクト上のセンサからセンサデータを受信すること、パラメータ（温度、圧力など）を測定することに専念するプログラムを実行する。監視されているオブジェクトは、特に限定されないが、いくつかの例を挙げると、工場の１つもしくは複数の機械、１つもしくは複数の車両、またはジェットエンジンのような、車両に搭載される特定の機械とすることができる。センサデータは、コンピュータネットワークまたはインターネットを通じて有線によりまたは無線で、例えばデータ収集を行っているコンピュータまたはデータベースに送信することができる。１つまたは複数のプロセッサを備えた１つのコンピュータが、モジュールのすべてに対して監視タスクのすべてを行うことができる、または、各タスクまたはモジュールが、モジュールを実行する独自のコンピュータまたはプロセッサを有することができる。したがって、処理は、単一の場所で行うことができる、または処理は、有線または無線ネットワークですべて接続された、多くの異なる場所で行うことができることが理解される。

図２を参照すると、監視システム１０によって行われるプロセス（３００）において、システムは、上述のように監視されているオブジェクト１６上のセンサ１２からデータまたは信号を受信する。このデータは、モデル１４によって使用されるように入力ベクトル３２に配置される。本明細書では、入力、実際の、および現在のという用語を交換可能に使用し、またベクトル、スナップショット、および観測値という用語を交換可能に使用する。入力ベクトル（または例えば実際のスナップショット）は、単一の瞬間に監視されている機械の動作状態を表す。

追加的に、または代替的に、入力ベクトル３２は、センサデータ（または生データ）に基づいて計算された、またはされていない計算データを含むことができる。これは、例えば、平均圧力または圧力の低下を含むことがある。入力ベクトル３２は、オブジェクト１６上のセンサによって表されない他の変数を表す値を有することもある。これは、例えばセンサデータが受け取られる日付（ｄａｙ ｏｆ ｔｈｅ ｙｅａｒ）の平均周囲温度などである可能性がある。

モデル１４は、ベクトル３２の形式でデータを取得し（３０２）、入力ベクトルを入力配列または行列に配置する（３０４）。しかしながら、モデル１４自体が、入力データからベクトル３２を形成する、またはデータをベクトルもしくは配列に編成する集まり（ｃｏｌｌｅｃｔｉｏｎ）もしくは入力のコンピュータもしくはプロセッサからベクトルを受け取ることができることが理解される。したがって、コンピュータ１００、コンピュータ１００の位置付近の、またはオブジェクト１６付近のような別の位置の別のコンピュータが、入力データをベクトル３２に配置することができる。

モデル１４はまた、参照ライブラリ１８からの参照ベクトルまたは行列の形式の、行列Ｈと呼ばれることもある参照データを取得する（３０６）。ライブラリ１８は、システムの履歴参照ベクトルのすべてを含むことができる。モデル１４は、次に参照データおよび入力配列を使用して、結果として生じる推定行列または配列の形式の推定値（３１０）を生成する。推定行列は、推定行列中の推定値と、入力配列中の対応する入力値との差（または残差）を測定する（３１２）差分モジュール２０に提供される。残差は次に、アラートまたは分析管理モジュール（または単にアラートモジュール）２２によって使用されて、障害が存在するかどうかを判定する（３１４）。

点線で示すように、監視システム１０はまた、参照ライブラリからのどのデータを使用して、部分集合または行列Ｄ（ｔ）（以下（図６）では、学習逐次パターン行列の３次元の集まりと呼ぶ）を形成して（３０８）、各入力配列中のベクトルと比較するかを変更する局所化モジュール２８を有することもある。別の方法では、参照データの行列Ｄ（ｔ）は、以下に詳細に説明するように、入力行列のすべてに対して同じままとすることができる。また、監視システムは、ライブラリ中のデータを更新するために、または例えばモデルがこれまでに経験のない機械の新しい正常状態を示すデータを受け取るときのような、あるイベントが発生するときに、入力ベクトルを参照ライブラリに継続的に入れる適応モジュール３０を有することができる。これについても以下に詳細に説明する。

アラートモジュール２２は、アラートならびに残差をインタフェースまたは出力モジュール２４に直接提供して、ユーザが自身の診断分析を行うようにすることができる、または診断モジュール２６は、障害の原因の正確な性質を分析して、出力モジュール２４を介してユーザに診断結果および深刻度評価（ｓｅｖｅｒｉｔｙ ｒａｔｉｎｇ）を報告するように提供することができる。

出力モジュール２４は、こうした結果を表示するための機構（例えばコンピュータ画面、ＰＤＡ画面、プリントアウト、またはウェブサーバ）、結果を格納するための機構（例えば、クエリ機能を備えたデータベース、フラットファイル、ＸＭＬファイル）、および／または結果を遠隔位置にもしくは他のコンピュータプログラムに伝えるための機構（例えば、ソフトウェアインタフェース、ＸＭＬデータグラム、電子メールのデータパケット、非同期メッセージ、同期メッセージ、ＦＴＰファイル、サービス、パイプでつながれたコマンド（ｐｉｐｅｄ ｃｏｍｍａｎｄ）など）を含むことができる。

経験的モデル１４のより詳細な説明は、カーネル回帰の一定の知識を必要とする。カーネル回帰のようなパターン認識技術では、パターンはベクトルとしてグループ化される（上述のような）入力データから成る。各ベクトルのデータは、時間の共通のポイントで機器から集められる。しかしここでは、以下にさらに詳細に説明するように、既存のカーネル回帰方法と関連する同時発生のセンサ値のパターン（ベクトル）は、時間の連続した瞬間からの逐次パターンまたは、時間の連続した瞬間からのパターンに適用される時間依存関数（例えば、フィルタ、時間導関数など）からの出力のような、時間的に関連する情報を用いて増強される。したがって、伝統的なカーネル回帰法によって処理される個々のパターン（ベクトル）は、配列を形成するパターンの時間的に関連するシーケンス（または単にパターン配列またはパターン行列）によって置き換えられる。

カーネル回帰、動径基底関数、および類似性に基づくモデリングを含む、すべてのカーネルに基づくモデリング技法は、次の式によって説明することができる：

ここで、センサ信号またはセンサ値の推定値のベクトルｘ_estは、カーネル関数Ｋの結果の重み付けされた和として生成され、センサ測定値の入力ベクトルｘ_newをセンサデータ、ｘ_iのＬ個の学習パターンと比較する。ｘ_iは、ベクトル（観測値、パターン、スナップショット、または標本（ｅｘｅｍｐｌａｒ）とも呼ばれる）の形式の参照データまたは学習データから形成される。カーネル関数の結果は、重みｃ_iに従って結合され、重みｃ_iはベクトルの形式であることがあり、いくつかの方法で決定することができる。上記の形式は「自己連想型」形式であり、この形式ではすべての推定出力信号はまた入力信号によって表される。言い換えれば、各入力値について、推定センサ値が計算される。これは、「推論型」形式と対照をなし、推論型形式ではある推定出力値が既存の入力値を表さず、代わりに以下の入力から推論される：

ただしこの場合、ｙ_estは、他のパラメータの入力ベクトルｘ_newをそれらのパラメータのＬ個の学習標本ｘ_iとカーネルに基づいて比較することから得られる推論されたセンサ推定値である。各学習標本ｘ_iは、推定されるパラメータの別の標本ベクトルｙ_iと関連付けられ、カーネルＫおよび（ｙ_iの少なくとも一部における関数である）ベクトルｃ_iに従って重み付けされた方法で結合されて、出力ｙ_estを予測する。同様にして、２つ以上のセンサを同時に推論することができる。

カーネルに基づく推定器に共通しているのは、カーネル関数、およびカーネルの結果および標本を組み入れるベクトルｃ_iに基づいて、標本の線形結合（例えば、標本の行列またはベクトル）から結果を生成することである。カーネル関数Ｋは、一般化された内積であるが、１つの形式では、ｘ_newおよびｘ_iが等しいとき、その絶対値が最大であるというさらなる特徴を有する。

本発明の１つの実施形態によれば、モデルを提供するために使用することができるカーネルに基づく推定は、以下のような、Ｎａｄａｒａｙａ−Ｗａｔｓｏｎカーネル回帰形式によって例示されるカーネル回帰である：

推論型形式では、パラメータ測定値の入力ベクトルｘ_newおよびＬ個の学習標本ｘ_iについてのカーネルＫ演算子の結果から、推論パラメータｙ_estの多変量の推定が生成され、それぞれ各ｘ_iと関連付けられるそれぞれの学習ベクトルｙ_iに従って線形結合され、カーネル結果の和によって正規化される。ｙ_iは、Ｘにおけるパラメータの学習測定値と関連付けられた（例えば同時に測定された）、Ｙにおけるパラメータに対するＬ個のセットの学習測定値を表す。例として、Ｘは、複数の圧力読取値（ｐｒｅｓｓｕｒｅ ｒｅａｄｉｎｇ）を含むことができ、Ｙは、共通のシステムからの複数の温度読取値（ｔｅｍｐｅｒａｔｕｒｅ ｒｅａｄｉｎｇ）を表すことができる。言い換えれば、圧力読取値を使用して重みを計算することができ、次に重みを、ｙ_i（欠落したパラメータの以前の値を有する参照ベクトル）を用いる計算に使用して、ｙ_estの推定温度読取値またはセンサ値を計算する。

カーネル回帰の自己連想型形式では、パラメータの多変量推定ｘ_estが、（例えば、以下に記載する標本の行列Ｄの形式で）それらのパラメータの学習測定値ｘ_iの正規化線形結合によって生成され、学習観測値ｘ_iに対する入力ベクトルｘ_newのカーネル演算の結果を掛けられる。

この例のカーネル回帰では、上記の式１および２からのｃ_iは、カーネル比較値の和によって正規化された学習標本で構成される。推定ベクトルｙ_estまたはｘ_estは、一連の推定パラメータを含み、これらは１つの例によれば、実際の測定値（推論の場合にはモデルに入力されないｘ_newまたはｙ_new）との差を計算されて残差を提供する。

カーネル回帰の特定の例では、本発明によるモデルとして、類似性に基づくモデル（ＳＢＭ）を使用することができる。Ｎａｄａｒａｙａ−Ｗａｔｓｏｎカーネル回帰は、一連の（場合によりノイズのある）学習標本を考慮して、平滑化された推定値である推定値を提供するが、ＳＢＭは、入力ベクトルが学習標本の１つと同一である場合のような、学習標本がたまたま同様に入力でもあるとき、学習標本に適合する補間推定値を提供する。これは、パラメータの偏差を検出する際に有利である可能性があり、こうした信号中のノイズは、（モデルを作成した元の標本と同様にノイズが存在していた場合）いくぶん過学習（ｏｖｅｒｆｉｔ）となって、Ｎａｄａｒａｙａ−Ｗａｔｓｏｎカーネル回帰手法と比較すると、残差からいくらかノイズを除去するためである。ＳＢＭは、カーネル関数Ｋを演算子

として書き換え、学習標本ｘ_iの集合を、ｘ_iが行を形成し、ｘ_iの観測値がその列を形成する要素を持つ行列Ｄとして等式化することによって、カーネルに基づく推定の一形式として理解することができる。したがって：

ここでＤは転置されており、結果として、Ｄの各観測値ｘ_iに対して１つの、カーネル値の列ベクトルが得られる。同様にして、すべての標本の互いとの比較は、次のように表すことができる：

次に、ＳＢＭの自己連想型形式は、以下により推定ベクトルを生成する：

ここで、ｘ_estは推定ベクトルであり、ｘ_newは入力観測値であり、Ｄは、パラメータの学習標本観測値の集合（または部分集合）を含む学習ベクトル行列である。類似度演算子またはカーネルは、記号

によって表され、被演算子のそれぞれから任意の２つのベクトルの比較に対する類似性スコアを表示する一般的性質を有する。したがって、第１の項

により、上記の式（６）に示すようにＤの観測値の数に等しいサイズの値の正方行列が得られることになる。項

により、式５に示すようにＤの各ベクトルに対する１つの類似度値の、類似度値のベクトルが得られることになる。この類似度演算子については、以下にさらに詳細に説明する。この式は、図３に概略的に示しており、式の各成分が、長方形のボックスで表すようにベクトルによっていかに形成されるかを示す。この例では、各ベクトルは、パラメータ１〜５に対するセンサ値を含む（ただしこれは、上述のように他の非センサ値を含むこともある）。数字１〜５は、どのパラメータが表されているかを示し、正確なセンサ値ではないことを理解されるであろう。したがって、センサ値自体は、式の部分ごとに異なるものとなる（例えば、パラメータ１に対する値は、ｘ_new中とＤ中のものと、ｘ_est中のものとで異なる可能性がある）。

式（７）については、入力ベクトル群の中の時間領域情報が無視されて推定を生成することも理解されるであろう。言い換えれば、式（７）は単一入力ベクトルｘ_newを使用することによって推定ベクトルを生成するので、入力ベクトル群中のベクトルが分析されて推定ベクトルを生成する順序は、主として重要ではない。時間に関連するある順序（逐次など）が、その後例えば障害が存在するかを判定する、または特定のタイプの障害を診断するプロセスにおいて必要である場合、推定を生成した後にベクトルを望み通りに順序付けることができる。

推定は、次の式により、データの起源に非依存とすることによってさらに改善することができ、推定は、類似度演算子から生成される「重み」の和で割ることによって正規化される：

類似性に基づくモデリングの推論型形式では、推論パラメータのベクトルｙ_estは、以下により学習観測値および入力から推定される：

ここで、Ｄ_inは、ｘ_in中の実際のセンサ値（またはパラメータ）と同じ数の列を有し、Ｄ_outは、推論パラメータまたはセンサを含むパラメータの総数と同じ数の列を有する。式（９）を図４に概略的に示して、ベクトルの位置、入力値（１から５）、および結果として生じる推論値（６〜７）を示す。

１つの形式では、学習標本Ｄ_aの行列は、入力ベクトルｘ_in中のセンサ値にマップする列と、推論センサにマップする列の両方を含んだ集約行列（ａｇｇｒｅｇａｔｅ ｍａｔｒｉｘ）として理解することができる：

正規化は、前述のように重み付けの和を使用する：

Ｄ_outを学習標本Ｄ_aの密行列（ｆｕｌｌ ｍａｔｒｉｘ）で置き換えることによって、類似性に基づくモデリングが、入力センサ（自己連想型形式）および推論センサ（推論型形式）について推定を同時に計算することができることに注意すべきである：

図５を参照すると、式（１２）は、入力値と推論値の両方に参照値を有する行列Ｄ_aを使用する。これにより、代表的な入力値と推論値の両方を有する推定ベクトルが得られる。

上記と同様のさらに別のカーネルに基づくモデリング技法は、動径基底関数の技法である。神経学的構造（ｎｅｕｒｏｌｏｇｉｃａｌ ｓｔｒｕｃｔｕｒｅ）に基づいて、動径基底関数は、ニューラルネットワークの特殊な形式で受容野を活用し、各基底関数は、入力ベクトルのｎ次元の空間に受容野を形成し、ニューラルネットワークにおける隠れ層のノードで表される。受容野は、上述のカーネルの形式を有し、受容野の「中心」は、特定の隠れユニットが表す標本である。標本と同数の隠れユニットの受容野がある。多変量入力観測値は、隠れ層と十分に接続された入力層に入る。したがって、各隠れユニットが、完全な多変量入力観測値を受け取り、入力が受容野の「中心」にマッチするとき最大であり、次第に異なるように（上述のＳＢＭと同類に）なるにつれて小さくなる結果を生み出す。受容野ノードの隠れ層の出力は、（上記の式１のように）重みｃ_iにより結合される。

上述のようにカーネルは、様々な考えられるカーネルから選択することができ、１つの形式では、カーネルが、そのカーネルによって返されるすべての値の最大絶対値を有する、２つの同一ベクトルの比較のために値（または類似性スコア）を返すように選択される。本明細書ではいくつかの例を提供しているが、これらは本発明の範囲を限定することを意図されていない。以下は、任意の２つのベクトルｘ_aおよびｘ_bを比較するために本発明により使用することができるカーネル／類似度演算子の例である。

式１３〜１５では、２つのベクトルのベクトル差分、または「ノルム」を使用し、一般的にはこれは、２ノルムであるが、１ノルムまたはｐノルムであることも可能である。パラメータｈは、一般的にはカーネルの「帯域幅」と呼ばれることが多い定数であり、各標本が重要な結果を返す「フィールド（ｆｉｅｌｄ）」のサイズに影響を与える。冪指数（ｐｏｗｅｒ）λもまた使用することができるが、１に等しく設定することができる。標本ｘ_iごとに異なるｈおよびλを使用することができる。１つの手法により、ベクトル差分またはノルムを用いるカーネルを使用するとき、測定データを最初に、例えばそのセンサのデータセットの最小読取値の値を、すべてのセンサ値に加え、またはすべてのセンサ値から減じ、次にすべての結果をそのセンサの範囲で割ることによって、０から１の範囲（または他の選択範囲）に正規化すべきである。あるいは、データは、標準偏差を１（または何らかの他の定数）に設定したゼロ中心の平均データ（ｚｅｒｏ−ｃｅｎｔｅｒｅｄ ｍｅａｎ ｄａｔａ）に変換することによって、正規化することができる。さらに、本発明によるカーネル／類似度演算子は、観測値の要素の観点から定義することもでき、すなわち、ベクトルの各次元で類似度を判定し、そうした個々の要素の類似度を何らかの方法で結合して、全体的なベクトル類似度を提供する。一般的にはこれは、任意の２つのベクトルｘおよびｙのカーネル比較のために要素の類似度を平均化することと同じ程度に単純なものとすることができる：

このとき本発明により使用することができる要素の類似度演算子は、限定ではなく、以下を含む：

帯域幅ｈは、上に示すような要素のカーネルの場合に、観測値ベクトルの第ｍパラメータの予想範囲のある種の尺度（ｍｅａｓｕｒｅ）となるように選択することができる。これは、例えば、すべての標本にわたってパラメータの最大値と最小値の差を見つけることによって決定することができる。あるいは、標本または参照ベクトルに存在するデータにかかわりなく領域知識（ｄｏｍａｉｎ ｋｎｏｗｌｅｄｇｅ）を使用して設定することができる。さらに、差分関数を使用するベクトルと要素のカーネルの両方について、帯域幅で割られた差分が１より大きい場合、これを１に等しく設定することができ、その結果、例えば式１４、１５、１８、および１９についてはカーネル値がゼロとなることに注意すべきである。また、カーネルまたは類似度演算子は、１、ｈ、λなどの代わりに異なる定数を加算または乗算することによって変更可能であることは容易に理解することができる。例えば、三角関数を使用することもできる：

１つの形式では、類似度演算子またはカーネルは、一般的に、２つの同次元ベクトルを比較するための類似性スコアを提供し、この類似性スコアは、
１．各端部に境界を有するスカラ範囲にある、
２．２つのベクトルが同一である場合、境界となる端部の一方で１（または他の選択値）の値を有する、
３．スカラ範囲にわたって単調に変化する、および
４．２つのベクトルが等しくなるにつれて増加する絶対値を有する。

モデリングのための上記の方法のすべてが、前述のカーネルに基づく手法を使用し、標本の参照ライブラリを使用する。標本（参照観測値または参照ベクトルとも呼ばれる）は、モデル化されるシステムの「正常な」挙動を表す。必要に応じて、利用できる参照データは、標本のライブラリとして機能する特徴的な部分集合を提供するために下方選択（ｄｏｗｎ−ｓｅｌｅｃｔｅｄ）されることが可能であり、この場合、カーネルに基づくモデルを「訓練する（ｔｒａｉｎｉｎｇ）」ためのいくつかの技術を使用することができる。この場合、下方選択されたライブラリ自体は、上記の式に使用する行列Ｄを形成することができる。１つの訓練法によれば、少なくともそうした観測値は、利用できるすべての参照観測値にわたって所与のパラメータについて最高値または最低値を有するライブラリに含まれる。これは、さらなる観測値の無作為抽出、またはデータの散乱（ｓｃａｔｔｅｒ）もしくはクラスタ化（ｃｌｕｓｔｅｒｉｎｇ）を忠実に表すように選んだ選択で補うことができる。あるいは、参照データをクラスタ化し、クラスタの代表的な「重心（ｃｅｎｔｒｏｉｄ）」を新しい、人工的に生成した標本として形成することができ、その後これがライブラリを形成する。標本のライブラリを含むように観測値を選択するための、多種多様な技法が当技術分野で知られている。したがって、この場合の少なくとも一般論として、行列Ｄは、ライブラリが変更されること（すなわちライブラリが更新されるときなど）を除いて、入力ベクトルｘ_inのすべてについて式（７）中で同じままである。

経験的なカーネルに基づくモデルの推論型形式および自己連想型形式の両方の代替的配置では、各入力ベクトルｘ_inに対して行列Ｄを再構成することができ、したがって入力観測値の質に基づいて、また学習観測値の大きな集合すなわち参照集合から引き出して、「オンザフライで（ｏｎ−ｔｈｅ−ｆｌｙ）」モデルを生成することができる。この１つの例は、米国特許第７，４０３，８６９号に記載されている。このプロセスは、局所化と呼ばれる。したがって、カーネルに基づくモデリングの推論型形式および自己連想型形式は、入力観測値に基づいて、参照観測値の大きな集合から選択される学習観測値ｘ_i（行列Ｄ）の集合を使用して実行することができる。カーネルに基づくモデルは、１パスで訓練されて、迅速に更新することができるので、この種の局所化に非常によく適している。有利には、推定を生成する目的で、候補標本の大集合を利用しながら、それぞれ新しい入力観測値を有する部分集合を選択することによって、モデリング計算の測度を低減し、モデルのロバスト性を向上させながら、モデル化されているシステムのダイナミクスを依然としてよく特徴付けることができる。

監視システム１０については、局所化モジュール２８は、様々な基準を使用して、類似度演算子自体の適用を含む、集まりＤ（ｔ）の局所化された行列の帰属関係を構成する。しかしながら一般的には、入力観測値３２は、監視プロセスの一部としてモデルによって推定されることになるパラメータまたは導き出される特徴の集合を含み、局所化モジュール２８に提供され、局所化モジュールが、参照ライブラリ１８の形式の標本観測値の大規模記憶装置にアクセスし、そうした標本観測値の部分集合を選択してモデルを構築する。局所化モジュール２８は、ライブラリのサイズよりもかなり小さい集合である可能性がある、入力観測値３２に関連する標本をライブラリ１８から選択する。例として、参照ライブラリ１８は、モデル化されているパラメータによって表されるシステムの正常なダイナミクスを特徴付ける１００，０００個の標本観測値を含むことがあるが、局所化モジュール２８は、入力観測値３２を受け取ることに応じて、数十個の観測値を選択して、局所化されたモデルを構築することがある。選択された標本観測値は、次いで、今局所化されたモデル１４に提供される。ベクトルに基づくシステムでは、こうした観測値は、次いで、カーネルに基づく推定のために学習標本ｘ_iの集合（上記のＳＢＭに関連してやはりＤとして示す）を含む。推定観測値ｘ_estは、次いで上述のように適宜生成される。監視システム１０については、選択された学習標本は、それぞれ時間ポイントｔ_pにおけるベクトルを表し、逐次パターンの行列が、ｔ_pにおける各ベクトルに構築されて、以下に説明する集まりＤ（ｔ）を形成する。次の入力観測値３２が監視システム１０に提示されるとき、新しい入力観測値に基づいて、ライブラリ１８から標本の新しく、場合により異なる部分集合を選択して、プロセスは繰り返される。

１つの手法によれば、入力観測値３２は、クラスタリング技法に基づいて、学習観測値の参照ライブラリ１８と比較することができる。したがって、ライブラリ１８中の標本観測値は、ベクトルをクラスタ化するための技術で知られているいくつかの技法のいずれかを使用してクラスタ化され、局所化モジュール２８は、入力観測値３２がどのクラスタに最も近いかを識別し、局所化モデル１４に提供される局所化観測値となるそのクラスタのメンバー標本を選択する。好適なクラスタリング方法には、ｋ平均法およびファジィｃ平均法クラスタリング、または自己組織化写像ニューラルネットワークが含まれる。

別の手法によれば、カーネルを使用して、入力観測値３２をライブラリ１８中の各標本と比較し、入力観測値に対する参照観測値のランク付けを提供する類似度値を得ることができる。次いで、そのうちのある上層部分（ｔｏｐ ｆｒａｃｔｉｏｎ）を、局所化された集まりＤ（ｔ）に含むことができる。この局所化の態様のさらなる改良として、すべての参照観測値のランク付けされたリスト中の観測値は、それらの構成要素の１つが、入力ベクトル中の対応する値を「ブラケットする（ｂｒａｃｋｅｔ）」値を提供する範囲まで、局所化された集まりＤ（ｔ）に含まれる。例えば、ランク付けされたリストのサーチダウンは、入力ベクトルの値が参照観測値の１つの値によって低い側と高い側の両方でブラケットされるまで行われる。こうした「ブラケット中の」観測値は、次いで、ライブラリ１８の他の観測値が入力に対してより高い類似度を有するとしても、局所化された集まりＤ（ｔ）に含まれる。サーチは、入力ベクトル中のすべての入力値がブラケットされるまで、集まりＤ（ｔ）に含むように逐次パターン行列を構築するためのユーザ選択可能な最大限のベクトルに到達するまで、または、含めるための類似度閾値を超えるほど入力に対して十分に高い類似度を有するさらなる参照観測値がなくなるまで続く。

局所化された集まりＤ（ｔ）の帰属関係を判定する際の他の変更形態が考えられる。例として、上述のクラスタリング選択方法と類似度選択方法の両方において、要素、すなわちクラスタ化されるまたは類似性のカーネルと比較されるベクトルを含むために使用されるパラメータの集合は、モデルおよび推定を生成するために使用されるものと同一ではないことが可能であり、代わりにパラメータの部分集合、または部分的に重なっている集合であることが可能である。上述のように、システム１０およびモデル１４のさらなるステップがその後行われて、集まりＤ（ｔ）を生成する。具体的には、集まりＤ（ｔ）に含めるベクトル（プライマリベクトルｔ_pとも呼ばれる）が選択されると、（時間を進むものであれ、戻るものであれ）他の時間的に関連するベクトルが、各プライマリベクトルに選択されて、各プライマリベクトルの学習逐次パターン行列を形成し、集まりＤ（ｔ）に含まれる。時間的に関連するベクトルを選択するためのプロセスについて、以下に説明する。モジュール２８による局所化は、以下に詳細に説明する学習逐次パターン行列の３次元の集まりのいずれかに適用できることは理解されるであろう。

次に、本明細書に記載する監視システム１０の１つの手法により、時間領域情報をモデル１４に組み込むことを考えると、上記のカーネル関数は、２つのベクトルの類似性を比較するように動作し、２つの同一次元の配列に動作する拡張カーネル関数Ｋで置き換えられる：

ここでＸ_newは、入力パターン配列であり、Ｘ_iは学習パターン配列である。パターン配列またはパターン行列は、一連の時間的に関連するベクトルから成り、その構成要素であるベクトルのそれぞれが、時間の異なる瞬間からのセンサ測定値を含む。パターン配列中のベクトルの１つは、プライマリベクトルに指定され、そのデータが得られる時間は、現在のプライマリ時間ポイントｔ_pに指定される。他のベクトルは、体系的方法でプライマリ時間ポイントと関連する時間ポイントと関連付けられる。

１つの形式では、プライマリ時間ポイントは、パターン配列中の一連の時間順のポイント（またはそうした時間ポイントを表す時間順のベクトル）を構成する時間ポイントのうちの最新のものである。１つの手法により、他の時間ポイントは等間隔であり、時間ポイント間に一定の時間間隔を設ける時間ステップΔｔの整数倍だけプライマリ時間ポイントより先行する。所与の数のサンプルｎ_lbについては、時間ポイントは、順序付けられたシーケンス、（ｔ_p−ｎ_lbΔｔ，ｔ_p−（ｎ_lb−１）Δｔ，．．．ｔ_p−２Δｔ，ｔ_p−Δｔ，ｔ_p）を形成する。時間ポイントのシーケンスは、ルックバックパターン配列（ｌｏｏｋ−ｂａｃｋ ｐａｔｔｅｒｎ ａｒｒａｙ）、

を定義する。

図６に示すように、プライマリベクトルｔ_pは、各パターン配列の最も右の列として位置付けられ、他の（ｎ_lb）データのベクトルは、プライマリベクトルｔ_pの左に位置している列ベクトルである。パターン配列の列は、モデル化されたセンサからの時変信号の短いセグメントに対応する。

ルックバックパターン配列を使用することによって、式（２０）中の拡張カーネル関数を、リアルタイムのシステム監視に適用することができる。入力パターン配列Ｘ_new中のプライマリベクトルｔ_p（時間ポイントｔ_pのベクトルを意味する）は、時間の現在のポイントからのシステムデータを含んでおり、配列の残部は、過去の最近の時間ポイントからのデータのベクトルで構成される。したがって、入力パターン配列は、伝統的なカーネル法によって使用される、静的ではあるが、現在のベクトルを含むだけでなく、監視されるシステムの発展中の動的な挙動を表す一連のベクトルも含む。システムの時間が進むにつれて、新しいプライマリベクトルが配列の最も右に現れ、最も古いベクトルが最も左の位置から廃棄されることを除いて、先行配列と同じデータの多くを含んだ新しい入力パターン配列が形成される。したがって、時間の単一の瞬間を表す単一の入力ベクトルは、複数の入力パターン配列Ｘ_newで使用されることになり、ベクトルが順に使用されると仮定すると、配列中にベクトルがあるとき、ベクトルは同じ回数使用されることになる。このようにして、入力パターン配列は、時間を通したパターンの移動ウィンドウ（ｍｏｖｉｎｇ ｗｉｎｄｏｗ）を記述する。ここで、移動ウィンドウとは、時間的順序の固定数のベクトルの集合または群を意味し、このウィンドウがタイムラインに従って、または一連の時間順のセンサ値ベクトルに従って移動するにつれて、どのベクトルが集合に含まれるかが変わるものである。

上記の式（２１）に定義するパターン配列は、ｎ_lb＊Δｔに等しい時間のウィンドウにわたるｎ_lbデータのベクトルを含む。データのベクトルは、この例については等間隔の時間である。別の言い方をすれば、各入力パターン配列または行列は、入力パターン配列Ｘ_new内の入力ベクトルによって表される時間ポイント間の均一の時間間隔によってのみ定義される。

あるいは、カーネルを使用して、様々な長さの時間にわたるパターン配列を比較することができる。パターン配列が、１つの時間ステップΔｔ₁だけ間隔をあけた（例えば約１秒離れた）時間ポイントからのデータを含む場合、および別のパターン配列の時間ポイントが、第２の時間ステップΔｔ₂だけ異なる（例えば約１０秒離れている）場合、パターン配列は、２つの異なる時間ウィンドウ、ｎ_lb＊Δｔ₁およびｎ_lb＊Δｔ₂にわたることになり、したがって異なる継続時間を表す２つのパターン配列が存在する。１つの形式では、１つのパターン配列が、ベクトル（または時間ポイント）間に、別のパターン配列とは異なる時間間隔を有するとしても、パターン配列が同じ数のベクトルを含む限り、２つのパターン配列において同じ位置からのベクトル（例えば最も右と最も右、右から２番目と右から２番目、および最も左と最も左）をマッチングするカーネル関数は、様々な時間スケールにわたって作用することができる。したがって、１つの例では、行列は、異なる間隔の時間ポイントにわたって広がって、時間間隔が、スペクトル時間信号におけるピークの高調波（１／ｆ）に対応することがある。パターン配列に含まれる時間間隔または継続時間のこの差は、入力パターン配列中の各ベクトルが、学習パターン配列に対応する学習標本を有する（言い換えれば、学習行列と入力行列の両方が同じ数のベクトルを有する）限り、学習パターン配列と入力パターン配列との間、入力パターン配列から入力パターン配列、学習パターン配列から学習パターン配列、またはこれらの任意の組合せで使用可能であることもまた理解されるであろう。

別の例によれば、カーネルを使用して、パターンベクトルが時間において等間隔ではないパターン配列を比較することができる。一定の時間間隔またはステップでパターンベクトルをあけるのではなく、時間ステップは、パターン配列内の位置によって異なるものとすることができる。（配列の右側付近に位置する）最も新しいベクトルに小さい時間ステップを使用し、（配列の左側付近に位置する）より古いベクトルにより大きい時間ステップを使用することによって、カーネル関数は、最も新しい変化に焦点を絞りながら、より遠い過去における変化からのいくらかの影響を依然として保持する。

再び図１を参照すると、カーネル関数（式（２１））による分析の前に、フィルタモジュール１０６によりパターン配列にさらなるフィルタリングステップを行うことができる。フィルタリングを使用するとき、フィルタリングは、参照ベクトルと入力ベクトルの両方に行われて、推定を生成するために使用されることになる、結果として生じる２つの信号値間の実質的な、意図していないミスマッチを回避する。フィルタリングステップでは、時変センサセグメント（パターン配列の行）のそれぞれが、フィルタリングアルゴリズムによって処理されて、セグメント中のデータを平滑化するか、またはデータから統計的特徴を計算する。移動ウィンドウ平均化、３次スプラインフィルタリング、またはＳａｖｉｔｓｋｙ−Ｇｏｌａｙフィルタリングのような平滑化アルゴリズムが、元の信号中の重要な動向を取り込むが、信号中のノイズは低減させる。平滑化アルゴリズムは、入力信号中の要素のそれぞれに対して平滑化された値を作り出すので、平滑化アルゴリズムは、センサデータの元のパターン配列と同じ次元を有するパターン配列を作り出す。あるいは、フィルタリングステップは、各信号中のデータの統計的特徴を計算するための１つまたは複数の特徴抽出アルゴリズムの適用で構成されることが可能である。こうした特徴には、信号データの平均、分散、または時間導関数が含まれる。同じ数の特徴抽出アルゴリズムがパターン配列中のデータに適用される限り、元のパターン配列中のデータベクトルの数は変わる可能性がある。

上述のように、パターン配列を使用してモデル化されているシステムからの時間情報を表す数多くの方法がある。こうした方法は、等間隔の時間ポイントからのデータベクトルのシーケンス、パターン配列が様々な継続時間を有するように異なる時間にわたるデータベクトルのシーケンス、およびデータベクトルが時間において等間隔ではないシーケンスを含むが、これらに限定されない。入力パターン配列は、参照パターン配列とは異なる間隔を有することがあり、またはこれらは同じであることがある。さらに、パターンシーケンスは、平滑化アルゴリズムまたは特徴抽出アルゴリズムによって、フィルタリングすることができる。パターン配列またはフィルタリングアルゴリズムによって作り出される配列の形式についての唯一の制限は、拡張カーネル関数（式２０）によって処理される２つの配列が、同一次元である（すなわち、同じ数の行および列を有する）ことである。

上述のベクトルに基づくカーネル関数と同様に、拡張カーネル関数は、スカラ値または類似性測度を返すが、ここではスカラ値は、２つのベクトルではなく２つの配列間の類似性を表す。拡張カーネル関数は、上に挙げたベクトルに基づくカーネル関数と同じ特性を表示する類似性スコアを生み出す。すなわち、類似性スコアは、その範囲を定められ、２つの配列が同一であるとき、境界の１つに対して１の値（または他の選択値）を有し、領域にわたって単調に変化し、２つの配列が同一に近づくにつれてその絶対値が増大する、スカラである。さらに、拡張カーネル関数は、２つの配列のマッチしている時間成分に作用する。これは、２つのルックバックパターン配列の例については、拡張カーネル関数が、それぞれ参照配列および入力パターン配列からの２つのプライマリベクトルｔ_p間に、次いでプライマリベクトル−１の左の２つのデータベクトル上になど、配列中の先行ベクトルにわたって類似性を発見することを意味する。

拡張カーネル関数の１つの例は、米国特許第６，９５２，６６２号に記載されている類似度演算子に基づく。Ｘ_newおよびＸ_iを、ｎ_sens個のセンサ（またはパラメータ）からのデータを含み、ｎ_lb個の連続時間ポイントにわたる、２つの同一次元のパターン配列とすると、拡張カーネル関数は、次のように書かれる：

ここでρおよびλは定数である。式２２中の時間依存関数θ（ｔ）は、パターン配列の時間要素に作用し、２つの配列中の同じ時間ポイントベクトルからのデータをマッチングする。この時間データマッチングを実行する１つの手段は、所与のセンサｊに対して時間データの重み付けされた平均を使用することである：

所与のセンサｊに対するデータ要素間の類似性（ｓ_j、_k）は、センサの範囲ｊについて正常に動作しているデータの範囲によって正規化されたデータ要素の絶対差として定義される。したがって、所与のセンサのデータに対する時間依存の類似性関数θ（ｔ）は：

式２２および２４を結合すると、２つのパターン配列に対する拡張カーネル関数を生じる：

拡張カーネル関数の別の例は、米国特許第７，３７３，２８３号に記載されている類似度演算子に基づく。やはり、Ｘ_newおよびＸ_iを、ｎ_sens個のセンサからのデータを含み、ｎ_lb個の連続時間ポイントにわたる、２つの同一次元のパターン配列とすると、この第２の拡張カーネル関数は、次のように書かれる：

この拡張カーネル関数は、式２３および２４によって定義される同じ時間依存関数θ（ｔ）を利用して、２つのパターン行列において所与のセンサの時間データを比較する：

図６を参照すると、２つの拡張カーネル関数（式２５および２７）は、これらがモデル化されるセンサから情報を集約する方法においてのみ、カーネル関数の基本的形式を表す第１の式、およびカーネル関数のベクトル差形式（１ノルムなど）を表す第２の式とは異なる。両方の式は、重み付けされた平均化を利用して、２つの配列Ｘ_newおよびＸ_iにおける時変信号のセグメント間の差を説明する。具体的には、両方の例示の式２５および２７について、および各逐次学習パターン行列ａからｇについて、絶対差は、学習値と入力値の対応するペアごとに計算される。この値は、これらが（１）同じセンサ（またはパラメータ）、および（２）パターン配列内の同じ時間ポイント（両方の値がプライマリ時間ｔ_pからのものであるなど）か、配列中の他のベクトルに対して同じ位置（両方の値がパターン配列内の右から２番目のベクトルにあるときなど）を表すときに対応する。学習値および入力値のペアからの絶対差は、重み付け平均化により結合されて、特定のセンサに対して結果として生じる単一平均値を取得する。これは、パターン行列ａからｇおよびパターン配列Ｘ_newによって表される各センサまたはパラメータ（１から５）に対して繰り返され、したがって重み付け平均化ステップにおいて各センサ／パラメータに対して１つの結果として生じる平均スカラが存在する。

次いで、第１の拡張カーネル関数（式２５）において、重み付け平均化ステップからの結果は同様に、すべてのセンサにわたって平均化されて、アレイ間の比較のスカラ値を生み出す。最終的に、このスカラ値が、上述のように類似性スコアの特性に従う値に変換され、したがってスカラ値は、例えば１が同一を意味して、ゼロから１の範囲内に入る。このプロセスは、その後、３次元の集まりＤ（ｔ）中の各学習逐次パターン行列ａからｇに対して繰り返される。第２の拡張カーネル関数（式２７）では、重み付け平均化ステップからの結果は、直ちに各センサに１つの、類似性スコアに変換される。次いで類似性スコアのこのベクトルは平均化されて、信号の類似性スコアが、３次元の集まりＤ（ｔ）中の学習逐次パターン行列ａからｇそれぞれに対して関数によって返される。

類似性に基づくモデリングの状況で使用されるとき、上述の拡張カーネル関数は、一般性を失うことなく、拡張類似度演算子（ｅｘｔｅｎｄｅｄ ｓｉｍｉｌａｒｉｔｙ ｏｐｅｒａｔｏｒ）と呼ぶこともできる。上記の式（Ｓ（Ｘ_new，Ｘ_i））中で使用される表記は、伝統的な類似度演算子記号を使用して書くこともできる。

上で定義する他のベクトルに基づくカーネル関数（例えば、式１３から２０）の拡張版は、２つの逐次パターン配列中の同じ時間ポイントからの時間データをマッチングするための重み付け平均化を使用することにより構成することができる。例えば、Ｘ_newおよびＸ_iを、ｎ_sens個のセンサからのデータを含み、ｎ_lb個の連続時間ポイントにわたる２つの同次元パターン配列とすると、式１６で定義したカーネル関数の拡張版は、式１７の要素の類似度演算子を使用して、次のようになる：

重みは、より新しいデータが古いデータよりも重く重み付けされるように選択することができるので、重み付け平均化（式２２）を使用して、パターン配列中の時変信号のセグメント間の差を説明する。したがって、プライマリ時間ポイントｔ_pからのデータは、一般的には最も高い重みを与えられ、先行する時間ポイントからのデータ（式２１）は、次第に減少する重みを与えられる。数多くの方式を使用して、重みを定義することができ、例えば、プライマリ時間ポイントに対して時間とともに直線的にまたは指数関数的に重みを減少させる。

時変信号の２つのセグメントにおける連続した時間ポイントからのデータをマッチングするために、様々な他の時間依存関数θ（ｔ）を使用することができることは理解されるであろう。このような方法は、他の重み付けノルム（２ノルムおよびｐノルム）および最大値、最小値、または中央値の差を含むが、これらに限定されない。関数に必要とされるものは、関数が、２つのシーケンスが同一である場合、最小化されるスカラ値（０の値）を返し、シーケンスがより異なっていくにつれて値が増大することである。

逐次パターン配列の概念をＳＢＭの自己連想型形式（式７）における拡張類似度演算子（例えば、式２５または２７）と結合するために、ベクトルに基づく学習ベクトル行列Ｄの概念が拡張される。上述のＳＢＭの標準形式では、学習ベクトル行列は、通常動作の期間中の時間の様々なポイントから選択された学習標本（ベクトル）の集合から成る。こうしたベクトルが選択される時間ポイントがプライマリ時間ポイントを表すようにすると、各プライマリポイントの前に来る一連の時間ポイントからデータを収集することによって、各学習ベクトルを拡大して、学習逐次パターン行列にすることができる。このように、学習ベクトル行列Ｄは拡大されて、学習逐次パターン行列Ｄ（ｔ）の集まりになる。学習パターン行列のこの集まりは、３次元行列を形成し、次元は、第１の次元でモデル化されるセンサまたはパラメータを、第２の次元で様々なプライマリ時間ポイントからの学習標本（ベクトル）を、第３の次元でプライマリ時間ポイントに関連する時間を表す。

ＳＢＭのベクトルに基づく形式で使用される学習ベクトルの行列を構築するために使用される上述の訓練法は、ＳＢＭの逐次パターンによって要求される学習逐次パターン行列Ｄ（ｔ）の３次元の集まりを作成するために使用することができる。これは、先行する時間ポイントからの参照ベクトルとともに、訓練アルゴリズムによって選択された各参照ベクトルを増大させて、列パターン行列を構築することによって実現される。訓練アルゴリズムによって選択された各参照ベクトルに対して１つの、学習パターン行列の集まりは、モデル化されるシステムの「正常な」挙動を表す標本の参照ライブラリ１８から引き出される。逐次ＳＢＭの時間推論型形式（以下に説明する）が使用される場合、後続の時間ポイントからのさらなるベクトルが、各逐次パターン行列に追加される。

ＳＢＭのベクトルに基づく形式に使用される訓練法は、参照データに内在する時間領域情報に注目することなく、正常な動作の期間中の時間の様々なポイントから標本（ベクトル）を選択する。ＳＢＭの逐次パターン配列形式では、プライマリ時間ポイントの直前および（場合によっては）後続の一連の時間ポイントからのデータベクトルで、選択された標本のそれぞれを増強することによって、時間領域情報が与えられる。時間領域情報を考慮に入れながら逐次学習パターン行列の集まりＤ（ｔ）を構築し、局所化するための代替的プロセスでは、各入力パターン配列を、入力パターン配列中のものと数が等しい（すなわち、ｎ_lb＋１）参照ベクトルのすべてのシーケンスと比較することができる。比較は、類似度演算子の拡張形式（例えば、式２５または２７）を使用することによって実現されて、入力パターン配列に最も類似した参照ベクトルのシーケンスを識別する。参照ベクトルの識別されたシーケンスのそれぞれが、集まりＤ（ｔ）中の逐次学習パターン行列の１つを形成する。いかなる選択プロセスでも、訓練法が、互いに非常に近いプライマリ時間ポイントから標本を選択することができる。２つの標本が近くのプライマリ時間ポイントから選択されるとき、対応する逐次パターン行列は、共通のデータベクトルを含む可能性がある。

図６を参照すると、入力パターン配列Ｘ_newおよび学習逐次パターン行列Ｄ（ｔ）の３次元の集まりを用いて、式７が示されている。入力パターン配列Ｘ_newは、時間の現在の瞬間を表すベクトルｔ_pを含むので、現在のまたは実際のパターン配列または行列と呼ぶこともでき、Ｄ（ｔ）中の学習パターン行列とは対照的である。図示した例では、入力パターン配列Ｘ_newは、ベクトルｔ_pが配列の最終（右端の）ベクトルである４つのベクトルを含む。他のベクトルは、簡単にするために、ｔ_pの前の時間間隔の数を意味する−３から−１の番号を付けられる。したがって、図６のベクトル−３は、ｎ_lb＝３である（ｔ_p−ｎ_lbΔｔ）と同じことを表すことが理解されるであろう。図６に示すように、学習逐次パターン行列の集まりの３次元（モデル化されたセンサ、プライマリ時間ポイント、およびパターンシーケンス）は、次のように示される：１から５の数字は、５つのモデル化されたセンサからのデータを表す、４つの列（またはベクトル）の数字は、４つの連続した時間ポイントを表す、７つの重なった矩形はそれぞれ、正常動作の様々な期間からプライマリ時間ポイントｔ_pを選択した、逐次パターン行列ａからｇを表す。学習逐次パターン行列Ｄ（ｔ）の３次元の集まりは、７つの逐次パターン行列ａからｇを含んでいる。したがって、各逐次パターン行列ａからｇは、５つのセンサおよび４つの連続した時間のポイントからのデータを含み、入力パターン行列Ｘ_newと同じ次元を有する。比較のために、２次元の行列Ｄを有する先のベクトルに基づく式（図３）と、学習逐次パターン行列Ｄ（ｔ）の３次元の集まり（図６）との差を別の方法で視覚化すると、先の２次元の配列は単に、単一の行列が７つの逐次パターン配列ａからｇ全体に及ぶことにより形成されて、３次元の集まりＤ（ｔ）からｔ_pベクトルのみを含んでいるものである。

図６の最も右の括弧では、拡張類似度演算子

は、上に説明したように、入力パターン配列Ｘ_newと７つの学習逐次パターン行列ａからｇとの間の類似性を計算する。図６の例では、式２５または２７から重み付け平均化ステップを用いて、モデルは、逐次パターン行列ａ中のセンサ１の時変信号を、入力パターン配列Ｘ_new中のセンサ１の時変信号と比較して、センサ１の信号平均値を取得する。これは、センサ２〜５に対して、各センサに１つの平均値が提供されるまで繰り返される。次いで、これらのスカラ値（または式２７の類似性スコア）が平均されて、逐次パターン行列ａに単一の類似性測度を決定する。これがその後、各逐次パターン行列ｂからｇに繰り返され、学習逐次パターン行列ａからｇそれぞれに１つの類似性スコアの、７つの類似性スコアを含んだ類似性ベクトルを返す。

中央の括弧の演算は、集まりＤ（ｔ）中の学習逐次パターン行列ａからｇのペアの各組合せに１つの、類似性値の７×７の正方類似性行列を生成する。結果として生じる類似性行列の逆行列の乗算により、７つの要素を含んだ重みベクトルが生成される。最終ステップにおいて、重みベクトルに集まりＤ（ｔ）を乗算して、推定行列Ｘ_estを生成する。１つの形式では、推定行列Ｘ_estは、入力パターン配列Ｘ_newと同じサイズであって、入力パターン配列は、入力パターン配列中の入力ベクトルによって表される期間のそれぞれに対応する推定ベクトルを有する。この図６の例では、推定行列Ｘ_estは、時間ｔ_pにおける現在の瞬間の推定ベクトル、およびルックバックウィンドウ（ｌｏｏｋ−ｂａｃｋ ｗｉｎｄｏｗ）に形成されるように、３つの先行する時間ポイント−１から−３のそれぞれの推定ベクトルを有する。推定行列Ｘ_estの使用について、以下にさらに詳細に説明する。現在ベクトルのまたはプライマリベクトルを入れて、また入れずにまとめられた先行ベクトルは、本明細書のいずれかでルックバックウィンドウと呼ぶことがあり、現在のベクトルまたはプライマリベクトルを入れてまた入れずにまとめられた後続ベクトルは、以下で、および本明細書のいずれかで説明するルックアヘッドウィンドウ（ｌｏｏｋ−ａｈｅａｄ ｗｉｎｄｏｗ）と呼ぶことがあることにも注意されたい。

拡張類似度演算子と共に逐次パターン行列を利用するＳＢＭの推論型形式（式９）への拡張は、容易に分かる。推論型モデリングのベクトルに基づく形式と同じように、学習逐次パターン行列の３次元の集まりＤ_a（ｔ）は、入力パターン配列Ｘ_in中のセンサ値にマップする学習逐次パターン行列ａからｇ、および推論センサＤ_out（ｔ）にマップする逐次パターン行列ａからｇを含んだ集約行列として理解することができる。図７を参照すると、式９が、入力パターン配列Ｘ_iおよび５つの入力センサ１から５に対して７つの学習逐次パターン行列ａからｇを有する学習逐次パターン行列の３次元の集まりＤ_in（ｔ）で示されている。集約行列Ｄ_a（ｔ）は、式１０で定義される２次元の集約行列の３次元の拡張であることが理解される。図７の説明図を図６の説明図と比較すると、両方の図の括弧内の行列は、表示方法を除けば同一である。したがって、推論型モデルの重みベクトルの計算は、自己連想型モデルに対する上述の方法と同じ方法で進行する。次に、図４のように、重みベクトルは、ここでは行列Ｄ_out（ｔ）が現在３次元の集まりであることを除いて、図７の推論センサの学習逐次パターン配列を乗算され、このステップは、推論センサのみを表す推定行列Ｙ_estを形成する。推論モデリングのベクトルに基づく形式について上述したように、重みベクトルは、Ｄ_in（ｔ）とＤ_out（ｔ）の両方を含む学習逐次パターン行列Ｄ_a（ｔ）の３次元の集まり全体を乗算して、入力センサと推論センサ（図８に示す）の両方に対して推定行列を生成することもできる。

推論モデリングは、センサの参照データが学習逐次パターン行列Ｄ_a（ｔ）またはＤ_out（ｔ）の３次元の集まりに含まれることから、入力データストリームにそのデータが含まれないセンサに対して、推定の計算を可能にする。結果として、推論型モデルは、モデル化されるセンサの次元に沿って外挿する。時間次元において外挿する推論型モデルを作成することもまた可能である。これは、式２１のプライマリ時間ポイントおよびルックバックウィンドウの概念に立ち戻ることによって理解することができる。ルックバックウィンドウのタイムポイントは、プライマリ時間ポイントに先行する、すなわちこれらは、プライマリ時間に対して過去にあることを意味する。また、プライマリ時間の後に続く時間ポイントから構成される、ルックアヘッドウィンドウを定義することもできる。ルックアヘッドウィンドウ中の時間ポイントは、プライマリ時間に対して未来にある。プライマリ時間ポイントの前に来る所与の数（ｎ_lb）の時間ポイントで構成される時間ポイントおよびプライマリ時間ポイントの後に続く所与の数（ｎ_la）の時間ポイントの順序付けられたシーケンス、（ｔ_p−ｎ_lbΔｔ，ｔ_p−（ｎ_lb−１）Δｔ，…，ｔ_p−２Δｔ，ｔ_p−Δｔ，ｔ_p，ｔ_p＋Δｔ，ｔ_p＋２Δｔ，…，ｔ_p＋（ｎ_la−１）Δｔ，ｔ_p＋ｎ_laΔｔ）を考慮に入れる。時間ポイントのシーケンスは、ルックバックデータとルックアヘッドデータの両方を含むパターン配列、

を定義する。

図９を参照すると、ルックバックデータとルックアヘッドデータの両方を含む逐次パターン行列ａからｇで学習逐次パターン行列Ｄ_a（ｔ）の３次元の集まりが作成される場合、時間次元への外挿に対応するＳＢＭの推論型形式（式９）への拡張が生成される。入力パターン配列Ｘ_inは、現在の時間ポイントおよび先行する時間ポイントからのみのデータを含んでいる（未来の時間ポイントからのデータはまだ存在していない）ので、学習逐次パターン行列Ｄ_a（ｔ）の集まりは、時間次元に沿って分けられた２つの部分行列から成る集約行列である。こうした部分行列の第１の部分行列Ｄ_lb（ｔ）は、様々なプライマリ時間ポイントからのデータ、およびルックバック時間ポイントからのデータを含む。第２の部分行列Ｄ_la（ｔ）は、ルックアヘッド時間ポイントからのデータを含む。式９は、５つの入力センサの入力パターン配列Ｘ_inおよび時間ポイントｔ_pから−３の間の３つの時間間隔のルックバックウィンドウで示される。ルックバック部分または部分行列Ｄ_lb（ｔ）は、５つの入力センサ（１〜５）からのデータと、それぞれ独自の逐次パターン行列ａからｇ上の７つのプライマリ時間ポイントと、各逐次パターン行列ａからｇ上の４つのルックバック時間ポイントもしくは参照ベクトルｔ_pから３とを含む、学習逐次パターン行列の３次元の集まりである。ルックアヘッド部分または部分行列Ｄ_la（ｔ）は、５つの入力センサ（１〜５）からのデータと、それぞれ独自のプライマリ時間ポイントを有する７つの学習逐次パターン行列ａからｇと、２つの将来または後続の時間ポイントまたはベクトル＋１およびベクトル＋２をと含む、学習逐次パターン行列の３次元の集まりである。２組の括弧内の演算によって生成された、結果として生じる重みベクトルは、学習逐次パターン行列のルックアヘッドの集まりＤ_la（ｔ）を掛けられて、時間において外挿する推定行列Ｙ_laを生成する。この例では、２つの外挿された推定ベクトル＋１および＋２が、推定行列Ｙ_laに対して計算され、１つおよび２つの時間ステップΔｔ未来にある時間ポイントを表す。ベクトルに基づく式（図５）を用いて上述したように、重みベクトルは、過去、現在、および未来の時間ポイントの推定データを含む推定行列ＸＹ_el内の推定行列Ｘ_lbおよびＹ_laを生成するために、Ｄ_la（ｔ）とＤ_lb（ｔ）の両方を含む学習逐次パターン行列の集まりＤ_a（ｔ）全体を乗算されることも可能である（図１０に示す）。

図９および１０の説明図を、図７および８の説明図と比較すると、４つの図すべての括弧内の行列計算は、全く同じである。これは、時間次元において外挿する推論型モデルに対する重みベクトルの計算が、モデル化されるセンサの次元に沿って外挿する推論型モデルに対する重みベクトルの計算と全く同じであることを意味する。推論型モデリングの２つの形式は、単に、学習逐次パターン行列の集まり全体に含まれるデータが異なる。プライマリ時間ポイントに対して未来にある時間ポイントのデータを含むモデルは、未来に外挿する。入力データストリームにないセンサのデータを含むモデルは、こうしたセンサに外挿する。図１１を参照すると、時間次元とモデル化されるセンサの次元の両方に外挿する推論型モデルが示されている。学習逐次パターン行列の３次元の集まりＤ_a（ｔ）は、モデル化されるセンサの次元と時間次元に沿って分けられた４つの部分行列から成る集約行列である。その部分行列は、入力センサのルックバックウィンドウのデータＤ_lb（ｔ）と、入力センサのルックアヘッドウィンドウのデータＤ_la（ｔ）と、出力（推論）センサのルックバックウィンドウのデータＤ_lbout（ｔ）と、出力（推論）センサのルックアヘッドウィンドウのデータＤ_laout（ｔ）とを含む。計算は、入力センサと出力（推論）センサの両方に対して、過去、現在、および未来の時間ポイントの推定データを含む推定行列ＸＹ_e2内の推定行列Ｘ_lbおよびＹ_la（図１０に示す）を生成する。

上述の逐次パターン配列を用いるカーネル回帰モデリングの様々な形式のそれぞれは、モデル推定データの推定行列を生成する。１つの例では、推定行列Ｘ_estが、各入力パターン配列Ｘ_newに形成される（図６）。上述の例から理解されるように、現在の時間ポイントに対応する推定ベクトルに加えて、推定行列は、ルックバックウィンドウおよび／またはルックアヘッドウィンドウ中の時間ポイントのそれぞれに対するベクトルを含む。推定行列中の逐次ベクトルの数は、モデリング式の形式（自己連想型もしくは推論型）、およびルックバックウィンドウ中の時間ポイントの数ｎ_lb、およびルックアヘッドウィンドウ中の時間ポイントの数ｎ_laによって決まる。システム時間が進むと、タイムラインに沿った各固定時間ポイントは、入力パターン配列が時間ポイントに到達し、移動して、通過するとき、複数の推定ベクトルを蓄積する。時間のある一定の瞬間に計算される推定ベクトルの総数は、逐次パターン行列中の、モデルによって分析される逐次パターン（ベクトル）の総数に等しくなる。自己連想型モデルまたはセンサの次元に沿って外挿する推論型モデルについては、この総数は、ルックバックウィンドウ中の各パターンの推定ベクトルおよびプライマリ（現在の）時間ポイントの推定ベクトルに対応する、ｎ_lb＋１により求められる。時間次元に沿って外挿する推論型モデルについては、この総数は、ルックバックウィンドウおよびルックアヘッドウィンドウ中の各パターンの推定ベクトル、およびプライマリ（現在の）時間ポイントの推定ベクトルに対応する、ｎ_lb＋１＋ｎ_laにより求められる。

時間の固定ポイントに対して複数の推定ベクトルが計算されるので、逐次カーネル回帰モデルを使用して条件監視または診断のためのアルゴリズムを供給すると、こうしたアルゴリズムの多くが、ある時間ポイントに対して単一の推定ベクトルが存在することを期待するということによって複雑になる。複数の推定ベクトルを処理する最も単純な手段は、単に、モデル推定のソースとして推定行列中の複数のベクトルのすべてより少ないベクトルを指定すること、および他のベクトルを無視することである。１つの形式では、各推定行列からの推定ベクトルの１つのみが、さらなる診断分析に選択される。一般的には、これは、複数の推定行列にわたって見ながら、時間の固定の、任意のポイントｔ_iに選択された推定行列中の推定ベクトルが、その時間ポイントが現在の時間ポイント（ｔ_i＝ｔ_cur）、または言い換えれば、最も近い時間ポイント（図６から８の例示の推定行列ではｔ_p）になったとき生成されたものであることを意味する。入力パターンウィンドウがｔ_iを通過し、ｔ_iが新しい現在の時間ポイントにとってルックバックウィンドウの部分になると、ｔ_iに対して計算される新しい推定データは無視される。言い換えれば、推定行列中の現在のベクトルｔ_pに対してより古いベクトルまたは先行するベクトルは無視される。

他の、より複雑な方法を使用して、複数のベクトル中の情報を活用しながら、複数の推定行列にわたって固定時間ポイントごとに単一の推定ベクトルを生成する、または選択することができる。このような方法には、平均、重み付け平均、他の重み付けノルム（２ノルムおよびｐノルム）、最大値、最小値、または中央値などが含まれるが、これらに限定されない。診断分析に選択される推定ベクトルは、その対応する入力ベクトルに対して最も大きい類似性を有するベクトルとすることもでき、重み付けベクトルを決定するために使用したものと同様の類似性の式を使用することができる。こうした方法を適用して、複数の推定行列にわたって単一の固定時間ポイントではなく、推定行列ごとに単一の推定ベクトルを提供して、推定行列内の複数の連続した時間ポイントを表すことができることも理解されるであろう。

時間次元において外挿する推論型モデルについては、予想モジュール３４（図１）が、未来の推定行列Ｘ_laを使用して、資産の残余耐用年数の計算のような、予測アルゴリズムを供給する（または、別の方法でこれを提示する、監視されるオブジェクトの将来の状態もしくは動作状態を判定する）ことができる。これは、モデル化されたセンサの外挿された推定のシーケンスが、モデル化されたセンサの将来の挙動を予測するトレンドライン（ｔｒｅｎｄ−ｌｉｎｅ）であるという事実に基づいている。システム時間が進み、新しいプライマリベクトルを含んだ新しい入力パターン配列が形成されると、新しい未来の推定行列が計算される。上述の他のカーネル回帰モデルと同様に、新しい推定行列は、実質的に前の行列と重複し、複数の推定値が、各時間ポイントで各センサに生成されることを意味する。

また他のカーネル回帰モデルと同様に、推論型の時間外挿モデルは、固定時間ポイントで計算される複数の推定値を削減して、センサの傾向（ｔｒｅｎｄｉｎｇ）に適した単一の値にするために考案された様々な方法を使用することができる。最も単純な方法は、最も新しく計算された推定行列を選択して、ルックアヘッドウィンドウ中の時間ポイントのそれぞれで推定データを提供することである。具体的には、未来にある固定時間ポイントｔ_iについては、ルックアヘッドパターンウィンドウが最初にこの時間ポイントに到達するとき、この時間ポイントに対して推定ベクトルが生成されることになる：ｔ_i＝ｔ_cur＋ｎ_la＊Δｔ後続の各時間ステップでは、ルックアヘッドウィンドウが固定ポイントを通過すると、これに対して新しい推定ベクトルが計算され、最後のベクトルに取って代わる。したがって、推定ベクトルのすべてが使用されて、トレンドラインを構築し、推定ベクトルによって表される各時間ポイント（または固定ポイント）の結果は、推定行列を構築するために使用されるルックアヘッドウィンドウを通過するとき、ベクトルに対応するより新しい推定値によって常に更新されている。

この手法は、単純であることに加えて、最も新しく計算された推定行列のみを使用するので、動的な変化に迅速に反応するセンサトレンドを生成する。トレンドライン中の推定データは、後続する各時間ステップに対して取り替えられるので、トレンドは、不規則変動を受けやすい。これは、固定時間ポイントにおけるトレンド値が、連続時間ステップ間で動的に変化する可能性があることを意味する。平均、重み付け平均、または他の重み付けノルムのような、他のより複雑な方法は、複数の推定行列にわたって固定時間ポイントで計算された推定値の２つ以上、またはすべてを利用して、それに対する単一推定値を生成する。こうした方法によって生成されるトレンドラインはより滑らかであるが、急速な動的変化に対して反応が悪い。期待されるシステムの挙動を表すトレンドラインを生成するように設計された上述の方法に加えて、可能な挙動の範囲を示す他のトレンドラインを生成することができる。例えば、最小推定値を関連させるトレンドラインと結合された未来の各時間ポイントで最大推定値を関連させるトレンドラインは、モデルによって生成される結果に境界をつけた。

再び図１に戻ると、上述のように、推定行列Ｘ_est全体または単一の代表的推定ベクトルは、差分エンジン２０に渡される。差分エンジンは、入力パターン配列（Ｘ_inもしくはＸ_new）から推定行列を減算する、または差分エンジンは、現在の時間ポイントの入力ベクトルから代表的な推定ベクトルを減算する。具体的には、推定行列からの各選択された推定値が、入力パターン配列からの対応する入力値から減算される。残差ベクトルのこの配列または単一の代表的残差ベクトルは、次いで、アラートモジュール２２に提供される。アラートモジュール２２は、残差データに統計的検定を適用して、推定データおよび入力データが統計的に異なるかどうかを判定する。アラートモジュール２２は、様々な検定のいずれかを行って、障害の判定を行う。これは、１つまたは複数の残差値を使用してルール論理を評価するためのルールエンジンを含むことができる。ルールは、単純な一変量の閾値測定から、多変量のおよび／または時系列論理まで、一般的に使用される様々なルールのいずれかとすることができる。さらに、単一閾値ルールが、ウィンドウのアラートカウントルール（ｗｉｎｄｏｗｅｄ ａｌｅｒｔ ｃｏｕｎｔｉｎｇ ｒｕｌｅ）（例えば、ｙ観測値中のｘ閾値アラート）に入れられる例に関しては、いくつかのルールの出力は、他のルールへの入力となることがある。さらに、残差データで統計的技術を使用して、他の測定値および信号を導き出すことができ、これら自体はルールへの入力である可能性がある。適用可能な統計的分析は、当技術で知られている多種多様な技術から選択することができ、移動ウィンドウ統計（平均値、中央値、標準偏差値、最大値、最小値、歪度、尖度など）、統計的仮説検定（例えば、逐次確率比検定（ＳＰＲＴ））、傾向、および統計的プロセス制御（例えば、ＣＵＳＵＭ、Ｓチャート）を含むが、これらに限定されない。

アラートモジュール２２は、推定データと入力データとの差が、訓練中に遭遇しなかった正常な動作状態によるものであると判定することがある。この場合、新しい動作状態を示すセンサデータは、選択的適応モジュール（ｏｐｔｉｏｎａｌ ａｄａｐｔａｔｉｏｎ ｍｏｄｕｌｅ）３０に提供され、選択的適応モジュール３０が例えばライブラリ１８を介してそのデータをモデル１４の学習に組み込む。さらに、適応モジュール３０は、必要に応じてデータおよび／または残差分析結果に独自の自動化された検定を行って、どの入力ベクトルまたは入力配列を使用してモデル１４を更新すべきかを判定することができる。

モデルを適応するプロセスは、新しい動作状態を示すセンサデータを、最初のカーネルに基づくモデルを「訓練する」源であったライブラリＨ中の参照データの集合に追加することを含む。最も単純な実施形態では、すべての参照データをモデル標本として使用し、したがって、モデル手段を適応させ、新しいセンサデータをモデルの標本集合に追加する。逐次カーネル回帰モデルは、意図的に観測値ベクトルのシーケンスに作用するので、参照データに追加される新しい動作データは、観測値ベクトルのシーケンスから成るはずである。任意の適応イベント中に追加されるベクトルの最小数は、モデルによって分析される逐次パターン（ベクトル）の総数に等しい。上述のように、この総数は、自己連想型モデルまたはセンサ次元に沿って外挿する推論型モデルについてはｎ_lb＋１によって求められ、時間次元に沿って外挿する推論型モデルについてはｎ_lb＋１＋ｎ_laによって求められる。学習逐次パターン行列Ｄ（ｔ）の３事前の集まりを形成するために、上述のようにシステムダイナミクスの「代表（ｒｅｐｒｅｓｅｎｔａｔｉｖｅ）」として格納される部分集合に、参照観測値を下方選択するように訓練法を使用した場合、観測値ベクトルの新しいシーケンス（または言い換えれば全入力パターン配列）は元の参照データセットに追加され、下方選択技術が適用されて、新しい代表標本集合を引き出し、したがって新しい代表標本集合は新しい観測値の代表を含むはずである。下方選択技術を再び行うことなく、単に新しいシーケンスを、学習パターン配列の下方選択した集合に追加することも可能である。さらに、その場合、いくつかの学習パターン配列が効果的に新しいデータに置き換えられ、モデルが管理可能なサイズで維持されるように、いくつかの学習パターン配列をモデルから除去することが有効である可能性がある。古い学習パターン配列を除去するための基準は、新しいプライマリ時間ポイントにおける観測値を、古いプライマリ時間ポイントにおける観測値と比較し、新しい逐次パターン配列であるような逐次パターン配列を置き換える、上述の式を使用したクラスタリングおよび類似性の判定を含むことができる。

この点について、本発明は、正常動作の期間からの代表的データを用いて訓練される逐次カーネル回帰モデルを説明する。このようなモデルを使用して、システムの障害を検出し、診断することができることを示した。さらに、本発明の時間推論型形式は、システムの挙動を将来に外挿することができるモデルを生成する。しかし、モデルは単に正常動作データを用いて訓練されるので、システムの挙動が正常から徐々に離れるにつれて、障害の進行状況（ｆａｕｌｔ ｐｒｏｇｒｅｓｓｅｓ）としての有用性は限られている。

障害を発生中の診断および予想を向上させるために、障害状態の間に収集されたデータ（または故障モード参照データ）を用いて訓練される別個の逐次カーネル回帰モデルを利用することができる。こうした障害モデルは、システムに障害が発生しているという兆候が認められた後にのみ作動される。障害の兆候は、正常システムデータで訓練された逐次モデルによって提供される、あるいはベクトルに基づくカーネル回帰モデル（例えば、ＳＢＭ）、ニューラルネットワーク、ｋ平均法クラスタリングモデル、およびルールに基づく障害検出モデルなどの数多くの他の手段によって提供される可能性がある。障害モデルは、資産を監視するために、既知の障害イベントの一時的な履歴全部を用いて訓練される。こうした障害イベントは、より早期から実際の資産に行われる必要はなく、これらは、実質的には監視中の資産と同等である他の機械類で発生した障害イベントに由来する可能性がある。障害履歴は、障害が最初に示された時間から、システムの故障またはシステムのシャットダウンのようなイベントの決定的な最終状態までに収集されたすべてのシステムデータから成る。

様々な態様において前述の実施形態への変更形態を作成できることは、当業者には理解されるであろう。他の変形形態もまた機能し、本発明の範囲および趣旨のうちであることは明らかである。本発明は、添付の特許請求の範囲に詳細に示す。当業者および本出願の教示に精通している者には明らかであるように、本発明の趣旨および範囲は、本明細書の実施形態へのこのような変更形態および代替形態を含むと考える。

１０ 監視システム
１２ センサ
１４ 経験的モデル
１６ オブジェクト
１８ 参照ライブラリ
２０ 差分モジュール、差分エンジン
２２ アラートモジュール
２４ 出力モジュール／インタフェース
２６ 診断モジュール
２８ 局所化モジュール
３０ 適応モジュール
３２ 入力ベクトル
３４ 予想モジュール
１００ コンピュータ
１０２ プロセッサ
１０４ メモリ記憶デバイス
１０６ フィルタモジュール

Claims (41)

1. オブジェクトの状態を監視するための方法であって、
   前記オブジェクトの正常動作状態を示す参照データを取得することと、
   各入力パターン配列が複数の時間順の入力ベクトルを有し、各入力ベクトルが、前記オブジェクトの現在の状態を示す複数のパラメータを表す入力値を有する、入力パターン配列を取得することと、
   少なくとも１つのプロセッサによって、入力パターン配列および前記参照データを使用して、前記入力値と参照データとの類似性測度を決定する計算に基づいて推定値を生成することと、
   前記推定値を前記対応する入力値と比較して、前記比較から得られる値を使用して前記オブジェクトの前記状態を判定することができるようにすることと
   を含む、方法。
2. 前記入力ベクトルの少なくとも１つが、複数の入力パターン配列中にある、請求項１記載の方法。
3. 各入力パターン配列が、前記オブジェクトの前記動作状態を表す前記入力ベクトルのシーケンスに沿った複数の時間ポイントを含む期間を表す、請求項１記載の方法。
4. 各入力パターン配列が、他の入力配列の少なくとも１つの期間とは異なるが、一部重複する、前記シーケンスに沿った期間を表す、請求項３記載の方法。
5. 各入力パターン配列が、入力ベクトルの前記シーケンスからの、前記入力パターン配列内の最も新しい時間ポイントを表す、現在のプライマリベクトルを有する、請求項３記載の方法。
6. ルックバックウィンドウを前記シーケンスに沿って移動させることと、前記ウィンドウの終わりで現在のプライマリベクトルを選択することと、前記シーケンスに沿って前記プライマリベクトルの次にくる、前記ウィンドウ内に収まる１つまたは複数のより古いベクトルを選択することとによって、各入力パターン配列に入力ベクトルを選択することを含む、請求項５記載の方法。
7. 前記より古いベクトルが、前記シーケンスに沿って連続している、請求項６記載の方法。
8. 前記より古いベクトルが、前記シーケンスに沿って連続していない、請求項６記載の方法。
9. 入力パターン配列内の前記入力ベクトルによって表される前記時間ポイント間の時間間隔が均一である、請求項１記載の方法。
10. 入力パターン配列内の前記入力ベクトルによって表される前記時間ポイント間の時間間隔が均一でない、請求項１記載の方法。
11. 入力パターン配列内の前記入力ベクトルによって表される時間ポイント間の時間間隔が、前記同じ入力パターン配列内のその後の入力ベクトル間の時間間隔よりも最近の入力ベクトル間でより短い、請求項１記載の方法。
12. 前記入力パターン配列によって表される継続時間が変化する、請求項１記載の方法。
13. 前記計算が、
    を含む式に基づいている、請求項１記載の方法。
14. 前記計算が、
    を含む式に基づいている、請求項１記載の方法。
15. 前記類似性測度が、有界範囲上の値であり、入力値および参照値が前記範囲の一方の端部で同一であり、前記範囲のもう一方の端部で類似性がないことを示す、請求項１記載の方法。
16. 前記参照データを少なくとも１つの学習逐次パターン行列に形成することであって、各学習逐次パターン行列が複数の参照ベクトルを有し、各参照ベクトルが複数のパラメータを表す参照値を有することを含む、請求項１記載の方法。
17. 前記参照データを形成することが、前記学習逐次パターン行列の３次元の集まりを形成することを含む、請求項１６記載の方法。
18. 学習逐次パターン行列の前記３次元の集まりが、第１の次元に従ったパラメータと、第２の次元に従った前記学習逐次パターン行列と、第３の次元で前記参照ベクトルによって表される時間とを表す３次元によって定義される、請求項１７記載の方法。
19. 各入力パターン配列が、前記３次元の集まりにおける各学習逐次パターン行列と比較されて、各学習逐次パターン行列の類似性測度を決定する、請求項１７記載の方法。
20. 各学習逐次パターン行列が、前記参照ベクトルによって表される時間ポイントを含む期間を表し、前記期間が、前記３次元の集まりにおける他の学習逐次パターン行列の少なくとも一部の期間とは異なるが、一部重複する、請求項１７記載の方法。
21. 前記学習逐次パターン行列が、前記入力パターン配列と同数のベクトルを有する、請求項１７記載の方法。
22. 前記学習逐次パターン行列が、前記入力パターン配列と同じ時間ポイントを表す、請求項１７記載の方法。
23. 前記学習逐次パターン行列の１つと前記入力パターン配列の１つとの前記類似性が、対応する参照値と、それぞれの配列内に表される他のベクトルに対して同じベクトル位置を表す入力値との前記類似性を判定することを含む、請求項１７記載の方法。
24. 前記学習逐次パターン行列の１つと前記入力パターン配列の１つとの前記類似性が、前記配列によって表される各パラメータに対して平均スカラ類似性値を計算することを含む、請求項１７記載の方法。
25. 前記入力パターン配列の少なくとも一部が、前記学習逐次パターン行列の少なくとも１つによって表される前記期間とは異なる期間を表す、請求項１７記載の方法。
26. 前記学習逐次パターン行列によって表される前記期間が変化する、請求項１７記載の方法。
27. 複数の推定ベクトルを有する推定行列の形式で前記推定値を生成することを含む、請求項１記載の方法。
28. 各推定行列中の前記推定ベクトルが、前記入力パターン配列中の前記入力ベクトルによって表される前記時間ポイントに対応する、請求項２７記載の方法。
29. 前記推定行列内の前記推定値のすべてに満たない値を使用して、前記オブジェクトの前記状態を判定する、請求項２７記載の方法。
30. 前記推定行列内の最新の時間ポイントを表す前記推定値のみを使用して、前記オブジェクトの前記状態を判定することを含む、請求項２７記載の方法。
31. 複数の推定行列にわたって表される各時間ポイントに対して、単一の推定ベクトルを提供して、前記オブジェクトの前記状態を判定することを含む、請求項２７記載の方法。
32. 前記単一の推定ベクトルが、
    複数の推定行列にわたる前記時間ポイントにおける前記推定ベクトルの中の最大値、最小値、または中央値を有する、１つまたは複数の推定値を含む前記推定ベクトルを選択することと、
    複数の推定行列にわたる前記時間ポイントにおける前記推定値の平均、重み付け平均、または重み付けノルムを計算することと、
    複数の推定行列にわたる前記時間ポイントにおける前記推定ベクトルの中で対応する入力ベクトルに対して前記最大の類似性を有する推定ベクトルを選択することと
    のうちの少なくとも１つを使用することによって単一の推定ベクトルが提供される、請求項３１記載の方法。
33. 各推定行列に単一の推定ベクトルを提供して、
    前記推定行列中の前記推定ベクトルの中の最大値、最小値、または中央値を有する、各推定行列内の推定ベクトルを選択することと、
    前記推定行列中の前記推定値の平均、重み付け平均、または重み付けノルムを計算することと、
    それぞれの対応する入力ベクトルに対して前記最大の類似性を有する推定行列内の前記推定ベクトルを選択することと
    のうちの少なくとも１つを使用することによって、前記オブジェクトの前記状態を判定することを含む、請求項２７記載の方法。
34. 前記入力パターン配列によって表されないパラメータを表す前記参照データの学習逐次パターン行列の３次元の集まりを用いる計算における重みとして前記類似性測度を使用することを含む、推論された推定値を生成することを含む、請求項１記載の方法。
35. 前記類似性測度を生成するために使用される前記参照データが、前記３次元の集まりによって表される前記パラメータの必ずしもすべてを表さない、請求項３４記載の方法。
36. 前記３次元の集まりが、前記入力パターン配列中に表されないパラメータのみを表す、請求項３４記載の方法。
37. 前記３次元の集まりが、前記入力パターン配列中に表されないパラメータと、前記入力パターン配列中に表されるパラメータの両方を表す、請求項３４記載の方法。
38. 参照データを取得することが、どの参照データを使用して、各入力パターン配列の前記推定値を生成すべきかを再判定することを含む、請求項１記載の方法。
39. 前記推定値が、前記対応する入力パターン配列が正常動作を表すことを示すとき、前記入力パターン配列を前記参照データに追加することによって、前記経験的モデルを適合させることを含む、請求項１記載の方法。
40. オブジェクトの状態を監視するための方法であって、
    前記オブジェクトの正常動作状態を示す、複数の学習逐次パターン行列の形式の参照データを取得することであって、各学習逐次パターン行列が複数の参照ベクトルを有し、各参照ベクトルが複数のパラメータを表す参照値を有することと、
    前記オブジェクトの現在の状態を示す複数のパラメータを表す入力データを取得することと、
    少なくとも１つのプロセッサによって、前記入力データおよび前記学習逐次パターン行列を使用して、前記入力データと前記複数の参照行列中の参照値との類似性測度を決定する計算に基づいて推定値を生成することと、
    前記推定値を前記対応する入力値と比較して、前記比較から得られる値を使用して前記オブジェクトの前記状態を判定することができるようにすることと
    を含む、方法。
41. オブジェクトの状態を監視するための方法であって、
    前記オブジェクトの正常動作状態を示す参照データを取得することと、
    前記オブジェクトの現在の状態を示す複数のパラメータを表す入力データを取得することと、
    少なくとも１つのプロセッサによって、前記入力データと前記参照データの両方を使用して、前記入力データと前記参照データとの類似性測度を決定する計算に基づいて推定値を生成することであって、前記推定値が、複数の時間順の推定ベクトルを有する推定行列の形式で生成され、各推定ベクトルが複数のパラメータを表す推定値を有することと、
    前記推定行列によって表される各期間の少なくとも１つの推定ベクトルを、前記入力データと比較して、前記比較から得られる値を使用して、前記オブジェクトの前記状態を判定することができるようにすることと
    を含む、方法。