JP2022524244A

JP2022524244A - 将来の動作の予測分類

Info

Publication number: JP2022524244A
Application number: JP2022500210A
Authority: JP
Inventors: ジャー，デベシュ; ヂャン，ウェンユ; ラフトチーブ，エミル; ニコフスキ，ダニエル
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2019-03-29
Filing date: 2020-02-04
Publication date: 2022-04-28
Anticipated expiration: 2040-02-04
Also published as: JP7183471B2; EP3948437A1; US10996664B2; EP3948437B1; US20200310400A1; WO2020202857A1

Abstract

システムは、一組の将来の時点におけるマシンの動作の複数の故障を評価する。上記システムは、第１のサブネットワークを含むニューラルネットワークを使用し、第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように将来の時点の各々についての一連の第２のサブネットワークにシーケンシャルに接続されている。第１のサブネットワークは、現在の時系列データと、マシンの動作の現在のセットポイントとを受け付ける。第２のサブネットワークの各々は、先行するサブネットワークの出力と、先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付ける。第２のサブネットワークの各々は、対応する将来の時点における複数の故障の各故障の個別予測を出力する。

Description

本開示は、一般に故障分類器に関し、より特定的にはシステムにおける将来の事象を予測して分類することができる分類器に関する。

時系列とは、時間で索引付けされた一連のデータポイントである。最も一般的には、時系列とは、連続的な時点において得られる一連の測定値である。したがって、それは一連の離散時間データである。時系列の例は、海洋潮汐の高さ、株式交換比率、空調システムの温度測定値のようなさまざまなシステムの動作の一連の測定値である。本開示は主に、人間によって設計されたシステムにおける時系列データの測定に関連している。検知および通信技術の最近の進歩により、現代のマシンが生成するデータの量は爆発的に増加している。マシン動作から収集される時系列のいくつかの例としては、エレベータドアを開閉するプロセスにおける振動の測定値、プラント全体にわたる温度および圧力変動の測定値などが挙げられる。多くの実際的な産業システムでは、それらの動作を表す時系列データは、ますます多次元になっており、すなわち各時点において複数のセンサから収集されるようになっている。これは、安価な分散型センサの普及、ユビキタスな接続、および利用可能なオンデマンドクラウドストレージの結果である。これらはまとめて一般にモノのインターネットと称される。

人間によって設計された現代のシステムは、指数関数的に複雑になってきており、多くの場合、協働する複数の相互接続されたシステムからなっている。これらのシステムの最終目標は、自律的な動作であり、自律的な動作とは、予知および診断で必要になる人間の介入が最小限である動作である。これらのシステムの効率的な診断のために、システムの将来の動作セットポイントに応じて将来の故障／事象を予測できることが重要である。したがって、多くの産業上の用途では、状況またはレジーム（故障なし、タイプ１故障、タイプ２故障など）の識別が必要である。なぜなら、それらがシステムの将来の動作において生じる可能性があるからである。現代のマシン／システムは、非常に速いペースで非常に大量にデータを生成するが、それを効率的に分析することができる機械学習技術は依然として非常に少ない。次元データが大量であり、シーケンシャルな多次元データにおけるダイナミクスが複雑であり、データセットラベル付けが不十分であるために、これらのレジームまたは状況の自動的な判断および予測の問題は未解決のままである。これは別として、現代の機械の大半は、通常は非常に長期間にわたって動作するように構築されている。一般に、これらのシステムの大半では、故障が発生することは非常にまれである。さらに、複数故障設定では、いくつかの故障が同時に発生し得るため、多数の可能性を生じさせる。たとえば、いくつかの故障が他の故障よりも頻繁に発生したり、場合によっては複数の故障が一緒に発生する可能性がある、などである。これは、訓練セットにおける考えられるクラスが非常にアンバランスである問題インスタンスを機械学習アルゴリズムが備えるという問題を引き起こす。

さらに、学習アルゴリズムが、システムにとって適切な予測範囲にわたってマシンの動作レジームを予測できる、ということが望ましい。予測範囲が長くなるにつれて、事象を予測する難しさは悪化する。さまざまな種類の故障に対する正確な前兆ダイナミクス（未知のより低次元の多様体の中に存在し得る）を学習することは困難であるので、予測問題は多次元時系列では特に困難である。クラスがアンバランスであるので、この隠れ多様体の学習は、機械学習アルゴリズムの非適切な最適化問題に起因して、このアンバランスによって希釈され得る。これにより、テストケースでの一般化が上手くいかなくなる可能性がある。複数の故障が同時に発生し得る設定では、この問題はさらに難易度が高くなる。なぜなら、学習アルゴリズムは、組み合わせ数の事象（おそらく全ての考えられる故障の組み合わせ）に対して予測前兆を学習しなければならないからである。自律型システムの大半は、予知および診断の目的でこれらの問題に取り組む。

したがって、現在の事象の「検出」に加えて、またはその代わりに、システムの動作における将来の事象の「予測」が必要である。検出問題は、予知の文献（たとえば、Ｍ．ジョーンズ、Ｄ．ニコヴスキ、Ｍ．イマムールおよびＴ．ヒラタによる「実数値多次元時系列における異常検出（Anomaly detection in real-valued multi-dimensional time-series）」、ビッグデータに関する国際会議２０１４（2014 International Conference on Big Data）を参照）において非常によく研究されているが、故障予測は、依然として難易度が高いと考えられており、議論の余地がある研究トピックである。

たとえば、時系列分析は、意味のある統計およびデータの他の特徴を抽出するために時系列データを分析する方法を備える。時系列分析の一例は、時系列予想である。ここでは、以前に観察された値に基づいて時系列の将来の値を予測するためにモデルが使用される。重要なことに、このタスクを成し遂げるためにはモデルが必要であり、多くのシステムのモデルは単純に利用不可能であるので、このモデルを決定することは時系列分析における中心的なタスクである。十分にラベル付けされたデータ（熟練したオペレータによって各データポイントに注釈が付けられたデータ）では、マルコフモデルに基づいて前方予測を行うことができる。ここでは、これらのモデルとともに反復手法が使用される（たとえば、ジェシー・リード、ルカ・マルティノおよびヤーコ・ホルムによる「シーケンシャルなデータでの予測のためのマルチラベル方法（Multilabel methods for prediction with sequential data）」、パターン認識、第６３巻、第４５～５５頁、２０１７を参照）。しかし、マルコフモデルは、離散システムでは大抵上手く機能するため、マルコフモデルの適用範囲は非常に限定される。したがって、複雑なシステムの将来の動作を正確に予測することができる機械学習システムは、依然としてはっきりしないが、適切になされれば非常に有用であり得る。

したがって、システムの将来の動作を示す多次元時系列データからのシステムの将来の動作のデータ駆動型分類が必要である。

いくつかの実施形態の目的は、多次元時系列データの特定の履歴およびシステムの将来の動作状況からのシステムの将来の動作のデータ駆動型分類のためのシステムおよび方法を提供することである。さらにまたは代替的に、いくつかの実施形態の目的は、将来のある時点におけるシステムの動作の故障を予測するのに適したシステムおよび方法を提供することである。さらにまたは代替的に、いくつかの実施形態の目的は、多次元故障空間からマルチラベル故障を予測するのに適したシステムおよび方法を提供することである。したがって、いくつかの実施形態は、複雑な産業システムにおいてさまざまなタイプの故障を示すことができる。このようなシステムの例としては、水処理プラント、発電所もしくは廃棄物処理施設のような産業用プラント、または、列車機関車、列車車両、タービンもしくは大規模モータのような産業用機械が挙げられる。

いくつかの実施形態は、システムの現在の動作の時系列データが、システムの現在の状態だけでなく、システムのダイナミクス（または、故障の発展のダイナミクス）も取り込むことができるため、システムの将来の状態（故障を示す）の予測に使用することができる、という認識に基づいている。さらに、システムのこの将来の状態を分類に使用して、システムの将来の動作の分類結果を生成することができる。しかし、システムの将来の状態のデータ駆動型（モデルフリー）予測は、難しいことで有名な問題である。たとえば一次元の状態を有する比較的単純なシステムに対しては、何らかの近似を実行することができる。しかし、複雑な多次元システムでのデータ駆動型予測は、難易度が高い。この主な理由は、時系列の予測における小さな誤差が将来予測ステップではすぐに悪化するため、予測されたデータに基づく分類はいずれも、誤解を招くような結果を生じさせるからである。

いくつかの実施形態は、特徴学習または表現学習が、生データからの特徴検出または分類に有利な表現をシステムが自動的に発見することを可能にする一組の機械学習技術である、という認識に基づいている。しかし、いくつかの実施形態は、このような特徴表現が発見された場合にこの表現を検出または分類だけでなく他のタスクにも使用することができる、という認識に基づいている。

具体的には、いくつかの実施形態は、分類目的で多次元時系列データに対して特徴学習が実行されると、結果として生じる特徴表現は、時系列データに隠れているダイナミクスを不可避的に取り込むおよび／または封入することになる、という認識に基づいている。この理由は、一部には、複雑な分類問題では、離散的に捉えられる時点はすぐには根底にある状態を明らかにせず、データポイントは、低減された次元にマッピングされる場合、データポイント間に関係が存在する空間に暗黙的にマッピングされるからである。多次元時系列データのこのような特徴表現は、次元がかなり低いであろうが、依然としてシステムの関連するダイナミクスを取り込む。この凝縮は、時系列データの時間次元を低減させることにより、結果として生じる特徴表現を将来の予測のためにより単純にする。

適切な一組の特徴を学習する利点は、それが元のデータよりもはるかに小さな次元空間において適切なコスト関数に基づいて関連情報を回復させることができるというものである。一般に、上記の理由により、システムの測定値から直接システム（または、マシン）状態およびレジームを検出することは困難である。しかし、システム測定値に含まれる情報は、システムの動作の元の入力空間における次元よりも少ない次元を有する埋め込み空間へのセンサデータの非線形マッピングを通じて学習することができる。ここで、非線形マッピングは、時系列次元内のダイナミクスおよび時系列次元間の関係をこの非線形性が取り込むので、有利である。特に、特徴学習は、センサ測定値を、さまざまなレジームが別個のクラスタに分離される抽象空間に埋め込むように設計され得る。ここで、クラスタの重心は、一旦学習されると埋め込みを使用して埋め込みデータを分類できるように（埋め込み方法によって）新たなデータポイントを引き寄せるという特性を有している。このようなクラスタリングは、分類に有利であるが、将来の予測にも有利である。この理由は、時系列アナリティクスでは、埋め込み空間におけるクラスタが時系列生成プロセスのダイナミクスを表すからである。したがって、正しく発見された場合、埋め込み方法は、システムのさまざまな状態の予測ダイナミクス（たとえば、どの種類の故障が将来のどの時点で発生するか）を正確に学習することができる。

いくつかの実施形態は、十分に学習された特徴でさえ、将来の予測に使用する際には、予測および／または分類精度を向上させるために定期的に較正され得る、という認識に基づいている。しかし、このような較正は、一般に、時系列の予測窓内では不可能である。それでもなお、このような較正は、将来についての何らかの既知情報があるシステムでは可能である。このような情報の例としては、所望の動作パラメータ（温度、ｒｐｍ、速度）のための制御セットポイントおよび／または動作レジームの全体論的説明が挙げられる。この理由は、ニューラルネットワークなどの統計モデルでは、システムの将来の状態についての予測を埋め込み空間から導くために、システムの将来のセットポイントを本来使用できるからである。

そのために、いくつかの実施形態は、適切な埋め込み空間での抽象／隠れシステム状態の予測に有利な当該埋め込み空間における履歴多次元時系列データの表現を学習する。埋め込み空間が分類に有利であるので、当該埋め込み空間における将来の予測も分類することができる。埋め込み空間は、データの次元を低減させるように、および／または、データの次元の分離を増加させるように発見または学習される。この技術は、データの予測にも予測されたデータの分類にも役立ち、これは、表現学習の本来の目的である。

いくつかの実施形態は、埋め込み空間におけるシステムの故障の予測がニューラルネットワークの助けを借りて実行可能である、という認識に基づいている。このようにして、システムの動作の時系列データの、対応する将来の時点についての埋め込み空間における埋め込みデータの埋め込み空間発展への変換は、プログラムされるのではなく学習されることができる。

いくつかの実施形態は、大半の機械システムまたはマシンでは、故障が前兆を有しており、この前兆が将来の時点における故障の予測に有用である、という認識に基づいている。たとえば、（埋め込み空間において学習される）故障状況またはシステム状態のうちのいくつかは、将来の時点において発生する故障を示し得る。そのために、いくつかの実施形態は、一度に１つの時点で将来の状態を予測して、この予測をフィードバックしてさらなる将来の時点において予測を行う。そのために、一度に１つのステップで予測を行って、次いでこの予測をフィードバックして将来のシステム状態を予測するための訓練を可能にする好適なニューラルネットワーク構造が使用される。

いくつかの実施形態は、ニューラルネットワークの特定の構造が、訓練済みニューラルネットワークに所望の機能を実行させることができる、という認識に基づいている。そのために、いくつかの実施形態は、第１のサブネットワークを含むニューラルネットワークを使用し、この第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されている。第１のサブネットワークの目的は、システムの動作の測定値を埋め込み空間に変換するというものである。したがって、第１のサブネットワークは、一連のサブネットワークの最初に配置され、そのため、第１のサブネットワークの出力は、一連の第２のサブネットワークにおける第２のサブネットワークのうちの最初の第２のサブネットワークへの入力である。第１のサブネットワークは、現在の時点までの複数の時点を含む期間にわたってシステムの動作を測定する複数のセンサから収集された現在の時系列データを受け付ける。また、第１のサブネットワークは、当該期間内のシステムの動作の一組の現在のセットポイントを受け付ける。したがって、第１のサブネットワークは、変換に必要な全ての情報を所有する。

一連の第２のサブネットワークでは、予測範囲内の将来の時点の各々について第２のサブネットワークがある。たとえば、実施形態が現在の時点からの４つの時点を含む予測範囲にわたって故障を予測することを目的とする場合、ニューラルネットワークは、一連の４つの第２のサブネットワークを含み、各々は、当該予測範囲内の特定の将来の時点に対応する。各々の第２のサブネットワークの目的は、対応する将来の時点についての埋め込み空間における埋め込みデータの発展を推定するというものである。そのために、第２のサブネットワークの各々は、先行するサブネットワーク（第１のサブネットワークまたは先行する第２のサブネットワーク）から出力を受け付け、対応する将来の時点についての将来のセットポイントも受け付ける。前のサブネットワークの出力は、埋め込み空間に故障の発展のダイナミクスを保持している。対応する将来の時点についての将来のセットポイントは、将来のセットポイントに従ったダイナミクス発展の調整を可能にする。第２のサブネットワークの各々の出力は、対応する将来の時点における複数の故障の各故障の個別予測である。

ニューラルネットワークが上記の構造および入力／出力関係を有している場合、第１のサブネットワークは、マルチラベル故障空間においてよりよい故障分離結果を実現するために埋め込み空間への非線形変換を実行するように誘導されると考えられる。また、第２のサブネットワークの各々は、埋め込みデータを、それらの構造を保持しながら発展させるように誘導されると考えられる。たとえば、一実施形態では、第１のサブネットワークは、時系列データを埋め込み空間に変換して、対応する埋め込みデータに対して分類器によって実行される現在の時点における各故障の予測の分類誤差を減少させるように訓練され、第２のサブネットワークは、前の時点の埋め込みデータから次の時点の埋め込みデータを、次の時点までに収集される時系列データを観察することなく予測して、次の時点の予測された埋め込みデータと、次の時点までに収集される時系列データから第１のサブネットワークによって変換される次の時点の埋め込みデータとの間の誤差を減少させるように訓練される。このようにして、訓練済みニューラルネットワークのパフォーマンスを検証することができる。

第２のサブネットワークの出力は、故障状況を示すものとしての役割を果たすことができる。なぜなら、埋め込み空間におけるデータ分離は分類に有利であるからである。さらにまたは代替的に、浅い分類器、たとえば二項分類器は、各々のまたは最後の第２のサブネットワークの出力を分類して、故障予測の二値ベクトルを生成することができる。いくつかの実現例では、この分類器は、第１のサブネットワークおよび一連の第２のサブネットワークと一緒に訓練される第３のニューラルネットワークである。

いくつかの実施形態では、第１のサブネットワークおよび一連の第２のサブネットワークは、損失関数を低減させるように一緒に訓練される。損失関数は、各故障の分類の際の独立性を強化するように故障を離散化することができる。たとえば、一実施形態では、損失関数は、第１の故障の第１の予測誤差および第２の故障の第２の予測誤差を互いに独立して推定する。複数の故障が同時に発生し得る設定では、故障の組み合わせを推定することは、組み合わせ問題である。事実上、故障推定の際の独立性を強化するこのような損失関数は、組み合わせ計算問題なしに複数の故障を推定することを可能にすることができる。

したがって、一実施形態は、予測範囲を形成する一組の将来の時点におけるマシンの動作の複数の故障を評価するためのシステムを開示する。上記システムは、上記マシンの上記動作中に入力データを受け付けるように構成された入力インターフェイスを含み、上記入力データは、現在の時点までの複数の時点を含む期間にわたって上記マシンの上記動作を測定する複数のセンサから収集された現在の時系列データと、上記期間内の上記マシンの上記動作の一組の現在のセットポイントと、予測範囲を形成する一組の将来の時点についての上記マシンの上記動作の一組の将来のセットポイントとを含み、上記システムはさらに、第１のサブネットワークを含むニューラルネットワークを格納するように構成されたメモリを含み、上記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、上記予測範囲内の上記将来の時点の各々について第２のサブネットワークがあり、上記第１のサブネットワークは、上記現在の時系列データと上記現在のセットポイントとを受け付け、上記第２のサブネットワークの各々は、先行するサブネットワークの出力と、上記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、上記第２のサブネットワークの各々は、上記対応する将来の時点における複数の故障の各故障の個別予測を出力し、上記システムはさらに、上記入力インターフェイスから受信された上記入力データを上記ニューラルネットワークに送信して、上記将来の時点の各々における上記複数の故障の各故障の個別予測を推定するように構成されたプロセッサと、上記故障の各々の上記個別予測を出力するための出力インターフェイスとを含む。

別の実施形態は、予測範囲を形成する一組の将来の時点におけるマシンの動作の複数の故障を評価するための方法を開示する。上記方法は、上記方法を実現する格納された命令に結合されており、上記命令は、上記プロセッサによって実行されると上記方法のステップを実行する。上記方法は、上記マシンの上記動作中に入力データを受け付けるステップを含み、上記入力データは、現在の時点までの複数の時点を含む期間にわたって上記マシンの上記動作を測定する複数のセンサから収集された現在の時系列データと、上記期間内の上記マシンの上記動作の一組の現在のセットポイントと、予測範囲を形成する一組の将来の時点についての上記マシンの上記動作の一組の将来のセットポイントとを含み、上記方法はさらに、入力インターフェイスから受信された上記入力データをニューラルネットワークに送信して、上記将来の時点の各々における上記複数の故障の各故障の個別予測を推定するステップを含み、上記ニューラルネットワークは、第１のサブネットワークを含み、上記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、上記予測範囲内の上記将来の時点の各々について第２のサブネットワークがあり、上記第１のサブネットワークは、上記現在の時系列データと上記現在のセットポイントとを受け付け、上記第２のサブネットワークの各々は、先行するサブネットワークの出力と、上記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、上記第２のサブネットワークの各々は、上記対応する将来の時点における複数の故障の各故障の個別予測を出力し、上記方法はさらに、上記故障の各々の上記個別予測を出力するステップを含む。

さらに別の実施形態は、方法を実行するためにプロセッサによって実行可能なプログラムが組み入れられた非一時的なコンピュータ読取可能記憶媒体を開示する。上記方法は、マシンの動作中に入力データを受け付けるステップを含み、上記入力データは、現在の時点までの複数の時点を含む期間にわたって上記マシンの上記動作を測定する複数のセンサから収集された現在の時系列データと、上記期間内の上記マシンの上記動作の一組の現在のセットポイントと、予測範囲を形成する一組の将来の時点についての上記マシンの上記動作の一組の将来のセットポイントとを含み、上記方法はさらに、入力インターフェイスから受信された上記入力データをニューラルネットワークに送信して、上記将来の時点の各々における上記複数の故障の各故障の個別予測を推定するステップを含み、上記ニューラルネットワークは、第１のサブネットワークを含み、上記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、上記予測範囲内の上記将来の時点の各々について第２のサブネットワークがあり、上記第１のサブネットワークは、上記現在の時系列データと上記現在のセットポイントとを受け付け、上記第２のサブネットワークの各々は、先行するサブネットワークの出力と、上記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、上記第２のサブネットワークの各々は、上記対応する将来の時点における複数の故障の各故障の個別予測を出力し、上記方法はさらに、上記故障の各々の上記個別予測を出力するステップを含む。

いくつかの実施形態に係る、マシンの動作における異常を検出および／または分類するためのシステムのブロック図である。いくつかの実施形態に係る、マシンの動作における異常を検出および／または分類するためのシステムのブロック図である。いくつかの実施形態に係る、診断されたマシンにおける複数の故障の発生のバリエーションを示す概略図である。いくつかの実施形態によって使用される故障分類の原理の概略図である。モニタリングされたマシンの動作の測定値と、いくつかの実施形態によって使用されるマシンの動作の現在および将来のセットポイントとの間の関係を示す概略図である。モニタリングされたマシンの動作の測定値と、いくつかの実施形態によって使用されるマシンの動作の現在および将来のセットポイントとの間の関係を示す概略図である。いくつかの実施形態に係る、予測ニューラルネットワークに基づく故障分類の概略図である。いくつかの実施形態に係る、故障分類に使用されるニューラルネットワークの例示的な構造の概略図である。いくつかの実施形態に係る、図６のニューラルネットワークを使用した故障分類の概略図である。モニタリングされたマシンの将来の故障を分類するためにいくつかの実施形態によって使用される埋め込み空間の概略図である。いくつかの実施形態に係る、埋め込み空間における例示的な理想的なデータ分配の概略図である。いくつかの実施形態によって使用されるニューラルネットワークの訓練の概略図である。いくつかの実施形態に係る、予測ニューラルネットワークの訓練を可能にする損失関数の計算のブロック図および概略図である。いくつかの実施形態に係る、予測ニューラルネットワークの訓練を可能にする損失関数の計算のブロック図および概略図である。いくつかの実施形態に係る、個別故障予測のための損失関数の評価の概略図である。

実施形態の説明
システムの概要
図１Ａおよび図１Ｂは、いくつかの実施形態に係る、マシン１０２の動作における異常を検出および／または分類するためのシステム１００のブロック図である。マシン１０２は、複数のサブシステム、たとえばサブシステム１０１を有する分散システムであってもよい。さらに、各サブシステムは、連係して動作するデバイス１０４に接続された１つまたは複数の構成要素１０３を含んでいてもよい。このようなマシン１０２の例は、複数の室内機に接続された１つの室外機を含む空調システムである。いくつかの実施形態では、システム１００の異常検出は、マシン１０２の動作における故障の有無を判断する。さらにまたは代替的に、いくつかの実施形態では、システム１００の異常検出は、マシン１０２の動作における故障のタイプを分類する。

システム１００は、システム１００を他のシステムおよびデバイスに接続するいくつかの入力インターフェイス１０８および出力インターフェイス１１６を有し得る。たとえば、ネットワークインターフェイスコントローラ１５０は、システム１００をバス１０６を介してネットワーク１９０に接続するように適合されている。ネットワーク１９０を介して、無線または有線で、システム１００は、マシンの動作の測定値の時系列サンプルを含む入力信号１９５を受信することができる。入力信号１９５の測定値は、センサ１０４ａ，１０４ｂおよび１０４ｃのうちの１つもしくはそれらの組み合わせからの測定値、または、マシンの動作の物理的変数の測定値から導き出されるデータである。このような物理的変数の例としては、質量、位置、速度および／または質量の加速度を動かすモータのトルクおよび／または電圧などが挙げられる。時系列サンプルは、一次元または多次元であり得る。すなわち、１つのサンプルは、マシンの動作のさまざまな物理量の測定値を含み得る。

さらに、入力インターフェイス１０８は、システムの目標状態を表す現在および／または将来のセットポイントを受け付けるように構成される。セットポイント（設定点またはセット－ポイント）は、マシン１０２の変数またはプロセス値の所望の値または目標値である。いくつかの実現例では、このような変数の、そのセットポイントからの逸脱は、自動制御に負のフィードバックを使用する誤差制御調整の１つの根拠である。空調システムにおけるセットポイントの例は、調整された環境における所望の温度である。マシンの動作の測定値とセットポイントとの組み合わせは、本明細書ではベースラインデータ１３１と称され、このベースラインデータ１３１は、マシンの将来の動作の異常検出および／または故障分類に使用される。

いくつかの実現例では、システム１００内のヒューマンマシンインターフェイス１１０は、システムをキーボード１１１およびポインティングデバイス１１２に接続し、このポインティングデバイス１１２は、とりわけマウス、トラックボール、タッチパッド、ジョイスティック、ポインティングスティック、スタイラスまたはタッチスクリーンを含み得る。インターフェイス１１０またはＮＩＣ１５０を介して、システム１００は、マシン１０２の動作の測定値、マシン１０２の現在および将来の動作のセットポイント、ならびに／または、異常検出および故障分類閾値などのデータを受信することができる。

システム１００は、マシンの将来の動作の異常検出および／または故障分類の結果を出力するように構成された出力インターフェイス１１６を含む。たとえば、出力インターフェイスは、異常検出および故障分類の結果を表示するためにメモリを含み得る。たとえば、システム１００は、バス１０６を介してディスプレイインターフェイス１８０に連結されることができ、このディスプレイインターフェイス１８０は、とりわけコンピュータモニタ、カメラ、テレビ、プロジェクタまたはモバイルデバイスなどのディスプレイデバイス１８５にシステム１００を接続するように適合されている。システム１００は、アプリケーションインターフェイス１６０にも接続されることができ、このアプリケーションインターフェイス１６０は、さまざまな動作を実行するための機器１６５にシステムを接続するように適合されている。システム１００は、制御インターフェイス１７０にも接続されることができ、この制御インターフェイス１７０は、マシン１０２にシステムを接続するように適合されている。たとえば、制御インターフェイス１７０を介して、システム１００は、異常検出および分類の結果に基づいてマシン１０２を制御するように構成され得る。

システム１００は、格納された命令を実行するように構成されたプロセッサ１２０と、プロセッサによって実行可能な命令を格納するメモリ１４０とを含む。プロセッサ１２０は、シングルコアプロセッサ、マルチコアプロセッサ、コンピューティングクラスタ、またはいくつもの他の構成であってもよい。メモリ１４０は、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、フラッシュメモリまたはその他の好適なメモリシステムを含み得る。プロセッサ１２０は、バス１０６を介して１つまたは複数の入力および出力デバイスに接続されている。これらの命令は、マシン１０２の将来の動作における異常を検出および／または分類するための方法を実現する。

そのために、システム１００は、対応する将来の時点における複数の故障の各故障の個別予測を判断して出力するように訓練された予測ニューラルネットワーク１３３を含む。そのために、この予測ニューラルネットワーク１３３は、後述するように、いくつかの実施形態の原理を実現するように設計されたサブネットワークのシーケンシャルな組み合わせによって形成される。

いくつかの実施形態では、プロセッサ１２０は、入力インターフェイスから受信された入力データ、すなわちベースラインデータ１３１をニューラルネットワーク１３３に送信して、将来の時点の各々における複数の故障の各故障の個別予測を推定するように構成される。さらにまたは代替的に、いくつかの実施形態では、システム１００は、ニューラルネットワーク１３３の出力を分類するように構成された故障分類器１３５も含む。たとえば、分類器１３５は、各故障の予測を分類してマルチラベル故障の二値ベクトルを生成するように訓練された二項分類器であってもよく、そのため、出力インターフェイス１１６は、この二値ベクトルを出力する。

問題の概要
いくつかの実施形態の目的は、多次元時系列データの特定の履歴およびシステムの将来の動作状況からのマシン１０２の将来の動作のデータ駆動型分類のためのシステムおよび方法を提供することである。さらにまたは代替的に、いくつかの実施形態の目的は、将来のある時点におけるシステムの動作の故障を判断するのに適したシステムおよび方法を提供することである。さらにまたは代替的に、いくつかの実施形態の目的は、多次元故障空間からマルチラベル故障を判断するのに適したシステムおよび方法を提供することである。したがって、いくつかの実施形態は、複雑な産業システムにおいてさまざまなタイプの故障を示すことができる。このようなシステムの例としては、水処理プラント、発電所もしくは廃棄物処理施設のような産業用プラント、または、列車機関車、列車車両、タービンもしくは大規模モータのような産業用機械が挙げられる。

図２は、いくつかの実施形態に係る、診断されたマシンにおける複数の故障の発生のバリエーションを示す概略図である。これらの故障は、多次元時系列２０１上で予測され、個々に発生するが重複する観察時間間隔２０３中に発生し得るようなものである。時系列の中の任意の観察時間窓２０３では、故障が同時におよび／または重複して発生する（２０２）可能性がある。したがって、予測が将来のある時点において行われているという理由および故障の考えられる組み合わせの数が考えられる故障の数とともに指数関数的に増加するという理由の両方の理由から、これらの故障を予測する難しさは複雑化する。また、２０４に示されるように、いくつかの故障は、極めてまれに発生し得る。ヒストグラム２０４は、複数の故障タイプが発生するが、いくつかの故障タイプはまれであることを示している。

いくつかの実施形態は、システムの現在の動作の時系列データが、システムの現在の状態だけでなく、システムのダイナミクスも取り込むことができるため、システムの将来の状態の予測に使用することができる、という認識に基づいている。さらに、システムのこの将来の状態を分類に使用して、システムの将来の動作の分類結果を生成することができる。しかし、システムの将来の状態のデータ駆動型（モデルフリー）予測は、難しいことで有名な問題である。たとえば一次元の状態を有する比較的単純なシステムに対しては、何らかの近似を実行することができる。しかし、複雑な多次元システムでのデータ駆動型予測は、難易度が高い。この主な理由は、時系列の予測における小さな誤差が将来予測ステップではすぐに悪化するため、予測されたデータに基づく分類はいずれも、誤解を招くような結果を生じさせるからである。

具体的には、いくつかの実施形態は、分類目的で多次元時系列データに対して特徴学習が実行されると、結果として生じる特徴表現は、時系列データに隠れているダイナミクスを不可避的に取り込むおよび／または封入することになる、という認識に基づいている。この理由は、一部には、複雑な分類問題では、離散的に捉えられる時点はすぐには根底にある状態を明らかにせず、データポイントは、低減された次元にマッピングされる場合、ポイント間に関係が存在する空間に暗黙的にマッピングされるからである。多次元時系列データのこのような特徴表現は、次元がかなり低いであろうが、依然としてシステムのダイナミクスを取り込む。この凝縮は、時系列データの時間次元を低減させることにより、結果として生じる特徴表現を将来の予測のためにより単純にする。

図３は、いくつかの実施形態によって使用される故障分類の原理の概略図である。いくつかの実施形態では、センサ１０４ａ～１０４ｃの数およびタイプは、動作空間３１０の次元を形成する。そのために、いくつかの実施形態は、動作空間における時系列データを、動作空間の次元よりも少ない次元を有する埋め込み空間３２０における埋め込みデータに変換するまたは埋め込む（３１５）。このような変換３１５は、埋め込み空間３１０が分類に有利であるように、特徴学習の原理に基づいて実行される。次に、対応する将来の時点についての埋め込み空間３３０への埋め込みデータ３２０の発展３２５のある推定値は、所定のシステムセットポイントを与えられる。いくつかの実施形態は、動作空間３１０におけるデータのダイナミクスが埋め込み空間３２０に保持されていることに起因して、このような発展３２５の可能性を認識していた。データ３３０は、埋め込み空間におけるマシン１０２の将来の状態の予測である。そのために、埋め込みデータ３３０の予測は、マシン１０２の将来の故障３４０を推定するように分類されることができる（３３５）。事実上、いくつかの実施形態の原理は、マシンの将来の故障のデータ駆動型分類を可能にする。

このようにして、いくつかの実施形態は、分類に有利なある埋め込み空間における履歴多次元時系列データの表現を学習して、当該埋め込み空間における将来の多次元時系列データを予測する。埋め込み空間が分類に有利であるので、当該埋め込み空間における将来の予測を上手く分類することができる。埋め込み空間は、データの次元を低減させるように、および／または、データの次元の分離を増加させるように選択される。このアプローチは、データの予測にも予測されたデータの分類にも役立ち、これは、表現学習の本来の目的である。

図４Ａおよび図４Ｂは、モニタリングされたマシンの動作の測定値と、いくつかの実施形態によって使用されるマシンの動作の現在および将来のセットポイントとの間の関係を示す概略図である。さまざまな実施形態において、時系列も目標セットポイントも静止していない。なお、図４では、所定の観察された時系列は連続的であり（４０１）、目標セットポイント４０２は変化している。したがって、システム１００への入力は、連続的に変化することが予想される。また、さまざまな実施形態において、セットポイントは、観察された時間窓と将来の時間窓とで同一でなくてもよい。図５には、観察された時間窓４１０、および、故障予測が実行されている将来の予測窓４２０が記載されている。この例では、セットポイントは異なっており、実際には、将来の予測が開始するときに変化している。これは有利である。なぜなら、故障検出は、多くの場合、システムにおけるレジーム変更が実行されているときに最も必要とされるからである。

実現例の概要
いくつかの実施形態は、埋め込み空間におけるシステムの故障の予測がニューラルネットワークの助けを借りて実行可能である、という認識に基づいている。このようにして、システムの動作の時系列データの、対応する将来の時点についての埋め込み空間における埋め込みデータの埋め込み空間発展への変換は、プログラムされるのではなく学習されることができる。

図５は、いくつかの実施形態に係る、予測ニューラルネットワークに基づく故障分類の概略図である。ニューラルネットワーク１３３は、第１のサブネットワーク５０２を含み、この第１のサブネットワーク５０２は、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワーク５０４にシーケンシャルに接続されている。予測範囲内の将来の時点の各々について第２のサブネットワークがあり、第１のサブネットワークは、現在の時系列データと現在のセットポイントとを受け付け（５０３）、第２のサブネットワークの各々は、先行するサブネットワークの出力と、対応する将来の時点についての将来のセットポイントとを受け付け（５０５）、第２のサブネットワークの各々は、対応する将来の時点における複数の故障の各故障の個別予測を出力する（５０６）。

より具体的には、入力デバイスを使用してシステムにおいてデータを受信する（５０１）。次いで、このデータを好適に選択された時間窓にパーティション化して、第１のニューラルサブネットワークにシーケンシャルに送り込む（５０２）。各時間ステップについて、システムの現在の所望の動作を表すシステムセットポイントを入力することによって入力データを強化する（５０３）。次いで、この第１のサブネットワークの出力を、将来の所望のセットポイントとともに、第２のサブネットワークに送り込む（５０４）。各々の所望の予測ステップについて、この第２のサブネットワークの出力を、所望の将来のセットポイントとともに、第２のサブネットワークにフィードバックする（５０５）。これは、時点当たりの故障予測を生成し（５０６）、将来予測の終了時に合計予測窓故障予測を生成する（これも５０６）。

いくつかの実施形態は、相互に関連付けられ得る故障の予測が、システムの現在の状態を使用して特定の予測範囲にわたって故障を予測することができるある種の予測モデルを必要とする、という認識に基づいている。いくつかの実施形態は、元の高次元空間では故障を予測したり時系列のダイナミクスを学習したりすることが困難であるため、時系列の多次元測定値の小次元表現を学習することが望ましい、という認識に基づいている。

いくつかの実施形態は、時系列データの予測が、データのさまざまな成分間に存在し得る高次元の複雑な相関関係のために、はるかに複雑なタスクである、という認識に基づいている。しかし、抽象空間において時系列データの低次元表現を使用して、システムで発生する故障のダイナミクスを学習することは容易である。いくつかの実施形態は、特定の予測範囲にわたる故障の正確な予測のために、各時点においてアルゴリズムによって予測される故障を考慮に入れるべきであり、その理由は、故障が相互に関連付けられ得るために、ある時点「ｋ」における故障の予測が将来のある時点「ｋ＋１」における故障の発生の確率に影響を及ぼし得るからである、という認識に基づいている。さらに、この情報は、多重故障設定でも有用であろう。なぜなら、常に一緒に発生する故障もあれば、決して一緒に発生しない故障もあるので、これが故障ダイナミクスの学習を簡略化できるからである。この動機の結果、本開示のいくつかの実施形態は、一度に１つのステップで故障を予測して、次いで、予測された故障を、有限の時間窓にわたって将来発生する故障を予測するためのアルゴリズムにフィードバックする。

いくつかの実施形態は、システムの将来の故障がシステムの所望の動作点またはセットポイントに左右されるはずである、という認識に基づいている。たとえば、ある事象は、システムの特定の所望のセットポイントでは通常であるが、別のセットポイントでは全く望ましくないために不完全である場合がある。したがって、機械学習アルゴリズムは、プラントの動作の所望のセットポイントを入力とみなして、それを将来の故障の予測に使用すべきである。本開示のいくつかの実施形態は、設計されたシステムの大半では、動作の所望のセットポイントが常に既知である、という認識に基づいている。たとえば、マシンは、制御されたシステムに対して、特定の温度、圧力を維持するといった特定のタスクを実行するように常に動作する。したがって、故障予測アルゴリズムは、マシンの動作の所望のセットポイントを将来の故障の予測に使用することができる。

一連の第２のサブネットワークでは、予測範囲内の将来の時点の各々について第２のサブネットワークがある。たとえば、実施形態が現在の時点からの４つの時点を含む予測範囲にわたって故障を予測することを目的とする場合、ニューラルネットワークは、一連の４つの第２のサブネットワークを含み、各々は、当該予測範囲内の特定の将来の時点に対応する。各々の第２のサブネットワークの目的は、対応する将来の時点についての埋め込み空間における埋め込みデータの発展を推定するというものである。そのために、第２のサブネットワークの各々は、先行するサブネットワーク（第１のサブネットワークまたは先行する第２のサブネットワーク）から出力を受け付け、対応する将来の時点についての将来のセットポイントも受け付ける。前のサブネットワークの出力は、埋め込み空間に故障のダイナミクスを保持している。対応する将来の時点についての将来のセットポイントは、システムのダイナミクスの所望の発展を示す。第２のサブネットワークの各々の出力は、対応する将来の時点における複数の故障の各故障の個別予測である。

図６は、いくつかの実施形態に係る、故障分類に使用されるニューラルネットワークの例示的な構造の概略図である。この例では、第１のサブネットワーク６０１は、一連の第２のサブネットワーク６０５に接続されている。第１のサブネットワーク６１０は、回帰型長・短期記憶（ＬＳＴＭ）ニューラルネットワーク層を含み、これらの回帰型長・短期記憶（ＬＳＴＭ）ニューラルネットワーク層の各々は、特定の時点における観察値と、システムのセットポイントと、前の時点における第１のサブネットワークの出力とで構成される入力６０２を有する。全ての観察された時点がネットワークに送られた後、最後のネットワーク出力６０３は、そのネットワークの最終状態である。これは、第２のサブネットワークに入力され、この第２のサブネットワークも回帰型（ＬＳＴＭ）ニューラルネットワーク層を含み、その入力は、最初は、将来のセットポイント６０６とともに第１のサブネットワーク６０１の出力状態６０３である。後続のステップにおいて、第２のサブネットワークの出力は、ネットワークへの入力として使用される。

図７は、いくつかの実施形態に係る、図６のニューラルネットワークを使用した故障分類の概略図である。いくつかの実施形態では、利用されるニューラルネットワークを変換方法とともに使用して、ネットワーク出力を、将来のセグメント全体での将来の離散的な時点における故障のラベルに変換する。たとえば、一実施形態では、将来の任意の時点における故障の予測は、第２のサブネットワークの状態のシグモイド変換７０１を採用することによって実行される。合計将来窓での故障予測は、将来の間隔中の第２のサブネットワークの状態の合計に対してシグモイド変換７０２を採用することによって実行される。

ニューラルネットワークが上記の構造および入力／出力関係を有している場合、第１のサブネットワークは、マルチラベル故障空間においてよりよい故障分類結果を実現するために埋め込み空間への非線形変換を実行せざるを得ないと考えられる。また、第２のサブネットワークの各々は、埋め込みデータを、それらの構造を保持しながら発展させざるを得ないと考えられる。たとえば、一実施形態では、第１のサブネットワークは、時系列データを埋め込み空間に変換して、対応する埋め込みデータに対して分類器によって実行される現在の時点における各故障の予測の分類誤差を減少させるように訓練され、第２のサブネットワークは、前の時点の埋め込みデータから次の時点の埋め込みデータを、次の時点までに収集される時系列データを観察することなく予測して、次の時点の予測された埋め込みデータと、次の時点までに収集される時系列データから第１のサブネットワークによって変換される次の時点の埋め込みデータとの間の誤差を減少させるように訓練される。このようにして、訓練済みニューラルネットワークのパフォーマンスを検証することができる。

ニューラルネットワークの訓練
図８Ａは、モニタリングされたマシンの将来の故障を分類するためにいくつかの実施形態によって使用される埋め込み空間の概略図である。埋め込み空間８０３は、センサによって測定された元の動作空間の次元よりも少ない次元を有する。次元低減に加えてまたは次元低減の代わりに、埋め込み空間は、時系列および故障の発展のダイナミクスを学習する傾向があるので故障予測中に分類誤差を減少させるようなものである。図８の例では、埋め込み空間８０３は、３つの時系列ダイナミクスクラスタ８０１，８０２および８０３を有している。これらの埋め込みクラスタは、埋め込み空間の検索を誘導するように好適なコスト関数を設計することによって本明細書におけるシステムの訓練中に自動的に学習される。この自動的な学習は、ひいては、故障予測誤差が最小化されることを確実にする。

図８Ｂは、いくつかの実施形態に係る、埋め込み空間における例示的な理想的なデータ分配の概略図である。埋め込み空間において適切な一組の特徴を学習する利点は、それが元のデータよりもはるかに小さな次元空間において適切なコスト関数に基づいて関連情報を回復させることができるというものである。一般に、上記の理由により、システムの測定値から直接システム（または、マシン）状態およびレジームを検出することは困難である。しかし、システム測定値に含まれる情報は、システムの動作の元の入力空間における次元よりも少ない次元８１０および８２０を有する埋め込み空間へのセンサデータの非線形マッピングを通じて学習することができる。ここで、非線形マッピングは、時系列次元内のダイナミクスおよび時系列次元間の関係をこの非線形性が取り込むので、有利である。特に、特徴学習は、センサ測定値を、状況およびレジームが別個のクラスタ８３０に分離される新たな空間に埋め込むように設計され得る。ここで、クラスタの重心は、一旦学習されると埋め込みを使用して埋め込みデータを分類できるように（埋め込み方法によって）新たなデータポイントを引き寄せるという特性を有している。このようなクラスタリングは、分類に有利であるが、将来の予測にも有利である。この理由は、学習済みニューラルネットワークモデルが、線形に分離可能でありかつさまざまな故障タイプのクラスタに属する予測を行うからである。したがって、正しく学習された場合、埋め込み方法は、将来の故障の発展を正確に予測することができる。

図９は、いくつかの実施形態によって使用されるニューラルネットワーク１３３の訓練の概略図である。いくつかの実施形態では、ニューラルネットワーク１３３は、故障分類と正解情報との間の誤差を減少させるように訓練される。一実施形態では、第１のサブネットワークおよび一連の第２のサブネットワークは、故障分類と正解情報との間の誤差を提供する損失関数９３０を最適化するように一緒に訓練される（９１０）。

一般に、人工ニューラルネットワークの訓練は、訓練セットに鑑みて訓練アルゴリズム（「学習」アルゴリズムと称されることもある）を人工ニューラルネットワークに適用することを備える。訓練セットは、一組または複数組の入力と、一組または複数組の出力とを含んでいてもよく、各々の入力の組は一組の出力に対応している。訓練セットにおける一組の出力は、対応する入力の組が人工ニューラルネットワークに入力されて人工ニューラルネットワークがフィードフォワードの態様で動作する際に人工ニューラルネットワークが生成することを要求される一組の出力を備える。ニューラルネットワークの訓練（９１０）は、人工ニューラルネットワークにおける接続に関連付けられた重み値９２０を計算することを含む。そのために、本明細書に特に明記されていない限り、訓練は、ニューラルネットワークのノード間の接続についての重み値を電子的に計算することを含む。

たとえば、一実施形態では、第１のサブネットワークは、時系列データを埋め込み空間に変換して、対応する埋め込みデータに対して分類器によって実行される現在の時点における各故障の予測の分類誤差を減少させるように訓練され、第２のサブネットワークは、前の時点の埋め込みデータから次の時点の埋め込みデータを、次の時点までに収集される時系列データを観察することなく予測して、次の時点の予測された埋め込みデータと、次の時点までに収集される時系列データから第１のサブネットワークによって変換される次の時点の埋め込みデータとの間の誤差を減少させるように訓練される。このようにして、訓練済みニューラルネットワークのパフォーマンスを検証することができる。なお、ネットワークは将来の時点における故障を予測するが、高次元データの正確な予測が非常に困難であるという事実のために、将来の時系列データは予測されない。さらに、将来の多次元データの予測は、最終目標ではない。これらの考慮事項により、ネットワークは、次元がはるかに低い将来のシステムの状態を予測し、そのため、はるかに高い故障予測精度を実現する。

訓練（９１０）は、マシンの動作の測定値９０１と当該動作における対応する故障９０２との対の訓練セットを使用して、ニューラルネットワーク１３３の重み９２０を生成する。訓練測定値９０１は、ある時点までにマシンの動作を測定する複数のセンサから収集された訓練時系列データ９４０と、予測範囲にわたる当該時点までのセットポイント９４５とを含む。ニューラルネットワークの予測とマシンの故障についての正解情報９０２とを比較して、損失関数９３０を評価する。損失関数９３０の評価に基づいて、ニューラルネットワーク１３３の重み９２０は、終了条件が満たされるまで、すなわちニューラルネットワークが訓練されるまで、更新される。

図１０Ａおよび図１０Ｂは、いくつかの実施形態に係る、予測ニューラルネットワーク１３３の訓練を可能にする損失関数９３０の計算のブロック図および概略図である。これらの実施形態では、損失関数９３０は、各時点における故障発生表示１０２２と予測範囲にわたる合計故障発生１０３３との組み合わせを含む。このような組み合わせは、故障予測ロバスト性を向上させ、クロスエントロピ損失を使用して訓練データのアンバランスを検討して故障予測の精度を向上させる。

そのために、いくつかの実施形態では、一連の第１および第２のサブネットワークは、時系列データを埋め込み空間に変換して（１００１）、将来の予測間隔全体での故障予測１０３３に対する分類誤差を減少させ（１００３）、将来の時系列セグメントにおける各時点１０２２に対する分類誤差を減少させる（１００２）。後者は、誤差特定と称される。なぜなら、各時点についてこの誤差を最小化することは、将来故障が発生した際に場所を特定できる能力を提供するからである。合計損失関数値１００４は、これら２つの損失成分の組み合わせ、たとえば合計である。

いくつかの実施形態は、いかなる考えられる組み合わせでも発生し得る故障の予測が、当然のことながら、訓練に使用されるデータセットにアンバランスを生じさせる可能性がある、という認識に基づいている。たとえば、システムは通常は長期間にわたって動作することができ、故障が発生するのはその動作のごくわずかな部分である、ということが考えられる。しかし、機械学習アルゴリズムの有効性は、数種類の故障の例の数がアンバランスになっている訓練データによって希釈され得る。さらに、いくつかの実施形態は、正しい埋め込みおよび故障ダイナミクスの学習は、訓練データの中に存在し得る故障クラスのアンバランスを明確にモデル化する損失関数を設計することを必要とする、という認識に基づいている。

そのために、損失関数成分は、以下のように記載することができる。将来のセグメント全体にわたる分類誤差にペナルティを課す第１の成分１０３３は、以下のように数学的に表現される。

将来の各時点に対する分類誤差にペナルティを課す第２の成分１０２２は、以下のように記載される。

最後に、損失関数のこれら２つの成分を組み合わせることは、以下のように実行される。

式中、Ｂは、システムで収集された測定値の組であり、Ｗは、２つのニューラルサブネットワークの重みの組である。

いくつかの実施形態では、損失関数は、埋め込み空間において時系列状況が分離されるように埋め込み関数を訓練するのに使用することを目的としている。さまざまな実施形態では、損失関数は、以下の特性のうちの１つまたは組み合わせを有するように設計される。訓練セットにおけるラベル発生の確率ｐは、それほど頻繁に発生しないラベルが訓練中に十分に学習されるようにクロスエントロピ損失成分における重みとして使用される。さらにまたは代替的に、損失関数は、ステップ当たりの故障発生確率と合計将来窓故障発生確率との積を含むように設計され、これは、構造により、将来のセグメント全体に故障が存在する場合にのみ、任意の所与の時点における故障をネットワークに学習させる。これは、ニューラルネットワークが予測範囲全体のラベルを使用することによって不必要な予測間違いをすることを回避するのに役立つ。さらにまたは代替的に、損失関数は、故障当たりの埋め込み損失ペナルティのみを含むように設計され、そのため、埋め込み空間において次元当たり個々に故障を調べることができ、それによって、考えられる故障組み合わせのべき集合についてモデルを訓練することを回避する。

コスト／損失関数を使用して、ニューラルネットワークは、各時点について目標セットポイントが与えられた状態で特定の時間範囲にわたる全ての故障の合計予測誤差を最小化するように訓練される。予測は、一度に１つのステップでなされ、次いで、この予測は、目標セットポイントおよびニューラルネットワークの隠れ状態とともにニューラルネットワークにフィードバックされて、次の時点における予測を行う。このプロセスは、所望の予測範囲にわたって繰り返される。したがって、各時点において、ネットワークは、システムで発生する故障の数に等しい次元のベクトルを予測する。ネットワークは、それが故障の予測ダイナミクスを学習することができるように時間範囲全体にわたる予測誤差を一緒に最小化するように訓練される。

図１１は、いくつかの実施形態に係る、個別故障予測のための損失関数９３０の評価の概略図である。これらの実施形態では、予測ニューラルネットワーク１３３の第２のサブネットワークは、対応する将来の時点における複数の故障の各故障の個別予測を出力する。

いくつかの実施形態は、各故障を別々に予測することによって予測問題の複雑さをさらに減少させることができる、という認識に基づいている。これは、個々の故障の発生が予測モデルによってモデル化されているので、故障を互いに独立して予測することができるという認識によって動機付けられる。この簡略化の結果、予測されるベクトルの次元は、システムにおける故障の全ての考えられる組み合わせではなく、システムで発生する故障の数に低減される。また、この簡略化により、ニューラルネットワークが学習しなければならないクラスが少なくなるので、ニューラルネットワークのサンプルの複雑さを軽減することができる。これらの実現事項は、合計誤差ラベルベクトルではなく、個々の誤差１１２０の誤分類についてのみ損失が計算される（１１１０）ように損失関数９３０を定義する際に使用される。ラベルベクトルのさまざまな成分間の相互相関関係を強調する損失成分はない。

このようにして、本開示は、特定の目標セットポイントを実現するように動作し、かつ、多次元時系列測定値をもたらす複数のセンサを備えた複雑なシステムにおいて複数の故障を予測するためのシステムおよび方法を提示する。本開示で提案されている機械学習アルゴリズムは、ニューラルネットワークを使用して、多次元時系列の埋め込みを学習する。将来発生する故障同士の間の動的関係は、低次元の埋め込み状態およびコスト関数を使用して学習され、このコスト関数は、ニューラルネットワークに、一度に１つの故障を予測させ、次いで、この予測された故障を次の時点で使用して、さらに発生する故障を前もって予測させるように設計されている。提案されている方法は、多次元センサ信号自体を予測する代わりに、故障を予測することによって故障の予測誤差を減少させる。

本発明の上記の実施形態は、多数の方法のうちのいずれでも実現することができる。たとえば、これらの実施形態は、ハードウェア、ソフトウェアまたはそれらの組み合わせを使用して実現されてもよい。ソフトウェアで実現される場合、任意の好適なプロセッサまたはプロセッサの集合体でソフトウェアコードを実行可能であり、任意の好適なプロセッサまたはプロセッサの集合体が単一のコンピュータに設けられていようと複数のコンピュータに分散されていようと実行可能である。このようなプロセッサは、集積回路コンポーネントの中に１つまたは複数のプロセッサを有する集積回路として実現されてもよい。しかし、プロセッサは、任意の好適なフォーマットの回路を使用して実現されてもよい。

また、本発明の実施形態は、方法として具体化されてもよく、その一例が提供されている。この方法の一部として実行される行為は、任意の好適な態様で順序付けられてもよい。したがって、示されている順序とは異なる順序で行為が実行され、例示的な実施形態ではシーケンシャルな行為として示されているがいくつかの行為を同時に実行することを含み得る実施形態が構築されてもよい。

クレーム要素を修飾するための特許請求の範囲における「第１の」、「第２の」などの順序を表す用語の使用は、それ自体、方法の行為が実行される優先順位、優先度、または１つのクレーム要素の別のクレーム要素に対する順序もしくは時間的な順序を意味するものではなく、クレーム要素を区別するために、特定の名前を有する１つのクレーム要素と同一の名前を有する（が、順序を表す用語を使用するための）別の要素とを区別するためのラベルとして使用されているに過ぎない。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神および範囲の範囲内でさまざまな他の適合および変形がなされてもよいということが理解されるべきである。

したがって、添付の特許請求の範囲の目的は、全てのこのような変更および変形を本発明の真の精神および範囲の範囲内に入るように包含することである。

図４Ａおよび図４Ｂは、モニタリングされたマシンの動作の測定値と、いくつかの実施形態によって使用されるマシンの動作の現在および将来のセットポイントとの間の関係を示す概略図である。さまざまな実施形態において、時系列も目標セットポイントも静止していない。なお、図４Ａでは、所定の観察された時系列は連続的であり（４０１）、目標セットポイント４０２は変化している。したがって、システム１００への入力は、連続的に変化することが予想される。また、さまざまな実施形態において、セットポイントは、観察された時間窓と将来の時間窓とで同一でなくてもよい。図４Ｂには、観察された時間窓４１０、および、故障予測が実行されている将来の予測窓４２０が記載されている。この例では、セットポイントは異なっており、実際には、将来の予測が開始するときに変化している。これは有利である。なぜなら、故障検出は、多くの場合、システムにおけるレジーム変更が実行されているときに最も必要とされるからである。

図５は、いくつかの実施形態に係る、予測ニューラルネットワークに基づく故障分類の概略図である。ニューラルネットワーク１３３は、第１のサブネットワークを含み、この第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されている。予測範囲内の将来の時点の各々について第２のサブネットワークがあり、第１のサブネットワークは、現在の時系列データと現在のセットポイントとを受け付け（５０３）、第２のサブネットワークの各々は、先行するサブネットワークの出力と、対応する将来の時点についての将来のセットポイントとを受け付け（５０５）、第２のサブネットワークの各々は、対応する将来の時点における複数の故障の各故障の個別予測を出力する（５０６）。

図６は、いくつかの実施形態に係る、故障分類に使用されるニューラルネットワークの例示的な構造の概略図である。この例では、第１のサブネットワーク６０１は、一連の第２のサブネットワーク６０５に接続されている。第１のサブネットワーク６０１は、回帰型長・短期記憶（ＬＳＴＭ）ニューラルネットワーク層を含み、これらの回帰型長・短期記憶（ＬＳＴＭ）ニューラルネットワーク層の各々は、特定の時点における観察値と、システムのセットポイントと、前の時点における第１のサブネットワークの出力とで構成される入力６０２を有する。全ての観察された時点がネットワークに送られた後、最後のネットワーク出力６０３は、そのネットワークの最終状態である。これは、第２のサブネットワークに入力され、この第２のサブネットワークも回帰型（ＬＳＴＭ）ニューラルネットワーク層を含み、その入力は、最初は、将来のセットポイント６０６とともに第１のサブネットワーク６０１の出力状態６０３である。後続のステップにおいて、第２のサブネットワークの出力は、ネットワークへの入力として使用される。

ニューラルネットワークの訓練
図８Ａは、モニタリングされたマシンの将来の故障を分類するためにいくつかの実施形態によって使用される埋め込み空間の概略図である。埋め込み空間８０３は、センサによって測定された元の動作空間の次元よりも少ない次元を有する。次元低減に加えてまたは次元低減の代わりに、埋め込み空間は、時系列および故障の発展のダイナミクスを学習する傾向があるので故障予測中に分類誤差を減少させるようなものである。図８の例では、埋め込み空間８０３は、３つの時系列ダイナミクスクラスタ８０１，８０２および８０４を有している。これらの埋め込みクラスタは、埋め込み空間の検索を誘導するように好適なコスト関数を設計することによって本明細書におけるシステムの訓練中に自動的に学習される。この自動的な学習は、ひいては、故障予測誤差が最小化されることを確実にする。

Claims

予測範囲を形成する一組の将来の時点におけるマシンの動作の複数の故障を評価するためのシステムであって、
前記マシンの前記動作中に入力データを受け付けるように構成された入力インターフェイスを備え、前記入力データは、
現在の時点までの複数の時点を含む期間にわたって前記マシンの前記動作を測定する複数のセンサから収集された現在の時系列データと、
前記期間内の前記マシンの前記動作の一組の現在のセットポイントと、
予測範囲を形成する一組の将来の時点についての前記マシンの前記動作の一組の将来のセットポイントとを含み、
前記システムはさらに、
第１のサブネットワークを含むニューラルネットワークを格納するように構成されたメモリを備え、前記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、前記予測範囲内の前記将来の時点の各々について第２のサブネットワークがあり、前記第１のサブネットワークは、前記現在の時系列データと前記現在のセットポイントとを受け付け、前記第２のサブネットワークの各々は、先行するサブネットワークの出力と、前記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、前記第２のサブネットワークの各々は、前記対応する将来の時点における複数の故障の各故障の個別予測を出力し、
前記システムはさらに、
前記入力インターフェイスから受信された前記入力データを前記ニューラルネットワークに送信して、前記将来の時点の各々における前記複数の故障の各故障の個別予測を推定するように構成されたプロセッサと、
前記故障の各々の前記個別予測を出力するための出力インターフェイスとを備える、システム。
前記メモリは、各故障の前記予測を分類してマルチラベル故障の二値ベクトルを生成するように訓練された二項分類器を格納するように構成され、前記出力インターフェイスは、前記二値ベクトルを出力する、請求項１に記載のシステム。
前記センサの数およびタイプは、動作空間の次元を形成し、前記第１のサブネットワークは、前記動作空間における前記時系列データを、前記動作空間の前記次元よりも少ない次元を有する埋め込み空間における埋め込みデータに変換するように訓練され、前記第２のサブネットワークの各々は、前記対応する将来の時点についての前記埋め込み空間における前記埋め込みデータの発生を推定するように訓練される、請求項２に記載のシステム。
前記第１のサブネットワークは、前記時系列データを前記埋め込み空間に変換して、前記対応する埋め込みデータに対して前記分類器によって実行される前記現在の時点における各故障の前記予測の分類誤差を減少させるように訓練され、
前記第２のサブネットワークは、前の時点の埋め込みデータから次の時点の埋め込みデータを、前記次の時点までに収集される時系列データを観察することなく予測して、前記次の時点の予測された埋め込みデータと、前記次の時点までに収集される前記時系列データから前記第１のサブネットワークによって変換される前記次の時点の埋め込みデータとの間の誤差を減少させるように訓練される、請求項３に記載のシステム。
前記第１のサブネットワークおよび前記一連の第２のサブネットワークは、損失関数を最適化するように一緒に訓練される、請求項４に記載のシステム。
前記分類器は、前記第１のサブネットワークおよび前記一連の第２のサブネットワークと一緒に訓練される第３のニューラルネットワークである、請求項５に記載のシステム。
前記損失関数は、他の故障タイプから独立して各故障タイプについて予測誤差を推定する、請求項５に記載のシステム。
訓練データセットにおけるラベル発生の確率は、前記損失関数の交差エントロピ損失成分における重みとして使用される、請求項５に記載のシステム。
前記損失関数は、各時点における故障発生表示と前記予測範囲にわたる合計故障発生表示との組み合わせを含む、請求項５に記載のシステム。
前記損失関数は、故障当たりの埋め込み損失ペナルティのみを含む、請求項５に記載のシステム。
前記第１のサブネットワークの前記出力は、前記現在の時系列データおよび前記現在のセットポイントの埋め込みである、請求項１に記載のシステム。
前記第２のサブネットワークの前記出力は、前記対応する将来の時点におけるラベル出力の予測と、前記予測範囲にわたるラベル出力の予測とを含む、請求項１に記載のシステム。
前記プロセッサは、前記故障の各々の前記個別予測に基づいて前記マシンを制御するように構成される、請求項１に記載のシステム。
予測範囲を形成する一組の将来の時点におけるマシンの動作の複数の故障を評価するための方法であって、前記方法は、前記方法を実現する格納された命令に結合されており、前記命令は、前記プロセッサによって実行されると前記方法のステップを実行し、前記方法は、
前記マシンの前記動作中に入力データを受け付けるステップを備え、前記入力データは、現在の時点までの複数の時点を含む期間にわたって前記マシンの前記動作を測定する複数のセンサから収集された現在の時系列データと、前記期間内の前記マシンの前記動作の一組の現在のセットポイントと、予測範囲を形成する一組の将来の時点についての前記マシンの前記動作の一組の将来のセットポイントとを含み、
前記方法はさらに、
入力インターフェイスから受信された前記入力データをニューラルネットワークに送信して、前記将来の時点の各々における前記複数の故障の各故障の個別予測を推定するステップを備え、前記ニューラルネットワークは、第１のサブネットワークを含み、前記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、前記予測範囲内の前記将来の時点の各々について第２のサブネットワークがあり、前記第１のサブネットワークは、前記現在の時系列データと前記現在のセットポイントとを受け付け、前記第２のサブネットワークの各々は、先行するサブネットワークの出力と、前記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、前記第２のサブネットワークの各々は、前記対応する将来の時点における複数の故障の各故障の個別予測を出力し、
前記方法はさらに、
前記故障の各々の前記個別予測を出力するステップを備える、方法。
方法を実行するためにプロセッサによって実行可能なプログラムが組み入れられた非一時的なコンピュータ読取可能な記憶媒体であって、前記方法は、
マシンの動作中に入力データを受け付けるステップを備え、前記入力データは、現在の時点までの複数の時点を含む期間にわたって前記マシンの前記動作を測定する複数のセンサから収集された現在の時系列データと、前記期間内の前記マシンの前記動作の一組の現在のセットポイントと、予測範囲を形成する一組の将来の時点についての前記マシンの前記動作の一組の将来のセットポイントとを含み、
前記方法はさらに、
入力インターフェイスから受信された前記入力データをニューラルネットワークに送信して、前記将来の時点の各々における前記複数の故障の各故障の個別予測を推定するステップを備え、前記ニューラルネットワークは、第１のサブネットワークを含み、前記第１のサブネットワークは、１つのサブネットワークの出力が後続のサブネットワークへの入力であるように一連の第２のサブネットワークにシーケンシャルに接続されており、前記予測範囲内の前記将来の時点の各々について第２のサブネットワークがあり、前記第１のサブネットワークは、前記現在の時系列データと前記現在のセットポイントとを受け付け、前記第２のサブネットワークの各々は、先行するサブネットワークの出力と、前記先行するサブネットワークの内部状態と、対応する将来の時点についての将来のセットポイントとを受け付け、前記第２のサブネットワークの各々は、前記対応する将来の時点における複数の故障の各故障の個別予測を出力し、
前記方法はさらに、
前記故障の各々の前記個別予測を出力するステップを備える、非一時的なコンピュータ読取可能記憶媒体。