JP2022092592A - 機器の故障及び残存耐用時間を予測する方法、装置及びプログラム - Google Patents

機器の故障及び残存耐用時間を予測する方法、装置及びプログラム Download PDF

Info

Publication number
JP2022092592A
JP2022092592A JP2021197977A JP2021197977A JP2022092592A JP 2022092592 A JP2022092592 A JP 2022092592A JP 2021197977 A JP2021197977 A JP 2021197977A JP 2021197977 A JP2021197977 A JP 2021197977A JP 2022092592 A JP2022092592 A JP 2022092592A
Authority
JP
Japan
Prior art keywords
data
failure
event
sequence
model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021197977A
Other languages
English (en)
Other versions
JP7268123B2 (ja
Inventor
ワリード シャラビー
Walid Shalaby
マハブブル アラム
Alam Mahbubul
ディパンジャン ゴシュ
Ghosh Dipanjan
アーメド ファラハット
Ahmed Farahat
チェタン グプタ
Gupta Chetan
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JP2022092592A publication Critical patent/JP2022092592A/ja
Application granted granted Critical
Publication of JP7268123B2 publication Critical patent/JP7268123B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0259—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the response to fault detection
    • G05B23/0283—Predictive maintenance, e.g. involving the monitoring of a system and, based on the monitoring results, taking decisions on the maintenance schedule of the monitored system; Estimating remaining useful life [RUL]
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0221—Preprocessing measurements, e.g. data collection rate adjustment; Standardization of measurements; Time series or signal analysis, e.g. frequency analysis or wavelets; Trustworthiness of measurements; Indexes therefor; Measurements using easily measured parameters to estimate parameters difficult to measure; Virtual sensor creation; De-noising; Sensor fusion; Unconventional preprocessing inherently present in specific fault detection methods like PCA-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Automation & Control Theory (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】機器の故障及び残存耐用時間（ＲＵＬ）を予測するために、イベントベースのシーケンシャルデータをモデルし最適化する方法、プログラム及び装置を提供する。【解決手段】方法は、障害イベントを含む機器から受信したデータについて、データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、イベント特徴量のシーケンスに深層学習モデリングを適用して、機器のデータから抽出されたイベント特徴量に基づいて機器の故障及びＲＵＬを予測するモデルを生成し、モデルに対して最適化を実行する。【選択図】図１

Description

本開示は、機械学習の実装に関し、より具体的に、イベントベースのシーケンシャルデータに関する故障予測及び残存耐用時間（ＲＵＬ：Ｒｅｍａｉｎｉｎｇ Ｕｓｅｆｕｌ Ｌｉｆｅ）推定の予測モデルの学習に関する。
プログノスティックス（Ｐｒｏｇｎｏｓｔｉｃｓ）は、機器における、将来の健全性、性能、及び潜在的故障の予測を含む。プログノスティックス技術は、ユニットに障害又は劣化が検出され、故障や深刻な劣化がいつ起こるかを予測するときに、関連技術において利用される。機器の故障を予測する、又は、残存耐用時間を評価する問題は、ＰＨＭ（Ｐｒｏｇｎｏｓｔｉｃｓ ａｎｄ Ｈｅａｌｔｈ Ｍａｎａｇｅｍｅｎｔ）研究コミュニティで広く研究されている。
故障予測（ＦＰ）は、監視対象のユニットが所定の計画期間内に故障するか予測する。予測方法は、ユニットからのロー（ｒａｗ）測定値を入力として受信し、ある故障タイプの確率を出力として生成する。異なる故障タイプに対して、複数のモデルを構成できる。また、故障事例が多い場合、データから分類モデルを学習し、故障事例と非故障事例を区別できる。
一方、ＲＵＬ予測は、所定タイプの故障イベントが発生するまで、ユニットの寿命のどの程度の時間又は動作サイクルが残っているかを推定することに関する。予測方法は、ユニットからのロー測定値を入力として受信し、（例えば、時間又は動作サイクル単位において）残りの耐用時間を反映する連続的出力を生成する。
多くのｒｕｎ－ｔｏ－ｆａｉｌｕｒｅ（事後保全）の例がある場合、ＲＵＬ問題は回帰問題として定式化できる。関連技術において、いくつかの回帰ベースのアプローチがＲＵＬ問題を解決するために使用されており、例えば、ニューラルネットワーク、隠れマルコフモデル、及び類似性ベースの方法などがある。近年、多くの深層学習モデルがＲＵＬ問題に利用されている。例えば、深層畳み込みニューラルネットワーク（ＣＮＮ）は、マルチチャンネルのセンサデータに対して、時間軸に沿って畳み込みフィルタとプーリングフィルタを適用する。Ｌｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）は、複数層のＬＳＴＭセルと標準的なフィードフォワード層とを使用して、センサデータ及びオペレーションデータから隠れたパターンを見い出す。
関連技術の実装では、定期的にサンプリングされた連続センサ測定値に基づく故障予測（ＦＰ）及び残存耐用時間（ＲＵＬ）推定のための予測モデルの学習が行われるが、イベントベースのＦＰ及びＲＵＬについては広く検討されてこなかった。ＲＵＬに関する既存の技術の多くは、利用可能なデータが故障前に記録された多変量時系列のセンサ測定値である場合に動作するように設計されている。しかし、多くの機器において、そのようなセンサ測定値は得ることができない。それと異なり、多くの機器の制御ユニットは、数秒毎にローセンサ測定値（例えば、圧力や温度測定値）を維持する代わりに、基礎となるセンサの重要な変化を反映するイベント（例えば、高圧力や低温度を反映するイベント）を記録し、通信する。これらイベントは、通常、機器の設計者によって定義され、多くのロー信号を要約し、機器のユーザ及び修理技術者に伝えることが必要な重要な分野知識（ｄｏｍａｉｎ ｋｎｏｗｌｅｄｇｅ）を符号化する。さらに、モノインターネット（ＩｏＴ）ソリューションでは、ローセンサ測定値の代わりにこれらのイベントを管理することで、ストレージや通信コストを大幅に削減できる。これらのタイプの機器について、ＲＵＬ推定のための関連技術は、離散的なイベントを扱えず、そのようなイベントにおいて符号化された分野知識から必要な情報を得るように設計されていない。
従来のセンサ測定値の時系列データ（典型的には連続値）と異なり、イベントベースのシーケンシャルデータは、シーケンシャルなノミナル値（イベント）で構成される。加えて、イベントベースのシーケンシャルデータは、不規則にサンプリングされるため、入力シーケンス内のイベント間には一定の時間間隔が存在しない。さらに、イベントベースのシーケンシャルデータは、言語／テキストと異なる。テキストデータはノミナル値（例えば単語）で構成されているが、これらの単語は言語文法に基づく厳格な順序で並ぶ。イベントベースのシーケンシャルデータの場合、多くのシナリオにおいて、シーケンス内のどこにでも現れ得るフローティングイベントが存在し、シーケンスの順序に大きな変動を引き起こす。これらの重要な相違のため、イベントベースのシーケンシャルデータをモデル化するために、固有の課題が存在する。
加えて、多くの場合、故障シーケンスのインスタンスは限られる。少量のデータで機械学習モデルを訓練すると、オーバフィッティングや乏しい一般化を引き起こし得る。そのようなデータ希少性問題に対処するためには、データ拡張技術が求められる。
本明細書に記載された実施例は、イベントベースのシーケンシャルデータに関する故障予測及び残存耐用時間（ＲＵＬ：Ｒｅｍａｉｎｉｎｇ Ｕｓｅｆｕｌ Ｌｉｆｅ）推定のための方法を含む。実施例は以下を含む。１）イベントベースの故障データの希少性に対処するためのデータ拡張技術、２）イベントベースの故障シーケンスからの各イベントについて、ロー（ｒａｗ）データ及び集計されたイベント特徴量から特徴量を抽出する特徴量抽出モジュール、３）学習可能なニューラルネットワークベースのアテンション機構による故障予測、又はイベントベースの故障シーケンスを用いた故障までの時間の予測、４）オリジナルデータと合成データを適応的に適合させるデータ適応最適化フレームワーク、５）コストのかかる故障の予測を優先するためのコスト考慮型（ｃｏｓｔ－ｓｅｎｓｉｔｉｖｅ）最適化フレームワーク、そして、６）イベントベースのシーケンスを前処理するためのパイプライン。
本開示の一態様は、機器の故障及び残存耐用時間（ＲＵＬ）を予測する方法を含む。この方法は、障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づき前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、前記モデルに対して最適化を実行する、ことを含む。
本開示の一態様は、機器の故障及び残存耐用時間（ＲＵＬ）を予測するためのプログラムを含む。プログラムは、計算機に処理を実行させる命令を含む。処理は、障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づき前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、前記モデルに対して最適化を実行する、ことを含む。プログラムは、非一時的な計算機可読媒体に格納でき、１又は複数のプロセッサによって実行されるように構成され得る。
本開示の一態様は、機器の故障及び残存耐用時間（ＲＵＬ）を予測するシステムを含む。当該システムは、障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成する手段と、前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づき前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成する手段と、前記モデルに対して最適化を実行する手段と、を含む。
本開示の一態様は、機器の故障及び残存耐用時間（ＲＵＬ）を予測するように構成された装置を含む。装置は、プロセッサを含み、プロセッサは、障害イベントを含む機器から受信したデータについて、前記データ上で特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づき前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、前記モデルに対して最適化を実行する、ように構成される。
実施例において、イベントベースのシーケンシャルデータのＲＵＬのための方法のフロー図を示す。 実施例に係る、スライディングウィンドウを使用することによってシーケンスからサブシーケンスを生成する例を示す図である。 実施例において、ＬＳＴＭに基づく故障予測モデルのための例示的なフロー図を示す。 実施例において、マルチヘッドアテンションモデルの例示的なフロー図を示す。 実施例において、アンサンブルモデルのための例示的なフロー図である。 実施例において、接続されたセンサを有する複数のシステム及び管理装置を含むシステムを示す。 いくつかの実施例における使用に適した例示的なコンピュータ装置を含む例示的なコンピューティング環境を示す。
以下において、図を参照して実施例の詳細な説明を行う。参照番号及び図間の冗長な要素の記述は、明確性のため省略する。本明細書を通じて使用される用語は、例として示されるものであって、なんらの限定を意図しない。例えば、「自動」という語の使用は、当業者の所望の実装に応じて、完全自動、又は、実装のいずれかの態様に対するユーザ又は管理者の制御を伴う半自動の実装を、含むことができる。選択は、ユーザインターフェイス若しくは他の入力手段を介してユーザが行うことができ、または、所望のアルゴリズムを使用して実装することができる。本明細書に記載されている実施例は、単独又は他の構成との組み合わせで利用でき、実施例の機能は、所望の実装に応じた任意の手段を通じて実装できる。
イベントベースのシーケンシャルデータを用いた故障予測及び残存耐用時間（ＲＵＬ）推定のための方法は、故障シーケンスからの各イベントについて、ロー（ｒａｗ）特徴量及び集計された他のイベント特徴量からの特徴量抽出を含む。ロー特徴量は、イベント発生時刻、及び、そのイベントが故障からどれだけ離れているかを含む。この距離は、時間スケール（例：月、週、日、時間、分、秒等）又は動作サイクルスケール（例：故障からＸマイル）で表すことができる。集計されたイベント特徴量は、イベントがシーケンス内に何回現れたか、どの程度の時間アクティブであったか、前のイベントからどの程度離れておりそれが同タイプ又は異なるタイプであったか、を含むことができる。これらイベント固有の特徴量は、混合され、シーケンス内の各イベントの多変数ベクトル表現を作成するために使用される。
いくつかの実施例は、データ拡張を含み、少ないイベントベースの故障データに対処する。多くの場合、故障シーケンスのインスタンスは限定される。そのような少ないデータで機械学習モデルを訓練することは、オーバフィッティング及び乏しい一般化を引き起こし得る。このようなデータ不足の問題に対応するために、実施例は、意味的に（ｓｅｍａｎｔｉｃａｌｌｙ）類似した故障サンプルでデータを拡張する様々な技術を使用する。形式的には、機器のｎ個のカテゴリにおいて故障シーケンスをＥ＝｛Ｅ1,．．．,Ｅn｝とし、故障シーケンスまでの距離をＦ＝｛Ｆi,．．．,Ｆn｝とし、ラベリング関数ＬはＤをバケット（ｂｕｃｋｅｔ）にマッピングし、ターゲット機器ｉとする。機器カテゴリの訓練データＤtrainは、以下のように、全カテゴリの訓練シーケンスを組み合わせることによって得られる。
Figure 2022092592000002
訓練ラベルは、全ての機器カテゴリのＦシーケンスにターゲット機器固有バケットを適用することで得られる。
Figure 2022092592000003
テストデータＤtestは、ターゲット機器のテストシーケンスから以下のように得られる。
Figure 2022092592000004
テストラベルは、以下のように得られる。
Figure 2022092592000005
実施例は、データ拡張技術を含み、訓練に利用可能なデータの多様性を増加させ、機械学習モデルの一般化を向上させる。この目的のため、実施例は、以下を用いて、利用可能なサンプルからの合成サンプルを使用してデータを拡張するための、様々な技術を含む。１）シーケンス内のイベント／サブシーケンスのドロップアウト、２）シーケンス内のイベント／サブシーケンスのランダム注入、イベント／サブシーケンスのランダムなシャッフル／置換（ｐｅｒｍｕｔａｔｉｏｎｓ）、３）データの分布（平均と分散）が維持されるような連続的特徴量（例えば、距離）のランダムな変動、４）近接イベント／サブシーケンスからの値の入れ替え（例えば、コンテキストウィンドウ内の距離値の入れ替え）。
シーケンス内のイベント間の異なる種類の関係（例えば、イベントのエスカレーション、カスケード効果、等）を抽出するために、学習可能なニューラルネットワークベースのアテンション機構が実施例において使用される。アテンション機構は、シーケンス内の予測に関連するイベントに着目し、無関係なイベントを破棄することを可能とする。アテンションベースの関係性抽出の二つの例は、アテンション機構を備えるＬｏｎｇ Ｓｈｏｒｔ－Ｔｅｒｍ Ｍｅｍｏｒｙ（ＬＳＴＭ）ユニットと、マルチヘッドセルフアテンションモデルである。
シーケンス内のどこでも現れ得るためにシーケンスの順序に高い変動性をもたらすフローティングイベントの表現をよりよく学習するため、ニューラルネットワークベースのアテンションモデルに２つのシーケンスが与えられる。それらは、１）位置符号を使用してイベントの順序が維持されているイベントのシーケンス、２）シーケンス内に順序情報がエンコードされていない他のシーケンス、である。
実施例は、オリジナルデータと合成／拡張データを適応的に適合させるデータ適応型最適化フレームワークの方法を含む。オリジナルの故障シーケンスは、合成及び拡張されたサンプルよりも強い予測パターンを有すると想定される。そのため、損失の加重和が最適化手順において利用され、合成データイ及び拡張データに比べてオリジナルシーケンスに高い損失を割り当てる。形式的には、オリジナルシーケンスの損失Ｌｏ、拡張シーケンスの損失Ｌａ、合成シーケンスの損失Ｌｓが与えられた場合、全体の損失は次のように計算される。
Ｌ＝αＬｏ＋βＬａ＋γＬｓ
ここで、重みα、β、及びγは、経験的に学習又は微調整することができる。
実施例は、コストのかかる故障の予測を優先するコスト考慮型最適化フレームワークの方法を含む。これは、故障の時間、タイプ、カテゴリ、又は構成要素に基づくこともできる。損失の加重和が最適化手順内で利用され、コストが少なく修復が早い故障と比較して、コスト又は時間がかかる故障に高い損失を割り当てる。重みは、経験的に学習し、又は微調整できる。
実施例は、イベントベースのシーケンスを前処理するパイプラインを含む。パイプラインは、表形式のデータソースからイベントデータを取得し、それをイベントのシーケンスに変換する。各シーケンスは、イベントベースの故障シーケンスを表す。
イベントベースの残存耐用時間（ＲＵＬ）推定は、機械学習の文脈においてＲＵＬの連続的な推定値が生成される回帰問題として定式化ができる、タスクである。ＲＵＬの文脈では、回帰アルゴリズムの出力を分野の専門家により評価することは困難であり、ＲＵＬ推定問題は、予測されたＲＵＬの運用を可能にするために、ローＲＵＬ値を、分野の専門家によって与えられた範囲のセットに分類する（ｂｕｃｋｅｔｉｚｉｎｇ）ことによって、分類問題として定式化される。
一般性を失わない範囲で、ＲＵＬを推定する方法を車両に関して説明する。具体的には、出力された障害コードが入力として与えられた場合に、車両が故障するまで何マイル走行するかを推定する。ここで説明されるものと同じ方法及び技術は、以下のような他の機器のＲＵＬの推定にも適用できる。そこでは、１）ターゲット出力は、故障までの動作単位（動作サイクル、時間等）であり、２）入力は、故障前に収集されたイベントデータのシーケンス（エラーメッセージ、システムコード等）である。車両故障の文脈では、実施例は、関数Ｆ（Ｘ）＝ｙを学習する。ここで、ｘ＝｛車両の機器情報、障害コードイベント、マイル使用情報、動作状態｝、ｙ＝｛故障までのマイル距離｝、である。この関数の入力は、機器情報（トラックサイズ、メーカ、モデル、年式等）、異なる機器構成要素からのイベント（トラックから発せられる障害コード等）、機器の使用情報（走行距離や稼働時間等）、動作状態データ（エンジン稼働時間と走行距離の関数であり得る、トラックのデューティサイクルカテゴリ等）、及びその他のセンサデータである。この関数の出力は、時間又は動作サイクルの観点から見た故障までの距離である。
図１は、一実施例による、イベントベースのシーケンシャルデータのＲＵＬに対する方法のフロー図を示す。各ステップは、以下で詳細に説明される。
データ前処理１００は、胃下の動作を実行する。故障履歴のデータベースから故障関連データを取得し、異なるデータソースのレコードを結合して各イベントを関連する属性で拡張し、モデル訓練のためにデータを表形式からシーケンス形式に変換する。前処理１００の全ステップを実行することで、故障サンプルのデータセットが得られる。各サンプルは、イベント（障害コード－ＦＣ）のシーケンスを含む。イベントのシーケンスは、イベントトリガ時刻により順序付けされ、さらに、故障からのイベント距離（時間又は動作サイクル）を、他の情報と共に示す情報を含むこともできる。他の情報は、ＦＣイベントをトリガした機器内のサブコンポーネントである、ＦＣイベントコンポーネントコード（ＦＣ－ＣＣ）と、イベントがいつトリガされたかを読み取る使用情報を含む。
特徴量抽出１１０について、任意の機器の性能劣化は、その物理的特性、及び、機器がどのように動作するか（つまり、その作業負荷）に依存する。これは機器動作条件として参照され、機器はその動作条件に基づいてカテゴリに分けられる。タスクは、各イベントについて、故障までの距離のバケットを予測することであるので、異なるバケットの境界は、動作条件（ＯＣ：Ｏｐｅｒａｔｉｎｇ Ｃｏｎｄｉｔｉｏｎ）のカテゴリごとに定義される。ある実施例では、境界は、時間内（例えば、１日、１週間、２週間、３週間等）で故障を予測できるように、各動作条件に設定できる。
ＲＵＬモデルは、新しいイベントごとに予測を行う。つまり、長さＮの各シーケンスについて、モデルはシーケンス内の各イベントについて予測を行う。したがって、シーケンスから生成し、その後にモデルに与えられるＮ個のサンプルが存在する。以下のように、シーケンスの生成のいくつかの戦略が存在するが、これらに限定されるものではない。
ＬＡＳＴ：最後のイベントのみを使用して、最後のイベント以前のイベント履歴を記録しない。
ＷＮＤS,N：固定サイズＳのスライディングウィンドウを使用し、それを一度にＮステップ移動させてＮ個のサブシーケンスを生成する。ここで、Ｎは、時間、距離、数などでパラメータ化され得る。モデルは各イベントの予測を生成するので、Ｎは１に設定される。
ＷＮＤ－ＢＯＷS,N：ＷＮＤS,Nと同一であるが、サブシーケンス内のイベントを、それらの順序を維持せずに、一袋のイベント（ｂａｇ－ｏｆ－ｅｖｅｎｔｓ）として扱う。
各イベントについて、以下の事項が計算される。１）同じタイプのイベントがシーケンスに最初に現れてからの距離、２）イベントがシーケンスにおいてＯＮである距離（すなわち、これまでのユニットのマイル数－最初の任意のイベントが発生したマイル数）、３）シーケンスにおける直前のイベントからの距離。さらに、各イベントは対応する故障までの距離の値を有し、これはバケット化され、ターゲットラベルが付与される。上記特徴量は、障害コードイベントのシーケンスに沿って発生するため，シーケンス特徴量とみなされる。加えて、モデル、メーカ、年式、エンジンサイズなど、いくつかの重要なユニット属性が、非シーケンス（時間非依存の）特徴量として考慮される。シーケンス内の全イベントが同じユニットから得られるため、これらの特徴量は、シーケンス内の全イベントで同一である。したがって、深層学習モデルに入力する、シーケンス特徴量及び非シーケンス特徴量の組み合わせが存在する。
イベントのシーケンスは、文における単語に類似する。そのため、イベントはいくつかの整数値に変換され、言語モデルに見られるものと同様の埋め込み機構を使用して、イベントを特徴量ベクトルに変換する。イベントカウント（イベント件数）の特徴量は、ワンホットベクトルに変換される。機器の使用状況から推定される他のシーケンス特徴量（障害コードが最初に現れてからの距離、障害コードが存在している距離、前回の障害コードからの距離）は数値である。したがって、適切な特徴量の正規化技術が適用される。非シーケンスユニット関連の特徴量も、ワンホット符号化される。
図２は、実施例にしたがって、スライディングウィンドウを使用してシーケンスからサブシーケンスを生成する例を示す図である。具体的には、図２は、長さ１のステップを持つサイズ４のスライディングウィンドウ（ＷＮＤ4,1）を使用して、シーケンスからサブシーケンスを生成することを示す。イベントＥ１／Ｅ３とＥ２／Ｅ４は、以下のバケット境界を持つ２つの異なる構成要素に属する。
Figure 2022092592000006
図２の例において、実施例は、合成データより元のデータに重きを置き、コスト考慮型損失関数は、イベントの重要性に基づいて適用することが可能である。図２において、Ｅ１及びＥ２は、イベント発生に対応する値を持つ実際のイベントである。この具体的な例において、イベントＥ１はオドメータ５０００マイルで発生している。分析から、さらに５０００マイルで故障が発生し得ることを意味する（図２、上側表、行「Ｍｉｌｅｓ ｔｏ Ｆａｉｌ」）。続いて、オドメータ５２００マイルの地点でイベントＥ２が発生すると、分析は、４８００マイル程以内に故障が発生し得ることを示す。
実施例において、上述のように、バケット化が、バケット境界に基づいて用いられる。そのため、イベントＥ１及びＥ２は、バケット４のカテゴリに配置される。データは、順序付けられたシーケンスがある場合にシーケンスが増分に分割される方法で、編成される。例えば、イベントＥ１、Ｅ２、Ｅ３、Ｅ４が発生した場合、Ｅ１のみが最初のシーケンスに存在し、次のシーケンスにはイベントＥ１及びＥ２を有し、次のシーケンスにはイベントＥ１、Ｅ２及びＥ３を有する、というように、イベントが分割される。この方法で、より多くのデータサンプルを得ることができ、機械学習モデルがシーケンスの順番に注意することなくデータを取り込むことが可能となる。
データ拡張１２０について、動作条件に基づいて分類されたＮ個の異なるタイプのユニットを有するデータセットが与えられる。トラックについて、動作条件は、ユニットのサイズを決定しそしてユニットが通常何マイルを走行するかを決定する、デューティサイクルを反映する。例えば、長距離輸送のユニットは、通常、小規模な都市のユニットに比べてより多くの走行距離を記録する。したがって、動作条件（例えば、車両のデューティサイクル）に基づいてバケットを定義することが必要である。そのため、データは、Ｎ個のサブセットに分割され、各サブセットはそのグランドトゥルースを持つ。これにより、異なるサブセットにおけるデータサンプルの数が非常に少なくなる。このような少量のデータを使用して深層学習モデルを訓練することは、オーバフィッティングや乏しい一般化を引き起こし得る。このデータ不足の課題に対応するため、データ拡張１２０が実行される。データ拡張１２０の目的は、意味的に類似したサンプルを追加することによって、モデルの訓練に使用できるデータ量を増加させることである。形式的には、故障シーケンスがＤＣ＝｛ＤＣ1，．．．，ＤＣn｝であるｎ個のデューティサイクルカテゴリ、故障までのマイル距離シーケンスＭＴＦ＝｛ＭＴＦi，．．．，ＭＴＦn｝、ＭＴＦをバケットにマッピングするラベリング関数Ｌ、及びターゲットデューティサイクルｉとして、全ての動作条件の訓練データＤtrainが、全ての動作条件の訓練シーケンスを以下のように組み合わせることによって得られる。
Figure 2022092592000007
訓練ラベルは、全ての動作条件カテゴリのＭＴＦシーケンスにターゲット動作条件バケットを適用することによって得られる。
Figure 2022092592000008
テストデータＤtestは、以下のようなターゲット動作条件のテストシーケンスから得られる。
Figure 2022092592000009
テストラベルは以下のように得られる。
Figure 2022092592000010
加えて、バケット化ステップは、故障までの連続距離の値を、動作状態のカテゴリに基づいて適切なクラスに割り当てる。このことが、今度は、深刻なクラスの不均衡問題を引き起こす。深層学習モデルがオーバフィッティングすることを防ぐために、オーバサンプリング及び重み付き損失の技術が、以下のように適用される。
オーバサンプリング：オーバサンプリングの技術は、サンプリング不足のクラスに属するデータポイントに適用される。原則的に、サンプリング不足のクラスに属するデータポイントは，最大値を持つクラスに属するポイントの数に合致するようにランダムに複製される。これにより、クラス不均衡の問題を完全に解決することはできないが、オーバサンプリング技術は、深層学習モデルのオーバフィッティング問題を軽減できる。
重み付け損失：オーバサンプリングの適用に代えて、重み付け損失技術を実装することで、クラス不均衡問題を低減することもできる。従来の損失関数は、各訓練例に対して、その例が優勢クラス又は希少クラスのいずれに属しているか考慮することなく、同一の重みを与える。これは、我々のケースにおいて好ましくない。なぜなら、相応の不均衡クラス分布が存在するからである。したがって、重み付き損失技術を適用し、損失関数を計算する時に各訓練例の重みを変更することによって、データが均衡するようにする。
加えて、訓練に利用可能なデータの多様性を高め，機械学習モデルの一般化を改善するため，以下を使用して、利用可能なサンプルからの合成サンプルを用いてデータを拡張するための様々な技術を実装する。１）シーケンス内のイベント／サブシーケンスのドロップアウト、２）シーケンス内のイベント／サブシーケンスのランダムな注入、イベント／サブシーケンスのランダムなシャッフリング／置き換え（ｐｅｒｍｕｔａｔｉｏｎｓ）、３）データの分布（平均及び分散）が維持されるような連続的な特徴量（例えば、距離）におけるランダムな変動、４）近接イベント／サブシーケンスからの値の入れ替え（例えば、コンテキストウィンドウ内の距離値の入れ替え）。
モデリングについて、深層学習を使用するＲＵＬの３つの例がある。それらは、マルチヘッドアテンションモデル１３１、ＬＳＴＭ（Ｌｏｎｇ－Ｓｈｏｒｔ－Ｔｅｒｍ－Ｍｅｍｏｒｙ）１３２、そして、アンサンブルモデル１３３である。以下は、各モデル例の概要である。
図３は、実施例に係る、ＬＳＴＭベースの故障予測モデル１３２の例示的なフロー図である。具体的には、ＬＳＴＭベースの故障予測モデル１３２の高レベルのフロー図が、図３に示されている。ＬＳＴＭ入力ユニットの各時間ステップは、単一イベントタイプ及びその対応するカウント３０２、前回の故障からの距離３０３、障害コードがＯＮである距離３０４、前回の障害コードからの距離３０５、及びユニットの全ユニット属性３０６、を入力として考慮する。イベントのシーケンス３０１は、整数符号化３１０で符号化された後、埋め込み処理３２０を経て連結処理（ｃｏｎｃａｔｅｎａｔｅ）３３０される。イベントカウント３０２及びユニット属性３０６は、ワンホット符号化３１１で符号化することができる。これらの特徴量は、ＬＳＴＭ入力層３４０に与えられる前に、単一ベクトルに連結３３０される。ＬＳＴＭの最後の時間ステップの出力は、デンス（ｄｅｎｓｅ）層３５０に続いてソフトマックス分類層３６０に供給され、与えられたシーケンスにラベル（バケット）を割り当てる。ＬＳＴＭモデルは、ＮＡＤＡＭ（Ｎｅｓｔｅｒｏｖ Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ ｅｓｔｉｍａｔｉｏｎ）などのオプティマイザを使用して、カテゴリクロスエントロピ損失を最小化することによって訓練される。
図４は、実施例に係る、マルチヘッドアテンションモデル１３１の例示的なフロー図である。マルチヘッドアテンションモデル１３１は、最近導入された技術であり、言語翻訳タスクにおいて最先端の性能を示す。マルチヘッドアテンションモデル４００の主な利点は、異なる時間ステップのデータを並行して処理できることである。これにより、１つの時間ステップの計算が前の時間ステップに依存するＬＳＴＭなどの従来の回帰モデルと比較し、計算時間が短縮される。また、マルチヘッドアテンションモデル４００は、ＬＳＴＭと比較して、より長い時間の依存性を捉えることができる。また、マルチヘッドアテンションモデル４００は、複数のヘッドを利用して、異なる時間ステップにおけるイベント間の複数の関係を捉えることができる。マルチヘッドアテンションモデル４００は、ＡＤＡＭ（Ａｄａｐｔｉｖｅ Ｍｏｍｅｎｔ ｅｓｔｉｍａｔｉｏｎ）等のオプティマイザを用いて、カテゴリクロスエントロピ損失を最小化することによって訓練される。
図５は、実施例に係る、アンサンブルモデル１３３の例示的なフロー図を示す。具体的には、図５は、ＲＵＬタスクを解決するためのアンサンブルモデル１３３の例示的なフロー図を示す。アンサンブルモデルの主な利点は、異なるモデルがデータからの異なる特徴量を捉え、続いて、組み合わされたときに全体の性能を向上させることである。今回の実験で使用されたアンサンブルモデルは、ＲＭＤＬ（Ｒａｎｄｏｍｉｚｅｄ Ｍｕｌｔｉ－Ｍｏｄｅｌ Ｄｅｅｐ Ｌｅａｒｎｉｎｇ）と呼ばれるモデルから着想されている。ＲＭＤＬは、基本的に、深層フィードフォワードニューラルネットワーク（ＤＮＮ）、畳み込みニューラルネットワーク（ＣＮＮ）、ＬＳＴＭネットワークなど、複数のランダム化された深層学習モデルの組み合わせである。ＲＭＤＬモデルは、テキストデータ及び画像データの双方に有効であることが示されている。
アンサンブルモデルは、３つの深層学習モデルを利用している。それらは、深層ニューラルネットワーク（ＤＮＮ）５００、１次元ＣＮＮ５０１、ＬＳＴＭ３４０である。ＤＮＮは時間依存データを扱えないため、ＤＮＮモデルへの入力は他の２つのモデルとは異なっている。そこで、整数符号化された障害コード列から、ＴＦＩＤＦ（Ｔｅｒｍ Ｆｒｅｑｕｅｎｃｙ－Ｉｎｖｅｒｓｅ Ｄｏｃｕｍｅｎｔ Ｆｒｅｑｕｅｎｃｙ）特徴量５０３を抽出する。次に、ワンホット符号化３１１されたユニット属性を持つＴＦＩＤＦ特徴量５０３が連結され、ＤＮＮモデルに与えられる。なお、ＤＮＮモデル５００は、他のシーケンス特徴量、例えば、前回の故障からのマイル数、障害コードがオンになってからのマイル数、前回の障害コードからのマイル数等を、考慮しない。逆に、１次元ＣＮＮ５０１及びＬＳＴＭモデル３４０は、前の２つのセクションで説明したＬＳＴＭ３４０及びマルチヘッドアテンションモデルと同様に、全ての特徴量を考慮する。アンサンブルモデルは以下のように訓練される。
ステップ１）ＤＮＮモデルのため、層数、隠れノード数、オプティマイザなどのハイパパラメータの値の範囲を設定する。
ステップ２）上記値の範囲から乱数を生成し、これらの値に基づいて適切なＤＮＮモデルを設計する。
ステップ３）ＤＮＮモデルを訓練し、予測のためにモデルの重みを保存する。
ステップ４）ステップ１～３を「ｎ」回繰り返す（ｎは所望の実装に応じて設定される）。
ステップ５）ＣＮＮモデル及びＬＳＴＭモデルについて、ステップ１～４を繰り返す。
訓練が終了すると、テストを実行する。つまり、テストデータを用いて全ての訓練されたされたＤＮＮ、ＣＮＮ、ＬＳＴＭモデルから予測値を取得し、予測結果を格納し、そして、格納された予測結果において多数決技術５０４を実行して最終的な予測結果５０５を得る。
最適化のため、提案するイベントベースのＲＵＬ方法は、以下のような最適化フレームワークを実装する。１）オリジナルデータと合成データを適応的に適合させるためのデータ適応型最適化１４１、そして、２）コストのかかる故障の予測を優先させるコスト考慮型最適化１４２、である。
実施例は、オリジナルデータと合成データを適応的に適合させるためのデータ適応型最適化フレームワーク１４１を含む。オリジナルの故障シーケンスは、合成及び拡張されたサンプルよりも強い予測パターンを有すると想定される。したがって、最適化手順において損失の加重和が利用され、合成及び拡張されたデータと比較して、オリジナルシーケンスに高い損失を割り当てる。形式的には、オリジナルシーケンスの損失Ｌｏ、拡張シーケンスの損失Ｌａ、合成シーケンスの損失Ｌｓが与えられた場合、全体の損失は次のように計算できる。
Ｌ＝αＬｏ＋βＬａ＋γＬｓ
ここで、重みα、β、γは経験的に学習又は微調整可能である。
さらに、実施例は、コスト考慮型最適化フレームワーク１４２の方法を含み、よりコストのかかる故障の予測を優先させる。これは、故障の、時間、タイプ、カテゴリ、又は構成要素に基づくことも可能である。損失の重み付け和が最適化手順において利用され、費用が少なく修理が早い故障に比べて、費用や時間がかかる故障に高い損失を割り当てる。これら重みは経験的に学習又は微調整可能である。
実施例は、イベントベースの逐次データに基づく機器の残存耐用時間推定や故障予測を必要とする、アプリケーションで利用可能である。
図６は、実施例に係る、接続されたセンサを有する複数のシステム及び管理装置を含むシステムを示す。接続されたセンサを有する１又は複数のシステム６０１－１、６０１－２、６０１－３、６０１－４は、ネットワーク６００に通信可能に接続される。ネットワーク６００は、管理装置６０２に接続されている。管理装置６０２は、モノインターネット（ＩｏＴ）ゲートウェイ又は他の製造管理システムのための機能を持つことができる。管理装置６０２は、システム６０１－１、６０１－２、６０１－３、６０１－４のセンサから収集した履歴データを格納するデータベース６０３を管理する。他の実装例において、システム６０１－１、６０１－２、６０１－３、６０１－４のセンサからのデータ、中央リポジトリ又は中央データベースに保存することができる。これらは、例えば、エンタープライズリソースプランニングシステムなどのデータを取り込む独自データベースである。管理装置６０２は、中央リポジトリ又は中央データベースのデータにアクセス又は取得することができる。このようなシステムは、所望の実装に応じて、センサ付きのロボットアーム、センサ付きのタービン、センサ付きの旋盤などを含むことができる。センサデータの例は、図２に示されているような車両からのデータ、エアコンプレッサの空気圧／温度など、所望の実装に応じた任意のデータを含むことができる。
図７は、図６に示されているような管理装置６０２のような、いくつかの実施例で使用するのに適した例示的なコンピュータ装置を備えた例示的なコンピューティング環境を示している。
コンピューティング環境７００内のコンピュータ装置７０５は、１以上の処理ユニット、コア、又はプロセッサ７１０、メモリ７１５（例えば、ＲＡＭ、ＲＯＭなど）、内部ストレージ７２０（例えば、磁気ストレージ、光学ストレージ、ソリッドステートストレージ及び／又はオーガニックストレージ）、及び／又はＩ／Ｏインターフェイス７２５を含むことができる。これらのいずれのデバイスも、情報を通信するための通信機構又はバス７３０に結合されるか、又はコンピュータ装置７０５に埋め込まれ得る。Ｉ／Ｏインターフェイス７２５は、所望の実装に応じて、カメラから画像を受信し、又は、プロジェクタ若しくはディスプレイに画像を提供するように構成され得る。
コンピュータ装置７０５は、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０に通信可能に結合され得る。入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０のいずれか一方又は両方は、有線又は無線インターフェイスであってよく、取り外し可能であり得る。入力／ユーザインターフェイス７３５には、入力を提供するために使用できる物理的又は仮想的なデバイス、コンポーネント、センサ、又はインターフェイスが含まれる（たとえば、ボタン、タッチスクリーンインターフェイス、キーボード、ポインティング／カーソルコントロール、マイク、カメラ、点字、モーションセンサ、光学式リーダなど）。出力デバイス／インターフェイス７４０は、ディスプレイ、テレビ、モニタ、プリンタ、スピーカ、点字などを含み得る。いくつかの実施例では、入力／ユーザインターフェイス７３５及び出力デバイス／インターフェイス７４０は、コンピュータ装置７０５に埋め込むか、又は物理的に結合することができる。タッチスクリーンディスプレイ、テレビディスプレイ、又は他の任意の形態のディスプレイを含む実施例では、ディスプレイは、ユーザインターフェイスを提供するように構成されている。
コンピュータ装置７０５の例は、これらに限定されないが、特にモバイル性が高いデバイス（例えば、スマートフォン、車両及び他の機械内のデバイス、人間及び動物によって運ばれるデバイスなど）、モバイルデバイス（例えば、タブレット、ノートブック、ラップトップ、パーソナルコンピュータ、ポータブルテレビ、ラジオなど）、及びモバイル向けに設計されていないデバイス（デスクトップコンピュータ、他のコンピュータ、情報キオスク、１以上のプロセッサが埋め込まれた、又は結合されたテレビ、ラジオなど）が含まれ得る。
コンピュータ装置７０５は、（例えば、Ｉ／Ｏインターフェイス７２５を介して）外部ストレージ７４５及びネットワーク７５０に通信可能に結合され、同一又は異なる構成の１以上のコンピュータ装置を含む、多くのネットワーク化されたコンポーネント、デバイス、及びシステムと通信することができる。コンピュータ装置７０５又は任意の接続されたコンピュータ装置は、サーバ、クライアント、シンサーバ、汎用機械、専用機械、又は別の名称で参照され、サービスを提供するように機能することができる。
Ｉ／Ｏインターフェイス７２５は、任意の通信又はＩ／Ｏプロトコル又は標準（例えば、イーサネット、８０２．１１ｘ、ユニバーサルシステムバス、ＷｉＭａｘ、モデム、携帯電話ネットワークプロトコルなど）、コンピューティング環境７００の少なくともすべての接続されたコンポーネント、デバイス、及びネットワークと情報をやり取りするための、有線及び／又は無線インターフェイスを含むことができるが、これらに限定されない。ネットワーク７５０は、任意のネットワーク又はネットワークの組み合わせであってよい（たとえば、インターネット、ローカルエリア、広域ネットワーク、電話ネットワーク、携帯電話ネットワーク、衛星ネットワークなど）。
コンピュータ装置７０５は、一過性媒体及び非一過性媒体を含むコンピュータ使用可能又はコンピュータ可読媒体を、使用する、及び／又は、使用して通信することができる。一過性媒体には、伝送媒体（金属ケーブル、光ファイバーなど）、信号、搬送波などが含まれる。非一過性の媒体には、磁気メディア（ディスクやテープなど）、光学メディア（ＣＤＲＯＭ、デジタルビデオディスク、ブルーレイディスクなど）、ソリッドステートメディア（ＲＡＭ、ＲＯＭ、フラッシュメモリ、ソリッドステートストレージなど）、及びその他の不揮発性ストレージ又はメモリが含まれる。
コンピュータ装置７０５は、いくつかの例示的なコンピューティング環境において、技術、方法、アプリケーション、プロセス、又はコンピュータ実行可能命令を実装するために使用することができる。コンピュータで実行可能な命令は、一過性の媒体から取得し、非一過性の媒体に格納して取得できる。実行可能命令は、１以上の任意のプログラミング、スクリプト、及びマシン言語（Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）、Ｖｉｓｕａｌ Ｂａｓｉｃ、Ｐｙｔｈｏｎ、Ｐｅｒｌ、ＪａｖａＳｃｒｉｐｔ（登録商標）など）から生成できる。
プロセッサ７１０は、ネイティブ又は仮想的な環境で、任意のオペレーティングシステム（ＯＳ）（図示せず）の下で実行することができる。論理ユニット７６０、アプリケーションプログラミングインターフェイス（ＡＰＩ）ユニット７６５、入力ユニット７７０、出力ユニット７７５、及び、相互間で、ＯＳと、そして他のアプリケーション（図示せず）と通信するための異なるユニット用のユニット間通信メカニズム７９５を含む、１以上のアプリケーションを展開することができる。上記ユニット及び要素は、設計、機能、構成、又は実装が異なる可能性があり、提供された説明に限定されない。プロセッサ７１０は、メモリ７１５からロードされた命令を実行するように構成された物理プロセッサ又は中央処理装置（ＣＰＵ）の形態であり得る。
いくつかの実施例では、情報又は実行命令がＡＰＩユニット７６５によって受信されると、それは１以上の他のユニット（たとえば、論理ユニット７６０、入力ユニット７７０、出力ユニット７７５）に通信され得る。いくつかの例では、論理ユニット７６０は、ユニット間の情報フローを制御し、上記のいくつかの実施例においてＡＰＩユニット７６５、入力ユニット７７０、出力ユニット７７５によって提供されるサービスを指示するように構成され得る。たとえば、１以上のプロセス又は実装のフローは、論理ユニット７６０によって単独で、又はＡＰＩユニット７６５と連動して制御され得る。入力ユニット７７０は、実施例で説明した計算のための入力を取得するように構成され得る。ユニット７７５は、実施例で説明される計算に基づいて出力を提供するように構成され得る。
プロセッサ７１０は、図１～５のフロー及び例の実行を通じて、機器の故障及び残存耐用時間（ＲＵＬ）を予測するように構成され得る。一例において、プロセッサ７１０は、障害イベントを含む機器から受信したデータについて、図１の１００及び１１０で示されるように、データ上で特徴量抽出を行って障害イベントに基づいてイベント特徴量のシーケンスを生成し；図１のモデリングに示すようにそして図３～５によって、イベント特徴量のシーケンスに深層学習モデリングを適用して、機器のデータから抽出されたイベント特徴量に基づいて、機器の故障及びＲＵＬを予測するように構成されたモデルを生成し；図１の最適化で示されるように、モデル上で最適化を実行する、ように構成され得る。
図１の１２０に示されるように、プロセッサ７１０は、データ上でデータ拡張を実行するように構成され得、データ拡張は、データに基づいて追加の意味的に類似したデータサンプルを生成するように構成され、最適化はデータ適応型最適化であり、データ適応型最適化は、機器の故障及びＲＵＬの予測のために、機器から受信したデータから得られるデータを、意味的に類似したデータサンプルから得られるデータよりも重くみるように構成される。
実施例において、深層学習モデリングは、図5を参照して説明したように、学習可能なニューラルネットワークベースのアテンション機構を含むことができる。アテンション機構は、イベント特徴量のシーケンス内でイベント特徴量の内の関連するものを決定し、イベント特徴量の内のより低い関連のものを破棄するように構成される。関連すると決定されたイベント特徴量以外のイベント特徴量が破棄され得る。
実施例において、深層学習モデリングは、図３～５に示すように、マルチヘッドアテンション１３１、ＬＳＴＭ１３２、及びアンサンブルモデル１３３のうちの１つであってよい。
実施例において、モデルの最適化は、図１の１４２に示されるように、コストに応じて故障の予測を高くするように構成されたコスト考慮型最適化である。
プロセッサ７１０は、機器から受信したデータにモデルを実行し、予測された故障及びＲＵＬに基づいて機器の動作を制御するように構成され得る。実施例において、プロセッサ７１０は、予測された故障及びＲＵＬのタイプに基づいて、機器の安全モードへのリセットをスケジューリングし、機器を強制的にシャットダウンし、若しくはアンドンを起動するように構成され得、又は、予測された故障及びＲＵＬに基づいて機器を構成するように構成され得る。実施例において、予測された故障及びＲＵＬは、プロセッサ７１０によって機器に起動されるアクションにマッピングすることができ、これは任意の所望の実装に設定できる。
詳細な説明のいくつかの部分は、コンピュータ内の動作のアルゴリズム及び記号的表現に関して提示されている。これらのアルゴリズム記述及び記号的表現は、データ処理技術の当業者が、その革新の本質を他の当業者に伝えるために使用する手段である。アルゴリズムは、目的の最終状態又は結果に至る一連の定義済みステップでる。実施例では、実行されるステップは、具体的な結果を得るために具体的な量を物理的に操作する必要がある。
議論から明らかなように、以下のことが理解される。説明全体を通して、「処理」、「コンピューティング」、「計算」、「決定」、「表示」などの用語を利用する議論は、コンピュータシステム又は他の情報処理装置の動作及び処理を含むことができる。これら装置は、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されるデータを、コンピュータシステムのメモリ、レジスタ、その他の情報ストレージ、送信又は表示デバイス内の物理量として同様に表される他のデータに操作及び変換する。
実施例はまた、本明細書のオペレーションを実行するための装置に関連してもよい。この装置は、必要な目的のために特別に構築されてもよいし、１以上のコンピュータプログラムによって選択的に起動又は再構成される１以上の汎用コンピュータを含んでもよい。そのようなコンピュータプログラムは、コンピュータ可読記憶媒体又はコンピュータ可読信号媒体などのコンピュータ可読媒体に格納されてもよい。コンピュータ可読記憶媒体は、限定ではないが、電子情報を保存するための、光ディスク、磁気ディスク、読み取り専用メモリ、ランダムアクセスメモリ、ソリッドステートデバイス及びドライブ、又はその他の適切な有形又は非一過性の媒体などの有形媒体を含み得る。コンピュータ可読信号媒体には、搬送波などの媒体が含まれ得る。本明細書で提示されるアルゴリズム及び表示は、特定のコンピュータ又は他の装置に本質的に関連するものではない。コンピュータプログラムには、目的の実装のオペレーションを実行する命令を含む純粋なソフトウェア実装を含めることができる。
本明細書の例に従って、様々な汎用システムをプログラム及びプログラムモジュールとともに使用することができ、又は所望の方法ステップを実行するための専用の装置を構築することがより適切であることが判明する場合がある。さらに、実施例は、特定のプログラミング言語を参照して説明されていない。様々なプログラミング言語を使用して、本明細書で説明する実施例の教示を実装できることが理解される。プログラミング言語の命令は、１以上の処理デバイス、たとえば中央処理装置（ＣＰＵ）、プロセッサ、又はコントローラによって実行されてよい。
当技術分野で知られているように、上記オペレーションは、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアの何らかの組み合わせによって実行することができる。実施例のさまざまな態様は、回路及び論理デバイス（ハードウェア）を使用して実装できるが、他の態様は、プロセッサによって実行されるとプロセッサに本願の実装を実行する方法を実行させる、機械可読媒体（ソフトウェア）に格納された命令を使用して実装できる。さらに、本願のいくつかの実施例は、ハードウェアのみで実行されてもよく、他の実施例は、ソフトウェアのみで実行されてもよい。さらに、説明されているさまざまな機能は、単一のユニットで実行することも、さまざまな方法で多数のコンポーネントに分散させることもできる。ソフトウェアによって実行される場合、これらの方法は、コンピュータ可読媒体に格納された命令に基づいて、汎用コンピュータなどのプロセッサによって実行され得る。必要に応じて、命令は圧縮及び／又は暗号化された形式で媒体に保存できる。
さらに、本願の他の実装は、本願の教示の仕様及び実施を考慮することにより、当業者には明らかであろう。説明した実施例の様々な態様及び／又は構成要素は、単独で又は任意の組み合わせで使用することができる。本明細書及び実施例は、例としてのみ考慮されることが意図されており、本願の真の範囲及び精神は、添付の特許請求の範囲によって示される。
１００ データ前処理、１１０ 特徴量抽出、１２０ データ拡張、１３１ マルチヘッドアテンションモデル、１３２ ＬＳＴＭ、１３３ アンサンブルモデル、１４１ データ適応型最適化、１４２ コスト考慮型最適化

Claims (18)

  1. 機器の故障及び残存耐用時間（ＲＵＬ）を予測する方法であって、
    障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、
    前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づいて前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、
    前記モデルに対して最適化を実行する、ことを含む方法。
  2. 請求項１に記載の方法であって、
    データ拡張を前記データについて実行することを、さらに含み、
    前記データ拡張は、前記データに基づいて追加の意味的に類似したデータサンプルを生成するように構成され、
    前記最適化はデータ適応型最適化であり、
    前記データ適応型最適化は、前記機器の故障及びＲＵＬの予測のために、前記機器から受信したデータから得られるデータを、前記意味的に類似したデータサンプルから得られるデータよりも重く見るように構成される、方法。
  3. 請求項１に記載の方法であって、
    前記深層学習モデリングは、学習可能なニューラルネットワークベースのアテンション機構を含み、
    前記アテンション機構は、前記イベント特徴量のシーケンス内のイベント特徴量のうちの関連するイベント特徴量を決定し、前記イベント特徴量のうちのより低い関連のイベント特徴量を破棄するように構成される、方法。
  4. 請求項３に記載の方法であって、前記深層学習モデリングは、マルチヘッドアテンション、Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ及びアンサンブルモデリングのうちの一つである、方法。
  5. 請求項１に記載の方法であって、前記モデルの最適化は、コストに応じて故障の予測を高くするように構成されたコスト考慮型最適化である、方法。
  6. 請求項１に記載の方法であって、さらに、
    前記機器から受信したデータに前記モデルを実行し、
    前記予測された故障及びＲＵＬに基づいて前記機器の動作を制御する、ことをさらに含む方法。
  7. 機器の故障及び残存耐用時間（ＲＵＬ）を予測するための処理を計算機に実行させるプログラムであって、
    前記処理は、
    障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、
    前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づいて前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、
    前記モデルに対して最適化を実行する、ことを含むプログラム。
  8. 請求項７に記載のプログラムであって、
    前記処理は、データ拡張を前記データについて実行することをさらに含み、
    前記データ拡張は、前記データに基づいて追加の意味的に類似したデータサンプルを生成するように構成され、
    前記最適化はデータ適応型最適化であり、
    前記データ適応型最適化は、前記機器の故障及びＲＵＬの予測のために、前記機器から受信したデータから得られるデータを、前記意味的に類似したデータサンプルから得られるデータよりも重く見るように構成される、プログラム。
  9. 請求項７に記載のプログラムであって、
    前記深層学習モデリングは、学習可能なニューラルネットワークベースのアテンション機構を含み、
    前記アテンション機構は、前記イベント特徴量のシーケンス内のイベント特徴量のうちの関連するイベント特徴量を決定し、前記イベント特徴量のうちのより低い関連のイベント特徴量を破棄するように構成される、プログラム。
  10. 請求項９に記載のプログラムであって、前記深層学習モデリングは、マルチヘッドアテンション、Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ及びアンサンブルモデリングのうちの一つである、プログラム。
  11. 請求項７に記載のプログラムであって、前記モデルの最適化は、コストに応じて故障の予測を高くするように構成されたコスト考慮型最適化である、プログラム。
  12. 請求項７に記載のプログラムであって、
    前記処理は、
    前記機器から受信したデータに前記モデルを実行し、
    前記予測された故障及びＲＵＬに基づいて前記機器の動作を制御する、ことをさらに含むプログラム。
  13. 機器の故障及び残存耐用時間（ＲＵＬ）を予測する装置であって、
    プロセッサを含み、
    前記プロセッサは、
    障害イベントを含む機器から受信したデータについて、前記データ上の特徴量抽出を行って障害イベントに基づくイベント特徴量のシーケンスを生成し、
    前記イベント特徴量のシーケンスに深層学習モデリングを適用して、前記機器のデータから抽出されたイベント特徴量に基づいて前記機器の故障及びＲＵＬを予測するように構成されたモデルを生成し、
    前記モデルに対して最適化を実行する、装置。
  14. 請求項１３に記載の装置であって、
    前記プロセッサは、データ拡張を前記データについて実行し、
    前記データ拡張は、前記データに基づいて追加の意味的に類似したデータサンプルを生成するように構成され、
    前記最適化はデータ適応型最適化であり、
    前記データ適応型最適化は、前記機器の故障及びＲＵＬの予測のために、前記機器から受信したデータから得られるデータを、前記意味的に類似したデータサンプルから得られるデータよりも重く見るように構成される、装置。
  15. 請求項１３に記載の装置であって、
    前記深層学習モデリングは、学習可能なニューラルネットワークベースのアテンション機構を含み、
    前記アテンション機構は、前記イベント特徴量のシーケンス内のイベント特徴量のうちの関連するイベント特徴量を決定し、前記イベント特徴量のうちのより低い関連のイベント特徴量を破棄するように構成される、装置。
  16. 請求項１５に記載の装置であって、前記深層学習モデリングは、マルチヘッドアテンション、Ｌｏｎｇ Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ及びアンサンブルモデリングのうちの一つである、装置。
  17. 請求項１３に記載の装置であって、前記モデルの最適化は、コストに応じて故障の予測を高くするように構成されたコスト考慮型最適化である、装置。
  18. 請求項１３に記載の装置であって、
    前記プロセッサは、
    前記機器から受信したデータに前記モデルを実行し、
    前記予測された故障及びＲＵＬに基づいて前記機器の動作を制御する、装置。
JP2021197977A 2020-12-10 2021-12-06 機器の故障及び残存耐用時間を予測する方法、装置及びプログラム Active JP7268123B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/118,081 US20220187819A1 (en) 2020-12-10 2020-12-10 Method for event-based failure prediction and remaining useful life estimation
US17/118,081 2020-12-10

Publications (2)

Publication Number Publication Date
JP2022092592A true JP2022092592A (ja) 2022-06-22
JP7268123B2 JP7268123B2 (ja) 2023-05-02

Family

ID=78535947

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021197977A Active JP7268123B2 (ja) 2020-12-10 2021-12-06 機器の故障及び残存耐用時間を予測する方法、装置及びプログラム

Country Status (3)

Country Link
US (1) US20220187819A1 (ja)
EP (1) EP4012525A1 (ja)
JP (1) JP7268123B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11961052B2 (en) * 2020-12-15 2024-04-16 Caterpillar Inc. Systems and methods for wear assessment and part replacement timing optimization
US20220371530A1 (en) * 2021-05-19 2022-11-24 Pony Ai Inc. Device-level fault detection
CN115017826B (zh) * 2022-06-30 2023-08-25 安徽大学 一种装备剩余使用寿命预测方法
CN115078894B (zh) * 2022-08-22 2023-01-06 广东电网有限责任公司肇庆供电局 一种电力机房异常检测方法、装置、设备及可读存储介质
CN115618733B (zh) * 2022-10-24 2023-04-07 大连理工大学 针对航空发动机剩余使用寿命预测的多尺度混杂注意力机制建模方法
CN115660198B (zh) * 2022-11-07 2023-08-01 中国科学院空间应用工程与技术中心 滚动轴承剩余使用寿命预测方法
CN115659188B (zh) * 2022-12-29 2023-06-23 四川观想科技股份有限公司 一种基于事件关联的装备健康管理异常定位方法
CN115994630B (zh) * 2023-03-24 2023-06-09 山东大学 基于多尺度自注意力的设备剩余使用寿命预测方法及系统
CN116400675B (zh) * 2023-06-09 2023-09-15 西南交通大学 基于改进cnn-lstm模型的故障诊断系统及方法
CN116579505B (zh) * 2023-07-12 2023-10-13 中国科学院空间应用工程与技术中心 一种无全寿命周期样本的机电设备跨域剩余寿命预测方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018524704A (ja) * 2015-06-19 2018-08-30 アップテイク テクノロジーズ、インコーポレイテッド 予測モデルの動的な実行
JP2018200677A (ja) * 2017-05-25 2018-12-20 株式会社日立製作所 管理方法、非一時的コンピュータ可読媒体および管理装置
JP2019212206A (ja) * 2018-06-08 2019-12-12 沖電気工業株式会社 ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム
US20200134469A1 (en) * 2018-10-30 2020-04-30 Samsung Sds Co., Ltd. Method and apparatus for determining a base model for transfer learning

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2932919B1 (fr) * 2008-06-24 2010-08-20 Eurocopter France Adaptation d'alertes de terrain selectives, en fonction la manoeuvrabilite instantanee d'un giravion
FR2970358B1 (fr) * 2011-01-06 2019-04-12 Airbus Helicopters Pronostic de duree avant maintenance par fusion entre modelisation et simulation, pour equipements electroniques embarques dans un aeronef
US20160239756A1 (en) * 2013-10-10 2016-08-18 Ge Intelligent Platforms, Inc. Correlation and annotation of time series data sequences to extracted or existing discrete data
CN106201871B (zh) * 2016-06-30 2018-10-02 重庆大学 基于代价敏感半监督的软件缺陷预测方法
US11288577B2 (en) * 2016-10-11 2022-03-29 Hitachi, Ltd. Deep long short term memory network for estimation of remaining useful life of the components
US10753677B2 (en) * 2017-06-08 2020-08-25 General Electric Company Methods and systems for enhancing production of liquefied natural gas
US11099551B2 (en) * 2018-01-31 2021-08-24 Hitachi, Ltd. Deep learning architecture for maintenance predictions with multiple modes
US20200210824A1 (en) * 2018-12-28 2020-07-02 Utopus Insights, Inc. Scalable system and method for forecasting wind turbine failure with varying lead time windows
CN110703743A (zh) * 2019-11-12 2020-01-17 深圳市亲邻科技有限公司 设备故障预测与检测系统和方法
US11216619B2 (en) * 2020-04-28 2022-01-04 International Business Machines Corporation Feature reweighting in text classifier generation using unlabeled data

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018524704A (ja) * 2015-06-19 2018-08-30 アップテイク テクノロジーズ、インコーポレイテッド 予測モデルの動的な実行
JP2018200677A (ja) * 2017-05-25 2018-12-20 株式会社日立製作所 管理方法、非一時的コンピュータ可読媒体および管理装置
JP2019212206A (ja) * 2018-06-08 2019-12-12 沖電気工業株式会社 ニューラルネットワーク軽量化装置、情報処理装置、ニューラルネットワーク軽量化方法およびプログラム
US20200134469A1 (en) * 2018-10-30 2020-04-30 Samsung Sds Co., Ltd. Method and apparatus for determining a base model for transfer learning

Also Published As

Publication number Publication date
JP7268123B2 (ja) 2023-05-02
EP4012525A1 (en) 2022-06-15
US20220187819A1 (en) 2022-06-16

Similar Documents

Publication Publication Date Title
JP2022092592A (ja) 機器の故障及び残存耐用時間を予測する方法、装置及びプログラム
Vinayakumar et al. Long short-term memory based operation log anomaly detection
US11544676B2 (en) Equipment repair management and execution
US20210136098A1 (en) Root cause analysis in multivariate unsupervised anomaly detection
US11715015B2 (en) Methods and arrangements to identify feature contributions to erroneous predictions
US20180374104A1 (en) Automated learning of data aggregation for analytics
CN111160687B (zh) 主动资产监控
JP2020009409A (ja) 故障した事例および打ち切られた事例を基にしたエンティティの残存耐用年数（ｒｕｌ）推定
US20210072740A1 (en) Deep causality learning for event diagnosis on industrial time-series data
US20200167660A1 (en) Automated heuristic deep learning-based modelling
WO2020149971A2 (en) Robust and data-efficient blackbox optimization
US20220327351A1 (en) Task and process mining by robotic process automations across a computing environment
US20220230024A1 (en) Artificial intelligence optimization platform
US11669755B2 (en) Detecting cognitive biases in interactions with analytics data
Nasser et al. A hybrid of convolutional neural network and long short-term memory network approach to predictive maintenance
CN116457802A (zh) 利用未被标记的传感器数据对工业系统中的罕见故障的自动实时检测、预测和阻止
US20210201179A1 (en) Method and system for designing a prediction model
Xiang et al. Bayesian gated-transformer model for risk-aware prediction of aero-engine remaining useful life
Zhang et al. PAOLTransformer: Pruning-adaptive optimal lightweight Transformer model for aero-engine remaining useful life prediction
US11176502B2 (en) Analytical model training method for customer experience estimation
Kancharla et al. Applicability of automl to modeling of time-series data
CN110874601A (zh) 识别设备运行状态的方法、状态识别模型训练方法及装置
US20220164659A1 (en) Deep Learning Error Minimizing System for Real-Time Generation of Big Data Analysis Models for Mobile App Users and Controlling Method for the Same
Sagaama et al. Automatic parameter tuning for big data pipelines with deep reinforcement learning
Jia et al. Remaining useful life prediction of equipment based on xgboost

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211206

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20221025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221108

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230418

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7268123

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150