JP2021135739A - 運転状態分類システム、および、運転状態分類方法 - Google Patents

運転状態分類システム、および、運転状態分類方法 Download PDF

Info

Publication number
JP2021135739A
JP2021135739A JP2020031357A JP2020031357A JP2021135739A JP 2021135739 A JP2021135739 A JP 2021135739A JP 2020031357 A JP2020031357 A JP 2020031357A JP 2020031357 A JP2020031357 A JP 2020031357A JP 2021135739 A JP2021135739 A JP 2021135739A
Authority
JP
Japan
Prior art keywords
neural network
state
server
edge device
label
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2020031357A
Other languages
English (en)
Other versions
JP7348103B2 (ja
JP2021135739A5 (ja
Inventor
晃司 牧
Koji Maki
晃司 牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2020031357A priority Critical patent/JP7348103B2/ja
Priority to PCT/JP2020/028986 priority patent/WO2021171647A1/ja
Priority to US17/801,922 priority patent/US20230091068A1/en
Priority to DE112020006810.2T priority patent/DE112020006810T5/de
Priority to CN202080095750.5A priority patent/CN115066693A/zh
Publication of JP2021135739A publication Critical patent/JP2021135739A/ja
Publication of JP2021135739A5 publication Critical patent/JP2021135739A5/ja
Application granted granted Critical
Publication of JP7348103B2 publication Critical patent/JP7348103B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0243—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model
    • G05B23/0254—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults model based detection method, e.g. first-principles knowledge model based on a quantitative model, e.g. mathematical relationships between inputs and outputs; functions: observer, Kalman filter, residual calculation, Neural Networks
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0213—Modular or universal configuration of the monitoring system, e.g. monitoring system having modules that may be combined to build monitoring program; monitoring system that can be applied to legacy systems; adaptable monitoring system; using different communication protocols
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0208—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterized by the configuration of the monitoring system
    • G05B23/0216—Human interface functionality, e.g. monitoring system providing help to the user in the selection of tests or in its configuration
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B23/00—Testing or monitoring of control systems or parts thereof
    • G05B23/02—Electric testing or monitoring
    • G05B23/0205—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults
    • G05B23/0218—Electric testing or monitoring by means of a monitoring system capable of detecting and responding to faults characterised by the fault detection method dealing with either existing or incipient faults
    • G05B23/0224—Process history based detection method, e.g. whereby history implies the availability of large amounts of data
    • G05B23/024—Quantitative history assessment, e.g. mathematical relationships between available data; Functions therefor; Principal component analysis [PCA]; Partial least square [PLS]; Statistical classifiers, e.g. Bayesian networks, linear regression or correlation analysis; Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Testing And Monitoring For Control Systems (AREA)

Abstract

【課題】分類精度が追加学習で継続的に向上すると共に、分類機能の不正な複製からも適切に防御された運転状態分類システムを提供する。【解決手段】ニューラルネットワークにセンサデータを入力して状態ラベルを出力する、エッジ機器とサーバを通信網で接続した運転状態分類システムであって、エッジ機器は、ニューラルネットワークの前段側を保存する第一保存部と、ニューラルネットワークの前段側にセンサデータを入力して中間データを出力する次元圧縮部と、を有する。サーバは、ニューラルネットワークの後段側を保存する第二保存部と、ニューラルネットワークの後段側に中間データを入力して状態ラベルを出力する推論実行部と、ニューラルネットワークの後段側を追加学習により更新する学習部と、を有する。【選択図】図７

Description

本発明は、エッジ機器等の運転状態を分類する、運転状態分類システム、および、運転状態分類方法に関する。
工場設備などの異常を検知する上での課題の１つは、適切な判定基準の設定である。例えば、工作機械を診断する場合、工程の種別によって駆動モータにかかる負荷が異なるため（例えば、加工中は負荷が大きく、アイドリング中は負荷が小さい）、工程毎に異なる判定基準を設定しないと誤報や失報が多くなる。あるいは異常検知の精度を高めるために、特定の工程のデータのみを使用したり、負荷変動の小さい時間帯のデータのみを使用したりすることも考えられる。そのため、異常検知をする前に、対象機器の運転状態を分類することができる運転状態分類システムが求められている。
一方、最近では、電力変換装置や産業用コントローラなどのエッジ機器に、ディープラーニングの推論実行機能（ニューラルネットワーク）を搭載することが可能になりつつある。そこで、それを利用してエッジ機器に運転状態分類機能を搭載すれば、エッジ機器で運転状態を判別して、異常検知に使用するデータのみをサーバに送信することが可能になるので、通信データ量の削減になるほか、より高精度な異常検知が可能になる。
そのような従来技術の概念図を図１５に示す。最初にエッジ機器において、各種センサからのデータと、各運転状態を示す状態ラベルＬ（例えば、Ｌ１、Ｌ２、Ｌ３）とを紐付けて保存する。それを何らかの方法で学習用サーバに回収し、学習用サーバにてニューラルネットワークを学習する。そうして得られた学習済ニューラルネットワークをエッジ機器にインストールする。こうすることで、エッジ機器単体で状態分類の自動化が実現される。あとは、特定の運転状態のデータのみで診断するなど、分類結果に応じた処理を実行する。
しかしながら、現在のエッジ機器、特に産業用ＰＣのようなエッジコンピューティングを想定した機器ではなく、電力変換装置や産業用コントローラのような各種制御用機器では、搭載されたマイコンの性能も低くストレージも少ないため、ニューラルネットワークの学習を実行するのは通常は困難である。
そのため、上記のような従来技術による運転状態分類システムの場合、実運用開始時の機能に固定されてしまい、実運用を通じて分類精度を向上させていくのが難しいという問題があった。さらには、エッジ機器単体で機能が閉じてしまうので、入力と出力を監視することでニューラルネットワークの機能を不正に複製される恐れもあった。
そこで、ニューラルネットワークをエッジ機器とサーバとに分割して搭載することで、エッジ機器とサーバの両方の計算能力を活用する技術が提案されている。例えば、特許文献１では、スマートフォンでニューラルネットワークの前半（入力層から中間層前半）の処理までを実行し、その結果をサーバに出力し、サーバにて後半（中間層後半から出力層）の処理を実行する技術が開示されている。推論実行のみならず学習も、スマートフォンとサーバが協働して実行する。
ＷＯ２０１８／０１１８４２号公報
しかしながら、電力変換装置や産業用コントローラのような各種制御用機器では、マイコンの性能やストレージがスマートフォンに劣るため、特許文献１が開示する技術を利用して、ニューラルネットワークの学習を実行するのが困難であるという問題があった。
本発明は、上記のような従来技術が抱える問題を解決するためになされたものであり、エッジ機器とサーバを協働させる際にエッジ機器側の負担を軽減させながら、運転状態分類の精度を追加学習で継続的に向上させることができる運転状態分類システムを提供することを目的とする。
上記課題を解決するため、本発明の運転状態分類システムは、ニューラルネットワークにセンサデータを入力して状態ラベルを出力する、エッジ機器とサーバを通信網で接続した運転状態分類システムであって、前記エッジ機器は、前記ニューラルネットワークの前段側を保存する第一保存部と、前記ニューラルネットワークの前段側に前記センサデータを入力して中間データを出力する次元圧縮部と、を有し、前記サーバは、前記ニューラルネットワークの後段側を保存する第二保存部と、前記ニューラルネットワークの後段側に前記中間データを入力して前記状態ラベルを出力する推論実行部と、前記ニューラルネットワークの後段側を追加学習により更新する学習部と、を有するものとした。
また、本発明の運転状態分類方法は、センサデータを入力して状態ラベルを出力するニューラルネットワークをサーバで学習する学習ステップと、前記ニューラルネットワークの前段側をエッジ機器に保存する第一保存ステップと、前記ニューラルネットワークの後段側を前記サーバに保存する第二保存ステップと、前記ニューラルネットワークの後段側を前記サーバで追加学習する追加学習ステップと、を有するものとした。
本発明の運転状態分類システム、および、運転状態分類方法によれば、エッジ機器にインストールされたニューラルネットワークに進化がない場合でも、エッジ機器の運用を続けるほどサーバ側のニューラルネットワークが進化するので、システム全体としての分類精度を高めることができる。それにより、学習用データが十分に蓄積されるのを待たずに実運用を開始することができる。また、通信するデータは次元圧縮されているので、通信コストを削減できるだけでなく、通信途上で盗まれても悪用されにくい。さらには、サーバに接続しないと機能しないので、不正な複製を抑止できる。
実施例１の運転状態分類システムにおける、学習時の概念図。 実施例１の運転状態分類システムにおける、学習時のフローチャート。 実施例１の運転状態分類システムにおける、推論実行時の概念図。 実施例１の運転状態分類システムにおける、推論実行時のフローチャート。 実施例１の運転状態分類システムにおける、追加学習時の概念図。 実施例１の運転状態分類システムにおける、追加学習時のフローチャート。 実施例１の運転状態分類システムにおける、エッジ機器及びサーバの機能構成図。 実施例２の運転状態分類システムにおける、推論実行時の概念図。 実施例３の運転状態分類システムにおける、学習時の概念図。 実施例３の運転状態分類システムにおける、学習時のフローチャート。 実施例３の運転状態分類システムにおける、推論実行時の概念図。 実施例３の運転状態分類システムにおける、推論実行時のフローチャート。 本発明に関わる運転状態分類システムを構成するエッジ機器側の機能を、産業用コントローラに内蔵した場合の基本構成図。 本発明に関わる運転状態分類システムを構成するエッジ機器側の機能を、電力変換装置に内蔵した場合の基本構成図。 運転状態分類システムに関わる従来技術の概念図。
以下、本発明の実施例を、図面を用いて説明する。
図１から図７を用いて、本発明の実施例１に係る運転状態分類システム１００を説明する。本実施例の運転状態分類システム１００は、ニューラルネットワークを利用して、エッジ機器２の運転状態を分類するシステムであり、サーバ１とエッジ機器２を通信網で接続したものである。なお、本実施例では、ニューラルネットワークの一例として自己符号化器を挙げているが、他種のニューラルネットワークを利用するシステムに本発明の考え方を適用しても良い。
サーバ１は、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。また、エッジ機器２は、マイコンを内蔵した、電力変換装置や産業用コントローラなどである。このようなサーバ１やエッジ機器２は、主記憶装置にロードしたプログラムを演算装置が実行することで、後述する各機能を実現することができる。なお、エッジ機器２のマイコンは、インストールされたニューラルネットワークを利用する演算能力は持っているが、インストールされたニューラルネットワークを自ら進化させる演算能力は持っていないものとする。
以下、本実施例の運転状態分類システム１００の詳細を、エッジ機器２の実運用前に実施する「学習処理」、エッジ機器２の実運用中に実施する「推論処理」、エッジ機器２の所定期間以上または所定回数以上の運用後に実施する、サーバ１側のニューラルネットワーク改良のための「追加学習処理」の各状況に分けて説明する。
＜学習処理＞
図１は、エッジ機器２の実運用前に実施する、運転状態分類システム１００の学習処理の概念図であり、図２は、学習処理の流れを示すフローチャートである。
まず、ステップＳ１０では、エッジ機器２は、各種センサが検出したセンサデータと、システム設計者等が入力した、運転状態の種類を示す状態ラベルＬ（例えば、Ｌ１、Ｌ２、Ｌ３）を紐付けて記憶装置に保存する。なお、ここでは、運転状態を３種類に分類する場合を例示したが、運転状態の種類は２以上の任意の整数であればよい。
次に、ステップＳ１１では、サーバ１は、エッジ装置２に保存されたセンサデータと状態ラベルＬを回収し、各運転状態のセンサデータを用いて、それぞれを自己再現するニューラルネットワーク（以下、自己符号化器αと称する）を学習する。例えば、状態ラベルＬ１のセンサデータで学習した自己符号化器α１は、状態ラベルＬ１のセンサデータが入力されたときは、状態ラベルＬ１のセンサデータを出力するが、それ以外のセンサデータが入力されたときは入力と異なるセンサデータを出力する。そのため、自己符号化器αの前段部分（入力層から中間層前半）は、学習に用いたセンサデータの特徴量ｄを抽出するニューラルネットワーク（以下、符号器Ａと称する）となっている。また、自己符号化器αの後段部分（中間層後半から出力層）は、特徴量ｄに基づいてセンサデータを再現するニューラルネットワーク（以下、復号器Ａ’と称する）となっている。
次に、ステップＳ１２では、サーバ１は、ステップＳ１１で得た符号器Ａをコピーし、符号器Ａが抽出した特徴量ｄを入力とし、状態ラベルＬを出力するニューラルネットワーク（以下、状態分類器Ｂと称する）を学習する。なお、符号器Ａによって特徴量ｄを抽出しているので、状態分類器Ｂの学習は容易である。
最後に、ステップＳ１３では、サーバ１は、学習済の符号器Ａのみをエッジ機器２にインストールする。なお、エッジ機器２にインストールする符号器Ａは、自己符号化器αのニューラルネットワークの一部であるため、実行時の演算負荷も小さく、記憶容量も小さい。このため、エッジ機器２が内蔵する比較定低性能のマイコンであっても、滞りなく所望の処理を実行することができる。
＜推論処理＞
図３は、エッジ機器２の実運用中に実施する、運転状態分類システム１００の推論処理の概念図であり、図４は、推論処理の流れを示すフローチャートである。
ステップＳ２０では、エッジ機器２は、実運用中に各種センサが収集したセンサデータを各状態の符号器Ａ１〜Ａ３に入力し、各状態の特徴量ｄ１〜ｄ３を抽出する。
ステップＳ２１では、エッジ機器２は、得られた特徴量ｄをサーバ１に送信する。特徴量ｄは、符号器によって次元圧縮されているため、各運転状態のセンサデータの特徴を含みつつデータサイズは小さくなっている。そのため、エッジ機器２からサーバ１への通信コストを抑えることができる。
ステップＳ２２では、サーバ１は、受信した特徴量ｄを状態分類器Ｂに入力して運転状態を分類し、状態ラベルＬを生成する。
ステップＳ２３では、サーバ１は、生成した状態ラベルＬをエッジ機器２に送信する。
最後に、ステップＳ２４では、エッジ機器２は、入力された状態ラベルＬの種別に応じて以後の処理方法を変更する。例えば、分類結果を表示したり、特定の状態の場合のみ診断を実行したり詳細データを保存したりするなどが考えられる。運転状態の変化をエッジ機器２の制御に直ちに反映させる必要がある場合は、サーバ１とエッジ機器２を接続する通信網として、高速・低遅延な通信網を利用することが望ましい。
なお、エッジ機器２からサーバ１に送信される特徴量ｄは、自己符号化器αの前段部分である符号器Ａが出力する中間データであり、自己符号化器αの後段部分である復号器Ａ’や、状態分類器Ｂを利用できなければ、意味の無いデータであるため、仮に、エッジ機器２からサーバ１への通信が傍受されても、通信内容の機密を保持できる。
＜追加学習処理＞
図５は、エッジ機器２の所定期間以上または所定回数以上の運用後に実施する、運転状態分類システム１００の追加学習処理の概念図であり、図６は、追加学習処理の流れを示すフローチャートである。なお、追加学習処理は、サーバ１側の状態分類器Ｂを改良する学習処理であり、エッジ機器２側の符号器Ａはそのまま使い続ける。
ステップＳ３０では、エッジ機器２は、実運用中に各種センサが収集したセンサデータを各状態の符号器Ａ１〜Ａ３に入力し、各状態の特徴量ｄ１〜ｄ３を抽出する。
ステップＳ３１では、推論実行と同じ中間データに正しい状態ラベルＬを紐付け、追加学習用データとしてサーバ１に蓄積する。正しい状態ラベルＬの付与や、誤った状態ラベルＬの修正は、基本的にはシステム設計者やエッジ機器２の運用者等の人間が実施する。なお、図５では、システム設計者等がサーバ１に入力する正しい状態ラベルＬと、運用者がエッジ機器２に入力する正しい状態ラベルＬの双方を図示しているが、何れか一方の入力があれば良い。
あるいは、人間が正しい状態ラベルを付ける手間を省くために、状態分類器Ｂによる分類において最も確からしいと判定された状態の確率が、あらかじめ設定した値（例えば８０％）よりも高い場合は、自動的にその状態ラベルを正しい状態ラベルとして付与してもよい。一方、前記確率があらかじめ設定した値以下の場合、すなわち状態分類器Ｂが判断に迷った場合に限り、人間に対し正しい状態ラベルを付与するよう促すことで、人間が常に正しい状態ラベルの付与作業を行うという手間を省くことができる。なお、人間が状態ラベルを付与するのを完全にやめて、前記確率が低い場合は、ラベル付きデータとの近さを指標に状態ラベルを付与してもよいし、追加学習に用いないようにしてもよい。
ステップＳ３２では、サーバ１は、追加学習用データを一定以上蓄積した段階で、追加学習を行う。この追加学習は、図３や図４に示した推論実行と並行して実施してもよいし、推論実行を一時的に休止して実施してもよい。
そして、ステップＳ３３では、サーバ１は、推論実行を一時的に休止し、状態分類器Ｂを追加学習で得られたものに置換する。これにより、エッジ機器２の所定期間以上または所定回数以上の運用後に、人間の知見を踏まえ、サーバ１の状態分類器Ｂを分類精度がより高いものに更新できるため、エッジ機器２にインストールされた符号器Ａに進化が無くても、システム全体としては性能が向上するので、以後に実行される推論処理では、より適切な状態ラベルＬを生成することができる。
＜サーバ１、エッジ機器２の具体的な構成＞
図７は、上記した各処理を実施する、運転状態分類システム１００における、サーバ１とエッジ機器２の機能ブロック図である。
エッジ機器２が備える運転状態分類前後処理部２０は、センサデータや追加学習用の状態ラベルを入力するデータ入力部２１、学習済の符号器Ａを保存する符号器保存部２２、符号器Ａを用いてセンサデータを特徴量ｄに変換する次元圧縮部２３、特徴量ｄをサーバ１に送信し、サーバ１から状態ラベルＬを受信するデータ通信部２４、状態ラベルＬを表示したり、特定の状態の場合のみ診断を実行したり詳細データを保存したりする結果応答部２５を備えている。なお、上記したように、これらはＣＰＵ等がプログラムを実行することで実現されるものである。
一方、サーバ１が備える運転状態分類実行部１０は、エッジ機器２から特徴量ｄや追加学習用の状態ラベルＬを受信したり、状態分類器Ｂによる分類結果である状態ラベルＬを送信したりするデータ通信部１１、学習済の状態分類器Ｂを保存する状態分類器保存部１２、状態分類器Ｂを用いて運転状態分類を実行する推論実行部１３、追加学習用のデータを保存するデータ保存部１４、保存されたデータを用いて学習処理時や追加学習処理時に自己符号化器αや状態分類器Ｂを学習する学習部１５を備えている。なお、上記したように、これらはＣＰＵ等がプログラムを実行することで実現されるものである。
本実施例のようにシステム構成することで、実運用を続けるだけで追加学習用データが自然にサーバ１に蓄積されるので、仮に最初の学習処理の終了時点で運転状態の分類精度が不十分であっても、時間の経過とともに徐々に分類精度が向上する。また、エッジ機器２からサーバ１に送られるデータは次元圧縮されているため、通信量を抑制できる。さらに、エッジ機器２をサーバ１に接続して状態分類器Ｂを利用できる環境を構築しないと有用な情報（状態ラベルＬ）を入手できないので、情報漏洩のリスクが小さいほか、符号器Ａのみを不当に複製しても、ほとんど利用価値がない。
以上で説明した本実施例によれば、エッジ機器側にインストールされたニューラルネットワークが進化しない場合でも、サーバ側のニューラルネットワークが追加学習により継続的に進化するため、運用時間が長くなるほど、システム全体としてニューラルネットワークの性能が向上する。また、実運用中にエッジ機器からサーバに送信するのは、データ量の小さい特徴量（中間データ）であるため、両者間の通信量を抑制できる。更に、エッジ機器とサーバを接続しない限り特徴量（中間データ）を処理できないシステムであるので、エッジ機器側のニューラルネットワークを不正に複製し、他のエッジ機器にインストールする動機を減退させることができる。
次に、図８の概念図を用いて、本発明の実施例２に係る運転状態分類システム１００の推論処理を説明する。なお、実施例１との共通点については、重複説明を省略する。
実施例１の推論処理は、図３や図４に示したように、状態分類器Ｂが状態ラベルＬを生成する処理であったが、本実施例の推論処理は、この処理に加え、図１や図２の学習処理時に副産物として得られた、自己符号化器の後段部分（復号器Ａ’）を活用し、エッジ機器２からの特徴量ｄに基づいてセンサデータを疑似的に再現する点に特徴がある。
例えば、サーバ１の状態分類器Ｂの出力が、状態ラベルＬ１であれば特徴量ｄ１を復号器Ａ１’に入力し、状態ラベルＬ２であれば特徴量ｄ２を復号器Ａ２’に入力し、状態ラベルＬ３であれば特徴量ｄ３を復号器Ａ３’に入力する。そうすることで、エッジ機器２で次元圧縮される前のセンサデータに近いデータ（以下では再現データと称する）を復号化することができる。すなわち、データ量の小さい特徴量ｄをエッジ機器２から送信するだけで、サーバ１ではデータ量の大きいセンサデータを疑似的に再現することができる。
以上のように得られた再現データは、さまざまな用途に利用することができる。例えばエッジ機器には搭載困難な複雑な機械学習アルゴリズムによる異常検知に用いてもよいし、エッジ機器に搭載した符号器を簡易的に再学習するのに用いてもよい。
次に、図９〜図１２を用いて、本発明の実施例３に係る運転状態分類システム１００の学習処理と推論処理を説明する。なお、上記実施例との共通点については、重複説明を省略する。
＜学習処理＞
実施例１の学習処理では、図１や図２に示したように、複数の自己符号化器α１〜α３を学習した後、それらの前段部分である符号器Ａ１〜Ａ３の全てをエッジ機器２にインストールしたが、本実施例の学習処理では、図９の概念図や図１０のフローチャートに示すように、一つの自己符号化器α１だけを学習し、その前段部分の符号器Ａ１をエッジ機器２にインストールする点に特徴がある。そうすることで、エッジ機器２の記憶容量が少なく、全ての符号器Ａを記憶できない場合でも実装が可能になる。
また、実施例１の学習処理では、図１や図２に示したように、符号器Ａ１〜Ａ３の出力である特徴量ｄ１〜ｄ３に基づいて状態ラベルＬ１〜Ｌ３を生成する状態分類器Ｂを学習したが、本実施例の学習処理では、図９や図１０に示すように、符号器Ａ１の出力である特徴量ｄ１だけに基づいて状態ラベルＬ１〜Ｌ３を生成する状態分類器Ｂを学習する点に特徴がある。
例えば、状態ラベルＬ１に対応する運転状態の発生頻度が他の運転状態に比べて極端に多い場合（例えば、状態ラベルＬ１が正常状態に対応し、状態ラベルＬ２，Ｌ３がそれぞれ異常状態に対応する場合など）、実運用開始時点では、状態ラベルＬ２や状態ラベルＬ３に相当する異常データを十分に集められない可能性がある。そのときは、状態ラベルＬ２や状態ラベルＬ３に対応する自己符号化器α２、α３の学習は実行せず、状態ラベルＬ１に対応する自己符号化器α１の学習のみを実行する。この場合、状態分類器Ｂの学習により多くの時間を割き、状態分類器Ｂの層数を増やすなどの対策を行うことで、自己符号化器α１の出力である特徴量ｄ１から、正常状態に対応する状態ラベルＬ１だけでなく、異常状態に対応する状態ラベルＬ２や状態ラベルＬ３も生成できるようにする。
このため、図１０のステップＳ１０では、実施例１や実施例２と同様に、エッジ機器２は、各種センサからのセンサデータと、各運転状態を示す状態ラベル（例えば、Ｌ１、Ｌ２、Ｌ３）とを紐付けて保存する。
次に、ステップＳ１１ａでは、サーバ１が、最も発生頻度の高い状態を選択し（ここでは正常状態＝状態ラベル１とする）、その状態のデータを用いて、それを再現する自己符号化器α１を学習する。
そして、ステップＳ１２ａでは、サーバ１は、ステップＳ１１ａの学習で得た符号器Ａ１をコピーして、符号器Ａ１が抽出した特徴量ｄ１を入力とし、状態ラベルＬ１〜Ｌ３を出力する状態分類器Ｂを学習する。
そして、最後にステップＳ１３ａにて、サーバ1は、学習済の符号器Ａ１のみをエッジ機器２にインストールする。
＜推論処理＞
図１１は、本実施例における推論処理の概念図であり、図１２は、その推論処理の流れを示すフローチャートである。
実施例１では、図３や図４に示したように、エッジ機器２からサーバ１に特徴量ｄ１〜ｄ３が送信されたが、本実施例では、図１１や図１２に示すように、エッジ機器２からサーバ１に特徴量ｄ１のみが送信される。
また、実施例２では、図８に示したように、状態分類器Ｂが出力する状態ラベルＬに応じて復号器Ａ’を使い分け、状態ラベルＬに対応する再現データを生成したが、本実施例では、状態分類器Ｂが状態ラベルＬ１を出力したときにのみ、特徴量ｄ１を復号器Ａ１’に入力して、状態ラベルＬ１に対応するセンサデータに近い再現データを出力する。得られたデータは、実施例２と同様に、より高精度な制御などに活用することができる。
図１３は、図７の運転状態分類前後処理部２０を、エッジ機器２の一種である産業用コントローラ（プログラマブルロジックコントローラ（ＰＬＣ）、シーケンサなど）に内蔵した場合の基本構成図であり、上記した構成に加え、電力変換装置３、モータ４、負荷機械５を備えている。なお、上記実施例との共通点は重複説明を省略する。
産業用コントローラは通常、サーバ１などの上位系との通信機能を備えているので、その通信機能を活用すれば、運転状態分類システム１００の導入コストを下げることができる。また産業用コントローラには制御対象の複数の機器からの各種データが集まってくるため、そのような複数の機器のデータを入力とするネットワークを構築して搭載するのが容易であるという利点がある。さらには、得られた分類結果を制御対象の複数の機器の制御に反映させることも自然に実行可能である。
図１４は、図７の運転状態分類前後処理部２０を、電力変換装置３（汎用インバータ、サーボアンプ、ＤＣＢＬコントローラなど）に内蔵した場合の基本構成図である。なお、上記実施例との共通点は重複説明を省略する。
電力変換装置３に本機能を内蔵することで、通常は電力変換装置内部から取り出されることのない、モータ制御に用いる各種パラメータを、運転状態分類システム１００の入力とすることができる。また各種データの収集を電力変換装置内部で閉じるようにすれば、通信速度に依存せずにサンプリング速度を高めることができるので、より高速な物理現象を捉えたデータを運転状態分類に用いることができるという利点がある。さらには、得られた分類結果から、ごく短時間の詳細データを切り出して診断に用いたり保存したりできるほか、モータ制御部に指令を出してモータ制御に即座に反映することも可能になる。
以上、実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、置換をすることも可能である。
さらには、本発明は、産業用ロボット、工作機械、空気圧縮機、搬送テーブルといった電力変換装置を組み込んだ産業機器や、風力発電システム、ハイブリッド自動車、電気自動車、燃料電池車、鉄道車両などにも適用可能である。
１ サーバ
１０ 運転状態分類実行部
１１ データ通信部
１２ 状態分類器保存部
１３ 推論実行部
１４ データ保存部
１５ 学習部
２ エッジ機器
２０ 運転状態分類前後処理部
２１ データ入力部
２２ 符号器保存部
３ 電力変換装置
４ モータ
５ 負荷機械
α、α１、α２、α３ 自己符号化器
Ａ、Ａ１、Ａ２、Ａ３ 符号器
Ａ’、Ａ１’、Ａ２’、Ａ３’ 復号器
Ｂ 状態分類器
ｄ、ｄ１、ｄ２、ｄ３ 特徴量（中間データ）
Ｌ、Ｌ１、Ｌ２、Ｌ３ 状態ラベル

Claims (10)

  1. ニューラルネットワークにセンサデータを入力して状態ラベルを出力する、エッジ機器とサーバを通信網で接続した運転状態分類システムであって、
    前記エッジ機器は、
    前記ニューラルネットワークの前段側を保存する第一保存部と、
    前記ニューラルネットワークの前段側に前記センサデータを入力して中間データを出力する次元圧縮部と、を有し、
    前記サーバは、
    前記ニューラルネットワークの後段側を保存する第二保存部と、
    前記ニューラルネットワークの後段側に前記中間データを入力して前記状態ラベルを出力する推論実行部と、
    前記ニューラルネットワークの後段側を追加学習により更新する学習部と、
    を有することを特徴とする運転状態分類システム。
  2. 前記学習部は、
    前記サーバに蓄積された前記中間データと、
    該中間データに紐付けた正しい状態ラベルと、
    に基づいて、前記ニューラルネットワークの後段側を追加学習することを特徴とする、請求項１に記載の運転状態分類システム。
  3. 前記正しい状態ラベルは、前記推論実行部が最も確からしいと判定した状態の確率が、あらかじめ設定した値よりも高い場合は、前記ニューラルネットワークが出力した状態ラベルであることを特徴とする、請求項２記載の運転状態分類システム。
  4. 前記正しい状態ラベルは、前記推論実行部が最も確からしいと判定した状態の確率が、あらかじめ設定した値よりも低い場合は、人間が入力した状態ラベルであることを特徴とする、請求項２記載の運転状態分類システム。
  5. 前記エッジ機器に保存される前記ニューラルネットワークの前段側は、分類する状態毎に学習した自己符号化器の前段部分である符号器であり、
    前記サーバに保存される前記ニューラルネットワークの後段側は、前記符号器が出力する中間データを入力して前記状態ラベルを出力する状態分類器であることを特徴とする、請求項１乃至４の何れか一項に記載の運転状態分類システム。
  6. 前記サーバには、前記自己符号化器の後段部分である復号器も保存されることを特徴とする、請求項５記載の運転状態分類システム。
  7. 前記エッジ機器は、産業用コントローラ、または、電力変換装置であることを特徴とする、請求項１乃至６の何れか一項に記載の運転状態分類システム。
  8. センサデータを入力して状態ラベルを出力するニューラルネットワークをサーバで学習する学習ステップと、
    前記ニューラルネットワークの前段側をエッジ機器に保存する第一保存ステップと、
    前記ニューラルネットワークの後段側を前記サーバに保存する第二保存ステップと、
    前記ニューラルネットワークの後段側を前記サーバで追加学習する追加学習ステップと、
    を有することを特徴とする運転状態分類方法。
  9. 前記ニューラルネットワークが最も確からしいと判定した状態の確率が、あらかじめ設定した値よりも高い場合は、前記ニューラルネットワークの前段側が出力した中間データに、前記ニューラルネットワークが出力した状態ラベルを付与した、追加学習用データを保存するステップを更に有し、
    前記追加学習ステップでは、前記追加学習用データを用いて、前記ニューラルネットワークの後段側を追加学習することを特徴とする請求項８記載の運転状態分類方法。
  10. 前記ニューラルネットワークが最も確からしいと判定した状態の確率が、あらかじめ設定した値よりも低い場合は、前記ニューラルネットワークの前段側が出力した中間データに、人間が入力した正しい状態ラベルを付与した、追加学習用データを保存するステップを更に有し、
    前記追加学習ステップでは、前記追加学習用データを用いて、前記ニューラルネットワークの後段側を追加学習することを特徴とする請求項８記載の運転状態分類方法。
JP2020031357A 2020-02-27 2020-02-27 運転状態分類システム、および、運転状態分類方法 Active JP7348103B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2020031357A JP7348103B2 (ja) 2020-02-27 2020-02-27 運転状態分類システム、および、運転状態分類方法
PCT/JP2020/028986 WO2021171647A1 (ja) 2020-02-27 2020-07-29 運転状態分類システム、および、運転状態分類方法
US17/801,922 US20230091068A1 (en) 2020-02-27 2020-07-29 Operating state classification system, and operating state classification method
DE112020006810.2T DE112020006810T5 (de) 2020-02-27 2020-07-29 Betriebszustands-klassifikationssystem und betriebszustands-klassifikationsverfahren
CN202080095750.5A CN115066693A (zh) 2020-02-27 2020-07-29 运行状态分类系统和运行状态分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020031357A JP7348103B2 (ja) 2020-02-27 2020-02-27 運転状態分類システム、および、運転状態分類方法

Publications (3)

Publication Number Publication Date
JP2021135739A true JP2021135739A (ja) 2021-09-13
JP2021135739A5 JP2021135739A5 (ja) 2022-07-11
JP7348103B2 JP7348103B2 (ja) 2023-09-20

Family

ID=77490856

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020031357A Active JP7348103B2 (ja) 2020-02-27 2020-02-27 運転状態分類システム、および、運転状態分類方法

Country Status (5)

Country Link
US (1) US20230091068A1 (ja)
JP (1) JP7348103B2 (ja)
CN (1) CN115066693A (ja)
DE (1) DE112020006810T5 (ja)
WO (1) WO2021171647A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029347A1 (ja) * 2022-08-04 2024-02-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
WO2024063096A1 (ja) * 2022-09-20 2024-03-28 モルゲンロット株式会社 情報処理システム、情報処理方法及びプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013077969A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2019191869A (ja) * 2018-04-24 2019-10-31 株式会社デンソー 走行場面学習装置、走行場面推定装置、および走行場面推定システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3483791A4 (en) 2016-07-11 2020-03-18 UEI Corporation CALCULATION SYSTEM USING A HIERARCHICAL NETWORK
US20180336463A1 (en) * 2017-05-18 2018-11-22 General Electric Company Systems and methods for domain-specific obscured data transport
JP6792043B1 (ja) * 2019-10-18 2020-11-25 株式会社安川電機 事象推定システム及び事象推定方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013077969A (ja) * 2011-09-30 2013-04-25 Oki Electric Ind Co Ltd 情報処理装置、情報処理方法、プログラムおよび情報処理システム
JP2019191869A (ja) * 2018-04-24 2019-10-31 株式会社デンソー 走行場面学習装置、走行場面推定装置、および走行場面推定システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
小向航平 ほか: "分類器の継続更新可能な分散認識センサネットワークのためのオートエンコーダによる通信方式", 情報処理学会論文誌, vol. 60, no. 10, JPN6020039274, 15 October 2019 (2019-10-15), JP, pages 1780 - 1795, ISSN: 0005138477 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024029347A1 (ja) * 2022-08-04 2024-02-08 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法、及び情報処理システム
WO2024063096A1 (ja) * 2022-09-20 2024-03-28 モルゲンロット株式会社 情報処理システム、情報処理方法及びプログラム

Also Published As

Publication number Publication date
DE112020006810T5 (de) 2022-12-15
CN115066693A (zh) 2022-09-16
US20230091068A1 (en) 2023-03-23
WO2021171647A1 (ja) 2021-09-02
JP7348103B2 (ja) 2023-09-20

Similar Documents

Publication Publication Date Title
US20210397171A1 (en) Industrial automation hmi program file generation from computer-aided design
US9842302B2 (en) Population-based learning with deep belief networks
EP3798942B1 (en) Artificial intelligence channel for industrial automation
US11726459B2 (en) Industrial automation control program generation from computer-aided design
US8275735B2 (en) Diagnostic system
US20210097456A1 (en) Progressive contextualization and analytics of industrial data
US11709481B2 (en) Contextualization of industrial data at the device level
CN111160687B (zh) 主动资产监控
US20220043431A1 (en) Industrial automation control program utilization in analytics model engine
WO2021171647A1 (ja) 運転状態分類システム、および、運転状態分類方法
EP2541358B1 (en) Method, monitoring system and computer program product for monitoring the health of a monitored system utilizing an associative memory
KR20140132373A (ko) 레거시 하드웨어 및 소프트웨어를 위한 향상된 리­호스팅 능력
US20130318018A1 (en) Neural network-based turbine monitoring system
CN111752733B (zh) 气动系统中的异常检测
WO2021241315A1 (ja) 診断装置、サーバ、及び診断方法
JP2018147080A (ja) 情報処理装置及び情報処理プログラム
JP2020042757A (ja) 加工装置、加工方法、加工プログラム、及び検査装置
CN116089657A (zh) 基于外部部署网关设备的工业设备系统的符号访问和方法
CN115769235A (zh) 提供与训练函数的准确度有关的警报的方法和系统
CN111310778A (zh) 检测装置、检测方法以及记录检测程序的记录介质
US20080147361A1 (en) Methods and apparatus to monitor system health
CN116095101A (zh) 基于内部部署网关设备的工业设备系统的符号访问和方法
JP2023142779A (ja) 精度監視システム、精度監視方法、および、精度監視プログラム
KR20230081136A (ko) 용도에 따른 절삭공구 추천 플랫폼 시스템
Wotawa et al. On classification and modeling issues in distributed model-based diagnosis

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220701

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220701

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230829

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230907

R150 Certificate of patent or registration of utility model

Ref document number: 7348103

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150