JP2022077227A - 異常判定プログラム、異常判定方法および異常判定装置 - Google Patents

異常判定プログラム、異常判定方法および異常判定装置 Download PDF

Info

Publication number
JP2022077227A
JP2022077227A JP2020187980A JP2020187980A JP2022077227A JP 2022077227 A JP2022077227 A JP 2022077227A JP 2020187980 A JP2020187980 A JP 2020187980A JP 2020187980 A JP2020187980 A JP 2020187980A JP 2022077227 A JP2022077227 A JP 2022077227A
Authority
JP
Japan
Prior art keywords
timing
abnormality
abnormality determination
sensing
feature quantities
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020187980A
Other languages
English (en)
Inventor
泰斗 横田
Yasuto Yokota
彼方 鈴木
Kanata Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020187980A priority Critical patent/JP2022077227A/ja
Priority to US17/408,077 priority patent/US20220143833A1/en
Publication of JP2022077227A publication Critical patent/JP2022077227A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1628—Programme controls characterised by the control loop
    • B25J9/163—Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2433—Single-class perspective, e.g. one-against-all classification; Novelty detection; Outlier detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/0014—Image feed-back for automatic industrial control, e.g. robot with camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/77—Determining position or orientation of objects or cameras using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20076—Probabilistic image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Mechanical Engineering (AREA)
  • Biophysics (AREA)
  • Multimedia (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Manipulator (AREA)
  • Numerical Control (AREA)

Abstract

【課題】機器のセンシングにおける異常の有無を特定する。【解決手段】実施形態の異常判定プログラムは、生成する処理と、比較する処理と、判定する処理とをコンピュータに実行させる。生成する処理は、機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、第１のタイミングにおいて機器をセンシングして得られた第１の複数の特徴量とに基づいて、機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成する。比較する処理は、第２のタイミングにおいて第２の動作状態に基づいて機器の動作を制御し、第２のタイミングにおいて機器をセンシングして得られた第２の複数の特徴量と、生成された第２の複数の特徴量の推定値とを比較する。判定する処理は、比較する処理の結果に基づいて、異常の有無を判定する。【選択図】図１

Description

本発明の実施形態は、異常判定技術に関する。
近年、産業用の機械やロボットアームにおける制御においては、ティーチング作業を減らすためにＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long Short-Term Memory）などの回帰型ニューラルネットワークの導入が進んでいる。
この回帰型ニューラルネットワークを用いた機器制御においては、回帰型ニューラルネットワークが予測した機器の姿勢情報の推定値と、実際の姿勢情報の履歴との誤差に基づいて機器の異常な状態を検知する従来技術が知られている。
K Suzuki, H Mori and T Ogata, "Undefined-behavior guarantee by switching to model-based controller according to the embedded dynamics in Recurrent Neural Network", arXiv:2003.04862. https://arxiv.org/abs/2003.04862
しかしながら、上記の従来技術では、機器の姿勢に異常が生じていることを検知できるが、機器のセンシングにおける異常の有無までを特定することが困難であるという問題がある。
１つの側面では、機器のセンシングにおける異常の有無を特定できる異常判定プログラム、異常判定方法および異常判定装置を提供することを目的とする。
１つの案では、異常判定プログラムは、生成する処理と、比較する処理と、判定する処理とをコンピュータに実行させる。生成する処理は、機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、第１のタイミングにおいて機器をセンシングして得られた第１の複数の特徴量とに基づいて、機械学習モデルを用いて、第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成する。比較する処理は、第２のタイミングにおいて第２の動作状態に基づいて機器の動作を制御し、第２のタイミングにおいて機器をセンシングして得られた第２の複数の特徴量と、生成された第２の複数の特徴量の推定値とを比較する。判定する処理は、比較する処理の結果に基づいて、異常の有無を判定する。
機器のセンシングにおける異常の有無を特定できる。
図１は、実施形態の概要を説明する説明図である。 図２は、ロボットアームの一例を説明する説明図である。 図３は、第１の実施形態にかかる異常判定装置の機能構成例を示すブロック図である。 図４は、第１の実施形態にかかる異常判定装置の事前作業の一例を示すフローチャートである。 図５は、第１の実施形態にかかる異常判定装置の動作例を示すフローチャートである。 図６は、第２の実施形態にかかる異常判定装置の機能構成例を示すブロック図である。 図７は、異常箇所の可視化を説明する説明図である。 図８は、コンピュータ構成の一例を説明する説明図である。
以下、図面を参照して、実施形態にかかる異常判定プログラム、異常判定方法および異常判定装置を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する異常判定プログラム、異常判定方法および異常判定装置は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
図１は、実施形態の概要を説明する説明図である。図１に示すように、本実施形態は、機器の一例としてのロボットアーム１００における制御をＲＮＮやＬＳＴＭなどの回帰型ニューラルネットワークである機械学習モデルＭ１を用いて行う際の、異常の有無を判定するものである。なお、制御の対象とする機器は、ロボットアーム１００に限定しない。例えば、自動旋盤における制御軸の位置、加工物の送り速度、加工速度などの制御を機械学習モデルＭ１を用いて行ってもよい。
図２は、ロボットアーム１００の一例を説明する説明図である。図２に示すように、ロボットアーム１００は、軸Ｊ１～Ｊ６の自由度を有する産業用ロボットアームである。このように、自由度の高いロボットアーム１００は、アーム先端位置の空間座標では姿勢が一意に定まらない。このため、事前に動作ごとにアームの軌道を決定した上で、その動作状態を実現する動作情報としてロボットアーム１００の姿勢（軸Ｊ１～Ｊ６それぞれの角度の変化）を示す姿勢情報（軸Ｊ１に対応するｍ１，軸Ｊ２に対応するｍ２…）を予測する機械学習モデルＭ１が機械学習によって作成される。
図１に示すように、本実施形態では、ロボットアーム１００の動作制御の際に、ロボットアーム１００をセンシングして得られたセンシングデータより、オートエンコーダ（ＡＥ：AutoEncoder）などが特徴量を抽出する（Ｓ１）。例えば、本実施形態では、現在時刻をｔとしたとき、時刻ｔにおけるロボットアーム１００を含む周囲の外観を撮像（センシング）した画像Ｄ１より、オートエンコーダが特徴量（ｆ１ｔ）を抽出する。なお、オートエンコーダを用いる場合は、画像Ｄ１をオートエンコーダに入力して中間層から得られた値（潜在変数）を特徴量（ｆ１）とする（任意の時刻である場合は添字のｔは省略する）。この特徴量ｆ１ｔは、時刻ｔ（現在）においてロボットアーム１００をセンシングして得られた複数の特徴量の１つである。
なお、特徴量ｆ１ｔについては、ロボットアーム１００を撮像した画像Ｄ１から抽出するものに限定するものではない。例えば、特徴量ｆ１ｔは、ロボットアーム１００に設置されたカメラで撮像した画像、すなわちロボットアーム１００からの視点で撮像した画像から抽出してもよい。また、特徴量ｆｔは、ロボットアーム１００に設置された位置センサー、加速度センサーなどの各種センサーのセンサデータまたはこのセンサデータからＡＥ等を介して抽出したデータ（例えばｆ２ｔなど）複数あるものとする。
本実施形態では、時刻ｔ（現在）においてロボットアーム１００をセンシングして得られた特徴量（ｆ１ｔ，ｆ２ｔ，…）と、ロボットアーム１００の姿勢情報（ｍ１ｔ，ｍ２ｔ，ｍ３ｔ…）とを機械学習モデルＭ１に入力する。機械学習モデルＭ１は、自身が直近に予測した特徴量および姿勢情報の推定値を回帰して用いるとともに、入力された現在の特徴量（ｆ１ｔ，ｆ２ｔ，…）および姿勢情報（ｍ１ｔ，ｍ２ｔ，ｍ３ｔ…）をもとに、１ステップ後の特徴量（ｆ１ｔ＋１，ｆ２ｔ＋１，…）および姿勢情報（ｍ１ｔ＋１，ｍ２ｔ＋１，ｍ３ｔ＋１…）を予測する。
本実施形態では、予測した１ステップ後の姿勢情報（ｍ１ｔ＋１，ｍ２ｔ＋１，ｍ３ｔ＋１…）をロボットアーム１００へ送信する。これにより、本実施形態では、例えば送信した姿勢情報の位置へロボットアーム１００を移動させる。
また、機械学習モデルＭ１が予測した１ステップ後の特徴量（ｆ１ｔ＋１，ｆ２ｔ＋１，…）および姿勢情報（ｍ１ｔ＋１，ｍ２ｔ＋１，ｍ３ｔ＋１…）については、メモリなどに格納して保存しておく（Ｓ２）。
ついで、本実施形態では、既に保存済みの１ステップ前の推定値（特徴量（ｆ１ｔ，ｆ２ｔ，…）および姿勢情報（ｍ１ｔ，ｍ２ｔ，ｍ３ｔ…））をメモリより読み出す。ついで、本実施形態では、時刻ｔにおける特徴量と姿勢情報の実績（ｆ１ｔ，ｆ２ｔ…，ｍ１ｔ，ｍ２ｔ，ｍ３ｔ…）それぞれと、１ステップ前の推定値それぞれとを比較して誤差を算出する（Ｓ３）。すなわち、本実施形態では、機械学習モデルＭ１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２，ｍ３…）ごとに、特徴量と姿勢情報の実績と推定値とを比較して出力ノードごとの誤差を算出する。
ついで、本実施形態では、機械学習モデルＭ１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２，ｍ３…）ごとの誤差に基づいて、出力ノードごとの異常の有無を判定する（Ｓ４）。
具体的には、本実施形態では、出力ノードごとの誤差を、複数ステップで累計（または平均）したものを異常度として算出する。ついで、本実施形態では、算出した異常度が予め設定した閾値を超えた場合に、その出力ノードの情報元の箇所（例えば撮像した画像、加速度センサー、各軸の姿勢）に異常（または異常となる前兆）が発生したものと判定する。このように、本実施形態では、機械学習モデルＭ１の出力ノード（ｆ１，ｆ２…）に対応する異常度をもとに、ロボットアーム１００のセンシングにおける異常（または異常となる前兆）の有無を特定できる。
（第１の実施形態）
図３は、第１の実施形態にかかる異常判定装置の機能構成例を示すブロック図である。図３に示すように、異常判定装置１は、ＡＥ１０、ＬＳＴＭ１１、格納部１２、誤差算出部１３、異常度算出部１４、異常判定部１５および出力部１６を有する。
ＡＥ１０は、ロボットアーム１００を撮像する加速度センサー１０１の画像Ｄ１より特徴量（ｆ１）を抽出する。ＡＥ１０が抽出した特徴量（ｆ１）は、加速度センサー１０１のセンサーデータ（ｆ２）とともにＬＳＴＭ１１に入力される。
ＬＳＴＭ１１は、機械学習モデルＭ１に対応する回帰型ニューラルネットワークの一例である。ＬＳＴＭ１１は、ＡＥ１０が抽出した特徴量（ｆ１）、加速度センサー１０１のセンサーデータ（ｆ２）およびロボットアーム１００の軸Ｊ１～Ｊ６に対応して設けられたセンサ（例えばエンコーダ）からの各軸の姿勢情報（ｍ１，ｍ２…）の入力を受け付ける。ついで、ＬＳＴＭ１１は、自身が直近に予測した特徴量（ｆ１，ｆ２，…および姿勢情報（ｍ１，ｍ２…）の推定値を回帰して用いるとともに、入力された現在の特徴量（ｆ１，ｆ２…）および姿勢情報（ｍ１，ｍ２…）をもとに将来の特徴量（ｆ１，ｆ２…）および姿勢情報（ｍ１，ｍ２…）の推定値を出力する。
異常判定装置１は、ＬＳＴＭ１１が予測した姿勢情報（ｍ１，ｍ２…）を移動先の姿勢情報としてロボットアーム１００へ送信する。これにより、異常判定装置１は、移動先の姿勢情報の位置へロボットアーム１００を移動させる。
格納部１２は、ＬＳＴＭ１１が予測した特徴量（ｆ１，ｆ２…）および姿勢情報（ｍ１，ｍ２…）の推定値を格納するメモリなどである。
誤差算出部１３は、ＬＳＴＭ１１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２…）ごとに、推定値と実績値との誤差を算出する処理部である。具体的には、誤差算出部１３は、前のステップの推定値（ｆ１ｔ，ｆ２ｔ…，ｍ１ｔ，ｍ２ｔ…）を格納部１２より読み出し、特徴量と姿勢情報の実績（ｆ１ｔ，ｆ２ｔ…，ｍ１ｔ，ｍ２ｔ…）と比較して誤差を算出する。
異常度算出部１４は、誤差算出部１３が算出した、ＬＳＴＭ１１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２…）ごとの推定値と実績値との誤差を、それぞれ複数ステップで累計（または平均）して異常度を算出する。例えば、異常度算出部１４は、ＬＳＴＭ１１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２…）ごとの誤差について、直近の複数ステップ（例えば１００ステップ）の間の値を累計して平均二乗誤差を算出する。
異常判定部１５は、異常度算出部１４がＬＳＴＭ１１の出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２…）ごとに算出した異常度をもとに、出力ノードそれぞれの異常の有無を判定する処理部である。具体的には、異常判定部１５は、予め設定された設定情報２０に含まれる異常度の判別のための閾値と、出力ノード（ｆ１，ｆ２…，ｍ１，ｍ２…）ごとの異常度とを比較し、閾値を超えた出力ノードに異常（または異常となる前兆）が有るものと判定する。例えば、異常判定部１５は、第１の閾値を超えた場合は異常となる前兆ありと判定し、第１の閾値よりも大きな第２の閾値を超えた場合は異常ありと判定してもよい。
ついで、異常判定部１５は、設定情報２０に含まれるＬＳＴＭ１１の出力ノードと特徴量（画像、加速度センサ…）および姿勢情報（軸Ｊ１、Ｊ２…）との対応関係を参照し、異常ありと判定した出力ノードに対応する異常箇所（画像、加速度センサ…、軸Ｊ１、Ｊ２…）を特定する。ついで、異常判定部１５は、上記の異常の判定結果を出力部１６へ通知する。
出力部１６は、異常判定部１５の判定結果をディスプレイへの表示や音声出力などで出力する処理部である。具体的には、出力部１６は、異常判定部１５が異常ありと判定した出力ノードに対応する異常箇所をディスプレイなどに表示する。これにより、ユーザは、異常箇所を容易に特定することができる。
図４は、実施形態にかかる異常判定装置１の事前作業の一例を示すフローチャートである。図４に示すように、事前作業においては、まず、ロボットアーム１００に動作として学習させたい動作パターンを十数例程度、手動で操作する。異常判定装置１では、この操作時における加速度センサー１０１の画像Ｄ１、加速度センサー１０１のセンサデータおよびロボットアーム１００の姿勢情報（ｍ１、ｍ２…）をセットにして教示データを作成する（Ｓ１０）。
例えば、ホームポジション→テーブルの上のボルトを把持→脇の箱の中にボルトを置く→ホームポジションとする１つの動作パターンについて、２０セット手動で操作する。これにより、異常判定装置１は、２０セット（１セットあたり約５００ステップ）＝１００００ステップ分の教示データを生成する。
ついで、事前作業では、教示データに含まれる画像Ｄ１をもとに、異常判定装置１は、ＡＥ１０の機械学習を行う（Ｓ１１）。具体的には、Ｓ１０で作成した教示データの画像Ｄ１をＡＥ１０に入力し、ＡＥ１０の入力と出力との誤差が小さくなるように（ＡＥ１０の出力が入力した画像Ｄ１と同じになるように）ＡＥ１０のパラメータが更新される。
例えば、１００００ステップ分の教示データに含まれる１００００枚の画像Ｄ１について、３００×３００ｐｉｘに解像度を落としたもので、訓練数を３００エポックとしてＡＥ１０を訓練する。
異常判定装置１では、Ｓ１１による学習後のＡＥ１０における中間層の値（潜在変数）をＬＳＴＭ１１に入力する特徴量（ｆ１）とする。
ついで、事前作業では、異常判定装置１は教示データに含まれる画像Ｄ１の特徴量（ｆ１）、加速度センサー１０１のセンサデータ（ｆ２）と、ロボットアーム１００の姿勢情報（ｍ１，ｍ２…）とをもとにＬＳＴＭ１１の学習を行う（Ｓ１２）。
具体的には、時刻（ｔ）のステップの教示データを使って、時刻（ｔ＋１）のステップの教示データの値を予測できるようにＬＳＴＭ１１を学習する。このとき、教示データの画像Ｄ１についてはＡＥ１０に入力し、ＡＥ１０から抽出した特徴量（ｆ１）をＬＳＴＭ１１の入力とする。また、対応する教示データに含まれる加速度センサー１０１のセンサデータ（ｆ２）、姿勢情報（ｍ１，ｍ２…）は、直接ＬＳＴＭ１１に入力する。正解は、１ステップ後の教示データ（特徴量（ｆ１，ｆ２…）および姿勢情報（ｍ１，ｍ２…））とする。
ついで、事前作業では、異常判定装置１は判定に用いる異常度の閾値を設定し設定情報２０として登録する（Ｓ１３）。具体的には、Ｓ１３では、ロボットアーム１００を正常に１回動させ、その間の各ステップの異常度を算出する。今回は、ＬＳＴＭ１１の各出力ノード（ｆ１，ｆ２…ｍ１，ｍ２…）に対して、異常度が最大だったステップの値の１．２倍を、そのノードの閾値と設定する。
図５は、実施形態にかかる異常判定装置１の動作例を示すフローチャートである。図５に示すように、処理が開始されると、処理が開始されると、異常判定装置１は、画像、センサーの特徴量（ｆ１，ｆ２…）とロボットアーム１００の姿勢情報（ｍ１，ｍ２…）をＬＳＴＭ１１に入力する（Ｓ２０）。
ついで、ＬＳＴＭ１１は、次のステップの特徴量（ｆ１，ｆ２…）および姿勢情報（ｍ１，ｍ２…）の推定値を出力し、格納部１２に保存する（Ｓ２１）。
ついで、異常判定装置１は、ＬＳＴＭ１１による姿勢情報（ｍ１，ｍ２…）の推定値を目標値としてロボットアーム１００に送信する（Ｓ２２）。
ついで、誤差算出部１３は、特徴量と姿勢情報の実績値と、前のステップで格納部１２に保存した推定値とを、ＬＳＴＭ１１の各出力ノードで比較する（Ｓ２３）。ついで、誤差算出部１３は、各出力ノードで比較をもとに、各ノードの誤差を算出する（Ｓ２４）。
ついで、異常度算出部１４は、誤差算出部１３が算出した各出力ノードの誤差をもとに、複数ステップで累計（または平均）して各出力ノードの異常度を算出する（Ｓ２５）。
ついで、異常判定部１５は、異常度算出部１４が算出した各出力ノードの異常度をもとに、設定情報２０に設定された閾値を超えたノードが有るか否かを判定する（Ｓ２６）。閾値を超えたノードがない場合（Ｓ２６：Ｎｏ）、異常判定部１５はＳ２９へ処理を進める。
閾値を超えたノードが有る場合（Ｓ２６：Ｙｅｓ）、異常判定部１５は、設定情報２０に含まれるＬＳＴＭ１１の出力ノードと特徴量（画像、加速度センサ…）および姿勢情報（軸Ｊ１、Ｊ２…）との対応関係を参照し、異常ありと判定した出力ノードに対応する異常箇所を特定する（Ｓ２７）。ついで、出力部１６は、異常判定部１５が特定した異常箇所を、異常ありとして例えばディスプレイへの表示などによりユーザへ通知する（Ｓ２８）。
ついで、異常判定装置１は、ロボットアーム１００の動作が終了位置まで到達したか否かなどの終了条件を満たすか否かを判定する（Ｓ２９）。
終了条件を満たさない場合（Ｓ２９：Ｎｏ）、異常判定装置１は、Ｓ２０へ処理を戻し、ロボットアーム１００の動作制御に関する処理を継続する。終了条件を満たす場合（Ｓ２９：Ｙｅｓ）、異常判定装置１は、ロボットアーム１００の動作制御に関する処理を終了する。
（第２の実施形態）
図６は、第２の実施形態にかかる異常判定装置の機能構成例を示すブロック図である。図６に示すように、異常判定装置１ａでは、カメラ１０２による画像Ｄ１からの特徴量を抽出する第１のＡＥ１０ａと、加速度センサー１０１のセンサーデータ（グラフ画像）からの特徴量を抽出する第２のＡＥ１０ｂとを有する点が第１の実施形態と異なる。また、カメラ１０２の画像または加速度センサー１０１を異常箇所と判定した場合、出力部１６は、第１のＡＥ１０ａ、１０ｂの入出力の差分より異常箇所に関する画像データを出力する（Ｓ３０、Ｓ３１）。
具体的には、異常判定部１５において異常箇所がカメラ１０２からの画像Ｄ１であると判定した場合、出力部１６は、第１のＡＥ１０ａの出力と、そのステップの実際の入力（ともに画像）との差分を取り、差分画像を生成する（Ｓ３０）。
同様に、異常判定部１５において異常箇所が加速度センサー１０１からのセンサーデータであると判定した場合、出力部１６は、第２のＡＥ１０ｂの出力と、そのステップの実際の入力（ともに画像）との差分を取り、差分画像を生成する（Ｓ３１）。
図７は、異常箇所の可視化を説明する説明図である。図７に示すように、出力部１６は、第１のＡＥ１０ａの出力画像Ｄ１１と、第１のＡＥ１０ａの入力画像Ｄ１０との差分により差分画像Ｄ１３を生成する。第１のＡＥ１０ａは正常時の画像を出力するように学習していることから、異常を検知した際の入力画像Ｄ１０と出力画像Ｄ１１との差分画像Ｄ１３は、異常箇所を可視化した画像となる。
同様に、出力部１６は、第２のＡＥ１０ｂの出力画像Ｄ２１と、第２のＡＥ１０ｂの入力画像Ｄ２０との差分により差分画像Ｄ２３を生成する。第２のＡＥ１０ｂは正常時のセンサデータのグラフ画像を出力するように学習していることから、異常を検知した際の入力画像Ｄ２０と出力画像Ｄ２１との差分画像Ｄ２３は、異常箇所を可視化した画像となる。
ついで、出力部１６は、生成した差分画像Ｄ１３、Ｄ２３をディスプレイに表示する。これにより、ユーザは、異常箇所（例えばカメラ画像中の異常箇所の領域、グラフにおける異常部分）を容易に識別することができる。
以上のように、異常判定装置１は、機械学習モデルＭ１が生成した第１のタイミングのロボットアーム１００の第１の動作情報と、第１のタイミングにおいてロボットアーム１００をセンシングして得られた第１の複数の特徴量とに基づいて、機械学習モデルＭ１を用いて、第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成する。また、異常判定装置１は、第２のタイミングにおいて第２の動作状態に基づいてロボットアーム１００の動作を制御し、第２のタイミングにおいてロボットアーム１００をセンシングして得られた第２の複数の特徴量と、生成された第２の複数の特徴量の推定値とを比較する。また、異常判定装置１は、比較する処理の結果に基づいて、異常の有無を判定する。これにより、異常判定装置１は、ロボットアーム１００のセンシングにおける異常の有無を特定できる。
また、異常判定装置１は、比較する処理の結果を複数のタイミングで累積した累積値に基づいて異常の有無を判定する。これにより、異常判定装置１は、突発的な外乱などのノイズに対して頑強に異常の判定を行うことができる。
また、異常判定装置１は、センシングして得られた第２の複数の特徴量それぞれと、生成された第２の複数の特徴量の推定値それぞれとを比較し、それぞれの結果に基づいて、特定の特徴量を取得するセンシングでの異常の有無を判定する。これにより、異常判定装置１は、センシングにおいて異常が生じている箇所を容易に特定することができる。
なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
また、異常判定装置１で行われるＡＥ１０、ＬＳＴＭ１１、誤差算出部１３、異常度算出部１４、異常判定部１５および出力部１６の各種処理機能は、制御部の一例としてのＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro Controller Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、異常判定装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ構成（ハードウエア）の一例を説明する。図７は、コンピュータ構成の一例を説明位する説明図である。
図７に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０１と、データ入力を受け付ける入力装置２０２と、モニタ２０３と、スピーカー２０４とを有する。また、コンピュータ２００は、記憶媒体からプログラム等を読み取る媒体読取装置２０５と、各種装置と接続するためのインタフェース装置２０６と、有線または無線により外部機器と通信接続するための通信装置２０７とを有する。また、異常判定装置１は、各種情報を一時記憶するＲＡＭ２０８と、ハードディスク装置２０９とを有する。また、コンピュータ２００内の各部（２０１～２０９）は、バス２１０に接続される。
ハードディスク装置２０９には、上記の実施形態で説明した機能構成（例えばＡＥ１０、ＬＳＴＭ１１、誤差算出部１３、異常度算出部１４、異常判定部１５および出力部１６）における各種の処理を実行するためのプログラム２１１が記憶される。また、ハードディスク装置２０９には、プログラム２１１が参照する各種データ２１２が記憶される。入力装置２０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ２０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置２０６は、例えば印刷装置等が接続される。通信装置２０７は、ＬＡＮ（Local Area Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。
ＣＰＵ２０１は、ハードディスク装置２０９に記憶されたプログラム２１１を読み出して、ＲＡＭ２０８に展開して実行することで、上記の機能構成（例えばＡＥ１０、ＬＳＴＭ１１、誤差算出部１３、異常度算出部１４、異常判定部１５および出力部１６）に関する各種の処理を行う。なお、プログラム２１１は、ハードディスク装置２０９に記憶されていなくてもよい。例えば、コンピュータ２００が読み取り可能な記憶媒体に記憶されたプログラム２１１を読み出して実行するようにしてもよい。コンピュータ２００が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム２１１を記憶させておき、コンピュータ２００がこれらからプログラム２１１を読み出して実行するようにしてもよい。
以上の実施形態に関し、さらに以下の付記を開示する。
（付記１）機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
前記第２のタイミングにおいて前記第２の動作状態に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
前記比較する処理の結果に基づいて、異常の有無を判定する、
処理をコンピュータに実行させることを特徴とする異常判定プログラム。
（付記２）前記判定する処理は、前記結果と他のタイミングにおける複数の特徴量と前記複数の特徴量の推定値との比較の結果との累積に基づいて異常の有無を判定する
ことを特徴とする付記１に記載の異常判定プログラム。
（付記３）前記比較する処理は、センシングして得られた前記第２の複数の特徴量それぞれと、生成された前記第２の複数の特徴量の推定値それぞれとを比較し、
前記判定する処理は、それぞれの前記結果に基づいて、特定の特徴量を取得するセンシングでの異常の有無を判定する、
処理を含むことを特徴とする付記１または２に記載の異常判定プログラム。
（付記４）機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
前記第２のタイミングにおいて前記第２の動作状態に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
前記比較する処理の結果に基づいて、異常の有無を判定する、
処理をコンピュータが実行することを特徴とする異常判定方法。
（付記５）前記判定する処理は、前記結果と他のタイミングにおける複数の特徴量と前記複数の特徴量の推定値との比較の結果との累積に基づいて異常の有無を判定する
ことを特徴とする付記４に記載の異常判定方法。
（付記６）前記比較する処理は、センシングして得られた前記第２の複数の特徴量それぞれと、生成された前記第２の複数の特徴量の推定値それぞれとを比較し、
前記判定する処理は、それぞれの前記結果に基づいて、特定の特徴量を取得するセンシングでの異常の有無を判定する、
処理を含むことを特徴とする付記４または５に記載の異常判定方法。
（付記７）機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
前記第２のタイミングにおいて前記第２の動作状態に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
前記比較する処理の結果に基づいて、異常の有無を判定する、
処理を実行する制御部を含むことを特徴とする異常判定装置。
（付記８）前記判定する処理は、前記結果と他のタイミングにおける複数の特徴量と前記複数の特徴量の推定値との比較の結果との累積に基づいて異常の有無を判定する
ことを特徴とする付記７に記載の異常判定装置。
（付記９）前記比較する処理は、センシングして得られた前記第２の複数の特徴量それぞれと、生成された前記第２の複数の特徴量の推定値それぞれとを比較し、
前記判定する処理は、それぞれの前記結果に基づいて、特定の特徴量を取得するセンシングでの異常の有無を判定する、
処理を含むことを特徴とする付記７または８に記載の異常判定装置。
１、１ａ…異常判定装置
１０…ＡＥ
１０ａ…第１のＡＥ
１０ｂ…第２のＡＥ
１１…ＬＳＴＭ
１２…格納部
１３…誤差算出部
１４…異常度算出部
１５…異常判定部
１６…出力部
２０…設定情報
１００…ロボットアーム
１０１…加速度センサー
１０２…カメラ
２００…コンピュータ
２０１…ＣＰＵ
２０２…入力装置
２０３…モニタ
２０４…スピーカー
２０５…媒体読取装置
２０６…インタフェース装置
２０７…通信装置
２０８…ＲＡＭ
２０９…ハードディスク装置
２１０…バス
２１１…プログラム
２１２…各種データ
Ｄ１…画像
Ｄ１０、Ｄ２０…入力画像
Ｄ１１、Ｄ２１…出力画像
Ｄ１３、Ｄ２３…差分画像
Ｊ１～Ｊ６…軸
Ｍ１…機械学習モデル

Claims (5)

  1. 機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
    前記第２のタイミングにおいて前記第２の動作情報に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
    前記比較する処理の結果に基づいて、異常の有無を判定する、
    処理をコンピュータに実行させることを特徴とする異常判定プログラム。
  2. 前記判定する処理は、前記結果と他のタイミングにおける複数の特徴量と前記複数の特徴量の推定値との比較の結果との累積に基づいて異常の有無を判定する
    ことを特徴とする請求項１に記載の異常判定プログラム。
  3. 前記比較する処理は、センシングして得られた前記第２の複数の特徴量それぞれと、生成された前記第２の複数の特徴量の推定値それぞれとを比較し、
    前記判定する処理は、それぞれの前記結果に基づいて、特定の特徴量を取得するセンシングでの異常の有無を判定する、
    処理を含むことを特徴とする請求項１または２に記載の異常判定プログラム。
  4. 機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
    前記第２のタイミングにおいて前記第２の動作情報に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
    前記比較する処理の結果に基づいて、異常の有無を判定する、
    処理をコンピュータが実行することを特徴とする異常判定方法。
  5. 機械学習モデルが生成した第１のタイミングの機器の第１の動作情報と、前記第１のタイミングにおいて前記機器をセンシングして得られた第１の複数の特徴量とに基づいて、前記機械学習モデルを用いて、前記第１のタイミングより後の第２のタイミングの第２の動作情報と第２の複数の特徴量の推定値とを生成し、
    前記第２のタイミングにおいて前記第２の動作情報に基づいて前記機器の動作を制御し、前記第２のタイミングにおいて前記機器をセンシングして得られた第２の複数の特徴量と、生成された前記第２の複数の特徴量の推定値とを比較し、
    前記比較する処理の結果に基づいて、異常の有無を判定する、
    処理を実行する制御部を含むことを特徴とする異常判定装置。
JP2020187980A 2020-11-11 2020-11-11 異常判定プログラム、異常判定方法および異常判定装置 Pending JP2022077227A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020187980A JP2022077227A (ja) 2020-11-11 2020-11-11 異常判定プログラム、異常判定方法および異常判定装置
US17/408,077 US20220143833A1 (en) 2020-11-11 2021-08-20 Computer-readable recording medium storing abnormality determination program, abnormality determination method, and abnormality determination apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020187980A JP2022077227A (ja) 2020-11-11 2020-11-11 異常判定プログラム、異常判定方法および異常判定装置

Publications (1)

Publication Number Publication Date
JP2022077227A true JP2022077227A (ja) 2022-05-23

Family

ID=81455056

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020187980A Pending JP2022077227A (ja) 2020-11-11 2020-11-11 異常判定プログラム、異常判定方法および異常判定装置

Country Status (2)

Country Link
US (1) US20220143833A1 (ja)
JP (1) JP2022077227A (ja)

Also Published As

Publication number Publication date
US20220143833A1 (en) 2022-05-12

Similar Documents

Publication Publication Date Title
JP6431017B2 (ja) 機械学習により外力の検出精度を向上させた人協調ロボットシステム
US20220146993A1 (en) Machine learning method and machine learning device for learning fault conditions, and fault prediction device and fault prediction system including the machine learning device
CN107263464B (zh) 机器学习装置、机械系统、制造系统以及机器学习方法
JP6148316B2 (ja) 故障条件を学習する機械学習方法及び機械学習装置、並びに該機械学習装置を備えた故障予知装置及び故障予知システム
JP6572265B2 (ja) 制御装置及び機械学習装置
US10940585B2 (en) Vibration suppression device
US20190101892A1 (en) Numerical control system
JP6977686B2 (ja) 制御システムおよび制御装置
JP2005103681A (ja) ロボットシステム
JPWO2020152741A1 (ja) 異常要因推定装置、異常要因推定方法、及びプログラム
JP2019150932A (ja) 衝突位置推定装置及び機械学習装置
JP2014018941A (ja) 制御装置、及び制御方法
JP2022077227A (ja) 異常判定プログラム、異常判定方法および異常判定装置
JP2016221659A (ja) ロボットシステム、ロボットシステムの制御方法、プログラム、記録媒体及び物品の製造方法
JP7078174B2 (ja) ロボット制御装置、方法、及びプログラム
JP7479205B2 (ja) ロボットシステム、制御装置、及び制御方法
JP2020040137A (ja) 異常判定装置及び異常判定方法
JP2022077229A (ja) 動作制御プログラム、動作制御方法、および動作制御装置
WO2022158079A1 (ja) 制御装置及び自動作業方法
JP2021060633A (ja) 診断装置
JP7366562B2 (ja) 異常判定装置及び異常判定方法
WO2022054292A1 (ja) ロボット制御装置
US20240131699A1 (en) Robot system, learning apparatus, information processing apparatus, learned model, control method, information processing method, method for manufacturing product, and recording medium
JP2022077226A (ja) 機器制御プログラム、機器制御方法および機器制御装置
WO2023188601A1 (ja) 動作指令生成装置および動作指令生成方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230707

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240426