JP2008033532A - 可動部を備えた設備の異常を検出する方法及び異常検出装置 - Google Patents

Abstract

【課題】可動部を備えた設備が動作中に発生する動作音が時間に応じて変化する場合でも、正確に異常検出可能な異常検出装置及び異常検出方法を提供する。
【解決手段】異常検出装置は、設備の動作音を音声信号として取得するマイクロフォン（１０）と、音声信号から時系列周波数スペクトルを算出する周波数解析部（２０）と、時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、設備は正常と判定し、その判定基準を満たさない場合、異常と判定する異常検出部（２１）とを有する。さらに、時系列周波数スペクトルの平均周波数等に基づいて、異常発生部位を推定する異常発生部位推定部（２２）と、設備を撮影するカメラ（１２）と、その撮影画像から異常発生部位の位置情報を検出する移動情報算出部（２３）と、位置情報等に基づいて異常原因を推定する異常原因推定部（２４）とを有するようにしてもよい。
【選択図】図１

Description

本発明は、可動部を備えた設備の異常検出装置及び異常検出方法に関するものであり、より詳しくは、可動部を備えた設備の動作音を録音した音声信号及び該装置を撮影した画像信号を用いて、異常発生の検出及び異常発生部位を推定可能な異常検出装置及び異常検出方法に関する。

近年、工場のオフィスオートメーション化が進行し、それに伴って多数の産業用ロボットが使用されるに至っている。そして、場合によっては、一つの製造ラインに複数の産業用ロボットが使用され、短期間で大量の製品を製造することが可能となっている。しかし、短期間に大量の製品を製造するために、必然的に製造ライン上に多数の仕掛品が存在することになる。そのため、製造ラインに設けられたそれらロボットのうちの一つでも、何らかの異常を発生した場合、可及的速やかにその製造ラインを停止しなければ、異常を発生して正常動作しなくなったロボットの担当箇所に多数の仕掛品が係留し、大混乱を生じてしまうおそれがある。また、異常原因をできるだけ短時間で推定し、早期に自動運転を復帰させることが、生産効率を維持するうえで望ましい。
そこで、異常検出時のデータを同時に再現することにより、異常動作の原因解析を容易にした監視制御装置が開発されている（特許文献１参照）。

特許文献１に記載された監視制御装置は、マイクとカメラとを備え、プラントから発生する音声信号と、プラントを撮影した画像信号とを記録するとともに、それらの信号を同期をとりながら再生することで、異常原因の解析を容易に行えるものである。さらに、その監視制御装置は、画像信号及び音声信号について、正常状態から異常状態までの数段階のリファレンスデータを有し、取得された信号と、それらリファレンスデータとの比較を行うことによって異常を検出することができる。

しかし、ロボットの各可動部について、例えば、動作開始直後と安定動作中とでは、可動部を駆動する駆動モータの回転数が異なるなどの理由により、発生する動作音の特性が異なる場合がある。ここで、正常か異常かを判定するための判定基準が、安定動作中の動作音を想定して設定されている場合、動作開始直後の動作音に対して、ロボットが正常動作を行っているにもかかわらず異常発生と誤判定するおそれがあった。逆に、動作開始直後の動作音を想定して判定基準を設定すると、安定動作中の動作音に対して、ロボットが正常動作を行っているにもかかわらず異常発生と誤判定するおそれがあった。さらに、動作開始直後及び安定動作中の両方を考慮した判定基準を設定すると、それぞれの動作状態に対する動作音をともに正常と判定するために、正常と判定するための許容範囲が広くなり過ぎてしまい、ロボットに異常が発生したにもかかわらず、誤って正常と判定してしまうおそれがあった。
さらに、異常動作の原因をより短時間で推定し、メンテナンス作業に要する工数を削減するために、異常発生の有無を判定するだけでなく、異常発生時の動作音等に基づいて、異常発生部位または異常原因を推定できるか、ある程度解析対象範囲を限定できることが望ましい。

特開平６−２８９９２７号公報

本発明は、上述した従来技術による問題点を解消することを可能とする異常検出装置及び異常検出方法を提供することを目的とする。

また本発明は、可動部を備えた設備の動作中に発生する動作音が、経過時間に応じて変化する場合でも、正確に異常検出可能な異常検出装置及び異常検出方法を提供することを目的とする。

さらに本発明は、可動部を備えた設備の異常が検出された場合、その異常発生部位又は異常原因に関する情報を取得できる異常検出装置及び異常検出方法を提供することを目的とする。

本発明の請求項１に記載の形態によれば、本発明に係る異常検出装置は、可動部を備えた設備が動作時に発生する動作音をマイクロフォン（１０）で取得した音声信号から時系列周波数スペクトルを算出する周波数解析部（２０）と、時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、可動部を備えた設備は正常と判定し、判定基準を満たさない場合、その設備に異常有りと判定する異常検出部（２１）とを有することを特徴とする。

また、請求項８に記載の形態によれば、本発明に係る異常検出方法は、可動部を備えた設備が動作時に発生する音声信号を取得するステップ（Ｓ１０１）と、音声信号から時系列周波数スペクトルを算出するステップ（Ｓ１０２）と、時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、可動部を備えた設備は正常と判定し、判定基準を満たさない場合、その設備に異常有りと判定するステップ（Ｓ１０３）とを有することを特徴とする。
時系列で変化する動作音の周波数スペクトルを異常発生の検出に使用すること、及びその判定基準を経過時間に依存して変化させることにより、正常動作時であっても動作音の特性が変化する設備において発生した異常を正確に検出することができる。

また請求項２又は請求項９に記載のように、判定基準は、経過時間毎に算出される時系列周波数スペクトルの平均周波数と、経過時間に依存して決定される基準周波数との差の絶対値が、所定範囲内に含まれることであることが好ましい。平均周波数を用いることにより、経過時間に依存して変動する動作音の周波数特性を正確に評価できるため、異常検出精度を向上することができる。

さらに、請求項３に記載のように、本発明に係る異常検出装置は、可動部を備えた設備が異常と判定された場合、経過時間又は時系列周波数スペクトルの平均周波数を異常発生部位と関連付けた参照データを参照することにより、異常発生部位を推定する異常発生部位推定部（２２）をさらに有することが好ましい。異常を発生した部位を推定できるため、異常発生時の解析に要する工数を削減することができる。また、経過時間又は時系列周波数スペクトルの平均周波数を用いて推定を行うことにより、正確に異常発生部位を予測することができる。

同様に、請求項１０に記載のように、本発明に係る異常検出方法は、可動部を備えた設備が異常と判定された場合、経過時間又は時系列周波数スペクトルの平均周波数を異常発生部位と関連付けた参照データを参照することにより、異常発生部位を推定するステップ（Ｓ１０５）をさらに有することが好ましい。

さらに、請求項４に記載のように、本発明に係る異常検出装置は、可動部を備えた設備の画像信号を取得するカメラ（１２）と、画像信号に基づいて、異常発生部位の移動情報を検出する移動情報算出部（２３）と、移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）とを有することが好ましい。動作音から得た時系列周波数スペクトルだけでなく、設備を撮影した画像を取得して、異常発生部位の移動を視覚的に捉えた情報も用い、それらの情報と異常原因と関連付けた参照データを参照することにより、正確に異常原因を推定することができる。

同様に、請求項１１に記載のように、本発明に係る異常検出方法は、可動部を備えた設備の画像信号を取得するステップ（Ｓ１０１）と、画像信号に基づいて、異常発生部位の移動情報を検出するステップ（Ｓ１０５）と、移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定するステップ（Ｓ１０８）とを有することが好ましい。

さらに、請求項５又は請求項１２に記載のように、移動情報は、経過時間が異なる時点で撮影された２枚の画像のそれぞれにおいて検出された異常発生部位の位置間の距離、あるいは距離をその２枚の画像の取得時間の差で除することにより算出された異常発生部位の移動速度を含むことが好ましい。

また、請求項６に記載の形態によれば、本発明に係る異常検出装置は、可動部を備えた設備が動作時に発生する音声信号を取得するマイクロフォン（１０）と、装置の画像信号を取得するカメラ（１２）と、音声信号が所定の判定基準を満たす場合、可動部を備えた設備は正常と判定し、所定の判定基準を満たさない場合、その装置に異常有りと判定する異常検出部（２１）と、異常検出部（２１）で異常有りと判定された場合、音声信号に基づいて異常発生部位を推定する異常発生部位推定部（２２）と、画像信号に基づいて、異常発生部位の移動情報を検出する移動情報算出部（２３）と、移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）とを有することを特徴とする。

さらに、請求項７に記載の形態によれば、本発明に係る異常検出装置は、可動部を備えた設備が動作時に発生する音声信号を取得するマイクロフォン（１０）と、可動部を備えた設備の画像信号を取得するカメラ（１２）と、画像信号に基づいて、可動部の移動情報を検出する移動情報算出部（２３）と、移動情報が所定の判定基準を満たす場合、可動部を備えた設備は正常と判定し、所定の判定基準を満たさない場合、異常有りと判定する異常検出部（２１）と、異常検出部（２１）で異常有りと判定された場合、音声信号と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）とを有することを特徴とする。

さらに、請求項１３に記載の形態によれば、異常の発生を自動的に検出するロボットが提供される。そのロボットは、可動部の動作時に発生する音声信号を取得するマイクロフォン（１０）と、音声信号から時系列周波数スペクトルを算出する周波数解析部（２０）と、時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、ロボットは正常と判定し、その判定基準を満たさない場合、ロボットは異常有りと判定する異常検出部（２１）と、可動部を駆動する駆動部と、駆動部を制御する制御部（１６）とを有し、異常検出部（２１）が異常有りと判定した場合、制御部（１６）は可動部を停止させるよう駆動部を制御する。

なお、上記各手段に付した括弧内の符号は、後述する実施形態に記載の具体的手段との対応関係を示す一例である。

以下、図面を参照しつつ本発明を適用した異常検出装置の一実施形態について詳細に説明する。
本発明を適用した異常検出装置は、監視対象のロボットが生じる動作音の時系列の周波数スペクトルに基づき、所定時点からの経過時間に応じて設定された判定基準を用いて異常検出を行うものである。したがって、ロボットの動作状態（過渡動作時か安定動作時か）にかかわらず、正確に異常の発生を検出することができる。また、本発明に係る異常検出装置は、監視対象のロボットの可動部を撮影した画像も音声信号と同時に取得し、動作音の時系列周波数スペクトルとともに解析することにより、異常発生部位及び異常発生原因に関する情報を取得することができる。
なお、監視対象のロボットは、一例として、可動部として複数のアームを備え、それぞれのアームがモータで駆動されるものとすることができる。あるいは、複数の関節が設けられたアームを有し、各関節について独立に動作するロボットとすることができる。さらに、アーム以外に、ワークを搬送するベルトコンベヤなどを可動部として備えるものであってもよい。

図１に、本発明を適用した異常検出装置１の機能ブロック図を示す。異常検出装置１は、マイクロフォン１０と、音声信号処理回路１１と、カメラ１２と、信号入出力部１３と、記憶部１４と、操作表示部１５と、制御部１６を有する。そして、マイクロフォン１０で集音された監視対象のロボットの動作音の音声信号と、カメラ１２で撮影されたそのロボットの画像信号を信号入出力部１３を介して制御部１６に送り、制御部１６でそれら信号を解析することにより、ロボットに異常が発生したか否かを判定する。
以下、各部について詳細に説明する。

マイクロフォン１０は、監視対象のロボットの動作音を集音し、その測定信号を時系列信号として出力するものである。本実施形態では、周波数帯域２０Ｈｚ〜４０ｋＨｚのコンデンサ型マイクロフォンを用いた。しかし、マイクロフォンの方式、及び測定可能な周波数帯域は、監視対象物の種類、大きさなどによって、適宜最適なものを選択することが可能である。例えば、マイクロフォン１０として、圧電型マイクロフォンなどの他の方式のマイクロフォンを使用してもよい。また、集音可能な音の周波数帯域も、上記に限られず、例えば１００Ｈｚ〜２０ｋＨｚのものを使用してもよい。

音声信号処理回路１１は、反転増幅器及びＡ／Ｄ変換器から構成され、マイクロフォン１０から取得した音声信号を増幅し、デジタル信号に変換して出力する。本実施形態では、Ａ／Ｄ変換器として、入力されたアナログ信号をサンプリング周波数４４．１ｋＨｚでサンプリングし、解像度１６ｂｉｔのデジタル信号として出力するものを使用した。なお、Ａ／Ｄ変換器は上記のものに限られず、異なるサンプリング周波数および解像度を有するものを使用してもよい。例えば、Ａ／Ｄ変換器として、サンプリング周波数４８ｋＨｚ、解像度１２ｂｉｔのものを使用してもよい。また、反転増幅器としては、周知の様々な回路を用いることができるため、ここでは詳細を省略する。
デジタル化された音声信号は、信号入出力部１３を介して制御部１６に送られる。

カメラ１２は、監視対象のロボットを、連続的あるいは間欠的に撮影し、デジタルの画像信号として取得する。その際、カメラ１２は、取得する画像上で、ロボットの可動部の位置変化を画像上の位置変化として識別できるように撮影する。本実施形態では、カメラ１２は、検出器として、ビデオレートで連続撮影可能な、画素数６４０×４８０の２／３インチＣＣＤを使用した。また、結像光学系として、焦点距離３５ｍｍのカメラ用撮影レンズを使用した。しかし、カメラ１２の構成は、撮影対象物に応じて最適化されるものであり、カメラ１２の検出器として、別の検出原理、異なる画素サイズ及び画素数を有する検出器を用いてもよく、また結像光学系も、焦点距離の異なるものを用いてもよい。
撮影された画像は、信号入出力部１３を介して制御部１６へ送られる。

信号入出力部１３は、制御部１６と、マイクロフォン１０、カメラ１２、操作表示１６又はネットワークを介して接続される外部装置（図示せず）との間で信号の送受信を行う入出力インタフェースであり、ＵＳＢ、ＳＣＳＩ、ＲＳ２３２Ｃ、イーサネット（登録商標）などの各種のＩ／Ｏポート及びそれらのドライバで構成される。そして信号入出力装置１３は、マイクロフォン１０及びカメラ１２で取得された音声信号及び画像信号といった測定信号を受信し、一方制御部１６からの制御信号をマイクロフォン１０又はカメラ１２へ送信する。

また、信号入出力部１３は、監視対象のロボットあるいはその制御装置から、動作開始のタイミングを示すトリガ信号などを受信し、制御部１６に渡す。逆に、そのロボットの異常が検出された場合、信号入出力部１３を介して、制御部１６からロボットあるいはその制御装置へ緊急停止信号を送信するようにしてもよい。
さらに、信号入出力部１３とネットワークを介して接続される外部装置は、例えば、工場全体を監視する中央監視装置であり、制御部１６は、定期的に、あるいは、中央監視装置からの要求に応じて、信号入出力部１３を介して監視対象のロボットの動作状態を表す信号をその中央監視装置に送信する。

記憶部１４は、ハードディスクのような磁気記録媒体、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリのような半導体メモリ、ＣＤ−ＲＷ、ＤＶＤ−Ｒ／Ｗのような読み書き可能な光記録媒体からなる。記憶部１４は、制御部１６で使用されるプログラム、各種のパラメータ、閾値、また監視対象のロボットの動作状態を表す信号などを記憶する。さらに、マイクロフォン１０から取得した音声信号及びカメラ１２から取得した画像信号を、信号入出力部１３、制御部１６を通じて受け取り、異常発生の検出に使用するために、一時的に記憶する。

操作表示部１５は、操作者が異常検出装置１の操作を行い、又は異常検出結果などを表示するものであり、タッチパネル付き液晶ディスプレイなどで構成される。そして、操作表示部１５の画面に表示される操作ガイダンスに従って、ユーザが画面上の所定の領域に触れることにより、操作表示部１５は、ユーザが触れた領域に対応付けられた信号を制御部１６に送信することで、所定の動作を行わせる。また、制御部１６から監視中のロボットの動作状態を示す信号を受信して、その動作状態を表示し、ユーザに知らせる。特に、ロボットに異常が検出された場合には、警報音を発生したり、動作状態の表示部分の色を変えたりすることにより、ユーザが異常に気付き易いように表示する。
なお、操作表示部１５は、ＣＲＴなど液晶ディスプレイ以外の表示用デバイスと、マウスなどのポインティングデバイスで構成してもよい。

制御部１６は、中央演算装置（ＣＰＵ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及びＣＰＵに所定の動作をさせるプログラムなどで構成される。そして、制御部１６は、マイクロフォン１０から取得した音声信号に基づいて監視対象のロボットの異常を検出し、その音声信号及びカメラ１２から取得した画像信号を解析して、異常発生部位及び異常原因を推定する。なお、信号入出力部１３、記憶部１４及び制御部１６は、全体として一つのコンピュータに実装することができる。

ここで、図２（ａ）及び図２（ｂ）を用いて、異常検出の原理を説明する。図２（ａ）は、監視対象のロボットが正常に動作している場合の動作音の時系列周波数スペクトルのプロファイル２０１を表す。また、図２（ｂ）は、監視対象のロボットの動作に異常が生じている場合の一例として、動作中の可動部が本来接触するはずのない場所と接触して高音の摩擦音が加わっている場合の動作音の時系列周波数スペクトルのプロファイル２０２を表す。図２（ａ）及び（ｂ）において、横軸は測定開始からの経過時間ｔを表し、縦軸は周波数を表す。また、各スペクトル２０１、２０２は、濃度によって強度が表されており、黒くなるほどスペクトル強度が高いことを示す。さらに、点線２１１、２１２は、それぞれ時系列周波数スペクトル２０１、２０２の経過時間ｔにおける平均周波数を示す。

図２（ａ）に示すように、ロボットが正常に動作している場合であっても、その動作音は一定ではなく、経過時間ｔに応じて変動し、そのため時系列周波数スペクトルの平均周波数２１１も経過時間ｔに応じて変動している。また、図２（ｂ）に示すように、時系列周波数スペクトルのプロファイル２０２及び平均周波数２１２は、正常な場合のプロファイル２０１及び平均周波数２１１と比較して、加わった摩擦音のために全体的に周波数が高くなっている。しかし、経過時間ｔに応じて平均周波数２１２が変動する点については、正常時の平均周波数２１１と同様である。
したがって、ロボットの動作に異常が発生したか否かの判定を正確に行うためには、経過時間ｔによって判定基準そのものを正常状態の時系列周波数プロファイルに合わせて変えることが好ましい。また、異常を生じている場合の周波数スペクトルの平均強度（あるいは、最大強度）が、正常な場合と比較して殆ど差が無いこともあるため、周波数成分の変動にも着目することが好ましい。

そこで、本実施形態では、ロボットが正常か異常か判定するために、動作音の時系列周波数スペクトルを求める。また、その時系列周波数スペクトルに対して、所定時点からの経過時間ｔに依存して変動し、周波数スペクトルのずれに着目した判定基準を設定する。そのような判定基準を設定することにより、正常か否かを正確に判定することができる。

さらに、異常発生と判定された前後における、監視対象のロボットを撮影した画像信号も参照することにより、異常発生原因を推定することができる。
例えば、監視対象のロボットにおいて、駆動モータからその可動部への動力伝達にベルトが使用される場合を例として説明する。
まず、駆動モータ自体に問題が生じており、駆動モータが所定の回転数よりも低い回転数で回転していれば、時系列周波数スペクトルは、正常時よりも低下すると考えられる。一方、駆動モータ自体は正常で、ベルトに緩みが生じている場合、駆動モータの負荷が減少して正常時よりも高速回転するにもかかわらず、可動部は所定の動作速度よりも遅い速度でしか移動しない。そのため、時系列周波数スペクトルの平均周波数は上昇するものの、当該可動部の移動速度は正常時よりも遅くなる。さらに、ベルトが不正な接触を生じており、その接触により異常な高音が発生して、時系列周波数スペクトルの平均周波数が正常時よりも高くなる場合がある。このような場合、時系列周波数スペクトルの平均周波数は上昇するものの、当該可動部は正常時とほとんど変わらない移動速度で移動する。
このように、動作音の音声信号から求めた時系列周波数スペクトルだけでなく、画像信号から求めた可動部の移動速度などを参照することにより、異常発生原因の推定が可能となる。

図３に、制御部１６の機能ブロック図を示す。制御部１６は、周波数解析部２０、異常検出部２１、異常発生部位推定部２２、移動情報算出部２３及び異常原因推定部２４を有する。なお、これらの各部は、ＣＰＵ上で動作するプログラムによる機能モジュールとして実装される。あるいは、各部の機能を実現する専用の演算回路で実装してもよい。

周波数解析部２０は、マイクロフォン１０から取得した音声の時系列信号について、時系列の周波数スペクトルを求める。
ここで、周波数解析部２０は、音声の時系列信号について、ウェーブレット変換に基づいて、計測開始からの経過時間の関数として、時系列の周波数スペクトル強度を算出する。ウェーブレット変換は、周知のように以下の式に基づいて行われる。
ここでｈ（ｔ）は、測定開始からの経過時間ｔにおける、時系列信号の強度であり、関数Ψ（ｙ）は、マザーウェーブレットである。また、ａは周波数を決定するためのパラメータ、ｂは時間軸上の平行移動量を規定するパラメータである。

本実施形態では、マザーウェーブレットとして、ガボール関数を用いた。また、マザーウェーブレットの形状は、１次元配列ＭＷで規定し、記憶部１４に予め記憶させた。そして、周波数解析を行う際に記憶部１４から１次元配列ＭＷを読み込んで使用するようにした。

なお、本実施形態では、マザーウェーブレットとしてガボール関数を使用したが、ガボール関数の代わりに、メキシカンハット関数など、音声解析等の信号解析においてマザーウェーブレットとして使用される別の関数を使用してもよい。

本実施形態では、８６．１Ｈｚから２２．１ｋＨｚまでの周波数帯域について、測定された音声信号の時系列周波数スペクトルを算出する。なお、対象とする周波数帯域は、上記に限られず、必要に応じて増減させてもよい。
算出された時系列の周波数スペクトルは、異常検出部２１へ送られる。

異常検出部２１は、周波数解析部２０で得られた音声信号の時系列周波数スペクトルに基づいて、監視対象のロボットに異常が生じたか否かを判定する。
まず、判定基準について説明する。判定基準を設定するために、予めロボットが正常に動作する場合の時系列周波数スペクトルを多数収集し、それぞれの時系列周波数スペクトルについて、所定時点からの経過時間ｔにおける平均周波数ｆｉ（ｔ）を求める。なお、平均周波数ｆｉ（ｔ）は、経過時間ｔにおける時系列周波数スペクトルの各スペクトル成分を、そのスペクトル強度で重み付けして周波数で平均化することにより算出される。さらに、各平均周波数ｆｉ（ｔ）の平均値を算出し、基準周波数Ｆｓｔｄ（ｔ）とする。また、各平均周波数ｆｉ（ｔ）の分散σ（ｔ）を、正常と判定する許容範囲を規定するために算出する。算出された基準周波数Ｆｓｔｄ（ｔ）及び分散σ（ｔ）は、判定基準として記憶部１４に格納される。

異常検出部２１は、異常検出を行う際、記憶部１４からそれら基準周波数Ｆｓｔｄ（ｔ）及び分散σ（ｔ）を読み込む。そして、取得した時系列周波数スペクトルについて、所定時点からの経過時間ｔにおける平均周波数ｆ（ｔ）を求める。その平均周波数ｆ（ｔ）が、Ｆｓｔｄ（ｔ）±２σ（ｔ）の範囲内に収まっていれば、監視対象のロボットは正常と判定し、その範囲から外れた場合、ロボットに異常が生じたと判定する。
なお、上記の所定時点は、例えば、ロボットが間欠的に動作する場合には、各動作の開始時点とすることができる。また、一定の定められた動作を繰り返す場合には、その定められた動作のうちの一時点とすることができる。そして、それら開始時点などに関する情報は、信号入出力部１３を介して、ロボット自体あるいはロボットの制御装置から取得することができる。

なお、判定基準の作成の際、収集した各時系列周波数スペクトルの平均周波数ｆｉ（ｔ）の代わりに、スペクトル周波数の中央値Ｓｍｅｄ（ｔ）や、スペクトル強度が最大値となる周波数Ｓｍａｘ（ｔ）を用い、それらを平均して基準周波数Ｆｓｔｄ（ｔ）を算出してもよい。また、正常と判定する周波数のずれ量に対する許容幅も、±２σ（ｔ）に限らず、個別の事情にあわせて最適化することができる。

異常検出部２１は、異常発生と判定した時点での経過時間ｔ及びその時点における時系列周波数スペクトルの平均周波数ｆ（ｔ）を、異常発生部位推定部２２、異常原因推定部２４などで利用できるように、制御部１６内のメモリに一時保存する。

異常発生部位推定部２２は、異常検出部２１において監視対象のロボットに異常有りと判定された場合、時系列周波数スペクトル及び経過時間ｔに基づいて、どの可動部に異常が発生したか推定する。例えば、ロボットが一定の動作を繰り返す場合には、そのロボットの各可動部も所定の順序にしたがって動作するため、所定時点からの経過時間ｔによって、どの可動部が動作しているかを推定することができる。また、予め発生する異常の類型にあわせて、時系列周波数スペクトルがどのように変動するかを調べておくことにより、異常を発生した可動部を推定することができる。例えば、可動部の一つがモータ駆動されており、何等かの原因でそのモータの回転数が低下すれば、時系列周波数スペクトルの平均周波数は低下すると分かっている場合、異常発生部位推定部２２は、時系列周波数スペクトルの平均周波数ｆ（ｔ）を調べて、上記の基準周波数Ｆｓｔｄ（ｔ）と比較することにより、そのモータ駆動される可動部に異常が発生したか否かを推定することができる。
そこで、予め経過時間及び時系列周波数スペクトルの値と、異常を発生したと推定される部位の関係を示す異常発生部位推定用の参照テーブルを作成し、記憶部１４に格納しておく。

図４に、異常発生部位推定用の参照テーブルの例を示す。参照テーブル４０１の左端の列は、経過時間ｔによる区分を表す。また、参照テーブル４０１の最上位の行は、時系列周波数スペクトルの平均周波数ｆ（ｔ）が基準周波数Ｆｓｔｄ（ｔ）と比較して高いか低いかによる区分を表す。そして、参照テーブル４０１中の各欄の数値は、ロボットの各可動部に対して便宜的に付した識別番号である。

異常発生部位推定部２２は、異常検出部２１において監視対象のロボットに異常が生じたと判定された場合、異常発生と判定した時点の経過時間ｔ及びその経過時間ｔにおける時系列周波数スペクトルの平均周波数ｆ（ｔ）を取得する。また、記憶部１４から、異常発生部位推定用の参照テーブル４０１を読み込む。
そして、異常発生部位推定部２２は、経過時間ｔ及び平均周波数ｆ（ｔ）に基づいて、参照テーブル４０１の該当欄を決定する。そして、その該当欄に記載されている識別番号に対応する可動部を、異常発生部位と推定する。例えば、経過時間ｔが、Ｔ₁≦ｔ＜Ｔ₂の範囲にあり、平均周波数ｆ（ｔ）が基準周波数Ｆｓｔｄ（ｔ）よりも高い場合、識別番号２に対応する可動部が異常発生部位と推定される。
なお、異常発生部位の推定に用いる情報は、経過時間ｔ及び時系列周波数スペクトルの平均周波数ｆ（ｔ）に限られない。例えば、経過時間ｔにおける時系列周波数スペクトルの最大強度を、経過時間ｔにおける平均周波数ｆ（ｔ）の代わりに、あるいはその平均周波数ｆ（ｔ）とともに用いることもできる。このように、他の指標を用いる場合には、予めその指標の測定値と異常発生部位との関係を調べておく必要がある。

異常発生部位推定部２２は、異常を発生したと推定した可動部を示す情報（例えば、上記の識別番号）を、移動情報算出部２３及び異常原因推定部２４で利用できるように、制御部１６内のメモリに一時保存する。

移動情報算出部２３は、異常発生原因を推定するために、異常を発生したと推定された可動部について、カメラ１２から取得された画像信号に基づいて動作を確認する。そのために、移動情報算出部２３は、異常発生と判定された時点において、その推定された可動部の移動速度ｖを画像信号から求める。

ここで、異常を発生したと推定された可動部の移動速度ｖを求めるために、移動情報算出部２３は、ロボットの各可動部の特徴的な形状、構造物などに着目して、各可動部の画像上での位置を認識する。また認識精度を高めるために、予め可動部毎に一意な形状又は色を有する識別マークを付しておき、その識別マークを認識するようにしてもよい。例えば、ロボットが、上記のように可動部として複数のアームを有する場合、各アームに対して、それぞれ赤、青、緑といった違う色の円形状の識別マークを、各アームの移動によって画像信号上で位置が変化するような場所に付しておく。そして、例えば、異常を発生したと推定されたアームに赤色の識別マークが付されている場合、画像信号上でその赤色の識別マークを認識することにより、アームの位置を認識する。

画像信号上で特定の形状や構造物を認識する手段としては、周知の様々な技術を使用することができる。例えば、認識対象の構造物の画像上での輝度が、その周囲と顕著に異なる場合には、エッジ検出処理を行ってその構造物のエッジを抽出し、抽出したエッジのうち、その構造物の輪郭と略一致するものの重心などを求めることにより、その構造物の画像上の位置を特定することができる。また、エッジ検出処理を行う代わりに、２値化処理を行うことにより、その構造物を抽出することもできる。上記のように、識別マーク毎に色が異なる場合には、各識別マークの色に着目して２値化処理を行うことにより、認識したい識別マークのみを抽出することができ、高い精度で可動部の位置を認識することができる。

移動情報算出部２３は、異常発生と判定された時点で取得された画像信号及びその前後で取得された画像信号から、異常を発生したと推定された可動部の位置をそれぞれ求め、その距離を算出し、画像の取得時間の差で除することにより、当該可動部の移動速度ｖを求めることができる。
そして、移動情報算出部２３は、求めた可動部の移動速度ｖを、異常原因推定部２４で利用できるように、制御部１６内のメモリに一時保存する。なお、移動情報算出部２３は、移動速度ｖの代わりに、移動距離そのものを算出し、異常原因推定部２４に渡すようにしてもよい。

異常原因推定部２４は、異常発生と判定した時点の経過時間ｔにおける時系列周波数スペクトルの平均周波数ｆ（ｔ）、異常発生部位推定部２２で推定された異常発生可動部を表す情報、及び移動情報算出部２３で求められた当該可動部の移動速度ｖ（又は距離）に基づいて、異常原因を推定する。異常原因を推定するために、可動部毎に、予め考え得る異常原因を故意に発生させてその際の動作音の音声信号や可動部の画像信号を取得し、それぞれの信号に基づいて、時系列周波数スペクトルの平均周波数、可動部の移動速度ｖ（又は距離）を算出する。それらに基づいて、可動部毎に異常原因推定用の参照テーブルを作成する。

図５に、異常原因推定用の参照テーブル５０１の例を示す。参照テーブル５０１の左端の列は、可動部の移動速度ｖによる区分を表す。また、参照テーブル５０１の最上位の行は、時系列周波数スペクトルの経過時間ｔにおける平均周波数ｆ（ｔ）が基準周波数Ｆｓｔｄ（ｔ）と比較して高いか低いかによる区分を表す。そして、参照テーブル５０１中の各欄の数値は、当該可動部について考えられる異常原因と一意に対応するエラーコードである。

異常原因推定部２４は、異常発生と判定した時点の経過時間ｔにおける時系列周波数スペクトルの平均周波数ｆ（ｔ）、異常発生部位推定部２２で推定された異常発生可動部を表す情報、及び移動情報算出部２３で求められた当該可動部の移動速度ｖ（又は距離）をメモリから取得する。また、記憶部１４から、異常発生と推定された可動部に対応する異常原因推定用の参照テーブル５０１を読み込む。
そして、異常原因推定部２４は、時系列周波数スペクトルの平均周波数ｆ（ｔ）及び当該可動部の移動速度ｖ（又は距離）に基づいて、参照テーブル５０１の該当欄を決定する。そして、その該当欄に記載されているエラーコードを求め、そのエラーコードに対応する異常原因を、監視対象のロボットに生じた異常原因として推定する。例えば、移動速度ｖが、ｖ₀≦ｖ＜ｖ₁の範囲にあり、平均周波数ｆ（ｔ）が基準周波数Ｆｓｔｄ（ｔ）よりも高い場合、エラーコードＥ００３に対応する異常原因（ベルト接触）と推定される。

なお、異常原因推定部２４は、上記のような異常原因推定用の参照テーブルを用いる代わりに、ニューラルネットワーク、ルールベースなどを用いた識別システムを用いてもよい。例えば、パーセプトロンモデルのような教師付き学習を行うニューラルネットワークを用いる場合、異常原因が推定されている場合の時系列周波数スペクトルの平均周波数及び当該可動部の移動速度（又は距離）を入力とし、その時の異常原因を出力とする学習データを用いて系の学習を行っておけばよい。

以下、本発明を適用した異常検出装置１における、異常検出動作について、図６に示したフローチャートを用いて説明する。なお、異常検出装置１の動作は、制御部１６に読み込まれたプログラムによって制御される。

図６に示されるように、監視対象のロボットなどから、動作開始の信号を受信し、その信号をトリガ信号として異常検出処理が開始されると、制御部１６は、マイクロフォン１０及びカメラ１２より、それぞれ音声信号及び画像信号の取得を開始する。また、異常検出処理開始からの経過時間ｔの計時を開始する（ステップＳ１０１）。

各信号の取得を開始してから所定時間経過後、制御部１６は、周波数解析部２０で音声信号の時系列周波数スペクトルを算出する（ステップＳ１０２）。そして、異常検出部２１で、算出された時系列周波数スペクトルが所定の判定基準を満たすか否か判定する（ステップＳ１０３）。具体的には、例えば上記のように、経過時間ｔにおける時系列周波数スペクトルの平均周波数ｆ（ｔ）が、基準周波数Ｆｓｔｄ（ｔ）±２σ（ｔ）の範囲に収まれば監視対象のロボットは正常と判定し、その範囲から外れれば、監視対象のロボットに異常が生じたと判定する。

ステップＳ１０３において、監視対象のロボットが正常と判定された場合、制御をステップＳ１０２の前に戻し、引き続き音声信号及び画像信号を取得して、再度時系列周波数スペクトルの算出及び異常検出の判定を行う。
一方、ステップＳ１０３において、異常発生と判定した場合、制御部１６は、異常発生部位推定部２２で、異常発生部位推定用の参照テーブルを記憶部１４から読み込む（ステップＳ１０４）。そして、経過時間ｔ、時系列周波数スペクトルの平均周波数ｆ（ｔ）に基づいて、異常発生部位推定用の参照テーブルを参照し、異常を発生した可動部を推定する（ステップＳ１０５）。

その後、制御部１６は、移動情報算出部２３で、画像信号に基づき、上述した方法で異常を発生したと推定された可動部の移動速度ｖを算出する（ステップＳ１０６）。移動速度ｖが求まると、制御部１６は、異常原因推定部２４で、異常発生と推定された可動部に対応する異常原因推定用の参照テーブルを読み込む（ステップＳ１０７）。そして、算出した移動速度ｖ、時系列周波数スペクトルの平均周波数ｆ（ｔ）に基づいて、異常原因推定用の参照テーブルを参照し、異常原因を推定する（ステップＳ１０８）。最後に、制御部１６は、信号入出力部１３を介して操作表示部１５や外部機器に、異常発生したことを示す信号、異常発生部位及び異常原因を出力し、異常検出処理を終了する。

以上説明してきたように、本発明を適用した異常検出装置は、経過時間に応じて変化する判定基準を用いて、動作音の時系列周波数スペクトルの周波数特性の変動を評価するので、監視対象設備が正常か否かを正確に判定することができる。
また、異常発生時において、動作音の時系列周波数スペクトルなどに基づいて異常発生部位を推定し、さらに監視対象設備を撮影した画像信号に基づいて、視覚的に異常発生部位の位置や移動速度を調べることができるので、異常発生原因を推定することができる。

なお、本発明に係る異常検出装置は、上述した実施形態に限られるものではない。
例えば、上記の実施形態では、本発明を適用した異常検出装置は、産業用などに用いられるロボットを監視対象とするものとして記述されたが、本発明に係る異常検出装置は、所定の手順に従って動作し、その動作速度が変化する可動部を備えた装置であれば、好適に使用することができる。

また、監視対象のロボットを制御する制御部と、本発明に係る異常検出装置の制御部とを一体化して、異常検出装置をそのロボットの一部としてもよい。このような構成とすることにより、異常を検出した場合、直ちにロボットの可動部を駆動するモータなどの駆動部に対して停止するよう制御できるため、異常発生時の被害を最小限に止めることができる。

さらに、上記の実施形態では、音声信号に基づいて異常検出を行い、画像信号を補助として用いることにより、異常原因の推定を行ったが、逆に画像信号に基づいて異常検出を行い、音声信号を補助として異常原因の推定を行うようにしてもよい。この場合、例えば、制御部の移動情報算出部２３において、可動部を撮影した画像から、上記と同様に各可動部の移動速度又は移動距離を求める。そして、異常検出部２２では、ある可動部について求めた移動速度又は移動距離と、所定の基準周波数とのずれ量が、予め定めた許容範囲を超えている場合、監視対象の装置に異常が発生したと判定する。そして、異常検出部２２で異常有りと判定された場合、周波数解析部２０で同時に録音している音声信号の周波数解析を行って時系列周波数スペクトルを算出する。そして、その時系列周波数スペクトルから、監視開始からの経過時間ｔ毎の平均周波数を求める。異常原因推定部２４では、その平均周波数と、可動部の移動速度又は移動距離に基づいて、上記と同様の参照テーブルを参照することにより、異常原因を推定することができる。

上記のように、本発明に係る異常検出装置は、本発明の範囲内で適宜最適化することができる。

本発明を適用した異常検出装置の機能ブロック図である。 （ａ）は監視対象のロボットの正常動作時の時系列周波数スペクトルのプロファイルであり、（ｂ）は異常発生時の時系列周波数スペクトルのプロファイルである。 本発明を適用した異常検出装置の制御部の機能ブロック図である。 異常発生部位推定用の参照テーブルの一例である。 異常原因推定用の参照テーブルの一例である。 本発明を適用した異常検出装置における、異常検出動作のフローチャートである。

符号の説明

１ 異常検出装置
１０ マイクロフォン
１１ 音声信号処理回路
１２ カメラ
１３ 信号入出力部
１４ 記憶部
１５ 操作表示部
１６ 制御部
２０ 周波数解析部
２１ 異常検出部
２２ 異常発生部位推定部
２３ 移動情報算出部
２４ 異常原因推定部
４０１ 異常発生部位推定用参照テーブル
５０１ 異常原因推定用参照テーブル

Claims (13)

1. 可動部を備えた設備が動作時に発生する音声信号を取得するマイクロフォン（１０）と、
   前記音声信号から時系列周波数スペクトルを算出する周波数解析部（２０）と、
   前記時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、前記設備は正常と判定し、該判定基準を満たさない場合、前記設備は異常有りと判定する異常検出部（２１）と、
   を有することを特徴とする異常検出装置。
2. 前記判定基準は、前記経過時間毎に算出される前記時系列周波数スペクトルの平均周波数と、前記経過時間に依存して決定される基準周波数との差の絶対値が、所定範囲内に含まれることである、請求項１に記載の異常検出装置。
3. 前記設備が異常有りと判定された場合、前記経過時間又は前記時系列周波数スペクトルの平均周波数を異常発生部位と関連付けた参照データを参照することにより、異常発生部位を推定する異常発生部位推定部（２２）をさらに有する、請求項２に記載の異常検出装置。
4. 前記設備の画像信号を取得するカメラ（１２）と、
   前記画像信号に基づいて、前記異常発生部位の移動情報を検出する移動情報算出部（２３）と、
   前記移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）と、
   をさらに有する、請求項３に記載の異常検出装置。
5. 前記移動情報は、前記経過時間が異なる時点で撮影された２枚の画像のそれぞれにおいて検出された前記異常発生部位の位置間の距離、あるいは該距離を該２枚の画像の取得時間の差で除することにより算出された前記異常発生部位の移動速度を含む、請求項４に記載の異常検出装置。
6. 可動部を備えた設備が動作時に発生する音声信号を取得するマイクロフォン（１０）と、
   前記設備の画像信号を取得するカメラ（１２）と、
   前記音声信号が所定の判定基準を満たす場合、前記設備は正常と判定し、該所定の判定基準を満たさない場合、前記設備は異常有りと判定する異常検出部（２１）と、
   前記異常検出部（２１）で異常有りと判定された場合、前記音声信号に基づいて異常発生部位を推定する異常発生部位推定部（２２）と、
   前記画像信号に基づいて、前記異常発生部位の移動情報を検出する移動情報算出部（２３）と、
   前記移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）と、
   を有することを特徴とする異常検出装置。
7. 可動部を備えた設備が動作時に発生する音声信号を取得するマイクロフォン（１０）と、
   前記設備の画像信号を取得するカメラ（１２）と、
   前記画像信号に基づいて、前記可動部の移動情報を検出する移動情報算出部（２３）と、
   前記移動情報が所定の判定基準を満たす場合、前記設備は正常と判定し、該所定の判定基準を満たさない場合、前記設備は異常有りと判定する異常検出部（２１）と、
   前記異常検出部（２１）で異常有りと判定された場合、前記音声信号と異常原因を関連付けた参照データを参照することにより、異常原因を推定する異常原因推定部（２４）と、
   を有することを特徴とする異常検出装置。
8. 可動部を備えた設備が動作時に発生する音声信号を取得するステップ（Ｓ１０１）と、
   前記音声信号から時系列周波数スペクトルを算出するステップ（Ｓ１０２）と、
   前記時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、前記設備は正常と判定し、該判定基準を満たさない場合、前記設備は異常有りと判定するステップ（Ｓ１０３）と、
   を有することを特徴とする異常検出方法。
9. 前記判定基準は、前記経過時間毎に算出される前記時系列周波数スペクトルの平均周波数と、前記経過時間に依存して決定される基準周波数との差の絶対値が、所定範囲内に含まれることである、請求項８に記載の異常検出方法。
10. 前記設備が異常有りと判定された場合、前記経過時間又は前記時系列周波数スペクトルの平均周波数を異常発生部位と関連付けた参照データを参照することにより、異常発生部位を推定するステップ（Ｓ１０５）をさらに有する、請求項９に記載の異常検出方法。
11. 前記設備の画像信号を取得するステップ（Ｓ１０１）と、
    前記画像信号に基づいて、前記異常発生部位の移動情報を検出するステップ（Ｓ１０６）と、
    前記移動情報と異常原因を関連付けた参照データを参照することにより、異常原因を推定するステップ（Ｓ１０８）と、
    をさらに有する、請求項１０に記載の異常検出方法。
12. 前記移動情報は、前記経過時間が異なる時点で撮影された２枚の画像のそれぞれにおいて検出された前記異常発生部位の位置間の距離、あるいは該距離を該２枚の画像の取得時間の差で除することにより算出された前記異常発生部位の移動速度を含む、請求項１１に記載の異常検出方法。
13. 可動部を備えたロボットであって、
    前記可動部の動作時に発生する音声信号を取得するマイクロフォン（１０）と、
    前記音声信号から時系列周波数スペクトルを算出する周波数解析部（２０）と、
    前記時系列周波数スペクトルが所定時点からの経過時間に依存して変化する判定基準を満たす場合、前記ロボットは正常と判定し、該判定基準を満たさない場合、前記ロボットは異常有りと判定する異常検出部（２１）と、
    前記可動部を駆動する駆動部と、
    前記駆動部を制御する制御部（１６）とを有し、
    前記異常検出部（２１）が異常有りと判定した場合、前記制御部は前記可動部を停止させるよう前記駆動部を制御するロボット。