JP2007108836A - 監視制御装置及び監視制御方法 - Google Patents

Abstract

【課題】可動部を有する設備又は装置が異常発生した場合に、その異常時の状況を画像データとして記憶可能な監視制御装置、及び監視制御方法を提供する。
【解決手段】１回の動作を分割した複数の動作ステップを経て移動し、その動作を繰り返す可動部を撮影し、画像データを取得する撮像手段１１と、記憶手段１３と、画像データに基づいて可動部の位置を検出する位置検出部１２２、複数の動作ステップの各々について、可動部の位置に基づいて可動部が移動目的地に到達したか否か判定し、移動目的地に到達したと判定した場合、判定に用いた画像データを記憶手段１３に一時記憶する移動終了判定部１２３、可動部の異常を検出した場合、一時記憶された画像から複数の動作ステップのうち異常が検出された動作ステップと同一の動作ステップの画像データを抽出して記憶手段１３に記憶する異常検出部１２４を有する制御手段１２とで監視制御装置１を構成する。
【選択図】図１

Description

本発明は、可動部を有する設備又は装置を制御する監視制御装置及び監視制御方法に関するものであり、より詳しくは、設備の１回の動作を複数の動作ステップに分割して移動する可動部を有する設備の動作異常の原因解析に用いる監視制御装置、及び監視制御方法に関する。

近年、様々な機械、装置の製造工程や検査工程において、自動化が益々進展し、様々な自動組み立て装置や自動検査装置といった設備が使用されるに至っている。例えば自動組み立て装置では、搬送されてくる部品を捕捉し、捕捉した部品を所定の組み立て位置へ搬送し、そして組み立て位置へ搬送された部品に、別の部品を組み込み、出来上がったものを排出するといった動作を行う。このようなそれぞれの動作を行うために、搬送ユニット、組み立てユニットといった複数の可動部が存在し、それらが所定の位置へ向けて、所定のタイミングで正確に動作することが求められる。

こうした設備が正常に動作しているか否かを監視し、故障等の異常を検知するために監視カメラ等で設備の画像データを取得し、また異常発生時の原因解析用にその画像データを記憶することが知られている（特許文献１、２参照）。

例えば、特許文献１に記載された監視制御装置では、故障検知時の画像データをデータベース化して記憶する。また、特許文献２に記載されたトラブル解析支援装置では、トラブルを発生する設備の有無を人が予め判断し、トラブルが発生すると分かっている設備に対して、トラブル発生前後の一定期間、動画像、音声、制御情報を記憶する。そしてその記憶したデータを用いて、シミュレーションによりトラブルを解析する。

さらに、機械装置の状態遷移を逐次記憶し、その記憶及び状態遷移図とコンピュータグラフィック画像を用いて、故障発生時のシミュレーションを行う装置が知られている（特許文献３参照）。

設備の異常発生時の様子を適切に把握するためには、故障発生時からその直前の一定期間の稼動状況が分かる画像データが記憶されていることが望ましい。しかし、この一定期間の画像データを動画像として記憶すると、データ量が膨大となってしまう。一方、静止画として記憶する場合には、適切なタイミングで取得された画像を記憶しなければ、異常発生時の様子をうまく捉えることができず、異常の原因を特定することが困難となってしまう。そこで、画像データの記憶に必要な記憶容量の増大を抑制しつつ、異常発生原因の解析に有用な画像データを確実に記憶できる監視制御装置及び監視制御方法の開発が望まれている。

特開２００３−２０８２１８号公報 特開２０００−２５０７７５号公報 特開平１１−２５９１２０号公報 特開２０００−３２６０８２号公報

上記の問題点に鑑み、本発明は、可動部を有する設備または装置について、異常発生時の設備又は装置の状況を画像データとして記憶可能な監視制御装置、又は監視制御方法を提供することを目的とする。

また本発明の別の目的として、可動部を有する設備又は装置が異常発生した場合に、異常発生時の設備又は装置の状況を、事後的に再現可能な監視制御装置、又は監視制御方法を提供することを目的とする。

さらに本発明の別の目的として、異常発生原因の解析に有用な画像データを記憶しつつ、画像データの記憶に必要な記憶容量の増大を抑制可能な監視制御装置、又は監視制御方法を提供することを目的とする。

本発明の請求項１に記載の形態によれば、本発明に係る監視制御装置が、１回の動作を分割した複数の動作ステップを経て移動し、その動作を繰り返す可動部に対して、撮像手段で取得した画像データに基づいて可動部の位置を検出する位置検出部と、複数の動作ステップのそれぞれについて、可動部の位置に基づいて可動部が移動目的地に到達したか否か判定し、移動目的地に到達したと判定した場合、その判定に用いた画像データを記憶手段に一時記憶して、複数の前記動作に含まれる各動作ステップの画像データを一時記憶する移動終了判定部と、可動部の異常を検出し、異常が検出された場合には、一時記憶された画像データから複数の動作ステップのうち異常が検出された動作ステップと同一の動作ステップの画像データを抽出して前記記憶手段に記憶する異常検出部を有する制御手段とを有することにより、画像の記憶に必要な記憶容量の増大を抑制しつつ、異常発生時の状況を画像データとして記憶することができる。

なお、上記において一時記憶された画像データとは、同一画像名の別画像データで上書きされるなどによって消去されるまで記憶される画像データを表す。また、画像データを抽出して記憶とは、記憶しようとする画像データの複製を作成し、その複製を記憶すること、記憶しようとする画像データ自体をリネームすること、又は別の保管場所へ移動することも含む。

また、請求項２の記載によれば、記憶手段に記憶された画像データを表示する表示手段をさらに有することにより、事後的に異常発生時の状況を再現することができる。

なお、請求項３の記載によれば、異常検出部は、複数の動作ステップのそれぞれについて、可動部が移動を開始してから移動目的地に到達したと判定されるまでの所要時間が、予め定めた値よりも長い場合に異常と判定するようにしてもよい。

さらに、請求項４の記載のように、異常検出部は、複数の動作ステップのそれぞれについて、可動部の位置に基づいて、可動部が予め定められた境界を越えて移動したと判定した場合に異常と判定するようにしてもよい。これらのように異常検出部を構成することで、故障に至るまでの段階で、予防的に異常を検知することが可能である。

また、請求項５に記載のように、本発明に係る監視制御方法は、１回の動作を複数の動作ステップに分割して移動する可動部を撮影した画像データに基づいて可動部の位置を検出する位置検出ステップと、複数の動作ステップのそれぞれについて、可動部の位置に基づいて可動部が移動目的地に到達したか否か判定する移動終了判定ステップと、判定ステップで、可動部が移動目的地に到達したと判定した場合、その判定に用いた画像データを一時記憶して、複数の前記動作に含まれる各動作ステップの画像データを一時記憶する第１の画像記憶ステップと、可動部の異常を検出する異常検出ステップと、異常検出ステップで異常が検出された場合には、一時記憶された画像データから複数の動作ステップのうち、異常が検出された動作ステップと同一の動作ステップの画像データを抽出して記憶する第２の画像記憶ステップとを有することにより、、画像の記憶に必要な記憶容量の増大を抑制しつつ、異常発生時の状況を画像データとして記憶することができる。

なお、請求項６の記載によれば、異常検出ステップは、複数の動作ステップのそれぞれについて、可動部が移動を開始してから移動目的地に到達したと判定されるまでの所要時間が、予め定めた値よりも長い場合に異常と判定するようにしてもよい。

さらに請求項７の記載によれば、異常検出ステップは、複数の動作ステップのそれぞれについて、可動部の位置に基づいて、可動部が予め定められた境界を越えて移動したと判定した場合に異常と判定するようにしてもよい。これらのように異常検出ステップを構成することで、故障に至るまでの段階で、予防的に異常を検知することが可能である。

以下、図面を参照しつつ本発明に係る監視制御装置について詳細に説明する。
本発明に係る監視制御装置１は、１回の動作サイクル中に複数の動作ステップを有し、各動作ステップの終了を画像データを用いて確認する設備について、異常を発生した動作ステップの過去画像を記憶しておくことで、異常の発生原因の特定を容易にすることを可能にするものである。

図１に、本発明に係る監視制御装置１の構成ブロック図を示す。
本発明に係る監視制御装置１は、撮像手段１１、制御手段１２、記憶手段１３、及び表示手段１４を備える。

撮像手段１１は、ＣＣＤカメラ等で構成され、監視制御装置１の監視対象となる設備全体を撮影する。また撮像手段１１は、１台若しくは複数のカメラで構成し、設備に含まれる全ての可動部は、何れかのカメラで撮影されるように構成する。また、設備の可動部の移動を、画像上の位置の変化として捉えられるように、撮影対象である各可動部の動作平面から離れたところに撮像手段１１を配置することが好ましい。

また、撮像手段１１は、設備の可動部の動作を逐次捉えられるように、連続的に撮影可能であることが好ましく、例えばビデオレート（３０Ｈｚ）で撮影を行う。撮影した画像は、制御手段１２へ送信する。

次に、制御手段１２について説明する。
制御手段１２は、パーソナルコンピュータ（ＰＣ）の中央演算装置（ＣＰＵ）、リードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）などの１次記憶装置、ＰＣに読み込まれたプログラム、及びＲＳ２３２Ｃといった外部出力ポートなどで構成される。さらに、設備の可動部に対して制御信号を与えるためのドライバを内蔵する。

図１に示すように、制御手段１２は、各可動部に対して移動・停止などの制御信号を与える動作指示部１２１と、記憶手段１３に記憶されている撮像手段１１から取得した画像データに基づいて、各可動部の位置を検出する位置検出部１２２と、検出された位置に基づいて、各可動部が移動目的地に移動したか否かを判定する移動終了判定部１２３と、可動部が移動目的地に所定時間内に到達しないなどの異常を検出する異常検出部１２４などで構成される。

動作指示部１２１は、動作ステップ毎に、記憶手段１３に記憶されている動作指示情報を参照して、各可動部に対して所定の方向へ移動・停止などの制御信号を与える。また、複数の可動部が動作する場合には、必要に応じて移動開始のタイミングをずらし、物理的な干渉を起こさないよう制御する。そして、それらの制御信号は、内蔵のドライバを通じて、各可動部へ送信される。

位置検出部１２２は、撮像手段１１から受信した画像データを解析し、画像データ上で可動部の位置を認識する。

ここで可動部の位置は、可動部中の特定部分の位置として表される。また、可動部中の特定部分の認識は、例えば、周囲と明度又は色調がはっきりと異なる部分を特定部分とし、２値化処理でその特定部分に相当する画素だけを抽出し、抽出された画素の重心等を求めることで実行できる。また、２値化処理の代わりに、エッジ検出処理を行って、上記部分の境界に相当するエッジ画素を抽出し、エッジ画素の重心等を求めてもよい。さらに、上記の２値化処理やエッジ検出処理を、着目する可動部が写っている部分を含む、一部の領域（関心領域）に限定して行ってもよい。このように関心領域に限定して処理を行えば、処理に使用するデータ量を減ずることができるため、高速な処理が可能となる。

移動終了判定部１２３は、位置検出部１２２で検出した可動部の位置と記憶手段１３に記憶されている動作指示情報を参照して、可動部が各動作ステップにおける移動目的地に到達したか否かを判定する。そして、移動目的地に到達したと判定した場合、動作指示部１２１を通じて、可動部を停止させる。

また、可動部が移動目的地に到達したと判定した場合、その解析に用いた画像データを記憶手段１３に記憶する。一方、解析した画像データでは、着目する可動部が移動目的地に到達していないと判定される場合（例えばその可動部が動作中の場合）、移動終了判定部１２３は、解析に使用した画像データを廃棄する。そして、撮像手段１１から画像データを再取得し、上記の処理を繰り返す。

そして、直近数サイクル分の全動作ステップの画像データを記憶手段１３に記憶する。

このように、可動部が動作終了後の移動目的地にいる場合の画像データを記憶しておくことにより、可動部が動作中の画像データを記憶せずとも、設備に異常が発生した場合、後から記憶されている画像データを調べることによって異常原因の特定は十分可能であり、記憶するデータの量を必要最小限に抑えることが可能である。

着目する可動部が移動目的地にいるか否かの判定は、以下に説明する方法で行うことができる。

位置検出部１２２で認識された特定部分の画像データ上の位置と、理想状態にある設備を撮影した画像データ等から求められた移動目的地との距離が、予め定められた許容範囲内にあるか否かを判定する。その距離が許容範囲内に収まる場合、着目する可動部は所定の位置にいると判定する。

なお、上記の移動目的地及び許容範囲は、各動作ステップに対して、各可動部について設定され、動作指示情報の一部として予め記憶手段１３に記憶しておく。

また異常検出部１２４は、監視対象である設備に異常が発生したか否かを検出する。そして、異常を検出した場合、記憶手段１３に記憶されている数サイクル分の画像データから、異常を検出した動作ステップに相当する画像データを抽出し、消去されることがないように複製して別途記憶する。また必要に応じて、動作指示部１２１を通じて設備を停止させる。

なお、異常の検出について以下に説明する。
異常検出方法の第１の例では、各動作ステップにおいて、可動部が移動開始から終了までの間に要する経過時間に基づいて判断する。すなわち、経過時間が通常と比べてあまりに長い場合には、例え、可動部が移動目的地へ正確に移動しているとしても、何等かの異常が発生している可能性が高いとして、異常と判定するものである。またこのような場合について異常と判定し、設備の管理者に報知できれば、設備に致命的な故障が生じる前に、何等かの対策を講ずることが可能となるため、非常に有益である。

まず、設備の可動部が正常動作している場合における各動作ステップの平均所要時間を、予め測定又は仕様から決定する。そして、上記の平均所要時間に基づいて、設備の可動部が正常動作していると考えられる許容時間Ｔ１を決定する。また、可動部が移動を終了できないと判定する限界時間Ｔ２も決定する。例えば、許容時間Ｔ１は、平均所要時間の１．５倍から数倍程度とし、限界時間Ｔ２は、許容時間Ｔ１よりも長く、且つ平均所要時間の数倍から数１０倍程度の値とすることができる。

許容時間Ｔ１、限界時間Ｔ２は、各動作ステップにおいて、その動作ステップで移動する可動部毎に予め設定され、記憶手段１３に記憶される。

設備の監視中においては、異常検出部１２４は、各動作ステップの動作開始前の時間（若しくは、前動作ステップが終了したと判定された時間）を逐次記憶する。そして、その動作ステップが終了したと判定された時間との差より、動作ステップの開始から終了までの経過時間を算出する。算出した経過時間が、上記の許容時間Ｔ１を超える場合、または、上記の限界時間Ｔ２が経過しても動作終了と判定されない場合、異常検出部１２４は異常を検出する。

次に異常検出方法の第２の例について説明する。
この第２の例では、可動部が所定の動作限界を超えて移動する（オーバーラン）を起こすか否かで異常を検出する。オーバーランを検出するには、予め各動作ステップについて、可動部の動作限界を画像データ上の位置座標として設定しておく。そして、異常検出手段１２４は、位置検出部１２２で検出された可動部の位置が、上記の動作限界を超えた場合（例えば、可動部が画像データ上で上方から下方へ向けて移動する場合、動作限界の位置座標よりも下方に可動部の位置座標が移動した場合）、異常を検出する。

また以下に異常検出方法の第３の例について説明する。
まず、上記の参照画像データに基づいて、その予め解析を行う関心領域を設定する。例えば、部品組み立て装置や部品検査装置では、動作ステップ毎に決まった位置に、特定の種類の部品が存在するはずである。そこで、画像データ上において、そのような部品が存在すべき場所に関心領域を設定する。

設備の監視中においては、各動作ステップの開始前、若しくは終了後の画像データを取得する。そして、対応する参照画像データと、関心領域内の画像データ間でマッチングを行う。マッチングの結果を例えば両画像データ間の対応する画素値の絶対平均偏差として求め、その絶対平均偏差が所定の閾値より大きい場合、異常が発生したと判定する。なお、各動作ステップの開始前、若しくは終了後に相当する画像データとして、上述した方法により動作ステップの開始前、若しくは終了後と判断され、記憶手段１３に記憶される画像データを用いればよい。

さらに別の異常検出方法としては、例えば設備の可動部を動かすモータに送る電流値を監視しておき、その電流値が、モータの過負荷状態を示すような値にまで増大した場合、異常が発生したと判定することができる。

記憶手段１３は、ＲＡＭ又はフラッシュメモリのような半導体メモリ、又はハードディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＡＭ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭなどで構成される。また、記憶手段１３は、動作指示情報など各種の制御情報及び撮像手段１１で撮影された画像データ等を記憶する。特に、常に最新の動作ステップから、設備の稼動サイクル数回分（例えば３サイクル分）前の全ての動作ステップまでに相当する画像データを記憶する。また、記憶される画像データと関連付けて、当該画像データにおいて認識された可動部の位置情報や撮影された時間も併せて記憶することが好ましい。

さらに、記憶手段１３は、設備に異常が発生した場合、上記の記憶された画像データから抽出された、異常を発生した動作ステップの画像データを消去されないように別途記憶する。これらのデータを記憶することで、設備に異常が発生した場合の解析が容易となる。

表示手段１４は、画像データを表示する表示部として機能し、主として設備の異常解析等のために動作の再現を行う際、記憶手段１３に記憶された画像データ、その画像データにおいて着目された設備の可動部の位置認識結果等を表示する。また、異常を発生した動作ステップについて、可動部の位置認識結果の時系列変化、又は度数分布のような統計情報を表示可能であることが好ましい。

以下に、本発明に係る監視制御装置１を組み立て装置に実装した場合について説明する。

図２に、本発明に係る監視制御装置１を実装した組み立て装置２の構成ブロック図を示す。また図３に、組み立て装置２の概略上面図を示す。図４に、図３の撮像手段１１から見た組み立て装置２の概略斜視図を示す。

本実施形態に係る組み立て装置２は、一例として、直径５０ｍｍ、高さ５０ｍｍの円筒形をした基幹部品（ワーク）の中心に、直径２０ｍｍ、高さ１０ｍｍの円筒形の部品を上方から嵌め込んで完成品を製造するものである。また、本実施形態に係る監視制御装置１は、組み立て装置２の各動作ステップの終了時点での画像データを３サイクル分記憶するとともに、併せて組み立て装置２の駆動制御も行うものとする。

組み立て装置２は、搬送ユニット２１、上下ユニット２２、ワーク搬入部２３、部品投入部２４、組み立て部２５及びワーク排出部２６を備え、撮像手段１１、制御手段１２、記憶手段１３及び表示手段１４とで監視制御装置１を構成する。

本実施形態に係る組み立て装置２では、図３及び図４に示すように、ワーク２０２は、ワーク搬送路２０１に沿ってワーク搬入部２３から搬入され、ワーク排出部２６により排出される。一方、部品２０３は、部品投入部２４により、ワーク搬入部２３と略直交する方向から投入され、ワーク搬入部２３とワーク排出部２６の中間にある組み立て部２５で、ワーク２０２に組み付けられる。

ワーク搬入部２３は、前工程から送られてきたワークを連続的に組み立て装置２に搬入可能なように、ワークを載せて運ぶベルトコンベアで構成する。部品投入部２４は、部品投入側から組み立て部２５側へ緩やかな下降傾斜路であって、振動により、投入された部品２０３が徐々に組み立て部２５側へ搬送される。ワーク排出部２６は、ワーク搬入部２３同様、ベルトコンベアで構成する。そして、搬送ユニット２１が部品組み付け済みのワーク（完成品）２０４を組み立て部２５側に最も近いワーク排出部２６の出口２６１に排出すると、その完成品を載せて次工程へ搬送する。

搬送ユニット２１は、ワーク搬送路２０１と略平行に取り付けられ、ワーク搬入部２３の終端付近の入口２３１にあるワーク２０２を捕捉し、ワーク排出部２６の方へ平行移動して組み立て部２５へ搬送する。さらに部品組み付け済みのワーク（完成品）２０４をワーク排出部２６に存在する出口２６１へと搬送する。組み立て部２５に配置した上下ユニット２２は、上部ユニット２２１が部品２０３を捕捉して上下運動し、下部ユニット２２２がワーク２０２を固定することにより、ワーク２０２に部品２０３を組み付けて完成品２０４を製造する。

搬送ユニット２１は、ワーク搬送方向と略並行方法の長さ１５０ｍｍ、略垂直方向の幅５０ｍｍからなる部材２１１と、部材２１１の下部に取り付けられたグリッパ２１２及び駆動用のサーボモータを備える。グリッパ２１２は、ワーク搬送方向にワークの幅とほぼ等しい間隔で配置した２本の爪で構成し、同時に２つのワークを保持可能なように、ワーク搬送路２０１に沿って２セット配置する。

また搬送ユニット２１は、ワーク搬送路２０１の存在する平面内で、ワーク搬送路２０１と直交する方向、及びワーク搬送路２０１と平行方向に移動可能である。また搬送ユニット２１の原点位置を、搬送ユニット２１がワーク搬送路２０１上にあるワーク２０２と接触しないよう、ワーク搬送路２０１から約３０ｍｍ後方に離れた位置に設定する。そして、原点位置にある搬送ユニット２１に送り動作を指示すると、ワーク搬送路２０１に沿って、ワーク排出方向へ向けて約７０ｍｍ移動する（この移動先を便宜上送り位置と呼ぶ）。さらに、送り位置にある搬送ユニット２１に、戻り動作が指示されると、原点位置へ戻るように、ワーク搬送路２０１に沿って、ワーク搬入方向に約７０ｍｍ移動する。一方、原点位置若しくは送り位置にある搬送ユニット２１に前進動作が指示されると、搬送ユニット２１は、ワーク搬送路２０１上にあるワーク２０２又は完成品２０４を捕捉するため、若しくは保持しているワーク２０２又は完成品２０４をワーク搬送路２０１上にリリースするため、ワーク搬送路２０１に近づく方向に約３０ｍｍ移動する。逆に、ワーク搬送路２０１に近接した位置にある搬送ユニット２１に対し、後退動作が指示されると、搬送ユニット２１はワーク搬送路２０１から離れる方向に約３０ｍｍ移動する。

上下ユニット２２は、上部ユニット２２１、及び下部ユニット２２２で構成される。下部ユニット２２２は組み立て部２５へ搬送されてきたワーク２０２を固定する。一方、上部ユニット２２１は、開閉可能な爪からなるワークチャック２２３、及びワークチャック２２３が取り付けられるチャックシリンダ２２４、及びこれらを駆動するサーボモータを備えている。

上部ユニット２２１は、初期状態では、組み立て部２５に搬送されてくるワーク２０２、部品２０３と衝突しないように、組み立て部２５の上方に退避しておく。組み立て部２５に部品２０３が来ると、上部ユニット２２１を下降させ、ワークチャック２２３を閉じて部品２０３を保持する。部品２０３を保持すると、上部ユニット２２１は上方に移動する。その後ワーク２０２が組み立て部２５へ搬送されてくると、再び上部ユニット２２１は下降し、ワーク２０２に部品２０３を挿入し、組み付ける。部品の組み付けが終わると、ワークチャック２２３は開いて部品をリリースし、再び上部ユニット２２１は上方に移動する。この上下方向の移動距離は、組み立て部２５にワーク２０２が存在する場合、約１０ｍｍであり、ワーク２０２が存在しない場合約６０ｍｍである。

本実施形態によると、監視及び駆動制御される対象である可動部に検出マークが形成される。すなわち、搬送ユニット２１の部材２１１の搬入部２３側端部の上面に検出マーク２１３を、及び排出部２６側端部の上面に検出マーク２１４を取り付ける。検出マーク２１３及び２１４は、直径５ｍｍの赤い円形シールであり、撮像手段１１で撮影する画像において、搬送ユニット２１がどの位置にあっても、どちらかの検出マークが写り込むようになっている。なお、検出マーク２１３及び２１４は上記のものに限られるわけではなく、画像上で明確に判別可能なものであればよく、部材２１１自体の特有の形状等で代用することも可能である。

また、上下ユニット２２の上部ユニット２２１においても、チャックシリンダ２２４の上面に検出マーク２２５、及びワークチャック２２３の上面に検出マーク２２６が取り付けられている。検出マーク２２５、２２６は、搬送ユニットに取り付けた検出マーク同様、直径５ｍｍの赤い円形シールである。さらに、撮像手段１１で撮影する画像において、上部ユニット２２１が如何なる位置にあっても、またチャックの開閉によらず、検出マーク２２５、２２６が写り込むよう構成されている。なお、検出マーク２２５、２２６は、検出マーク２１３、２１４と同じマークである必要は無く、画像上で明確に判別可能なものであればよい。

また、監視制御装置１の構成要素である撮像手段１１は、上述した組み立て部２５の斜め上方、部品投入部側に約３０°の方向に配置する。そして、搬送ユニット２１、上下ユニット２２、ワーク搬入部２３、部品投入部２４、ワーク排出部２６を全て１枚の画像に収めるとともに、搬送ユニット２１、上下ユニット２２の各部の動作範囲も全て収めることができる。制御手段１２は、撮像手段１１からの画像信号を受信して、所定の条件を満たす画像データを記憶手段１３に記憶する。また、制御手段１２は、組み立て装置２の駆動制御も行うため、搬送ユニット２１、上下ユニット２２それぞれのサーボモータへ制御信号を送信する。

制御手段１２及び記憶手段１３は、本実施形態においては、パーソナルコンピュータ（ＰＣ）に内蔵のプログラム、メモリ、ＲＳ２３２Ｃといった外部出力ポート等によって構成する。また、本実施形態においては、制御手段１２は組み立て装置２の駆動制御を行うため、組み立て装置２の可動部（搬送ユニット２１、上下ユニット２２）のサーボモータを制御するモータドライバを内蔵する。なお、制御手段１２及び記憶手段１３と、モータドライバを、別個のハードウェアとして構成し、互いに通信可能な構成としてもよい。例えば、制御手段１２及び記憶手段１３をＰＣ及び内蔵プログラムで構成し、モータドライバをプログラマブルロジックコントローラ（ＰＬＣ）で構成してもよい。

撮像手段１１は、ＣＣＤカメラで構成され、組み立て装置２の作動中、搬送ユニット２１、上下ユニット２２、及び搬送されてくるワークや部品、排出される組み立て済みワークを全て１枚の画像に収めた静止画を、ビデオレート（３０Ｈｚ）で連続して取得し、制御手段１２へ送信する。この目的のため、ＣＣＤカメラとして、１／４インチ４１万画素ＣＣＤ、焦点距離４．３ｍｍ（画角６９．８°）、２４ビット（ＲＧＢ各８ビット）出力のものを用いる。しかし、撮像手段１１としては、これに限られるものではなく、組み立て装置２の各部を１枚の画像に収めることが可能で、且つ検出マーク等の判別ができるものであればよい。

また制御手段１２は、撮像手段１１から画像データを受信すると、位置検出部１２２でその画像データを解析し、搬送ユニット２１などの可動部について、検出マーク２１３、２１４の位置を認識する。そして、移動終了判定部１２３において、可動部が移動目的地に到達したか否かを判定する。そして、可動部が移動目的地に到達したと判定した場合、動作指示部１２１より搬送ユニット２１又は上下ユニット２２に内蔵されたサーボモータに対して制御信号を送信する。このようにして、検出マーク２１３等の位置を認識し、可動部の位置を特定してから次の動作ステップの指示を出すことにより、組み立て装置２をシーケンス動作させる。

以下、フローチャート及びタイミングチャートを参照して、監視制御装置１及び組み立て装置２の動作について説明する。

図５及び図６に、本実施形態に係る組み立て装置２の動作のフローチャートを示す。また図７に、組み立て装置２の可動部である搬送ユニット２１、上下ユニット中の上部ユニット２２１について動作のタイミングチャートを示す。

図７において、上部に示したＳ０２等の記号５０１は、後述する組み立て準備完了、若しくは各可動部の動作終了判定ステップの実行タイミングを示す。また、各可動部の動作を横欄毎に示し、タイミングチャート線５０２がその横欄に存在する場合、各可動部はその横欄の左側欄５０３に示された動作を行うことを表す。どちらの動作を示す欄にも属さず、中間線上にタイミングチャート線５０２が存在する場合、その可動部は動作を行わず、その前状態を保持し続けることを表す。

まず、組み立て準備完了か否かを判定する（ステップＳ００）。この判定は、制御手段１２が行う。以下（ｉ）〜（ｉｉｉ）の３条件全てを満たす場合、準備完了と判定する。

（ｉ）ワーク搬入部２３の入口２３１にワーク２０２が存在すること
（ｉｉ）ワーク排出部２６の出口２６１に完成品２０４が存在しないこと
（ｉｉｉ）部品投入部２４に部品２０３が存在すること
ワークや部品等の存在の有無は、以下の手順により調べることができる。

まず、事前準備として、撮像手段１１を通じてワーク２０２、部品２０３及び完成品２０４が入口２３１等に存在する場合、及び存在しない場合の画像データをそれぞれ取得する。図８に示すように、取得した画像データを参照し、入口２３１や出口２６１の位置、部品の存在有無を調べる位置を特定し、関心領域００１〜００３としてその画像上の位置（例えば関心領域の左上端座標と右下端座標）を記憶手段１３に記憶しておく。

次に、関心領域００１〜００３にワーク２０２、部品２０３又は完成品２０４が存在する場合、存在しない場合のそれぞれについて、各関心領域内の平均信号値を求める。そして、各関心領域について、ワーク２０２、部品２０３又は完成品２０４が存在する場合の平均信号値と、存在しない場合の平均信号値との平均値を算出し、閾値Thd₀₀₁〜Thd₀₀₃とする。その閾値Thd₀₀₁〜Thd₀₀₃を予め記憶手段１３に記憶しておく。

組み立て装置２の稼動時においては、制御手段１２は、撮像手段１１から送られてくる画像データに対し、記憶手段１３に記憶した関心領域００１〜００３の位置に基づいて、関心領域００１内の平均信号値AVG₀₀₁、関心領域００２内の平均信号値AVG₀₀₂、関心領域００３内の平均信号値AVG₀₀₃をそれぞれ算出する。記憶手段１３から上述した閾値Thd₀₀₁〜Thd₀₀₃を呼び出し、平均信号値AVG₀₀₁〜AVG₀₀₃とそれぞれ比較する。平均信号値AVG₀₀₁〜AVG₀₀₃が、閾値Thd₀₀₁〜Thd₀₀₃より、ワーク２０２、部品２０３又は完成品２０４が存在する場合の参照画像データにおける平均信号値に近い場合、ワーク２０２、部品２０３又は完成品２０４が存在すると判定する。

なお、判定方法は上記の方法に限られるものではなく、別の方法を用いてもよい。例えば、上記と同様、事前にワーク２０２、部品２０３又は完成品２０４が存在する参照画像データを取得して記憶手段１３に記憶しておく。また、上記同様に関心領域００１〜００３を設定する。

そして、組み立て装置２の稼動時において、撮像手段１１から受信した画像データと参照画像データとの間で、関心領域００１〜００３内の各画素で差分信号値の絶対値を算出し、その平均信号値（平均絶対偏差）を算出する。その平均絶対偏差が所定の許容範囲内であれば、ワーク２０２、部品２０３又は完成品２０４が存在する（または存在しない）と判定する。なお、上記の許容範囲は、組み立て装置が設置された場所の照明など環境条件によって左右される可能性があるため、実験的に決定しておくことが好ましい。

上記の判定方法に基づき、撮像手段１１から連続的に受信した画像データに対し、逐次判定を行う。いずれかの条件を満たさない場合、制御手段１２は組み立て準備が完了していないと判断し、組み立て装置２のアイドル状態を維持する。また、受信した画像データは廃棄する。

一方、ある時点で、受信した画像データについて上記（ｉ）〜（ｉｉｉ）の全ての条件を満たすと、制御手段１２は組み立て準備完了と判断する。そして制御手段１２は、その画像データを記憶手段１３に記憶するとともに、動作指示部１２１より搬送ユニット２１にワーク搬送路２０１に近づくよう前進動作させる制御信号を送信する。その制御信号に基づいて、搬送ユニット２１がワークを掴むために前進動作する（ステップＳ０１）。

次に、制御手段１２の位置検出部１２２は搬送ユニット２１０の位置を認識し、移動終了判定部１２３は、搬送ユニット２１が移動目的地に到達して前進動作が終了したか否かを判定する。また、異常検出部１２４は、組み立て装置２にワーク２０２や部品２０３の転落、位置ずれや、搬送ユニット２１が移動目的地に到達するまでに非常な時間を要するなどの異常が発生していれば検出する（ステップＳ０２）。

説明の便宜のため、まず搬送ユニット２１の前進動作が終了したか否かの判定手順について説明し、その後異常発生の有無に関する判定について説明する。

係る判定は、搬送ユニット２１に付された検出マーク２１３の重心位置及び面積が所定の条件を満たすか否かを判定することによって行う。以下にその方法を詳述する。

事前準備として、搬送ユニット２１の前進動作終了時点に相当する参照画像データを取得する。そして、図８に示すように、取得した参照画像データから、搬送ユニット２１の前進動作終了時点における検出マーク２１３の存在すべき位置を含む関心領域１０１を設定する。設定した関心領域１０１の位置・範囲を記憶手段１３に記憶する。ここで関心領域１０１は、検出マーク２１３の位置検出に使用する領域であるため、正確な位置認識を行うために検出マーク２１３を完全に収めることができる大きさであることが好ましい。一方、位置認識の処理に必要な計算時間を減らすため、関心領域１０１は狭い方が好ましい。具体的には、関心領域１０１は、検出マーク２１３の画像上における面積の５倍〜１００倍程度の大きさに設定することが好ましい。さらに参照画像データに基づいて、搬送ユニット２１の前進動作終了時点における検出マーク２１３を示す画素の重心位置、画像中の面積をそれぞれ基準重心Ｇ_org、基準面積Ｄ_orgとして算出する。そして基準重心Ｇ_org、基準面積Ｄ_orgを予め記憶手段１３に記憶する。

図９に、ステップＳ０２の動作手順のフローチャートを示す。
ステップＳ０２において、制御手段１２では、位置検出部１２２が撮像手段１１から受信した画像について、関心領域１０１のみに限定して検出マーク２１３の重心位置Ｇ・面積Ｄを算出し、移動終了判定部１２３が基準重心、基準面積との比較で動作が完了したか否かを判定する。

まず、位置検出部１２２は、関心領域の位置、範囲を記憶手段１３から取得する（ステップＳ２０１）。次に、判定を行う画像データを取得する（ステップＳ２０２）。その後、位置検出１２２で関心領域１０１内の画像データを、検出マークとそれ以外に分離可能なように２値化する（ステップＳ２０３）。２値化の閾値は組み立て装置２の設置環境等を勘案して経験的に設定する。

本実施形態では、１画素あたりのデータが赤（Ｒ）、緑（Ｇ）、青（Ｂ）各８ビットで表される。そこで関心領域１０１中の任意の画素の値Ｐ（＝（Ｒ, Ｇ, Ｂ））とし、対応する２値化画像の任意の画素値をＰ_binとすると、検出マーク２１３は赤色であることから、例えば

Ｐ_bin ＝ １ （Ｒ≧１２８、Ｇ＜３２、Ｂ＜３２）（検出マーク２１３に相当）
Ｐ_bin ＝ ０ （上記以外のとき）
とすることができる。
２値化が終了すると、検出マーク２１３に相当する（Ｐ_bin＝１）画素の重心Ｇ、画素数の合計（面積）Ｄを算出する（ステップＳ２０４）。

次に、移動終了判定部１２３は、重心Ｇと、記憶手段１３から取得した基準重心Ｇ_orgとの距離ΔＧ（＝((Ｇ_x−Ｇ_orgx)²+(Ｇ_y−Ｇ_orgy)²)^1/2）を求める（ただし、Ｇ_x、Ｇ_yはそれぞれ重心Ｇの水平座標、垂直座標であり、一方Ｇ_orgx、Ｇ_orgyはそれぞれ基準重心Ｇ_orgの水平座標、垂直座標である）。同様に、面積Ｄと、記憶手段１３から取得した基準面積Ｄ_orgとの面積の差の絶対値ΔＤ（＝｜Ｄ−Ｄ_org｜）を求める（ステップＳ２０５）。ΔＧ、ΔＤそれぞれについて許容誤差範囲（例えば１画素以内）か否か判定する（ステップＳ２０６）。共に許容誤差範囲内であれば、搬送ユニット２１は正常に前進動作（Ｓ０１）を終了したと判定する。そして、制御手段１２は、動作指示部１２１を通じて、次の動作を実行させるための制御信号となる、同期信号を出力する（ステップＳ２０７）。

また、移動終了判定部１２３は、搬送ユニット２１の前進動作が終了したと判定された画像データを記憶手段１３に記憶する（ステップＳ２０８）。その際、記憶される画像データが、どの動作ステップに対応するか判るよう、画像データに対して動作ステップに対応する名称を付ける。また、複数サイクル分の画像データを記憶するため、サイクルの差異も名称に反映する。この実施形態では、画像名称を３桁の数値＋拡張子で表す。最初の１桁目（最も左側の数値）をサイクル番号、残りの２桁をステップ番号とする。拡張子は、画像データの形式（.jpg,.bmp等）を示す。例えば、画像データの形式をＪＰＥＧとすると、２サイクル目のステップＳ０２で記憶された画像データの名称は、“202.jpg”と表される。なお、サイクル番号については、１から順に記憶するサイクル数（本実施形態では３）までの番号を以下のように繰り返して用いる。

１→２→３→１→２→３→１→・・・
さらに、記憶する画像データと関連付けて、動作終了と判定された時間、検出マークの重心Ｇ、面積Ｄ、制御信号の詳細等の制御情報を記憶手段１３に保持される情報テーブルＴに書き加えていく。

図１０に、情報テーブルＴの一例を示す。
情報テーブルＴは、動作ステップごとに作成される。そして、図１０に示されるように、横１列に、１回のステップの情報が保持され、最新のステップの情報は一番下の行に追加されていく。また、左から順に、画像データの記憶時刻、可動部毎の重心Ｇの水平、垂直座標Ｇ_x、Ｇ_y及び面積Ｄ、その動作ステップの開始から終了までに要した時間、その動作ステップで異常が発生した場合の記憶画像名が記憶される。なお、ステップＳ０１では移動しない上下ユニット２１の位置のように、得られていない情報は空欄（データ上は、−９９９などの通常は設定されない値）となる。

このように、関連する画像データが廃棄された後も制御情報を記憶手段１３に残しておくことで、可動部の位置認識結果の時系列変化、度数分布などの算出に使用し、異常発生原因の特定を容易にすることができる。

一方、移動終了判定部１２３は、ΔＧ、ΔＤのどちらか一方でも、許容誤差範囲を超えた場合、搬送ユニット２１の前進動作は完了していないと判断する。そして制御手段１２は、判定に使用した画像データを廃棄するとともに、次に撮像手段１１から送られてくる画像に対して同様に、可動部の位置認識、動作終了の判定手順を繰り返す。

次に、本実施形態に係る組み立て装置２に発生した異常の検出について説明する。
異常検出は、制御手段１２の異常検出部１２４において、可動部が規格範囲を越えて移動したか否か、又は可動部の動作が終了したとの判定が所定時間内に得られたか否か、若しくはワーク２０２や部品２０３の配置に異常があるか否かを判定することにより行う。（ステップＳ２０９、Ｓ２１０、Ｓ２１１）。

搬送ユニット２１や上部ユニット２２１といった可動部が、一動作に必要とする時間は予め予測できる。そのため、その予測できる時間を超えても、動作終了の判定ができない場合には、何らかの異常が発生していると考えられる。

そこで、異常検出部１２４は、画像データの取得（Ｓ２０２）後において、準備完了判定ステップ（ステップＳ００）の条件が満たされてからの経過時間と、上述の許容時間Ｔ１及び限界時間Ｔ２との比較を行う。許容時間Ｔ１よりも経過時間が多い場合、又は限界時間Ｔ２を過ぎても搬送ユニット２１が移動を終了しない場合、異常を検出する（ステップＳ２０９）。なお、撮像手段１１の撮影間隔は一定のため、１動作期間内に取得された画像データの枚数をカウントし、その合計に撮影間隔の時間を乗ずることにより、その動作期間中の経過時間を知ることができる。したがって、動作終了判定を行った画像の枚数を経過時間の代わりの指標として用いてもよい。

異常を検出した場合、異常検出部１２４は、最後に解析を行った画像データを記憶手段１３に記憶し、記憶手段１３に記憶されている直近数サイクルのステップＳ０２の画像を複製して別途記憶する（ステップＳ２１２）。そして制御手段１２は、動作指示部１２１を通じて、組み立て装置２を停止させる（ステップＳ２１３）。なお、搬送ユニット２１が限界時間Ｔ２に到達するまでに移動を終了した場合には、組み立て装置２を停止させず、表示手段１４を介して警告を与えるだけにしてもよい。

また、異常検出部１２４は、可動部がオーバーランを起こす場合、例えば、搬送ユニット２１が、予め設定された前進限界位置を越えてワーク搬送路２０１へ接近するような場合には、設備の調整に狂いが生じている可能性が高いため、異常を検出する（ステップＳ２１０）。

この判定は、以下のように行う。
まず、各可動部についての動作限界位置Ｇ_Lを、検出マークの画像データ上の重心位置に対して予め設定し、記憶手段１３に記憶しておく。ステップＳ２１０は、ステップＳ２０４で位置検出部１２２により可動部の重心Ｇが算出された後に行われ、上述した検出マークの認識結果から求めた重心Ｇと、移動限界位置Ｇ_Lを比較する。そして、例えばＧ_Lが垂直座標の上限値として設定される場合、重心Ｇの垂直座標Ｇ_yが移動限界位置Ｇ_Lを越えると、異常検出部１２４は、異常を検出する。

さらに、経過時間及び可動部の位置から異常が検出されない場合でも、ワークや部品が所定の位置に存在しているか否かにより、異常を検出する（ステップＳ２１１）。この判定は、搬送ユニット２１の動作が終了し、組み立て装置２が静止状態となった時点で行う。搬送ユニット２１が未だ前進動作中に判定を行っても、その後の動作でワーク２０２や部品２０３が転落するといった異常が発生する可能性があるためである。そこで、ステップＳ２１１は、ステップＳ２０６の後、動作が終了したと判定された画像データに基づいて、ステップＳ００の稼動準備が整ったか否かの判定と同様の方法により実施する。すなわち、組み立て装置２が正常動作している場合、各動作ステップの終了時点において、ワークや部品は、それぞれ所定の位置に存在しているはずである。ステップＳ０２では、ワーク２０２がワーク搬入路２３の入口２３１に存在し、部品２０３が部品投入部２４に存在しているはずである。

そこで、異常検出部１２４は、搬入ユニット２１の前進動作が終了したと判定された画像データに対し、ステップＳ００と同様、正常動作時にワーク２０２や部品２０３が存在しているはずの位置に関心領域を設定し、その関心領域内の信号値を調べて、ワーク等が存在しているか否かを調べる。そして、ワーク２０２、部品２０３がそれぞれ所定位置に存在していると判定されれば、異常無と判定する。一方、ワーク２０２、若しくは部品２０３のどちらか一方でも存在しない場合、異常発生と判定し、判定に使用した画像データを記憶手段１３に記憶し、またステップＳ０２に相当する記憶画像データを複製し、異常発生時間の分かる情報とともに記憶する。（ステップＳ２１２）そして、組み立て装置２を停止する（ステップＳ２１３）。

なお、異常検出部１２４は、組み立て装置２の異常を検出した場合、その動作ステップに相当する画像データを別途複製し、異なる名称を付けて記憶手段１３に別途記憶する。例えば、上述した例を用いて説明すると、ステップＳ０２で異常が発生したと判定された場合、ステップＳ０２に相当する画像データ“102.jpg”、“202.jpg”、“302.jpg”について、ステップ番号とそれぞれの画像が記憶された時間（例として、それぞれ、５月６日１３時２分１０秒、５月６日１３時２分４０秒、５月６日１３時３分２０秒、とする）を組み合わせて画像名称、“020506130210.jpg”、“020506130240.jpg”、“020506130320.jpg”として記憶する。また、上述した情報テーブルＴの関連する項目に、この画像名称を追加する。このように、別途名称を付けて記憶された画像データは、消去されることなく記憶される。

なお、装置の停止とともに、装置の操作者に対して警告を発生するよう構成してもよい。係る警告は、装置の作動状態を監視する表示手段１４上への警告表示、又は警告音の発生等で行うことが可能である。

上述した動作終了判定方法及び異常発生有無の判定方法は、以下に述べるステップＳ０４、Ｓ０６等、組み立て装置２の可動部の各動作終了判定ステップにおいても同様に使用する。ただし、着目する検出マーク、設定する関心領域、及び基準となる重心位置Ｇ_org、面積Ｄ_orgは、各動作終了判定ステップについて最適化する。この最適化についても、上述した事前準備と同様の方法で、動作終了判定を行う可動部の動作終了時を示す参照画像データを予め取得しておき、その参照画像データから着目する検出マークの重心、面積を調べておけばよい。

このように、検出マークの重心位置、及び面積を検出し、理想状態におけるそれらと比較することにより、その検出マークが付された可動部について正確な位置決定が可能となり、装置の信頼性を向上させることが可能である。

制御手段１２の移動終了判定部１２３が、搬送ユニット２１の前進動作は終了したと判定した場合、制御手段１２は、動作指示部１２１を通じて搬送ユニット２１のサーボモータに搬送ユニット２１を後退動作させるよう制御信号を送信する。その制御信号に基づいて、搬送ユニット２１はワークを保持したまま後退動作を行う（ステップＳ０３）。なお、この後退動作に伴って、ワーク２０２に取り付ける部品２０３が、部品投入部より組み立て部２５に移動する。

次に、移動終了判定部１２３は、搬送ユニット２１の後退が終了したか否かを判定する（ステップＳ０４）。

その判定方法はステップＳ０２と同様である。即ち、位置検出１２２に算出された検出マーク２１３の重心位置Ｇと面積Ｄを用いて、事前に求められているそれらの値との差異が許容範囲内に収まるか否かで判定する。また、ステップＳ０２と同様に、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶する。同様に、異常検出部１２４は、異常発生の有無を調べ、異常を検出した場合には、所定の画像データを記憶し、設備を停止させる。

移動終了判定部１２３が、搬送ユニット２１の後退動作は終了したと判定した場合、制御手段１２は、動作指示部１２１を通じて上部ユニット２２１のサーボモータに上部ユニット２２１を下降させる制御信号を送信する。その制御信号に基づいて、上部ユニット２２１が下降する（ステップＳ０５）。

その後、移動終了判定部１２３が、上部ユニット２２１の下降動作が終了したか否かを判定する（ステップＳ０６）。その判定方法はステップＳ０２と同様である。即ち、予め設定した関心領域内で検出マーク２２５の重心位置と面積を算出し、事前に求められているそれらの値との差異が許容範囲内に収まるか否かで判定する。また、ステップＳ０２と同様に、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶する。さらに、異常の検出も同様に行われる。

本実施形態では、撮像手段１１を、組み立て部２５の直上でなく、斜め３０°の方向に配置したことにより、上部ユニット２２１の上下運動も、画像上で位置の変化として捉えることを可能としたので、複数のＣＣＤカメラを用いることを要しない。なお、正確に可動部の位置を把握するために、撮像手段１１で撮影した画像上において、全ての可動部の動作距離が、１０画素以上となるように配置することがさらに好ましい。

移動終了判定部１２３が、上部ユニット２２１の下降動作は終了したと判定した場合、次の動作として、ワークチャック２２３を閉じるよう、動作指示部１２１を通じて上部ユニット２２１のサーボモータに制御信号を送信する。その制御信号に基づいて、ワークチャック２２３が閉じて組み立て部２５にある部品２０３を捕捉する（チャック動作）（ステップＳ０７）。

その後、移動終了判定部１２３が、ワークチャック２２３のチャック動作が終了したか否かを判定する（ステップＳ０８）。なお判定方法はステップＳ０２と同様であり、予め設定された関心領域内でワークチャック２２３に付された検出マーク２２６の重心位置、面積を調べて判定する。また、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様である。さらに、異常の検出も同様に行われる。

移動終了判定部１２３が、ワークチャック２２３のチャック動作は終了したと判定した場合、制御手段１２は、動作指示部１２１を通じて上部ユニット２２１のサーボモータに上部ユニット２２１を上昇させるよう制御信号を送信する。その制御信号に基づいて、上部ユニット２２１は部品を保持したまま上昇する（ステップＳ０９）。

その後、移動終了判定部１２３が、上部ユニット２２１の上昇動作が終了したか否かを判定する（ステップＳ１０）。この判定は、上部ユニット２２１に付された検出マーク２２５を用いる他、上記Ｓ０２と同様に実施する。また、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様である。さらに、異常の検出も同様に行われる。

移動終了判定部１２３が、上部ユニット２２１の上昇動作は終了したと判定した場合、次の動作として、搬送ユニット２１を送り動作させ、その後前進動作させるよう、動作指示部１２１を通じて搬送ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づいて、搬送ユニット２１はワーク２０２を組み立て部２５に搬送するため、部品を保持したままワーク搬送路２０１に沿って送り動作し、その後前進動作する（ステップＳ１１）。

ステップＳ０２と同様の判定方法により、移動終了判定部１２３は、搬送ユニット２１の移動が完了したか否かを判定する（ステップＳ１２）。同様に、搬送ユニット２１の移動が完了したと判定された画像データを記憶し、それ以外の画像データの廃棄も同様に実施する。ただし、搬送ユニット２１がワーク排出部側へ移動したことにより、ワーク搬入部側の検出マーク２１３が、上部ユニット２２１に隠れて見えなくなるため、ワーク排出部側の検出マーク２１４を用いて判定を行い、関心領域も検出マーク２１４の存在位置を含むように設定しておく。さらに、異常の検出も同様に行われる。

移動終了判定部１２３が、搬送ユニット２１の移動は終了したと判定した場合、次の動作として、上部ユニット２２１を下降させるよう、動作指示部１２１を通じて上部ユニット２２１のサーボモータに制御信号を送信する。その制御信号に基づいて、上部ユニット２２１が下降し、組み立て部２５にあるワーク２０２に、部品２０３を取り付ける（ステップＳ１３）。この時、下部ユニット２２２は、ワーク２０２を固定する。

移動終了判定部１２３は、ステップＳ０４と同様の判定方法により、上部ユニット２２１の下降動作が終了したか否か、判定する（ステップＳ１４）。判定に用いる検出マークも同様であり、また、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様である。さらに、異常の検出も同様に行われる。

移動終了判定部１２３が、上部ユニット２２１の下降動作は終了したと判定した場合、次の動作として、搬送ユニット２１に後退動作させ、その後戻り動作をさせる。同時に、ワークチャック２２３に対し、部品２０３をリリースするよう開く動作（アンチャック動作）を行わせる。そのため、制御手段１２は、動作指示部１２１を通じて、搬送ユニット２１のサーボモータに制御信号を送信する。その制御信号に基づき、搬送ユニット２１がワーク２０２をリリースして後退し、その後戻り動作して原点位置に復帰する。同様に、上部ユニット２２１のサーボモータに制御信号を送信する。その制御信号に基づき、ワークチャック２２３はアンチャック動作を行う（ステップＳ１５）。

次に、移動終了判定部１２３は、搬送ユニット２１の移動が完了し、原点位置に復帰したか否かを判定する。同時に、ワークチャック２２３のアンチャック動作が完了したか否か判定する（ステップＳ１６）。

搬送ユニット２１の移動完了、アンチャック動作の完了は、それぞれ上述してきた判定方法と同様の方法で行われるが、ステップＳ１６では、それらを同一の画像上で同時に実行することが可能である。即ち、搬送ユニット２１の検出マーク２１３の重心位置、面積を調べるための関心領域と、ワークチャック２２３に付された検出マーク２２６の重心位置、面積を調べるための関心領域をそれぞれ設定し、関心領域毎に判定を行う。また、経過時間による異常の検出やオーバーランによる異常の検出は、搬送ユニット２１及びワークチャック２２３についてそれぞれ行われる。

それぞれの判定の結果、搬送ユニットの移動完了、アンチャック動作の完了とも確認できると、制御手段１２は、次の動作として、上部ユニット２２１を上昇させるよう、動作指示部１２１を通じて上部ユニット２２１のサーボモータに制御信号を送信する。その制御信号に基づき、上部ユニット２２１は上昇する（ステップＳ１７）。

その後、移動終了判定部１２３が、ステップＳ１０と同様に、上部ユニット２２１の上昇動作が終了したか否かを判定する（ステップＳ１８）。また、動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様に行う。さらに、異常の検出も同様に行われる。

移動終了判定部１２３が、上部ユニット２２１の上昇動作は終了したと判定した場合、次の動作として、部品組み付け済みのワーク（完成品）２０４を捕捉するため、搬送ユニット２１を前進させる。そのため、制御手段１２は、動作指示部１２１を通じて搬送ユニット２１のサーボモータに対して制御信号を送信する。その制御信号に基づいて、搬送ユニット２１は前進動作する（ステップＳ１９）。

次に、移動終了判定部１２３はステップＳ１９で搬送ユニット２１の前進が終了したか否か判定する（ステップＳ２０）。動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様に行う。さらに、異常の検出も同様に行われる。

ステップＳ２０で、移動終了判定部１２３が搬送ユニット２１の前進が終了したと判定した場合、制御手段１２は、動作指示部１２１を通じて搬送ユニット２１のサーボモータに対して後退動作をさせる制御信号を送信する。その制御信号に基づいて、搬送ユニット２１は完成品２０４を保持したまま後退する（ステップＳ２１）。

そして、移動終了判定部１２３は、搬送ユニット２１が所定の位置まで後退したことを確認する（ステップＳ２２）。動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様に行う。さらに、異常の検出も同様に行われる。

ステップＳ２２で、移動終了判定部１２３が搬送ユニット２１の後退が終了したと判定した場合、制御手段１２は、動作指示部１２１を通じて、搬送ユニット２１のサーボモータに対して送り動作及び前進動作をさせる制御信号を送信する。その制御信号に基づき、搬送ユニット２１は完成品２０４をワーク排出部２６へ排出するために、完成品２０４を保持したまま、送り動作し、その後前進する（ステップＳ２３）。

次に、移動終了判定部１２３は、ステップＳ２３の搬送ユニット２１の前進が終了したか否か判定する（ステップＳ２４）。動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様に行う。さらに、異常の検出も同様に行われる。

ステップＳ２４で、搬送ユニット２１の前進終了を確認すると、完成品２０４がワーク排出部２６のワーク出口２６１に排出される。そして、制御手段１２は、モータドライバを通じて搬送ユニット２１のサーボモータに対して、搬送ユニット２１が、後退動作した後、戻り動作を行うよう制御信号を送信する。そしてその制御信号に基づき、搬送ユニット２１は原点位置に復帰する（ステップＳ２５）。

最後に、搬送ユニット２１が原点位置に復帰したか否かを確認する（ステップＳ２６）。ステップＳ２６では、搬送ユニット２１に付された検出マーク２１３を用いて、他のステップＳ１６同様に判定する。動作終了判定基準を満たさない画像データは廃棄し、判定基準を満たした画像データは記憶手段１３に記憶することも同様に行う。さらに、異常の検出も同様に行われる。

上記のように、撮像手段により撮像された動画を処理するのではなく、動作終了時点での静止画を用い、また画像全域を用いずに、関心領域のみを対象として判定処理を行うことで、高速に処理を行うことが可能となり、若しくは安価なプロセッサを用いて処理することが可能となる。また上述したように、画像データを解析し、各可動部の位置を確認することで、他のセンサがなくとも、原点位置確認やオーバーラン検知を行うことが可能となり、且つ各部の動作完了を判定した後に、次の動作を行うよう指令を出すことで、誤動作を防止することが可能となる。さらに、検出マークの重心位置、面積を判定に用いることで、各可動部の位置を精密に評価することが可能となり、誤動作の防止をより確実に行うことができる。また、ステップＳ０２〜Ｓ２６の各動作終了判定ステップにおいて、各可動部の動作完了と判定した画像データを記憶することにより、事後的にそれらの画像を参照することで組み立て装置２の動作解析を簡便に行うことが可能となり、特に異常発生時における原因の究明を容易に行うことが可能となる。

さらに、異常を発生した動作ステップについては、その異常発生時から過去数サイクル分のその動作ステップの画像だけを別途記憶することで、画像データの記憶に必要なメモリ容量の増大を抑制しつつ、異常発生の原因究明に必要なデータを記憶しておくことができる。

次に、記憶手段１３に記憶した画像データから、組み立て装置２の動作状態の再現を行う場合の動作について説明する。

図１１に、動作再現時の表示手段１４の画面の概略構成図を示す。
画像表示部１４１は、記憶手段１３に記憶された画像データを表示する。データ表示部１４２は、画像表示部１４１に表示された画像に関連する情報（例えば、時間、動作終了判定対象可動部についての位置認識結果等）を表示する。また、操作部１４３は、表示する画像データを時間的に連続表示させたり、特定の画像データを呼び出して表示するといった機能をユーザに提供する。また、呼び出した画像データに基づいて、上述したステップＳ０２、Ｓ０４等の動作終了判定処理を模擬的に行わせる機能も提供する。

ユーザは、異常発生時の画像データを表示させ、関連情報を確認したり、異常発生までの数サイクル分の各動作ステップ終了後の画像を連続的に表示させること等により、容易に異常発生原因を突き止めることができる。

さらに、表示部１４は、情報テーブルＴを参照して、過去数サイクル分の可動部の位置認識結果を時系列的に表示させたり、位置認識結果の度数分布を表示させてもよい。このような時系列情報又は統計情報は、異常原因の特定を容易にしたり、位置認識に使用する閾値の最適化を行うための参考として利用することができる。

また、記憶されている画像データが、各動作の終了時の画像であるため、各可動部も静止した状態で写っており、画像上ではっきりと視認可能となり、上記動作解析において問題箇所を発見することが容易である。

なお、上述してきた実施形態は、本発明を説明するためのものであり、本発明は、これらの実施形態に限定されるものではない。

本発明に係る監視制御装置の構成ブロック図である。 本発明に係る監視制御装置を実装した組み立て装置の構成ブロック図である。 本発明に係る監視制御装置を実装した組み立て装置の概略上面図である。 本発明に係る監視制御装置を実装した組み立て装置の概略斜視図である。 本発明に係る監視制御装置を実装した組み立て装置のフローチャートである。 本発明に係る監視制御装置を実装した組み立て装置のフローチャートである。 本発明に係る監視制御装置を実装した組み立て装置のタイミングチャートである。 関心領域の設定範囲、及び検出マークの重心の概要を示す図である。 本発明に係る監視制御装置による、組み立て装置の各可動部の移動終了判定及び異常検出手順のフローチャートである。 情報テーブルの一例である。 動作再現時のモニタ画面の概略構成図である。

符号の説明

１ 監視制御装置
１１ 撮像手段
１２ 制御手段
１２１ 動作指示部
１２２ 位置検出部
１２３ 移動終了判定部
１２４ 異常検出部
１３ 記憶手段
１４ 表示手段
２ 組み立て装置
２１ 搬送ユニット
２２ 上下ユニット
２１３、２１４、２２５、２２６ 検出マーク
１０１ 関心領域

Claims (7)

1. １回の動作を分割した複数の動作ステップを経て移動し、該動作を繰り返す可動部を撮影し、画像データを取得する撮像手段と、
   前記画像データを記憶する記憶手段と、
   前記画像データに基づいて前記可動部の位置を検出する位置検出部と、
   前記複数の動作ステップのそれぞれについて、前記可動部の位置に基づいて前記可動部が移動目的地に到達したか否か判定し、該移動目的地に到達したと判定した場合、その判定に用いた画像データを前記記憶手段に一時記憶して、複数の前記動作に含まれる各動作ステップの画像データを一時記憶する移動終了判定部と、
   前記可動部の異常を検出し、異常が検出された場合には、前記一時記憶された画像データから、前記複数の動作ステップのうち、異常が検出された動作ステップと同一の動作ステップの画像データを抽出して前記記憶手段に記憶する異常検出部を有する制御手段と、
   を有することを特徴とする監視制御装置。
2. 前記記憶手段に記憶された画像データを表示する表示手段をさらに有する、請求項１に記載の監視制御装置。
3. 前記異常検出部は、前記複数の動作ステップのそれぞれについて、前記可動部が移動を開始してから移動目的地に到達したと判定されるまでの所要時間が、予め定めた値よりも長い場合、異常と判定する、請求項１又は２に記載の監視制御装置。
4. 前記異常検出部は、前記複数の動作ステップのそれぞれについて、前記可動部の位置に基づいて、前記可動部が予め定められた境界を越えて移動したと判定した場合に異常と判定する、請求項１又は２に記載の監視制御装置。
5. １回の動作を分割して複数の動作ステップを経て移動し、該動作を繰り返す可動部を撮影し、画像データを取得する画像取得ステップと、
   前記画像データに基づいて前記可動部の位置を検出する位置検出ステップと、
   前記複数の動作ステップのそれぞれについて、前記可動部の位置に基づいて前記可動部が移動目的地に到達したか否か判定する移動終了判定ステップと、
   前記判定ステップで、前記可動部が移動目的地に到達したと判定した場合、その判定に用いた画像データを一時記憶して、複数の前記動作に含まれる各動作ステップの画像データを一時記憶する第１の画像記憶ステップと、
   前記可動部の異常を検出する異常検出ステップと、
   前記異常検出ステップで、異常が検出された場合には、前記一時記憶された画像データから、前記複数の動作ステップのうち、異常が検出された動作ステップと同一の動作ステップの画像データを抽出して記憶する第２の画像記憶ステップと、
   を有することを特徴とする監視制御方法。
6. 前記異常検出ステップは、前記複数の動作ステップのそれぞれについて、前記可動部が移動を開始してから移動目的地に到達したと判定されるまでの所要時間が、予め定めた値よりも長い場合、異常と判定する、請求項５に記載の監視制御方法。
7. 前記異常検出ステップは、前記複数の動作ステップのそれぞれについて、前記可動部の位置に基づいて、前記可動部が予め定められた境界を越えて移動したと判定した場合に異常と判定する、請求項５に記載の監視制御方法。

Images