JP2018010368A - 工程判断装置及び工程判断方法 - Google Patents

Abstract

【課題】判定に用いられる撮影画像の中で最適な判定タイミングを取得することにより、確実な判定を行うことが可能な工程判断装置及び工程判断方法を提供する。
【解決手段】動作順序に従い対象物６に対して複数の工程を実行する作動部５の動作を撮影する撮像装置２と、撮像装置２によって撮影された作動部５の動作画像に基づいて複数の工程が正常に行われているか否かを判断する判断部３とを有する工程判断装置１であって、判断する工程において対象物６が停止している停止箇所を動作画像より抽出した後に停止箇所における対象物６の特定画像を抽出してこれを基準画像６ａとして記憶し、判断部３は記憶した基準画像６ａと判断する工程において取得した取得画像とを比較して、判断する工程が正常に行われているか否かを判断する。
【選択図】図８

Description

本発明は、工程判断装置及び工程判断方法に関する。

近年の製造業では、ロボット等の機械による生産工程の自動化が進み、作業者が介在しない場所での工程異常を如何に素早く捉えて設備稼働率の向上に繋げることができるかが課題となっている。そこで、カメラの画像を用いて生産設備やワークの位置や姿勢を捉え、正常状態時の画像と比較及び差分値計算を行うことにより工程が正常であるか異常が発生していないかを判別する技術が知られている。
この技術では、カメラで撮影した映像の中で、どのタイミングで正常状態時や判定に用いる画像を静止画像として切り取るかという問題があり、一定時間間隔で判定する手段やワークが所定位置で停止したタイミング信号を生産設備側から受け取る手段等がある。

一定時間間隔で判定する手段では、多品種少量生産においては一つの生産設備が多品種の生産に対応している場合が多く、生産設備のタクトタイムが必ずしも一定ではないため品種毎の設定の手間が大きいという問題点がある。
また、ワークが所定位置で停止したタイミング信号を生産設備側から受け取る手段では、カメラ画像の遅延等によるタイミングのずれが少しでもあると、ワークが停止する前後のぶれた画像を捉えてしまう可能性があり、正常な判定を行うことができないという問題点がある。
このような問題点を解決すべく、予め決められた時間間隔毎に装置可動部のサンプリング画像を撮影し、装置に貼付されたマーカの位置と正常状態時でのマーカ位置との距離を差分計算により算出し、閾値との比較により正常か異常かを判断する技術が提案されている（例えば「特許文献１」参照）。

しかし「特許文献１」に記載された技術では、多品種少量生産において用いられているようなタクトタイムが一定ではない生産設備では、画像判定のタイミングの設定において多くの時間を要すると共に難易度が高いという問題点がある。これは、実際にワーク搬送を行うロボット側と画像判定を行うカメラ側との間で判定トリガ信号のやりとりを行う必要がある場合には、カメラの種類によっては画像取得の遅延の影響や信号線の配線状態の影響等により、判定に用いるべき画像を正しく取得できない場合があるためである。
本発明は、上述した問題点を解決し、判定に用いられる撮影画像の中で最適な判定タイミングを取得することにより、確実な判定を行うことが可能な工程判断装置及び工程判断方法の提供を目的とする。

本発明は、動作順序に従い対象物に対して複数の工程を実行する作動部の動作を撮影する撮像装置と、前記撮像装置によって撮影された前記作動部の動作画像に基づいて前記複数の工程が正常に行われているか否かを判断する判断部とを有する工程判断装置であって、判断する前記工程において前記対象物が停止している停止箇所を前記動作画像より抽出した後に前記停止箇所における前記対象物の特定画像を抽出してこれを基準画像として記憶し、前記判断部は記憶した前記基準画像と判断する前記工程において取得した取得画像とを比較して、判断する前記工程が正常に行われているか否かを判断することを特徴とする。

本発明によれば、判定トリガであるトリガ領域の設定も工程が正常であるか否かの判定も撮像装置によって撮影した画像の中だけで行うため、撮像装置側と作動部側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

本発明の一実施形態を適用した工程判断装置の概略図である。 本発明の一実施形態に用いられる判断部の制御ブロック図である。 本発明の一実施形態に用いられる撮像装置が配置される作業工程の概略図である。 本発明の一実施形態に用いられる正常画像登録処理動作を説明するフローチャートである。 本発明の一実施形態におけるトリガ領域設定を説明する概略図である。 本発明の一実施形態におけるトリガ領域設定を説明する概略図である。 本発明の一実施形態における判定領域設定を説明する概略図である。 本発明の一実施形態における工程判断動作を説明するフローチャートである。 本発明の一実施形態における正常異常判定を説明するフローチャートである。 本発明の一実施形態における工程判断結果の一例を示す概略図である。

図１は、本発明の一実施形態を適用した工程判断装置を示している。同図において工程判断装置１は、カメラである複数の撮像装置２ａ，２ｂ，２ｃ，２ｄ，２ｅと判断部としてのパーソナルコンピュータ３（以下、判断部３という）とを有しており、各撮像装置２と判断部３とはネットワーク４を介して接続されている。
各撮像装置２は後述する作動部５の工程毎にそれぞれ設けられており、一つの工程に複数設けられる場合もある。判断部３にはＨＤＤ等の外部機器が接続されており、各撮像装置２で撮影した画像データや各設定データ等が外部機器に記憶される。ネットワーク４は情報伝達経路であり、ＵＳＢやＬＡＮケーブル等が含まれる。

図２は判断部３の制御ブロック図を示している。判断部３は、各撮像装置２から画像を取得する映像受信部３ａ、各種設定時の操作を入力する入力部３ｂ、各種情報を設定する設定部３ｃ、画像データや各種設定情報を記憶する記憶部３ｄを有している。
また判断部３は、取得画像または動画ファイルの映像を再生する再生部３ｅ、画像データ内の特定領域を指定する指定部３ｆ、特定領域の座標値と該領域内の基準画像を登録する登録部３ｇ、２枚の画像の差分を計算する差分計算部３ｈを有している。
さらに判断部３は、記憶されている基準画像と取得した取得画像との差分から正常か異常かを判定する判定部３ｉ、判定部３ｉによる判定結果データを出力するデータ出力部３ｊ、表示動作を制御する表示制御部３ｋ、各種データを表示する表示部３ｌを有している。

図３は、本発明の工程判断装置１を構成する撮像装置２が配置される作業工程の概略図を示している。同図においてロボットである作動部５は吸着部５ａを有しており、吸着部５ａの先端に対象物としてのワーク６を吸着保持している。
本実施形態において、例えば作動部５は折り畳みロボット、ワーク６は紙製の箱であり、工程判断装置１は所定のワーク６が所定の位置に正しく配置されたか否かを判断している。撮像装置２は、本工程における作動部５及びワーク６の作動及び移動を連続的に撮影する。

図４は、工程判断装置１における基準画像の記憶動作、すなわち正常画像登録処理の動作フローチャートを示している。以下、このフローチャートに基づいて工程判断装置１の正常画像登録処理について説明する。
先ず、工程判断装置１に動作指令が送られて正常画像登録処理が行われる信号が入力されると、撮像装置２を固定して作動している作動部５の一連の動作を撮影する。撮像装置２による撮影後、判断部３は記憶部３ｄから撮像装置２によって撮影され記憶された画像データを読み出し（ＳＴ０１）、基準画像の判定タイミングを見つけるための差分処理を行う画像領域をトリガ領域として設定する（ＳＴ０２）。

トリガ領域の設定は、図５（ａ）に示すように、連続した画像データから所定時間毎の２枚の画像を抽出し、各画像すなわちワーク６が停止しているか否かを判定する。本実施形態における判定は、図５（ｂ）に示すように、各画像をそれぞれ２値化画像として各画像の位置を判定している。
この判定において、図５（ｂ）に示すように各画像が差分あり、すなわち移動していると判定された場合には、図６に示すように連続的に画像を抽出して、監視対象であるワーク６が止まるまで監視を続け、ワーク６が止まった位置をトリガ領域として設定する。なお、本実施形態では停止した場合の判断として２つの２値化画像が完全に黒色を呈した場合を示したが、完全に黒色を呈する場合は少ないため、黒色が閾値以上（例えば面積比で所定の数値α以上）となった場合に停止と判断する。

ワーク６が停止してトリガ領域が設定されると、次に停止箇所におけるワーク６が正常であるか否かを判断するための差分処理を行う画像領域を判定領域として設定する（ＳＴ０３）。判定領域は、図７（ａ）に示すように、ワーク６の特定画像である特徴的な部位、例えばロゴマークを取り出して設定する。そして、このロゴマークと対応するワーク６の部位を判定領域６ａとして設定し、この判定領域６ａを基準画像として切り出して登録部３ｇに登録する（ＳＴ０４）。なお、本実施形態では設定した基準画像と６ａと判断する工程において取得した取得画像とを比較するが、両者が完全に一致しなくともある程度の一致率で一致した場合（例えば面積一致率で所定の数値β以上）に一致と判断する。

基準画像６ａが登録された後にパラメータが設定される（ＳＴ０５）。このパラメータは各差分計算値の閾値であり、上述したステップＳＴ０２におけるトリガ領域設定の閾値α及びステップＳＴ０４における一致率の閾値βである。本実施形態では、例えばαを９８％、βを９５％に設定する。この一連の設定動作により、正常画像登録処理動作が完了する。

次に、工程判断装置１における工程判断動作を図８に示すフローチャートに基づいて説明する。この工程判断動作は、図４に示した正常画像登録処理動作の完了後に行われる。
工程判断装置１に工程判断動作指令が入力されると、判断部３は記憶部３ｄから撮像装置２によって撮影され記憶された画像データを読み出して、工程判断を行う画像、すなわち取得画像を取得する（ＳＴ１１）。

次に判断部３は、取得画像の判定タイミングを見つけるための差分処理を行う画像領域をトリガ領域として設定し（ＳＴ１２）、上述した判定領域が大まかに所定の位置に位置しているか否かが判断される（ＳＴ１３）。次に、上述と同様に取得した判定領域と一つ前の画像との差分が２値化された後に計算され（ＳＴ１４）、同一面積比が閾値であるαを超えたか否かが判断される（ＳＴ１５）。
ステップＳＴ１５において同一面積比が閾値α以下である場合にはステップＳＴ１１に戻って取得画像の取得が再度行われ、同一面積比が閾値αを超える場合にはこの取得画像を判定画像に採用して（ＳＴ１６）、以下に工程が正常であるか否かの判定が行われる（ＳＴ１７）。

ステップＳＴ１７における正常異常判定の動作を図９に示すフローチャートに基づいて説明する。判定が開始されると、判断部３は登録部３ｇから登録されている基準画像（図７（ａ）に符号６ｂ，６ｃ，６ｄ，６ｅで示す）を読み出し、これを図８において取得した取得画像と比較して差分を計算する（ＳＴ２１）。計算した差分（ＳＴ２２）が閾値β未満すなわち面積一致率が閾値βを超えた場合には、工程が正常であると判断してこの旨を表示部３ｌに表示（ＳＴ２３）して判定動作を終了する。計算した差分（ＳＴ２２）が閾値βを超えるすなわち面積一致率が閾値β未満の場合には、工程が異常であると判断してこの旨を表示部３ｌに表示（ＳＴ２４）して判定動作を終了する。
図１０は、工程判断装置１による工程判断動作の出力結果の一例を示している。この例では、撮像装置２の番号、工程判断結果、正常画像番号を示しているが、出力結果はこれに限られず、また結果は表示部３ｌに表示しても印刷出力してもよい。

上述したように本発明によれば、判断する工程においてワーク６が停止している停止箇所を動作画像より抽出した後に停止箇所におけるワーク６の特定画像を抽出してこれを基準画像６ａとして記憶し、判断部３は記憶した基準画像６ａと判断する工程において取得した取得画像とを比較して、判断する工程が正常に行われているか否かを判断している。この構成により、判定トリガであるトリガ領域の設定も工程が正常であるか否かの判定も撮像装置２によって撮影した画像の中だけで行うため、撮像装置２側と作動部５側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

また、トリガ領域を、ワーク６が完全に停止した停止箇所において取得しているので、撮像装置２による撮影タイミングのずれや撮影角度のずれといった原因による不具合の発生を防止することができ、正確な工程判断を行うことができる。
また、工程判断装置１による工程判断方法によれば、撮像装置２側と作動部５側とで判定トリガのやりとりを行う必要がなくなり、画像取得の遅延の影響、信号線の配線状態の影響等といった原因による不具合の発生を確実に防止することができ、より一層簡単で確実な工程の正常異常判定を行うことができる。

以上、本発明の好ましい実施の形態について説明したが、本発明はかかる特定の実施形態に限定されるものではなく、上述の説明で特に限定しない限り、特許請求の範囲に記載された本発明の趣旨の範囲内において、種々の変形・変更が可能である。本発明の実施の形態に記載された効果は、本発明から生じる最も好適な効果を例示したに過ぎず、本発明による効果は、本発明の実施の形態に記載されたものに限定されるものではない。

１ 工程判断装置
２ 撮像装置
３ 判断部（パーソナルコンピュータ）
５ 作動部
６ 対象物（ワーク）
６ａ 基準画像（判定領域）

特許第４３４９２９８号公報

Claims (5)

1. 動作順序に従い対象物に対して複数の工程を実行する作動部の動作を撮影する撮像装置と、前記撮像装置によって撮影された前記作動部の動作画像に基づいて前記複数の工程が正常に行われているか否かを判断する判断部とを有する工程判断装置であって、
   判断する前記工程において前記対象物が停止している停止箇所を前記動作画像より抽出した後に前記停止箇所における前記対象物の特定画像を抽出してこれを基準画像として記憶し、前記判断部は記憶した前記基準画像と判断する前記工程において取得した取得画像とを比較して、判断する前記工程が正常に行われているか否かを判断する工程判断装置。
2. 請求項１記載の工程判断装置において、
   前記停止箇所は複数の前記動作画像の差分に基づいて前記判断部が判断することを特徴とする工程判断装置。
3. 請求項２記載の工程判断装置において、
   前記判断部は複数の前記動作画像を２値化して前記差分を求めることを特徴とする工程判断装置。
4. 請求項３記載の工程判断装置において、
   前記差分は所定の閾値により判断されることを特徴とする工程判断装置。
5. 動作順序に従い対象物に対して複数の工程を実行する作動部の動作を撮影し、撮影された前記作動部の動作画像に基づいて前記複数の工程が正常に行われているか否かを判断する工程判断方法であって、
   判断する前記工程において前記対象物が停止している停止箇所を前記動作画像より抽出する第１工程と、抽出した前記停止箇所における前記対象物の特定画像を抽出してこれを基準画像として記憶する第２工程と、前記基準画像と判断する工程において取得した取得画像とを比較して前記工程が正常に行われているか否かを判断する第３工程とからなる工程判断方法。

Images