JP2006320962A - 溶接治具監視装置、画像処理装置およびプログラム - Google Patents

Abstract

【課題】ワークが治具に保持されているか否かを電装設備を用いることなく判断できる自動溶接装置における溶接治具監視装置を提供する。
【解決手段】ワーククランプ完了信号を受けて、撮影カメラからの画像を入力し（Ｓ１１、Ｓ１２）、入力された画像に基づいて、画像処理を行なって（Ｓ１３，Ｓ１４）、予め格納されたマスタ画像とパターンマッチングを行ない（Ｓ１５）、ワークが正しくクランプされているか否かを判断し（Ｓ１６〜Ｓ１９）、判断結果をＰＬＣへ出力する。ワークが正しく保持された後、溶接ロボットによって、自動溶接が行なわれる（Ｓ２２）。
【選択図】図３

Description

この発明は、自動溶接装置において、ワークの保持状態を確認できる溶接治具監視装置、画像処理装置およびプログラムに関する。

従来、溶接治具では、自動または人手でワークを治具にセットするが、このような装置においては、ワーククランプの確認やワークの検知のために、シリンダオートスイッチや、近接スイッチ等の電装機器が取付けられている。

また、溶接ロボットによる自動溶接において、ＣＣＤカメラで撮影した画像を用いて部材の取付け位置ずれを検出し、事前に教示された溶接開始点や終了点を補正して溶接する装置が、たとえば、特開平９−１３３８号公報（特許文献１）に記載されている。
特開平９−１３３８号公報（図１および段落番号００１０等）

従来の自動または人手でワークを取り付ける溶接治具では、センサ等の電装機器が用いられている。溶接治具上でのワークの保持確認において、従来からあるシリンダオートスイッチや近接センサ等の電装機器が用いられていると、自動溶接の際、溶接スパッタが原因で起こるスイッチ・センサの故障または、センサ固定ボルトの緩みによるセンサ位置ズレ等が生じ、自動運転が停止することがある。自動溶接において、これらのセンサが設けられていると、溶接スパッタが原因で自動運転が停止することがある。

一方で、溶接ロボットによる自動溶接において、ＣＣＤカメラで撮影した画像を用いて部材の取付け位置ずれを検出する装置においては、予め溶接されるべきワークが所定の位置にセットされてからのことしか考慮していないため、治具によるワークの保持の確認には使用できない。

この発明は、上記のような問題点に鑑みてなされたもので、ワークが治具に保持されているか否かを、シリンダオートスイッチや近接センサ等の電装設備を用いることなく判断できる、溶接治具監視装置、画像処理装置およびプログラムを提供することを目的とする。

この発明にかかる、画像処理装置は、ワークを保持する治具と、治具によるワークの保持状態を撮影する撮影手段と、撮影手段によって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、画像比較手段による比較結果によって、ワークが治具によって保持されているか否かを判断する判断手段と、判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段とを含む。

撮影手段によって撮影されたワーク保持画像を、予め定められた画像と比較し、その比較結果によって、ワークが治具によって保持されているか否かを判断する。

その結果、ワークが治具に保持されているか否かを電装設備を用いることなく判断できる溶接治具監視装置を提供できる。

好ましくは、治具はワークを保持する複数のシリンダを含み、撮影手段は、複数のシリンダによるワークの保持状態を撮影し、判断手段は、撮影手段による複数のシリンダによるワークの保持状態を判断して、ワークが治具によって所定の位置に保持されているか否かを判断する。

さらに好ましくは、治具は毎回ワークを保持し、判断手段は、各回毎に、ワークが治具によって所定の位置に保持されているか否かを判断し、予め定められた画像は、判断手段が、１回前にワークが治具によって所定の位置に保持されている、と判断したときの画像である。

なお、判断手段は、パターンマッチング法によって、ワークが治具によって所定の位置に保持されているか否かを判断してもよい。

シリンダはワークを保持するためのアームを有し、撮影手段は、アームの一部の領域を撮影し、ワーク保持画像として撮影してもよい。

この発明の他の局面によれば、画像処理装置は、治具によるワークの保持状態を撮影する撮影カメラによって撮影された画像を処理する画像処理装置である。画像処理装置は、撮影カメラによって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、画像比較手段による比較結果によって、ワークが治具によって所定の位置に保持されているか否かを判断する判断手段と、判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段とを含む。

この発明のさらに他の局面においては、治具によるワークの保持状態を撮影する撮影カメラによって撮影された画像を処理するプログラムは、コンピュータに、撮影カメラによって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、画像比較手段による比較結果によって、ワークが治具によって所定の位置に保持されているか否かを判断する判断手段と、判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段として作動させる。

以下、図面を参照して、この発明の一実施形態について説明する。図１は、この発明に係る自動溶接装置に用いられる溶接治具監視装置１０の全体の概略構成を示すブロック図である。図１を参照して、溶接治具監視装置１０は、自動溶接装置５０の治具１５上で溶接されるワーク１３を保持するシリンダ１４の、ワーク１３の保持状態を撮影する撮影カメラ（撮影手段）１１と、撮影カメラ１１で捕えた画像を処理する画像処理装置２０と、治具１５によるワーク１３の取付け状態等を示す信号を画像処理装置２０に送信するＰＬＣProgrammable Logic Controller)２９とを含む。画像処理装置２０には、撮影カメラ１１によって撮影された画像を表示するモニタ２６が接続されている。

図２は、図１に示した溶接治具監視装置１０の要部を示すブロック図である。図２を参照して、自動溶接装置には、ワーク１３を載置するテーブル１６上にシリンダ１４を有する治具１５が設けられ、シリンダ１４によってワーク１３が保持される。治具１５は、それぞれがワーク１３を保持するための保持具を有する複数のシリンダ１４ａ，１４ｂ・・・を含む。

溶接治具監視装置１０は、ワーク１３のシリンダ１４ａ，１４ｂによる保持状態を撮影する撮影カメラ１１に接続された画像処理装置２０とを含む。ここで撮影カメラ１１は白黒カメラであるが、カラーカメラであってもよい。また、治具１５の近傍には、撮影環境を向上させるため、照明器具１２が設けられている。

画像処理装置２０は、画像処理装置２０全体を制御するＣＰＵ２１と、撮影カメラ１１の撮影した画像を入力する画像入力ボード２２と、データ等を保持するメモリ２３と、後に説明する画像処理装置２０の動作を規定するプログラム等を格納するハードディスク２４と、モニタ２６に撮影カメラ１１による撮影状態を表示するためのモニタポート２５と、ＰＬＣ２９とのインターフェイスとなるＲＳ２３２Ｃポート２７およびデジタル入出力ボード２８とを含む。

データの流れとしては、撮影カメラ１１から出力された信号を画像入力ボード２２に取り込み、アナログ画像信号をデシタル画像データとして変換する。変換された画像データはＰＣＩバスを経由してメモリ２３に記憶しＣＰＵ２１で処理を行う。一方、治具１５によるワーククランプの判定結果は、画像処理装置２０から自動溶接装置全体を管理しているＰＬＣ２９へ出力される。

次にＣＰＵ２１が行なう、画像処理装置２０の処理内容について説明する。図３はその処理フローを示すフローチャートである。図３を参照して、まずワーク１３をシリンダ１４でクランプ後、画像処理装置２０は、ＲＳ２３２Ｃポート２７を介してＰＬＣ２９からクランプ完了トリガ信号を受け取る（ステップＳ１１、以下ステップを省略する）。この信号の受け取り後、撮影カメラ１１からの画像を入力し（Ｓ１２）、画像を改善するために、撮影カメラ１１から入力された画像を、ヒストグラム変換し画像を明るく鮮明にする（Ｓ１３）。このようにして得られた画像において、二次元的な、治具または撮影カメラ１１の位置ズレがあれば、ソフトウエアの有するアライメント機能での画像位置補正を行う（Ｓ１４）。

次に、ワーク１３がシリンダ１４で確実に保持されているか否かの判定を行なう。判定手法としては、撮影カメラ１１で取り込んだ画像と、予め定められた、パターンマッチング用マスタ画像である、ワーク１３がシリンダ１４で正しくクランプされた画像とを濃淡画像処理で正規化相関比較を行い、２つの画像の類似性をパターンマッチング法で判定する（Ｓ１５）。このとき、ＣＰＵ２１は、画像比較手段および判断手段として作動する。ここで、シリンダ１４で正しくクランプされた画像は、メモリ２３またはハードディスク２４に予め格納されているのが好ましい。

なお、この正しくクランプされた画像としては、撮影カメラ１１で繰り返し撮影された画像のうち、１サイクル前にワーク１３が正しくクランプされた画像とするのが、好ましい。この理由は、治具１５でワークを取付けて溶接する毎に治具の周囲にスパッタが飛び、撮影画面が変化していくため、できるだけ直近の画像と比較する方が好ましいためである。

パターンマッチング法だけでなく、取り込んだ画像と上記した１サイクル前の画像の差分を検出する差分法でも検出してもよい（Ｓ１６でＹＥＳ、Ｓ１７）。このように２段で検出すると、判定の精度がより高まるため好ましい。ただし、差分法の検出の信頼性はパターンマッチング法よりは低いと思われる。パターンマッチング法と差分法の２つの検出手法を使った場合は論理積・論理和の何れかでの演算を行う（Ｓ１８）。

以上の工程を、ワーク１３をクランプしている全シリンダ１４ａ、１４ｂ、・・・について行う（Ｓ１９）。治具１５に設けられている複数のシリンダの各々について、それぞれが所定のクランプ位置にあるか否かを判断し、結果をＰＬＣ２９へ出力する（Ｓ２０）。このとき、ＣＰＵ２１は、指示手段として作動する。ＰＬＣ２９が全てのクランプ用のシリンダ１４が所定の位置（ＯＫ）にあると判断したときは（Ｓ２１でＹＥＳ）、ＰＬＣ２９は自動溶接装置（溶接ロボット）へワーク溶接開始信号を出力する（Ｓ２２）。溶接完了後、Ｓ１５で使用したパターンマッチング用マスター画像の更新登録を行なう（Ｓ２３）。Ｓ２１でワーク１３が正しくクランプされていないときは（Ｓ２１でＮＯ）、一旦クランプを外して、人手にて再度ワーク１３をセットして（Ｓ２４）、Ｓ１１へ戻る。図３に示したフローチャートのうち、Ｓ２１の処理は、ＣＰＵ２１の処理ではなく、上記したように、ＰＬＣ２９の行なう処理である。

なお、上記した画像処理装置において、ＣＰＵ２１が行なうプログラムの作成にあたっては、開発言語としてVisual Basic、支援ツールとしてライブラリィソフトを用いた。

以上のように、この実施の形態では、電装設備を用いることなく、ワーククランプの状態が判断できるため、治具の電装レス化が実現し、従来のように電装設備が原因での自動運転停止等のトラブルは生じない。また電装設備のための配線作業も不要となるため、画像処理装置を導入した場合は、電装治具で配線作業を行った場合に比べて、コストダウンとなる。

次に、図２のＳ１５〜Ｓ１８で示した、ワーク１３がシリンダ１４の保持部によって保持されているか否かを判断する方法について説明する。図４は、治具１５上のシリンダ１４とワーク１３との位置関係、および撮影カメラで撮影する箇所を示す図である。

図４を参照して、シリンダ１４は、アーム１４ａ，１４ｂおよび１４ｃを用いてワーク１３を保持するものとする。アーム１４ｂの上部には、検出精度向上のため、黒色のプレート３１を設け、このプレート３１の周囲の２箇所を検出範囲３３として、撮影カメラ１１で撮影する。

なお、このようにプレート３１を２箇所で検出するのは、２箇所のほうがより安定性が向上し、判定しやすいためである。また、プレート３１を黒色にしたのは、治具１５は、溶接する毎に溶接スパッタが付着し、黒ずんで汚れてしまうため、同系色に近い色としたためである。

アーム１４ａ〜１４ｃによってワーク１３が正しく保持されたときの検出範囲３３の画像をマスタ画像として、予めメモリ２３に格納しておく。マスタ画像の範囲設定としては、プレート３１の輪郭の少し内側を図中白枠で示すように、上下２箇所で囲み、論理積で登録する。

ワーク１３がうまくクランプされているときは、図４の検出範囲３３と同じ画像が得られるが、ワーク１３がうまくクランプされないと、検出範囲３３の中に、シリンダ１４のアーム１４ｂが検出範囲の中央部等に位置するようになる。

ワーククランプ完了信号の入力後、撮影カメラ１１で検出範囲を撮影し、得られた画像と、マスタ画像との類似性を測る。それぞれの画像データが、８０％一致していればクランプＯＫと判断する。

上記したように、パターンマッチング法または差分法での判別が可能であるが、１サイクル前のクランプＯＫ時の画像を常に更新してメモリ２３に格納し、この画像と新しく取り込んだ画像とを照合して、ワーク１３が正しく保持されているか否かを判断する。判断結果はＰＬＣ２９に出力し、それ以降は従来の電装治具を用いた場合と同様に、自動溶接が開始される。

なお、上記実施の形態においては、治具１５に設けられたシリンダ１４のアームに設けられたプレートの近傍を撮影する場合について説明したが、これに限らず、治具におけるワークの取付け部の任意の箇所を撮影してもよい。

次に、図３のＳ１５で説明した判定手法としてのパターンマッチングの詳細について説明する。撮影カメラ１１で取り込んだ画像と、予め定められたパタ−ンマッチング用のマスタ画像とを比較し類似性を判定する。パタ−ンマッチングの手法としては２通りある（Ｓ３１）。１つは正規化相関パタ−ンマッチング（Ｓ３３）であり、もう１つは幾何学パタ−ンマッチング（Geometric Model Finder,Ｓ３２）である。ただし、幾何学的パターンマッチングは正規化相関パターンマッチングに比べ、処理速度が遅く、かつ、外乱の影響を受け易い。次にパターンマッチング選択後、比較判別手法として、相関値による判別（Ｓ３５）もしくはマッチング領域の座標位置による判別（Ｓ３６）のいずれかが選択できる。その後、図３のＳ１５に戻る。

次に、図４で示した撮影カメラ１１で撮影する部分の他の例について説明する。図６は、撮影カメラで撮影する部分の他の例を示す図である。図６を参照して、シリンダ１４は、ア−ム１４ａ，１４ｂおよび１４ｃを用いてワーク１３を保持する。検出領域３３はアーム１４ｂ，１４ｃの何れかの部分とし、その領域内での検出ポイント３４を1箇所または２箇所設定して、撮影カメラ１１で撮影する。

なお、シリンダ１４およびアーム１４ａ，１４ｂ，１４ｃは図４や図６の形状には限定されず、ワーク保持方法によっては、形状が異なってもよい。

また検出ポイント３４は、１つの検出物を２箇所以上で検出する方が好ましい。２箇所以上の方がより検出精度が向上し、信頼性が高くなる。１つの検出領域３３に対して３箇所以上の複数に分割して検出ポイントを設定できるようにしてもよい。なお、治具１５は、上記したように、溶接する毎に溶接スパッタが付着し、黒ずんで汚れてしまうため、同系色に近い色を検出対象物とした方がよい。また、アーム上に黒のアーム連結用ボルト(通常黒色)が付いている場合があるため、その場合は、そのボルト頭部を検出ポイントとしてもよい。

アーム１４ａ〜１４ｃによってワ−ク１３が正しく保持されたときの検出ポイント３４の画像をマスタ画像として、予めメモリ２３に格納しておく。マスタ画像の範囲設定としては、ボルト頭部または、ボルトが付いてない場合には、クランプＯＫ／ＮＧの停止位置が変化するア−ムの角部を囲み部分が好ましく、また検出ポイント３４を２箇所以上設定する際には、各々を論理積で登録するのが好ましい。

ワーク１３がうまくクランプされているときは、図６の検出ポイント３４と同じ画像が得られるが、ワ−ク１３がうまくクランプされてないと、検出領域３３の中で、シリンダ１４のア−ム１４ｂ、１４ｃの位置がマスタ画像と比較し差異を生じる。

ワーククランプ完了信号の入力後、撮影カメラ１１で検出範囲を撮影し、得られた画像と、マスタ画像との類似性を測る。それぞれの画像デ−タが所定の閾値内であればクランプＯＫと判断する。なおこの閾値は、上記の実施の形態を含めて、８０％に限らず、所望の閾値としてもよい。

上記実施の形態においては、治具１５に設けられたシリンダ１４のア−ム一部を撮影する場合について説明したが、これに限らず、アームがカメラからの死角となる場所や、クランプＯＫ／ＮＧの変化が少ない場所には、ア−ムにプレ−ト等を付帯して検出してもよい。

以上、図面を参照してこの発明の実施形態を説明したが、この発明は、図示した実施形態のものに限定されない。図示された実施形態に対して、この発明と同一の範囲内において、あるいは均等の範囲内において、種々の修正や変形を加えることが可能である。

この発明に係る溶接治具監視装置の全体の概略構成を示すブロック図である。 溶接治具監視装置の要部を示すブロック図である。 溶接治具監視装置の動作を示すフローチャートである。 撮影カメラで撮影する部分を示す図である。 パターンマッチング法による判定方法を示すフローチャートである。 撮影カメラで撮影する部分の他の例を示す図である。

符号の説明

１０ 溶接治具監視装置、１１ 撮影カメラ、１２ 照明器具、１３ ワーク、１４ シリンダ、１５ 治具、１６ テーブル、２０ 画像処理装置、２１ ＣＰＵ、２２ 画像入力ボード、２３ メモリ、２４ ハードディスク、２５ モニタポート、２６ モニタ、２７ ＲＳ２３２Ｃポート、２８ デジタル入出力ボード、２９ ＰＬＣ、３１ プレート、３３ 検出範囲、５０ 自動溶接装置。

Claims (7)

1. ワークを保持する治具と、
   前記治具によるワークの保持状態を撮影する撮影手段と、
   前記撮影手段によって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、
   前記画像比較手段による比較結果によって、前記ワークが前記治具によって所定の位置に保持されているか否かを判断する判断手段と、
   前記判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段とを含む、溶接治具監視装置。
2. 前記治具は前記ワークを保持する複数のシリンダを含み、前記撮影手段は、前記複数のシリンダによるワークの保持状態を撮影し、
   前記判断手段は、前記撮影手段による前記複数のシリンダによる前記ワークの保持状態を判断して、前記ワークが前記治具によって所定の位置に保持されているか否かを判断する、請求項１に記載の溶接治具監視装置。
3. 前記治具は毎回連続して複数回前記ワークを保持し、
   前記判断手段は、各回毎に、前記ワークが前記治具によって所定の位置に保持されているか否かを判断し、
   前記予め定められた画像は、前記判断手段が、１回前に前記ワークが前記治具によって所定の位置に保持されている、と判断したときの画像である、請求項１または２に記載の溶接治具監視装置。
4. 前記判断手段は、パターンマッチング法によって、前記ワークが前記治具によって所定の位置に保持されているか否かを判断する、請求項１から３のいずれかに記載の溶接治具監視装置。
5. 前記シリンダは前記ワークを保持するためのアームを有し、
   前記撮影手段は、前記アームの一部の領域を撮影し、前記ワーク保持画像として撮影する、請求項１から４のいずれかに記載の溶接治具監視装置。
6. 治具によるワークの保持状態を撮影する撮影カメラによって撮影された画像を処理する画像処理装置であって、
   前記撮影カメラによって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、
   前記画像比較手段による比較結果によって、前記ワークが前記治具によって所定の位置に保持されているか否かを判断する判断手段と、
   前記判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段とを含む、画像処理装置。
7. 治具によるワークの保持状態を撮影する撮影カメラによって撮影された画像を処理するプログラムであって、
   コンピュータに、前記撮影カメラによって撮影されたワーク保持画像を、予め定められた画像と比較する画像比較手段と、
   前記画像比較手段による比較結果によって、前記ワークが前記治具によって所定の位置に保持されているか否かを判断する判断手段と、
   前記判断手段の判断結果に応じて、自動溶接機に溶接の開始を指示する指示手段として作動させる、プログラム。

Images