JP2010253553A - 溶接施工監視システム - Google Patents

溶接施工監視システム Download PDF

Info

Publication number
JP2010253553A
JP2010253553A JP2010066305A JP2010066305A JP2010253553A JP 2010253553 A JP2010253553 A JP 2010253553A JP 2010066305 A JP2010066305 A JP 2010066305A JP 2010066305 A JP2010066305 A JP 2010066305A JP 2010253553 A JP2010253553 A JP 2010253553A
Authority
JP
Japan
Prior art keywords
welding
robot
position information
tip
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2010066305A
Other languages
English (en)
Other versions
JP5550407B2 (ja
Inventor
Akira Okamoto
陽 岡本
Kazuhisa Hamamoto
和久 浜元
Nobuyuki Odera
信行 大寺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kobe Steel Ltd
Original Assignee
Kobe Steel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Kobe Steel Ltd filed Critical Kobe Steel Ltd
Priority to JP2010066305A priority Critical patent/JP5550407B2/ja
Publication of JP2010253553A publication Critical patent/JP2010253553A/ja
Application granted granted Critical
Publication of JP5550407B2 publication Critical patent/JP5550407B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Manipulator (AREA)

Abstract

【課題】溶接ロボットによる溶接施工中に溶接アークや溶融池等を的確に監視する。
【解決手段】本発明の溶接施工監視システム1は、その先端に溶接ワイヤが取り付けられた垂直6軸多関節型のロボットマニピュレータ2と、ロボットマニピュレータ2を制御するロボットコントローラ3と、溶接施工を監視可能な位置に設置され自由な方向に光軸を向けることが可能なCCDカメラ及びロボット先端部の座標をカメラ座標系に変換してCCDカメラの光軸中心をロボット先端部に合わせる制御部6を備えたカメラユニット4と、カメラユニット4により撮像された画像を表示するモニタ7と、を有する。
【選択図】図1

Description

本発明は、溶接ロボットによる溶接施工状態の監視を遠隔で監視することができる監視システムに関する。
従来より、溶接作業の自動化のために溶接ロボットが用いられている。溶接ロボットによる溶接施工中においては、ロボットアームに設けられた各軸駆動モータの作動制御によりロボット姿勢が変化しつつ溶接作業が行なわれる。かかる溶接作業において、溶接アークや溶融池近傍を直接見ることができる場合には、オペレータによる直接観察により、溶接電流等の溶接条件の変更や溶接位置の修正を行っている。
しかしながら、溶接対象であるワークが大型である場合には、オペレータによる直接観察ができないことが多く、仮にできたとしても、ポジショナによりワークの姿勢も変化することもあるので、オペレータ作業に危険が伴うことも否めない。
このような問題に対して、特開2003−230959号公報(特許文献1)は、溶接ロボットの先端部に、溶接部材の形状を撮影する撮像手段(CCDカメラ)を設けて、このCCDカメラからの映像をモニタ装置に表示する遠隔操作型溶接ロボットシステムを開示する。
この遠隔操作型溶接ロボットシステムは、移動可能なロボット本体から突出した多関節連結構造のアーム機構に、溶接トーチを装着した溶接作業部を取り付けて三次元的に動作させる溶接ロボットと、溶接部材の形状寸法に基づいて予め作成した教示データを記憶し、その教示データに基づいて溶接ロボットを作動制御するロボット制御装置と、溶接トーチに取付けられ、溶接部材の形状を撮影する撮像手段と、撮像手段からの画像を表示するモニタ装置と、溶接施工時に溶接条件を修正し、ロボット制御装置に入力するティーチングシステムと、溶接トーチの溶接狙い位置ならびに溶接ワイヤ供給位置を溶接中に調整できるツールコントローラとを備えたことを特徴とする。
この遠隔操作型溶接ロボットシステムにおいては、三次元的な動きが可能な多関節の溶接作業ロボットを用い、溶接作業ロボットの動作に必要な教示作業は、予め教示したデータをロボット制御装置に記憶させることにより行ない、溶接施工中の溶接条件の修正作業は、撮像手段からの映像に基づいてティーチングシステムおよびツールコントローラを用いて遠隔操作で行なう。これにより、溶接オペレータが危険な環境下に曝されることなく溶接最中における溶接トーチの溶接狙い位置や溶接ワイヤ供給位置の調整ができ、溶接アンダーカットやブローホールなどの溶接欠陥を低減することができる。
特開2003−230959号公報
しかしながら、上述した特許文献1に開示された遠隔操作型溶接ロボットシステムには、以下のような問題点がある。
まず、溶接トーチに固定された撮像手段を用いて、斜め上方のみから溶融池を監視するため、ワイヤが視野を妨げることがあるとともに視野が限定される。すなわち、常に監視する方向が最適とは限らない。
また、溶接トーチに取り付けられた撮像手段から溶融池を監視するため、溶融池を一方向からしか監視することしかできない。すなわち、撮像手段の視野が固定されている。
さらに、溶接施工箇所の近傍に撮像手段が取り付けられているため、溶接時に発生するヒュームやスパッタが撮像手段のレンズ又は保護ガラスに付着し、短い間隔でメンテナンスが必要となる。つまり、撮像手段のメンテナンス性が悪い。
加えて、撮像手段は溶接ロボットの先端部に取り付けられているため、当該溶接ロボットの溶接施工しか監視することができない。すなわち、1つのカメラでは1つのロボットしか監視できない、などの問題が存在する。
そこで、本発明は、上記問題点を回避し、溶接ロボットによる溶接施工状況を的確に監視することができる溶接施工監視システムを提供することを目的とする。
上述の目的を達成するため、本発明においては以下の技術的手段を講じた。
本発明に係る溶接施工監視システムは、溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置され、且つ自由な方向に光軸が向くように姿勢を変更可能な撮像手段と、前記溶接ロボットの先端部の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸を溶接ロボットの先端部に合わせるように、前記撮像手段の姿勢を制御する制御部と、を備えることを特徴とする。
特に、前記制御部は、溶接ロボットの先端部に発生した溶接アークの位置情報を前記撮像手段における座標系での位置情報に変換し、該変換後の位置情報を基に、撮像手段の光軸をロボットの先端部に合わせるように前記撮像手段の姿勢を制御するとよい。
本発明の撮像手段は、溶接ロボットの先端部に取り付けられるのではなく溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置されている。制御部は、溶接ロボットの先端部の位置情報を撮像手段の座標系での位置情報に変換し、撮像手段の光軸中心を溶接ロボットの先端部に合わせる。
これにより、溶接ロボットから離隔された撮像手段で溶接施工の状態を撮像できる。溶接ロボットの先端部近傍に撮像手段を配置していないため、好ましい方向から溶接施工箇所を監視することが可能となる。撮像手段の取り付け位置の自由度は高いため、最適な場所から溶接施工箇所を監視することが可能となる。撮像手段は溶接施工部から離れるため、ヒューム、スパッタの付着はなくなりメンテナンスが容易になる。
なお、前記撮像手段はズームレンズを備え、前記制御部は、撮像手段による撮像領域が一定となるように前記ズームレンズのズーム率を調整するとよい。
制御部が、撮像手段に備えられたズームレンズを操作し、監視領域が一定(厳密に一定である必要はなく略一定であってもよい)となるように、溶接ロボットの先端部と撮像手段との距離に応じてズーム率を自動調整することで、常に適切な領域を監視することが可能となる。
1台の溶接ロボットに対して、前記撮像手段が複数台配置され、前記制御部は、前記複数の撮像手段により撮像された複数の画像から1の画像を選択することを特徴とする。
この場合、前記制御部は、前記撮像手段により撮像された画像の明るさを評価値として出力する視界評価器と、前記視界評価器の評価値に基づいて、前記複数の撮像手段により撮像された複数の画像から1の画像を選択する画像選択器と、を有するとよい。
このようにすると、複数の撮像手段を用いて、異なるアングルから溶融池を監視する場合に、視界評価器からの評価値(画像の明るさ、すなわち、溶融池の見え具合)を用いて、画像選択器により最良の画像を自動的に選択することができるようになる。
前記溶接ロボットが複数台設置されているに際し、前記制御部は、各溶接ロボットの先端部の位置情報を基に、複数の溶接ロボットの中から1台の溶接ロボットを監視することを特徴とする。
このようにすると、1台のカメラユニットでは1台の溶接ロボットしか監視できないという問題を解決して、複数の溶接ロボットに対応することが可能となる。
また、溶接ロボットの先端部に発光体が設けられており、前記制御部は、前記発光体の位置情報を前記撮像手段における座標系での位置情報に変換し、変換後の位置情報を基に、撮像手段の光軸をロボットの先端部に合わせるように前記撮像手段の姿勢を制御されていてもよい。
このようにすると、複数の撮像手段を用いて異なるアングルから溶融池を観察する場合に、実際に溶接する前に、複数画像の切り換え状態を確認しつつ、撮像手段の取り付け位置を調整することが可能となる。このため、無駄なく、効率的に溶接施工条件を調整することが可能となる。
なお好ましくは、前記撮像手段は光学フィルタを備え、前記制御部は、溶接ロボットの溶接開始及び溶接終了のタイミング、又は発光体の発光のタイミングに連動して、前記光学フィルタの使用状態を切り換える構成とされるとよい。
光学フィルタの使用状態を切り換えるので、撮像時において最適な輝度状態を確保でき適切な画像を取り込むことが可能となる。
また、溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置され、且つ自由な方向に光軸が向くように姿勢を変更可能な撮像手段と、前記溶接ロボットの先端部が移動した後にできる軌跡上の所定位置の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸を前記軌跡上の所定位置に合わせるように、前記撮像手段の姿勢を制御する制御部と、を備えることも好適である。
さらに、前記制御部は、溶接ロボットの先端部が移動した軌跡全体の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸が、溶接施工終了後に前記軌跡全体をたどるように、前記撮像手段の姿勢を制御することとしてもよい。
本発明によると、溶接ロボットによる溶接施工状況を的確に監視することができる溶接施工監視システムを提供できる。
本発明の実施形態に係る溶接施工監視システムの概略を示す図である。 カメラ追従制御を示すフローチャートである。 画像選択器によるカメラユニット選択の手法を説明する図である。
以下、本発明の実施形態を、図に基づいて説明する。
なお、以下の説明では、同一の部品には同一の符号を付してある。それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。
図1に、本実施形態に係る溶接施工監視システム1の概略を示す。
この溶接施工監視システム1は、溶接ロボットを構成するロボットマニピュレータ2と、このロボットマニピュレータ2を制御するロボットコントローラ3とを備えている。さらに、溶接施工監視システム1は、例えば天井に取り付けられたカメラユニット4(撮像手段)と、カメラユニット4により撮像した画像をオペレータが視認可能に出力するモニタ7を有している。
ロボットマニピュレータ2は、先端部に溶接ワイヤが供給される垂直6軸多関節ロボットである。しかしながら、ロボットマニピュレータ2は垂直6軸多関節ロボットに限定されない。
本実施形態の場合、カメラユニット4は、1台目のカメラユニット4A、2台目のカメラユニット4B、3台目のカメラユニット4Cのように複数台設置されている。なお、個々のカメラユニット4は同一の構成を備えており、本明細書においては、各カメラユニットを説明する際には4A、4B、4C・・・と表記し、カメラユニットに共通する事項を説明する場合にはカメラユニット4と記載する。
カメラユニット4は、CCDカメラ5と、そのCCDカメラ5の光軸を上下回転するためのモータ及び左右回転するためのモータ(図示せず)と、これらのモータを制御するとともに撮像した画像データをモニタ7に出力する制御部6とを備える。
ロボットコントローラ3とカメラユニット4との間は、LANケーブルで接続されており、ロボットコントローラ3は、一定時間間隔(例えば、数msec)でロボット先端部8(ロボットマニピュレータ2の先端部又は溶接ワイヤの先端部)の座標をロボット座標系で出力している。ロボット座標系は、図1に示すようにロボットの基端部を原点とする直交座標系である。
また、カメラユニット4内の制御部6は、LANケーブルでロボットコントローラ3と接続され、ロボットコントローラ3から転送されてきたロボット先端部8の位置情報をカメラユニット4の座標系(カメラ座標系)での位置情報に変換し、変換後の位置情報を基にしてカメラユニット4(CCDカメラ5)の光軸中心をロボット先端部8に一致させる。光軸一致が行えるように、CCDカメラ5は左右回転又は上下揺動可能となっている。カメラ座標系は、図1に示すようにCCDカメラ5の揺動中心を原点とする極座標系である。
図2は、カメラユニット4内の制御部6で行われる処理を示したものである。制御部6は、CCDカメラ5が撮像した画像の略中心にロボット先端部8が常に写り込むように、カメラユニット4を制御する。
図2のS100にて、ロボットコントローラ3からロボット先端部8の位置情報(ロボット座標系)を取得する。
S200にて、ロボット先端部8の座標を、カメラ座標系での座標へと変換する。ここで、ロボット先端部8の座標をPr=(Xr、Yr、Zr)、カメラユニット4から見たロボット先端部8の座標をPcn=(Xcn、Ycn、Zcn)、PrからPcnへの座標変換行列(ロボット座標からカメラ極座標への変換行列)をTrcnとすると、カメラユニット4から見たロボット先端部8の位置情報は、
位置:Pcn=Trcn×Pr
距離:Lrc1=|Pcn|
方向:Pcn/|Pcn|
となる。
ここで、n台のカメラユニット4の使用を想定している。
S300にて、カメラユニット4の制御部6は、光軸を溶接ロボットの先端部に合わせるようにCCDカメラ5を動かす。例えば、CCDカメラ5が、左右回転と上下回転の2つの可動軸で自由な方向を見ることができるとすると、極座標上でCCDカメラ5がPcnを向くように、左右回転φ及び上下回転ρの2軸の可動軸を駆動するモータを制御する。
さらに、S400にて、カメラユニット4は、レンズの焦点を、ロボットマニピュレータ2の先端部までの距離Lrc1に合わせる。
なお、カメラユニット4のCCDカメラ5にズームレンズが搭載されている場合には、ロボット先端部8及びその背景が常に同じ視野角で写り込むように、自動的にズームイン、ズームアウトするとよい。これにより、常に同じ大きさのロボット先端部8の画像を得ることができ、適切な領域を監視することが可能となる。
また、レンズ先端にアーク光を適当な強度まで減光するための光学フィルタ9を装着及び脱着する機構を搭載し、溶接のタイミングをロボットから受信して自動的に切り替えるようにしてもよい。こうすることで、溶接時であっても非溶接時であっても略同じ明るさの画像を取り込むことができるようになる。
さらに、ロボットマニピュレータ2の1台に対して、カメラユニット4を複数台配置し、各種方向から監視するようにしてもよい(詳細については後述する)。この逆に、1台のカメラユニット4で複数台のロボットマニピュレータ2を撮像し、最もロボット先端部8が大きく移り込んでいる1台のロボットマニピュレータ2を選択し、その監視を行なうようにしてもよい。
また、本発明に係る溶接施工監視システム1の様々な変形の例として、例えば、ロボットコントローラ3とカメラユニット4との間のLANケーブルすなわちLAN通信をシリアル通信に置き換えることも可能である。これらの通信を有線に変え無線で行ってもよい。その場合、配線のコスト、手間が省ける。また、この溶接施工監視システム1(カメラユニット4及びモニタ7)の電源としてバッテリを用いて、完全にコードレスで行ってもよい。完全にコードレスとなるため、配線が不要で、使い易さが大幅に向上する。
上述した図2に示す処理により、ロボットマニピュレータ2の先端部8にCCDカメラ5の光軸が合致されて、その焦点も合致した状態になる。
ところが、このときに、ロボットマニピュレータ2の先端部8とカメラユニット4との間に障害物H(例えば、ワーク、ポジショナ等の周辺機器、ロボットマニピュレータ2自体、このシステム1が載置された建屋の柱や梁等)が存在すると、溶接に伴う溶融池がCCDカメラ5により適切に撮像される状態であっても、その障害物Hで視野が遮られることがある。このような場合に対応すべく、本実施形態に係る溶接施工監視システム1においては、カメラユニット4において撮像された画像を評価する(溶融池の視認状態を評価する)カメラ画像評価機能を備えている。
このカメラ画像評価機能により、最もよくロボット先端部8を映し出しているカメラユニット4を選び出し、その画像をもって溶接部の観察を行うようにする。すると、ワークやロボットマニピュレータ2の姿勢が如何様に変化したとしても、ロボットマニピュレータ2とカメラユニット4との間に障害物Hが存在したとしても、溶接の開始から終了までの間において常時溶接監視を行うことが可能となる。
図3は、カメラ画像評価機能、すなわち、ロボット先端部8(溶接ワイヤ、溶接アーク及び溶融池)を撮像した画像の明るさを評価値として出力し、この評価値を基に最適な画像を選択する機能を説明するための図である。
カメラユニット4の制御部6は、撮像された画像における明るさ(溶融池の見え具合)を定量的な評価値として出力する視界評価器10と、視界評価器10から出力された評価値に基づいて、複数のカメラユニット4により撮像された複数の画像から1の画像を選択する画像選択器11を有する。
まず、カメラユニット4のCCDカメラ5は、光学フィルタ9(減光フィルタ)を介してロボット先端部8の状況を画像として取り込む。
取り込まれた画像は、視界評価器10に送られ、見え具合が評価される。本実施形態の場合、見え具合の評価値は、画像内の所定閾値以上(例えば、輝度200〜255)の画素数をカウントして、その画素数を見え具合として評価する。この手法によれば、図3に示すように、溶融池は明るく撮像され、障害物H等は暗く撮像されているので、カウントされた明るい画素が多いほど、障害物Hがなく溶融池の全領域が写り込んでいると判定できる。
さらに、この高輝度画素カウント数は、画像選択器11へ送られる。画像選択器11では、高輝度画素カウント数が最も大きい画像を出力するカメラユニット4を、監視を行うカメラユニット4として選択するようにし、その画像をモニタ7に出力する。
具体的には、溶接施工監視システム1は、視界評価器10を有する3台のカメラユニット4(カメラユニット4A〜カメラユニット4C)を有する。その中で、カメラユニット4A,4Bにおいては、溶融池を撮像した画像の一部の視野を遮るように障害物Hが存在する。その結果、カメラユニット4Aにおいて溶融池の見え具合の評価値が10ピクセル、カメラユニット4Bにおいて溶融池の見え具合の評価値が30ピクセル、カメラユニット4Cにおいて溶融池の見え具合の評価値が40ピクセルとなっている。これらの評価値が画像選択器11に出力される。画像選択器11は、溶融池の見え具合の評価値が最も高いカメラユニット4Cにおいて最も良い画像が得られていると判定して、このカメラユニット4Cにより撮像された画像をモニタ7に出力する。オペレータは、このモニタ7を見ることで溶接施工監視を行うことができる。
なお、上述した画像選択器11は、画像の頻繁な切換えを回避するために、閾値以上の「評価値」が一定時間以上継続して得られた場合のみ、カメラユニット4の切換を行うようにするとよい。こうすることで、画像切換のチャタリングを回避できて(例えば1秒間隔でカメラユニット4が切り換わることが回避できて)、監視者がモニタ7を監視しやすくできる。
また、ロボットコントローラ3が、溶接開始時及び溶接終了のタイミングを、カメラユニット4の制御部6に対して送信することで、制御部6は溶接の監視処理を自動的に開始及び終了させるようにしてもよい。そうすることで、溶接時のみ監視画像の取り込み及び溶接監視が行なわれるため、撮像画像を録画する場合等に好適となる。
以上のようにして、本実施形態に係る溶接施工監視システム1によると、溶接ワイヤ近傍に、CCDカメラ5を配置していないため、好ましい方向から溶融池を監視することが可能となる。カメラユニット4の取り付け位置の自由度が高いため、最適な場所から溶接池を監視することが可能となる。特に、複数のカメラユニット4を配置することにより、最も好ましいカメラユニット4を選択して、最適な方向から溶融池を監視することが可能となる。
本実施形態に係る溶接施工監視システム1においては、1台のカメラユニット4で1台の溶接ロボットを監視する場合であっても、複数台のカメラユニット4で1台の溶接ロボットを監視する場合であっても、好適に溶接施工状態を監視できる。
ところで、ロボットマニピュレータ2の位置、カメラユニット4の台数及び設置位置については、この溶接施工監視システム1において実際に溶接作業を行なって初めて不具合が発見される場合がある。このような不具合が発見された場合、やみくもにカメラユニット4の台数を変更したり設置位置を調整したりすると、ワークを十分に監視することができない状況となりかねない。
そこで、実際のワークと同じ試験ワークを準備し、不具合発見のための試験溶接を行うことも考えられるが、かかる試験溶接を行うに際しても多大な労力が必要であるばかりか、試験ワーク自体の費用も高額になることが多い。
このため、以下においては、この溶接施工監視システム1において模擬的に溶接作業を行なって、不具合を実際の溶接作業に先立って発見して、システム1の設定を修正すること(リハーサル機能)について説明する。
ロボットマニピュレータ2の先端に例えば、発光体(高輝度LED,電球、小型の蛍光灯など)を取り付け、この発光体を擬似的な溶融池や溶接アークとすることができる。なお、発光体を用いるとその光量がアーク光に比べて大きく減少するため、発光体の波長に合わせた光学フィルタ9(帯域フィルタ)を、CCDカメラ5に取り付けて画像を取得する。この後の処理は、上述した処理と同じである。
このようにすると、実際に溶接作業を行なうことなく、発光体(擬似的な溶融池)の見え具合を評価し、カメラユニット4の台数の変更、又はカメラユニット4の取り付け位置の調整等が可能となる。また、複数のカメラユニット4を用いて異なるアングルから発光体を監視する場合には、実際に溶接する前に、複数画像の切り替わりを確認しつつ、カメラユニット4の取り付け位置を調整することが可能となり、無駄なく、効率的に溶接施工条件の調整が可能となる。
ところで、本発明に係る溶接施工監視システムは、溶接開始時の溶接画像情報を基に、カメラとロボットとの位置関係を算出可能な構成となっている。そのため、画像情報によるカメラ操作を行うだけで、カメラとロボットとのキャリブレーションが不要となる。
詳しくは、カメラユニット4内部のCCDカメラ5において、ロボット先端部8のアーク光やロボット先端部8に取り付けられた発光体の画像を撮像する。この画像を2値化し、最大面積を有する領域の重心を算出する。算出の結果、画像(フレームメモリ)内の座標(フレームバッファ座標)におけるロボット先端位置が検出される。この点をf1=(f1f1)とする。
次に、撮像が行われたと同時刻の「実空間でのロボット先端位置」をロボットコントローラ3から取得する。この点をr1=(r1r1r1)とする。この時点で、CCDカメラ5側で見たときのフレームバッファ座標f1とロボット座標r1との組み合わせが得られる。
以上の操作を数秒ごとに繰り返すと、式(1)のようにn個の点列を得ることができる。

f1=(f1f1),r1=(r1r1r1
f2=(f2f2),r2=(r2r2r2) (1)
・・・
fn=(fnfn),rn=(rnrnrn

これらの点列を使うことで「ロボット座標→カメラ座標」の変換マトリクスr cTを導出することが可能となる。
変換マトリクスr cTが得られれば、以下の手順で、随時、ロボット座標をカメラ座標に変換できる。まず、
1)ロボットコントローラ3からロボット先端位置rP=(rx,ry,rz)を得る。
2)rPを式(2)に基づき座標変換することで、CCDカメラ5からの見た座標cPに変換する。
cP=r cT・rP (2)

3)cPは直交座標XYZで表現されているので、これを上下回転ρ、左右回転φ、距離rとする極座標へ変換する。
4)カメラユニット4を上下回転ρおよび左右回転φで回転させることで、カメラ光軸をロボット先端位置cPに合わせる。同時に、CCDカメラ5からロボット先端位置までの距離r(=Lrc1)に応じて、ピント調整及びズーム調整を行う。
以上の如く「ロボット座標→カメラ座標」の変換マトリクスr cTが求まっておれば、溶接開始前において、変換マトリクスr cTにより、カメラ光軸をロボット先端位置cPに合わせることができ、カメラとロボットとのキャリブレーションが不要となる。又、溶接中にロボット先端位置が移動したとしても、変換マトリクスr cTを用いることで、常にカメラ光軸をロボット先端位置cPに合わせることが可能となる。
なお、カメラユニット4が複数台存在し、それぞれが独立して動作可能な場合には、カメラユニット4毎に変換マトリクスr cTを求めることで、上述した画像情報による位置あわせを行うことができる。
以上、今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は上記した説明ではなくて特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。
例えば、前記制御部6は、上述したように、カメラユニット4(撮像手段)の光軸がロボットマニピュレータ2(溶接ロボット)の先端部8に合うようにしていたが、ロボットマニピュレータ2の先端部8が移動した後にできる軌跡上の所定位置にカメラユニット4の光軸を合わせることとしてもよい。
なお、前記軌跡上の所定位置とは、ロボットマニピュレータ2の先端部8から所定距離(数十cm)はなれた地点である。
この場合、カメラユニット4の光軸をロボットマニピュレータ2の先端部8から前記所定距離はなれた地点に合わせるには、カメラユニット4内のメモリ(図示省略)に保存された所定時間前(2〜10秒前)のロボットマニピュレータ2の先端部8の位置情報を利用する。
これによって、アーク光の影響が大きい先端部8付近からカメラユニット4の光軸を少し離して先端部8の軌跡(溶接ビード)をトレースできるため、アーク光を減光する光学フィルタ9を用いずとも、アーク光の影響をほとんど受けずに溶接ビードの外観を確認できる。
また制御部6は、溶接施工終了後に、ロボットマニピュレータ2の先端部8が移動してできる軌跡全体にカメラユニット4の光軸をたどらせて、全ての溶接ビードをトラッキングさせることとしてもよい。
このとき、上述したカメラユニット4内のメモリから先端部8が移動した軌跡全体の位置情報を順次取り出し、この位置情報に基づいてカメラユニット4の姿勢を制御することで、溶接ビード全体の外観を確認することができる。
したがって、溶接がすべて完了した後に、安全柵等の中に入ってオペレータが直接観察しなくとも、遠隔地からモニタ7上で全溶接ビードを観察することが可能となる。
なお、本発明で述べたロボットマニピュレータ2は床面等に設置されているが、スライダ等の移動装置上に設けられていてもよい。
また、カメラユニット4は、上述の如く、溶接施工監視システム1が載置された建屋の天井などに取り付けられていたが、ロボットマニピュレータ2の基端部や中途部(例えば、第3軸と第4軸との間のアーム部)に取り付けられていてもよい。
1 溶接施工監視システム
2 ロボットマニピュレータ(溶接ロボット)
3 ロボットコントローラ
4 カメラユニット
5 CCDカメラ
6 制御部
7 モニタ
8 ロボット先端部
9 光学フィルタ
10 視界評価器
11 画像選択器
H 障害物

Claims (10)

  1. 溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置され、且つ自由な方向に光軸が向くように姿勢を変更可能な撮像手段と、
    前記溶接ロボットの先端部の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸を溶接ロボットの先端部に合わせるように、前記撮像手段の姿勢を制御する制御部と、
    を備えることを特徴とする溶接施工監視システム。
  2. 前記撮像手段はズームレンズを備え、
    前記制御部は、撮像手段による撮像領域が一定となるように前記ズームレンズのズーム率を調整することを特徴とする請求項1に記載の溶接施工監視システム。
  3. 1台の溶接ロボットに対して前記撮像手段が複数台配置され、
    前記制御部は、前記複数の撮像手段により撮像された複数の画像から1の画像を選択することを特徴とする請求項1又は2に記載の溶接施工監視システム。
  4. 前記制御部は、前記撮像手段により撮像された画像の明るさを評価値として出力する視界評価器と、
    前記視界評価器の評価値に基づいて、前記複数の撮像手段により撮像された複数の画像から1の画像を選択する画像選択器と、
    を有することを特徴とする請求項3に記載の溶接施工監視システム。
  5. 前記溶接ロボットが複数台設置されているに際し、前記制御部は、各溶接ロボットの先端部の位置情報を基に、複数の溶接ロボットの中から1台の溶接ロボットを監視することを特徴とする請求項1又は2に記載の溶接施工監視システム。
  6. 前記制御部は、溶接ロボットの先端部に発生した溶接アークの位置情報を前記撮像手段における座標系での位置情報に変換し、変換後の位置情報を基に、撮像手段の光軸をロボットの先端部に合わせるように前記撮像手段の姿勢を制御することを特徴とする請求項1〜5のいずれかに記載の溶接施工監視システム。
  7. 溶接ロボットの先端部に発光体が設けられており、
    前記制御部は、前記発光体の位置情報を前記撮像手段における座標系での位置情報に変換し、変換後の位置情報を基に、撮像手段の光軸をロボットの先端部に合わせるように前記撮像手段の姿勢を制御することを特徴とする請求項1〜5のいずれかに記載の溶接施工監視システム。
  8. 前記撮像手段は光学フィルタを備え、
    前記制御部は、溶接ロボットの溶接開始及び溶接終了のタイミング、又は発光体の発光のタイミングに連動して、前記光学フィルタの使用状態を切り換えることを特徴とする請求項6又は7に記載の溶接施工監視システム。
  9. 溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置され、且つ自由な方向に光軸が向くように姿勢を変更可能な撮像手段と、
    前記溶接ロボットの先端部が移動した後にできる軌跡上の所定位置の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸を前記軌跡上の所定位置に合わせるように、前記撮像手段の姿勢を制御する制御部と、
    を備えることを特徴とする溶接施工監視システム。
  10. 溶接ロボットから離隔した位置であって溶接施工を監視可能な位置に設置され、且つ自由な方向に光軸が向くように姿勢を変更可能な撮像手段と、
    前記溶接ロボットの先端部が移動した軌跡全体の位置情報を前記撮像手段の座標系での位置情報に変換し、変換後の位置情報を基にして撮像手段の光軸が、溶接施工終了後に前記軌跡全体をたどるように、前記撮像手段の姿勢を制御する制御部と、
    を備えることを特徴とする溶接施工監視システム。
JP2010066305A 2009-04-01 2010-03-23 溶接施工監視システム Active JP5550407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010066305A JP5550407B2 (ja) 2009-04-01 2010-03-23 溶接施工監視システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009089202 2009-04-01
JP2009089202 2009-04-01
JP2010066305A JP5550407B2 (ja) 2009-04-01 2010-03-23 溶接施工監視システム

Publications (2)

Publication Number Publication Date
JP2010253553A true JP2010253553A (ja) 2010-11-11
JP5550407B2 JP5550407B2 (ja) 2014-07-16

Family

ID=43315090

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010066305A Active JP5550407B2 (ja) 2009-04-01 2010-03-23 溶接施工監視システム

Country Status (1)

Country Link
JP (1) JP5550407B2 (ja)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012106317A (ja) * 2010-11-18 2012-06-07 Kobe Steel Ltd 溶接状況監視方法及び溶接状況監視装置
CN102497392A (zh) * 2011-11-22 2012-06-13 中国科学院自动化研究所 网络化多机器人系统
CN107738020A (zh) * 2017-11-14 2018-02-27 苏州泛能电力科技有限公司 一种电连接器电缆焊接机械手
CN108098179A (zh) * 2016-11-25 2018-06-01 辽东学院 便携式焊接示教仪
CN113993647A (zh) * 2019-06-14 2022-01-28 松下知识产权经营株式会社 补焊系统
CN114473140A (zh) * 2022-02-22 2022-05-13 上海电力大学 一种基于分时复用的熔池图像平行式采集方法
CN116160174A (zh) * 2023-04-21 2023-05-26 山东芯合机器人科技有限公司 一种基于双目视觉的焊缝识别与跟踪控制方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02269587A (ja) * 1989-04-07 1990-11-02 Daifuku Co Ltd カメラ使用の自動移載装置
JPH0326491A (ja) * 1989-06-19 1991-02-05 Hitachi Ltd ロボットの監視装置
JPH07185855A (ja) * 1993-12-27 1995-07-25 Nissan Motor Co Ltd レーザ溶接の溶接品質管理方法
JP2001038467A (ja) * 1999-07-29 2001-02-13 Hitachi Constr Mach Co Ltd 溶接品質の検査方法および装置
JP2001160919A (ja) * 1999-09-20 2001-06-12 Hitachi Ltd 監視装置
JP2003067021A (ja) * 2001-08-23 2003-03-07 Yutaka Electronics Industry Co Ltd ロボットのメンテナンス方法及びロボットのメンテナンスの補助を行うメンテナンス補助者としての知識の試験の問題用紙
JP2006224279A (ja) * 2005-02-21 2006-08-31 Fanuc Ltd ロボット撮像装置

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02269587A (ja) * 1989-04-07 1990-11-02 Daifuku Co Ltd カメラ使用の自動移載装置
JPH0326491A (ja) * 1989-06-19 1991-02-05 Hitachi Ltd ロボットの監視装置
JPH07185855A (ja) * 1993-12-27 1995-07-25 Nissan Motor Co Ltd レーザ溶接の溶接品質管理方法
JP2001038467A (ja) * 1999-07-29 2001-02-13 Hitachi Constr Mach Co Ltd 溶接品質の検査方法および装置
JP2001160919A (ja) * 1999-09-20 2001-06-12 Hitachi Ltd 監視装置
JP2003067021A (ja) * 2001-08-23 2003-03-07 Yutaka Electronics Industry Co Ltd ロボットのメンテナンス方法及びロボットのメンテナンスの補助を行うメンテナンス補助者としての知識の試験の問題用紙
JP2006224279A (ja) * 2005-02-21 2006-08-31 Fanuc Ltd ロボット撮像装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012106317A (ja) * 2010-11-18 2012-06-07 Kobe Steel Ltd 溶接状況監視方法及び溶接状況監視装置
CN102497392A (zh) * 2011-11-22 2012-06-13 中国科学院自动化研究所 网络化多机器人系统
CN108098179A (zh) * 2016-11-25 2018-06-01 辽东学院 便携式焊接示教仪
CN107738020A (zh) * 2017-11-14 2018-02-27 苏州泛能电力科技有限公司 一种电连接器电缆焊接机械手
CN113993647A (zh) * 2019-06-14 2022-01-28 松下知识产权经营株式会社 补焊系统
CN113993647B (zh) * 2019-06-14 2024-05-28 松下知识产权经营株式会社 补焊系统
CN114473140A (zh) * 2022-02-22 2022-05-13 上海电力大学 一种基于分时复用的熔池图像平行式采集方法
CN116160174A (zh) * 2023-04-21 2023-05-26 山东芯合机器人科技有限公司 一种基于双目视觉的焊缝识别与跟踪控制方法

Also Published As

Publication number Publication date
JP5550407B2 (ja) 2014-07-16

Similar Documents

Publication Publication Date Title
JP5550407B2 (ja) 溶接施工監視システム
US10980606B2 (en) Remote-control manipulator system and method of operating the same
JP6420229B2 (ja) 仮想物体の画像をロボットの映像に重畳表示する映像表示装置を備えるロボットシステム
EP1512499A2 (en) Robot having a camera mounted at the distal end of its arm and method for operating such a robot
JP2016107379A (ja) 拡張現実対応ディスプレイを備えたロボットシステム
KR102600357B1 (ko) 용접 장치
JP5645687B2 (ja) レーザ加工装置、及びレーザ加工方法
JP2009000782A (ja) ロボット制御システムおよびロボットハンド
JP5449112B2 (ja) 溶接状況監視方法及び溶接状況監視装置
KR20080070132A (ko) 용접선 추적장치
CN202607049U (zh) 一种带图像监控的轮式自主移动焊接机器人控制系统
JP2003230959A (ja) 遠隔操作型溶接ロボットシステム
JP2013176822A (ja) 加工状態表示装置を備えた工作機械
KR102199207B1 (ko) 다관절로봇의 모션제어를 이용한 티그 로봇용접시스템
JP2008132525A (ja) 溶接ロボット教示位置補正システム及び溶接ロボット教示位置補正方法
JP5573537B2 (ja) ロボットのティーチングシステム
JP2010149225A (ja) ロボットシステム、ロボットシステムの制御装置および制御方法
JP2002096169A (ja) 遠隔操作型溶接ロボットシステム
JPH09295145A (ja) 管の自動溶接装置
JP2005334904A (ja) 自動倣い溶接制御方法及び装置
JP2020073302A (ja) ロボットおよびロボットシステム
JP2018192602A (ja) 作業方法およびロボットシステム
JP3177737U (ja) ロボットアームの位置設定補助装置
JP2003033874A (ja) 溶接自動倣い制御装置
JP2024000327A (ja) 遠隔操作型の溶接システムの遠隔操作方法、および溶接システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131008

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20131010

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140520

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R150 Certificate of patent or registration of utility model

Ref document number: 5550407

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150