JP2002120066A

JP2002120066A - 溶接用センサ

Info

Publication number: JP2002120066A
Application number: JP2000312268A
Authority: JP
Inventors: Hideaki Mizuno; 秀明水野
Original assignee: Kawasaki Heavy Industries Ltd
Current assignee: Kawasaki Heavy Industries Ltd
Priority date: 2000-10-12
Filing date: 2000-10-12
Publication date: 2002-04-23
Anticipated expiration: 2020-10-12
Also published as: JP3398657B2

Abstract

(57)【要約】【課題】アーク溶接中の溶接ワイヤ先端位置、溶融池
など溶接部位と開先の３次元位置を正確に推定する溶接
用センサを提供し、また、適正な開先倣い溶接や溶接条
件の調整を行うために利用できる溶接用センサを提供す
る。【解決手段】溶接トーチ２１に対して溶接の進行方向
前方にレーザ投光器１と撮像機構３、この撮像機構に加
えて画像処理機構５を含む撮像装置、さらに演算装置７
を備え、レーザ投光器１を用いて溶接進行方向前方の溶
接部１５に光切断像１９を形成し、撮像装置により溶接
トーチ２１から延出した溶接ワイヤ２３と溶融池２５と
溶接部の前に位置する光切断像１９が１つの画面に写し
込まれた画像をリアルタイムで取得し、溶接トーチ２１
の軸を含む平面２７とレーザ光走査面１７の空間位置情
報および取得した画像の情報を用いて光切断像１９と溶
接ワイヤ２３の空間位置を求めることを特徴とする。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、溶接中の溶接状態
を測定する溶接用センサに関し、特にアーク溶接におい
て開先断面および溶接ワイヤ先端部と溶融池を撮像して
得られる２次元画像に基づいて３次元位置を推定して溶
接制御するために使用する溶接用センサに関する。

【０００２】

【従来の技術】従来から、溶接部を撮影してモニターし
たり画像解析して溶接制御する方法が開発されてきた。
たとえば、特開平８−２７６２７１には、溶接トーチの
斜め前方に設けた１台のカメラを用いて開先位置計測と
溶接ワイヤ先端の位置計測をし、これにより開先倣い溶
接する方法が開示されている。この方法は、溶接電流を
低下させてアーク光を弱めた時にレーザ光切断像を取得
して開先位置計測に用いることにより、溶接部の近くの
開先状態を把握して溶接倣いを行おうとするものであ
る。この方法では、溶接開始点における溶接ワイヤ先端
位置と溶接開始直後におけるアーク光画像の重心点位置
との差を初期設定値とし、撮像した溶接アーク光の重心
点位置を初期設定値で補正して溶接ワイヤの先端位置を
求めている。

【０００３】また、特開平１０−０９４８７２に、アー
ク溶接の近傍をテレビカメラで撮影し、得られる画像信
号を用いて自動溶接機を開先倣い制御する方法が開示さ
れている。この方法は、溶接ワイヤや開先が基準位置に
あるときの撮影画面についてウインドウを設定してお
き、現在の撮影画面中にこのウインドウと相関が強い部
分を検出して現在の溶接ワイヤと開先の相対位置を見出
すようにしたものである。照明光やアーク光が変化して
も正確に位置を検出することができ、良好な開先倣いを
行うことができるとされる。

【０００４】しかし、特開平８−２７６２７１に開示さ
れた方法では、溶接ワイヤの先端位置を初期設定値に基
づいて補正して求めるため、溶接中に条件変化があれば
位置が不正確になり、またアーク光画像の重心位置に基
づいて推定するため、溶接アーク光の状態に左右されて
正確な位置を確定することが困難である。また、特開平
１０−０９４８７２に開示された方法では、２次元画面
中に現れた相対的位置関係しか明らかにならないので、
現実の３次元空間における正確な位置を知ることができ
ない。さらに、上記従来技術には、溶融状態に基づいて
溶接条件を制御する技術的思想を示唆するものがない。

【０００５】

【発明が解決しようとする課題】そこで、本発明が解決
しようとする課題は、アーク溶接中の溶接ワイヤ先端位
置、溶融池など溶接部位の３次元位置をより正確に推定
し、開先との正確な位置関係を把握する溶接用センサを
提供し、また、開先線に適正に倣ってアーク溶接を行
い、また溶融池の状態を把握して溶接条件の調整を行う
ために利用できる溶接用センサを提供することである。

【０００６】

【課題を解決するための手段】上記課題を解決するた
め、本発明の溶接用センサは、溶接トーチに対して溶接
の進行方向前方にレーザ投光器と撮像機構、この撮像機
構に加えて画像処理機構を含む撮像装置、さらに演算装
置を備え、レーザ投光器を用いて溶接進行方向前方の溶
接部に光切断像を形成し、撮像装置により溶接トーチか
ら延出した溶接ワイヤと溶融池とを含む溶接部および溶
接部の前に位置する光切断像が１つの画面に写し込まれ
た画像をリアルタイムで取得し、演算装置が溶接トーチ
とレーザ光の空間位置情報および取得した画像の情報を
用いて光切断像と溶接ワイヤの空間位置を求めることを
特徴とする。

【０００７】本発明の溶接用センサによれば、撮像装置
により取得した画像情報に溶接トーチやレーザ光の実際
の位置情報を加味して溶接ワイヤ先端位置や開先位置を
推定するため、それぞれの位置を３次元位置情報として
正確に把握することができる。従って、従来技術より精
度の高い開先倣い制御を行うことができる。また、溶融
池の正確な位置と形状を把握することができるので、溶
接ワイヤの位置制御ばかりでなく、溶接条件の調整に用
いることも可能である。さらに、溶接部の手前における
開先の状態をモニターすることができるため、溶接条件
の変更にある程度の時間が必要な場合にも十分調整が可
能である。

【０００８】なお、本発明における撮像装置は、画面中
の光切断像領域と溶接部分領域に対応して異なる透過特
性を有するフィルタを備えてもよい。溶接部分における
発光は、溶接ワイヤ先端付近のアーク光とアークを囲む
溶融池の熱放射光であり、遠赤外領域の光が多く含まれ
る。一方、光切断像を形成するレーザ光の波長は適当に
選択することができる。そこで、レーザ光として、アー
クの周囲に広がる溶融池が大量に発する遠赤外領域の光
より短いレーザ光を選択し、撮像機構において光切断像
を写し込む入射光線が通過する部分にレーザ光の波長領
域を透過するバンドパスフィルタを置くと、撮像機構に
より取得する溶接画像中の光切断像の部分がより鮮明に
現れるようになる。

【０００９】レーザ光源として、たとえば６８０ｎｍか
ら８３０ｎｍの波長範囲のレーザ光を発生するレーザダ
イオードを利用することができる。特にアーク光の波長
が７００ｎｍ付近の成分を多く含むことから、７８０ｎ
ｍから８３０ｎｍの波長範囲内のレーザダイオードを利
用することが好ましい。なお、溶融池を写し込む位置に
は遠赤外線以外をカットする遠赤外パスフィルタを設け
ることが好ましい。また、減光フィルタを設けてもよ
い。このように簡単な光学要素を用いて画像信号を変成
することにより、画像処理機構の処理アルゴリズムを効
果的に単純化することができる。

【００１０】また、本発明の溶接用センサは、撮像機構
で取得した画像に基づいて撮像画面中の溶接ワイヤの先
端位置および光切断像の特徴点それぞれの２次元座標値
を求め、２次元座標値それぞれと撮像装置の光学中心を
結ぶ各直線を算出し、溶接ワイヤ先端位置と結ぶ直線と
溶接トーチの軸が含まれる面の交点を用いて溶接ワイヤ
先端の３次元位置を算出することにより溶接位置と溶融
池位置を推定し、光切断像の特徴点と光学中心を結ぶ直
線とレーザ光走査面との交点を用いて特徴点の３次元位
置を算出することにより開先位置を推定するようにする
ことができる。

【００１１】特に、撮像画面中の２次元位置Ｍ（ｍ₁，
ｍ₂）と空間における３次元位置Ｒ（ｒ₁，ｒ₂，ｒ₃）が
αを媒介変数として６点以上の既知点の撮像結果に基づ
いて算出されたカメラパラメータＣ（ｃ_ij（ただしｉ＝
１〜３，ｊ＝１〜４））により関連付けられていること
を利用して溶接ワイヤ先端あるいは光切断像特徴点と撮
像装置の主点を結ぶ直線を算出する場合は、数学的裏付
けを持ってより正確にそれぞれの３次元位置を求めるこ
とができる。

【００１２】本発明の溶接用センサによれば、アーク溶
接中の溶接部位と開先特徴点の３次元位置をより正確に
推定し、また溶接位置前方の開先状態を把握できるの
で、開先線に適正に倣ったアーク溶接制御、また溶融池
の状態に基づいた溶接条件調整を行うことができる。

【００１３】

【発明の実施の形態】以下、本発明に係る溶接用センサ
の実施の形態を、図面を用い実施例に基づいて詳細に説
明する。図１は本実施例の部品配置を説明する構成図、
図２は取得される画像を説明する図面、図３は本実施例
の溶接用センサにより特徴点の３次元座標を求める手順
を説明する流れ図である。

【００１４】本実施例は、図中右方向に進行する溶接方
向に対して溶接トーチ２１の前方から撮像する溶接用セ
ンサである。溶接用センサは、レーザ投光器１、撮像機
構３と画像処置機構５を備える撮像装置、および演算装
置７からなり、レーザ投光器１と撮像機構３は溶接トー
チに対して固定されている。溶接トーチ２１の中心軸に
沿って溶接ワイヤ２３が延出して先端と被溶接物の間に
溶接アークを形成し、被溶接物が局所的に溶けて溶融池
２５を形成する。

【００１５】レーザ投光器１は、開先１５に垂直な平面
１７内にレーザを走査して開先表面で反射させ、表面形
状を光切断像１９として得る装置で、溶接トーチ２１の
僅か前方を照射する。なお、光切断像を形成するレーザ
光はスリット光であってもよい。また、撮像機構３は、
ＣＣＤカメラやＩＴＶカメラなど、映像中の対象物位置
が撮像面１３に固定された２次元座標系により表現でき
るものを利用する。なお撮像機構３には光学系１１と撮
像面１３が組み込まれており、光学系１１により撮像面
１３に開先の光切断像１９と溶接ワイヤ２３と溶融池２
５を結像する。撮影対象物とその像は光学中心を通る直
線で結ぶことができる。

【００１６】なお、溶融池の部分は遠赤外領域の光を強
く放射するので、光切断像がこれらと区別しやすいよう
に光切断用レーザ光はより短波長の領域の光を使用す
る。そこで、画像信号として両者が簡単に区別でき、特
に光切断像が明確に撮影できるように、それぞれに適合
して光波長特性が異なる透過特性を有するフィルタ９を
備えるようにしてもよい。

【００１７】フィルタ９を備える場合は、撮像機構３の
映像出力をモニタで観察すると、図２のモニタ画面２９
に示すように、フィルタ９の遠赤外光を透過する遠赤外
パスフィルタ３１の部分には溶接アークと溶融池２５に
対応する部分が、照射するレーザ光の波長領域を透過す
るバンドパスフィルタ３３の部分には光切断像１９が観
察されるように割り付けるようにする。このようなフィ
ルタはそれぞれの特性を有するものを別々に配置し位置
調整して使用してもよいし、それぞれを上下に接合した
１枚の分割フィルタを境界位置が溶融池と必要な開先部
分の光切断像の間に来るように調整して使用してもよ
い。また、このフィルタ９は光学系１１と撮像面１３の
間に設置してもよい。なお、それぞれ特性の異なるフィ
ルタを配したカメラを２台設け、これらカメラの取得し
た画像を合成して用いてもよい。また、溶融池の部分に
対応するフィルタは、単なる減光フィルタでもよく、あ
るいは遠赤外パスフィルタと減光フィルタを併用しても
よい。さらに、カメラの絞り機構を活用すれば、フィル
タが無くても良い。

【００１８】モニタ画面２９中には、輝度の高いアーク
光や溶融池２５の映像と、短波長色の光切断像が共に明
瞭に現れている。なお、バンドパスフィルタ３３の輪郭
を光切断像の形状に合わせた凹みを持たせて、その凹み
部分に溶融池が侵入できるようにすると、溶融池と開先
光切断像の間の距離が極めて小さい場合にも、両者いず
れも明瞭な映像として１枚の画面に映し込むことができ
る。

【００１９】画像処理装置５は、撮像面１３に結像した
画像に基づく映像信号を入力して所定のアルゴリズムに
従って解析し、溶接ワイヤ先端や開先接合線など映像中
の特徴点を抽出して画面中の２次元位置として特定す
る。このような特徴点の抽出は既に一般的になっている
各種技術を活用すればよい。

【００２０】演算装置７は、画像処理装置５から解析結
果を入力して撮像面に投影された溶接ワイヤ２３の先端
位置や開先の光切断像における特徴点などの２次元位置
と光学中心を結ぶ直線の方程式を求める。さらに、これ
ら直線の方程式と、予め求めてある溶接ワイヤ２３の軸
が含まれる面２７やレーザ照射面１７との交点として溶
接ワイヤ先端や特徴点の３次元座標値、すなわち実態と
しての空間位置座標を求める。物体座標系は任意に定め
ることができるが、自動溶接装置などを用いる場合は、
溶接ロボットを含む溶接台車の軌道に平行なＺ軸を持つ
座標系や、アクチュエータの軸を基準にした座標系を設
定することが好ましい。

【００２１】撮像座標と光学中心を結ぶ直線は、同次座
標系を用いた線形化手法に基づいて導出されたカメラパ
ラメータを使って行う座標変換法により求める。上記座
標変換法は、本願出願人が出願した特願平１１−１６６
６９６号に詳細に説明されているので、ここでは簡単に
説明する。撮像機構における光学的関係から、焦点距離
ｆの光学系により空間中のある測定点Ｐ（ｘ，ｙ，ｚ）
を結像面に投影した点Ｐ’（ｘ_c，ｙ_c，ｚ_c）は、下式
（１）で与えられる。なお、光学軸をＺ軸とした。

【数２】ここで、ｚ_c＝０である。また、α＝ｆ／（ｆ＋ｚ）と
なる。

【００２２】さらに、媒介変数Ｗ_hを加えて３次元の点
（ｘ，ｙ，ｚ）を４次元の点（ｘ_h，ｙ_h，ｚ_h，ｗ_h）で
表し同次座標系を用いて線形化すると、座標変換は下式
（２）の行列演算で記述することができる。ここで、ｘ
＝ｘ_h／ｗ_h，ｙ＝ｙ_h／ｗ_h，ｚ＝ｚ_h／ｗ_hである。ま
た、（ｘ，ｙ，ｚ，１）は同次座標系表現における物体
点Ｐの座標、（ｘ_ch，ｙ_ch，ｚ_ch，ｗ_ch）は撮像面上の
投影点Ｐ’の座標である。

【数３】

【００２３】ロボットやアクチュエータなどの移動軌道
と関連付けられた物体座標系と撮像座標系を関係付ける
座標変換Ｔは、同次座標系表現では回転と平行移動を含
めて下式（３）で表される。

【数４】

【００２４】したがって、物体座標系での点Ｐから撮像
座標系での点Ｐ’への変換は下式（４）で表すことがで
きる。

【数５】

【００２５】撮像座標系における撮像面では常にｚ_ch＝
０なので、撮像面における像の２次元位置Ｍ（ｍ₁，
ｍ₂）と空間における３次元位置Ｒ（ｒ₁，ｒ₂，ｒ₃）の
変換を表わす下式（５）が得られる。なお、αは媒介変
数に相当する。

【数６】

【００２６】この係数行列は位置、姿勢、画角などカメ
ラに関するデータを全て含みカメラの視線を表現するも
ので、この係数を一般にカメラパラメータと呼ぶ。特定
点の撮像面上の２次元座標とその物体座標系上の３次元
座標を上式（５）に適用することにより両者を結ぶ直線
で交わる２枚の平面の方程式が得られる。カメラパラメ
ータの各係数は、レンズの焦点距離やカメラの位置や姿
勢の実測値から求めることもできるが、形状や位置が既
知の基準となる物体を利用し、これを撮像装置で計測し
た結果を用いてキャリブレーションすることが実用的で
ある。

【００２７】物体座標系上の基準点（ｒ₁，ｒ₂，ｒ₃）
と撮像面上の対応する位置（ｍ₁，ｍ ₂）を１組与えれ
ば、２個の方程式が得られる。カメラパラメータは１２
個の要素を有するので、互いに独立した６個以上の基準
点を用いてカメラパラメータの係数を求めることができ
る。このようにして求めたカメラパラメータにより、撮
像面上の映像の位置に基づいて溶接ワイヤ先端や開先上
の特徴点などを見通す視線の式が求められる。

【００２８】また、溶接ワイヤ２３は溶接トーチ２１の
軸に沿って真っ直ぐに突出する場合が多く、上記の視線
が溶接トーチの軸を含む面２７に当たる点が溶接ワイヤ
先端位置である可能性が高い。溶接トーチ軸を含む面２
７を物体座標系上に形状方程式として表しておけば、視
線との交点は数学的に算出することができ、溶接ワイヤ
２３先端位置の３次元座標は容易に求めることができ
る。また、溶接ワイヤ先端の周囲に広がる溶融池２５の
位置も同時に求まることになる。

【００２９】さらに、開先の光切断像１９は、レーザ投
光器１から面状に照射されるレーザ光により形成される
から、レーザ光走査面１７を表す形状方程式を求めてお
いて、開先上の特徴点を見通す視線の方程式との交点を
算出することにより、特徴点の３次元座標は容易に求め
ることができる。

【００３０】本実施例の溶接用センサを用いて、撮像面
２１内に写し込まれた溶接トーチ、溶接ワイヤ、溶融
池、開先などの３次元位置を、図３に示す手順により求
めて、開先倣い制御や溶接条件調整など溶接制御に使用
することができる。

【００３１】すなわち、溶接ロボットなどを搭載する溶接台車が走行する際に
利用する３次元の物体座標系を定める（Ｓ１）。溶接ワイヤが含まれる平面、レーザ光走査面、溶接ト
ーチ筐体の特定表面など、画面に含まれる物体の形状を
その物体座標系上で表現する形状方程式を確定する（Ｓ
２）。溶接部位の撮像面における２次元撮像座標系と３次元
物体座標系との変換パラメータ、すなわちカメラパラメ
ータを算定する（Ｓ３）。

【００３２】このような準備を行った上で溶接中の溶接
部位を溶接進行方向前方から撮影して、撮像用カメラで取得した画像中で溶接トーチ、溶接ワ
イヤ、開先などの特徴点を抽出し、その特徴点の２次元
撮像座標系上の座標を求める（Ｓ４）。特徴点の撮像座標値にカメラパラメータを作用させ
て、光学中心とその特徴点を結ぶ直線の方程式を求める
（Ｓ５）。各特徴点について、それが含まれる面の形状方程式と
視線方程式の交点として対象点の３次元物体座標系上の
座標値を算出する（Ｓ６）。

【００３３】本実施例の溶接用センサは、上記手順によ
り、溶接中の溶接ワイヤ２３先端と開先１９の位置を正
確に推定して３次元座標値として出力することができ
る。この出力情報を自動溶接装置で利用することによ
り、従来のように溶接トーチの位置で代用して倣い制御
するのではなく、溶接ワイヤの先端位置と開先位置を物
体座標系上に正確に指定して溶接位置制御することがで
きる。また、本実施例の溶接用センサは、開先の光切断
像を溶接進行方向手前に形成して、両者を１枚の撮像面
内に撮影するので、溶接位置が観察された開先に到達す
る前に必要な動作を行うことができる。

【００３４】なお、溶接ワイヤの突き出し長が変化した
ときでも精密な開先倣い溶接制御を行うことができる。
また、巻き癖などの影響で溶接ワイヤが曲がり、実際の
溶接ワイヤが溶接トーチの軸からずれた場合にも、溶接
トーチ軸が属する平面の上に位置するときの溶接ワイヤ
と実際の溶接ワイヤの見かけのワイヤ径の差に基づいて
位置ずれ量を算出して、正しい溶接ワイヤ先端位置を推
定することができる。また、溶接用センサで測定された
実際の開先幅が予定されたウィービング幅と異なる場合
には、溶接ワイヤがその位置に到達する前にウィービン
グ幅を調整することができる。

【００３５】なお、溶融池の大きさや輝度により溶融状
態を推定することができるが、本実施例の溶接用センサ
では、１枚のモニタ画面中に溶融池とその溶接進行方向
手前における開先の光切断像が一緒に写っているため、
溶融池が観察した開先位置まで到達する時刻を見計らっ
て溶接条件を調整することができる。たとえば、溶接ワ
イヤと光切断像との間を３０ｍｍとすれば、溶接速度が
１０ｍｍ／ｓのときには溶接条件の調整に３秒間の余裕
がある。

【００３６】なお、上記実施例では、撮像機構に１台の
カメラを用いたが、複数のカメラを用いてそれぞれの対
象を同時に撮影して、それぞれの映像出力を合成して利
用することもできる。この方法によれば、絞りや色感度
あるいはフィルタなど、対象それぞれに最適な撮影条件
を設定することができる。

【００３７】

【発明の効果】以上説明した通り、本発明の溶接用セン
サを用いれば、溶接中の溶接ワイヤ先端と溶融池をこれ
から溶接すべき開先位置が１枚の画面中にリアルタイム
で写し込まれるので、これを利用して溶接条件の調整や
正確な開先倣い制御を行って、品質の高い溶接をするこ
とができる。

【発明の効果】【図面の簡単な説明】

【図１】本発明の溶接用センサの１実施例における部品
配置を説明する構成図である。

【図２】本実施例の溶接用センサで取得される画像を説
明する図面である。

【図３】本実施例の溶接用センサにより特徴点の３次元
座標を求める手順を説明する流れ図である。

【符号の説明】

１溶接トーチ３撮像機構５画像処理装置７演算装置９フィルタ１１光学系１３撮像面１５開先１７レーザ光走査面１９光切断像２１溶接トーチ２３溶接ワイヤ２５溶融池２７溶接トーチ軸を含む平面２９モニタ画面３１減光フィルタ部３３バンドパスフィルタ部

Claims

【特許請求の範囲】

【請求項１】溶接トーチに対して溶接の進行方向前方
にレーザ投光器と、同じく溶接進行方向前方に備えた撮
像機構と画像処理機構を含む撮像装置と、演算装置を備
えて、前記レーザ投光器により溶接進行方向前方の溶接
部に光切断像を形成し、前記撮像装置により前記溶接ト
ーチから延出した溶接ワイヤと溶融池とを含む溶接部お
よび該溶接部の前に位置する前記光切断像が１つの画面
に写し込まれた画像をリアルタイムで取得し、前記演算
装置が前記溶接トーチと前記レーザ光の空間位置情報お
よび前記画像の情報を用いて前記光切断像と溶接ワイヤ
の空間位置を求めることを特徴とする溶接用センサ。
【請求項２】前記撮像装置の画面に写し込む前記光切
断像の領域と溶接部分の領域に対応して異なる透過特性
を有するフィルタを備えたことを特徴とする請求項１記
載の溶接用センサ。
【請求項３】前記画像処理機構が前記撮像機構で取得
した画像に基づいて撮像画面中の前記溶接トーチから延
出した溶接ワイヤの先端位置および前記光切断像の特徴
点それぞれの２次元座標値を求め、前記演算装置が、該
２次元座標値それぞれと前記撮像装置の光学中心を結ぶ
各直線を算出し、前記溶接ワイヤ先端位置と結ぶ直線と
前記溶接トーチの軸が含まれる面の交点を用いて前記溶
接ワイヤ先端の３次元位置を算出することにより溶接位
置および溶融池位置を推定し、前記光切断像特徴点と前
記光学中心を結ぶ直線と前記レーザ投光器のレーザ光走
査面との交点を用いて前記特徴点の３次元位置を算出す
ることにより開先位置を推定することを特徴とする請求
項１または２記載の溶接用センサ。
【請求項４】前記演算装置が、前記溶接ワイヤ先端あ
るいは前記光切断像特徴点の撮像画面中の２次元位置Ｍ
（ｍ₁，ｍ₂）と空間における３次元位置Ｒ（ｒ₁，ｒ₂，
ｒ₃）がαを媒介変数として６点以上の既知点の撮像結
果に基づいて算出されたカメラパラメータＣ（ｃ_ij（た
だしｉ＝１〜３，ｊ＝１〜４））により下式で関連付け
られていることを利用して前記溶接ワイヤ先端あるいは
前記特徴点と撮像装置の主点を結ぶ直線を算出すること
を特徴とする請求項１から３のいずれかに記載の溶接位
置計測装置。【数１】