以下図面について、本発明の一実施形態を詳述する。以下の説明において、同様の構成には同一の符号を付し、重複する説明は省略する。
<本発明の溶接操業監視システムの構成>
図1は、プラズマシールド電縫溶接に用いる、本発明の溶接操業監視システム1の構成を示した概略図である。ここでプラズマシールド電縫溶接では、鋼板6を造管方向Xに向けて搬送しながら、ロール群(図示せず)によって鋼板6を管状に成形する。この際、図示しないワークコイルによる誘導加熱又はコンタクトチップによる直接通電加熱を行い、鋼板6の突合せ端部7a,7bを加熱及び溶融する。なお、図1において、Zは造管方向Xと直交する高さ方向を示し、Yは、造管方向X及び高さ方向Zと直交し、突合せ端部7a,7bが突き合せする方向(突合せ方向)を示す。
溶接操業監視システム1には、プラズマシールド電縫溶接が行われる際に管状に成形される鋼板6の管内側に、プラズマ照射装置2が設置されている。また、溶接操業監視システム1には、プラズマ照射装置2が設置された管内側とは逆側の鋼板6の管外側に、上方撮像装置3a及び側方撮像装置3bが配置されている。さらに、溶接操業監視システム1は、上方撮像装置3a及び側方撮像装置3bでそれぞれ生成されたカラー画像を取得する溶接操業監視装置4を備えている。
プラズマ照射装置2は、鋼板6の突合せ端部7a,7bがV字状に収束するV字領域ERVが形成された溶接部ERに対し、鋼板6の管内側から鋼板6の造管方向X側に向けてプラズマ9を照射する。プラズマ照射装置2は、プラズマシールド電縫溶接の際に溶接部ERに対してプラズマ9を照射することにより、溶接部ERをプラズマ9で覆うようにしている。この実施形態の場合、プラズマ照射装置2は、層流のプラズマ9を溶接部ERに照射し、プラズマシールド電縫溶接の際に溶接部ERへの大気の巻き込みを大幅に低減している。これにより、溶接部ERでは、溶鋼表面における酸化物の生成を大幅に低減できる。
プラズマ照射装置2は、溶接部ERの全範囲に対してプラズマ9を照射するため、鋼板6上において少なくとも長さ100mm以上、より好ましくは200mm以上の範囲にプラズマ9を照射することが望ましい。なお、このプラズマ照射装置2は、消費電力が約40kWであり、これは、溶接専用のプラズマ溶接装置の消費電力の約1/10である。
プラズマ照射装置2は、Ar、N2を主成分としたプラズマ9を照射する。ただし、プラズマ照射装置2は、H2を含有したプラズマを照射してもよく、この場合、当該プラズマ9によって、溶接部ERの周辺に還元性雰囲気を形成し得る。これにより、溶接部ERの周辺における酸素濃度が低くなり、溶接部ERの表面における酸化物の形成を抑制できる。
上方撮像装置3aは、溶接部ERの上方に配置されており、溶接部ER上方から当該溶接部ERを撮像する。上方撮像装置3aは、鋼板6の管内側からプラズマ9が照射された溶接部ERを上方から撮像していることから、V字領域ERV越しに、管内側から照射しているプラズマ9を見ることができる。そのため、上方撮像装置3aが撮像する範囲には、こうしたV字領域ERV内にプラズマ9が見える領域が含まれる。
上方撮像装置3aは、撮像した画像を、赤成分(R)、緑成分(G)及び青成分(B)を含んだカラー画像(RGB画像)として再現可能に構成されており、得られたカラー画像を溶接操業監視装置4に入力する。具体的には、可視光(380〜780nm)を検出可能な撮像素子が設けられた上方撮像装置3aであることが望ましい。
上方撮像装置3aの一例としては、V字領域ERVを含む溶接部ERからの自発光パターン(輻射パターン)を撮像し得るCCD(Charge Coupled Device)カメラやCMOS(Complementary metal-oxide-semiconductor)カメラを用いることが望ましい。因みに、この実施形態においては、例えば、1920×512の画素を有した上方撮像装置3aによって、撮影視野が190mm×50mm、分解能が100μm/画素以上、撮影フレームレートが200fps、露光時間が1/10000secの条件で、V字領域ERVを含む溶接部ERを上方から撮像する。
なお、V字領域ERVからは、管外側にプラズマ9が一定量漏れ出しており、V字領域ERVより広範囲にプラズマ9が広がっているはずである。しかしながら、そうしたプラズマは管内側のプラズマ9に比べ圧倒的に量が少なく、プラズマ9が周りの溶接部ERに対して十分な輝度を有しない。そのため、溶接部ERの真上から撮像する上方撮像装置3aでは、溶接部ERと重なる位置に見える、V字領域ERVから管外側に一定量漏れ出たプラズマ(以下、漏れプラズマと称する)を撮像することが難しい。このため、上方撮像装置3aでは、漏れプラズマは写っていないものと見なすことができるため、漏れプラズマについて事実上無視することが可能であり、上方撮像装置3aの説明においては、この点の説明を省略する。
溶接操業監視システム1では、上方撮像装置3aにより撮影された溶接部ERのカラー画像に基づき、後述する溶接操業監視装置4において物理的衝合点(図示せず)を検出する。物理的衝合点は、V字状に収束する鋼板6の両突合せ端部7a,7bが物理的に衝合(接触)する点である。上方撮像装置3aは、カラー画像を基に、溶接操業監視装置4が物理的衝合点を決定できるような分解能で溶接部ERを撮影する。
画像処理によって溶接状態を解析するには、溶接部ERの突合せ端部7a,7bだけでなく、上方撮像装置3aにより突合せ端部7a,7b周辺の溶接ビードも鮮明に撮影することが望ましい。溶接ビードとは、両突合せ端部7a,7bを突き合わせる際に、管状に成形した鋼板6の内外面に、溶融した鋼が流出することにより成形された盛り上がり部分を示す。
上方撮像装置3aにより、溶接ビードの撮影をする際には、被写界深度を±4mm以上にすることが好ましい。溶接部ERの上方3m程度の位置に上方撮像装置3aを設置した場合には、上記の撮影条件を満たすために、上方撮像装置3aの絞り条件をF8〜F11に設定することが望ましい。
溶接操業監視装置4は、上方撮像装置3aからカラー画像が入力されると、当該カラー画像に対して物理的衝合点解析処理(後述する)を実行することにより、溶接部ERにおける物理的衝合点を検出する。
かかる構成に加えて、溶接操業監視システム1には、鋼板6の管外側方側から溶接部ERを撮像する側方撮像装置3bが設けられている。また、溶接部ER及び側方撮像装置3bの間には、長波長をカットする波長カットフィルタ5が設けられている。側方撮像装置3bは、溶接部ERを真上から撮像する上方撮像装置3aでは撮像が難しい漏れプラズマ9a(V字領域ERVから管外側に向けて一定量漏れ出ているプラズマ9)を撮像するものである。
側方撮像装置3bは、溶接部ERにおいて突合せ端部7a,7bが突き合わされる鋼板6の外周面に接し、かつ、造管方向X及び高さ方向Zに直交する突合せ方向Yと平行な接線Y1を含む面より高い位置に配置されており、溶接部ERを側方側から、即ち、略Y方向の斜め上から撮像する。こうした配置にすることで、側方撮像装置3bの撮像視野内において、溶接部ERと漏れプラズマ(の少なくとも一部)とが異なる位置に撮像されることになるため、高輝度の溶接部ERに、輝度の弱い漏れプラズマが埋もれることがなく、漏れプラズマの撮像をより容易に行うことができる。
側方撮像装置3bの光軸方向(側方撮像装置3bが被写体を撮像する方向)Y2と、接線Y1を含む面とがなす角度(以下、撮像角度とも称する)θは、0度以上60度以下に選定されることが望ましい。なお、図1に示す側方撮像装置3bは、接線Y1を含む面よりも高い位置に配置され、側方斜め上方から漏れプラズマ及び溶接部ERを撮像している。
側方撮像装置3bは、上方撮像装置3aと同様に、撮像した画像を赤成分(R)、緑成分(G)及び青成分(B)を含んだカラー画像(RGB画像)として再現可能に構成されており、得られたカラー画像を溶接操業監視装置4に入力する。具体的には、可視光(380〜780nm)を検出可能な撮像素子が設けられた側方撮像装置3bであることが望ましい。
側方撮像装置3bの一例としては、V字領域ERVから管外側に漏れ出る漏れプラズマの自発光パターン(輻射パターン)を撮像し得るCCDカメラやCMOSカメラを用いることが望ましい。
側方撮像装置3bは、溶接部ERを側方から撮像し、V字領域ERVから管外側に漏れ出た漏れプラズマの一部又は略全体を、溶接部ERやV字領域ERVと重ならずに撮像している。なお、突合せ端部7a,7bがV字状に収束する方向に向けて管内側から管外側に向けてプラズマ9が照射されていることから、漏れプラズマは、V字領域ERVの造管方向Xに広がった範囲から漏れ出し、管外に向かって先細りとなる。そのため、漏れプラズマを側方から見ると、図3に示すように、物理的衝合点近傍に鈍角の頂点を持つ鈍角三角形状に撮像される。
側方撮像装置3bは、このような漏れプラズマを、波長カットフィルタ5を通して撮像している。側方撮像装置3bは、波長カットフィルタ5を通して漏れプラズマ及び溶接部ERを撮像することで、赤成分(R)、緑成分(G)及び青成分(B)を含んだカラー画像を生成する際に、後述するように、カラー画像内に写る溶接部ERの色味が調整される。
このように側方撮像装置3bは、カラー画像の色味が調整されることで、突合せ端部7a,7b周辺の青成分が抑制され、その一方で漏れプラズマの青成分についてはそのまま残ったカラー画像を生成できる。
波長カットフィルタ5は、580nm以上の波長の光をカットするものが望ましく、より好ましくは590nm以上の波長の光をカットするものが望ましい。
溶接操業監視システム1では、側方撮像装置3bにより撮影された漏れプラズマ及び溶接部ERのカラー画像に基づき、後述する溶接操業監視装置4において漏れプラズマのプラズマ位置を算出する。側方撮像装置3bは、管内側のプラズマ9に比べ圧倒的に量が少なく、輝度の小さい漏れプラズマを、溶接操業監視装置4により特定できるような分解能で、溶接部ERとともに撮影し、カラー画像を生成する。
溶接操業監視装置4は、側方撮像装置3bからカラー画像が入力されると、当該カラー画像に対してプラズマ位置算出処理(後述する)を実行することにより、造管方向Xの漏れプラズマのプラズマ位置を算出する。また、溶接操業監視装置4は、上述した上方撮像装置3aからのカラー画像を基に特定した物理的衝合点と、側方撮像装置3bからのカラー画像を基に特定したプラズマ位置とを利用して、距離算出処理(後述する)を実行し、プラズマ位置が最適な範囲に位置しているかを特定できる。
<波長カットフィルタを通して撮像した漏れプラズマ及び溶接部について>
本発明の溶接操業監視システム1では、波長カットフィルタ5を通して漏れプラズマ及び溶接部ERを側方撮像装置3bで撮像している。本発明者らは、所定の波長以上の長波長の光をカットする波長カットフィルタ5を通して、漏れプラズマ及び溶接部ERを側方撮像装置3bにより撮像すると、側方撮像装置3bでカラー画像を生成する際の赤成分、緑成分及び青成分の色味が調整され、突合せ端部7a,7b周辺の溶接部ERの青成分が抑制されるとともに、漏れプラズマの青成分についてはそのまま残るカラー画像を生成できることを見出した。
以下、このような現象について確認した検証試験について説明する。検証試験を行うために、図2に示すように、Cu(銅)でなる板状部材をV字状に切り欠き、V字領域ERVを形成したV字開先板6aを用意した。そして、V字開先板6aの裏面側にプラズマ照射装置2を配置し、V字開先板6aの裏面側からV字領域ERVの収束する先端側に向けてプラズマ9を照射した。プラズマ9は、Ar、N2をプラズマガスとして用いた。
このようにして、V字領域ERVから上方に向けてプラズマ9が漏れ出る漏れプラズマ9aを再現した。次いで、この漏れプラズマ9aを、波長カットフィルタ5を通して側方撮像装置3bで撮像した。側方撮像装置3bとしては、CCDカメラ(BaslerAG社製、商品名acA1300−30uc)を用いた。
波長カットフィルタ5は、カットする波長が異なるものを複数用意した。ここでは、波長カットフィルタ5の有無でどのようにカラー画像が変化するかを確認するため、先ず始めに、波長カットフィルタ5を設けずに、漏れプラズマ9aを側方撮像装置3bで直接撮像した。
次いで、450nm以上の波長の光をカットする波長カットフィルタ5と、530nm以上の波長の光をカットする波長カットフィルタ5と、570nm以上の波長の光をカットする波長カットフィルタ5と、590nm以上の波長の光をカットする波長カットフィルタ5と、610nm以上の波長の光をカットする波長カットフィルタ5を用意した。
そして、各波長カットフィルタ5をそれぞれ用い、波長カットフィルタ5を通して漏れプラズマ9aを側方撮像装置3bにより撮像した。なお、この際、側方撮像装置3bの光軸方向Y2と接線Y1を含む面とがなす撮像角度θは任意の値とし、漏れプラズマ9aを斜め上方から撮像できる角度とした。
図3は、図2に示した構成の検証装置を作製し、V字領域ERVから上方に向けてプラズマ9が漏れ出る漏れプラズマ9aを再現したときの写真である。図3は、波長カットフィルタ5を通さずに、側方撮像装置3bによって漏れプラズマ9aを直接撮像したものである。図3からは、V字領域ERVの収束する先端側に向けて鈍角三角形状に噴出する漏れプラズマ9aが確認できた。
次に、波長カットフィルタ5を設けなかったとき(以下、「フィルタなし」と称する)と、カット波長が450nm以上の波長カットフィルタ5を使用したとき(以下、単に「450nm」と称する)と、カット波長が530nm以上の波長カットフィルタ5を使用したとき(以下、単に「530nm」と称する)と、カット波長が570nm以上の波長カットフィルタ5を使用したとき(以下、単に「570nm」と称する)と、カット波長が590nm以上の波長カットフィルタ5を使用したとき(以下、単に「590nm」と称する)と、カット波長が610nm以上の波長カットフィルタ5を使用したとき(以下、単に「610nm」と称する)と、について、それぞれ漏れプラズマ9aの輝度評価を行った。
上方撮像装置3aや側方撮像装置3bに用いるような一般の撮像装置で撮像した場合には、当該撮像した画像のカラーを再現するために、赤成分(R)、緑成分(G)、青成分(B)の値が自動的に振り分けられ、それらの値が合成されて、カラー画像が生成される。こうした撮像装置では、全ての色を赤成分(R),緑成分(G),青成分(B)だけで表現する必要があるため、例えば紫色(青より短波長なので、本来、長波長である赤成分(R)は含まれない筈)を表現する場合であっても、赤成分(R)の値が生じることがあり得る。
そうした撮像装置である側方撮像装置3bを用いて、図3に示す漏れプラズマ9aの根本側に近いERPの領域を輝度評価領域として、「フィルタなし」、「450nm」、「530nm」、「570nm」、「590nm」、「610nm」の各カラー画像毎に漏れプラズマ9aを撮像し、輝度評価領域ERP内の赤成分(R)、緑成分(G)及び青成分(B)の割合をそれぞれ調べた。その結果、図4Aに示すような結果が得られた。
その結果、図4Aに示すように、「450nm」、「530nm」、「570nm」、「590nm」、「610nm」では、青成分が残っているとともに、「フィルタなし」に比較して赤成分が抑制されていることが確認できた。また、図4Aから、単に波長カットフィルタ5でカットされる波長を上げてゆけば、カット波長以上の成分が抑制されてゆく、というような単純な結果とはならないことが確認できた。これは、漏れプラズマ9aの発光が、組成ガスの発光輝線で構成される飛び飛びの波長にピークを持った輝度分布により構成されており、発光の主成分が波長500nm以下の短波長の発光により構成されていることによるものである。
次に、鋼板6の突合せ端部7a,7bを加熱及び溶融して突き合わせてゆき、溶接部ERに溶接ビードが形成されている状態を再現し、図5に示すように、溶接直後の溶接シーム12を撮影した画像を得、輝度を評価した。溶接シーム12は溶接直後の状態であるので、V字領域ERvを形成する突合せ端部7a,7b周辺の溶接ビードとほぼ同じ温度で溶融状態にあると見なすことができ、その結果、溶接シーム12は黒体輻射則に基づく状態にある(即ち、溶接シーム12の発光は、突合せ端部7a、7b周辺の溶接ビードと同等の発光をしている)と見なすことができる。そのため、図5中のERBの領域(輝度評価領域ERB)を、突合せ端部7a、7b周辺の溶接ビードと同じように発光している領域であると見なして、輝度評価を行った。
そして、上述した図2と同様に、この溶接シーム12を、波長カットフィルタ5を通して側方撮像装置3bで撮像した。波長カットフィルタ5の有無でどのようにカラー画像が変化するかを確認するため、先ず始めに、波長カットフィルタ5を設けずに、溶接部ERを側方撮像装置3bで直接撮像した。
次いで、上記と同様に、450nm以上の波長の光をカットする波長カットフィルタ5と、530nm以上の波長の光をカットする波長カットフィルタ5と、570nm以上の波長の光をカットする波長カットフィルタ5と、590nm以上の波長の光をカットする波長カットフィルタ5と、610nm以上の波長の光をカットする波長カットフィルタ5を用意した。
そして、各波長カットフィルタ5をそれぞれ用い、波長カットフィルタ5を通して溶接部ERを側方撮像装置3bにより撮像した。なお、この際も、側方撮像装置3bの光軸方向Y2と接線Y1を含む面とがなす撮像角度θは任意の値とし、溶接部ERを斜め上方から撮像できる角度とした。
図6Aは、450nm以上の波長の光をカットする波長カットフィルタ5を通して側方撮像装置3bにより溶接部ERを撮像したときのカラー画像である。図6Bは、530nm以上の波長の光をカットする波長カットフィルタ5を通して側方撮像装置3bにより溶接部ERを撮像したときのカラー画像である。図6Cは、570nm以上の波長の光をカットする波長カットフィルタ5を通して側方撮像装置3bにより溶接部ERを撮像したときのカラー画像である。図6Dは、590nm以上の波長の光をカットする波長カットフィルタ5を通して側方撮像装置3bにより溶接部ERを撮像したときのカラー画像である。
図6A〜図6Dに示すように、撮像した画像をモニター上で視認したところ、図6Aでは溶接部ERが赤系に発光しており、図6Bでは溶接部ERが青系に発光していた。一方、図6Cでは溶接部ERが緑系に発光し、青成分が確認できなかった。また、図6Dでも溶接部ERが黄緑系に発光し、青成分が確認できなかった。
次に、「フィルタなし」、「450nm」、「530nm」、「570nm」、「590nm」、「610nm」の各カラー画像毎に、図5に示した輝度評価領域ERB内における赤成分(R)、緑成分(G)及び青成分(B)の割合をそれぞれ調べた。その結果、図4Bに示すような結果が得られた。
図4Bから、「フィルタなし」や、「450nm」、「530nm」、「570nm」のときは、青成分が検出された。また、カットする波長が異なることで、赤成分や緑成分、青成分の各検出量がそれぞれ異なる結果となることを確認した。
その一方、波長カットフィルタ5のカット波長を590nm以上(「590nm」)、610nm以上(「610nm」)としたときには、青成分が検出されなくなった。このことは「590nm」及び「610nm」のとき、側方撮像装置3bが、(モニター上の視認で、緑および黄緑に見える画像について)青信号を用いずに、輝度評価領域ERB内の色味が再現されるように、側方撮像装置3bや溶接操業監視装置4の内部で調整が行われていることを示す。また、この「590nm」、「610nm」のときには、赤成分の検出量が異なっており、「590nm」のときは、赤成分が検出されなかった。その一方で、緑成分の検出量については、「450nm」、「530nm」のときよりも多かった。
即ち、例えば、カット波長が590nm未満の波長カットフィルタ(図4B中、「450nm」、「530nm」、「570nm」)を使用したときには、590nmよりも波長の短い青成分については、「フィルタなし」と同様に現れているが、カット波長値を上げた「590nm」、「610nm」のときは、波長カット条件としては青成分に相当する波長を透過しているにも拘わらず、撮影した画像からは青成分が検出されないという結果が得られた。このことから、波長カットフィルタ5でカットされる波長を長くしてゆけば、カット波長以上の波長の輝度信号成分が単に抑制されてゆくというような単純な結果とはならないことを確認した。
このように、カット波長が590nm以上及び610nm以上の波長カットフィルタ5を使用することで、側方撮像装置3bで得られるカラー画像の色味が調整され、溶接部ERを写した領域の画像から、青成分のみを格段的に抑制できることを見出した(図4B)。さらに、その一方で、漏れプラズマ9aを写した領域は、青成分をそのまま残すことができることを見出した(図4A)。
従って、カット波長が590nm以上及び610nm以上の波長カットフィルタ5を通して漏れプラズマ9a及び溶接部ERを側方撮像装置3bで撮像し、得られたカラー画像から青成分のみを抽出すれば、溶接部ERの突合せ端部7a,7bの発光輝度をほぼゼロにでき、青成分の発光信号に値を有している漏れプラズマ9aの位置を特定することができる。なお、図4Bでは示していないが、「570nm」と「590nm」との間である、カット波長が580nm以上の波長カットフィルタ5を用いた場合でも、同様に、溶接部ERを写した領域では青成分を格段的に抑制できる。
<波長カットフィルタを通して撮像したときの漏れプラズマ及び溶接部の色味の違いについて>
次に、上述したように、カット波長が最適な波長カットフィルタ5を用いることで、カラー画像において、溶接部ERの青成分の発光強度が大きく低下し、一方、漏れプラズマ9aの青成分はそのまま残る点について以下説明する。
鋼板6の溶接部ERにおける突合せ端部7a,7bの発光波長分布とその輝度は、物体の温度で決定されるプランクの輻射則に従っている。溶接部ERにおける突合せ端部7a,7bの温度はおおよそ1500〜1600℃程度である。プランクの輻射則によると、この温度条件では、図7に示すように、CCDカメラやCMOSカメラの検出波長帯域(0.4〜1.0μm)だと、長波長の光ほど発光輝度が強くなる。
ここで、側方撮像装置3bとしてCCDカメラやCMOSカメラを用い、波長カットフィルタ5を通して、溶融した突合せ端部7a,7bを含む溶接部ERを撮像すると、CCDカメラやCMOSカメラに入射する、溶接部ERからの光の波長を、波長カットフィルタ5により制限することになる。
CMOSカメラやCCDカメラに入射する、溶接部ERにおける突合せ端部7a,7bからの光の波長を制限すると、当該突合せ端部7a,7bの色味として、強度の強い波長の長いカット波長値近傍の色味が観察されることになる。例えば、カット波長が590nm以上の波長カットフィルタ5を用いた場合、図7に示したように、短波長からカット波長値である590nmに近づくほど、プランクの輻射則によって輝度成分が高くなる。よって、カット波長値直前付近の波長の光成分の影響が最も優勢となり、CCDカメラやCMOSカメラにはカット波長値近傍の波長が主体となり入射される。
ここで、側方撮像装置3bとして用いるCCDカメラやCMOSカメラでは、赤成分、緑成分及び青成分の光の三原色でカラー画像の色味を表現する際、例えば、図8A又は図8Bに示すような強度割合で赤信号、緑信号及び青信号をそれぞれ混合させて色味を表現する。なお、図8Aは、CIE(国際照明委員会)が定義した等色関数を示し、b−は青成分、g−は緑成分、r−は赤成分を示し、各色を表現する際の規格化した混色比を示しており、r−+g−+b−=1となっている。
図8Bは、図8Aにおいて負の値を有する赤成分(r−)を、正の値として表現したXYZ表色系の等色関数を示す(RGBからの変換式を式(1)〜(3)に示す)。図8Bにおいて、z−は主に青成分、y−は主に緑成分、x−は主に赤成分を示し、各色を表現する際の混色比を示している。
x=X/(X+Y+Z)、y=Y/(X+Y+Z)、z=Z/(X+Y+Z) … (2)
r=R/(R+G+B)、g=R/(R+G+B)、b=R/(R+G+B) … (3)
図8A及び図8Bから、例えば、緑色から黄色(540〜590nm付近)の色味の光の表現においては、主に緑成分と赤成分の混合により表現され、青成分の混合比が非常に小さくなることが分かる。一般的なCCDカメラやCMOSカメラでは、モニター装置等の表示部でカラー画像を表示させる際、自然な色味を再現するため、図8A又は図8Bに示すようなグラフに従って、赤信号、緑信号及び青信号が出力される。図8A及び図8Bに示すように、黄色付近(580〜590nm付近)の領域では、青成分がほぼゼロ近傍となり、青成分を極めて小さい値にすることができる。図8Aでは580nm以上の波長領域ER4では青成分がほぼゼロとなっている。
ここで、例えば、カット波長が590nm以上の波長カットフィルタ5を通して、CCDカメラやCMOSカメラで溶接部ERにおける突合せ端部7a,7bを撮像した場合、突合せ端部7a,7b付近については、プランクの輻射則によって、図7から、カット波長値である590nm付近の波長の光成分が最も優勢な光成分として、CCDカメラやCMOSカメラに入射される。
その結果、溶接部ERの突合せ端部7a,7bが撮像された領域では、カラー画像内の色味が、優勢な590nm直前付近の波長の色味に近い黄色付近の領域に調整される。CCDカメラやCMOSカメラで590nm付近の黄色の色味を表現する際は、図8A及び図8Bから、緑成分及び赤成分が大きく、青成分が極めて小さい値となる。よって、カラー画像では、溶接部ERの突合せ端部7a,7bが撮像された領域の青成分が抑制されると推測される。
次に、漏れプラズマ9aに含まれる波長成分を、分光計測により調べた。その結果、図9に示すような結果が得られた。漏れプラズマ9aの波長成分は、溶融した突合せ端部7a,7bの光の波長分布とは全く異なり、プランクの輻射則に従っておらず、不規則に複数のピークが立った波長分布となっている。このような漏れプラズマ9aの波長分布は、基本的にプラズマガスの発光輝線により決定される。
図9に示すように、漏れプラズマ9aの波長分布は、波長350nm〜430nmの範囲にN2ガス、Arガスに起因する強い発光輝線成分が現れている。よって、このような波長分布では、波長カットフィルタ5を用いても、溶融した突合せ端部7a,7bで生じたようにカット波長位置で優勢な色味に基づいて色味は決まらず、波長カットフィルタ5を透過する光成分の色味になる。その結果、漏れプラズマ9aを撮像した領域では、青成分はゼロにならずに残存し、青み掛かったままとなると推測される。
以上より、適正な波長カットフィルタ5を通して側方撮像装置3b(例えばCCDカメラやCMOSカメラ)で、漏れプラズマ9a及び溶接部ERを側方から撮影し、得られたカラー画像から青成分のみを抽出することで、溶接部ERの突合せ端部7a,7bでの発光が消え、かつ漏れプラズマ9aの像のみが写った青成分画像を得ることができる。
なお、カット波長が450nm以上の波長カットフィルタを用いた場合、図4Bに示すように、溶接部ERの輝度評価領域ERBは赤成分が存在している。ここで、カット波長が450nm以上の波長カットフィルタを用いた場合、図7のプランクの輻射則から、カット波長値である450nm直前付近の波長の光成分が最も優勢な光成分として、CCDカメラやCMOSカメラに入射される。
CCDカメラやCMOSカメラで450nm直前付近の色味を表現する際、図8Bによると、主に緑成分を表すy値が小さく、主に赤成分を表すx値が大きく示されている。よって、CCDカメラやCMOSカメラで色信号を基にカラー画像を生成した際には、図8Bを基に、緑成分に影響を受けない赤成分を用いてカラー画像が生成されているため、溶接部ERの輝度評価領域ERBには赤成分が現れているものと推察できる。
以上のように、580nm以上、好ましくは590nm以上の波長をカットする波長カットフィルタ5を用いることで、側方撮像装置3bでは、溶接部ERの突合せ端部7a,7bの色味を、青信号が存在しない緑色から黄色に調整できる。一方、このカラー画像には、フィルタにより色味に変化がでない飛び飛びの輝線スペクトルで構成される漏れプラズマ9aの像を示す青成分の輝度についてはそのまま残すことができる。
<溶接操業監視装置の構成>
次に、溶接操業監視装置4について以下説明する。図10に示すように、溶接操業監視装置4は、側方撮像画像取得部21、青成分画像抽出部22、赤成分画像抽出部23、2値化処理部24,25、プラズマ後方線抽出部26、溶接ビード線抽出部27、プラズマ外挿近似線算出部28、溶接外挿線算出部29、プラズマ位置算出部30、上方撮像画像取得部31、物理的衝合点解析部32、座標変換部33、及びプラズマ位置制御部34を備えている。
溶接操業監視装置4は、図示しない操作部に作業者から各種操作命令が与えられると、図示しないROMに予め格納しているプラズマ外挿近似線算出処理プログラムや、交点算出処理プログラム、プラズマ位置算出処理プログラム等を、操作命令に基づき適宜読み出してRAMに展開する。これにより、プラズマ外挿近似線算出処理プログラムや、交点算出処理プログラム、プラズマ位置算出処理プログラム等の各プログラムに従って各回路部を制御する。溶接操業監視装置4は、これら各種プログラムの実行結果を表示部(図示せず)に表示し、表示部を介して、造管方向Xにおけるプラズマ位置を作業者に把握させる。
側方撮像画像取得部21は、側方撮像装置3bと接続されており、側方撮像装置3bにより得られたカラー画像が入力されると、青成分画像抽出部22並びに赤成分画像抽出部23(及び図示しない緑成分画像抽出部)に当該カラー画像をそれぞれ入力する。ここで、側方撮像装置3bから入力されるカラー画像は、波長カットフィルタ5を通して側方撮像装置3bにより漏れプラズマ9a及び溶接部ERが撮像されたものであり、溶接部ERの突合せ端部7a,7bの色味が、青成分が存在しない緑・黄・赤色系に調整されている。
ここで、図11は、側方撮像装置3bから入力されるカラー画像の概略図を示す。図11に示すように、カラー画像には、漏れプラズマ9aの像が青成分の濃淡によって表示された漏れプラズマ領域41が現れる。また、カラー画像には、溶接部ERの溶接ビード及び突合せ端部7a,7bの像が、緑・赤成分の濃淡によって表示された溶接ビード線42及び溶融エッジ線43a,43bが現れる。
青成分画像抽出部22(図10)は、側方撮像装置3bから入力されたカラー画像から青成分を抽出して青成分画像を生成する。青成分画像では、カラー画像内で青成分が抑制されていた溶接ビード線42及び溶融エッジ線43a,43bの輝度が大きく低下してほぼゼロとなる。その一方で、青成分画像には、カラー画像内に漏れプラズマ9aが青成分の濃淡で示されていたことから、青成分の濃淡で現れた漏れプラズマ領域41がそのまま表示される。
2値化処理部24は、青成分画像抽出部22で生成された青成分画像を受け取り、青成分画像に対して2値化処理を行う。2値化処理部24は、漏れプラズマ領域41が青成分の濃淡で現れている青成分画像に対して2値化処理を行うことで、漏れプラズマ領域41とその周囲とを白黒の2値で区分けし、漏れプラズマ領域41の輪郭が明確になった青成分2値化画像を生成する。
ここで、図12は、青成分画像を2値化処理した青成分2値化画像の概略図を示す。例えば、青成分2値化画像では、輝度が所定閾値以上の画素に画素値「1」が与えられて漏れプラズマ領域41が特定され、残りの所定閾値未満の画素に画素値「0」が与えられる。これにより、青成分2値化画像では、周囲よりも輝度が高い青成分の濃淡で示されていた漏れプラズマ領域41が、輝度が低い周囲の領域とは区別されて明確に表示される。
2値化処理部24は、青成分2値化画像をプラズマ後方線抽出部26に入力する。プラズマ後方線抽出部26は、青成分2値化画像内から漏れプラズマ領域41の外形線を特定し、漏れプラズマ領域41の外形線から後方線41a(図12)を抽出する。ここで漏れプラズマ領域41の後方線41aとは、鈍角三角形状に現れる漏れプラズマ領域41の外形を示した外形線のうち、鈍角と対向した、造管方向xの上流側に配置された外形線であり、溶接ビード線42から溶融エッジ線43a,43b側(図11)に向けて延びた外形線である。
プラズマ外挿近似線算出部28は、プラズマ後方線抽出部26で抽出した漏れプラズマ領域41の後方線41aを直線近似し、直線近似した後方線41aを、造管方向xの上流側にそのまま直線的に延ばしたプラズマ外挿近似線Lpbを算出する。プラズマ外挿近似線算出部28は、プラズマ外挿近似線Lpbの算出結果をプラズマ位置算出部30に入力する。
一方、赤成分画像抽出部23(又は図示しない緑成分画像抽出部)(図10)は、側方撮像装置3bからカラー画像が入力されると、カラー画像から赤成分(又は緑成分)を抽出した画像を生成する。
波長カットフィルタ5を通して側方撮像装置3bで撮像された画像は、例えば、図8A又は図8Bに示すような等色関数を利用して、側方撮像装置3bにより、赤信号、緑信号及び青信号を適宜組み合わせて色味が調整されることで、カラー画像には、溶接部ERの溶接ビード線42及び突合せ端部7a,7bが赤成分(又は緑成分)の濃淡で現れる。
突合せ端部7a、7bは元の発光輝度が大きいため、赤成分(又は緑成分)の輝度値は、図4Bに示す様に、漏れプラズマ9aの赤成分(又は緑成分)よりも十分に大きな値を持っている。従って、カラー画像から生成される赤成分画像(又は緑成分画像)に2値化処理を行うことで、漏れプラズマ領域41を消去することができ、図13Aに示すように、溶接ビード線42及び溶融エッジ線43a,43bのみを残すことができる。以下、赤成分画像を用いて処理する場合について、詳細に記載する。なお、緑成分画像を用いても、全く同様の処理が可能である。
2値化処理部25は、赤成分画像抽出部23で生成された赤成分画像を受け取り、赤成分画像に対して2値化処理を行う。2値化処理部25は、溶接ビード線42及び溶融エッジ線43a,43bが赤成分の濃淡で現れている赤成分画像に対して2値化処理を行うことで、溶接ビード線42及び溶融エッジ線43a,43bとその周囲とを白黒の2値で区分けし、図13Aに示すように、溶接ビード線42及び溶融エッジ線43a,43bの輪郭が明確になった赤成分2値化画像を生成する。
例えば、赤成分2値化画像では、輝度が所定閾値以上の画素に画素値「1」が与えられて溶接ビード線42及び溶融エッジ線43a,43bが特定され、残りの所定閾値未満の画素に画素値「0」が与えられる。これにより、赤成分2値化画像では、周囲よりも輝度が高い赤成分の濃淡で示されていた溶接ビード線42及び溶融エッジ線43a,43bが、輝度が低い周囲の領域とは区別されて明確に表示される。その結果、赤成分2値化画像には、図13Aに示すように、ほぼ直線的に延びた溶接ビード線42と、溶接ビード線42の後方末端からV字状に二股に分かれた溶融エッジ線43a,43bと、が表示される。
2値化処理部25は、赤成分2値化画像を溶接ビード線抽出部27に入力する。溶接ビード線抽出部27は、赤成分2値化画像内から輝度を基に溶接ビード線42を特定して抽出する。
溶接ビード線42と溶融エッジ線43a,43bとの区別は、例えば、赤成分2値化画像(緑成分画像を用いる場合には、緑成分2値化画像であり、以下同様)の左端部より、赤成分2値化画像の輝度分布を垂直ピクセル方向に評価し、輝度値の垂直ピクセル上の分布が1つの連続したピークを有する場合を、1本の溶接ビード線42が存在している領域とし、一方、輝度値のピーク分布が2つになる領域を2本の溶融エッジ線(43a、43b)が存在している領域とするなどの方法により行う。
溶接外挿線算出部29は、図13Bに示すように、溶接ビード線抽出部27で抽出した溶接ビード線42を直線近似し、直線近似した溶接ビード線42を、造管方向xの上流側にそのまま直線的に延ばした溶接外挿線LWを算出する。溶接外挿線算出部29は、溶接外挿線LWの算出結果をプラズマ位置算出部30に入力する。
プラズマ位置算出部30は、交点算出部35及び距離算出部36を備えている。交点算出部35は、プラズマ外挿近似線算出部28からプラズマ外挿近似線Lpbの算出結果が入力されるとともに、溶接外挿線算出部29から溶接外挿線LWの算出結果が入力される。交点算出部35は、図14に示すように、プラズマ外挿近似線Lpbと溶接外挿線LWとが交わる交点Pbを算出し、この算出結果を距離算出部36に入力する。
なお、この実施形態の場合、交点算出部35は、側方撮像装置3bで生成されたカラー画像内の各画素位置を示す座標(Xs、Ys)を基に、交点Pbの位置(カラー画像内の位置座標(Xsp、Ysp))を特定し、これを距離算出部36に入力する。
次に、物理的衝合点V1の算出手法について以下説明する。この場合、上方撮像画像取得部31は、溶接部ERを上方から撮像したカラー画像を上方撮像装置3aから取得し、これを物理的衝合点解析部32に入力する。物理的衝合点解析部32は、溶接部ERを上方から撮像したカラー画像に基づいて、物理的衝合点V1の位置を検出し、これを座標変換部33に入力する。
ここで、V字状に収束する鋼板6の両突合せ端部7a,7bが物理的に衝合(接触)する物理的衝合点V1の検出手法については、例えば、特許第5880794号公報に開示されているため、ここでは詳細な説明は省略し、概略についてのみ説明する。
物理的衝合点解析部32は、例えば、カラー画像を反転2値化処理し、得られた反転2値化画像に対し、ブロッブ毎にラベルを割り当てるラベリング処理を行う。物理的衝合点解析部32は、所定の条件に合致するブロッブを、鋼板6の両突合せ端部7a,7bにより形成されるV字収束領域のブロッブとして抽出する。なお、ブロッブとは、同一ラベルが割り当てられた領域のことをいう。
所定の条件としては、例えば、画像の右端には接さずに、画像の左端のみに接しており、面積が50mm2以上であり、ブロッブの縦の長さをブロッブの横の長さで除した値(アスペクト比)が0.2以下であるという条件が挙げられる。物理的衝合点解析部32は、抽出したV字収束領域のブロッブの最下流点を物理的衝合点V1とする。
座標変換部33は、上方撮像装置3aで生成されるカラー画像内の各画素位置を示す座標(Xu、Yu)と、側方撮像装置3bで生成されるカラー画像内の各画素位置を示す座標(Xs、Ys)と、の対応関係を示した校正情報fを記憶している。座標変換部33は、上方撮像装置3aで生成されたカラー画像内で特定した物理的衝合点V1の位置座標(Xuo、Yuo)を、校正情報fを基に、側方撮像装置3bで生成されたカラー画像内での位置座標((Xso、Yso)=f(Xuo、Yuo))に変換する。
これにより、物理的衝合点V1を、側方撮像装置3bで生成されるカラー画像内に示すことができる。座標変換部33は、このようにして算出した物理的衝合点V1の位置座標(Xso、Yso)の算出結果を、プラズマ位置算出部30の距離算出部36に入力する。距離算出部36は、交点算出部35で求めた交点Pbの算出結果と、座標変換部33で求めた物理的衝合点V1の算出結果と、を受け取る。
距離算出部36は、物理的衝合点V1と交点Pbとの距離を算出する。この場合、交点Pbは、側方撮像装置3bで得られるカラー画像内の位置座標により特定されており、物理的衝合点V1についても、座標変換部33によって、側方撮像装置3bで得られるカラー画像内の位置座標で特定されている。これにより、距離算出部36は、交点Pbの位置座標(Xsp、Ysp)と、物理的衝合点V1の位置座標(Xso、Yso)との距離を示す、造管方向Xの距離△Sx(=g{(Xsp、Ysp)−(Xso、Yso)})を算出する。なお、gは、側方撮像装置3bから得られるカラー画像における距離校正情報の換算係数である。
このようにして算出された距離△Sxは、プラズマ9が溶接部ERの最適な位置に照射されているか否かを判断する目安となる。例えば、距離△Sxが、予め設定した最適範囲内であるか否かを監視することで、プラズマ9が溶接部ERの最適な位置に照射されているか否かを判断できる。なお、プラズマ9の最適な照射位置となる距離△Sxの最適範囲とは、プラズマ9によるシールド効果により、溶接部ERの酸化が抑制される範囲である。
プラズマ位置制御部34には、プラズマ位置算出部30より算出された距離△Sxの算出結果が入力される。プラズマ位置制御部34は、例えば、上述した最適範囲を予め記憶しており、距離△Sxが最適範囲内にあるか否かを判断する。その結果、プラズマ位置制御部34は、距離△Sxが最適範囲内から外れていると判断すると、距離△Sxが最適範囲内に収めるために必要となる、造管方向Xでのプラズマ照射装置2の移動距離を算出する。
プラズマ位置制御部34は、この移動距離の算出結果をプラズマ照射装置2に入力する。これにより、プラズマ照射装置2は、駆動装置によって、移動距離分、造管方向Xに沿って移動され、プラズマ9を照射するプラズマ位置を溶接部ERの最適な位置に変更できる。
<側方撮像装置の撮像角度について>
次に、図1に示す、側方撮像装置3bの光軸方向(側方撮像装置3bが被写体を撮像する方向)Y2と、接線Y1を含む面と、がなす撮像角度θについて考察する。ここで、管内側から溶接部ERにプラズマ9を照射することで、溶接部ERのV字領域ERVから管外側に漏れ出る漏れプラズマ9aは、溶接部ERにおける突合せ端部7a,7bの発光と比較して、約1/10〜1/100以下程度であり、非常に小さい。
従って、側方撮像装置3bで漏れプラズマ9aを撮像する際に、上方撮像装置3aと同様に、漏れプラズマ9a全てが、溶接部ERの突合せ端部7a,7bの発光領域と重なってしまうと、カラー画像内で漏れプラズマ9aが当該発光領域内に埋もれてしまう恐れがある。
そこで、側方撮像装置3bは、漏れプラズマ9aを撮像した際に、漏れプラズマ9aの少なくとも一部が、溶接部ERの突合せ端部7a,7bの発光領域と重ならずに、カラー画像内に写るように、撮像角度θを設定することが望ましい。
ここで、側方撮像装置3bの撮像角度θを0度(側方撮像装置3bを溶接部ERに水平)に設定したときに、側方撮像装置3bから得られるカラー画像について検討する。この場合、図15Aに示すようなカラー画像が得られる。
実際に得られるカラー画像では、溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bから所定距離付近までは、溶接ビード線42及び溶融エッジ線43a,43bの輝度が非常に高くなっており、溶接ビード線42及び溶融エッジ線43a,43bの発光領域ER6となっている。そのため、発光領域ER6では、漏れプラズマ領域41の下部が、溶接ビード線42及び溶融エッジ線43a,43bの輝度に埋もれてしまい、視認することが困難である。
その一方で、溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bの発光領域ER6付近より高い位置では、溶接ビード線42及び溶融エッジ線43a,43bの輝度による影響を受け難く、漏れプラズマ領域41の輪郭を視認することができる。
従って、溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bの発光領域ER6付近より高い位置では、漏れプラズマ領域41の外形(例えば、図12の後方線41a)を抽出することができる。よって、撮像角度θを0度としたときには、直線近似した後方線41aからプラズマ外挿近似線Lpbを算出でき、かくして、交点Pbを求めることができる。
次に、側方撮像装置3bの撮像角度θを90度とし、上方撮像装置3aと同様、溶接部ERの真上に側方撮像装置3bを設定したときに、側方撮像装置3bから得られるカラー画像について検討する。この場合、図15Bに示すようなカラー画像が得られる。
図15Bに示すように、この場合、カラー画像内の漏れプラズマ領域41と、溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bと、が重なってしまい、漏れプラズマ領域41が溶接ビード線42及び溶融エッジ線43a,43bの輝度により埋もれ、漏れプラズマ領域41を視認することができない。よって、撮像角度θを90度としたときには、漏れプラズマ領域41の外形(後方線41a)を抽出することができない。
以上より、撮像角度θは90度よりも小さい角度に設定することが望ましいが、その際には、図15Aに示したように、溶接ビード線42及び溶融エッジ線43a,43bの輝度により、漏れプラズマ領域41が埋もれてしまう発光領域ER6を考慮する必要がある。
ここで、撮像角度θを0度として真横から漏れプラズマ領域41を見たときの、漏れプラズマ領域41の高さをHo(図15A)とすると、撮像角度θから見たときの、漏れプラズマ領域41の高さh´は、下記の式で表すことができる。
h´=Ho×cosθ …(4)
漏れプラズマ領域41が溶接ビード線42及び溶融エッジ線43a,43bの輝度により埋もれてしまう発光領域ER6を考慮すると、h´≧20mmが望ましい。また、Hoを40mmとしたときには、上記の式(4)から、撮像角度θは60度となる。よって、溶接部ERと水平な位置をθ=0度、溶接部ERの真上をθ=90度としたとき、撮像角度θは、θ≦60度であることが望ましい。
<作用及び効果>
以上の構成において、溶接操業監視システム1では、管状に成形される鋼板6の突合せ端部7a,7bがV字状に収束してV字領域ERVをなす溶接部ERに対し、プラズマ9を照射する(プラズマ照射ステップ)。溶接操業監視システム1では、赤信号、緑信号及び青信号を基にカラー画像を生成する側方撮像装置3bによって、波長カットフィルタ5を通して溶接部ER及び漏れプラズマ9aを撮像する(撮像ステップ)。
このように、溶接操業監視システム1では、波長カットフィルタ5を通して溶接部ER及び漏れプラズマ9aを側方撮像装置3bで撮像することで、プランク輻射則で発光している溶接部ERの色味が調整され、突合せ端部7a,7bの青成分を抑制させたカラー画像を取得できる(取得ステップ)。また、このようにして得られたカラー画像では、溶接部ERとは異なる波長分布でなる漏れプラズマ9aの青成分をそのまま残すことができる。
従って、溶接操業監視装置4では、このようにして得たカラー画像から青成分を抽出して青成分画像を生成することで、青成分画像に基づいて、造管方向Xのプラズマ位置を算出することができる(プラズマ位置算出ステップ)。以上より、溶接操業監視システム1では、側方撮像装置3bで得られるカラー画像において溶接部ERの影響を低減し、プラズマ位置を解析できる。
また、側方撮像装置3bは、突合せ端部7a,7bが突き合せする突合せ方向Y側の所定位置に配置し、V字領域ERVの漏れプラズマ9aの少なくとも一部が、溶接部ERと重ならないように撮像する。これにより、溶接操業監視装置4では、カラー画像において、漏れプラズマ領域41が溶接ビード線42及び溶融エッジ線43a,43bの輝度により埋もれずに、プラズマ位置を特定できる。
さらに、溶接操業監視装置4では、側方撮像装置3bからのカラー画像の各画素位置と、上方撮像装置3aからのカラー画像の各画素位置との対応関係を特定する。これにより、溶接操業監視装置4では、側方撮像装置3bからのカラー画像を基に算出したプラズマ位置と、上方撮像装置3aからのカラー画像を基に検出した物理的衝合点V1と、の位置関係を同一画像上に示すことができる。
<他の実施形態>
上述した実施形態においては、管状に成形される鋼板6の管内側に、溶接部ERの下方からプラズマ9を照射するプラズマ照射装置2を設け、V字領域ERVからの漏れプラズマ9aを側方撮像装置3b及び上方撮像装置3aにより撮像するようにした場合について述べた。しかしながら、本発明はこれに限らず、管状に成形される鋼板6の管外側に、溶接部ERの上方側からプラズマ9を照射するプラズマ照射装置を設け、上方からV字領域ERVに向けて照射されるプラズマ9を、側方撮像装置3b及び上方撮像装置3aにより撮像するようにしてもよい。
また、上述した実施形態においては、カラー画像から赤成分を抽出して、赤成分の濃淡で表示された溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bを残した赤成分画像を生成するようにした場合について述べたが、本発明はこれに限らない。カラー画像内に表示される溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bの色味合わせて、例えば、カラー画像から緑成分を抽出するようにしてもよい。
この場合は、例えば、カラー画像から緑成分を抽出して、緑成分の濃淡で表示された溶接部ERの溶接ビード線42及び溶融エッジ線43a,43bを残した緑成分画像を生成すればよい。
また、上述した実施形態においては、側方撮像装置3bと波長カットフィルタ5とを別体として設けたが、側方撮像装置3bに波長カットフィルタ5を設けた一体型の構成としてもよい。
上述したカラー画像や、青成分画像、青成分2値化画像、赤成分画像、赤成分2値化画像等の各画像は、ディスプレイ等に表示される具体的な画像としての形態だけでなく、画像として生成される前のデータも含まれる。