JP2004074264A - Weld visualizing device, and welding control unit and welding method using the same - Google Patents

Weld visualizing device, and welding control unit and welding method using the same Download PDF

Info

Publication number
JP2004074264A
JP2004074264A JP2002241557A JP2002241557A JP2004074264A JP 2004074264 A JP2004074264 A JP 2004074264A JP 2002241557 A JP2002241557 A JP 2002241557A JP 2002241557 A JP2002241557 A JP 2002241557A JP 2004074264 A JP2004074264 A JP 2004074264A
Authority
JP
Japan
Prior art keywords
welding
image
groove
weld
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2002241557A
Other languages
Japanese (ja)
Other versions
JP4678116B2 (en
Inventor
Teruyuki Shima
島 輝行
Taketo Yagi
八木 武人
Katsura Owaki
大脇 桂
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
IHI Corp
Original Assignee
IHI Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by IHI Corp filed Critical IHI Corp
Priority to JP2002241557A priority Critical patent/JP4678116B2/en
Publication of JP2004074264A publication Critical patent/JP2004074264A/en
Application granted granted Critical
Publication of JP4678116B2 publication Critical patent/JP4678116B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Length Measuring Devices By Optical Means (AREA)
  • Image Processing (AREA)

Abstract

<P>PROBLEM TO BE SOLVED: To provide a weld visualizing device for visualizing a welding condition in a vicinity of a molten pool during the welding with high resolution, and a welding control unit and a welding control method for analyzing the welding condition by using an image from the weld visualizing device on the real time basis, and controlling the welding according to the result of analysis. <P>SOLUTION: The weld visualizing device 10 comprises a high pixel CCD camera 2 having an electronic shutter and a high brightness flash lamp 4 and synchronizes the illumination of a weld by the flash lamp with the image pickup by the CCD camera. The welding control unit 20 comprises an image take-in unit 12 to take in image data outputted by the weld visualizing device 10, an image processor 14 to process image data and determine the welding condition, and an output device 16 to output the welding condition. <P>COPYRIGHT: (C)2004,JPO

Description

【0001】
【発明の属する技術分野】
本発明は、溶接部可視化装置とこれにより得られる映像を用いて溶接状況をリアルタイムで解析し、その解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させる溶接制御装置及び方法に関する。
【0002】
【従来の技術】
溶接中に溶接状況を監視する技術として、特開平9−225666号の「レーザ溶接のモニタリング装置」、特開2000−196923の「CCDカメラとレーザ照明を用いた発光体の撮像装置」、特開2000−246441の「溶接状況遠隔監視装置」等が提案されている。
また、自動溶接装置として、特開2000−210771の「溶接位置自動倣い制御装置及び被溶接部材の開先部溶接方法」等が提案されている。
【0003】
【発明が解決しようとする課題】
上述した従来の溶接状況監視技術は、溶接中に溶接部を目視で監視できるものの、その画像情報は少なく、溶接状況を推定するには精度が低く、これを用いての自動化は困難であった。そのため、従来の溶接自動制御装置は、上述した従来の溶接状況監視技術やその他の接触式センサ等を利用するものであるが、精度が低くそのため装置が複雑で汎用性が低い問題点があった。
【0004】
言い換えれば、従来の溶接状況監視技術や溶接自動制御装置は、本来最も情報量の豊富な溶融池近辺の映像を十分に利用することができず、精度の高い溶接状況解析ができない問題点があった。
【0005】
本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる溶接部可視化装置と、これにより得られる映像を用いて溶接状況をリアルタイムで解析しその解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させる溶接制御装置及び方法を提供することにある。
【0006】
【課題を解決するための手段】
本発明によれば、電子シャッターを備えた高画素CCDカメラ(2)と高輝度フラッシュランプ(4)とを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置が提供される。
【0007】
この構成の溶接部可視化装置により、溶接部をコントラストの高い高解像度の画像として撮影することができ、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができる。
【0008】
本発明の好ましい実施形態によれば、前記CCDカメラ(2)は、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する。
この構成により、溶接部を一定の間隔で漏れなく撮影し画像データを出力することができる。
【0009】
突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラ(2)に導く光学系(6)を備える。
この構成により、溶融池を含む溶接部とその周囲を高いコントラストで撮影でき、かつ撮影範囲を被写界深度内に収めることができる。
【0010】
また、本発明によれば、溶接部可視化装置(10)が出力する画像データを取り込む画像取込み装置(12)と、該画像データを画像処理して溶接状況を判定する画像処理装置(14)と、該溶接状況を出力する出力装置(16)とを備えた、ことを特徴とする溶接制御装置が提供される。
【0011】
この構成の溶接制御装置によれば、画像取込み装置(12)により、溶接部可視化装置(10)が出力する画像データを取り込み、画像処理装置(14)により、画像データを画像処理して溶接状況を判定し、出力装置(16)により、溶接状況を出力する。従って、溶接状況の解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる。
【0012】
本発明の好ましい実施形態によれば、画像処理用のPCと、画像データの取り込み用のフレームグラバーボードとを備える。
この構成により、フレームグラバーボードで画像データを取り込み、PC(パーソナルコンピュータ)で画像処理ができる。
【0013】
複数のメモリテーブルを備え、各メモリテーブルに1フレーム分の画像を順次転送し、全体としてリアルタイムに全画像を取込む。
この構成により、単一のメモリテーブルへの転送に時間がかかる場合でも、リアルタイムにすべての画像を取込むことができる。
【0014】
さらに、本発明によれば、溶融池、開先、ビードを高解像度の画像データとして撮影し、この画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態のうち少なくとも1つを検出し、その検出内容から溶接状況をリアルタイムで解析する、ことを特徴とする溶接制御方法が提供される。
【0015】
本発明の好ましい実施形態によれば、前記解析結果をリアルタイムで溶接装置にフィードバックし、溶接装置を自動制御する。
また、開先倣い、開先幅検知、ブローホール検知および溶接状況異常判定のうち少なくとも1つをリアルタイムで解析する。
【0016】
前記開先倣いにおいて、映像を解析して開先の直線ベクトルと、現在の溶融池位置と、将来の溶融池位置を判定し、溶融池と開先の間で、現在もしくは将来的に位置ずれが発生するかどうかを判定するし、位置ずれが予測された場合、溶接ヘッドを移動させ、溶接の品質を向上させる。
【0017】
前記開先幅検知において、開先幅を検知し、開先が開いてきた場合、溶接ヘッドを片側のエッジに移動させ、溶接失敗を防ぐ。
前記ブローホール検知において、ビードの状態を判定しブローが出現する場合、溶接のパワー調整を行う。
【0018】
前記溶接状況異常判定において、正常な溶接状況を把握しておき、常時正常な溶接状況とリアルタイムの溶接状況を比較することで、溶接異常を把握し、異常を通知する。
【0019】
上記本発明の溶接制御方法によれば、溶融池、開先、ビードを含む高解像度の画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態を検出し、溶接状況をリアルタイムで解析するので、その解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる。
【0020】
【発明の実施の形態】
以下、本発明の好ましい実施形態を図面を参照して説明する。なお、各図において、共通する部分には同一の符号を付し重複した説明を省略する。
【0021】
1.本発明の溶接部可視化装置は、従来見ることができなかった溶接の状況を、強力なストロボ光源と高速電子シャッターの制御などにより可視化する装置である。
この溶接部可視化装置で得られる溶接の映像を利用して、画像処理によって溶接状態の特徴を抽出し、その結果にもとづいたフィードバックをかける溶接制御装置について検討する。このような溶接制御装置を実現することで、溶接の自動補正や不良品検出といった付加価値の高い溶接ラインを提案することが可能になる。図1に、本発明の溶接部可視化装置10とこれを用いた溶接制御装置20を示す。
【0022】
2.従来型可視化装置を用いた検討
本発明の溶接部可視化装置の開発に先立ち、特開2000−196923で提案したアナログカメラ+パルスレーザ照明型溶接部可視化装置(以下、単に「従来型可視化装置」と呼ぶ)を用いて、YAGレーザ溶接による突合せ溶接時の映像を採取した。またこの映像をもとに、シームトラッキングおよび欠陥検出に関する検討を行った。
【0023】
2.1 映像採取
YAGレーザ溶接の溶接状況を従来型可視化装置を用いて観察し、その様子をDVテープに記録した。また撮影した映像から、無作為に静止画を切り取り、その画像の輝度を数値出力することで、画像の傾向を確認、検討した。さらに画像を縦または横に切断し、そのライン上の輝度分布を検討した。
【0024】
2.2 画像の検討
(1)観察方向について
突合せ溶接を行う際、観察方向を変更した場合に開先がどのように現れるか検討する。
開先(溶接ライン)が横になるよう側面から溶接の様子を観察した映像の画像上のあるラインにおける輝度変化を図2に示す。
図2の丸印で囲った部分が開先に相当する。この図に示されるように、開先は周囲に比較して暗く出現する。また、側面観察の場合、突合せのエッジがレーザ照明を強く反射しており、これを利用して開先位置を推定することができることがわかった。
一方、開先が縦になるよう正面から溶接の様子を観察した正面観察では安定した画像処理を行うほどのコントラストは得られなかった。このことから、画像処理に十分なコントラストを取ることができるよう、照明およびCCDを設置する必要があり、かつ、観察領域全体が被写界深度内に治まるように設計する必要があることがわかる。
【0025】
(2)開先ギャップの検出について
2枚の平板を仮止めをせずに溶接を行った場合に発生するギャップを捉えることができるかどうかを検討した。開先ギャップを横断する輝度グラフを図3に示す。
この図からギャップが発生すると、基本的にはその部分の輝度が下がることがわかる。従って周囲と比較して暗い部分が広がれば開先ギャップがあると判断できる。
【0026】
(3)溶接位置ずれの検出について
開先に対して垂直方向に、−2mmの位置から溶接をスタートさせ、溶接完了時には+2mmの位置になるように溶接ロボットを移動させることで、仮想的に溶接の位置ずれを発生させた。
このような位置ずれを捉えるには、画面上の開先位置を2点以上で捉えて直線を認識し、さらに溶融池がその直線上に存在するかを調べる必要がある。しかし基本的には溶融池は画面上の決まった位置に存在するので、開先を直線として捉えることに注力すればよい。
溶接線を2箇所縦に切断したときの輝度グラフを図4に示す。この2箇所の切断位置における開先位置を結ぶことで、開先を直線として捉えることが可能となる。またこの直線が、画像上の特定の点(溶融池)を通っていないとき、溶接位置ずれが発生していることを表している。
【0027】
(4)ブローホール検出について
ブローホール発生の様子を捉えた画像から、典型的なブローホールが出現する場合に認識は可能である。また一回の溶接でいくつのブローホールが出現したかをカウントすることもできる。ただし、開先検出と比較して、より広い領域を探索しなければならないため、データ処理量が大幅に増える。このため効率的な抽出アルゴリズムを検討する必要がある。
(5)例外画像について
入力画像から特徴量を判定する際、想定している入力画像とまったく異なる画像が入ってくる可能性がある。
このような入力画像に対してシームトラッキングを行った場合、開先の誤認識が発生し、溶接ヘッドは想定外の位置へ移動してしまう可能性がある。そのため、どのような画像が入力されたときに画像処理を開始し、実際にシームトラッキングを行ったり、ブローホールの数をカウントしたりするかを決める必要がある。
例えば、ロボットが自動運転を開始したときに画像処理を開始し、溶融池および開先がある確信度以上で検出されたときにシームトラッキングを開始するのがよい。また、溶接中に非常に外乱の多いフレームが入ってきたときは、処理結果の確信度が低い場合、そのフレームを無視するのがよい。
【0028】
3.本発明の溶接部可視化装置と溶接制御装置の構成
本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を図5に示す。
本発明の溶接部可視化装置10は、高画素デジタルカメラ2とフラッシュランプ4の組み合わせからなる。本発明の溶接部可視化装置10は、ストロボ光源としてパルスレーザのかわりにフラッシュランプ4を使用することで、低コスト、運用性向上を実現した。また本発明の溶接部可視化装置10では、高画素CCD(例えば140万画素)を持つカメラ2を採用する。このカメラ2は、アナログ出力に加え、デジタル出力(例えば1320×1040Pixel、25Hz非圧縮)を備える。
また、溶接制御装置20はこのデジタル出力を用いて画像処理を行う。溶接制御装置20は、カメラ2が出力する高速大容量のデジタル出力を欠落なく取り込み、かつ、欠落なく再現する機能を持つ必要がある。また、画像処理などのデータ処理を高速で実行する機能を持つ必要がある。このような機能を低コストで実現するための溶接制御装置20として以下のものを用いる。
【0029】
(1)画像処理装置(PC):OS:Windows(登録商標)NT4.0、CPU:Pentium(登録商標)4(1.5GHz)、メインメモリ:RDRAM(768MB)
(2)フレームグラバーボード:グラフイン社製IPM8560D(DMA転送機能、ピクセルクロックMax60MHz)
以下、上記の機器を用いてフレーム欠落のない画像取り込み、録画機能を実現する枠組みについて説明する。
【0030】
3.1 リアルタイム画像取り込み機能の実現
本発明の溶接制御装置20では、溶接部可視化装置10から溶接状況を画像として取り込み、その画像にもとづいて溶接状況を判定する。ここではまず、リアルタイムで画像を取り込むソフトウェア構成を検討する。なお、リアルタイム画像取り込みとは、カメラ2から送られてきた映像を、フレームの欠落なしに、かつフレームの遅延なしに、メインメモリに取り込むことを意味する。
【0031】
(1)IPM−8560サンプルプログラムによる取り込み処理
図6に、IPM−8560Dを用いた、基本的な画像の取り込みタイミングチャートを示す。以下、画像取り込みソフトウェアの処理流れに沿って、このタイミングチャートの内容を説明する。
(S1)取り込み開始指示
IPM−8560Dのライブラリ「mgGrabberStart」を用いて、1フレーム分の画像を、あらかじめ確保しておいたメモリテーブルに転送する。mgGrabberStartは、取り込み終了を待たずに即座に処理を戻す。
(S2)同期オブジェクトを待つ
あらかじめ設定されている同期オブジェクトは、1フレーム分の取り込みが終了するまで非シグナル状態になる。WaitForSignalObjectは、同期オブジェクトがシグナル状態になるのを待つWIN32APIである。
(S3)ウィンドウ表示処理
メモリテーブルの内容(映像)をPCの画面に表示する。
(S4)メモリテーブルの内容をメインメモリにコピー
画像処理に先立ち、メモリテーブルの内容を、メインメモリにコピーする。
(S5)画像処理
メインメモリの内容を対象に、画像処理を行う。
【0032】
(2)リングバッファによる画像取り込み処理
上述した画像取り込み処理は、IPM8560Dのサンプルプログラムに示される基本的な取り込み処理だが、2フレームのうち1フレームしか取り込めない。そこで、2つ以上のメモリテーブルを併用することで、フレーム欠落のない取り込みを行うこととする。
図7では2枚のメモリテーブルを用い、取り込み回数をカウントし、奇数回目ならばメモリテーブル1へ転送、偶数回目ならばメモリテーブル2へ転送するようにしている。これにより、リアルタイム取り込みが可能となり、また、画像処理などに使える時間も比較的長く(約40msec)確保できる。
【0033】
(3)フレーム欠落への対策
2枚のメモリテーブルを用いたタイミングチャートを実現するアプリケーションを実装し、動作確認を行った。このアプリケーションでは、すべてのフレームを確実に取り込んでいるか確認した。
このアプリケーションで実験を行ったところ、平均して10秒(250回)に1回程度、フレームの欠落が発生した(欠落発生率0.400%)。これは、フレーム間の余裕時間が非常に短いため、同期オブジェクトがシグナル状態に変化したという割り込みを、その短いタイミング中に受けきれなかったことが原因と考えられる。
そこで、1392×1040Pixelのうち、1392×1000Pixelだけ転送するようにして、フレーム間の余裕時間を伸ばして実験を行った。1時間(90000回)の転送を2回行ったところ、どちらもフレーム欠落が1度だけ発生した(欠落発生率0.001%)。このように、画像の必要な範囲との兼ね合いになるが、画像の一部を取り込まないことで、リアルタイム取り込みの確実性を向上させることが可能になる。
【0034】
3.2 リアルタイム録画機能の実現
溶接制御装置20には、観察映像を劣化・欠落なく記録し、繰り返し確認できるような機能を持たせることが必須となる。ここでは、溶接制御装置20の録画機能について検討する。
【0035】
(1)メモリ確保処理
高速・大容量で流れてくる画像データを、劣化・欠落なく記録するためには、メインメモリへの確実な転送が必要となる。ただし、単純にメモリを確保するだけでは、大量のメモリを利用するときに発生するページング処理などのため、リアルタイムでの記録が難しい。
そこで、映像を取り込むプロセスに対して、プロセスのワーキングサイズを増加させ、録画用の領域をメモリにロックすることで、録画時にHDにアクセスしないようにした。これにより、取り込んだ画像をリアルタイムでメモリに記録することが可能となる。
ロックできるメモリは、物理的な主記憶容量に制約される。現状の装置構成では768MBの主記憶を用いているので、上限は768MBである。また、フレームグラバーボードIPM8560Dで管理できるメモリテーブルの容量の上限は512MBである。よって、ロックできる領域は512MBが上限となる。
【0036】
(2)動作確認
512MBのメモリは、約14秒の映像に相当する(1392×1040(Pixel)×25(Hz)×14(秒)=506,688,000Byte)。この装置構成で、14秒の録画を行い、フレーム欠落なく画像をメモリに記録できることを確認した。
ただし、次の録画を始める前にメモリの内容を他のメディア(ハードディスク、MOディスク、CD−Rなど)にコピーし、メモリをクリアする必要がある。
【0037】
4.本発明の溶接制御装置による画像採取試験
上述した画像取り込み録画機能を実装した溶接制御装置を用いて、YAGレーザ溶接の状況を観察、採取した。さまざまな条件で、溶接試験を実施した。主な溶接条件は以下の通りである。
(1)溶接手法:突合せ溶接、重ね合わせ溶接(ブローホール検知用)
(2)装置構成:同軸型、単体型
ここで、同軸型は、ミラーなどを組み合わせた治具を用い、溶接部を真上から見たような画像を採取する装置構成のものである。また、単体型は、溶接ヘッドに独立のカメラ2を取り付け、溶接部を斜め方向から覗きこむような映像を採取する装置構成のものである。
(3)溶接方向:画面上水平、垂直、斜め45°
この各画像をもとに、溶接制御装置の自動シームトラッキングシステムと自動欠陥検知システムについて検討する。
【0038】
5.自動シームトラッキングの検討
本発明の溶接制御装置による自動シームトラッキング機能について以下に説明する。
5.1 溶接制御装置における処理遅れ
本発明の溶接制御装置では、上述したように、実際に発生した事象Aを画像として取り込み、画像処理によりその事象Aを認識するまでに、ある程度時間がかかる。さらに、事象Aの認識結果から、ステージを駆動させるといった駆動系処理を実現するためにも、ある程度時間がかかる。
この遅れは約3フレーム(120msec)程度かかると予想される(画像処理に40msec、ステージ駆動に40msecと仮定した場合)。図8にその様子を示す。
この遅れを吸収するためには、図9に示すように、入力された画像から3フレーム後に発生する事象Aを予測し、前もって補正処理をかける必要がある。
【0039】
5.2 1〜3次元シームトラッキング
1回の溶接でロボットアームが駆動する方向が、1次元(直線)か、2次元(平面)か、3次元(立体)かによって、シームトラッキングが実装すべき機能は異なってくる。図10は1次元〜3次元のシームトラッキングのイメージ図である。以下、1次元〜3次元のシームトラッキングを、次のように規定する。
(A)1次元シームトラッキング
溶融池の位置が常に一定で、溶接方向が常に一定で、開先も基本的に決まった位置に現れる。この場合、数フレーム先の溶融池の位置が予測できるので、この位置と開先位置のずれを検出し、このずれを補正するよう前もって加工ヘッドを移動させる処理を行う。
(B)2次元シームトラッキング
溶融池の位置は常に一定だが、溶接方向が不定で、開先もどの方向に現れるか不定。この場合、数フレーム先の予測が難しいため、現在の溶融池位置に対して開先がどれだけずれているかを算出し、そのずれ量を補正するよう加工ヘッドを移動させる処理を行う。
(C)3次元シームトラッキング
溶融池周辺を斜め方向から観察すると、加工ヘッド・鋼板間の高さにずれが発生したとき、上記(B)に加え、溶融池の位置も不定になる。この場合、2次元の処理に加え、溶融池の位置から加工ヘッドの高さずれ量を算出し、高さ方向にも加工ヘッドを移動させる必要がある。
【0040】
5.3 開先検出処理フロー検討
1次元シームトラッキングを実現する手順は、大きく以下の2つに分けられる。
(A1)3フレーム後の溶融池位置の予測
(A2)画像処理による開先直線の検出
(A1)3フレーム後の溶融池位置は、溶接の間常に固定である。よって、溶接開始時に一度処理すればよい。
(A2)の画像処理による開先直線の検出は、すべての入力画像に対して行われなければならない。よって、画像Aに対する画像処理は、次のフレームの画像Bが入力されるまでの40msec以内に完了する必要がある。
【0041】
シームトラッキング処理手順は以下のとおりである。
(S1)3フレーム後の溶融池位置を算出する
(S2)各フレームごとに入力される画像から、開先直線を検出する
(S3)3フレーム後の溶融池位置から開先直線までのベクトルを算出する
(S4)このベクトルが、溶融池と開先のずれ量を表している。このずれが大きければ、ずれを補正するよう、治具を駆動させる。また、処理結果画像を作成し、ディスプレイ上に表示する。
図11に、上記手順のうち(S2)に相当する開先直線検出フローチャートを示す。
【0042】
5.4 開先検出試験結果
上述したシームトラッキング処理フローを実装した開先検出アプリケーションの画面例を図12に示す。
このアプリケーションを用いて、同軸型溶接部可視化装置(真上から見た画像を採取できる治具を用いた溶接部可視化装置)を用いた観察映像を対象に、開先検出処理試験を行った。その結果、開先が大きく開いていないかぎり、誤認識は発生せず、また、開先の認識率も90%程度と、ほぼ問題ない結果を得ることができた。なお、開先が大きく開いている場合には開先認識率は60%と低い値であった。このような場合には、エラー表示、例えば「開先にギャップが発生して、溶接に失敗した」というように判断することが好ましい。
【0043】
次に、画像処理速度について検討する。
本発明の溶接制御装置では、画像のフレーム間隔は40msecであり、すべてのフレームに対して欠落なく画像処理を加えるには、この時間(40msec)内に画像処理を完了させる必要がある。
今回開発したプログラムによる平均画像処理速度は、画像1フレームに対して約20msecであった(Pentium(登録商標)4、1.5GHzの場合)。これは、基本的にすべてのフレームに対して欠落なく画像処理を加えることが可能であることを意味している。
これらの結果から、同軸型の本発明の溶接部可視化装置を用いたYAGレーザ溶接観察では、フレームの欠落なく、90%程度の確率で、開先を検出することが可能である。
【0044】
6.自動欠陥検知の検討
以下、本発明の溶接部可視化装置を用いた自動欠陥検知機能の実現についての検討結果をまとめる。
6.1 ブローホール検知処理
溶接の欠陥の一例として、重ね合わせ溶接時に発生するブローホールが挙げられる。ブローホールが多発した場合、溶接強度が十分でなくなるため、欠陥品として扱われる。
ここで、溶接中に発生したブローホールを検出し、その数をカウントするような欠陥検知システムの処理手順は以下のとおりである。
(S1)ブローホール観察エリアを算出する
(S2)各フレームの画像ごとに、観察エリア上のブローホールの有無を調べる(S3)1回の溶接におけるブローの数をカウントし、オペレータに提示する
ブローホール観察エリアは、溶融池位置、溶接ベクトル、溶接速度、視野範囲などから決定される、フレームごとの重なりがないエリアである。
図13に、ブローホール検知処理フローチャートを示す。
【0045】
ブローホール検知処理フローを実装したブローホール検知アプリケーションによりブローホール検知試験を行った。対象とした画像には4つのブローホールが存在するが、このすべてをブローホールとして認識した。ただし、それ以外に1箇所、ブローホールでない箇所をブローホールとして誤認識した。
このことから、ブローホールには画像処理で捉えることのできる特徴があり、ある程度の精度で検出することが可能と思われる。
【0046】
6.2 開先ギャップ検出処理フロー検討
溶接の欠陥の一例として、突合せ溶接時に開先にギャップが発生し、溶接に失敗するという例が想定される。
ここで、上述した開先検出処理アプリケーションを利用して、開先幅を検出し出力した。この様子を図14に示す。横軸が時間経過(フレーム数)、縦軸が開先の幅(Pixel)である。この図から、140フレーム目付近から徐々に開先幅が広がってきていることが分かる。このように、開先検出が可能な映像ならば、開先幅の推移を捉えることができる。
【0047】
なお、本発明は上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々変更できることは勿論である。
【0048】
【発明の効果】
上述したように本発明の溶接制御装置及び方法は、溶接部可視化装置10によって得られる高品質、高解像度な映像から、開先位置・開先幅・溶融池位置・溶融池状態・ビード位置・ビード状態・およびこれらに類する溶接の特徴を検出し、その特徴量から、溶接状況をリアルタイムで解析する装置及び方法である。解析結果はリアルタイムで溶接機にフィードバックされ、溶接位置やパワーの自動補正が行われる。これにより、将来発生が予測される欠陥を防ぐことができる。
【0049】
従って、本発明の溶接部可視化装置は、溶接時に従来見ることができなかった溶融池近辺の溶接状況を高い解像度で可視化することができ、本発明の溶接制御装置及び方法は、得られた映像を用いて溶接状況をリアルタイムで解析しその解析結果に応じて溶接位置や溶接パワーを制御して溶接の品質を向上させることができる、等の優れた効果を有する。
【図面の簡単な説明】
【図1】本発明の溶接部可視化装置とこれを用いた溶接制御装置の構成図である。
【図2】側面観察における画像上のあるラインにおける輝度変化を示す図である。
【図3】開先ギャップを横断する輝度グラフを示す図である。
【図4】溶接線を2箇所縦に切断したときの輝度グラフを示す図である。
【図5】本発明の溶接部可視化装置とこれを用いた溶接制御装置の機器構成を示す図である。
【図6】基本的な画像の取り込みタイミングチャートを示す図である。
【図7】2枚のメモリテーブルを用いた画像の取り込みタイミングチャートを示す図である。
【図8】事象Aに対する補正処理の遅れを示す図である。
【図9】事象Aの予測・補正処理を示す図である。
【図10】1次元〜3次元のシームトラッキングのイメージ図である。
【図11】シームトラッキング処理における開先直線検出フロー図である。
【図12】シームトラッキング処理フローによる開先検出の画面例を示すCRT上の中間調画像である。
【図13】ブローホール検知処理フロー図である。
【図14】開先ギャップの検出状態を示す図である。
【符号の説明】
2 高画素CCDカメラ、
4 高輝度フラッシュランプ、
6 同軸型光学系、
10 溶接部可視化装置、
12 画像取込み装置、
14 画像処理装置、
16 出力装置、
20 溶接制御装置
[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention is a welding control device that analyzes a welding situation in real time using a weld visualization device and an image obtained thereby, and controls a welding position and a welding power according to the analysis result to improve welding quality. About the method.
[0002]
[Prior art]
As techniques for monitoring a welding state during welding, Japanese Patent Application Laid-Open No. 9-225666, "Laser Welding Monitoring Device", Japanese Patent Application Laid-Open No. 2000-196923, "Imaging Device for Light Emitting Element Using CCD Camera and Laser Lighting", 2000-246441, a "welding status remote monitoring device" and the like have been proposed.
Further, as an automatic welding device, Japanese Patent Laid-Open No. 2000-210773 has proposed "A welding position automatic copying control device and a method for welding a groove of a member to be welded".
[0003]
[Problems to be solved by the invention]
The conventional welding status monitoring technology described above can visually monitor the welded portion during welding, but the image information is small, the accuracy of estimating the welding status is low, and automation using this is difficult. . Therefore, the conventional welding automatic control device utilizes the above-described conventional welding condition monitoring technology and other contact-type sensors, but has a problem that the accuracy is low and the device is complicated and the versatility is low. .
[0004]
In other words, the conventional welding condition monitoring technology and welding automatic control device have a problem that the image of the vicinity of the molten pool, which originally has the most information, cannot be sufficiently utilized, and a highly accurate welding condition analysis cannot be performed. Was.
[0005]
The present invention has been made to solve the above problems. That is, an object of the present invention is to provide a welding part visualization device capable of visualizing a welding state in the vicinity of a molten pool at a high resolution, which could not be seen conventionally during welding, and a welding state in real time using an image obtained thereby. It is an object of the present invention to provide a welding control apparatus and method for analyzing and controlling a welding position and a welding power in accordance with the analysis result to improve welding quality.
[0006]
[Means for Solving the Problems]
According to the present invention, a high-pixel CCD camera (2) having an electronic shutter and a high-brightness flash lamp (4) are provided, and illumination of a welding portion by the high-brightness flash lamp and photographing by the high-pixel CCD camera are synchronized. A weld visualization device is provided.
[0007]
With the welding part visualization device of this configuration, the welding part can be photographed as a high-contrast high-resolution image, and the welding situation near the molten pool, which could not be seen at the time of welding, can be visualized with high resolution. .
[0008]
According to a preferred embodiment of the present invention, the CCD camera (2) continuously captures images at intervals exceeding a transfer time Δt required for transferring one frame of images to the memory table and outputs image data. I do.
With this configuration, it is possible to photograph the welded portion at regular intervals without omission and output image data.
[0009]
In the butt welding or the lap welding, an optical system (6) for guiding an image of a weld portion including a molten pool to a CCD camera (2) is provided.
With this configuration, it is possible to photograph the weld including the molten pool and the periphery thereof with high contrast, and to keep the photographing range within the depth of field.
[0010]
Further, according to the present invention, there is provided an image capturing device (12) for capturing image data output from the weld visualization device (10), and an image processing device (14) for performing image processing on the image data to determine a welding state. And an output device (16) for outputting the welding status.
[0011]
According to the welding control device having this configuration, the image capturing device (12) captures the image data output by the welding portion visualization device (10), and the image processing device (14) processes the image data to perform image processing. Is determined, and the welding status is output by the output device (16). Therefore, the welding position and the welding power can be controlled in accordance with the analysis result of the welding situation to improve the quality of welding.
[0012]
According to a preferred embodiment of the present invention, a PC for image processing and a frame grabber board for capturing image data are provided.
With this configuration, image data can be captured by a frame grabber board and image processing can be performed by a PC (personal computer).
[0013]
A plurality of memory tables are provided, one frame of image is sequentially transferred to each memory table, and all images are taken in real time as a whole.
With this configuration, even if it takes time to transfer data to a single memory table, all images can be captured in real time.
[0014]
Further, according to the present invention, the molten pool, groove, and bead are photographed as high-resolution image data, and from this image data, the groove position, groove width, molten pool position, molten pool state, bead position, or bead. A welding control method is provided, wherein at least one of the states is detected, and a welding state is analyzed in real time from the detected content.
[0015]
According to a preferred embodiment of the present invention, the analysis result is fed back to the welding device in real time, and the welding device is automatically controlled.
In addition, at least one of groove profiling, groove width detection, blow hole detection, and welding condition abnormality determination is analyzed in real time.
[0016]
In the groove tracing, the image is analyzed to determine the straight line vector of the groove, the current weld pool position, and the future weld pool position. The welding head is moved to improve the quality of welding when the positional deviation is predicted.
[0017]
In the groove width detection, the groove width is detected, and when the groove is opened, the welding head is moved to one edge to prevent welding failure.
In the blow hole detection, the state of the bead is determined, and if a blow appears, the welding power is adjusted.
[0018]
In the welding condition abnormality determination, a normal welding condition is grasped, and the normal welding condition is always compared with the real-time welding condition to thereby grasp the welding trouble and notify the trouble.
[0019]
According to the welding control method of the present invention, a groove position, a groove width, a weld pool position, a weld pool state, a bead position or a bead state are detected from high-resolution image data including a weld pool, a groove, and a bead. Since the welding condition is analyzed in real time, the welding position and welding power can be controlled in accordance with the analysis result to improve the quality of welding.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, preferred embodiments of the present invention will be described with reference to the drawings. In each of the drawings, common portions are denoted by the same reference numerals, and redundant description will be omitted.
[0021]
1. The welding portion visualization device of the present invention is a device that visualizes a welding situation that could not be seen conventionally by controlling a powerful strobe light source and a high-speed electronic shutter.
A welding control device that extracts features of the welding state by image processing using the image of welding obtained by the welding portion visualization device and provides feedback based on the result is studied. By realizing such a welding control device, it is possible to propose a high value-added welding line such as automatic welding correction and defective product detection. FIG. 1 shows a weld visualization device 10 of the present invention and a welding control device 20 using the same.
[0022]
2. Examination using conventional visualization device
Prior to the development of the weld visualization device of the present invention, YAG laser welding was performed using an analog camera + pulse laser illumination type weld visualization device (hereinafter simply referred to as “conventional visualization device”) proposed in JP-A-2000-196923. The video during butt welding was collected. In addition, seam tracking and defect detection were examined based on this video.
[0023]
2.1 Image collection
The welding condition of YAG laser welding was observed using a conventional visualization device, and the state was recorded on a DV tape. In addition, a still image was randomly cut from the captured video, and the brightness of the image was numerically output to confirm and examine the tendency of the image. Further, the image was cut vertically or horizontally, and the luminance distribution on the line was examined.
[0024]
2.2 Examination of images
(1) Observation direction
When performing butt welding, consider how the groove appears when the observation direction is changed.
FIG. 2 shows a luminance change in a certain line on the image of the video in which the state of welding is observed from the side so that the groove (welding line) is horizontal.
A portion surrounded by a circle in FIG. 2 corresponds to a groove. As shown in this figure, the groove appears darker than the surroundings. In addition, in the case of side observation, it was found that the butted edge strongly reflected the laser illumination, and the groove position could be estimated using this.
On the other hand, in the front observation in which the state of welding was observed from the front so that the groove was vertical, it was not possible to obtain sufficient contrast to perform stable image processing. From this, it can be seen that it is necessary to provide illumination and a CCD so that sufficient contrast can be obtained for image processing, and it is necessary to design the entire observation area so that it falls within the depth of field. .
[0025]
(2) Detection of groove gap
It was examined whether a gap generated when two flat plates were welded without being temporarily fixed can be captured. A brightness graph across the groove gap is shown in FIG.
From this figure, it can be seen that when a gap occurs, the luminance of that portion basically drops. Therefore, it can be determined that there is a groove gap if the dark portion is wider than the surroundings.
[0026]
(3) Detection of welding position deviation
Welding was started at a position of -2 mm in the direction perpendicular to the groove, and the welding robot was moved to a position of +2 mm when the welding was completed, thereby virtually causing a welding displacement.
In order to capture such a displacement, it is necessary to recognize the straight line by capturing the groove position on the screen at two or more points, and to check whether a molten pool exists on the straight line. However, basically, since the molten pool exists at a fixed position on the screen, it is sufficient to focus on capturing the groove as a straight line.
FIG. 4 shows a luminance graph when the welding line is cut vertically at two places. By connecting the groove positions at the two cutting positions, the groove can be grasped as a straight line. When this straight line does not pass through a specific point (melt pool) on the image, it indicates that a welding position shift has occurred.
[0027]
(4) Blowhole detection
It is possible to recognize when a typical blowhole appears from an image capturing the state of occurrence of a blowhole. It is also possible to count how many blow holes have appeared in one welding. However, since a wider area must be searched as compared with groove detection, the data processing amount is greatly increased. Therefore, it is necessary to consider an efficient extraction algorithm.
(5) About exception images
When determining a feature amount from an input image, an image that is completely different from the assumed input image may come in.
When seam tracking is performed on such an input image, erroneous recognition of a groove may occur, and the welding head may move to an unexpected position. Therefore, it is necessary to determine what kind of image is input when image processing is started, and whether to actually perform seam tracking or count the number of blow holes.
For example, it is preferable to start the image processing when the robot starts the automatic operation, and to start the seam tracking when the molten pool and the groove are detected with a certain degree of certainty or more. Further, when a frame having a very large amount of disturbance comes in during welding, if the certainty of the processing result is low, the frame is preferably ignored.
[0028]
3. Configuration of welding part visualization device and welding control device of the present invention
FIG. 5 shows a device configuration of the weld visualization device of the present invention and a welding control device using the same.
The weld visualization device 10 according to the present invention includes a combination of a high pixel digital camera 2 and a flash lamp 4. The welding part visualization device 10 of the present invention realizes low cost and improved operability by using the flash lamp 4 instead of the pulse laser as the strobe light source. In addition, the welding part visualizing device 10 of the present invention employs the camera 2 having a high pixel CCD (for example, 1.4 million pixels). The camera 2 has a digital output (for example, 1320 × 1040 Pixel, 25 Hz uncompressed) in addition to the analog output.
The welding control device 20 performs image processing using the digital output. The welding control device 20 needs to have a function of taking in a high-speed and large-capacity digital output output from the camera 2 without omission and reproducing it without omission. In addition, it is necessary to have a function of executing data processing such as image processing at high speed. The following is used as the welding control device 20 for realizing such a function at low cost.
[0029]
(1) Image processing apparatus (PC): OS: Windows (registered trademark) NT 4.0, CPU: Pentium (registered trademark) 4 (1.5 GHz), main memory: RDRAM (768 MB)
(2) Frame grabber board: IPM8560D manufactured by Graphin (DMA transfer function, pixel clock Max 60 MHz)
Hereinafter, a description will be given of a framework for realizing an image capturing and recording function without frame loss using the above-described device.
[0030]
3.1 Realization of real-time image capture function
In the welding control device 20 of the present invention, the welding status is captured as an image from the welding portion visualization device 10, and the welding status is determined based on the image. First, consider the software configuration for capturing images in real time. Note that real-time image capture means capturing the video sent from the camera 2 into the main memory without any frame loss and no frame delay.
[0031]
(1) Import processing by IPM-8560 sample program
FIG. 6 shows a timing chart for capturing a basic image using the IPM-8560D. Hereinafter, the contents of the timing chart will be described along the processing flow of the image capturing software.
(S1) Capture start instruction
Using the IPM-8560D library “mgGrabberStart”, an image for one frame is transferred to a memory table reserved in advance. The mgGrabberStart returns immediately without waiting for the end of loading.
(S2) Wait for synchronization object
The preset synchronization object is in a non-signal state until the capture of one frame is completed. WaitForSignalObject is a WIN32 API that waits for the synchronization object to become signaled.
(S3) Window display processing
The contents (video) of the memory table are displayed on the screen of the PC.
(S4) Copy the contents of the memory table to the main memory
Prior to image processing, the contents of the memory table are copied to the main memory.
(S5) Image processing
Image processing is performed on the contents of the main memory.
[0032]
(2) Image capture processing using a ring buffer
The image capturing process described above is a basic capturing process shown in the sample program of IPM8560D, but can capture only one frame out of two frames. Therefore, by using two or more memory tables together, it is possible to perform capture without frame loss.
In FIG. 7, the number of captures is counted using two memory tables. If the number is odd, the data is transferred to the memory table 1; if the number is even, the data is transferred to the memory table 2. As a result, real-time capturing becomes possible, and a relatively long time (approximately 40 msec) for image processing can be secured.
[0033]
(3) Countermeasures for missing frames
An application for realizing a timing chart using two memory tables was implemented, and operation was confirmed. This application made sure that all frames were captured.
When an experiment was performed using this application, frames were lost once every 10 seconds (250 times) on average (a loss occurrence rate of 0.400%). This is probably because the margin between the frames is very short, and the interrupt indicating that the synchronization object has changed to the signal state could not be received during the short timing.
Therefore, an experiment was performed by transferring only 1392 × 1000 Pixels out of 1392 × 1040 Pixels to extend the margin time between frames. When transfer was performed twice for one hour (90000 times), frame loss occurred only once in both cases (missing rate 0.001%). As described above, although a part of the image is not taken in, it is possible to improve the certainty of real-time taking in while taking into account a necessary range of the image.
[0034]
3.2 Real-time recording function
It is indispensable for the welding control device 20 to have a function of recording an observation image without deterioration or omission and to be able to confirm the image repeatedly. Here, the recording function of the welding control device 20 will be considered.
[0035]
(1) Memory allocation processing
In order to record high-speed, large-capacity image data without deterioration or loss, it is necessary to reliably transfer the image data to the main memory. However, simply securing the memory makes it difficult to record in real time due to paging processing that occurs when a large amount of memory is used.
Therefore, for the process of capturing the video, the working size of the process is increased, and the HD is not accessed at the time of recording by locking the recording area in the memory. This makes it possible to record the captured image in a memory in real time.
Lockable memory is limited by physical main storage capacity. Since the current apparatus configuration uses a 768 MB main memory, the upper limit is 768 MB. The upper limit of the capacity of the memory table that can be managed by the frame grabber board IPM8560D is 512 MB. Therefore, the upper limit of the lockable area is 512 MB.
[0036]
(2) Operation check
The 512 MB memory corresponds to a video of about 14 seconds (1392 × 1040 (Pixel) × 25 (Hz) × 14 (second) = 506,688,000 Bytes). With this device configuration, recording was performed for 14 seconds, and it was confirmed that images could be recorded in the memory without frame loss.
However, it is necessary to copy the contents of the memory to another medium (hard disk, MO disk, CD-R, etc.) before starting the next recording and clear the memory.
[0037]
4. Image sampling test by welding control device of the present invention
The state of YAG laser welding was observed and collected using a welding control device equipped with the above-described image capturing and recording function. Welding tests were performed under various conditions. The main welding conditions are as follows.
(1) Welding method: butt welding, lap welding (for blowhole detection)
(2) Device configuration: coaxial type, single type
Here, the coaxial type has a device configuration in which a jig combined with a mirror or the like is used to collect an image of a welded portion as viewed from directly above. In addition, the stand-alone type is a device configuration in which an independent camera 2 is attached to a welding head, and an image that looks into the welded portion from an oblique direction is collected.
(3) Welding direction: horizontal, vertical, diagonal 45 ° on the screen
Based on these images, an automatic seam tracking system and an automatic defect detection system of the welding control device will be examined.
[0038]
5. Considering automatic seam tracking
The automatic seam tracking function by the welding control device of the present invention will be described below.
5.1 Processing delay in welding control device
In the welding control device of the present invention, as described above, it takes some time to capture the event A that has actually occurred as an image and recognize the event A by image processing. Furthermore, it takes a certain amount of time to realize a drive system process such as driving the stage based on the recognition result of the event A.
This delay is expected to take about 3 frames (120 msec) (assuming 40 msec for image processing and 40 msec for stage driving). FIG. 8 shows this state.
In order to absorb this delay, as shown in FIG. 9, it is necessary to predict an event A that occurs three frames later from the input image and apply a correction process in advance.
[0039]
5.2 1-3 dimensional seam tracking
The functions to be implemented by seam tracking differ depending on whether the direction in which the robot arm is driven by one welding operation is one-dimensional (linear), two-dimensional (plane), or three-dimensional (three-dimensional). FIG. 10 is an image diagram of one-dimensional to three-dimensional seam tracking. Hereinafter, one-dimensional to three-dimensional seam tracking is defined as follows.
(A) One-dimensional seam tracking
The position of the molten pool is always constant, the welding direction is always constant, and the groove appears basically at a fixed position. In this case, since the position of the molten pool several frames ahead can be predicted, a deviation between this position and the groove position is detected, and a process of moving the working head in advance to correct this deviation is performed.
(B) Two-dimensional seam tracking
The position of the molten pool is always constant, but the welding direction is undefined, and the direction in which the groove appears is also undefined. In this case, since it is difficult to predict a few frames ahead, a process is performed to calculate how much the groove is displaced from the current molten pool position, and to move the working head to correct the amount of the displacement.
(C) 3D seam tracking
When observing the periphery of the molten pool from an oblique direction, when a deviation occurs in the height between the processing head and the steel plate, in addition to the above (B), the position of the molten pool is also undefined. In this case, in addition to the two-dimensional processing, it is necessary to calculate the height deviation amount of the processing head from the position of the molten pool and move the processing head also in the height direction.
[0040]
5.3 Examination of groove detection processing flow
The procedure for implementing one-dimensional seam tracking can be roughly divided into the following two procedures.
(A1) Prediction of weld pool position after 3 frames
(A2) Detection of groove straight line by image processing
(A1) The weld pool position after three frames is always fixed during welding. Therefore, the process may be performed once at the start of welding.
The detection of the groove straight line by the image processing of (A2) must be performed for all input images. Therefore, the image processing on the image A needs to be completed within 40 msec until the image B of the next frame is input.
[0041]
The seam tracking processing procedure is as follows.
(S1) Calculate the molten pool position after three frames
(S2) A groove straight line is detected from an image input for each frame.
(S3) Calculate a vector from the molten pool position after three frames to the groove straight line.
(S4) This vector represents the amount of deviation between the molten pool and the groove. If the deviation is large, the jig is driven to correct the deviation. Further, a processing result image is created and displayed on a display.
FIG. 11 shows a groove straight line detection flowchart corresponding to (S2) in the above procedure.
[0042]
5.4 Results of groove detection test
FIG. 12 shows a screen example of the groove detection application in which the above-described seam tracking processing flow is implemented.
Using this application, a groove detection processing test was performed on observation video using a coaxial weld visualization device (a weld visualization device using a jig that can capture an image viewed from directly above). As a result, as long as the groove was not wide open, no erroneous recognition occurred, and the recognition rate of the groove was about 90%, and almost no problem was obtained. When the groove was wide open, the groove recognition rate was as low as 60%. In such a case, it is preferable to make an error display, for example, a judgment such as “a gap has occurred in the groove and welding has failed”.
[0043]
Next, the image processing speed will be discussed.
In the welding control device of the present invention, the image frame interval is 40 msec, and it is necessary to complete the image processing within this time (40 msec) in order to add image processing to all frames without omission.
The average image processing speed by the program developed this time was about 20 msec for one frame of the image (Pentium (registered trademark) 4, 1.5 GHz). This means that image processing can be basically applied to all frames without omission.
From these results, in the YAG laser welding observation using the coaxial weld visualization device of the present invention, it is possible to detect a groove with a probability of about 90% without frame loss.
[0044]
6. Examination of automatic defect detection
Hereinafter, the results of studies on the realization of the automatic defect detection function using the weld visualization device of the present invention will be summarized.
6.1 Blowhole detection processing
An example of a welding defect is a blowhole generated during lap welding. If blowholes occur frequently, the welding strength will be insufficient, and it will be treated as a defective product.
Here, the processing procedure of the defect detection system that detects blow holes generated during welding and counts the number is as follows.
(S1) Calculate blowhole observation area
(S2) The presence or absence of blow holes in the observation area is checked for each image of each frame. (S3) The number of blows in one welding is counted and presented to the operator.
The blowhole observation area is an area determined by the weld pool position, the welding vector, the welding speed, the visual field range, and the like, where there is no overlap for each frame.
FIG. 13 shows a flowchart of the blowhole detection process.
[0045]
A blowhole detection test was performed using a blowhole detection application that implements the blowhole detection processing flow. There were four blowholes in the target image, and all of them were recognized as blowholes. However, one other place and a place other than a blowhole were erroneously recognized as blowholes.
From this, it is considered that the blowhole has a feature that can be captured by image processing and can be detected with a certain degree of accuracy.
[0046]
6.2 Consideration of groove gap detection processing flow
As an example of a welding defect, a case where a gap is generated in a groove at the time of butt welding and welding fails is assumed.
Here, the groove width was detected and output using the groove detection processing application described above. This is shown in FIG. The abscissa represents the passage of time (the number of frames) and the ordinate represents the width of the groove (Pixel). From this figure, it can be seen that the groove width gradually increases from around the 140th frame. As described above, if the image can detect the groove, the transition of the groove width can be grasped.
[0047]
It should be noted that the present invention is not limited to the above-described embodiment, and can be variously changed without departing from the gist of the present invention.
[0048]
【The invention's effect】
As described above, the welding control device and method according to the present invention can be used to obtain a groove position, a groove width, a weld pool position, a weld pool state, a bead position, a high-quality, high-resolution image obtained by the weld visualization device 10. An apparatus and method for detecting a bead state and similar welding features and analyzing a welding situation in real time from the feature amount. The analysis result is fed back to the welding machine in real time, and the welding position and power are automatically corrected. Thereby, it is possible to prevent a defect that is expected to occur in the future.
[0049]
Therefore, the welding part visualization device of the present invention can visualize the welding situation near the molten pool at a high resolution, which could not be seen conventionally at the time of welding, and the welding control device and method of the present invention provide the obtained image. The welding condition can be analyzed in real time by using, and the welding position and welding power can be controlled in accordance with the analysis result to improve welding quality.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a weld visualization device of the present invention and a welding control device using the same.
FIG. 2 is a diagram illustrating a luminance change in a certain line on an image in side observation.
FIG. 3 is a diagram showing a luminance graph traversing a groove gap;
FIG. 4 is a diagram showing a luminance graph when a welding line is cut vertically at two places.
FIG. 5 is a view showing a device configuration of a weld visualization device of the present invention and a welding control device using the same.
FIG. 6 is a diagram showing a basic image capture timing chart.
FIG. 7 is a diagram showing a timing chart for capturing an image using two memory tables.
FIG. 8 is a diagram showing a delay in correction processing for event A.
FIG. 9 is a diagram showing a prediction / correction process of event A.
FIG. 10 is an image diagram of one-dimensional to three-dimensional seam tracking.
FIG. 11 is a flowchart of groove straight line detection in seam tracking processing.
FIG. 12 is a halftone image on a CRT showing an example of a screen for groove detection by the seam tracking processing flow.
FIG. 13 is a flowchart of a blow hole detection process.
FIG. 14 is a diagram showing a detection state of a groove gap.
[Explanation of symbols]
2 High pixel CCD camera,
4 High brightness flash lamp,
6 coaxial optical system,
10 weld visualization device,
12 image capture device,
14 image processing devices,
16 output devices,
20 Welding control device

Claims (13)

電子シャッターを備えた高画素CCDカメラ(2)と高輝度フラッシュランプ(4)とを備え、高輝度フラッシュランプによる溶接部の照明と高画素CCDカメラによる撮影を同期させたことを特徴とする溶接部可視化装置。Welding comprising a high-pixel CCD camera (2) with an electronic shutter and a high-brightness flash lamp (4), wherein illumination of the welding portion by the high-brightness flash lamp and photographing by the high-pixel CCD camera are synchronized Part visualization device. 前記CCDカメラ(2)は、1フレーム分の画像のメモリテーブルへの転送に必要な転送時間Δtを超える間隔で画像を連続的に撮影し画像データを出力する、ことを特徴とする請求項1に記載の溶接部可視化装置。2. The CCD camera according to claim 1, wherein the CCD camera continuously captures images at intervals exceeding a transfer time Δt required for transferring one frame of images to the memory table and outputs image data. The visualization device for a welded part according to item 1. 突合せ溶接または重ね合わせ溶接において、溶融池を含む溶接部を見た画像をCCDカメラ(2)に導く光学系(6)を備える、ことを特徴とする請求項1に記載の溶接部可視化装置。The welding part visualization device according to claim 1, further comprising: an optical system (6) for guiding an image of the weld including the molten pool to the CCD camera (2) in butt welding or lap welding. 溶接部可視化装置(10)が出力する画像データを取り込む画像取込み装置(12)と、該画像データを画像処理して溶接状況を判定する画像処理装置(14)と、該溶接状況を出力する出力装置(16)とを備えた、ことを特徴とする溶接制御装置。An image capturing device (12) that captures image data output by the welding portion visualization device (10); an image processing device (14) that performs image processing on the image data to determine a welding status; and an output that outputs the welding status. A welding control device, comprising: a welding device (16). 画像処理用のPCと、画像データの取り込み用のフレームグラバーボードとを備える、ことを特徴とする請求項4に記載の溶接制御装置。The welding control device according to claim 4, further comprising a PC for image processing and a frame grabber board for capturing image data. 複数のメモリテーブルを備え、各メモリテーブルに1フレーム分の画像を順次転送し、全体としてリアルタイムに全画像を取込む、ことを特徴とする請求項4に記載の溶接制御装置。5. The welding control apparatus according to claim 4, comprising a plurality of memory tables, sequentially transferring one frame of image to each memory table, and taking in all the images in real time as a whole. 溶融池、開先、ビードを高解像度の画像データとして撮影し、この画像データから、開先位置、開先幅、溶融池位置、溶融池状態、ビード位置又はビード状態のうち少なくとも1つを検出し、その検出内容から溶接状況をリアルタイムで解析する、ことを特徴とする溶接制御方法。Weld pool, groove, and bead are photographed as high-resolution image data, and from this image data, at least one of a groove position, a groove width, a molten pool position, a molten pool state, a bead position, or a bead state is detected. And a welding condition is analyzed in real time from the detected contents. 前記解析結果をリアルタイムで溶接装置にフィードバックし、溶接装置を自動制御する、ことを特徴とする請求項7に記載の溶接制御方法。The welding control method according to claim 7, wherein the analysis result is fed back to the welding device in real time to automatically control the welding device. 開先倣い、開先幅検知、ブローホール検知および溶接状況異常判定のうち少なくとも1つをリアルタイムで解析する、ことを特徴とする請求項7に記載の溶接制御方法。The welding control method according to claim 7, wherein at least one of groove profiling, groove width detection, blow hole detection, and welding condition abnormality determination is analyzed in real time. 前記開先倣いにおいて、映像を解析して開先の直線ベクトルと、現在の溶融池位置と、将来の溶融池位置を判定し、溶融池と開先の間で、現在もしくは将来的に位置ずれが発生するかどうかを判定するし、位置ずれが予測された場合、溶接ヘッドを移動させ、溶接の品質を向上させる、ことを特徴とする請求項7に記載の溶接制御方法。In the groove tracing, the image is analyzed to determine the straight line vector of the groove, the current weld pool position, and the future weld pool position. The welding control method according to claim 7, wherein it is determined whether or not the welding occurs, and when a misalignment is predicted, the welding head is moved to improve welding quality. 前記開先幅検知において、開先幅を検知し、開先が開いてきた場合、溶接ヘッドを片側のエッジに移動させ、溶接失敗を防ぐ、ことを特徴とする請求項7に記載の溶接制御方法。The welding control according to claim 7, wherein in the groove width detection, a groove width is detected, and when the groove is opened, a welding head is moved to one edge to prevent welding failure. Method. 前記ブローホール検知において、ビードの状態を判定しブローが出現する場合、溶接のパワー調整を行う、ことを特徴とする請求項7に記載の溶接制御方法。The welding control method according to claim 7, wherein in the blow hole detection, the state of the bead is determined, and when a blow appears, the welding power is adjusted. 前記溶接状況異常判定において、正常な溶接状況を把握しておき、常時正常な溶接状況とリアルタイムの溶接状況を比較することで、溶接異常を把握し、異常を通知する、ことを特徴とする請求項7に記載の溶接制御方法。In the welding condition abnormality determination, a normal welding condition is grasped, and a normal welding condition is compared with a real-time welding condition at all times, thereby grasping a welding abnormality and notifying the abnormality. Item 8. The welding control method according to Item 7.
JP2002241557A 2002-08-22 2002-08-22 Welding control apparatus and method Expired - Fee Related JP4678116B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002241557A JP4678116B2 (en) 2002-08-22 2002-08-22 Welding control apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002241557A JP4678116B2 (en) 2002-08-22 2002-08-22 Welding control apparatus and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2008242529A Division JP2009034731A (en) 2008-09-22 2008-09-22 Weld zone visualizing apparatus

Publications (2)

Publication Number Publication Date
JP2004074264A true JP2004074264A (en) 2004-03-11
JP4678116B2 JP4678116B2 (en) 2011-04-27

Family

ID=32024005

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002241557A Expired - Fee Related JP4678116B2 (en) 2002-08-22 2002-08-22 Welding control apparatus and method

Country Status (1)

Country Link
JP (1) JP4678116B2 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246536A (en) * 2007-03-30 2008-10-16 Ihi Corp Apparatus and method for analyzing welding state
WO2016044874A1 (en) * 2014-09-24 2016-03-31 Fronius International Gmbh Method for monitoring an arc process carried out by a burner, and device for carrying out said method
CN108098193A (en) * 2016-11-25 2018-06-01 辽东学院 Mechanical arm type welds Teaching instrument
WO2021049610A1 (en) * 2019-09-13 2021-03-18 住友重機械工業株式会社 Welding observation device, welding observation system, and welding observation method

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0242586A (en) * 1987-12-31 1990-02-13 Westinghouse Electric Corp <We> Image processing system for optical seam tracer
JPH0615451A (en) * 1992-06-30 1994-01-25 Matsushita Electric Ind Co Ltd Welding robot system
JPH09220666A (en) * 1996-02-13 1997-08-26 Suzuki Motor Corp Welding position inspecting apparatus
JPH1177307A (en) * 1997-09-03 1999-03-23 Toshiba Corp Automatic welding method and its equipment
JPH11132940A (en) * 1997-08-29 1999-05-21 Ricoh Co Ltd Apparatus and method for measurement of birefringence
JP2000048196A (en) * 1998-07-27 2000-02-18 Miyachi Technos Corp Method for recording welded situation and state, and device therefor
JP2000234916A (en) * 1999-02-15 2000-08-29 Konica Corp Light beam form measuring apparatus and alignment measuring apparatus

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0242586A (en) * 1987-12-31 1990-02-13 Westinghouse Electric Corp <We> Image processing system for optical seam tracer
JPH0615451A (en) * 1992-06-30 1994-01-25 Matsushita Electric Ind Co Ltd Welding robot system
JPH09220666A (en) * 1996-02-13 1997-08-26 Suzuki Motor Corp Welding position inspecting apparatus
JPH11132940A (en) * 1997-08-29 1999-05-21 Ricoh Co Ltd Apparatus and method for measurement of birefringence
JPH1177307A (en) * 1997-09-03 1999-03-23 Toshiba Corp Automatic welding method and its equipment
JP2000048196A (en) * 1998-07-27 2000-02-18 Miyachi Technos Corp Method for recording welded situation and state, and device therefor
JP2000234916A (en) * 1999-02-15 2000-08-29 Konica Corp Light beam form measuring apparatus and alignment measuring apparatus

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008246536A (en) * 2007-03-30 2008-10-16 Ihi Corp Apparatus and method for analyzing welding state
WO2016044874A1 (en) * 2014-09-24 2016-03-31 Fronius International Gmbh Method for monitoring an arc process carried out by a burner, and device for carrying out said method
CN108098193A (en) * 2016-11-25 2018-06-01 辽东学院 Mechanical arm type welds Teaching instrument
WO2021049610A1 (en) * 2019-09-13 2021-03-18 住友重機械工業株式会社 Welding observation device, welding observation system, and welding observation method

Also Published As

Publication number Publication date
JP4678116B2 (en) 2011-04-27

Similar Documents

Publication Publication Date Title
JPH08132274A (en) Welding quality diagostic method and device therefor
JP5158406B2 (en) Welding situation analysis apparatus and method
JP5845659B2 (en) Intruder detection method, intruder detector, and robot system
JP2009034731A (en) Weld zone visualizing apparatus
KR20090026937A (en) Integrated surveillance system diplaying a plural of event images and method using the same
JP4179558B2 (en) Laser welding quality evaluation method and apparatus
JP2004132881A (en) Method for inspecting arrangement structure
JP5679912B2 (en) Welding abnormality detection method and welding abnormality detection device
JPH09200734A (en) Monitoring device
JP2006043741A (en) Method and device for evaluating laser welding quality
JP4678116B2 (en) Welding control apparatus and method
JP2007330987A (en) Apparatus and method for analyzing welding condition using weld zone visualizing apparatus
JP2003262593A (en) Apparatus and method for detection of defect
JP2001183302A (en) Apparatus for inspecting surface of steel strip
JP2009133696A (en) Inspection method of substrate and inspection device of substrate
JP2004249312A (en) Instrument and method for observing laser beam welding conditions
JPH09192983A (en) Tool attrition amount measuring method
JP2002205166A (en) Display for welding state
JPH11304449A (en) Image processing device
JPH08186808A (en) Method and device for processing image
JPH07270335A (en) Method and device for imaging inspection
WO2022239123A1 (en) Production line monitoring device, production line monitoring system, and production line monitoring method
JPH10206127A (en) Shape measuring apparatus for weld of steel strip
JP2000331162A (en) Image processor
JPH05167299A (en) Device and method of checking chip mounting device cassette

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080722

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080917

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090924

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100625

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100820

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110105

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110118

R151 Written notification of patent or utility model registration

Ref document number: 4678116

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140210

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees