JP2008246536A - 溶接状況解析装置及び方法 - Google Patents

Abstract

【課題】溶接時にリアルタイムに溶接部を検査し、溶け込み不足による溶接不良を含む溶接状態の良否をリアルタイムに判定することができる溶接状況解析装置及び方法を提供する。
【解決手段】パルス光源１１による溶接部の照明とＣＣＤカメラもしくはＣ−ＭＯＳカメラ１４，１５による撮影を同期させて、溶融池３を含む溶接部の画像を連続的に撮影し複数の画像データを得る溶接部可視化装置１０と、各画像データに含まれる溶接部のビード幅を検出し、このビード幅から溶接状況を解析する画像処理装置２０とを備える。
【選択図】図２

Description

本発明は、溶接部可視化装置により得られた映像を用いて溶接状態の良否をリアルタイムで判定する溶接状況解析装置及び方法に関する。

溶接により金属板を溶接する際に、溶接後に溶接状況を判定する技術として、特許文献１、２等が既に提案されている。

特許文献１の装置及び方法は、図１０に示すように、溶接部可視化装置６０は、電子シャッターを備えた高画素ＣＣＤカメラと高輝度フラッシュランプとを備え、フラッシュランプによる溶接部の照明とＣＣＤカメラによる撮影を同期させる。溶接制御装置６２は、溶接部可視化装置６０が出力する画像データを取り込む画像取込み装置と、画像データを画像処理して溶接状況を判定する画像処理装置と、溶接状況を出力する出力装置とを備えるものである。

特許文献２の「レーザ溶接検査システム」は、実時間でレーザ溶接ビードを検査することを目的とし、レーザ溶接ヘッドに追従して溶接ビードの画像を捉え、画像処理は、合格基準値と比較して、所定の許容差範囲内にあると判断されたとき、溶接部は合格であると判断するものである。

特開２００４−７４２６４号公報、「溶接部可視化装置とこれを用いた溶接制御装置及び方法」 特開２００６−１９８６８２号公報、「レーザ溶接検査システム」

特許文献１の手段は、本願発明者等が創案し出願したものであり、情報量の豊富な溶融池近辺の映像の可視化を可能にし、これを活用して精度の高い溶接状況の解析ができる特徴を有する。

また、特許文献２のシステムも、レーザ溶接ヘッドに追従して溶接ビードの画像を捉え、実時間でレーザ溶接ビードを検査することを目的としている。

しかし、特許文献１，２の手段には、以下の問題点があった。
溶接レーザのレンズ割れなどによって溶接が正常に行われず、溶接部に溶け込み不足が生じることがある。しかし、従来の手段では、溶接中に、溶け込み不足を検知することはできないため、溶接作業の終了後に、人の手でビードの幅や、溶接部の裏地を検査することによって、溶接部の溶け込み不足を検査していた。
そのため、溶接作業とは別に溶接部検査作業を行う必要があり、リアルタイム性に欠け、生産性が落ちるという問題があった。

また、特許文献１，２の手段によって、溶接中に溶接ビードの画像を捉えても、これから溶接状態の良否をリアルタイムに判定することは困難であった。

本発明は、上述した問題点を解決するために創案されたものである。すなわち本発明の目的は、溶接時にリアルタイムに溶接部を検査し、溶け込み不足による溶接不良を含む溶接状態の良否をリアルタイムに判定することができる溶接状況解析装置及び方法を提供することにある。

本発明によれば、パルス光源による溶接部の照明とＣＣＤカメラもしくはＣ−ＭＯＳカメラ等による溶接部の撮影を同期させて、溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得る溶接部可視化装置と、
前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析する画像処理装置とを備える、ことを特徴とする溶接状況解析装置が提供される。

本発明の好ましい実施形態によれば、前記画像処理装置により、一定の輝度値以上の画素に対しては、しきい値を用いて、輝度値を低く抑える丸め込みを行い、
ビードに沿って伸びるエッジを暗い部分と明るい部分の境界として強調し、そのエッジ中からビードの淵を抽出し、ビード幅を検出する。

また、前記画像処理装置により、ビードの抽出領域をより細かいエリアに分け、エリア毎に丸め込みのしきい値を動的に決定し、
かつエリア毎にビードの淵の候補点を抽出し、他のエリアの候補点との関係からビードの淵を抽出する。

また本発明によれば、溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得る溶接部可視化ステップと、
前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析する画像処理ステップとを有する、ことを特徴とする溶接状況解析方法が提供される。

本発明の好ましい実施形態によれば、前記画像処理ステップにおいて、一定の輝度値以上の画素に対しては、しきい値を用いて、輝度値を低く抑える丸め込みを行い、
ビードに沿って伸びるエッジを暗い部分と明るい部分の境界として強調し、そのエッジ中からビードの淵を抽出し、ビード幅を検出する。

また、前記画像処理ステップにおいて、ビードの抽出領域をより細かいエリアに分け、エリア毎に丸め込みのしきい値を動的に決定し、
かつエリア毎にビードの淵の候補点を抽出し、他のエリアの候補点との関係からビードの淵を抽出する、ことが好ましい。

溶接装置において、溶接レーザのレンズ割れなどによって溶接が正常に行われなかった場合に、溶接のビード幅が広がるという傾向がある。従って、画像上のビード幅から溶接不良の発生を推定することが可能となる。本発明は、この特性を利用して溶接のビード幅に基づき溶け込み不足を検知するものである。

すなわち上述した本発明の装置及び方法によれば、溶接部可視化装置により、パルス光源による溶接部の照明とＣＣＤカメラもしくはＣ−ＭＯＳカメラによる撮影を同期させて、溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得ることができる。
また、画像処理装置により、前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析することができる。
従って、溶接時に溶融池近辺の映像を可視化する溶接部可視化装置を用い、得られた映像から溶け込み不足による溶接不良を含む溶接状態の良否を判定することができる。

以下、本発明の好ましい実施形態を図面を参照して説明する。なお各図において、共通する部分には同一の符号を付し、重複した説明は省略する。

図１は、本発明の溶接状況解析装置の全体構成図である。この図において、１はワーク（被溶接材）、２は開先、３は溶融池、４はビード、５は溶接ヒューム、６は溶接ヘッド、８は溶接制御装置である。

ビードとは、溶接によって母材の一部が溶け凝固した部分を意味する。上述したように、溶接装置において、溶接レーザのレンズ割れなどによって溶接が正常に行われなかった場合に、溶接のビード幅が広がるという傾向があり、この特徴を利用して、画像上のビード幅から溶接不良の発生を推定することができる。

しかし、溶接可視化装置で撮影されたビードには以下の特徴があり、安定したビード幅の検出ができない場合がある。
（１）画像上では基本的にビード以外の部分（ワーク）よりも暗い。
（２）ハレーションを起こしている場合がある。
（３）画像上では基本的に横方向に水平な帯状である。
（４）すすなどの影響で、ビードの境界部分が凸凹している場合がある。
（５）ヒューム（母材の成分が蒸気となって舞い上がり、その蒸気が空気中で冷えるときに形成される微細な酸化物粒子）により白く見える場合がある。

本発明は、これらの特性を利用して安定したビード幅の検出を行い、これに基づき溶け込み不足を検知するものである。

なお、ワーク１は１〜３ｍｍ厚の薄板であり、開先２を介して突合せ溶接する場合を示している。また溶接ヘッド６は、レーザ溶接用であり、溶接制御装置８により制御される。なお、本発明はこれらに限定されず、その他の材質・厚み、重ね溶接、アークやプラズマ溶接ヘッドであってもよい。

図１において、本発明の溶接状況解析装置は、溶接部可視化装置１０および画像処理装置２０を備える。

溶接部可視化装置１０は、パルス光源（この例では高輝度フラッシュランプ１１）、ランプ電源ユニット１２、ランプ光量制御ユニット１３、カメラヘッド部１４、カメラ本体１５、制御装置１６、及びモニタ１７を備える。

高輝度フラッシュランプ１１は、カメラ本体１５からのストロボパルス信号に応じてランプ電源ユニット１２から電力が供給され溶接部を照明する。ランプ光量制御ユニット１３は、光量制御用電圧をランプ電源ユニット１２に印加する。
なお、パルス光源は、高輝度フラッシュランプに限定されるものではなく、ＹＡＧレーザ第高調波などのレーザ光源であってもよい。
高画素ＣＣＤカメラは、カメラヘッド部１４とカメラ本体１５からなる。カメラヘッド部１４は、レンズ及びＣＣＤ（例えば１４０万画素）を内蔵し、溶融池３を含む溶接部の画像を撮影する。カメラ本体１５は、カメラヘッド部１４を制御し、撮影した画像データ（例えば１３２０×１０４０Ｐｉｘｅｌ）を制御装置１６に入力する。
なおＣＣＤカメラの代わりにＣ−ＭＯＳカメラ等でもよい。
制御装置１６は、例えばパソコン本体であり、ランプ光量制御ユニット１３及びカメラ本体１５を制御し、画像データを画像処理装置２０に出力するとともにモニタ１７に表示する。

上述した構成により、溶接部可視化装置１０は、高輝度フラッシュランプ１１による溶接部の照明と高画素ＣＣＤカメラ１４，１５による撮影を同期させて、溶融池３を含む溶接部の画像を連続的に撮影し、複数の画像データを得るようになっている。

画像処理装置２０は、例えばパソコン本体であり、溶接部可視化装置１０で撮影した各画像データに含まれる溶接部のビード幅を検出し、このビード幅から溶接状況をリアルタイムで解析する機能を有する。なお、制御装置１６と画像処理装置２０を単一のパソコンで構成してもよい。

画像処理装置２０は、一定の輝度値以上の画素に対しては、しきい値を用いて、輝度値を低く抑える丸め込みを行い、ビードに沿って伸びるエッジを暗い部分と明るい部分の境界として強調し、そのエッジ中からビードの淵を抽出し、ビード幅を検出する。
また、画像処理装置２０は、ビードの抽出領域をより細かいエリアに分け、エリア毎に丸め込みのしきい値を動的に決定し、かつエリア毎にビードの淵の候補点を抽出し、他のエリアの候補点との関係からビードの淵を抽出する。
さらに、画像処理装置２０による判定結果は、溶接制御装置８に入力され、その制御に反映される。

図２は、上述した溶接部可視化装置のモニタ画像の説明図である。この図に示すように、溶接部可視化装置１０のモニタ１７には、高画素ＣＣＤカメラで撮影された溶接部の画像、すなわち、ワーク１、開先２とその間のシーム２ａ、溶融池３、およびビード４が表示される。

図３は、本発明の画像処理装置における良否判定フローチャートである。本発明の画像処理装置２０は、高画素ＣＣＤカメラで撮影された溶接部の画像データに対して自動的に画像処理が加えられる。
この画像処理は、判定ステップＳ１〜Ｓ９からなる。

ステップＳ１では、ユーザーによるビード基準位置の設定を行う。すなわち、ユーザーは、溶接を開始する前に、抽出ビード幅との整合性を取るためのビード基準位置の設定を行う。
（１）今回の溶接条件と同一条件の下で撮影された過去の溶接データからビード幅が目視で認識できるデータを探し出す。
（２）（１）で探し出した過去のデータのビードに沿うように、図４Ａに示すようなビード基準位置枠２１を横軸の適切な位置に移動させる。
（３）そのビードの淵の上下位置に、ビード基準位置枠２１の上下の辺を合わせ込み、ビード基準位置を設定する。

次に溶接を開始し（Ｓ１２）、ステップＳ２で、画像データを取得する。すなわち、溶接部可視化装置１０で撮影された画像から、画像処理を行うための画像データを取得する。
（１）ユーザーが設定したビード基準位置２１の上下のビード淵毎にその位置を基準として、上下に適切な長さの位置に辺を取り、それらの辺が上辺と下辺となる四角形画像を取得する。
（２）ビード淵の候補点を抽出するために、図４Ｂに示すように先の上下の取得画像を、横方向にそれぞれ複数に細かく区切ったエリア２２に分けて、候補点抽出エリアの設定（Ｓ２３）を行う。

ステップＳ３では、画像上の高輝度画素の丸め込みを行う。すなわち、ハレーションの影響で、想定外のところにビード淵の候補点が出ないようにするために、画像上の高輝度画素の丸め込みを行う。
（１）エリア２２毎にエリア内ビード部分の輝度値の平均値を取り、その値に定数ｋ（例えば、０．８〜１．０の定数）を掛けて、丸め込みを行うためのしきい値を求める。
（２）エリア毎に（１）のしきい値を用いて、しきい値より輝度が高い画素は、そのしきい値に丸める。

ステップＳ４では、エッジの強調を行う。すなわち、取得画像上にあるエッジを強調する。
（１）ステップＳ３で高輝度画素を丸め込んだ画像の画面上側にあるエリアに、縦方向に紙面上から下に向かって白から黒の部分を強調する所定のフィルタを用いて、白から黒に変化するエッジを強調する。
（２）ステップＳ３で高輝度画素を丸め込んだ画像の画面下側にあるエリアは、縦方向に紙面上から下に向かって黒から白の部分を強調する別のフィルタを用いて、黒から白に変化するエッジを強調する。

ステップＳ５では、輝度値の和を算出する。すなわち、エリア毎に、輝度値の和を取る。
（１）エッジ強調後の各画素の輝度値を取得する。
（２）各エリアで、図５に示すように縦座標が同一の画素の輝度値を足し合わせる。
なお、この図において、エリア位置は、上側のビード淵で右から１番目のエリアであり、座標の原点はエリアの左上、３５０の横線はしきい値、３点の○はビード淵の候補点である。

ステップＳ６では、ビード淵候補点の抽出を行う。すなわち、ビード淵抽出のためのビード淵の候補点を抽出する。
（１）エリア毎に、輝度値の和から、しきい値よりも大きい部分（凸部）を抽出する。
（２）その抽出した凸部内で輝度値の和が最大となる座標を、そのエリアにおけるビード淵候補点の縦座標とする。候補点の横座標は、そのエリアの横座標の中央値である。
（３）（１）と（２）は、凸部があるだけ繰り返す。よって、複数の候補点か抽出される場合もある。

すべての抽出エリアに対して処理が完了したかを確認し（Ｓ６７）、確認された場合にステップＳ７でビード淵の抽出を行う。すなわちビード幅を検出するためのビードの淵を抽出する。
（１）エリア毎に、ユーザーが設定したビード淵の基準位置に近い候補点を抽出する。
（２）それらの点に対して最小二乗法を用いて直線を当てはめる。
（３）その直線において、最小二乗誤差があるしきい値よりも大きい場合や、傾きがあるしきい値よりも大きい場合は、ステップ７８において、ビード淵の抽出に失敗したとする。

ビード淵の抽出に成功した場合（ステップ７８）には、ステップＳ８で、ビード幅の照合を行う。すなわち、ビード幅の照合を行い、ビード幅が異常な画像数をカウントする。
（１）ステップＳ１で設置したビード基準位置から、画像上の設定ビード幅を求める。
（２）ステップＳ７で抽出したビード淵から、画像処理による検出ビード幅（ビード基準位置の横座標中央値におけるビード幅）を求める。
（３）（１）の設定ビード幅から許容できるビード幅を求め、（２）の検出ビード幅がそれを超えた場合、ステップ８１において、その画像のビード幅は異常であるとして、ビード幅が異常な画像数をカウントする（ステップ８２）。

ステップ８１においてビード幅が正常である場合、ステップＳ９で、溶接異常の検知を行う。
すなわち、溶接終了時に、ステップＳ８の異常数カウントが、一回の溶接における取得画像枚数に対してある一定以上の割合となる場合は、溶接異常と判断し警告表示をする（Ｓ９１）。溶接異常なし、又は警告表示の後、検出処理が終了する（Ｓ９２）。

上述した溶接部可視化装置１０で撮影した実際の溶接時画像データを用いて、本発明の検出アルゴリズムを実装した場合の検出結果を示す。
なお、検出においては、上述した画像データからビード淵を抽出し、ビード幅を検出できるまでを示す。

図６に示すように、上述した画像データに対して、ステップＳ１で原画像にビード位置を設定する。

図７に示すように、ステップＳ２３で、ビード基準位置を利用してエリアを区切り、ビード候補点抽出エリアの設定を行う。

図８に示すように、各エリアで、ステップＳ３〜Ｓ６を繰り返し、ビード淵の候補点を抽出する。

図９に示すように、ステップＳ７において、ビード淵の候補点からビード淵が抽出される。

これにより、ビード淵が正しく抽出されていることが確認でき、ビード幅の検出が可能である。

上述したように、溶接装置において、溶接レーザのレンズ割れなどによって溶接が正常に行われなかった場合に、溶接のビード幅が広がるという傾向があるが、本発明は、この特性を利用して溶接のビード幅に基づき溶け込み不足を検知するものである。

すなわち上述した本発明の装置及び方法によれば、溶接部可視化装置により、パルス光源による溶接部の照明とＣＣＤカメラもしくはＣ−ＭＯＳカメラ等による撮影を同期させて、溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得ることができる。
また、画像処理装置により、前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析することができる。
従って、溶接時に溶融池近辺の映像を可視化する溶接部可視化装置を用い、得られた映像から溶け込み不足による溶接不良を含む溶接状態の良否を判定することができる。

なお、本発明は、上述した実施形態に限定されず、本発明の要旨を逸脱しない範囲で種々に変更することができることは勿論である。

本発明の溶接状況解析装置の全体構成図である。 溶接部可視化装置のモニタ画像の説明図である。 本発明の画像処理装置における良否判定フローチャートである。 本発明のステップＳ２、Ｓ３の説明図である。 本発明のステップＳ５の説明図である。 実施例において原画像に基準位置を設定した画像である。 実施例においてエリアを設定した画像である。 実施例においてビード淵の候補点の抽出画像である。 実施例において得られたビード淵の画像である。 特許文献１の装置の模式図である。

符号の説明

１ ワーク（被溶接材）、２ 開先、２ａ シーム、
３ 溶融池、４ ビード、５ 溶接ヒューム（ヒューム）、
６ 溶接ヘッド、８ 溶接制御装置、
１０ 溶接部可視化装置、１１ パルス光源（高輝度フラッシュランプ）、
１２ ランプ電源ユニット、１３ ランプ光量制御ユニット、
１４ カメラヘッド部、１５ カメラ本体、
１６ 制御装置、１７ モニタ、２０ 画像処理装置

Claims (6)

1. パルス光源による溶接部の照明とＣＣＤカメラもしくはＣ−ＭＯＳカメラ等による溶接部の撮影を同期させて、溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得る溶接部可視化装置と、
   前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析する画像処理装置とを備える、ことを特徴とする溶接状況解析装置。
2. 前記画像処理装置により、一定の輝度値以上の画素に対しては、しきい値を用いて、輝度値を低く抑える丸め込みを行い、
   ビードに沿って伸びるエッジを暗い部分と明るい部分の境界として強調し、そのエッジ中からビードの淵を抽出し、ビード幅を検出する、ことを特徴とする請求項１に記載の溶接状況解析装置。
3. 前記画像処理装置により、ビードの抽出領域をより細かいエリアに分け、エリア毎に丸め込みのしきい値を動的に決定し、
   かつエリア毎にビードの淵の候補点を抽出し、他のエリアの候補点との関係からビードの淵を抽出する、ことを特徴とする請求項２に記載の溶接状況解析装置。
4. 溶融池を含む溶接部の画像を連続的に撮影し複数の画像データを得る溶接部可視化ステップと、
   前記各画像データに含まれる溶接部のビード幅を検出し、該ビード幅から溶接状況を解析する画像処理ステップとを有する、ことを特徴とする溶接状況解析方法。
5. 前記画像処理ステップにおいて、一定の輝度値以上の画素に対しては、しきい値を用いて、輝度値を低く抑える丸め込みを行い、
   ビードに沿って伸びるエッジを暗い部分と明るい部分の境界として強調し、そのエッジ中からビードの淵を抽出し、ビード幅を検出する、ことを特徴とする請求項４に記載の溶接状況解析方法。
6. 前記画像処理ステップにおいて、ビードの抽出領域をより細かいエリアに分け、エリア毎に丸め込みのしきい値を動的に決定し、
   かつエリア毎にビードの淵の候補点を抽出し、他のエリアの候補点との関係からビードの淵を抽出する、ことを特徴とする請求項５に記載の溶接状況解析方法。

Images