JP2008238187A - アーク溶接における酸化物認識方法及び酸化物認識装置 - Google Patents
アーク溶接における酸化物認識方法及び酸化物認識装置 Download PDFInfo
- Publication number
- JP2008238187A JP2008238187A JP2007079152A JP2007079152A JP2008238187A JP 2008238187 A JP2008238187 A JP 2008238187A JP 2007079152 A JP2007079152 A JP 2007079152A JP 2007079152 A JP2007079152 A JP 2007079152A JP 2008238187 A JP2008238187 A JP 2008238187A
- Authority
- JP
- Japan
- Prior art keywords
- frame image
- isolated
- region
- oxide
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【解決手段】アーク溶接中に溶融池P及びその周囲を複数のフレーム画像に撮像し、所定の輝度範囲の有する領域を抽出し、領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出し、抽出された各孤立領域の位置情報及び特徴量を検出する。
【選択図】図3
Description
従来、アーク溶接中のアーク発生位置周辺を撮像することにより、該アーク発生位置及びその周辺の現象を把握する方法が知られている。例えば特許文献1には、カラー撮像装置と画像処理装置と画像表示装置とを備え、カラー撮像装置が溶接中の溶接部及びその周囲を撮影してカラー映像信号を発生し、画像処理装置が該カラー映像信号をRGB成分に分解し該RGB成分の強度若しくは成分間の比率から溶融池の範囲を推定する溶接状態表示装置について開示されている。
そこで、本発明は、画像処理の手段を用いることにより、アーク溶接時の溶融池や溶滴等の溶融金属上に発生する酸化物の存在状態を定量的に把握することが可能なアーク溶接における酸化物認識方法及び酸化物認識装置を提供するようにしたものである。
即ち、本発明における課題解決のための技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出する、
ことを特徴としている。
本発明は、これら溶融金属のこの様な特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
この様にフレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内からからす酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなるのである。
また、本発明における課題解決のための他の技術的手段は、
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出し、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、
ことを特徴としている。
本発明は、これら溶融金属の特徴を踏まえ、先ず、アーク溶接の溶接状況をフレーム画像に撮像することにより、該フレーム画像に、溶融金属の上述の如き要素を画像情報として取り込み、該フレーム画像からこれら溶融金属を認識・抽出するものである。
また、これら溶融金属上に発生する酸化物は、これら溶融金属上のみにおいて一定領域を示し、その形状、大きさ、輝度、色彩等、フレーム画像上で視認できる要素がこれら酸化物に対し背景となるべき溶融金属に比べて著しい特徴を有している。
フレーム画像から溶融金属を認識し、さらに該溶融金属を示す領域内から酸化物を認識することにより、上記アーク溶接状況下における個々の酸化物の発生を正確に把握することができると共に、各酸化物の大きさや移動速度等の性状も把握することができるものとなる。
一方、アーク溶接の溶接状況を撮像すると、溶融金属ばかりでなく、ヒュームや塵等がノイズとして撮像される。また、フレーム画像を送信する際に電気的なノイズが発生する場合もあり、これらのノイズが酸化物を示す孤立領域と近似した形状となってフレーム画像に現れる場合が考えられる。
また、位置情報に付随して抽出する大きさや輝度等の特徴量も孤立領域の連続性の有無の判断要素とすることにより、より正確な酸化物の認識が可能となる。また、後処理によって認識された複数の酸化物を様々な指標により分類する場合には、この様に位置情報だけではなく特徴量も検出していることが有効である。
また、アーク溶接の撮像は、1万フレーム/秒の撮像速度を有する高速度カメラ等を用いて数秒程度の溶接現象を撮像することとする。
例えば、アーク溶接を10秒程度撮像すると、かかる撮像時間に撮像されたフレーム画像は10万コマとなり、該フレーム画像の全体に亘って1つ1つ孤立領域を検出して連続性を判断するには膨大な時間がかかることが予想される。
かかる点に鑑みれば、前記連続するフレーム画像とは、少なくとも3フレームに亘り続くフレーム画像であることは好ましい。
これによれば、少なくとも連続する3つのフレーム画像を判断対象として孤立領域の連続性を判断することができ、かかる処理を順次行うことによって効率的に一連の孤立領域群の連続性を判断することができる。
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成し、
該半径領域を次のフレーム画像に設定し、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断し、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する、
ことが好ましい。
また、設定された半径領域内での孤立領域の有無を判断するものであるため、当該半径領域が孤立領域検出対象となる。このため、フレーム画像全体に亘って孤立領域の識別を行う必要はなく、処理速度の向上が図られる。
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較して、該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断することは好ましい。
溶融金属上を移動する複数の酸化物は、互いに衝突することにより結合する場合がある。上述の構成によれば、一のフレーム画像と次フレーム画像とを比較判断することにより複数の酸化物の結合を判断することができ、より実情に即した酸化物の認識が可能となる。
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較して、これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断することも好ましい。
また、前記各フレーム画像から1又は複数の孤立領域を抽出するに際し、
各フレーム画像のアーク発生位置にマスク処理を施すことが好ましい。
これによれば、アーク発生位置がマスクをかけられることにより後処理の処理対象から除外されるので、マスク処理後のフレーム画像には、溶融池や溶滴等、アーク発生位置よりも輝度の小さい画像情報のみを処理対象とすることができ、後過程での孤立領域の抽出・検出を精度良く且つ手早く行うことができるのである。
アーク溶接時のアーク発生位置はきわめて高輝度のアーク光が存在するためにきわめて高輝度であり、相対的に輝度が小さい溶融金属上の物質を鮮明に観察することは困難となる。上記構成によれば、前記溶融金属をバンドパスフィルタにて撮像することとしているため、所定の輝度範囲や色温度範囲等を有する画像をフレーム画像として撮像することができる。この結果、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像として取得することができるのである。
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第1抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出する第2抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
を有することを特徴としている。
アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第1抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出する第2抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、
を有することを特徴としている。
また、前記連続性判断手段は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成する領域形成手段と、
該半径領域を次のフレーム画像に設定する領域設定手段と、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断する領域判断手段と、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する連続性認定手段と、
を有していることが好ましい。
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較する比較手段と、
該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断する結合判断手段と、
を有していることが好ましい。
前記連続性判断手段は、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較する比較手段と、
これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断する分離判断手段と、
を有していることが好ましい。
また、前記撮像手段は、光軸上にバンドパスフィルタを備えていることが好ましい。
[第1実施形態]
図1〜図3は、本発明に係る第1実施形態の酸化物認識装置1を示している。該酸化物認識装置1は、アーク溶接の溶接状況を撮像し、該撮像から得られたフレーム画像Fkに基づいて、アーク溶接中に溶融池(溶融金属)Pに発生する酸化物Qを認識するための装置であって、該溶融池Pを中心としてアーク溶接の溶接状況を撮像する撮像装置2と、該撮像装置2によって撮像されたフレーム画像Fkを取得して処理する処理装置3とを備えている。
撮像装置2は、少なくとも500〜2000フレーム/秒、好ましくは1万フレーム/秒の撮像速度を有する高速度カメラ(CCDカメラ)からなる撮像手段5と、該撮像手段5に配備されたレンズ6とを有している。なお、説明を簡単にするため、本実施形態においては撮像手段5をモノクロ型としているが、カラー型であっても構わない。
また、撮像装置2は、移動手段7に搭載されている。また、該移動手段7に搭載された撮像装置2と溶接ワイヤwを備えた溶接トーチTとは制御手段8に接続されており、同期して移動する。これにより、溶接作業の進展に伴って移動する溶接部位を撮像手段5により追跡して撮像することができ、該溶接部位をフレームアウトすることなく撮像することができる。
図1に示す処理装置3は、この様に様々な物体が画像として映り込んでいるフレーム画像Fkから溶融池P上に存在する酸化物Qを抽出するものである。
フレーム画像取得手段10は、撮像手段5から所定の時間幅で撮像されたフレーム画像Fkを時系列で順次取得する。
高輝度抽出手段20は、フレーム画像取得手段10により取得された各フレーム画像Fkから、1又は複数の孤立領域を抽出する。
また、該高輝度抽出手段20は、第1抽出手段20aと、第2抽出手段20bとを有している。
第1抽出手段20aは、マスク手段22と、選択手段23とを備えている。
マスク手段22は、フレーム画像Fkに撮像されるアークA及びその周囲(以下、アーク発生位置という)を後処理の処理対象から除外すべく該アーク発生位置にマスクMをかける(図3参照)。撮像装置2は、溶接トーチTと同期して移動しながらアーク溶接を撮像するので、各フレーム画像Fkに撮像されるアーク発生位置は所定の領域内に限定される。したがって、各フレーム画像Fkにおいてかかる領域一帯にマスク処理を画一的に施すこととし、これによって各フレーム画像Fkに存在するアーク発生位置を処理対象から除外する。
選択手段23は、予め設定した輝度以上の画素により画像領域を酸化物認識の判断対象として選択すると共に、該輝度よりも小さい画素により構成される画像領域を酸化物認識の判断対象から除外する。本実施形態の認識対象である酸化物Qは溶融池P上に存在し、該溶融池Pの輝度は、通常、背景となるべき母材等の輝度よりも大きい。この様な溶融池Pの特性を生かすべく、酸化物認識の判断対象とすべき画像の輝度範囲を溶融池Pの通常の輝度範囲に合わせて予め設定しておき、該輝度範囲外の輝度を有する画像を判断対象から除外することで、溶融池Pとして撮像されている画像領域を酸化物認識の判断対象として選択(抽出)する。
変換手段21は、第1抽出手段20aによりフレーム画像Fk上に抽出された画像領域に予め設定した閾値により2値化処理を施して、該フレーム画像Fkを2値画像に変換する。これによって、フレーム画像Fkは、白地となる高輝度の領域と、黒地となる低輝度の領域とにより構成される。
図3中のグラフは図中に示す一点鎖線上の輝度を示しており、該グラフに示す如く、一般的に酸化物Qの輝度は溶融池Pの輝度よりも大きい。
なお、上記2値化処理に代えて、前記所定の閾値よりも大きい輝度を有する画像に対し多値化処理を施すことも可能である。これにより、前記画像領域は、黒地からなる背景領域と、白地又はある閾値以上のグレー地からなる高輝度領域とに分割される。
除外手段25は、上記変換手段24により所定の閾値以下として示される画像を酸化物認識の判断対象から除外する。
情報検出手段30は、ラベリング手段26によりラベル付けされた各孤立領域の重心位置又は各孤立領域が外接する矩形の中心位置を求め、該重心位置又は中心位置を各孤立領域の位置情報として検出する。該位置情報はフレーム画像Fkごと区分けされて処理装置3内に配備された記憶装置(図示省略)に格納される。
また、各孤立領域の位置情報の検出に併せて、各孤立領域の面積、形状、真円度、楕円の長軸短軸比、長さ、幅、速度ベクトル等の特徴量を導出することも可能であり、これら特徴量及び位置情報はデータセットとして記憶装置に記録される。
次に、図1及び図2を参照して本実施形態の酸化物認識装置1の動作について説明する。
先ず、撮像装置2で撮像されたフレーム画像Fkが順次処理装置3に出力される。
フレーム画像取得手段10は、撮像装置2のフレームメモリに1フレーム画像Fkを取得する命令を発行し、該フレーム画像Fkを記憶装置の“Image[n]”に格納する(ステップS1)。
その後、第2抽出手段20bにより当該画像領域に2値化処理を施し(ステップS4)、当該領域を黒地の背景領域と白地の孤立領域とに区分する(ステップS4)。
その後、該白地の孤立領域を対象に、ラベリング手段26によりID番号が割り当てられる(ステップS6)。この様な第2抽出手段20bによる処理により、フレーム画像Fkから溶融池Pを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段30により検出し、各位置情報を記憶装置の“selected[n]”に格納する(ステップS7)。
本実施の形態によれば、撮像手段5により撮像されたフレーム画像Fkから溶融池P上の酸化物Qのみが認識されるものとなる。この結果、一のフレーム画像Fkに上述の如き処理を施すことにより、該フレーム画像Fkを撮像した瞬間におけるアーク溶接状況での個々の酸化物Qの発生状況が定量的に把握されることとなる。
[第2実施形態]
図4〜図6は本発明に係る第2実施形態を示している。本実施形態においては、撮像装置2の光軸上にバンドパスフィルタ9を配備した構成及び処理装置3が連続性判断手段40及び酸化物認識手段50を有している構成が上記第1実施形態と異なるものの、他の構成は第1実施形態と同じであるので、第1実施形態と同じ符号を付してその説明を省略する。
これにより、所定の輝度範囲又は色温度を有する撮像対象物のみがバンドパスフィルタ9を介して撮像される。この結果、通常きわめて高輝度なアーク光を発散するアーク発生位置及びその周辺であっても、アーク光の輝度を低減させた状態でアーク発生位置及びその周辺の画像をフレーム画像Fkとして取得することができ、該アーク発生位置の状況が撮像手段52により明瞭に撮像されることとなる。
複数の連続するフレーム画像Fkについてフレーム画像取得手段10から情報検出手段30までの処理を行った後、連続性判断手段40では、各フレーム画像Fk間の各孤立領域の位置情報(及び特徴量)に基づいて、連続するフレーム画像F1、F2、…Fk-1、Fk、Fk+1、…Fn間における孤立領域の連続性の判断を行う。
また、連続性判断手段40は、図6に示す如く、一度の処理につき、連続する3つのフレーム画像Fk、Fk+1、Fk+2を判断対象とする。
第1判断手段41は、第1フレーム画像Fkと第2フレーム画像Fk+1の各孤立領域の位置情報に基づいて、これら第1及び第2フレーム画像Fk、Fk+1間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。かかる判断は、フレーム画像Fk、Fk+1間での位置情報の近傍性や方向性等により判断される。
第2判断手段42は、第2フレーム画像Fk+1と第3フレーム画像Fk+2の各孤立領域の位置情報に基づいて、これら第2及び第3フレーム画像Fk+1、Fk+2間において連続性ありと判断される孤立領域の組合せがあるか否かを判断する。このとき、第2フレーム画像Fk+1の孤立領域の位置情報としては、第1判断手段41によりマークを付けた位置情報q2のみを判断対象とすれば良い。かかるマーク付けした位置情報q1、q2に対し、第3フレーム画像Fk+2との間で連続性を有する位置情報の組合せがあるか否かを判断する。
酸化物認識手段50は、上記連続性判断手段40にて連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した酸化物Qとして認識すると共に、連続性なしと判断される孤立領域をノイズDとして認識する。
先ず、撮像装置2で撮像されたフレーム画像Fが順次処理装置3に出力される。
フレーム画像取得手段10は、撮像装置2のフレームメモリに1フレーム画像Fkを取得する命令を発行し、該フレーム画像Fを記憶装置の“Image[n]”に格納する(ステップS1)。
高輝度抽出手段20は、フレーム画像取得手段10により取得されたフレーム画像Fに対し、第1抽出手段20aにてマスク処理(ステップS2)と選択処理(ステップS3)を行って、所定の輝度範囲を有する画像領域をフレーム画像から抽出する。この様な第1抽出手段20aによる処理により、フレーム画像Fkから溶融池Pを示す画像が抽出されるのである。
その後、除外手段23により背景領域を検出対象から除外する(ステップS5)。
その後、該白地の孤立領域を対象に、ラベリング手段26によりID番号が割り当てられる(ステップS6)。この様な第2抽出手段20bによる処理により、フレーム画像Fkから溶融池Pを示す画像が孤立領域として抽出されるのである。
その後、該ラベリングされた各孤立領域の重心位置又は外接矩形の中心位置等の位置情報を情報検出手段30により検出し、各位置情報を記憶装置の“selected[n]”に格納する(ステップS7)。
また、所定の撮像時間の間に撮像した全フレーム画像Fkに処理を施すことにより、当該撮像時間内に発生した酸化物Qの発生量を正確に計数することができる。
また、上記酸化物Qの認識において、孤立領域の位置情報だけでなく該位置情報とデータセットとして抽出される特徴量を判断の対象とすることにより、より正確に酸化物Qが認識される。また、この様に特徴量を抽出しておくことにより、各酸化物Qの大きさや輝度等も把握することができる。この場合、認識された複数の酸化物Qを様々な特徴量を指標として分類することができ、酸化物Qの性状把握に効果的である。
[第3実施形態]
図7〜図9は本発明に係る第3実施形態を示している。本発明の第3実施形態の酸化物認識装置13は、第2実施形態の連続性判断手段40の第1判断手段41として、領域形成手段46と、領域設定手段47と、領域判断手段48と、連続性認定手段49とを有している。同様に、第2判断手段42として、領域形成手段46と、領域設定手段47と、領域判断手段48と、位置連続認定手段49とを有している。
領域設定手段47は、図9に示す如く、該半径領域Ekを次のフレーム画像Fk+1にプロット(領域設定)する(ステップS832)。また、領域判断手段48は、該半径領域Ek内に当該フレーム画像Fk+1の孤立領域の位置情報qk+1が包含されるか否か判断する(ステップS833)。
本実施の形態においては、第1判断手段41及び第2判断手段42において上述の如き方法を用いて第1フレーム画像Fkと第2フレーム画像Fk+1、第2フレーム画像Fk+1と第3フレーム画像Fk+2の間での孤立領域の連続性を判断した後、連続性認定手段48により該連続性を認定し、酸化物認識手段50にて連続性ありと判断される一連の孤立領域群を同一の酸化物Qと認識し、処理を終了する。
酸化物Qの移動速度は、撮像装置2により撮像される撮像対象にあって著しく速いものであり、該酸化物Qを上述の如き高速度カメラからなる撮像装置2によって撮像することにより、各フレーム画像Fkにて酸化物Qが一定の領域を有する孤立領域として撮像されると共に、連続するフレーム画像Fk、Fk+1間において同一の酸化物Qを示すこととなる孤立領域の間隔はきわめて小さなもの(他の孤立領域との間隔に比して、最小)となるのである。
また、設定された半径領域内での位置情報の有無を判断するものであるため、当該半径領域のみを処理対象とすることができ、処理速度の向上も図られる。
[第4実施形態]
図10〜図14は本発明に係る第4実施形態を示している。
比較手段61は、図12に示す如く、一のフレーム画像Fkにて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像Fk+1の孤立領域の位置情報及び特徴量とを比較する。
また、比較手段61は、図14に示す如く、一のフレーム画像Fkにて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像Fk+1の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較することも可能である。
そして、分離判断手段63は、比較手段61による比較結果から次フレーム画像Fk+1のこれら二以上の孤立領域を前記一のフレーム画像Fkの一の孤立領域を分離したものと判断する。
本実施形態は、酸化物Qのこの様な特性に着眼したものであって、孤立領域の結合を結合判断手段62により判断する方法としては、先ず、領域形成手段46により、高輝度抽出手段20により抽出された図12に示すフレーム画像Fkの孤立領域の位置情報(例えば重心)qk、ql中心とした半径領域Ek、Elを検索対象領域として設定する(ステップS8411)。
該半径領域Ek、El内に位置情報qk+1が存在しない場合には、これら位置情報間に連続性なしと認定する(ステップS8414)。
該半径領域Ek、El内に位置情報qk+1が存在する場合には、これらの位置情報qk、qlとqk+1の特徴量を比較手段61により比較し(ステップS8415)、これら位置情報に係る孤立領域の関連性について判断する(ステップS8416)。当該比較すべき特徴量としては、大きさ、速度ベクトル、輝度等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報qk+1に係る孤立領域は前フレーム画像の位置情報qk、qlに係る孤立領域を結合して形成されたものであると判断する(ステップS8417)。
その後、上記第2の実施形態と同様に、スパッタ認識手段50にて該一連の孤立領域群を同一の酸化物Qと認識し、処理を終了する。
また、孤立領域の分離を分離判断手段63により判断する方法としては、先ず、領域形成手段46により、高輝度抽出手段20により抽出された図14に示すフレーム画像Fkの孤立領域の位置情報(例えば重心)qk中心とした半径領域Ekを検索対象領域として設定する(ステップS8421)。
該半径領域Ek内に位置情報qk+1、ql+1が存在しない場合には、これら位置情報間に連続性なしと認定する(ステップS8424)。
該半径領域Ek内に位置情報qk+1、ql+1が存在する場合には、これらの位置情報qkとqk+1、ql+1の特徴量を比較手段61により比較し(ステップS8425)、これら位置情報に係る孤立領域の関連性について判断する(ステップS8426)。当該比較すべき特徴量としては、大きさ、輝度、速度ベクトル等が挙げられる。そして、これら特徴量に関連ありと判断される場合には、位置情報qk+1、ql+1に係る孤立領域は前フレーム画像の位置情報qkに係る孤立領域から分離して形成されたものであると判断する(ステップS8427)。
その後、上記第2の実施形態と同様に、酸化物認識手段50にて該一連の孤立領域群を同一の酸化物Qと認識し、処理を終了する。
本実施形態によれば、一のフレーム画像Fkと次フレーム画像Fk+1とを比較判断することにより複数の酸化物Qの結合や分離を判断することができ、より実情に即した酸化物Qの認識を可能とする。
[第5実施形態]
図15〜図17は本発明に係る第5実施形態を示している。
軌跡判断手段71は、高輝度抽出手段20を経て情報検出手段30により抽出された各フレーム画像Fkの孤立領域の位置情報に基づいて軌跡を形成する。
具体的には、図16に示す如く、先ず、高輝度抽出手段20により抽出された各フレーム画像Fkの孤立領域の位置情報を仮想のフレーム画像Fvにプロットする(図17参照)(ステップS851)。このとき、各孤立領域は、フレーム画像Fkごとに階層分け(区分け)をしておく。
図17に示す如く、これらの条件を満たす軌跡を形成できた場合には、該軌跡を形成する一連の位置情報に連続性ありとして連続性認定手段72により認定し、抽出する(ステップS853)。一方、この様な軌跡を描くことができない孤立領域群は、連続性なしとして認定される(ステップS854)。
本実施の形態によれば、アーク発生位置から延びる一の軌跡を描く一連の孤立領域群が一の酸化物Qと判断され、より正確に酸化物Qが認識されることとなる。
なお、図17に2点鎖線で示すウインドU1を設定し、該ウインドU1を一側から他側に向けて通過する軌跡を軌跡判断手段71により抽出し、連続性認定手段72により認定して抽出することも可能である。また、アーク発生位置を中心に半径RのウインドU2を設定することも可能であり、該ウインドU2の中央付近から外周に向けて形成される軌跡を軌跡判断手段71により抽出し、連続性認定手段72により認定して抽出することも可能である。
また、連続性判断手段40においては、位置情報及び特徴量を判断対象として、画像処理におけるパターンマッチング等の探索の手法や運動物体の追跡の手法を用いることも可能である。
2 撮像装置
3 処理装置
5 撮像手段
7 移動手段
9 バンドパスフィルタ
10 フレーム画像取得手段
20 高輝度抽出手段
20A 第1抽出手段
20B 第2抽出手段
22 マスク手段
23 選択手段
24 変換手段
25 除外手段
26 ラベリング手段
30 情報検出手段
40 連続性判断手段
41 第1判断手段
42 第2判断手段
43 連続性認定手段
46 領域形成手段
47 領域設定手段
48 領域判断手段
49 連続性認定手段
50 酸化物認識手段
61 比較手段
62 結合判断手段
63 分離判断手段
71 軌跡判断手段
72 連続性認定手段
F フレーム画像
P 溶融池
P’ 溶滴
Q 酸化物
Claims (16)
- アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出する、
ことを特徴とするアーク溶接における酸化物認識方法。 - アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像し、
所定の輝度範囲の有する領域を抽出し、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出し、
該抽出された各孤立領域の位置情報及び特徴量を検出し、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断し、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する、
ことを特徴とするアーク溶接における酸化物認識方法。 - 前記連続するフレーム画像とは、少なくとも3フレームに亘り続くフレーム画像であることを特徴とする請求項2に記載のアーク溶接における酸化物認識方法。
- 前記連続性の有無の判断は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成し、
該半径領域を次のフレーム画像に設定し、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断し、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する、
ことを特徴とする請求項2又は請求項3に記載のアーク溶接における酸化物認識方法。 - 前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較して、該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断することを特徴とする請求項2乃至請求項4の何れかに記載の酸化物認識方法。 - 前記連続性の有無の判断を判断するに際し、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較して、これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断することを特徴とする請求項2乃至請求項5の何れかに記載の酸化物認識方法。 - 前記各フレーム画像から1又は複数の孤立領域を抽出するに際し、
各フレーム画像のアーク発生位置にマスク処理を施すことを特徴とする請求項1乃至請求項6の何れかに記載のアーク溶接における酸化物認識方法。 - 前記アーク溶接中に溶融金属及びその周囲を複数の連続するフレーム画像に撮像するに際し、バンドパスフィルタを介して前記溶融金属及びその周囲を撮像することを特徴とする請求項1乃至請求項7の何れかに記載の酸化物認識方法。
- アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第1抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出する第2抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
を有することを特徴とするアーク溶接における酸化物認識装置。 - アーク溶接中に溶融金属及びその周囲を複数のフレーム画像に撮像する撮像手段と、
所定の輝度範囲の有する領域を抽出する第1抽出手段と、
該領域内であって且つ予め規定した閾値よりも大きい輝度を有する1又は複数の孤立領域を抽出する第2抽出手段と、
該抽出された各孤立領域の位置情報及び特徴量を検出する情報検出手段と、
該検出された各孤立領域の位置情報と特徴量とに基づいて連続するフレーム画像間における孤立領域の連続性の有無を判断する連続性判断手段と、
連続性ありと判断される一連の孤立領域群をアーク溶接に伴い発生した一の酸化物として認識する酸化物認識手段と、
を有することを特徴とするアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、少なくとも3フレームに亘り続くフレーム画像間で孤立領域の連続性を判断するものであることを特徴とする請求項10に記載のアーク溶接における酸化物認識装置。
- 前記連続性判断手段は、
一のフレーム画像にて検出された孤立領域の位置情報を中心とする所定の半径領域を形成する領域形成手段と、
該半径領域を次のフレーム画像に設定する領域設定手段と、
該半径領域内に当該次のフレーム画像における孤立領域の位置情報が存在するか否かを判断する領域判断手段と、
存在すると判断したときには前記一のフレーム画像の孤立領域と前記次のフレーム画像の孤立領域との間に連続性ありと認定する連続性認定手段と、
を有していることを特徴とする請求項10又は請求項11に記載のアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、
一のフレーム画像にて検出された少なくとも二以上の孤立領域の位置情報及び特徴量と次フレーム画像の孤立領域の位置情報及び特徴量とを比較する比較手段と、
該孤立領域を前記一のフレーム画像の二以上の孤立領域を結合したものと判断する結合判断手段と、
を有していることを特徴とする請求項10乃至請求項12の何れかに記載のアーク溶接における酸化物認識装置。 - 前記連続性判断手段は、
一のフレーム画像にて検出された一の孤立領域の位置情報及び特徴量と次フレーム画像の少なくとも二以上の孤立領域の位置情報及び特徴量とを比較する比較手段と、
これら二以上の孤立領域を前記一のフレーム画像の一の孤立領域を分離したものと判断する分離判断手段と、
を有していることを特徴とする請求項10乃至請求項13の何れかに記載のアーク溶接における酸化物認識装置。 - 前記抽出手段は、
各フレーム画像のアーク発生位置にマスク処理を施すマスク手段を有していることを特徴とする請求項9乃至請求項14の何れかに記載のアーク溶接における酸化物認識装置。 - 前記撮像手段は、光軸上にバンドパスフィルタを備えていることを特徴とする請求項9乃至請求項15の何れかに記載のアーク溶接における酸化物認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007079152A JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007079152A JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2008238187A true JP2008238187A (ja) | 2008-10-09 |
JP4860523B2 JP4860523B2 (ja) | 2012-01-25 |
Family
ID=39910150
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007079152A Expired - Fee Related JP4860523B2 (ja) | 2007-03-26 | 2007-03-26 | アーク溶接における酸化物認識方法及び酸化物認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4860523B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057830A1 (ja) * | 2007-11-02 | 2009-05-07 | Nippon Steel Corporation | 溶接状態監視装置及び方法 |
JP2017060968A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社Nishihara | 画像処理装置と画像処理方法及びレーザまたはtig溶接装置とレーザまたはtig溶接装置の制御方法 |
JP7491876B2 (ja) | 2021-07-19 | 2024-05-28 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06126475A (ja) * | 1992-10-16 | 1994-05-10 | Toyota Motor Corp | レーザクラッド加工の異常判定方法 |
JPH06190558A (ja) * | 1992-12-24 | 1994-07-12 | Mitsubishi Heavy Ind Ltd | Tig溶接のワイヤ添加位置検出装置 |
JPH11226766A (ja) * | 1998-02-17 | 1999-08-24 | Nkk Corp | レーザ溶接位置制御方法 |
JP2004042067A (ja) * | 2002-07-09 | 2004-02-12 | Kawasaki Heavy Ind Ltd | アーク形状監視による自動開先倣い溶接装置および方法 |
JP2004184133A (ja) * | 2002-11-29 | 2004-07-02 | Chuo Motor Wheel Co Ltd | 自動車用ホイールリムの溶接部検出方法 |
JP2008126274A (ja) * | 2006-11-21 | 2008-06-05 | Kobe Steel Ltd | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 |
-
2007
- 2007-03-26 JP JP2007079152A patent/JP4860523B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH06126475A (ja) * | 1992-10-16 | 1994-05-10 | Toyota Motor Corp | レーザクラッド加工の異常判定方法 |
JPH06190558A (ja) * | 1992-12-24 | 1994-07-12 | Mitsubishi Heavy Ind Ltd | Tig溶接のワイヤ添加位置検出装置 |
JPH11226766A (ja) * | 1998-02-17 | 1999-08-24 | Nkk Corp | レーザ溶接位置制御方法 |
JP2004042067A (ja) * | 2002-07-09 | 2004-02-12 | Kawasaki Heavy Ind Ltd | アーク形状監視による自動開先倣い溶接装置および方法 |
JP2004184133A (ja) * | 2002-11-29 | 2004-07-02 | Chuo Motor Wheel Co Ltd | 自動車用ホイールリムの溶接部検出方法 |
JP2008126274A (ja) * | 2006-11-21 | 2008-06-05 | Kobe Steel Ltd | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2009057830A1 (ja) * | 2007-11-02 | 2009-05-07 | Nippon Steel Corporation | 溶接状態監視装置及び方法 |
US8406504B2 (en) | 2007-11-02 | 2013-03-26 | Nippon Steel & Sumitomo Metal Corporation | System and method for monitoring of welding state |
JP2017060968A (ja) * | 2015-09-25 | 2017-03-30 | 株式会社Nishihara | 画像処理装置と画像処理方法及びレーザまたはtig溶接装置とレーザまたはtig溶接装置の制御方法 |
JP7491876B2 (ja) | 2021-07-19 | 2024-05-28 | 株式会社神戸製鋼所 | 溶接現象の挙動の計測方法、計測装置、溶接システム、およびプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP4860523B2 (ja) | 2012-01-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4516516B2 (ja) | 人物検出装置、人物検出方法及び人物検出プログラム | |
US8570371B2 (en) | Object tracking apparatus, object tracking method, and control program | |
JP2008126274A (ja) | アーク溶接におけるスパッタ認識方法及びスパッタ認識装置 | |
JP3880759B2 (ja) | 移動物体検出方法 | |
JP2007334751A (ja) | 車両周辺監視装置 | |
JP2004288156A (ja) | 眼の虹彩イメージの定義の評価 | |
JP6226368B2 (ja) | 車両監視装置、および車両監視方法 | |
JP4874150B2 (ja) | 移動物体追跡装置 | |
US9412039B2 (en) | Blur detection system for night scene images | |
Leng et al. | Vision-based lane departure detection system in urban traffic scenes | |
US20170151943A1 (en) | Method, apparatus, and computer program product for obtaining object | |
US9558410B2 (en) | Road environment recognizing apparatus | |
JP4860523B2 (ja) | アーク溶接における酸化物認識方法及び酸化物認識装置 | |
JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
JP2009295112A (ja) | 物体認識装置 | |
JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
JP4302801B2 (ja) | 物体追跡方法及び物体追跡装置 | |
JP5128454B2 (ja) | 瞼検出装置、瞼検出方法及びプログラム | |
WO2021181715A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
KR102201168B1 (ko) | 오버헤드 카메라를 이용한 사람 추적 방법 | |
JP6343862B2 (ja) | 物体認識装置、物体認識方法、および物体認識プログラム | |
JP2010244301A (ja) | 移動方向検出装置、移動方向検出方法及びプログラム | |
JP4843368B2 (ja) | 電線異常検出方法、電線異常検出装置及び電線異常検出プログラム | |
JP2007272785A (ja) | 画像処理式車両検出装置及び画像処理式車両検出方法 | |
JP2015215235A (ja) | 物体検出装置及び物体検出方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20090929 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110926 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20111004 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111101 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111102 |
|
R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141111 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |