JP2014014855A - 画像処理方法及び画像処理システム - Google Patents

Abstract

【課題】ビーム系接合のビード全体の形状を正確に認識することができ、かつビードの形状を認識するための画像処理を簡略化できる画像処理方法及び画像処理システムを提供する。
【解決手段】ビーム系接合時に残熱発光が生じている状態の溶接領域を撮影かつ取り込んだ画像に基づいて、溶接領域に形成されるビードの形状を認識する画像処理方法であって、ビードに対応する画像内のビード領域の幅中心に沿った線として定義される背骨線を、予め定められた接合用ビーム中心の移動軌跡に基づいて算出する画像処理方法。その方法を用いた画像処理システム。
【選択図】図７

Description

本発明は、ビーム系接合時に残熱発光が生じている状態の溶接領域をモニタ部によって撮影かつ取り込んだ画像に基づいて、溶接領域に形成されるビードの形状を認識する画像処理方法に関し、かつその方法を用いた画像処理システムに関する。

従来より、特許文献１に開示されるように、レーザ溶接中に発光が生じている溶接領域を、カメラ、光センサ等によって撮影し、かつ撮影した溶接領域の画像を取り込み、取り込んだ画像に基づいて、溶接領域のビードの形状を認識する画像処理が行われている。しかしながら、特許文献１の画像処理では、レーザ溶接中に発生するプラズマ光、スパッタ粒子等の影響によって、溶接領域のビードの形状を正確に認識することが難しくなっており、このことが問題になっている。

そこで、特許文献２に開示されるように、プラズマ光、スパッタ粒子等の影響を避けるべく、レーザ溶接直後に金属の発熱が残っている短い時間内にビードの接合終端部分に生じる熱発光（以下、「残熱発光」という）をカメラによって撮影し、かつ撮影した残熱発光の画像を取り込む溶接画像処理が提案されている。この画像処理では、取り込んだ残熱発光の画像に基づいてビードの接合終端部分の形状を認識している。また、この画像処理では、取り込んだ画像にて不連続に分離したビードの形状が認識された場合、及びビードの溶接終端に凹形状が認識された場合に、穴欠陥が発生したと判定している。

特開２００６− ４３７４１号公報 特開２０１２− ４５６１０号公報

しかしながら、特許文献２の画像処理では、レーザ溶接直後に残熱発光が生じているビードの接合終端部分の形状を正確に認識できる一方で、この画像処理では、ビードの接合始端部分、並びに接合始端部分及び接合終端部分間に位置するビードの接合中間部分における残熱発光がレーザ溶接直後には冷えて弱くなっているために、ビードの接合始端部分の形状、及びビードの接合中間部分の形状を正確に認識することが困難になっている。そのため、レーザ溶接のビード全体の形状を正確に認識することが望まれている。その一方で、ビードの形状を認識する画像処理を簡略化することもまた望まれている。

本発明はこのような実状に鑑みてなされたものであって、その目的は、ビード全体の形状を正確に認識することができ、かつビードの形状を認識するための画像処理を簡略化できる画像処理方法及び画像処理システムを提供することにある。

課題を解決するために、本発明の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接領域を撮影かつ取り込んだ画像に基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、前記ビードに対応する前記画像内のビード領域の幅中心に沿った線として定義される背骨線を、予め定められた接合用ビーム中心の移動軌跡によって算出する。

本発明の一態様に係る画像処理方法では、前記背骨線が、該背骨線上で間隔を空けて配置される複数の点のうち隣接する点同士を直線で結んだ折れ線によって定義される。

本発明の一態様に係る画像処理方法では、前記複数の点の数がＮ＋１個になっており、各点の座標が（Ｘ_Ｊ，Ｙ_Ｊ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）になっており、かつ前記隣接する点同士を結んだ直線がＮ本である場合に、前記背骨線が後述する式（３）によって計算され、式（３）のＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びｔ_Ｊは、それぞれ後述する式（４）〜式（８）によって定義される。

課題を解決するために、本発明の一態様に係る画像処理システムは、上述の画像処理方法を用いる。

本発明によれば、以下の効果を得ることができる。本発明の一態様に係る画像処理方法は、ビーム系接合時に残熱発光が生じている状態の溶接領域を撮影かつ取り込んだ画像に基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、前記ビードに対応する前記画像内のビード領域の幅中心に沿った線として定義される背骨線を、予め定められた接合用ビーム中心の移動軌跡によって算出する。このような接合用ビーム中心の移動軌跡は、ビード領域の幅中心に沿った線に一致する傾向にあるので、プラズマ光及びスパッタ粒子の影響を受けずに、ビード領域の位置及び形状情報として用いられる背骨線を正確に定義できる。そのため、正確な背骨線に基づいて、ビードの接合終端部分に加えて、プラズマ光及びスパッタ粒子の影響を受けるビードの接合始端部分及び接合中間部分を正確に認識できて、ビード全体の形状を正確に認識できる。また、背骨線が予め定められた接合用ビーム中心の移動軌跡に基づいて直接的に算出されるので、ビードの形状を認識するための画像処理を簡略化できる。

本発明の一態様に係る画像処理方法では、前記背骨線が、該背骨線上で間隔を空けて配置される複数の点のうち隣接する点同士を直線で結んだ折れ線によって定義される。また、本発明の一態様に係る画像処理方法では、前記複数の点の数がＮ＋１個になっており、各点の座標が（Ｘ_Ｊ，Ｙ_Ｊ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）になっており、かつ前記隣接する点同士を結んだ直線がＮ本である場合に、前記背骨線が後述する式（３）によって計算され、式（３）のＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びｔ_Ｊは、それぞれ後述する式（４）〜式（８）によって定義される。そのため、背骨線が簡単な折れ線によって定義されて、ビードの形状を認識するための画像処理を簡略化できる。

課題を解決するために、本発明の一態様に係る画像処理システムは、上述の画像処理方法を用いる。そのため、上述のようにビード全体の形状を正確に認識することができ、かつビードの形状を認識するための画像処理を簡略化できる。

溶接領域に形成されるビードを示す模式図である。 本発明の第１実施形態に係る画像処理システムを示すブロック図である。 本発明の第１実施形態における画像取り込み装置のレーザ照射部及びモニタ部を示す模式図である。 黒体放射の輻射強度と波長との関係を示す図である。 シリコン系の半導体から作製される撮像素子の相対感度と撮像素子に入力される波長との関係を示す図である。 本発明の第１実施形態における溶接直後の時間経過と残熱発光の輝度との関係を示す図である。 本発明の第１実施形態における背骨点及び背骨線を表示した画像の一例を示す模式図である。 本発明の第１実施形態において、実際のビードに対応してビード領域を表示した画像の一例を示す模式図である。 本発明の第１実施形態における背骨点、輪郭点、背骨線、及び輪郭線を表示した画像の一例を示す模式図である。 本発明の第１実施形態における画像処理方法の概要を説明するフローチャートである。 図１０のフローチャートにおける背骨線事前記録方法を説明するフローチャートである。

［第１実施形態］
本発明の第１実施形態に係る画像処理システムについて説明する。

最初に、図１を参照して、画像処理を実施する対象である溶接部材Ｍの溶接領域Ｊに形成されるビードｍについて説明する。略円弧状に形成されたビードｍは、レーザ溶接の開始地点に形成される接合始端部分（以下、「始端部分」という）ｍ１と、レーザ溶接の溶接終了地点に形成される接合終端部分（以下、「終端部分」という）ｍ２と、始端部分ｍ１及び終端部分ｍ２間に形成される接合中間部分（以下、「中間部分」という）ｍ３とを有している。本実施形態では、一例として、ビードｍは略円弧状に形成されているが、直線状、Ｌ字状、波状等のようなその他の形状であってもよい。

図２を参照すると、画像処理システム１は画像取り込み装置２を有しており、この画像取り込み装置２は、溶接用のレーザ光Ｌ１を溶接部材Ｍの溶接領域Ｊに照射可能とし、レーザ溶接時の残熱発光が生じている溶接領域Ｊを撮影し、かつ撮影した溶接領域Ｊの画像を取り込むように構成されている。また、画像処理システム１は、画像取り込み装置２に接続される画像処理装置３を有している。画像処理装置３は画像処理部４を有しており、画像処理部４は、画像取り込み装置２により取り込んだ溶接領域Ｊの画像に基づいてビードｍの形状を認識するようになっている。画像処理装置３はビード形状判定部５を有しており、ビード形状判定部５は、画像処理部４により認識されたビードｍの形状に基づいて、ビードｍに発生する欠陥を判定するようになっている。

ここで、図２及び図３を参照して、画像取り込み装置２の詳細を説明する。図２を参照すると、画像取り込み装置２はレーザ照射部６を有しており、このレーザ照射部６は、溶接部材Ｍの溶接領域Ｊに溶接用のレーザ光Ｌ１を照射可能とするように構成されている。画像取り込み装置２はモニタ部７を有しており、このモニタ部７はレーザを照射した溶接領域Ｊの画像を連続的に撮影するように構成されている。画像取り込み装置２は記憶部８を有しており、この記憶部８はモニタ部７により撮影した画像を連続的に記憶するように構成されている。画像取り込み装置２は画像取り込み部９を有しており、この画像取り込み部９は、記憶部８に記憶された画像を取り込むように構成されている。

図３を参照すると、レーザ照射部６はレーザ発振器６ａを有しており、レーザ発振器６ａはレーザ光Ｌ１を発射可能とするように構成されている。レーザ照射部６は略平板状のハーフミラー６ｂを有しており、ハーフミラー６ｂは、レーザ発振器６ａから発射されたレーザ光Ｌ１の光路上に配置されている。このハーフミラー６ｂの表面６ｂ１及び裏面６ｂ２は、レーザ発振器６ａから発射されるレーザ光Ｌ１の光路に対して、所定の角度θ１傾斜している。一例として、所定の角度θ１は４５度であると好ましい。レーザ照射部６は溶接用集光レンズ６ｃを有しており、溶接用集光レンズ６ｃは、ハーフミラー６ｂを通過したレーザ光Ｌ１の光路上に配置され、かつこのレーザ光Ｌ１を溶接部材Ｍ上に集光するように構成されている。このようなレーザ照射部６においては、レーザ発振器６ａから発射されたレーザ光Ｌ１が、ハーフミラー６ｂを通過し、かつ溶接用集光レンズ６ｃによって集光された後に、溶接部材Ｍに照射されることとなる。また、溶接部材Ｍに照射されたレーザ光Ｌ１の一部は反射して、この反射した光（以下、「モニタリング光」という）Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られることとなる。

モニタ部７は略平板状のミラー７ａを有しており、ミラー７ａは、レーザ照射部６のハーフミラー６ｃによって角度を変えられたモニタリング光Ｌ２の光路上に配置され、ミラー７ａの反射面７ａ１は、このモニタリング光Ｌ２の光路に対して、所定の角度θ２傾斜している。モニタ部７は倍率調整レンズ７ｂを有しており、倍率調整レンズ７ｂは、撮影倍率を調整するように構成されている。この倍率調整レンズ７ｂは、ミラー７ａにより反射されたモニタリング光Ｌ２の光路上に配置されている。モニタ部７は、後述するシリコン系の半導体から作製された撮像素子（以下、「Ｓｉ系撮像素子」という）７ｆに対応するロングパスフィルタ（以下、「Ｓｉ用ロングパスフィルタ」という）７ｃを有しており、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍ以上の波長範囲で光を透過するように構成されている。このＳｉ用ロングパスフィルタ７ｃは、倍率調整レンズ７ｂを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７はＮＤフィルタ７ｄを有しており、ＮＤフィルタ７ｄは、それを通過する光の量を減少するように構成されている。このＮＤフィルタ７ｄは、Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２の光路上に配置されている。モニタ部７は撮像用集光レンズ７ｅを有しており、撮像用集光レンズ７ｅは、ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２の光路上に配置され、かつこのモニタリング光Ｌ２を、後述するＳｉ系撮像素子７ｆの撮像面上に集光するように構成されている。モニタ部７はＳｉ系撮像素子７ｆを有しており、Ｓｉ系撮像素子７ｆは、モニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、Ｓｉ系撮像素子７ｆは、２００ｎｍ〜１１００ｎｍの波長範囲において光に対する感度を有している。モニタ部７はアンプ７ｇを有しており、アンプ７ｇは、Ｓｉ系撮像素子７ｆから送られるアナログ電気信号を増幅するように構成されている。モニタ部７はＡ／Ｄ変換器７ｈを有しており、Ａ／Ｄ変換器７ｈはアンプ７ｇにより増幅されたアナログ電気信号をデジタル電気信号に変換するように構成されている。このＡ／Ｄ変換器７ｈにより変換されたデジタル電気信号が記憶部８に送られることとなる。なお、モニタ部７のフレームレートは、５０Ｈｚ以上かつ１０００Ｈｚ以下になっている。

Ｓｉ系撮像素子７ｆの撮像面の条件について説明する。Ｓｉ系撮像素子７ｆの撮像面がビードｍ全体を配置した領域に対して著しく大きい場合、画像上で表示されるビードｍが少ないピクセル数によって表されるので、ビードｍの形状を正確に認識できなくなる。そのため、Ｓｉ系撮像素子７ｆの撮像面が略正方形状に形成されていると想定した場合、撮像面の一辺の長さをｄとし、溶接用集光レンズ６ｃの焦点距離をｆ１とし、撮像用集光レンズ７ｅの焦点距離をｆ２とし、倍率調整レンズ７ｂの倍率をｓとし、ビードｍ全体を配置した領域の最大長さをｌとすると、Ｓｉ系撮像素子７ｆの撮像面の一辺の長さは、次の式（１）の条件を満たすと好ましい。

Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲について説明する。レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度と波長との関係は、黒体放射の式を用いて絶対温度を１２００Ｋ、１０００Ｋ、及び８００Ｋとして計算した場合、図４に示したグラフのようになっている。図４のグラフでは、絶対温度を１２００Ｋとした場合の計算結果を実線Ａ１で示し、絶対温度を１０００Ｋとした場合の計算結果を破線Ａ２で示し、かつ絶対温度を８００Ｋとした場合の計算結果を一点鎖線Ａ３で示している。図４のグラフを参照すると、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。

また、Ｓｉ系撮像素子７ｆの相対感度と、Ｓｉ系撮像素子７ｆに入力される光の波長との関係は、典型的には、図５に示すようになっている。図５に示すように、Ｓｉ系撮像素子７ｆの感度は、６００ｎｍ以上の波長範囲で低下しており、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲において、低い強度の光を感知し難く、かつ高い強度の光を感知する傾向にある。

そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、波長のバラツキとを考慮して、Ｓｉ用ロングパスフィルタ７ｃを透過する光の波長範囲は、８００ｎｍ以上に定められている。そのため、Ｓｉ系撮像素子７ｆには、８００ｎｍ以上の波長範囲で光が送られて、Ｓｉ系撮像素子７ｆは、入力される光を８００ｎｍ〜１１００ｎｍの波長範囲で感知することとなる。このような波長範囲では、Ｓｉ系撮像素子７ｆは、低い輻射強度を有する遷移発光の成分を含んだプラズマ光を感知し難い一方で、高い輻射強度を有する黒体放射による発光の成分を多く含む残熱発光を感知し易くなっている。なお、Ｓｉ用ロングパスフィルタ７ｃは、８００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、Ｓｉ系撮像素子７ｆは、８００ｎｍ〜１１００ｎｍの波長範囲で光を感知できればよいので、例えば、Ｓｉ用ロングパスフィルタ７ｃが、８００ｎｍ、９００ｎｍ、又は１０００ｎｍより小さな波長の光を遮断するように構成されていてもよい。

また、モニタ部７のフレームレートの範囲について説明する。溶接開始付近では発生するプラズマが大きな領域を占めているので、溶接を既に終えているビードｍを観察できないことが多い。そのため、溶接開始から一定時間経過後に、記憶部８に画像を蓄積することが有効である。また、ビードｍ全体を画像処理の対象とするためには、連続して取得した複数の画像の一部を用いればよいので、このような複数の画像の一部を取得すればよい。また、画像処理に用いる画像は、完全に連続している必要はない。ビードｍの終端部分ｍ２においては、高速で複数の画像を撮影しない場合に、金属が冷えるので、画像の撮影は高サンプリングにする必要がある。その一方で、溶接開始から溶接終了までの間の途中観察において、高サンプリングで画像の撮影をした場合、ほとんど変化がない複数の画像が取得されることとなる。このような複数の画像において同様の特性を計算することは無駄になるので、モニタ部７のフレームレートは、計算処理時間の短縮、記憶部８の容量の節約等を考慮して定めることが好ましい。そこで、フレームレートの上限値が高くなるに連れて、撮影される画像の数量が増加することによって、ビードｍの形状を認識する精度が高くなる一方で、１秒間に撮影される画像の数量が１０００フレームより大きい場合（すなわち、フレームレートが１０００Ｈｚより大きい場合）、画像処理の計算負荷が増加することとなることを考慮して、フレームレートの上限値は１０００Ｈｚに定められている。

その一方で、フレームレートの下限値が低い場合、１つの画像を撮影するタイミングから次の画像を撮影するタイミングまでの間に、撮影しようとするビードｍの溶接領域Ｊが移動して、モニタ部７により捕らえられた撮影範囲から外れるおそれがある。この場合、ビードｍを正確に撮影することができなくなる。そこで、フレームレートの下限値は、次のような条件を満たす必要がある。

フレームレートをｆとし、溶接に用いられるレーザ光Ｌ１の移動速度をＶｍとし、かつ撮影範囲の中心から撮影範囲内と撮影範囲外との間の境界までの最短距離をＲｍとした場合、フレームレートは、次の式（２）の条件を満たすと好ましい。

典型的な条件において、Ｖｍは０．１３３ｍ／ｓｅｃ（８ｍ／ｍｉｎ）になり、かつＲｍは０．００２ｍ（２ｍｍ）になるので、式（２）よりｆを約６７Ｈｚより大きくする必要がある。さらに、レーザ光Ｌ１の移動速度のバラツキを考慮して、フレームレートの下限値は５０Ｈｚに定められている。

図６を参照すると、画像取り込み部９は、溶接終了直後から所定の時間内に生じる残熱発光の画像を取り込むように構成されている。具体的には、画像取り込み部９は、画像の平均輝度Ｇが所定の取り込み開始（検査開始）輝度閾値ｇ１以下である場合に、画像の取り込みを開始し、予め設定された枚数の画像の撮影を終了した場合に、又は画像の平均輝度Ｇが所定の取り込み終了輝度閾値ｇ２以下である場合に、残熱発光が終了したと認識して、画像の取り込みを終了するように構成されている。

ここで、画像取り込み装置２の好ましい形態の一例を説明する。残熱発光は、溶接終了直後から数十ｍｓ（ミリ秒）間生じた後に減衰するので、溶接終了直後から約２０ｍｓ間に生じる光であると好ましい。この場合、モニタ部７には、フレームレート約５００Ｈｚ（周期２ｍｓ）の高速度カメラが用いられるとよく、約１０枚（＝２０ｍｓ÷２ｍｓ）の画像が取り込まれることとなる。また、モニタ部７には、高ダイナミックレンジカメラが用いられると好ましく、信号検出のダイナミックレンジが広く、かつ計測可能な輝度の範囲が広くなっているので、溶接中及び溶接直後の画像を撮影できる。画像取り込み部９では、画像の取り込みを開始する開始輝度閾値ｇ１が、溶接中及び溶接直後の平均輝度Ｇの中間値となっていると好ましい。画像の取り込みを終了する終了輝度閾値ｇ２は、開始輝度閾値ｇ１より小さく、かつ残熱発光を確認できない程に暗くなった状態の画像の平均輝度Ｇより大きくなっていると好ましい。

次に、図２、及び図７〜図９を参照して、画像処理装置３の画像処理部４の詳細を説明する。図２を参照すると、画像処理部４は背骨線記録手段１０を有しており、背骨線記録手段１０は、図７に示すように、溶接部材Ｍに照射されるレーザ光Ｌ１の中心の移動経路に基づいて、移動経路上で所定の間隔を空けて定められる（Ｎ＋１）個の背骨点ｑと、隣接する背骨点ｑ同士を直線で結ぶことによって定義されるＮ本の背骨線Ｑとを事前に記録するようになっている。図２を参照すると、画像処理部４はビード認識手段１１を有しており、このビード認識手段１１は、画像取り込み装置２によって取り込んだ画像に基づいて、ビード領域候補を認識するようになっている。画像処理部４はビード判別手段１２を有しており、このビード判別手段１２は、複数のビード領域候補が認識された場合に、図８に示すように複数のビード領域候補から実際のビードに対応するビード領域Ｅを選択するようになっている。なお、ビード領域Ｅは、ビードｍの始端部分ｍ１に対応する始端部分Ｅ１、ビードｍの終端部分ｍ２に対応する中間部分Ｅ２、及びビードｍの中間部分ｍ３に対応する終端部分Ｅ３を有している。再び図２を参照すると、画像処理部４は輪郭点選択手段１３を有しており、この輪郭点選択手段１３は、図９に示すように、ビード領域Ｅの輪郭線上に位置するビード領域点ｅを輪郭点ｐとして選択するようになっている。画像処理部４は輪郭線形成手段１４を有しており、図９に示すように、この輪郭線形成手段１４は、複数の輪郭点ｐに基づいて輪郭線Ｐを形成するようになっている。

図７を参照して、背骨線記録手段１０の詳細について説明する。背骨線記録手段１０では、画像取り込み部９に取り込まれた各画像において、レーザ光Ｌ１の中心の移動経路上に（Ｎ＋１）個（Ｎ＝１，２，３，・・・）の背骨点ｑを形成し、かつ隣接する背骨点ｑ同士を直線で結ぶことによってＮ本の背骨線Ｑを定義するようになっている。レーザ光Ｌ１の中心の移動軌跡は、ビード領域Ｅの幅中心に沿った線に一致する傾向にあるので、この背骨線Ｑは、ビード領域Ｅの幅中心に沿っている線と想定することができる。

図８を参照すると、背骨線Ｑは、各背骨点ｑの座標を（Ｘ_Ｊ，Ｙ_Ｊ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）と認識した場合に、下記式（３）によって定義される。

式（３）のＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びｔ_Ｊは、それぞれ下記式（４）〜式（８）によって定義される。

ビード認識手段１１の詳細について説明する。ビード認識手段１１によって認識されるビード領域候補は、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きい領域となっており、輪郭輝度閾値ｈは、ビードｍの輪郭線を識別可能とするように設定されている。なお、このビード領域Ｅは、複数のビード領域点ｅから構成されている。一例として、ビード領域点ｅは、画像上で１つ以上のピクセルにより表され、複数のビード領域点ｅは、互いに隣接して配置されるか、又はピクセル単位の間隔で配置されているとよい。

ビード判別手段１２の詳細について説明する。ビード判別手段１２は、各ビード領域候補のアスペクト比（縦横比）を計算し、このアスペクト比に基づいて、複数のビード領域候補から実際のビードｍに対応するビード領域Ｅを選択するようになっている。例えば、アスペクト比が一般的なビードｍの横長形状に対応する値より大きくなっている場合に、このようなビード領域候補が実際のビードｍに相当すると認識する設定であるとよい。実際のビードｍと、溶接時に飛散するスパッタ粒子とにそれぞれ対応するビード領域候補が認識された場合、スパッタ粒子に対応するビード領域候補は、等方的な形状に形成されるのに対して、ビードｍは横長形状に形成されることとなる。そのため、実際のビードｍに対応するビード領域Ｅが正確に判別されることとなる。さらに、スパッタ粒子に対応するビード領域候補が、等方的な形状に形成されていない場合を考慮して、ビード判別手段１２は、複数のビード領域候補が時間を前後して取り込んだ画像にて移動しているか、又は停止しているかを判定し、かつ停止しているビード領域候補が実際のビードｍに対応するビード領域Ｅであると認識するようになっている。

図９を参照して、輪郭点選択手段１３の詳細について説明する。輪郭点選択手段１３は、画像取り込み装置２によって取り込んだ画像に基づいて、ビードｍの輪郭に相当する境界に位置するビード領域点ｅを輪郭点ｐとして選択するようになっている。ビードｍの輪郭に相当する境界は、残熱発光の輝度Ｈが、ビードｍの輪郭線を識別するように設定した輪郭輝度閾値ｈより大きい明領域と、残熱発光の輝度Ｈが、輪郭輝度閾値ｈより小さい暗領域との間に位置している。すなわち、輪郭輝度閾値ｈは、ビードｍの輪郭に対応するように、ビードｍの輪郭の内側領域に対応する残熱発光の輝度Ｈより小さく、かつビードｍの輪郭の外側領域に対応する残熱発光の輝度Ｈより大きな値に設定されている。なお、一例として、輪郭輝度閾値ｈは、ビードｍの輪郭と残熱発光の輝度Ｈとの関係を予め求めておくことによって、設定されているとよい。

図９を参照して、輪郭線形成手段１４の詳細について説明する。輪郭線形成手段１４は、フィッティング関数ｆｎ１を用いて、複数の輪郭点ｐに基づく輪郭線Ｐを形成する。一例として、互いに直角に交差するＸ軸及びＹ軸を定めた場合、フィッティング関数ｆｎ１は、Ｙ＝ａＸ^２＋ｂＸ＋ｃ、又はＸ＝ａ’Ｙ^２＋ｂ’Ｙ＋ｃ’であるとよく、これらの係数ａ、ｂ及びｃ、又は係数ａ’、ｂ’及びｃ’は、フィッティング関数ｆｎ１と複数の輪郭点ｐとの距離の二乗和を最小とするように定められるとよい（最小二乗法）。さらに、フィッティング関数ｆｎ１については、Ｙ＝ａＸ^２＋ｂＸ＋ｃ、及びＸ＝ａ’Ｙ^２＋ｂ’Ｙ＋ｃ’のそれぞれの計算式に基づいて計算し、これらの内でフィッティング誤差が小さい方の計算式を選択し、この選択した計算式を用いて輪郭線Ｐを形成するとよい。なお、フィッティング関数ｆｎ１は、３次関数、４次関数等の多項式関数、指数関数、対数関数等であってもよい。また、フィッティング関数ｆｎ１は、輪郭点ｐに基づいて輪郭線Ｐを形成できれば、その他のフィッティングに用いられる関数であってもよい。例えば、フィッティング関数ｆｎ１は、背骨点ｑに基づく背骨線Ｑと同様の折れ線によって定義されてもよい。

画像処理装置３のビード形状判定部５の詳細を説明する。ビード形状判定部５は、画像処理部４により認識された輪郭線Ｐ及び背骨線Ｑ間の関係と、背骨線Ｑに沿った残熱発光の輝度の情報とに基づいて、ビードｍに発生する欠陥を判定するようになっている。

ここで、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法を説明する。最初に、画像取り込み装置２における画像取り込み方法について説明する。画像取り込み装置２のレーザ照射部６において、レーザ発振器６ａがレーザ光Ｌ１を発射する。レーザ発振器６ａから発射されたレーザ光Ｌ１は、ハーフミラー６ｂを通過し、かつ溶接用集光ミラー６ｃによって集光された後に、溶接部材Ｍの溶接領域Ｊに照射される。その後、溶接部材Ｍの溶接領域Ｊに照射されたレーザ光Ｌ１によりビードｍを形成した部分から残熱発光が出射してモニタリング光Ｌ２となる。このモニタリング光Ｌ２が、溶接用集光レンズ６ｃを通過し、かつハーフミラー６ｂによって角度を変えられた後に、モニタ部７に送られる。

画像取り込み装置２のモニタ部７において、レーザ照射部６から送られたモニタリング光Ｌ２は、ミラー７ａによって角度を変えられた後に、倍率調整レンズ７ｂに送られる。モニタリング光Ｌ２が倍率調整レンズ６ｂを通過する際、その倍率が調整される。倍率調整レンズ７ｂにより倍率調整されたモニタリング光Ｌ２は、Ｓｉ用ロングパスフィルタ７ｃに送られる。Ｓｉ用ロングパスフィルタ７ｃにおいて、モニタリング光Ｌ２の８００ｎｍより小さな波長成分が遮断され、かつモニタリング光Ｌ２の８００ｎｍより大きな波長成分がＳｉ用ロングパスフィルタ７ｃを透過する。Ｓｉ用ロングパスフィルタ７ｃを通過したモニタリング光Ｌ２は、ＮＤフィルタ７ｄに送られる。ＮＤフィルタ７ｄにおいて、モニタリング光Ｌ２の光の量が、画像処理装置３の画像処理部４によってビードｍの形状を明確に認識可能とするように減少する。ＮＤフィルタ７ｄを通過したモニタリング光Ｌ２は、撮像用集光レンズ７ｅに送られる。撮像用集光レンズ７ｅにおいて、モニタリング光Ｌ２が集光される。撮影用集光レンズ７ｅにより集光されたモニタリング光Ｌ２は、Ｓｉ系撮像素子７ｆに照射される。Ｓｉ系撮像素子７ｆにおいて、モニタリング光Ｌ２における８００ｎｍ〜１１００ｎｍの波長範囲の成分が感知され、感知されたモニタリング光Ｌ２がアナログ電気信号に変換され、このアナログ電気信号はアンプ７ｇに送られる。アンプ７ｇにおいて、アナログ電気信号は増幅され、増幅されたアナログ電気信号はＡ／Ｄ変換器７ｈに送られる。Ａ／Ｄ変換器７ｈにおいて、アナログ電気信号はデジタル電気信号に変換され、このデジタル電気信号は記憶部８に送られる。記憶部８において、デジタル電気信号は１つの画像として記憶される。このようにＳｉ系撮像素子７ｆにモニタリング光Ｌ２を照射し、Ｓｉ系撮像素子７ｆによりモニタリング光Ｌ２をアナログ電気信号に変換し、Ａ／Ｄ変換器７ｈによりアナログ電気信号をデジタル電気信号に変換し、かつこのデジタル電気信号を１つの画像として記憶する動作は、５０Ｈｚより大きくかつ１０００Ｈｚより小さなフレームレートに基づいて連続的に実施される。さらに、記憶部８に記憶された画像は画像取り込み部９に取り込まれる。

次に、図１０のフローチャートを参照して、画像処理装置３の画像処理部４における画像処理方法の概要を説明する。溶接部材Ｍに照射されるレーザ光Ｌ１の中心の予め定められた移動経路上で所定の間隔を空けた位置に対応して（Ｎ＋１）個の背骨点ｑを設定し、隣接する背骨点ｑ同士を直線で結ぶことによってＮ本の背骨線Ｑを定義し、かつ背骨点ｑ及び背骨線Ｑに関する情報を記録する（Ｓ１）。画像取り込み装置２の画像取り込み部９に取り込んだ画像に基づいて、所定の輪郭輝度閾値ｈより残熱発光の輝度Ｈが大きくなっているビード領域候補を認識し、複数のビード領域候補が認識された場合に、複数のビード領域候補の１つを読み出す（Ｓ２）。読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。

ここで、ビード領域候補がビードｍに相当するビード領域Ｅであると判別された場合（ＹＥＳ）、ビード領域Ｅの輪郭線上に位置する輪郭点ｐを選択し（Ｓ４）、複数の輪郭点ｐに基づく輪郭線Ｐを形成する（Ｓ５）。その後、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ７）、読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。

その一方で、ビード領域候補がビードｍに相当するビード領域Ｅでないと判別された場合（ＮＯ）、すなわち、ビード領域候補がスパッタ粒子であると判別された場合、ビード領域候補のすべてを確認したか否かを判定する（Ｓ６）。ビード領域候補のすべてを確認した場合（ＹＥＳ）、画像処理を終了する。ビード領域候補のすべてを確認していない場合（ＮＯ）、複数のビード領域候補の別の１つを読み出し（Ｓ７）、読み出されたビード領域候補がビードｍに相当するビード領域Ｅであるか否かを判別する（Ｓ３）。

図１１のフローチャートを参照して、背骨線記録手段１０における背骨点ｑ及び背骨線Ｑの記録方法の詳細について説明する。画像取り込み部９に取り込まれた複数枚の画像のうちｉ番目の画像（ｉ＝１，２，３，・・・）を読み出す（Ｓ１１）。読み出された画像において、（Ｎ＋１）個の背骨点ｑを設定する（Ｓ１２）。上述の式（８）を用いて、背骨線Ｑ上の節点を表す各背骨点ｑの座標（Ｘ_Ｊ，Ｙ_Ｊ）に基づいて、節点を示すための変数ｔ_Ｊを算出する（Ｓ１３）。上述の式（６）を用いてＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、及びＢ_ＹＪを算出する（Ｓ１４）。ｉ番目の画像におけるＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びＮのパラメータをテキストデータとして記録する（Ｓ１５）。画像取り込み部９に取り込まれた複数枚の画像すべてに対して処理をしたか否かを判定する（Ｓ１６）。複数枚の画像すべてにおける上述のパラメータがテキストデータとして記録された場合（ＹＥＳ）、背骨点ｑ及び背骨線Ｑに関連する情報の記録作業を終了する。複数枚の画像すべてにおける上述のパラメータがテキストデータとして記録されていない場合（ＮＯ）、ｉ＋１番目の画像を読み出し（Ｓ１７）、この読み出された画像において、（Ｎ＋１）個の背骨点ｑを設定する（Ｓ１２）。このような処理を、１番目の画像から順に繰り返す。

次に、画像処理装置３におけるビード形状判定方法を説明する。画像処理装置３のビード形状判定部５において、画像処理部４により記録されたｍ番目の画像におけるＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びＮのパラメータを読み出し、この読み出されたパラメータに基づいて背骨点ｑ及び背骨線Ｑを算出する。このように算出された線Ｑの位置及び形状と、輪郭線Ｐの位置及び形状と、輪郭線Ｐ及び背骨線Ｑ間の関係と、背骨線Ｑに沿った残熱発光の輝度の情報とに基づいて、ビードｍに発生する欠陥を判定する。

以上のように本実施形態によれば、ビードｍに対応する画像内のビード領域Ｅの幅中心に沿った線として定義される背骨線Ｑが、レーザ光Ｌ１の中心の予め定められた移動軌跡によって算出される。レーザ光Ｌ１の中心の移動軌跡は、ビード領域Ｅの幅中心に沿った線に一致する傾向にあるので、プラズマ光及びスパッタ粒子の影響を受けずに、ビード領域Ｅの位置及び形状の情報として用いられる背骨線Ｑを正確に定義できる。そのため、正確な背骨線Ｑに基づいて、ビードｍの終端部分ｍ３に加えて、プラズマ光及びスパッタ粒子の影響を受けるビードｍの始端部分ｍ１及び中間部分ｍ３を正確に認識できて、ビードｍ全体の形状を正確に認識できる。また、背骨線Ｑが予め定められたレーザ光Ｌ１の中心の移動軌跡に基づいて直接的に算出されるので、ビードｍの形状を認識するための画像処理を簡略化できる。

本実施形態によれば、背骨線Ｑが簡単な折れ線によって定義されるので、ビードｍの形状を認識するための画像処理を簡略化できる。

［第２実施形態］
本発明の第２実施形態に係る画像処理システムについて以下に説明する。第２実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。

本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃの代わりに、後述するインジウムガリウムヒ素系の半導体から作製された撮像素子（以下、「ＩｎＧａＡｓ系撮像素子」という）に対応するＩｎＧａＡｓ用ロングパスフィルタが設けられている。ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍ以上の波長範囲で光を透過するように構成されている。本実施形態では、撮像器６ｆが、第１実施形態のＳｉ系撮像素子６ｆ１の代わりに、ＩｎＧａＡｓ系撮像素子を有している。ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲において光に対する感度を有している。ＩｎＧａＡｓ系撮像素子は、モニタリング光Ｌ２をアナログ電気信号に変換するように構成されている。また、ＩｎＧａＡｓ系撮像素子の撮像面の条件は、第１実施形態におけるＳｉ系撮像素子７ｆの撮像面の条件と同様になっている。

ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲について説明する。上述したように、レーザ溶接中に発生するプラズマ光は、原子の軌道電子により発生する遷移発光の成分を多く含んでおり、この遷移発光の波長範囲は、典型的には、可視域に相当する２００ｎｍ〜７８０ｎｍの範囲になっている。一方で、黒体放射の輻射強度は、波長が長くなるに連れて高くなっている。また、黒体放射の輻射強度は、温度が高くなるに連れて高くなっている。そのため、高い温度を有する残熱発光に含まれる黒体放射の輻射強度が高くなることが確認できる。また、レーザ等の発光は、１０６０ｎｍ付近の波長成分を含んでいるので、ＩｎＧａＡｓ系撮像素子に入力される光は、１０６０ｎｍ周辺の波長範囲を避けることが好ましい。

そこで、プラズマ光に多く含まれる遷移発光の波長範囲の上限値７８０ｎｍと、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、ＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲は、１２００ｎｍ以上に定められている。そのため、ＩｎＧａＡｓ系撮像素子には、１２００ｎｍ以上の波長範囲で光が送られて、ＩｎＧａＡｓ系撮像素子は、入力される光を１２００ｎｍ〜２０００ｎｍの波長範囲で感知することとなる。なお、ＩｎＧａＡｓ用ロングパスフィルタは、１２００ｎｍより小さな波長の光を遮断するように構成されていると好ましい。しかしながら、ＩｎＧａＡｓ系撮像素子は、８００ｎｍ〜２０００ｎｍの波長範囲で光を感知できればよいので、例えば、ＩｎＧａＡｓ用ロングパスフィルタが、１３００ｎｍ、１４００ｎｍ、１５００ｎｍ、１６００ｎｍ、１７００ｎｍ、１８００ｎｍ、又は１９００ｎｍより小さな波長の光を遮断するように構成されていてもよい。

また、本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。

以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。

［第３実施形態］
本発明の第３実施形態に係る画像処理システムについて以下に説明する。第３実施形態は、基本的には、第１実施形態と同様になっている。第１実施形態と同様な要素は、第１実施形態と同様の符号および名称を用いて説明する。ここでは、第１実施形態と異なる構成について説明する。

本実施形態では、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃの代わりに、Ｓｉ用バンドパスフィルタが設けられている。Ｓｉ用バンドパスフィルタは、８００ｎｍ以上かつ１０５０ｎｍ以下の波長範囲で光を透過するように構成されている。

Ｓｉ用バンドパスフィルタを透過する光の波長範囲について説明する。Ｓｉ用バンドパスフィルタを透過する光の波長範囲の下限値は、第１実施形態におけるＳｉ用ロングパスフィルタ７ｃを透過する光の波長範囲の下限値を８００ｎｍとしたことと同様の理由に基づいて、８００ｎｍに定められている。また、レーザ等の発光波長に相当する１０６０ｎｍ付近の波長の光を避けることと、レーザ等の発光波長のバラツキとを考慮して、Ｓｉ用バンドパスフィルタを透過する光の波長範囲の上限値は、１０５０ｎｍに定められている。

本実施形態の画像処理システム１を用いて溶接領域Ｊに形成されるビードｍの形状を認識する方法は、本実施形態の上述した構成を除いて、第１実施形態と同様になっている。

以上のように本実施形態によれば、第１実施形態と同様の効果が得られる。

［第４実施形態］
本発明の第４実施形態に係る画像処理システムについて以下に説明する。第４実施形態は、基本的には、第２実施形態と同様になっている。第２実施形態と同様な要素は、第２実施形態と同様の符号および名称を用いて説明する。ここでは、第２実施形態と異なる構成について説明する。

本実施形態では、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタの代わりに、ＩｎＧａＡｓ用バンドパスフィルタが設けられている。ＩｎＧａＡｓ用バンドパスフィルタは、１２００ｎｍ以上かつ２０００ｎｍ以下の波長範囲で光を透過するように構成されている。

ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲について説明する。ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の下限値は、第２実施形態におけるＩｎＧａＡｓ用ロングパスフィルタを透過する光の波長範囲の下限値を１２００ｎｍとしたことと同様の理由に基づいて、１２００ｎｍに定められている。また、長波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は２６００ｎｍとされ、短波長高感度タイプのＩｎＧａＡｓ系撮像素子における光に対する感度の上限は１７００ｎｍとされている。さらに、短波長高感度タイプのＩｎＧａＡｓ系撮像素子は、そのバンドギャップが緩やかに減少するために、１７００ｎｍ〜２０００ｎｍの範囲においても一定の感度（応答性能）を有している。そのため、長波長高感度タイプ、短波長高感度タイプ等のあらゆるＩｎＧａＡｓ系撮像素子に対応すべく、ＩｎＧａＡｓ用バンドパスフィルタを透過する光の波長範囲の上限値は２０００ｎｍに定められている。

以上のように本実施形態によれば、第２実施形態と同様の効果が得られる。

ここまで本発明の実施形態について述べたが、本発明は既述の実施形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

例えば、本発明の変形例として、レーザ溶接以外のビーム系接合時に残熱発光が生じている状態の溶接領域Ｊをモニタ部７によって撮影及び取り込んだ画像に基づいて、溶接領域Ｊに形成されるビードｍの形状を認識してもよい。この場合、ビーム系接合は、レーザブレージング、レーザクラッディング、プラズマ溶接、電子ビーム溶接等であるとよい。

１ 画像処理システム
３ 画像処理装置
４ 画像処理部
６ レーザ照射部
１０ 背骨線記録手段
Ｍ 溶接部材
Ｊ 溶接領域
ｍ ビード
ｍ１ 接合始端部分（始端部分）
ｍ２ 接合終端部分（終端部分）
ｍ３ 接合中間部分（中間部分）
Ｌ１ レーザ光
Ｌ２ モニタリング光
θ１，θ２ 角度
Ｇ 平均輝度
ｇ１ 開始輝度閾値
ｇ２ 終了輝度閾値
Ｅ ビード領域
Ｅ１ 始端部分
Ｅ２ 終端部分
Ｅ３ 中間部分
ｅ ビード領域点
Ｐ 輪郭線
ｐ 輪郭点
Ｑ 背骨線
ｑ 背骨点
Ａ１ 実線
Ａ２ 破線
Ａ３ 一点鎖線
Ｓ１〜Ｓ７，Ｓ１１〜Ｓ１７ ステップ

Claims (4)

1. ビーム系接合時に残熱発光が生じている状態の溶接領域を撮影かつ取り込んだ画像に基づいて、前記溶接領域に形成されるビードの形状を認識する画像処理方法であって、
   前記ビードに対応する前記画像内のビード領域の幅中心に沿った線として定義される背骨線を、予め定められた接合用ビーム中心の移動軌跡によって算出する画像処理方法。
2. 前記背骨線が、該背骨線上で間隔を空けて配置される複数の点のうち隣接する点同士を直線で結んだ折れ線によって定義される、請求項１に記載の画像処理方法。
3. 前記複数の点の数がＮ＋１個になっており、
   各点の座標が（Ｘ_Ｊ，Ｙ_Ｊ）（Ｊ＝１，２，３，・・・，Ｎ，Ｎ＋１）になっており、かつ
   前記隣接する点同士を結んだ直線がＮ本である場合に、
   前記背骨線が下記式（ａ）
   

   

   
   によって算出され、
   式（ａ）のＡ_ＸＪ、Ｂ_ＸＪ、Ａ_ＹＪ、Ｂ_ＹＪ、及びｔ_Ｊは、それぞれ下記式（ｂ）〜式（ｆ）
   

   

   
   によって定義される、請求項２に記載の画像処理方法。
4. 請求項１〜３のいずれか一項に記載の画像処理方法を用いる画像処理システム。

Images