JP2014153155A

JP2014153155A - 溶接センサ

Info

Publication number: JP2014153155A
Application number: JP2013022265A
Authority: JP
Inventors: Tatsuro Asano; 達郎淺野; Akira Okamoto; 陽岡本
Original assignee: Kobe Steel Ltd; Kobelco Cranes Co Ltd
Current assignee: Kobe Steel Ltd; Kobelco Cranes Co Ltd
Priority date: 2013-02-07
Filing date: 2013-02-07
Publication date: 2014-08-25
Anticipated expiration: 2033-02-07
Also published as: JP5744933B2

Abstract

【課題】溶接センサが撮像したスリット光の画像を用いて溶接センサ自体に発生した異常を検出することができる溶接センサを提供する。
【解決手段】溶接ワークにスリット光を照射する投光部１１とスリット光が照射された溶接ワークを撮像する撮像部１２とを有し、撮像部１２が撮像したスリット光を含む画像を基に溶接ワークの形状計測が可能な溶接センサにおいて、撮像部１２が撮像したスリット光を積算して得られた積算画像と、基準となるスリット光を積算して得られた基準積算画像とを作成する合成画像作成部２１と、合成画像作成部２１で作成された積算画像と基準積算画像との差分をとることで、差分画像を生成する差分画像生成部２３と、差分画像生成部２３が生成した差分画像の輝度情報に基づいて、窓板の異常を判別する異常判別部２４と、を備える。
【選択図】図２

Description

本発明は、投光部から溶接ワークへ照射されたスリット光を撮像した画像に基づいて、溶接ワークの開先形状や溶接線の位置を計測する溶接センサに関するものであり、特に、撮像したスリット光の画像を用いて、センサ自体に発生した異常を検出することが可能な溶接センサに関する。

従来より、産業用ロボットなどに溶接トーチを取り付け、この溶接トーチの周囲から不活性ガス等のシールドガスを出しながら自動溶接が行なわれている。自動溶接を行なう際には、溶接ワークの位置、開先形状、溶接線の位置などを計測するために溶接センサが用いられる。この溶接センサは、溶接トーチと一緒に産業用ロボットのアームに取り付けられることが多い。

溶接センサとしては、投光器から出射したスリット光を溶接ワーク上に照射し、そのスリット光の反射（光切断線）を撮像部（カメラ）で撮像することで、溶接部位の形状データを得る画像センサが用いられている。
このような画像センサは、ケーシングの内部に上述した投光器や撮像部を格納していて、ケーシングの前面（溶接ワークを向く側）には、透光性を有する窓板（防護体）が設けられている。この窓板は、溶接に伴い発生するスパッタ、ヒューム、粉塵などから、投光器や撮像部を保護する役目を有している。

さて、このような画像センサを用いて溶接ワークの形状を検出しつつ溶接を行った場合、溶接が進むにつれて、窓板の表面が、スパッタやヒュームの附着及び堆積により汚れてゆく。この汚れによって、投光器から出射されたスリット光が遮られて溶接ワークに届かなくなり、また、溶接ワークで反射したスリット光が遮られて撮像部に届かなくなるため、正確な溶接部位の形状データを得ることができなくなる。この不都合を回避すべく、溶接トーチと溶接センサとの間にスパッタやヒュームを遮る遮蔽板などを設けるようにしているが、その遮蔽効果は万全とは言えない。

従って、溶接センサでは、溶接により発生するスパッタ・ヒューム・粉塵・アーク光から投光器や撮像部を保護する窓板の汚れに対して、窓板の交換時期を判断する技術の開発が必要とされている。
特許文献１は、アークセンサ保護窓（窓板）の交換時期を判断する技術を開示している。

特許文献１に開示のアークセンサ保護窓の交換方式は、アークセンサに取り付けられた前記アークセンサ保護窓の前面から所定距離の位置に標準反射面を設け、前記アークセンサ保護窓の未使用時に、前記標準反射面にレーザビームを走査して反射光の第１の受光量を検出し、前記アークセンサ保護窓がアーク溶接に供試された後、前記標準反射面にレーザビームを走査して反射光の第２の受光量を検出し、前記第１の受光量及び前記第２の受光量に基づいて、前記アークセンサ保護窓の交換時期を判別することを特徴とする。

特開平４−３０７３３９号公報

特許文献１に開示の技術は、あらかじめ用意された基準面としての標準反射面に対してレーザビーム（ポイントレーザ）を照射し、その標準反射面での輝度を受光素子にて検出し、さらに溶接作業後に、照射されたポイントレーザの輝度を受光素子にて検出し、溶接前後での輝度を比較することでアークセンサ保護窓（窓板）の汚れ度合いを検出するものである。

しかしながら、特許文献１の技術では、ポイントレーザを用いると共に、受光素子としてＰＤ（フォトダイオード）を使用しているため、窓板における狭い領域での輝度変化を検出するのみであって、撮像画面全体の輝度変化、すなわち窓板の広い領域での汚れを検出できないといった問題を有している。
加えて、特許文献１の技術では、検出精度の重要な要素となるレーザ光の太さ（光幅）の確認や、遮蔽板等のゆがみ等その他の不具合の検知ができないという問題もある。

すなわち、投光器自体の劣化に伴って、レーザ光の輝度が落ちたり、レーザ光の太さや幅が広がったりして、レーザ光自体の質が低下した場合、相対的にスパッタ・ヒュームによる散乱輝度との区別が難しくなり光切断線の検出率が落ちるという問題も引き起こす。しかしながら、特許文献１の技術は、このようなレーザ光自体の質の低下を検知できるものとはなっていない。そもそもこれまで、溶接センサにおいて、レーザ光自体の質の低下に代表されるセンサ自体の故障を検知する技術が存在しなかった。

本発明は、上述の問題に鑑みてなされたものであって、光切断法の技術を用いた溶接センサであって、溶接センサが撮像したスリット光の画像を用いて溶接センサ自体に発生した異常を検出することが可能な溶接センサを提供することを目的とする。

上記課題を達成するために、本発明は、以下の技術的手段を採用した。
本発明に係る溶接センサは、溶接ワークにスリット光を照射する投光部と前記スリット光が照射された溶接ワークを撮像する撮像部とを有し、前記投光部及び撮像部と溶接ワークとの間には、前記スリット光が照射された溶接ワークを撮像可能とすべく透過性を有する窓板が設けられ、前記撮像部が撮像したスリット光を含む画像を基に溶接ワークの形状計測が可能な溶接センサであって、前記撮像部が撮像したスリット光を積算して得られた積算画像と、基準となるスリット光を積算して得られた基準積算画像とを作成する合成画像作成部と、前記合成画像作成部で作成された積算画像と前記基準積算画像との差分をとることで、差分画像を生成する差分画像生成部と、前記差分画像生成部が生成した差分画像の輝度情報に基づいて、前記窓板の異常を判別する異常判別部と、を備えることを特徴とする。

ここで、前記基準積算画像は、正常な状態での窓板において、前記撮像部が撮像した検出光を積算して得られる画像であってもよい。
また、前記撮像部の視野の一方側から他方側に亘るいずれかの位置にスリット光が存在する複数の画像をそれぞれ蓄積する画像蓄積部を有し、前記合成画像作成部は、前記画像蓄積部に蓄積された複数の画像を積算して積算画像及び／又は基準積算画像を作成してもよい。

また、本発明に係る溶接センサは、溶接ワークにスリット光を照射する投光部と前記スリット光が照射された溶接ワークを撮像する撮像部とを有し、前記投光部及び撮像部と溶接ワークとの間には、前記スリット光が照射された溶接ワークを撮像可能とすべく透過性を有する窓板が設けられ、前記撮像部が撮像したスリット光を含む画像を基に溶接ワークの形状計測が可能とされた溶接センサであって、前記撮像部が撮像した画像上のスリット光の線幅に沿った方向の輝度分布を取得する輝度分布取得部と、前記輝度分布取得部で取得した輝度分布を基に、前記画像上のスリット光の直線度を検出する直線度検出部と前記直線度検出部が検出した直線度に基づいて、前記窓板及び／又は投光部の異常を判別する異常判別部と、が備えられることを特徴とする。

ここで、前記輝度分布取得部で取得した輝度分布を基に、前記画像上のスリット光の線幅を検出する線幅検出部を有し、前記異常判別部は、前記線幅検出部が検出した線幅に基づいて、前記窓板及び／又は投光部の異常を判別するとよい。

本発明の溶接センサによると、光切断法の技術を用いた溶接センサにおいて、溶接センサが撮像したスリット光の画像を用いて溶接センサ自体に発生した異常を検出することが可能となる。

本発明による溶接センサ及び溶接トーチの概略構成を示す図である。溶接センサに設けられた信号処理部の構成を示すブロック図である。差分画像の生成順序を説明する図である。使用前画像及び使用後画像を撮像する手順を示す説明図である。レーザ出力と輝度値の関係を表すグラフを示す図である。差分画像を用いた異常判定の処理フローを示す図である。輝度分布カーブの導出順序を説明する図である。輝度分布カーブを用いた異常判定の処理フローを示す図である。

以下、本発明の実施形態を、図１〜図８に基づき説明する。
なお、以下に説明する実施形態は、本発明を具体化した一例であって、その具体例をもって本発明の構成を限定するものではない。従って、本発明の技術的範囲は、本実施形態に開示内容に限定されるものではない。
本実施形態による溶接センサ１についての説明を行う前に、まずは、溶接センサ１が取り付けられる溶接マニピュレータ（溶接ロボット）について説明を行う。なお、本実施形態による溶接センサ１は、溶接ロボットではなく溶接専用機械などに取り付けられてもよい。

溶接センサ１が取り付けられる溶接マニピュレータは、溶接ワークＷを溶接する溶接トーチＴを先端部に備えた垂直６軸多関節ロボットであって、２つの溶接ワークＷによって形成される開先の溶接線（溶接進行方向）に沿ってアーク溶接を行うものである。溶接マニピュレータの溶接トーチＴ近傍には、２つの溶接ワークＷが形成する開先の形状を計測するための溶接センサ１が配置されている。この溶接センサ１によって溶接ワークＷの開先の形状が計測され、計測された開先の形状データに基づいて、２つの溶接ワークＷ同士をアーク溶接によって接合する。

図１に示すように、溶接トーチＴによるアーク溶接時には、溶接トーチＴによるアーク点Ｘ（先端）からスパッタやフューム等の飛散物が飛び散る。
したがって、溶接トーチＴの近傍に配置された溶接センサ１は、スパッタやヒュームなどの存在する雰囲気に曝されることとなるため、溶接センサ１は投光器１１及び撮像部１２を内蔵するケーシング（センサハウジング）１０を有し、このセンサハウジング１０の前面（投光器１１及び撮像部（カメラ）１２から溶接ワークＷの間）には、アーク溶接時の溶接トーチＴからの飛散物を遮蔽する防護窓板１３と、同じく溶接トーチＴからの飛散物を遮断して防護窓板１３を保護する防護遮蔽板１４とが、防護体として設けられている。

以下に、図１及び図２を参照しながら、溶接センサ１の詳細を説明する。
図１は、溶接トーチＴ及び溶接センサ１を示しており、溶接センサ１は、溶接マニピュレータの手先で且つ溶接トーチＴの近傍に取り付けられている。
この溶接センサ１は、溶接ワークＷにシート光を照射する投光器（レーザ光源）１１及び溶接ワークＷに照射されたシート光の反射であるライン光を撮像する撮像部（カメラ）１２を有していて、溶接ワークＷの開先形状や溶接線の位置を三次元に計測することができる。

さらに、溶接センサ１は、投光器１１及びカメラ１２を内蔵するセンサハウジング１０と、投光器１１及びカメラ１２を内蔵したセンサハウジング１０内を外部から隔絶するように閉じるべく溶接ワークＷ側に取り付けられた防護窓板１３（以下、単に窓板１３という）と、センサハウジング１０の外で溶接トーチＴ側の窓板１３近傍に設けられて溶接トーチＴのアーク点Ｘからの飛散物を遮蔽する防護遮蔽板１４（以下、単に遮蔽板１４という）と、を有している。

センサハウジング１０に内蔵された投光器１１は、レーザ半導体素子を光源とするシート状の検出光（スリット光）を窓板１３に向かって所定の角度で出力する。出射されたスリット光は、窓板１３を通ってセンサハウジング１０の外へ出射され、溶接ワークＷの開先部分に照射される。
カメラ１２は、ＣＣＤ（電荷結合素子）カメラ等のエリアカメラであって、溶接ワークＷの開先に交差するように照射されたスリット光を含む溶接ワークＷの表面を撮像するものである。つまり、溶接ワークＷで反射した検出光（開先部分を光切断したスリット光）は、窓板１３を通ってセンサハウジング１０内に進入しカメラ１２によって撮像される。このように、カメラ１２に入射した検出光は、画像データとして取り込まれる。

なお、投光器１１とカメラ１２は、投光器１１から出力されたスリット光が溶接ワークＷ上で反射して検出光としてカメラ１２に入射するように設けられており、投光器１１の照射軸とカメラ１２の光軸とが所定角度となっている。そのため、カメラ１２で撮像した検出光に対して光切断法を用いれば、画像データ内における検出光の長手方向に沿った座標の変位を検出することで、溶接ワークＷの開先形状を三次元で計測することができる。

投光器１１とカメラ１２とを内蔵するセンサハウジング１０は、略直方体状の筐体であって、内蔵する投光器１１及びカメラ１２の前面側（溶接ワークＷ側）が開口となっている。
図１に示すように、このセンサハウジング１０に対して、防護窓板（窓板）１３が、投光器１１及びカメラ１２の直前でセンサハウジング１０の開口を覆うように設けられ、防護遮蔽板１４（遮蔽板１４）が、センサハウジング１０の溶接ワークＷ側で溶接トーチＴに最も近接した位置に設けられている。

窓板１３は、例えば、投光器１１から出たスリット光をセンサハウジング１０の外側へ向かって透過させると共に、溶接ワークＷで反射した検出光をセンサハウジング１０の内側へ向かって透過させる光学フィルタ等からなる部材である。
遮蔽板１４は、透明樹脂等からなる板状の部材であり、溶接トーチＴのアーク点Ｘから直接に窓板１３へ飛んでくる飛散物等を遮断できる形状及び大きさを有している。例えば、遮蔽板１４は、側面視で溶接トーチＴから離れる方向に略「く」字形状に屈曲した板体である。

これによって、アーク点Ｘから窓板１３を見ると、窓板１３が遮蔽板１４の陰に隠れるので、アーク点Ｘからの飛散物が窓板１３に到達することを防ぐことができる。
図１に示すように、上述の構成を有する溶接センサ１は、カメラ１２が撮像したスリット光の反射画像に基づいて、溶接センサ１の窓板１３、遮蔽板１４、投光器１１などの異常（つまり、溶接センサ１自体に発生した異常）を検出する信号処理部２を備えている。

上述のとおり、溶接センサ１は、溶接ワークＷの開先形状を三次元で計測するものであるので、信号処理部２には、三次元計測部（図示せず）が備えられている。
三次元計測部は、溶接ワークＷの開先の三次元形状を、光切断法の原理に基づいて非接触で計測する。光切断法とは、溶接ワークＷの表面形状が変化すれば、該表面の上下方向の変位に応じてカメラ１２の撮像エリア内における検出光の位置が変化することを利用して、該検出光の位置の変化量、投光器１１の照射軸とカメラ１２の光軸とがなす角度、及び溶接ワークＷからカメラ１２までの距離を用いた三角測量によって、該表面の変位量を取得し溶接ワークＷの三次元形状を計測する方法である。

図２は、信号処理部２の構成のうち、溶接センサ１自体に発生した異常を検出する構成を示すブロック図である。
図２を参照すると、信号処理部２は、カメラ１２が撮像した溶接センサ１の使用前の画像（使用前画像）と溶接センサ１の使用後の画像（使用後画像）とを蓄積する画像蓄積部２０、画像蓄積部２０によって蓄積された使用前画像を合成すると共に、使用後画像を合成する合成画像作成部２１、合成画像作成部２１が合成した使用前画像と使用後画像を蓄積する合成画像蓄積部２２、使用前画像と使用後画像の差分である差分画像を生成する差分画像生成部２３、及び差分画像生成部２３が生成した差分画像を基に窓板１３、遮蔽板１４及びセンサアーク点Ｘの異常を判別する異常判別部２４を有している。

このような、画像蓄積部２０から差分画像生成部２３を経て異常判別部２４までの処理経路を差分画像判別経路という。差分画像判別経路については、後に詳しく説明する。
さらに、信号処理部２は、画像蓄積部２０が蓄積した使用前画像及び使用後画像からスリット光である検出光を抽出するスリット抽出部２５、スリット抽出部２５が抽出した検出光をスリット抽出画像として蓄積するスリット抽出画像蓄積部２６、スリット抽出画像蓄積部２６が蓄積したスリット抽出画像におけるスリット位置の画素の輝度を記録するスリット位置画素記録部２７、スリット位置画素記録部２７が記録した画素毎の輝度に基づいてスリット抽出画像を横切る方向での輝度分布カーブを導出する輝度分布カーブ導出部２８、及び輝度分布カーブ導出部２８が導出した輝度分布カーブに基づいてスリット抽出画像の線幅をレーザ線幅として導出するレーザ線幅導出部２９を有している。

異常判別部２４は、輝度分布カーブ導出部２８が導出した輝度分布カーブに基づいてスリット抽出画像の直線度を評価することで窓板１３や投光器１１のレンズの異常を判別し、レーザ線幅導出部２９が導出したレーザ線幅を評価することでレーザ線幅の異常を判別する。
このような、画像蓄積部２０から輝度分布カーブ導出部２８を経て異常判別部２４までの処理経路を輝度分布判別経路という。輝度分布判別経路については、後に詳しく説明する。

図２〜図６を参照しながら、画像蓄積部２０から差分画像生成部２３を経て異常判別部２４までの処理経路である差分画像判別経路について説明する。
図２に示すように、画像蓄積部２０は、溶接センサ１を使用する前であって、窓板１３、遮蔽板１４及び投光器１１に異常がない状態で溶接ワークＷ上の基準面を撮像した画像を使用前画像（基準画像）として蓄積する第１蓄積部、及び溶接センサ１を使用した後に、溶接ワークＷ上の同じ基準面を撮像した画像を使用後画像（判断画像）として蓄積する第２蓄積部を有するものである。

第１蓄積部が蓄積する使用前画像は、次のようにして撮像される。
溶接ワークＷの面上に基準面を設けて、カメラ１２の視野（フレーム）に基準面を捉える。図３には、Ｎ行Ｍ列に配置されたカメラ画素が捉えた画像Ｇ（０）、画像Ｇ（ｍ）、画像Ｇ（Ｍ）が示されている。画像Ｇ（０）〜画像Ｇ（Ｍ）の各画像には、０行目からＮ行目にわたって伸びる検出光が撮像されているが、例えば、画像Ｇ（ｍ）は、検出光が第ｍ列のカメラ画素によって撮像されたときの画像であるので、画像Ｋ（ｍ）として図示されている。

このような画像Ｋは、溶接センサ１を以下のように動作させることによって撮像される。
図４に示すように、画像Ｋは、カメラ１２の視野（フレーム）に基準面を捉えた溶接センサ１を、基準面に対して垂直方向に移動させつつ基準面を撮像することによって得られる。つまり、投光器１１の照射軸がカメラ１２の光軸に対して所定角度をなしていることによって、カメラ１２と基準面との距離が変化すれば、カメラ１２の視野における検出光の位置が変化する。これによって、溶接センサ１を基準面に対して垂直方向に移動させつつ連続的に基準面を撮像すれば、画像Ｇ（０）〜画像Ｇ（Ｍ）の各画像を撮像することができる。

具体的には、まず、図４（ａ）に示すように、溶接センサ１を、投光器１１からのスリット光が基準面上のカメラ１２の視野の一端に照射され、該基準面で反射したスリット光がカメラ画素の第０列で検出光として捉えられる位置に移動させる。この後、溶接センサ１を、図４（ａ）に示す位置から降下させ、図４（ｂ）に示すように、検出光がカメラ画素の第ｍ列で捉えられる位置を経て、図４（ｃ）に示すように、投光器１１からのスリット光がカメラ１２の視野の他端に照射されて、基準面で反射したスリット光がカメラ画素の第Ｍ列で検出光として捉えられる位置まで降下させる。

この過程で、溶接センサ１のカメラ１２は、カメラ画素の第０列から第Ｍ列の各列が検出光を捉えるタイミング（周波数）で基準面を撮像し、検出光がカメラ画素の第０列〜第Ｍ列の各列にあるときの画像Ｋ（０）〜画像Ｋ（Ｍ）の各々を、使用前画像として第１蓄積部に蓄積する。
第２蓄積部が蓄積する使用後画像は、以下のようにして撮像される。

すなわち、所定時間に亘り溶接作業を行った後、使用前画像を撮像した基準面に対して、同様の方法（溶接センサ１を上下方向に移動させつつ、スリット光が写り込んだ画像を連続的に撮像する）でカメラ画素の第０列から第Ｍ列の各列が検出光を捉えるタイミング（周波数）で基準面を撮像し、検出光がカメラ画素の第０列〜第Ｍ列の各列にあるときの画像Ｋ’（０）〜画像Ｋ’（Ｍ）を、使用後画像として第２蓄積部に蓄積する。

図３を参照して、合成画像作成部２１は、画像蓄積部２０の第１蓄積部が蓄積した使用前画像である画像Ｋ（０）〜画像Ｋ（Ｍ）を積算して、画像Ｋ（０）〜画像Ｋ（Ｍ）の各検出光が第０列から第Ｍ列まで並んだ基準面画像（基準積算画像）Ｇ（ｂ）を生成する。また、合成画像作成部２１は、画像蓄積部２０の第２蓄積部が蓄積した使用後画像である画像Ｋ’（０）〜画像Ｋ’（Ｍ）を積算して、画像Ｋ’（０）〜画像Ｋ’（Ｍ）の各検出光が第０列から第Ｍ列まで並んだ輝度画像（積算画像）Ｇ（ａ）を生成する。なお、ここでいう積算とは、各画像間でＯＲ演算を行い、より明るい画素を有効にした画像を作成することである。

図３に示すように、基準面画像Ｇ（ｂ）は、使用前輝度情報として１つの画像であり、輝度画像Ｇ（ａ）は、使用後輝度情報として１つの画像である。
基準面画像Ｇ（ｂ）において、図３の紙面に向かって右側には、部分的に輝度が低く又は高くなった領域である輝度むらが存在している。これに対して、輝度画像Ｇ（ａ）においては、基準面画像Ｇ（ｂ）にも存在した輝度むらの左側に、島状の輝度むらが存在している。この島状の輝度むらは、溶接センサ１を使用した後の防護窓板１３の汚れや変形などに起因して発生する輝度むらの一例である。

合成画像蓄積部２２は、上述の手順を経て合成画像作成部２１が生成した基準面画像Ｇ（ｂ）及び輝度画像Ｇ（ａ）を蓄積するものである。
差分画像生成部２３は、合成画像蓄積部２２が蓄積した基準面画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の差分をとり、差分輝度画像Ｄ（ａ）を生成する。図３に示すように、差分輝度画像Ｄ（ａ）は、基準面画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の輝度値（輝度情報）の差分である輝度差分を示す１つの画像として得られる。

差分輝度画像Ｄ（ａ）の各列の輝度値は基準画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の輝度値の差分であるので、差分輝度画像Ｄ（ａ）が示す輝度値が大きければ、基準画像Ｇ（ｂ）の輝度値よりも輝度画像Ｇ（ａ）の輝度値が小さいと判断できる。このことは、窓板１３の汚れが原因で、輝度画像Ｇ（ａ）の輝度値が基準画像Ｇ（ｂ）よりも小さくなっていると考えることができる。

異常判別部２４は、差分画像生成部２３が生成した差分輝度画像Ｄ（ａ）のピークの輝度値が２５５階調に対して１３７階調以上であるか否かを判定する。その上で異常判別部２４は、該輝度値が１３７階調未満であれば、基準画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の輝度値の差分が小さいので、窓板１３に異常がないと判定し、輝度値が１３７階調以上であれば、基準画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の輝度値の差分が大きいので、窓板１３に異常があると判定する。このように、窓板１３の異常を判断するために輝度値の階調を用い、その判断の基準として階調値に１３７を選択する理由を以下に説明する。

図５は、実験によって得られた投光器１１のレーザ出力と２５５階調の輝度値との関係を示すグラフである。図５のグラフは、機械加工面に照射するスリット光の出力を変化させつつ該機械加工面を撮像し、検出光が撮像された各撮像画像の輝度値のピークを検出した上で、各撮像画像のレーザ出力に対する輝度値のピークを示している。
図５に示す実験結果によると、輝度値のピークが全２５５階調において９１階調以上であれば、撮像画像中の検出光の像を弁別できることが示されている。この実験結果に基づけば、基準面画像Ｇ（ｂ）と輝度画像Ｇ（ａ）との差分である差分輝度画像Ｄ（ａ）における輝度値のピークが９１階調以上であれば、基準面画像Ｇ（ｂ）と輝度画像Ｇ（ａ）との間に有意な輝度値の差が生じていると考えることができる。

つまり、差分輝度画像Ｄ（ａ）の輝度値を判定することによって輝度値のピークが９１階調以上であれば、使用後画像である画像Ｋ’（０）〜画像Ｋ’（Ｍ）を積算した輝度画像Ｇ（ａ）が基準面画像Ｇ（ｂ）から大きく変化しており、溶接センサ１の窓板１３に何らかの変化が生じている可能性があると判定できる。
そこで、異常判別部２４は、９１階調に対して余裕度を５０％分確保して、差分輝度画像Ｄ（ａ）の輝度値のピークが全２５５階調において１３７階調（９１階調の１５０％）未満であれば、窓板１３に異常がないと判定する。

また、異常判別部２４は、輝度値が１３７階調以上であれば、差分輝度画像Ｄ（ａ）の第０列から第Ｍ列までの輝度値のばらつきを検出し、各列の輝度値が均等に低下しているのか（差分輝度画像Ｄ（ａ）においてほぼ一定の輝度値が検出されているか）、又は一部の列のみに輝度値の低下が偏っているのか（差分輝度画像Ｄ（ａ）において部分的に大きな輝度値変化が検出されているか）を判定し、偏りがなければ、溶接アーク点Ｘ、パージエア、又は遮蔽板１４の異常を通知する。

さらに、異常判別部２４は、差分輝度画像Ｄ（ａ）において各列の輝度値の低下に偏りがある場合、前回の板窓の交換からの経過時間を判別する。前回の板窓の交換からの数分しか経過していなければ通常の溶接により窓板１３が汚れることはあり得ないので、パージエア流量か投光器１１の出力異常であると判定する。
以下、図６のフローチャートを参照しながら、信号処理部２における差分画像判別経路の動作を説明する。

信号処理部２は、溶接センサ１を図４（ａ）に示す基準面上の位置に移動させて、カメラ１２のフレームの第ｍ列（画素の第ｍ列）で検出光を捉えた画像Ｋ（ｍ）を撮像し、使用前画像として画像Ｋ（ｍ）を画像蓄積部２０の第１蓄積部に保存する（ステップＳ１０、以下、Ｓ１０と表記する）。
信号処理部２は、溶接センサ１を、図４（ａ）に示す位置から図４（ｂ）に示す位置を経て図４（ｃ）に示す位置まで移動させつつ、次の画像である画像Ｋ（ｍ＋１）を撮像し、画像蓄積部２０の第１蓄積部に保存する（Ｓ１１）。

信号処理部２は、カメラ１２のフレームの第Ｍ列（画素の第Ｍ列）で検出光を捉えた画像Ｋ（Ｍ）の撮像まで終了したか否かを判定する（Ｓ１２）。
ステップＳ１２において、画像Ｋ（Ｍ）の撮像が終了していなければ、信号処理部２は、ステップＳ１０に戻って次の画像Ｋを撮像する。画像Ｋ（Ｍ）の撮像が終了していれば、使用前画像の取得を終了し、次の処理であるステップＳ１３に進む。

合成画像作成部２１は、画像蓄積部２０の第１蓄積部が保存した画像Ｋ（０）〜画像Ｋ（Ｍ）を積算して、基準画像Ｇ（ｂ）を合成し、合成画像蓄積部２２に保存する（Ｓ１３）。
信号処理部２は、溶接作業の終了後、溶接センサ１を、再び図４（ａ）に示す基準面上の位置に移動させて、カメラ１２のフレームの第ｍ列（画素の第ｍ列）で検出光を捉えた画像Ｋ’（ｍ）を撮像し、使用後画像として画像Ｋ’（ｍ）を画像蓄積部２０の第２蓄積部に保存する（Ｓ１４）。

信号処理部２は、溶接センサ１を、図４（ａ）に示す位置から図４（ｂ）に示す位置を経て図４（ｃ）に示す位置まで移動させつつ、次の画像である画像Ｋ’（ｍ＋１）を撮像し、画像蓄積部２０の第１蓄積部に保存する（Ｓ１５）。
信号処理部２は、カメラ１２のフレームの第Ｍ列（画素の第Ｍ列）で検出光を捉えた画像Ｋ’（Ｍ）の撮像まで終了したか否かを判定する（Ｓ１６）。

ステップＳ１６において、画像Ｋ’（Ｍ）の撮像が終了していなければ、信号処理部２は、ステップＳ１４に戻って次の画像Ｋ’を撮像する。画像Ｋ’（Ｍ）の撮像が終了していれば、使用後画像の取得を終了し、次の処理であるステップＳ１７に進む。
合成画像作成部２１は、画像蓄積部２０の第２蓄積部が保存した画像Ｋ’（０）〜画像Ｋ’（Ｍ）を積算して、輝度画像Ｇ（ａ）を合成し、合成画像蓄積部２２に保存する（Ｓ１７）。

ステップＳ１７での使用後画像の取得を終了すると、異常判断部は、溶接センサ１の異常を判断する異常判断処理を開始する（Ｓ１８）。
異常判断部が異常判断処理を開始すると、差分画像生成部２３は、基準画像Ｇ（ｂ）と輝度画像Ｇ（ａ）の差分画像である差分輝度画像Ｄ（ａ）を生成する（Ｓ１８０）。
異常判断部は、差分輝度画像Ｄ（ａ）における輝度値のピークを検出し、１３７階調以上であるか否かを判断する（Ｓ１８１）。

ステップＳ１８１において１３７階調以上であると判断されなければ、異常判断部は、窓板１３に異常はないと判断し、ステップＳ１８０からの一連の処理を終了する（Ｓ１８２）。
ステップＳ１８１において１３７階調以上であると判断されれば、異常判断部は、差分輝度画像Ｄ（ａ）の各列の輝度値を参照し、窓板１３の汚れに偏りがあるか否かを判断する（Ｓ１８３）。異常判断部は、差分輝度画像Ｄ（ａ）の各列の輝度値がほぼ等しい値を示していれば、使用後画像である輝度画像Ｇ（ａ）の輝度値が画像全体にわたってほぼ均等に低下しており、窓板１３の汚れに偏りがないと判断する。また、異常判断部は、差分輝度画像Ｄ（ａ）の一部の列のみに輝度値の低下が偏っていれば、窓板１３の汚れに偏りがあると判断する。

ステップＳ１８３において、窓板１３の汚れに偏りがあると判断すると、異常判断部は、溶接センサ１とアーク点Ｘの位置関係に異常がある、又は遮蔽板１４に異常があると判定する（Ｓ１８４）。窓板１３の汚れの偏りを判断する際に、差分輝度画像Ｄ（ａ）の遮蔽板１４側の輝度値の変化に着目すれば、遮蔽板１４の異常をより的確に判定することができる。

つまり、通常の状態でカメラ１２の視野内に遮蔽板１４が写らない場合において、差分輝度画像Ｄ（ａ）の遮蔽板１４側の輝度値が大きくなっていれば、ワークＷとの接触などにより遮蔽板１４が変形し、変形した遮蔽板１４が輝度画像Ｇ（ａ）に写っている可能性がある。このとき、異常判断部は、遮蔽板１４に異常があると判定することができる。また、通常の状態でカメラ１２の視野内に遮蔽板１４が写る場合において、差分輝度画像Ｄ（ａ）の遮蔽板１４側で輝度値が大きくなる領域があれば、輝度画像Ｇ（ａ）写っている遮蔽板１４の位置と基準画像Ｇ（ｂ）に写っている遮蔽板１４の位置が異なっている可能性がある。これは、遮蔽板１４がワークＷとの接触などにより変形して通常の位置とは異なる位置に存在していることに起因すると考えられるので、異常判断部は、遮蔽板１４に異常があると判定することができる。

異常判断部は、ステップＳ１８４で異常があると判定すると、オペレータに対して、異常の発生と異常の内容を含む異常情報を送信（出力）する（Ｓ１８８）。
ステップＳ１８３において、窓板１３の汚れに偏りがないと判断すると、異常判断部は、前回の窓板１３の交換からの経過時間が、所定時間（例えば５分程度）以内であるか否かを判定する（Ｓ１８５）。

ステップＳ１８５において、前回の窓板１３の交換から所定時間以上の時間が経過していると判定されれば、窓板１３の汚れに偏りがなく、前回の窓板１３の交換からの経過時間が極端に短いということもない。したがって、異常判断部は、輝度画像Ｇ（ａ）の輝度値の低下が溶接ロボットの使用による通常の窓板１３の汚れに起因すると判断し、窓板１３の交換を要求する（Ｓ１８６）。

ステップＳ１８６において窓板１３の交換を要求することを決定すると、異常判断部は、オペレータに対して、窓板１３の交換を要求する異常情報を出力する（Ｓ１８８）。
また、ステップＳ１８５において、前回の窓板１３の交換から所定時間以上の時間が経過していないと判定されれば、窓板１３の汚れに偏りはないが、前回の窓板１３の交換からの経過時間が極端に短いということになる。したがって、異常判断部は、窓板１３の汚れを反映する輝度画像Ｇ（ａ）の輝度値の低下が、溶接ロボットの異常、つまりパージエアの流量の異常やレーザ出力の異常などに起因すると判断する（Ｓ１８７）。

ステップＳ１８６において、窓板１３の汚れがパージエアの流量の異常やレーザ出力の異常に起因すると判断されると、異常判断部は、パージエアの流量の異常やレーザ出力の異常を示す異常情報を出力する（Ｓ１８８）。
上述の差分画像判別経路によれば、溶接センサ１は、差分輝度画像Ｄ（ａ）が示す輝度値のピーク、差分輝度画像Ｄ（ａ）が示す輝度値の不均一性の評価、及び前回の窓板１３の交換からの経過時間などを考慮することで、溶接センサ１自体に発生した異常であって、主に窓板１３に関する異常を検出することが可能となる。

次に、図２、図７及び図８を参照しながら、画像蓄積部２０から輝度分布カーブ導出部２８を経て異常判別部２４までの処理経路を輝度分布判別経路について説明する。
スリット抽出部２５は、画像蓄積部２０の第１蓄積部が蓄積した画像Ｋ（０）〜画像Ｋ（Ｍ）、及び第２蓄積部が蓄積した画像Ｋ’（０）〜画像Ｋ’（Ｍ）から、それぞれ行方向に幅を有する検出光を抽出する。

スリット抽出画像蓄積部２６は、スリット抽出部２５が抽出した各検出光を、画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像として蓄積する。
スリット位置画素記録部２７は、スリット抽出画像蓄積部２６が蓄積した画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の各々について、第０行から第Ｎ行までの各行での幅方向における輝度重心を導出して、導出した各行の輝度重心を結ぶことでスリット抽出画像の中心位置を抽出する。スリット位置画素記録部２７は、抽出したスリット抽出画像の中心位置、及びスリット抽出画像の全画素の輝度値を記録する。

図７に示すように、スリット位置画素記録部２７によって、行方向に線幅を有するスリット抽出画像の列方向に沿った中心位置が得られ記録される。
輝度分布カーブ導出部２８は、スリット位置画素記録部２７が記録したスリット抽出画像の全画素の輝度値に基づいて、第０行から第Ｎ行までの各行でスリット抽出画像を横切る方向（行方向）での輝度分布カーブを導出する。

図７に示すように、行方向に線幅を有する１つのスリット抽出画像から、スリット抽出画像のほぼ中心位置にピークを有する輝度値の分布である輝度分布カーブが、第０行から第Ｎ行までの各行について得られる。
レーザ線幅導出部２９は、画像Ｋ（０）〜画像Ｋ（Ｍ）のスリット抽出画像の各々について、スリット位置画素記録部２７が抽出した中心位置をＮ行分集計して、中心位置のばらつき（直線度許容値）Ｌｐｔを導出し、同様に、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の各々についても、スリット位置画素記録部２７が抽出した中心位置をＮ行分集計して、中心位置のばらつき（直線度）Ｌｐを導出する。

また、レーザ線幅導出部２９は、輝度分布カーブ導出部２８が導出した画像Ｋ（０）〜画像Ｋ（Ｍ）の各スリット抽出画像に関する輝度分布カーブにおいて、例えば、輝度分布カーブのピーク輝度値の１／ｅ^２の位置での幅（一般的に１００μｍ程度）をスリット光のレーザ線幅許容値Ｌｗｔとして導出し、画像Ｋ’（０）〜画像Ｋ’（Ｍ）の各スリット抽出画像に関する輝度分布カーブにおける、輝度分布カーブのピーク輝度値の１／ｅ^２の位置での幅をスリット光のレーザ線幅Ｌｗとして導出する。

異常判別部２４は、レーザ線幅導出部２９が導出した直線度許容値Ｌｐｔと直線度Ｌｐを比較して、直線度Ｌｐ＞直線度Ｌｐｔとなった場合、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の中心位置のばらつきが大きいので、窓板１３の面の精度及びレーザレンズに異常があると判別する。
また、異常判別部２４は、レーザ線幅導出部２９が導出したレーザ線幅許容値Ｌｗｔとレーザ線幅Ｌｗを比較して、レーザ線幅Ｌｗ＞レーザ線幅許容値Ｌｗｔとなった場合、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の線幅が許容値を超えて大きいので、投光器１１のレーザ線幅に異常があると判別する。

直線度Ｌｐ（中心位置のばらつき）が大きくなることと、窓板１３の面の精度及びレーザレンズに異常が発生していることとの相関は、本出願の発明者らが実験及び経験を通じて知見している事実である。また、レーザ線幅Ｌｗが大きくなることと、投光器１１のレーザ線幅に異常が発生していることとの相関も、本出願の発明者らが実験及び経験を通じて知見している事実である。

以下、図８のフローチャートを参照しながら、信号処理部２における輝度分布判別経路の動作を説明する。
信号処理部２のスリット抽出部２５は、図６のステップＳ１０からステップＳ１６の処理によって画像蓄積部２０に蓄積された画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）から、スリット抽出画像である検出光を抽出し、スリット位置画素記録部２７が、抽出したスリット抽出画像の中心位置を抽出する（Ｓ２０）。

スリット位置画素記録部２７は、抽出したスリット抽出画像の中心位置と、スリット抽出画像の全画素の輝度値を記録する（Ｓ２１）。
輝度分布カーブ導出部２８は、ステップＳ２１でスリット位置画素記録部２７が記録したスリット抽出画像の全画素の輝度値を基にして、画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の輝度分布カーブを導出する（Ｓ２２）。

レーザ線幅導出部２９は、スリット位置画素記録部２７が抽出した中心位置を集計して、画像Ｋ（０）〜画像Ｋ（Ｍ）のスリット抽出画像の中心位置のばらつき（直線度許容値）Ｌｐｔを導出し、同様に、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の各々についても、中心位置のばらつき（直線度）Ｌｐを導出する（Ｓ２３）。
レーザ線幅導出部２９は、輝度分布カーブ導出部２８が導出した輝度分布カーブに基づいて、画像Ｋ（０）〜画像Ｋ（Ｍ）のスリット抽出画像によるレーザ線幅許容値Ｌｗｔを導出し、同様に、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像によるレーザ線幅Ｌｗを導出する（Ｓ２４）。

ステップＳ２３で直線度許容値Ｌｐｔ及び直線度Ｌｐが導出され、ステップＳ２４でレーザ線幅許容値Ｌｗｔ及びレーザ線幅Ｌｗが導出されると、異常判断部は、溶接センサ１の異常を判断する異常判断処理を開始する（Ｓ２５）。
異常判断処理が開始されると、異常判断部は、直線度許容値Ｌｐｔと直線度Ｌｐを比較し、直線度Ｌｐが直線度許容値Ｌｐｔより大きいか否かを判定する（Ｓ２５０）。

ステップＳ２５０において、直線度Ｌｐが直線度許容値Ｌｐｔ以下であると判定されると、異常判断部は、溶接センサ１に異常は生じていないと決定する（Ｓ２５１）。
ステップＳ２５０において、直線度Ｌｐが直線度許容値Ｌｐｔより大きいと判定されると、異常判断部は、画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の中心位置のばらつきである直線度Ｌｐが大きくなった原因が、窓板１３の面精度の低下や投光器１１のレーザレンズの異常であると決定し、窓板１３の面精度の低下や投光器１１のレーザレンズの異常を示す異常情報を出力する（Ｓ２５２）。

異常判断部は、ステップＳ２５１又はステップＳ２５２に続いて、レーザ線幅許容値Ｌｗｔとレーザ線幅Ｌｗを比較し、レーザ線幅Ｌｗがレーザ線幅許容値Ｌｗｔより大きいか否かを判定する（Ｓ２５３）。
ステップＳ２５３において、レーザ線幅Ｌｗがレーザ線幅許容値Ｌｗｔ以下であると判定されると、異常判断部は、レーザ線幅に異常はないと決定する（Ｓ２５４）。

ステップＳ２５３において、レーザ線幅Ｌｗがレーザ線幅許容値Ｌｗｔより大きいと判定されると、異常判断部は、投光器１１から射出されるレーザ光の線幅に異常が生じていると決定し、レーザ光の線幅異常を示す異常情報を出力する（Ｓ２５４）。
上述の輝度分布判別経路によれば、溶接センサ１は、画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）のスリット抽出画像の直線度及びレーザ線幅などを考慮することで、溶接センサ１自体に発生した異常であって、主にスリット光（レーザ光）を照射する投光器１１に関する異常を検出することが可能となる。

なお、ステップＳ２２において輝度分布カーブ導出部２８は、画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）の全てのスリット抽出画像の輝度分布カーブを導出していたが、画像Ｋ（０）〜画像Ｋ（Ｍ）及び画像Ｋ’（０）〜画像Ｋ’（Ｍ）のうち数枚〜数十枚のスリット抽出画像を選択して輝度分布カーブを導出してもよい。この場合、ステップＳ２２以降の処理は、導出した数枚〜数十枚のスリット抽出画像の輝度分布カーブに対して行う。

以上をまとめれば、本発明の実施形態による溶接センサ１は、光切断法の技術を用いることで、溶接部位の三次元形状を検出できるだけでなく、溶接センサ１が撮像したスリット光の画像を用いて溶接センサ１自体に発生した異常を確実に検出できるものとなっている。
なお、今回開示された実施形態はすべての点で例示であって制限的なものではないと考えられるべきである。特に、今回開示された実施形態において、明示的に開示されていない事項、例えば、運転条件や操業条件、各種パラメータ、構成物の寸法、重量、体積などは、当業者が通常実施する範囲を逸脱するものではなく、通常の当業者であれば、容易に想定することが可能な値を採用している。

１溶接センサ
２信号処理部
１０センサハウジング
１１投光器
１２撮像部
１３防護窓板
１４防護遮蔽板
２０画像蓄積部
２１合成画像作成部
２２合成画像蓄積部
２３差分画像生成部
２４異常判別部
２５スリット抽出部
２６スリット抽出画像蓄積部
２７スリット位置画素記録部
２８輝度分布カーブ導出部
２９レーザ線幅導出部
Ｗ溶接ワーク
Ｔ溶接トーチ

Claims

溶接ワークにスリット光を照射する投光部と前記スリット光が照射された溶接ワークを撮像する撮像部とを有し、前記投光部及び撮像部と溶接ワークとの間には、前記スリット光が照射された溶接ワークを撮像可能とすべく透過性を有する窓板が設けられ、前記撮像部が撮像したスリット光を含む画像を基に溶接ワークの形状計測が可能な溶接センサであって、
前記撮像部が撮像したスリット光を積算して得られた積算画像と、基準となるスリット光を積算して得られた基準積算画像とを作成する合成画像作成部と、
前記合成画像作成部で作成された積算画像と前記基準積算画像との差分をとることで、差分画像を生成する差分画像生成部と、
前記差分画像生成部が生成した差分画像の輝度情報に基づいて、前記窓板の異常を判別する異常判別部と、
を備えることを特徴とする溶接センサ。
前記基準積算画像は、正常な状態での窓板において、前記撮像部が撮像した検出光を積算して得られる画像であることを特徴とする請求項１に記載の溶接センサ。
前記撮像部の視野の一方側から他方側に亘るいずれかの位置にスリット光が存在する複数の画像をそれぞれ蓄積する画像蓄積部を有し、
前記合成画像作成部は、前記画像蓄積部に蓄積された複数の画像を積算して積算画像及び／又は基準積算画像を作成することを特徴とする請求項１又は２に記載の溶接センサ。
溶接ワークにスリット光を照射する投光部と前記スリット光が照射された溶接ワークを撮像する撮像部とを有し、前記投光部及び撮像部と溶接ワークとの間には、前記スリット光が照射された溶接ワークを撮像可能とすべく透過性を有する窓板が設けられ、前記撮像部が撮像したスリット光を含む画像を基に溶接ワークの形状計測が可能とされた溶接センサであって、
前記撮像部が撮像した画像上のスリット光の線幅に沿った方向の輝度分布を取得する輝度分布取得部と、
前記輝度分布取得部で取得した輝度分布を基に、前記画像上のスリット光の直線度を検出する直線度検出部と
前記直線度検出部が検出した直線度に基づいて、前記窓板及び／又は投光部の異常を判別する異常判別部と、
が備えられることを特徴とする溶接センサ。
前記輝度分布取得部で取得した輝度分布を基に、前記画像上のスリット光の線幅を検出する線幅検出部を有し、
前記異常判別部は、前記線幅検出部が検出した線幅に基づいて、前記窓板及び／又は投光部の異常を判別することを特徴とする請求項４に記載の溶接センサ。