JP2000039319A

JP2000039319A - スパッタレス溶接画像の生成方法および生成装置

Info

Publication number: JP2000039319A
Application number: JP10205962A
Authority: JP
Inventors: Toshiya Saitsu; 寿也才津; Kazuo Ichimura; 和男市村; Tsunao Nakajima; 綱男中島
Original assignee: Mitsubishi Heavy Industries Ltd
Current assignee: Mitsubishi Heavy Industries Ltd
Priority date: 1998-07-22
Filing date: 1998-07-22
Publication date: 2000-02-08

Abstract

(57)【要約】【課題】溶接中のスパッタの影響によって画像中の溶
接箇所が読み取れないという問題を回避し、画像中から
火花部分のみを有効に取り除くとともに、短時間で効果
的にノイズ処理ができる方法および装置を提供する。【解決手段】溶接画像の処理に際して、スパッタ画像
をハードウェアで高速に処理するために、少なくとも２
以上の画像を用いるＭＩＮ演算によりノイズ部分を取り
除くことを特徴とするスパッタレス溶接画像の生成方
法、並びに、該方法による処理を行う論理演算素子を含
むことを特徴とするスパッタレス溶接画像の生成装置。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、スパッタレス溶接
画像の生成方法および生成装置に関し、さらに詳しく
は、スリットレーザーを用いた視覚センサシステムにお
いて、溶接中の画像データからスパッタノイズをリアル
タイムに除去するために作製したスパッタレス溶接画像
入力ボードの回路構成，制御方法等に関する。

【０００２】

【従来の技術】従来、ボイラ工場内でのボイラチューブ
やフィンについての溶接、例えばチューブとフィンとの
溶接、あるいはチューブ同士の溶接等の自動溶接システ
ムにおいては、溶接線（溶接箇所）の検出に、通常スリ
ットレーザとＣＣＤカメラとを組み合わせた視覚センサ
を用いてきた。ここで、ボイラチューブとは、バーナで
火を炊いて水を蒸気にして、蒸気でタービンを回す際の
熱水を送る管である。また、フィンとは、ボイラ管だけ
では管と管との隙間から炎やエネルギーが漏れてしまう
ので、管と管との間の隙間を埋める板状のものである。
図８に、このような溶接を行う際の溶接部分の概略図を
示す。ここでは、スリットレーザー２０とＣＣＤカメラ
１とを組み合わせており、溶接箇所の狙いを付けて溶接
トーチ２１で溶接を行う。

【０００３】ところが、かかる溶接を行う場合には、溶
接中のスパッタ（火花）の発生によりスリットレーザー
２０の軌跡が見え難くなり、鮮明な画像を得られないと
いう問題が生じていた。すなわち、溶接に際しては、溶
接箇所の狙いを決めた後、溶接の進行方向に対して、溶
接箇所の手前で画像を取る。したがって、その際、溶接
中に発生するスパッタが開先の検出に影響を与えていた
のである。そのため、従来は、一旦、画像をコンピュー
ター内の画像処理ボードに取り込み、スパッタ画像の除
去処理（ノイズ処理）を行った後、レーザー軌跡検出を
行ってきた。

【０００４】そして、上記のようなノイズ処理に、従来
は高価な画像処理ボードを用いていた。このような画像
処理ボードは高価であるばかりでなく、画像処理に要す
る処理時間が長く、溶接時間全体の遅延の原因にもなっ
ていた。これは、従来の画像処理では、一画像に取っ
て、この一画像について蓄積データ等と照らし合わせて
の画像処理を行っていたためである。このようなパター
ン・マッチングと呼ばれる画像処理方法では、この溶接
ではこのように画像が写るはず、といったような基本パ
ターンを記憶・登録させておき、それに近い画像のみを
出力するように指示する手法である。しかしながら、こ
のような従来の画像処理ボードを用いる方法では、ノイ
ズ処理時間が長いために、リアルタイムな溶接線検出が
できず、１画像当たりの処理に２秒程度かかるという問
題点があった。

【０００５】

【発明が解決しようとする課題】本発明者らは、上記問
題点に鑑み、溶接中の火花（スパッタ）の影響によって
画像中の溶接箇所が読み取れないという問題を回避し、
画像中から火花部分のみを有効に取り除くとともに、短
時間で効果的にノイズ処理ができるような実用性に富ん
だ溶接画像の処理方法を開発すべく、鋭意検討した。そ
の結果、本発明者らは、溶接中の複数の画像を用いてノ
イズ処理を行うことによって、かかる問題点が一挙に解
決されることを見い出した。本発明は、かかる見地より
完成されたものである。

【０００６】

【課題を解決するための手段】すなわち、本発明は、溶
接画像の処理に際して、スパッタ画像をハードウェアで
高速に処理するために、少なくとも２以上の画像を用い
るＭＩＮ演算によりノイズ部分を取り除くことを特徴と
するスパッタレス溶接画像の生成方法を提供するもので
ある。ここで、ＭＩＮ演算では、少なくとも２以上の画
像であれば任意の数の画像データを用いることができる
が、具体的には、例えば後述するような３画像を用いる
処理方法が挙げられる。また、本発明は、上記方法によ
る処理を行う論理演算素子（ＦＰＧＡ）を含むことを特
徴とするスパッタレス溶接画像の生成装置（ボード）を
提供するものである。

【０００７】本発明によれば、溶接中の画像においても
スパッタ（火花）の影響を受けずに、溶接線（溶接箇
所）を画像中から的確に読み取ることができる。また、
本発明によれば、１画像当たり最速１／３０秒での処理
が可能になった。さらに、ノイズ処理を少しでも早くす
るために、従来は高価な画像処理ボードを使用していた
が、本装置は低コストにて製作可能であり、経済的にも
有利である。したがって、本発明によれば、全体とし
て、画像処理システムのコストを低減することができ、
運転に際しての労力軽減，信頼性の向上にも寄与する。
以下、本発明について、詳細に説明する。

【０００８】

【発明の実施の形態】添付図面を参照しながら、本発明
の実施の形態を説明する。実施の形態本実施の形態においては、ＦＰＧＡを用いて本発明のス
パッタレス溶接画像の生成方法を実施する場合のボード
について説明する。上述したように、従来はボイラ工場
内でのボイラチューブ・フィン溶接等の自動溶接システ
ムにおいて、溶接線の検出に、スリットレーザとＣＣＤ
カメラとを組み合わせた視覚センサを用いてきたが、以
下のような問題があった。すなわち、溶接中に発生する
スパッタが開先の検出に影響を与えるため、一旦、画像
をパソコン内の画像処理ボードに取り込み、スパッタ画
像の除去（ノイズ処理）を行っていたが、この方法で
は、ノイズ処理時間が大きい（１画像／約２秒程度）の
で、リアルタイムの溶接線検出ができない。本発明で
は、このようなスパッタ画像の除去をリアルタイムで可
能にするために、以下のＦＰＧＡを用いる専用のボード
をの作製する。

【０００９】ＦＰＧＡは、フィールド・プログラマブル
・ゲイト・アレイの略であり、プログラムにより自由に
論理回路の製作が可能なＬＳＩである。このＦＰＧＡを
用いることにより、簡単，短時間，低コスト，高信頼性
でハードウェアの作製が可能になる。すなわち、簡単，
短時間，低コストであるのは、ソフトウェアで設計する
ため、シミュレーションによるデバッグや回路修正が簡
単にでき、短時間、低コストでできるからである。高信
頼性であるとは、多種回路を１チップ内に構築できるた
め、チップ数が減少し、半田付けの箇所が減り、配線に
起因する故障が大幅に減少するためであり、高い信頼性
を確保できる。そして、少量生産品、又はカスタムＩＣ
化して大量生産する前の検査用に特に有効である。

【００１０】本発明の入力ボードを利用する画像処理シ
ステムの機器構成としては、図１に示すように、ＣＣＤ
カメラ１からの画像を、ＦＰＧＡ６を搭載したボード５
上に取り込み、スパッタ除去処理を行い、結果をパソコ
ン３メモリ上に出力する。結果を確認するため、処理結
果をディスプレイ４に表示する。

【００１１】入力ボードの構成としては、パソコン拡張
スロットに装着可能な基盤（ＡＴ基盤）に、例えば図２
に示すように処理チップを配置し、スパッタ除去処理を
行わせるボードとする。ここで、図２中、同軸コネクタ
１１はカメラ画像入力用であり、Ａ／Ｄ変換器１０は画
像アナログ信号（ＮＴＳＣ信号）をデジタル信号に変換
する。ビデオ同期分離器９は、ビデオ同期信号とコンポ
ジット信号（画像輝度レベル）とを分離する。メモリ７
は、処理画像蓄積および処理結果画像格納用である。Ｆ
ＰＧＡ６は各種信号処理を行う回路をチップ内に定義し
ており、クロック８は処理タイミング取得用である。

【００１２】信号処理の概要としては、溶接中のスパッ
タ（スパッタ画像）が高速で移動していることに着目
し、連続画像を複数枚取得した後、それらの画像間でＭ
ＩＮ演算（最も暗い画素のみが残る）を行うことで、画
像からスパッタのみを取り除く処理が可能となる。ＭＩ
Ｎ演算の一例を示せば、例えば図３のように、ノイズ◆
（移動ノイズ）が存在する画像について、複数画像間で
の同じ画素（マス目１個単位）にて最も暗い画素（図３
では白黒反転）を取り出すことにより、ノイズを除去す
ることができる。この画像間で同じ画素にて、最も暗い
画素を取り出す処理を、ＭＩＮ演算という。

【００１３】信号フローとしては、上述したようなＭＩ
Ｎ演算処理を、例えば３画像分について、作製したボー
ドを用いて、図４に示すような以下の手順で行う。先
ず、ＣＣＤカメラからの画像をＡ／Ｄ変換し、メモリ１
に画像を記憶する。次いで、メモリ１の内容をメモリ２
へシフトすると同時に、新しい画像をＡ／Ｄ変換し、メ
モリ１に画像記憶する。次に、メモリ２の内容をメモリ
３にシフト、メモリ１の内容をメモリ２へシフトすると
同時に、新しい画像をＡ／Ｄ変換し、メモリ１に画像を
記憶する。さらに、上記と同時に、新しい画像と、メモ
リ１からメモリ２へシフト画像と、メモリ２からメモリ
３へシフトする画像と、を各々１画素毎にＦＰＧＡに取
り込み、ＭＩＮ演算を行い、結果をメモリ４へ出力す
る。最後に、上記動作をビデオレート（１／３０秒）で
３度行わせた後、ＭＩＮ演算結果（メモリ４）の内容を
パソコンディスプレイに表示する。

【００１４】ＦＰＧＡの作製においては、具体的には、
例えばＸｉｌｉｎｘ社製のＸＡＣＴＳＴＥＰ等を使用で
きる。ここで、ＸＡＣＴＳＴＥＰにおけるロジックの作
製方法は、ＸＡＣＴＳＴＥＰ専用のプログラミング言語
を使用して行う方法と、基本回路の組み合わせにより直
接回路図を書き込む方法とがある。プログラム言語を使
用する場合、回路の配線や信号の流れ等を第三者が見た
際には分かりにくい点はあるが、作製するにあたっては
デバッグがしやすいという利点がある。直接回路図を書
き込む場合、回路の配線や信号の流れ等を第三者が見た
際にも分かりやすくイメージしやすいという利点はある
が、デバッグがしにくいこと、あるいはエラーの原因が
分かりにくいこと等もある。そこで、本実施の形態で
は、直接回路図に書き込む方法によって作製を行う。な
お、ＦＰＧＡチップに関しても、このＸＡＣＴＳＴＥＰ
に対応しているＸｉｌｉｎｘ社製のＦＰＧＡを使用でき
る。

【００１５】ＭＩＮ演算処理を実施するＦＰＧＡのロジ
ックを作成するにあたっては、例えば以下のような手順
で行う。デザインエントリーでは、先ずロジック（回
路）を作成する。エラーが無ければＸＡＣＴステップに
て回路の簡略化，ＦＰＧＡ用の配置設定を行う。さら
に、エラーば無ければダウンロードステップにてＦＰＧ
Ａの型式，処理速度の設定してＦＰＧＡへダウンロード
する。最後に、処理テストを行い、目的に合った処理を
行えば完成である。但し、エラーが発生した場合には、
その都度デザインエントリーから見直しを行う。

【００１６】次に、制御回路について説明する。ここで
は基本回路として、上記ＸＡＣＴＳＴＥＰを使用する
上でＸｉｌｉｎｘにおいて、既に準備されているシンボ
ル回路であるＩＰＡＤ，ＯＰＡＤ，ＩＢＵＦ，ＯＢＵ
Ｆ，ＩＮＶ，ＢＵＦＴ，ＦＤＣＥ，ＣＢ２ＣＥ，Ｄ３８
Ｅ，ＣＯＭＰＭ８等が用いられる。また、本実施の形態
では、上記基本回路を用いて独自に作製した処理モジュ
ールを、シンボル回路と呼び、このシンボル回路を図５
のように配置して用いる。ここで、ＩＦ回路は、ボード
上メモリへの読み書き指令回路である。ＤＢ回路は、パ
ソコンとのデータ授受回路である。ＭＷ回路は、メモリ
ー書き込みのコントロール回路であり、メモリのライト
（書き込み）信号を制御する。ＭＲ回路は、メモリ読み
込みのコントロール回路であり、メモリのリード（読み
込み）信号を制御する。

【００１７】そして、本実施に形態では、ボードでの画
像取り込みタイミング、および、パソコンモニタへの表
示タイミングについては、Ｃ言語で作成したプログラム
にて制御する。図５に指令データ・画像データ、図６に
プラグラムフローを示す。図６において、図中Ａで示し
た処理にて、信号を受けたボード内では、新規画像取り
込み、メモリ間の画像シフト、ＭＩＮ演算までの一連動
作を行う。また、図中Ｂで示した処理にて、このような
時間調整をすることで、ＭＩＮ演算を行う画像取り込み
周期を調整可能とする（初期値１／３０秒毎）。以下、
各回路について説明する。

【００１８】ＦＰＧＡに書き込んだ回路全体の総称をメ
イン回路とし、各シンボル回路、基本回路、及び、それ
らを接続するための配線によって構成する。メイン回路
の機能としては、先ず、Ａ／Ｄ変換した画像をメモリ１
に書き込む。次いで、メモリ１に画像を書き込むと同時
に、メモリ１に書き込んでいた画像はメモリ２に、メモ
リ２に書き込んでいた画像はメモリ３に、それぞれシフ
トする。また、各メモリ間のシフトを行うのと同時に、
ＦＰＧＡにおいて３画像のＭＩＮ演算を行い、ＭＩＮ演
算結果画像をメモリ４に書き込む。画像読み込み，書き
込みを繰り返すことにより、メモリ１からメモリ３まで
の３画像が取得できる。この３画像をシフトと同時にＭ
ＩＮ演算回路において、輝度レベルの最も低いデータの
みを取得し、メモリ４に書き込んでいくことによって、
スパッタ除去画像を得ることができる。

【００１９】ＩＦ（インターフェイス）回路の機能とし
ては、ＩＳＡバスより読み込み命令ＩＯＲ、書き込み命
令ＩＯＷを入力し、メモリへの読み込み，書き込みを行
うために必要なＷ 7;0 ，Ｒ 7;0 ，ＷＥ，ＲＥを出力す
る。パソコンからアドレスを指定された際、指定アドレ
スがＦＦ３０〜ＦＦ３Ｆであるかどうかの確認を、渡さ
れたアドレスの上位１２ビットで行う。

【００２０】ＤＢ（データベース）回路の機能として
は、パソコンとのデータ授受を行う回路であり、ボード
側からパソコン側へ画像データを受け渡す。ＤＢ回路で
は、ＣＩＮにＬＯＷレベルの信号が入力されると、ＤＩ
7;0 のデータ（ＭＩＮ演算結果画像データ）はＩＯＰ
ＡＤにてパソコンでの読み込みが可能となり、ＤＯへの
出力は遮断される。また、ＭＷ（メモリライトコントロ
ール）回路の機能としては、メモリ１〜３に対してメモ
リの書き込み・読み込み許可、および、内容のクリア信
号を出力する。さらに、ＭＲ（メモリリードコントロー
ル）回路では、メモリ４に対して、メモリの読み込み許
可、および、クリア信号を出力する機能を有する。

【００２１】最後に、ＭＩＮ演算回路では、メモリ１〜
３の画像データの内容を画素毎に比較し、最も小さい値
をメモリ４へ書き出して、ＭＩＮ画像データを作成する
機能を有する。ＭＩＮ演算回路では、メモリ１の画像デ
ータおよびメモリ２の画像データを入力して、輝度デー
タが入っているので、輝度を比較することになる。この
処理結果とメモリ３の画像データとを再度通すことによ
り、３画像のＭＩＮ演算結果の画像を得ることができ
る。この際には３画像を操作するが、同時に３画像を使
用するのではなく、先にメモリ１の画像データとメモリ
２の画像データとの比較を行い、その結果とメモリ３の
画像データとの比較を行うために、一信号では処理でき
ない。よって、４０ＭＨｚのクロックを２０ＭＨｚに変
換したクロック（Ａ／Ｄ変換を行わせるタイミング）を
タイミングとして使用している。このときＦＤ８ＣＥを
複数用いているが、これは画像のピクセルを３画像分が
全て同じピクセル同士で比較を行わせるための同期を取
らせている。この結果、出力される画像は３画像による
ＭＩＮ演算を行った画像となり、スパッタレス溶接画像
を生成することができる。

【００２２】他の実施の形態本発明のスパッタレス溶接画像の生成方法を実施するに
は、図９（ａ）に示すようなパソコンスロットに挿入し
てボード形式で使用する上記実施の形態の他、図９
（ｂ）や（ｃ）に示すような単独装置化したような形態
も可能である。例えば、Ｄ／Ａ変換回路，電源を付加
し、パソコンなしでも使用できる装置が考えられる。ま
た、取り込み画像数、タイミング詳細調整のディップス
イッチ化により、上記実施の形態以外に、次のような設
定の装置も可能である。取り込み画像数上記実施の形態での３画像固定のＭＩＮ演算画像数を、
回路設計を変更して可変とし、少なくとも２以上の任意
の画像数をディップスイッチ等にて指定できるようにす
る。あるいは、４以上の画素数において固定された装置
とする。取り込みタイミング上記実施の形態では、パソコンで行っている待ち（ウェ
イト）時間設定を、ディップスイッチ等で任意に行える
ようにする。また、処理するタイミングについて、図１
０（ａ）に示すような３画像蓄積方式から、図１０
（ｂ）に示すような逐次処理方式へ変更する。上記実施
の形態では、１２３、４５６、７８９で３画像をとり、
例えば１／１０秒毎の出力である場合に、１２３、２３
４、３４５で３画像とるような逐次処理を行い、１／３
０秒毎に出力する形態も可能である。以下、実施例によ
り本発明をより詳細に説明するが、本発明はこれらの実
施例によって何ら制限されるものではない。

【００２３】

【実施例】実施例１図２に示すのと同様の概観構成を有する入力ボードを作
製した。ビデオ同期分離器としてはＬＭ１８８１、Ａ／
Ｄ変換器としてはＭＢ４０５６８（８ビット）、ＦＰＧ
Ａとしては１９１ピン，処理速度−５，６０ＭＨｚまで
対応するＸＣ４０１０ＰＧ１９１Ｃ−５（Ｘｉｌｉｎｘ
製）、メモリとしてはＴＭＳ４Ｃ１０５０−３０、クロ
ックとしては４０ＭＨｚクロックを使用した。また、上
記入力ボードを利用する機器構成としては、図１に示す
のと同様の構成とし、ＣＣＤカメラとしてはＳＯＮＹ製
のＣＣＤビデオカメラモデルＸＣ−５７、カメラアダプ
ターとしてはＤＩＡＴＲＯＮ製のカメラビデオアダプタ
ーモデル、パソコンとしてはＣＯＮＴＥＣ製のＤＯＳ／
Ｖ機、ディスプレイとしては飯山電機製の１５インチデ
ィスプレイを用いた。

【００２４】そして、図７に示すような構成で、ボイラ
管２２とその隙間をシールするフィン２３との溶接につ
いて実験した。このような場合、スリットレーザー２０
照射位置と溶接トーチ２１先端との距離が６０ｍｍと近
いため、そのままの画像ではＣＣＤカメラ１撮影画像に
スパッタノイズが多く含まれてしまい、スリットレーザ
ー２０の軌跡を認識するのは困難である。そこで、上記
本発明の装置を用いてノイズ（スパッタ）除去処理を行
ったところ、概ねスパッタ画像を除去することができ、
スリットレーザー２０の軌跡を短時間に、かつ容易に認
識することができた。

【００２５】

【発明の効果】本発明のスパッタレス溶接画像の生成方
法は、溶接中のスパッタの影響によって画像中の溶接箇
所が読み取れないという問題を回避し、画像中から火花
部分のみを有効に取り除くとともに、短時間で効果的に
ノイズ処理ができる。すなわち、本発明によれば、溶接
中の画像においてもスパッタ（火花）の影響を受けず
に、溶接線（溶接箇所）を画像中から的確に読み取るこ
とができる。また、本発明によれば、１画像当たり最速
１／３０秒での処理が可能になった。さらに、ノイズ処
理を少しでも早くするために、従来は高価な画像処理ボ
ード（約５０〜１００万円）を使用していたが、本装置
は低コスト（約５万円程度）にて製作可能であり、経済
的にも有利である。したがって、本発明によれば、全体
として、画像処理システムのコストを低減することがで
き、運転に際しての労力軽減，信頼性の向上にも寄与
し、産業上大きな意義を有する。

【図面の簡単な説明】

【図１】図１は、本発明のＦＰＧＡを搭載するボードを
利用した画像処理システムの概略構成図である。

【図２】図２は、上記した本実施の形態において作製さ
れるＦＰＧＡを搭載するボードの外観図である。

【図３】図３は、本発明におけるＭＩＮ演算の一例を示
す模式図である。

【図４】図４は、上記した本実施の形態における３画像
分のＭＩＮ演算処理を行う場合の信号フローを示す図で
ある。

【図５】図５は、指令データ・画像データのボードへの
取り込み手順（タイミング）を示した図である。

【図６】図６は、画像処理に際してのプラグラムフロー
を示す。

【図７】図７は、実施例１におけるボイラ管とフィンと
の溶接を模式的に描いた図である。

【図８】図８は、スリットレーザーとＣＣＤカメラとを
組み合わせて溶接を行う場合の溶接部分の概略図であ
る。

【図９】図９は、本発明のスパッタレス溶接画像の生成
方法を実施する場合の種々の形態を模式的に表した図で
ある。

【図１０】図１０（ａ）は３画像蓄積方式の画像生成方
法を示す図であり、図１０（ｂ）は逐次処理方式の画像
生成方法を示す図である。

【符号の説明】

１ＣＣＤカメラ２カメラアダプター３パソコン４ディスプレイ５ボード６ＦＰＧＡ（論理演算素子）７メモリ８クロック９ビデオ同期分離器１０Ａ／Ｄ変換器１１同軸コネクタ１２接続部１３ＩＦ回路１４ＤＢ回路１５ＭＷ回路１６ＭＲ回路１７ＭＩＮ演算回路１８ａ，ｂ画像書き込み命令，画像読み取り命令１９処理結果画像２０スリットレーザ２１溶接トーチ２２ボイラ管２３フィン２４処理装置２５原画像（アナログ）２６処理画像（デジタル）２７処理画像（アナログ）２８ＴＶモニタ２９溶接部

Claims

【特許請求の範囲】

【請求項１】溶接画像の処理に際して、スパッタ画像
をハードウェアで高速に処理するために、少なくとも２
以上の画像を用いるＭＩＮ演算によりノイズ部分を取り
除くことを特徴とするスパッタレス溶接画像の生成方
法。
【請求項２】請求項１記載の処理を行う論理演算素子
を含むことを特徴とするスパッタレス溶接画像の生成装
置。