JP2023047279A - 溶接線検出システム - Google Patents

Abstract

【課題】溶接ロボットに動作を教示させる作業効率を高め、溶接品質を向上させることができる溶接線検出システムを提供する。【解決手段】溶接対象の画像を撮影する撮影部２１１と、撮影された画像に含まれるマーカを基準とするユーザ座標系を設定する座標系設定部２１２と、画像に基づいてマーカの特定位置を検出し、当該検出した特定位置を、溶接対象までの距離を測定する距離計測センサにより取得された点群データ上に設定し、当該設定した特定位置を原点とするユーザ座標系の座標が付与された点群データを、ユーザ座標系に描画する点群データ描画部２１３と、ユーザ座標系に描画された点群データに基づいて、溶接対象の溶接線を検出する溶接線検出部２１４と、を備える。【選択図】図２

Description

本発明は、溶接線検出システムに関する。

下記特許文献１には、溶接ロボットに動作を教示させる動作教示システムが開示されている。この動作教示システムでは、動作教示を行う時に、マニュピレータの手先部にある溶接トーチを撮影部に交換する。そして、この撮影部による撮影画像に基づいて生成される溶接箇所の位置情報と、その撮影画像を撮影した時のマニュピレータの位置及び姿勢情報とに基づいて、その溶接箇所の溶接に必要なマニュピレータの位置及び姿勢の軌跡を生成し、各溶接箇所における軌跡を合成することで教示データを生成する。

特開２０１９－１５０９３０号公報

ところで、特許文献１の動作教示システムでは、動作教示を行う前に、動作教示時に軌跡を生成する対象とする溶接箇所を示す線（溶接線）を溶接対象物に引く作業が行われる。そして、この作業は、作業者がペンを用いて溶接対象物に溶接線を引くことで行われる。したがって、作業に手間がかかるうえ、ペンにより描かれた線が溶接対象物の表面に残ることも有り得る。

そこで、本発明は、溶接ロボットに動作を教示させる作業効率を高め、溶接品質を向上させることができる溶接線検出システムを提供することを目的とする。

本発明の一態様に係る溶接線検出システムは、溶接対象の画像を撮影する撮影端末と、撮影された画像に含まれるマーカを基準とするユーザ座標系を設定する座標系設定部と、画像に基づいてマーカの特定位置を検出し、当該検出した特定位置を、溶接対象までの距離を測定する距離計測センサにより取得された点群データ上に設定し、当該設定した特定位置を原点とするユーザ座標系の座標が付与された点群データを、ユーザ座標系に描画する点群データ描画部と、ユーザ座標系に描画された点群データに基づいて、溶接対象の溶接線を検出する溶接線検出部と、を備える。

この態様によれば、溶接対象及びマーカを撮影した画像に基づいて、マーカの特定位置を検出し、その検出したマーカの特定位置を点群データ上に設定し、その設定したマーカの特定位置を原点とするユーザ座標系の座標を付与した点群データを画像上に描画し、その点群データに基づいて、溶接対象の溶接線を検出することができる。したがって、作業者が溶接対象に溶接線を引かなくても、溶接対象の溶接線を認識させることが可能となる。

上記態様において、溶接線検出部は、点群データに基づいて、溶接対象に対応する複数の面を認識し、当該複数の面に含まれる二つの面の交線を溶接線として検出してもよい。

この態様によれば、ユーザ座標系に描画された点群データにより表される面のうち、二つの面の交線を溶接線として検出することができ、溶接線の検出精度を向上させることが可能となる。

上記態様において、溶接線検出部は、二つの面の交線の少なくとも一部を溶接線として検出してもよい。

この態様によれば、二つの面の交線の少なくとも一部を溶接線として検出することができ、溶接線の候補を漏れなく検出することが可能となる。

上記態様において、溶接線検出部により検出された溶接線に基づいて溶接するための作業プログラムを作成するプログラム作成部を、さらに備えてもよい。

この態様によれば、検出された溶接線を溶接する作業プログラムを作成できるため、溶接を行なう際に、その作業プログラムで指定された溶接線に沿って効率よく溶接することが可能となる。

上記態様において、マーカは、ＡＲマーカであってもよい。

この態様によれば、ＡＲマーカを認識したときに、そのＡＲマーカの位置を原点とするユーザ座標系を、実際の映像に重ね合わせて表示させるプログラムを起動させることが可能となる。

上記態様において、撮影端末は、画像を撮影するイメージセンサと、距離計測センサとを備えてもよい。

この態様によれば、イメージセンサと距離計測センサとの位置関係を固定させることができ、各センサでデータを取得するタイミングを合わせることが可能となる。

上記態様において、撮影端末は、画像を表示する表示部と、表示部に表示させる内容を制御する制御部と、をさらに備え、制御部は、溶接線検出部により検出された溶接線を画像に重ね合わせて表示部に表示させてもよい。

この態様によれば、撮影端末を操作する作業者が、未検出の溶接線があるかどうかを撮影端末の表示部を見ながら容易に判断することが可能となる。

本発明によれば、溶接ロボットに動作を教示させる作業効率を高め、溶接品質を向上させることができる溶接線検出システムを提供することができる。

実施形態に係る溶接線検出システムを含む溶接ロボットシステムの構成を例示する図である。 溶接線検出システムの機能的な構成を例示する図である。 溶接対象の一例を示す図である。 マーカの位置を原点とするユーザ座標系の一例を示す図である。 溶接対象の一例を示す図である。 ユーザ座標系に描画される点群データの一例を示す図である。 溶接線検出システムで作業プログラムを作成する際の動作の一例を説明するためのフローチャートである。

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。また、図面は模式的なものであるため、各構成要素の寸法や比率は実際のものとは相違する。

図１は、実施形態に係る溶接線検出システムを含む溶接ロボットシステムの構成を例示する図である。溶接ロボットシステム１００は、例えば、撮影端末１と、ロボット制御装置２と、マニピュレータ３とを備える。撮影端末１とロボット制御装置２とは、例えばネットワークＮを介して接続され、ロボット制御装置２とマニピュレータ３とは、例えば通信ケーブルＣを介して接続される。ネットワークＮは、有線（通信ケーブルを含む）であっても無線であってもよい。なお、溶接ロボットシステム１００に、ティーチングペンダントを含めてもよい。ティーチングペンダントは、作業者がマニピュレータ３の動作を教示する操作装置である。

マニピュレータ３は、ロボット制御装置２において設定される施工条件に従ってアーク溶接を行う溶接ロボットである。マニピュレータ３は、例えば、工場の床面等に固定されるベース部材上に設けられる多関節アーム３１と、多関節アーム３１の先端に連結される溶接トーチ３２とを有する。

ロボット制御装置２は、マニピュレータ３の動作を制御する制御ユニットであり、例えば、制御部２１、記憶部２２、通信部２３及び溶接電源部２４を含む。

制御部２１は、例えば、記憶部２２に記憶されている作業プログラムをプロセッサが実行することで、マニピュレータ３及び溶接電源部２４を制御する。

通信部２３は、ネットワークＮを介して接続される撮影端末１との通信を制御することや、通信ケーブルＣを介して接続されるマニピュレータ３との通信を制御する。

溶接電源部２４は、例えば、溶接ワイヤの先端とワークとの間にアークを発生させるために、予め定められた溶接の施工条件に従って、溶接電流及び溶接電圧等をマニピュレータ３に供給する。溶接の施工条件には、例えば、溶接条件、溶接開始位置、溶接終了位置、アーク放電の時間、溶接距離、溶接トーチの姿勢及び溶接トーチの移動速度等のデータ項目が含まれる。溶接電源部２４は、ロボット制御装置２と別個に備えることとしてもよい。

撮影端末１は、例えば、デジタルカメラであるが、デジタルカメラ付きの可搬型端末であってもよい。可搬型端末には、例えば、タブレット端末、スマートフォン、携帯情報端末（ＰＤＡ）、ノートＰＣ（パーソナルコンピュータ）等の持ち運び可能な端末が含まれる。撮影端末１は、例えば、制御部１１、撮影部１２、通信部１３、表示部１４を含む。

制御部１１は、メモリに格納された所定のプログラムをプロセッサが実行することにより、撮影端末１の各部を制御する。

撮影部１２は、例えば、レンズ及び撮像素子（イメージセンサ）を含み、レンズで受光した被写体の光を電気信号（デジタル画像データ）に変換する。

通信部１３は、ネットワークＮを介して接続されるロボット制御装置２との通信を制御する。

表示部１４は、例えば、タッチパネルを有するディスプレイであり、撮影部１２による被写体の映像を表示するとともに、作業者による操作指示等の入力を受け付ける。表示部１４は、例えばタッチパネルを有するディスプレイ装置として、撮影端末１とは別個に備えることとしてもよい。

図２は、本発明に係る溶接線検出システムの機能的な構成を例示する図である。溶接線検出システムは、機能的な構成として、例えば、撮影部２１１と、座標系設定部２１２と、点群データ描画部２１３と、溶接線検出部２１４と、プログラム作成部２１５とを有する。これらの機能のうち、撮影部２１１は、撮影端末１が有する機能である。他方、座標系設定部２１２、点群データ描画部２１３、溶接線検出部２１４及びプログラム作成部２１５は、撮影端末１及びロボット制御装置２のどちらかが全てを備えてもよいし、撮影端末１及びロボット制御装置２に各機能を分散して備えてもよい。また、撮影端末１及びロボット制御装置２以外の他の装置が、上記機能の一部又は全部を備えてもよい。

撮影部２１１は、上記撮影端末１の撮影部１２と同じである。本実施形態に係る撮影部２１１は、例えば、アーク溶接の対象となる複数枚の鉄板部材（ワーク）により構成される構造物を溶接対象として撮影する。図３に、溶接対象の一例を示す。同図には、底板となる１枚のワークＷａと、側板となる２枚のワークＷｂ，Ｗｃと、背板となる１枚のワークＷｄとで構成される構造物が、溶接対象として表示されている。この構造物により形成される空間内には、後述するマーカＭが置かれている。

図２に示す座標系設定部２１２は、撮影部２１１による映像に含まれるマーカの位置を原点とするユーザ座標系を設定する。図４に、マーカの位置を原点とするユーザ座標系の一例を示す。同図には、マーカＭの位置を原点Ｏとし、その原点Ｏで互いに直交するＸ軸、Ｙ軸及びＺ軸による三次元の直交座標系が、ユーザ座標系として表示されている。

なお、ユーザ座標系の原点は、マーカ（例えば、マーカの角やマーカの中心等）を基準にして設定できればよい。撮影端末１を基準にしてユーザ座標系の原点を設定するのではなく、マーカを基準にしてユーザ座標系の原点を設定するのは、以下の理由による。撮影端末１は、撮影時に作業者が所持して移動するため、ロボット座標系上で撮影端末１の位置を特定するのは難しい。これに対し、マーカは、固定して配置されるため、ロボット座標系上でマーカの位置を特定するのは比較的に容易である。したがって、マーカを基準にしてユーザ座標系を設定すると、撮影端末１を基準にしてユーザ座標系を設定するよりも、ユーザ座標系とロボット座標系との位置関係をキャリブレーションし易くすることが可能となる。

ここで、マーカＭは、空間内に置かれていることを撮影部２１１に認識させることができる識別子であればよい。マーカとして、例えばＡＲマーカを用いることが好ましい。ＡＲマーカを用いることで、空間内に置かれたＡＲマーカを認識したときに、そのＡＲマーカを原点とするユーザ座標系を、実際の映像に重ね合わせて表示させることが簡易に実現できるようになる。

マーカを基準とするユーザ座標系は、カメラ座標系の原点（例えば、レンズの中心）を、後述するマーカの特定位置に移動させることで設定することができる。このようなユーザ座標系は、例えば、ＡＲマーカの座標系を設定する公知の技術を適用して設定することができる。

図２に示す点群データ描画部２１３は、溶接対象に対応する座標データ（点群データ）を取得し、その取得した座標データをユーザ座標系に描画する。

具体的に説明する。点群データ描画部２１３は、撮影部２１１により撮影された画像に基づいてマーカの特定位置（例えば、マーカの角やマーカの中心）を検出し、その検出したマーカの特定位置を、後述する距離計測センサにより取得される点群データ上に設定し、その設定したマーカの特定位置を原点とするユーザ座標系の座標が付与された点群データを、ユーザ座標系に描画する。点群データ上に設定するマーカの特定位置は、例えば、点群データ上のマーカの特定位置をデータ解析により自動的に認識させてもよいし、点群データ上のマーカの特定位置を作業者が指し示す等して指定してもよい。

溶接対象に対応する座標データは、例えば、距離計測センサにより取得することができる。距離計測センサは、溶接対象までの距離を測定可能なセンサであればよい。距離計測センサとして、例えば、ＬｉＤＡＲ（Light Detection and Ranging）センサ、ミリ波センサ、超音波センサ等を用いることができる。また、溶接対象に対応する座標データを、溶接対象を異なる複数の位置から撮影した複数の画像に基づいて算定することで取得してもよい。この場合、公知のステレオ法による三次元計測手法を用いることができる。

ここで、距離計測センサを撮影端末１に含めてもよい。これにより、イメージセンサと距離計測センサとの位置関係を固定させることができ、各センサでデータを取得するタイミングを合わせることが可能となる。したがって、上述したマーカの特定位置を点群データ上に設定する処理効率を向上させることが可能となる。また、イメージセンサと距離計測センサとを撮影端末１に備えることで、溶接対象の溶接線とマーカとを同時に撮影できる任意の位置に、撮影端末１を操作する作業者が自由に移動して撮影することが可能となるため、作業効率を高めることができる。

さらに、画像を撮影して取得するセンサの機能と距離を計測して取得するセンサの機能とを併せ持つセンサを撮影端末１に含めてもよい。これにより、溶接対象を含む画像と溶接対象までの距離とを同じ箇所から取得し、かつ同じタイミングで取得できるため、上述したマーカの特定位置を点群データ上に設定する処理効率をさらに高めることが可能となる。

図５及び図６を参照して、溶接対象に対応する座標データを、点群データとしてユーザ座標系に描画する概念について説明する。

図５は、溶接対象の一例を示す図である。同図には、作業テーブルＴ上に置かれたワークＷｅと、そのワークＷｅと略垂直関係になるように置かれたワークＷｆとで構成される溶接対象が例示されている。溶接対象の傍にマーカＭが置かれている。

図６は、ユーザ座標系に描画される点群データの一例を示す図である。同図には、図５のワークＷｅ及びワークＷｆにそれぞれ対応する座標データＷｅｃ、Ｗｆｃと、図５の作業テーブルＴに対応する座標データＴｃと、が点群データとしてユーザ座標系に描画されている。

図２に示す溶接線検出部２１４は、ユーザ座標系に描画された点群データに基づいて、溶接対象の溶接線を検出する。具体的に、溶接線検出部２１４は、点群データに基づいて、溶接対象に対応する複数の平面を認識し、それら複数の平面に含まれる二つの平面の交線を溶接線として検出する。二つの平面の組合せが複数存在する場合には、それぞれの組合せごとに溶接線を検出する。例えば、図６では、ワークＷｅに対応する座標データＷｅｃにより示される平面と、ワークＷｆに対応する座標データＷｆｃにより示される平面とを認識し、これら二つの平面の交線を溶接線として検出する。これにより、図５に示すように、ワークＷｆとワークＷｅの交線として溶接線Ｌが検出され、実際の映像に重ね合わせて表示される。なお、溶接線を検出する際に、二つの平面の交線の端から端までを溶接線として検出することが好ましい。溶接線を検出する際の端点は、任意の条件で設定することができる。

ここで、溶接線として検出するのは、二つの平面の交線に限定されない。例えば、二つの面の交線を溶接線として検出してもよい。

また、溶接線として検出する際に、以下（１）、（２）の一方又は両方を、溶接線を検出する際の条件に加えてもよい。
（１）検出した溶接線が特定の長さ未満である場合、その溶接線を採用しない（その溶接線を無視する）。
（２）検出した溶接線の両端にある所定長さ部分を、その溶接線から除外する（その溶接線の一部を無視する）。

図２に示すプログラム作成部２１５は、溶接線検出部２１４により検出された溶接線に基づいて、アーク溶接を行なうための作業プログラムを作成する。プログラム作成部２１５は、作成した作業プログラムを、ロボット制御装置２の記憶部２２に記憶させる。これにより、マニピュレータ３がアーク溶接を行なう際に、ロボット制御装置２の制御部２１が作業プログラムを読み込み、その作業プログラムで指定された溶接手順に従い、その作業プログラムで指定された溶接線に沿って溶接を行なうように、マニピュレータ３を制御することが可能となる。

ここで、プログラム作成部２１５は、作業プログラムを作成する際に、例えば、マニピュレータ３の位置を基準にして設定するロボット座標系とユーザ座標系とを一致させるキャリブレーションを行うことや、ユーザ座標系上にマニピュレータ３の位置情報等を指定してユーザ座標系上の位置とロボット座標系上の位置とを対応付けられるようにすることが好ましい。

図７を参照して、プログラム作成部２１５が作業プログラムを作成する際の動作の一例を説明する。

最初に、プログラム作成部２１５は、溶接線検出部２１４により検出された溶接線に基づいて、ユーザ座標系上での溶接線を特定する（ステップＳ１０１）。

続いて、プログラム作成部２１５は、上記ステップＳ１０１で特定した溶接線に対し、トーチの前進角、トーチの後退角及びトーチの狙い角等のトーチの姿勢を設定する（ステップＳ１０２）。

続いて、プログラム作成部２１５は、ユーザ座標系上でのマニピュレータ３の各部の姿勢を含めた軌跡を決定する（ステップＳ１０３）。

続いて、プログラム作成部２１５は、上記ステップＳ１０３で決定したユーザ座標系上での軌跡を、ロボット座標系上の軌跡に変換して作業プログラムを作成する（ステップＳ１０４）。そして、本動作を終了する。

ここで、上記動作の各ステップは、撮影端末１及びロボット制御装置２のどちらで実行してもよく、各ステップの一部を撮影端末１で実行し、残りの一部をロボット制御装置２で実行してもよい。

前述したように、実施形態に係る溶接線検出システムによれば、溶接対象及びその溶接対象により形成される空間内に置かれたマーカを撮影した画像に基づいて、マーカの特定位置を原点とするユーザ座標系を設定し、そのユーザ座標系に溶接対象に対応する点群データを描画し、その点群データに基づいて、溶接対象の溶接線を検出することができる。したがって、作業者が溶接対象に溶接線を引かなくても、溶接対象の溶接線を認識させることが可能となる。

それゆえ、実施形態に係る溶接線検出システムによれば、マニピュレータ３に動作を教示させる作業効率を高め、溶接品質を向上させることが可能となる。

また、前述した実施形態に係る撮影端末１を持ち運び可能な端末とすることで、作業者が任意の箇所から溶接対象を撮影することができるため、作業者が所望する位置にある溶接線を検出できるようになる。撮影端末１の位置が固定されている場合には、その固定された位置から撮影できない箇所や範囲にある溶接線を検出できないことになるが、溶接作業には、溶接対象の下に潜り込んで行うような作業も含まれる。したがって、持ち運び可能な撮影端末１を用いることで、例えば、溶接対象の下にある溶接線を撮影できる位置に作業者が移動して溶接対象を撮影することで、固定された位置にある撮影端末１では検出できない溶接線を検出できるようになる。

[変形例]
なお、本発明は、前述した実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において、他の様々な形で実施することができる。このため、上記実施形態はあらゆる点で単なる例示にすぎず、限定的に解釈されるものではない。

例えば、前述した実施形態に係る溶接線検出部２１４は、溶接対象の溶接線を検出しているが、溶接線の候補を検出することとしてもよい。この場合、検出した溶接線の候補の中から、実際に溶接を行なう溶接線を作業者に選択させる溶接線選択部を、さらに備えることが好ましい。これに加え、プログラム作成部２１５が、溶接線選択部により選択された溶接線に基づいて、アーク溶接を行なうための作業プログラムを作成することが好ましい。

また、前述した実施形態に係る撮影端末１の制御部１１が、溶接線検出部２１４により検出された溶接線を、撮影部１２により撮影される画像に重ね合わせて表示部１４に表示させてもよい。これにより、撮影端末１を操作する作業者が、未検出の溶接線があるかどうかを撮影端末１の表示部１４を見ながら容易に判断することが可能となる。言い換えると、撮影端末１による撮影をやり直すかどうかを判断するための有効な情報を作業者に提供することができる。

１…撮影端末、２…ロボット制御装置、３…マニピュレータ、１１…制御部、１２…撮影部、１３…通信部、１４…表示部、２１…制御部、２２…記憶部、２３…通信部、２４…溶接電源部、３１…多関節アーム、３２…溶接トーチ、１００…溶接ロボットシステム、２１１…撮影部、２１２…座標系設定部、２１３…点群データ描画部、２１４…溶接線検出部、２１５…プログラム作成部、Ｃ…通信ケーブル、Ｍ…マーカ、Ｎ…ネットワーク

Claims (7)

1. 溶接対象の画像を撮影する撮影端末と、
   撮影された前記画像に含まれるマーカを基準とするユーザ座標系を設定する座標系設定部と、
   前記画像に基づいて前記マーカの特定位置を検出し、当該検出した前記特定位置を、前記溶接対象までの距離を測定する距離計測センサにより取得された点群データ上に設定し、当該設定した前記特定位置を原点とする前記ユーザ座標系の座標が付与された前記点群データを、前記ユーザ座標系に描画する点群データ描画部と、
   前記ユーザ座標系に描画された前記点群データに基づいて、前記溶接対象の溶接線を検出する溶接線検出部と、
   を備える溶接線検出システム。
2. 前記溶接線検出部は、前記点群データに基づいて、前記溶接対象に対応する複数の面を認識し、当該複数の面に含まれる二つの面の交線を前記溶接線として検出する、
   請求項１記載の溶接線検出システム。
3. 前記溶接線検出部は、前記二つの面の交線の少なくとも一部を前記溶接線として検出する、
   請求項２記載の溶接線検出システム。
4. 前記溶接線検出部により検出された前記溶接線に基づいて溶接するための作業プログラムを作成するプログラム作成部を、
   さらに備える、請求項１又は２記載の溶接線検出システム。
5. 前記マーカは、ＡＲマーカである、
   請求項１又は２記載の溶接線検出システム。
6. 前記撮影端末は、前記画像を撮影するイメージセンサと、前記距離計測センサとを備える、
   請求項１又は２記載の溶接線検出システム。
7. 前記撮影端末は、
   前記画像を表示する表示部と、
   前記表示部に表示させる内容を制御する制御部と、をさらに備え、
   前記制御部は、前記溶接線検出部により検出された前記溶接線を前記画像に重ね合わせて前記表示部に表示させる、
   請求項６記載の溶接線検出システム。

Images