JP2023166121A - 溶接装置、溶接方法、およびプログラム - Google Patents

Abstract

【課題】熟練した溶接士の溶接技能を学習した学習モデルを用いて、より溶接品質の高い自動溶接を行うことができる溶接装置を提供する。【解決手段】溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接装置は、前記制御対象の先端と、前記溶接個所とを含む溶接画像を撮影するカメラと、過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するデータ生成部と、前記学習用データを用いて学習モデルを構築する学習部と、前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定する推定部と、前記操作の適正度合の推定結果に基づいて、前記制御対象を制御する制御部と、を備える。【選択図】図２

Description

本開示は、溶接装置、溶接方法、およびプログラムに関する。

溶接品質の向上（欠陥低減）を目的に、溶接の自動化ニーズが高まっている。例えば、特許文献１には、溶接個所を撮影した画像から電極、溶融池の端部などの特徴点を検出し、特徴点の座標位置に基づいて電極のウィービング幅などの制御を行う自動溶接システムが記載されている。

特開２０１８－１９２５２４号公報

熟練した溶接士は、電極や溶融池の端部などの位置のみならず、溶融池の形状や、母材の開先境界への溶融池のかかり具合など、定量化が難しい情報も判断材料にして、溶接トーチの位置などの調整を行っている。しかしながら、従来の自動溶接システムでは、座標情報以外の定量化が困難な情報を自動制御に利用することができない。このため、従来の自動溶接システムでは、熟練した溶接士に近いレベルまで溶接品質を高めることが困難であった。

本開示は、このような課題に鑑みてなされたものであって、熟練した溶接士の溶接技能を学習した学習モデルを用いて、より溶接品質の高い自動溶接を行うことができる溶接装置、溶接方法、およびプログラムを提供する。

本開示の一態様によれば、溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接装置は、前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するカメラと、過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するデータ生成部と、前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築する学習部と、前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定する推定部と、前記操作の適正度合の推定結果に基づいて、前記制御対象を制御する制御部と、を備える。

本開示の一態様によれば、溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接方法は、前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するステップと、前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築するステップと、前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定するステップと、前記操作の適正度合の推定結果に基づいて、前記制御対象を制御するステップと、を有する。

本開示の一態様によれば、プログラムは、溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接装置に、前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するステップと、前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築するステップと、前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定するステップと、前記操作の適正度合の推定結果に基づいて、前記制御対象を制御するステップと、を実行させる。

本開示に係る溶接装置、溶接方法、およびプログラムによれば、熟練した溶接士の溶接技能を学習した学習モデルを用いて、より溶接品質の高い自動溶接を行うことができる。

本開示の第１の実施形態に係る溶接装置の全体構成を示す概略図である。 本開示の第１の実施形態に係る制御装置の機能構成を示すブロック図である。 本開示の第１の実施形態に係る溶接装置の学習モード時の処理の一例を示すフローチャートである。 本開示の第１の実施形態に係る学習用データの一例を示す図である。 本開示の第１の実施形態に係る溶接装置の制御モード時の処理の一例を示すフローチャートである。 本開示の第２の実施形態に係る制御装置の機能構成を示すブロック図である。 本開示の第３の実施形態に係る学習用データの一例を示す図である。 本開示の第４の実施形態に係る溶接装置の全体構成を示す概略図である。 本開示の第４の実施形態に係る学習用データの一例を示す図である。 本開示の第５の実施形態に係る溶接装置の全体構成を示す概略図である。 本開示の第５の実施形態に係る学習用データの一例を示す図である。 本開示の第６の実施形態に係る制御装置の機能を説明するための図である。 本開示のその他の実施形態に係る溶接装置の機能構成を示すブロック図である。

＜第１の実施形態＞
以下、本開示の第１の実施形態に係る溶接装置１について、図１～図５を参照しながら説明する。

（溶接装置の全体構成）
図１は、本開示の第１の実施形態に係る溶接装置の全体構成を示す概略図である。
図１に示すように、溶接装置１は、本体部１０と、制御装置２０とを備えている。

本体部１０は、制御装置２０の制御に従って、母材３に対するアーク溶接を実行する。本体部１０は、溶接トーチ１００と、溶接ワイヤ供給部１１０と、カメラ１２０とを備えている。

溶接トーチ１００には、タングステン等からなる電極１０１が取り付けられている。

溶接ワイヤ供給部１１０は、ワイヤノズル１１１を介して溶接ワイヤ４０を母材３の溶接個所に向けて送出する。

溶接トーチ１００が電極１０１に電力を供給すると、電極１０１からのアーク放電により母材３（開先３１）が溶融し、溶接ワイヤ４０の先端部分が母材３の溶融部に供給されることで溶融し、母材および溶接ワイヤが希釈した溶融池４１が形成される。この溶融池が冷えて固化することにより、母材３が溶接される。

カメラ１２０は、電極１０１および溶接ワイヤ４０の先端と、母材３の溶接個所とを含む溶接画像を撮影する。

制御装置２０は、カメラ１２０が撮影した溶接画像に基づいて、電極１０１および溶接ワイヤ４０の少なくとも一方の制御対象を制御するための制御信号を出力する。なお、本実施形態では、図１に示すように、溶接装置１がタングステン等からなる電極１０１を用いる、いわゆるティグ溶接装置である例について説明する。また、本実施形態に係る制御装置２０は、電極１０１および溶接ワイヤ４０の両方を制御対象とする例について説明する。また、このとき電極１０１の制御においては電極を左右に揺動させる（ウィービング幅）の制御も含む。

なお、他の実施形態では、溶接装置１は、マグ溶接装置、ミグ溶接装置等であってもよい。この場合、溶接トーチ１００は、電極１０１に代えて、溶接ワイヤ供給部１１０から溶接トーチ１００内に送出された溶接ワイヤ４０を使用する。また、このとき、制御装置２０は、溶接ワイヤ４０のみを制御対象とする。

制御信号は、例えば、電極１０１の位置、溶接ワイヤ４０の位置、および溶接ワイヤ４０の引き出し量（送出量）などを指示する信号である。溶接トーチ１００は、制御装置２０の制御信号に従って、電極１０１の位置を左右方向（±Ｙ方向）に移動する。溶接ワイヤ供給部１１０は、制御装置２０の制御信号に従って、溶接ワイヤ４０の位置を上下方向（±Ｚ方向）、および左右方向（±Ｙ方向）に移動する。また、溶接ワイヤ供給部１１０は、制御装置２０の制御信号に従って、溶接ワイヤ４０を母材３に向けて送出する。

（制御装置の機能構成）
図２は、本開示の第１の実施形態に係る制御装置の機能構成を示すブロック図である。
図２に示すように、制御装置２０は、プロセッサ２１と、メモリ２２と、ストレージ２３と、通信インタフェース２４とを備えている。

プロセッサ２１は、所定のプログラムに従って動作することにより、取得部２１０、推定部２１１、制御部２１２、データ生成部２１３、および学習部２１４としての機能を発揮する。

取得部２１０は、本体部１０のカメラ１２０が撮影した溶接画像を取得する。

推定部２１１は、溶接画像を入力とし、溶接ワイヤ４０および電極１０１の操作の適正度合を出力とする学習モデルＭを用いて、取得した溶接画像における溶接ワイヤ４０および電極１０１の操作の適正度合を推定する。なお、推定部２１１は、後述の学習部２１４により予め学習済みの学習モデルＭをストレージ２３から読み出して使用する。

推定部２１１は、例えば、電極１０１の左右および上下それぞれの方向への移動に対する操作の適正度合を、「過大」、「適正」、「過小」の三段階で推定する。また、推定部２１１は、溶接ワイヤ４０の左右および上下それぞれの方向への移動に対する操作を、「過大」、「適正」、「過小」の三段階で推定する。なお、推定部２１１は、溶接ワイヤ４０の引き出し量に関する操作を「過大」、「適正」、「過小」の三段階でさらに表してもよい。また、他の実施形態では、操作の評価を三段階よりも多く細分化してもよい。

制御部２１２は、推定部２１１の推定結果に基づいて、溶接ワイヤ４０および電極１０１を制御する。例えば、制御部２１２は、電極１０１の左方向への操作について、「過大」と推定された場合は電極１０１を右方向へ、「過少」と推定された場合は電極１０１を左方向へ移動する制御信号を生成して、溶接トーチ１００へ出力する。そうすると、溶接トーチ１００は、制御信号に従って、電極１０１を左右へ移動する。また、制御部２１２は、電極１０１の左方向への操作について、「適正」と評価された場合は電極１０１の左右方向への移動制御を行わない（制御信号を出力しない、または、左右方向の位置を保持する制御信号を出力する）。そうすると、溶接トーチ１００は、次の制御信号を受け付けるまで、電極１０１の左右方向の位置を移動しない。

データ生成部２１３は、過去に撮影された溶接画像である学習用画像と、学習用画像を撮影した際に溶接士が行った溶接ワイヤ４０および電極１０１の操作の適正度合を示す情報と、を含む学習用データを生成する。

学習部２１４は、学習用データを用いて深層学習を行うことにより、学習モデルＭを構築する。

メモリ２２は、プロセッサ２１の動作に必要なメモリ領域を有する。

ストレージ２３は、いわゆる補助記憶装置であって、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）等である。ストレージ２３には、カメラ１２０が撮影した溶接画像や、学習済みの学習モデルＭなどが記憶される。

通信インタフェース２４は、外部装置（本体部１０など）との間で各種情報（信号）の送受信を行うためのインタフェースである。

なお、制御装置２０のプロセッサ２１が実行する所定のプログラムは、コンピュータ読み取り可能な記録媒体に記憶される。また、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしてもよい。さらに、このプログラムは、上述した機能の一部を実現するためのものであってもよい。更に、上述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

本実施形態に係る制御装置２０は、学習モードおよび制御モードの２つのモードを有している。制御装置２０は、学習モード時、学習部２１４による学習モデルＭの構築を行う。また、制御装置２０は、制御モード時、学習部２１４により学習済みの学習モデルＭを使って、溶接装置１の本体部１０の制御（溶接の自動実行）を行う。以下、各モード時の処理の詳細について説明する。

（学習モードの処理フロー）
図３は、本開示の第１の実施形態に係る溶接装置の学習モード時の処理の一例を示すフローチャートである。
ここでは、図３を参照しながら、学習モードにおける溶接装置１の処理の流れについて説明する。

まず、制御装置２０の学習部２１４は、学習に用いる溶接画像および操作情報を取得する（ステップＳ１００）。例えば、学習部２１４は、過去に溶接士（熟練した溶接士）が実施した溶接の様子を撮影した複数の溶接画像と、各溶接画像を撮影したときに溶接士が電極１０１および溶接ワイヤ４０に対し行った操作の内容（操作情報）とを対応付けて取得する。

また、データ生成部２１３は、取得した溶接画像および操作情報に基づいて、学習用データＤ１および評価用データＤ２を作成する（ステップＳ１０１）。

図４は、本開示の第１の実施形態に係る学習用データの一例を示す図である。
例えば、図４に示すように、データ生成部２１３は、各溶接画像について、電極１０１および溶接ワイヤ４０の操作の適正度合を示すラベル（正解データ）を付加して、学習用データＤ１を生成する。例えば、電極１０１および溶接ワイヤ４０のそれぞれについて「過大」、「適正」、「過小」のいずれかが入力される。データ生成部２１３は、同様に、全ての溶接画像について、操作がどの方向に対して「過大」、「適正」、「過小」であるか、ラベル付けを行う。なお、溶接士が各溶接画像を見て、ラベルを指定する操作を行ってもよい。データ生成部２１３は、各溶接画像について、溶接士が指定したラベルを付加して学習用データＤ１を生成する。また、データ生成部２１３は、ラベル付けを行った学習用データＤ１のうち、一部を評価用データＤ２として分割しておく。

なお、データ生成部２１３は、操作情報の時系列に基づいて、各溶接画像における電極１０１および溶接ワイヤ４０の操作の適正度合を判断し、ラベルを自動的に付加してもよい。例えば、図４に示す溶接画像に対応付けられた操作情報と、その前の時刻の操作情報から、溶接士が電極１０１の右への移動を止めて左に移動させる操作、および、溶接ワイヤ４０を停止する操作（無操作）を行ったことを検出したとする。この場合、データ生成部２１３は、この溶接画像について、電極１０１の左右方向（右方向）への操作が「過大」であり、溶接ワイヤ４０の左右方向の操作が「適正」であるとのラベルを付加する。また、例えば、操作情報の時系列から、電極１０１を右に移動し続ける操作を検出した場合に、データ生成部２１３は、電極１０１の左右方向（右方向）への操作が「過小」であるとのラベルを付加する。

次に、学習部２１４は、溶接画像（学習用画像）と、ラベル（正解データ）とからなる学習用データＤ１を用いて深層学習を行った学習モデルＭを構築する（ステップＳ１０２）。

例えば、図４に示すように、溶接個所を撮影した溶接画像には母材３、開先３１、電極１０１、溶接ワイヤ４０、溶融池４１、ビード４２、アークＡなど様々な要素が含まれる。上記したように、熟練した溶接士は、溶融池４１の端部位置や、電極１０１および溶接ワイヤ４０の先端位置などの位置情報のみではなく、溶融池４１の開先３１の境界へのかかり具合（開先の濡れ性）、溶融池４１の溶接済み箇所（ビード４２上）へのかかり具合などの定量化が困難な情報も加味して、電極１０１および溶接ワイヤ４０の操作量を調節している。本実施形態に係る溶接装置１において、学習部２１４は、溶接画像の特徴量と、この溶接画像を見て溶接士が実行した操作との関係を学習することにより、定量化が困難な情報を学習モデルＭに組み込むことが可能となる。これにより、学習部２１４は、溶接画像に基づいて、熟練した溶接士の判断により近い推定を行うことができる学習モデルＭを構築することができる。

次に、学習部２１４は、ステップＳ１０２で構築した学習モデルＭを学習用データＤ１で評価する（ステップＳ１０３）。この学習用データＤ１は、ステップＳ１０２と同じデータセットが用いられる。具体的には、学習部２１４は、学習モデルＭに学習用データＤ１の溶接画像のみを入力して、各溶接画像の操作量の適正度合を出力させる。学習部２１４は、学習モデルＭの各溶接画像の出力結果と、正解データとに基づいて、学習用データＤ１の性能評価を行う。

さらに、学習部２１４は、ステップＳ１０２で構築した学習モデルＭを評価用データＤ２で評価する（ステップＳ１０４）。この評価用データＤ２は、学習モデルＭの学習に用いられていないデータセットである。学習部２１４は、学習モデルＭに評価用データＤ２の溶接画像のみを入力して、各溶接画像の操作量の適正度合を出力させる。学習部２１４は、学習モデルＭの各溶接画像の出力結果と、正解データとに基づいて、評価用データＤ２の性能評価を行う。なお、学習部２１４は、学習用データＤ１および評価用データＤ２それぞれに対する性能評価結果として、例えば、正解率、損失関数などを算出する。

また、学習部２１４は、学習モデルＭと、学習用データＤ１の性能評価結果と、評価用データＤ２の性能評価結果とを紐づけてストレージ２３に記憶する（ステップＳ１０５）。

次に、学習部２１４は、終了条件を満たしたか判断する（ステップＳ１０６）。例えば、学習部２１４は、学習用データＤ１の性能評価結果と、評価用データＤ２の性能評価結果がいずれも所定値以上で収束した場合に、終了条件を満たしたと判断する（ステップＳ１０６；ＹＥＳ）。この場合、学習部２１４は、構築した複数の学習モデルＭのうち、最も性能評価結果の高い学習モデルＭを、制御モードで使用するモデルとして採用する（ステップＳ１０７）。

一方、学習部２１４は、終了条件を満たしていない場合（ステップＳ１０６；ＮＯ）、ステップＳ１０２に戻り、新たに学習モデルＭを構築する。

（制御モードの処理フロー）
図５は、本開示の第１の実施形態に係る溶接装置の制御モード時の処理の一例を示すフローチャートである。
ここでは、図５を参照しながら、制御モードにおける溶接装置１の処理の流れについて説明する。

溶接装置１が母材３の溶接を自動実行する際、カメラ１２０は、母材３の溶接個所を撮影する。制御装置２０の取得部２１０は、カメラ１２０が撮影した溶接画像を取得する（ステップＳ１１０）。

次に、推定部２１１は、現時点における電極１０１および溶接ワイヤ４０の操作の適正度合を推定する（ステップＳ１１１）。具体的には、推定部２１１は、学習モデルＭに取得した溶接画像を入力して、出力された推定結果（「過大」、「適正」、「過小」の何れかを示す情報）を得る。

次に、制御部２１２は、推定部２１１の推定結果に基づいて、電極１０１および溶接ワイヤ４０を制御するための制御信号を生成し、溶接トーチ１００および溶接ワイヤ供給部１１０それぞれに出力する（ステップＳ１１２）。例えば、図４の例のように、電極１０１の右方向への操作が「過大」である場合、制御部２１２は、電極１０１を左方向に移動させる制御信号を生成して、溶接トーチ１００に出力する。また、図４の例のように、溶接ワイヤ４０の下方向への操作が「過小」である場合、制御部２１２は、電極１０１を下方向に移動させる制御信号を生成して、溶接トーチ１００に出力する。さらに、図４の例のように、電極１０１の下方向への操作、および溶接ワイヤ４０の右方向への操作が「適正」である場合、制御部２１２は、電極１０１の上下方向の移動、および、溶接ワイヤ４０の左右方向への移動が不要であると判断し、溶接ワイヤ供給部１１０にこれらの移動に関する制御信号を出力しなくてもよい。

溶接装置１は、時々刻々と図５の一連の処理を繰り返して、自動的に溶接を行う。

（作用、効果）
以上のように、本実施形態に係る溶接装置１は、電極１０１および溶接ワイヤ４０の先端と、母材３の溶接個所とを含む溶接画像を撮影するカメラ１２０と、過去に撮影された溶接画像である学習用画像と、学習用画像を見て溶接士が判断した電極１０１および溶接ワイヤ４０の操作とを含む学習用データを用いて学習モデルＭを構築する学習部２１４と、学習モデルＭを用いて、取得した溶接画像における操作の適正度合を推定する推定部２１１と、推定部２１１の推定結果に基づいて電極１０１および溶接ワイヤ４０を制御する制御部２１２と、を備える。

例えば、電極、溶接ワイヤ、溶融池などの位置関係が同じであっても、溶接士は、溶接画像から得られる溶接個所の様々な状態（例えば、開先の濡れ性など）との組み合わせから、電極や溶接ワイヤの操作が適正であるか、過大または過小であるか、異なる判断をする場合がある。このため、従来技術のように、各部の位置座標のみに基づいて電極や溶接ワイヤの制御を行った場合、溶接士の判断とは異なる制御を行ってしまい、溶接士が手動で溶接するよりも溶接品質が低下する可能性があった。これに対し、本実施形態に係る溶接装置１は、上記したように、学習用画像の特徴量と、溶接士が学習用画像内の溶接個所の状態を見ながら実行する操作との関係を学習することにより、各部の位置情報のみならず、溶接士が溶接の判断に用いる情報であって、定量化が困難な情報についても学習モデルＭに組み込むことが可能となる。これにより、制御モード時の溶接装置１は、学習モデルＭにより、操作の適正度合（例えば、操作が「過大」か、「適正」か、「過小」か）を、溶接士の判断に近いレベルで推定することができる。また、溶接装置１は、この推定結果に基づいて電極１０１および溶接ワイヤ４０を制御して自動溶接を行うことにより、溶接士が手動で行った場合の溶接品質に近づけることができる。つまり、本実施形態に係る溶接装置１は、溶接画像内の各部の位置情報のみに基づいて制御を行う従来技術と比較して、溶接品質の高い自動溶接を行うことができる。

＜第２の実施形態＞
次に、本開示の第２の実施形態に係る溶接装置１について、図６を参照しながら説明する。
第１の実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

図６は、本開示の第２の実施形態に係る学習用データの一例を示す図である。
図６に示すように、本実施形態に係るデータ生成部２１３は、図３のステップＳ１０１において、過去に撮影された溶接画像において溶接士が着目しない領域をマスキングした学習用画像を含む学習用データＤ１を生成する。

溶接士は、溶融池４１の開先３１側面へのなじみ（開先３１の形状の変化）や、ビード４２への溶融池４１の被さり方などを見て、電極１０１および溶接ワイヤ４０の操作量が適正であるかを判断している。例えば、図７に示すように、溶接士は、溶接画像のこれらの特徴が現れる着目領域Ｒ１を参照して、操作量の判断を行う。しかしながら、深層学習では、溶接画像内に含まれる分かりやすい特徴（例えば、アークＡ周辺などの輝度変化の大きな箇所）を学習してしまい、溶接士が実際に着目している領域（着目領域Ｒ１）の特徴を十分に学習できない可能性がある。

このため、本実施形態に係るデータ生成部２１３は、図６に示すように、溶接画像の溶接士が着目しない非着目領域Ｒ２を恣意的にマスキングした学習用データＤ１を生成する。例えば、データ生成部２１３は、各溶接画像について、溶接士が指定した領域を非着目領域Ｒ２として設定する。非着目領域Ｒ２は、一つであってもよいし、複数であってもよい。非着目領域Ｒ２として、例えば、電極１０１や輝度変化の大きいアークＡが含まれる領域や、開先肩（溶接されない箇所）が含まれる領域などが設定される。

また、本実施形態に係る学習部２１４は、図３のステップＳ１０２において、マスキング済みの溶接画像（学習用画像）を含む学習用データＤ１に基づいて、学習モデルＭの学習を行う。

このようにすることで、溶接装置１は、特定条件の溶接画像でしか学習できない（学習用データＤ１のサンプル数が少ない）場合であっても、学習モデルＭが着目領域Ｒ１における共通的特徴量を獲得できるように、効果的に深層学習を行うことができる。また、これにより、溶接装置１は、制御モード時に、溶接画像における着目領域Ｒ１に含まれる特徴に基づいて、電極１０１および溶接ワイヤ４０の操作が適正であるか否かを精度よく推定することが可能となる。

＜第３の実施形態＞
次に、本開示の第３の実施形態に係る溶接装置１について、図７を参照しながら説明する。
上述の各実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

図７は、本開示の第３の実施形態に係る学習用データの一例を示す図である。
図７に示すように、本実施形態に係るデータ生成部２１３は、図３のステップＳ１０１において、過去に撮影された溶接画像の輪郭を抽出した学習用画像を含む学習用データＤ１を生成する。

第２の実施形態で述べたように、深層学習では、溶接画像内に含まれる分かりやすい特徴（例えば、アークＡ周辺などの輝度の変化の大きな箇所）を学習してしまい、実際に溶接士が着目する領域の特徴を十分に学習できない可能性がある。このため、本実施形態に係るデータ生成部２１３は、溶接士が注目していない領域の学習を行ってしまうことを抑制するために、溶接画像から操作の判断に不要な情報を省略して学習用データＤ１を生成する。

具体的には、データ生成部２１３は、元となる溶接画像に既知のエッジ検出処理を施して、溶接画像に含まれる各部の輪郭のみを検出して抽出したエッジ画像を生成する。また、データ生成部２１３は、エッジ画像から、操作の判断に不要な情報を除去する処理をさらに行ってもよい。図７の例では、データ生成部２１３は、開先の側壁に映る電極の鏡像を除去する処理を行う。

また、本実施形態に係る学習部２１４は、図３のステップＳ１０２において、エッジ画像である溶接画像（学習用画像）を含む学習用データＤ１に基づいて、学習モデルＭの学習を行う。

このようにすることで、溶接装置１は、入力となる画像に対して、必要最低限の情報である各部のエッジのみを含む画像を用いることにより、溶接士が注目していない領域を省いて、効率的に学習モデルＭを学習することができる。これにより、溶接装置１は、制御モード時に、電極１０１および溶接ワイヤ４０の操作が適正であるか否かを精度よく推定することが可能となる。この結果、溶接装置１は、操作の適正度合に基づいて、電極１０１および溶接ワイヤ４０を適切に制御することができる。

＜第４の実施形態＞
次に、本開示の第４の実施形態に係る溶接装置１について、図８～図９を参照しながら説明する。
上述の各実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

図８は、本開示の第４の実施形態に係る溶接装置の全体構成を示す概略図である。
図８に示すように、本実施形態に係る溶接装置１は、溶接ワイヤ供給部１１０のワイヤノズル１１１に設けられたトルクセンサ１１２（第１センサ）をさらに備えている。トルクセンサ１１２は、溶接ワイヤ４０の先端が母材３に接触した際、ワイヤノズル１１１に生じる力を検出する。

本実施形態に係る取得部２１０は、図３のステップＳ１００において、トルクセンサ１１２から、溶接ワイヤ４０の母材３への接触状態を検出可能な第１センサ情報をさらに取得する。

図９は、本開示の第４の実施形態に係る学習用データの一例を示す図である。
データ生成部２１３は、図３のステップＳ１０１において、第１センサ情報に基づいて溶接ワイヤ４０の操作を検出して、溶接ワイヤ４０の上下方向（±Ｚ方向）における操作の適正度合を特定する。また、データ生成部２１３は、トルクセンサ１１２のセンサ情報と同時刻に取得した溶接画像に溶接ワイヤ４０の上下方向（±Ｚ方向）における操作の適正度合を示す情報（ラベル）を付加した学習用データＤ１（図９）を生成する。例えば、トルクセンサ１１２の第１センサ情報の時系列から、溶接士が溶接ワイヤ４０を下側へ移動し続ける操作を行ったことを検出した場合、データ生成部２１３は、このセンサ情報に対応する溶接画像に溶接ワイヤ４０の上下方向（下方向）への操作が「過小」であるとのラベルを付加する。なお、他の実施形態では、溶接士が溶接画像および第１センサ情報の組み合わせを見て、ラベルを指定してもよい。この場合、データ生成部２１３は、溶接画像に溶接士が指定したラベルを付した学習用データＤ１を生成する。

学習部２１４は、図３のステップＳ１０２において、データ生成部２１３が生成した学習用データＤ１に基づいて学習モデルＭを学習する。

図８の例のように、カメラ１２０を溶接個所の斜め上前方（＋Ｚ方向且つ＋Ｘ方向）に配置したとき、特に溶接ワイヤ４０の剛性が小さく柔らかい（溶けやすい）場合においては、溶接画像における溶接ワイヤ４０の位置の差異がわずかとなる。そうすると、溶接画像から溶接ワイヤ４０の上下方向（±Ｚ方向）の位置を特定することが困難となる場合がある。これに対し、本実施形態に係る溶接装置１は、トルクセンサ１１２で検出した溶接ワイヤ４０の接触状態から、溶接ワイヤ４０の上下方向における操作の適正度合を学習した学習モデルＭを構築することが可能となる。

また、制御モード時には、取得部２１０は、図５のステップＳ１１０において、溶接画像とともに、トルクセンサ１１２の第１センサ情報を取得する。推定部２１１は、図５のステップＳ１１１において、溶接画像と第１センサ情報とを学習モデルＭに入力し、現時点における電極１０１および溶接ワイヤ４０の操作の適正度合を出力として得る。また、制御部２１２は、図５のステップＳ１１２において、電極１０１および溶接ワイヤ４０の操作の適正度合に基づいて、電極１０１および溶接ワイヤ４０を制御するための制御信号を生成および出力する。これにより、溶接装置１は、制御モード時に、溶接ワイヤ４０の上下方向における操作が適正であるか否かについても、精度よく推定することが可能となる。このため、溶接装置１は、溶接ワイヤ４０の上下方向についても適切に制御して、溶接品質をさらに向上させることができる。

なお、第４の実施形態では、データ生成部２１３が、トルクセンサ１１２のセンサ情報に基づき、溶接ワイヤ４０の上下方向の操作の適正度合の情報（ラベル）を付加した学習用データＤ１を生成する例について説明したが、これに限られることはない。他の実施形態では、データ生成部２１３は、トルクセンサ１１２の第１センサ情報を直接、学習用データＤ１に含めてもよい。学習部２１４は、溶接画像と、ラベルと、トルクセンサ１１２の第１センサ情報とに基づいて、電極１０１の左右方向の操作の適正度合と、溶接ワイヤ４０の左右方向および上下方向の操作の適正度合とを学習する。このような態様であっても、溶接装置１は、溶接ワイヤ４０の上下方向における操作が適正であるか否かについて精度よく推定することが可能となる。

＜第５の実施形態＞
次に、本開示の第５の実施形態に係る溶接装置１について、図１０～図１１を参照しながら説明する。
上述の各実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

図１０は、本開示の第５の実施形態に係る溶接装置の全体構成を示す概略図である。
図１０に示すように、本実施形態に係る溶接装置１は、溶接トーチ１００に設けられ、溶接トーチ１００の位置および姿勢の少なくとも一方を検出するセンサ１０２（第２センサ）をさらに備えている。センサ１０２は、例えば、溶接トーチ１００の姿勢（角度）を検出可能な加速度センサである。また、センサ１０２は、溶接トーチ１００の位置および姿勢を検出可能なエンコーダである。さらに、センサ１０２は、加速度センサおよびエンコーダの組み合わせであってもよい。溶接トーチ１００の位置および姿勢は、例えば、基準位置（例えば、溶接装置１を設置時の初期位置、初期角度）に対する相対位置および相対角度で表される。

本実施形態に係る取得部２１０は、図３のステップＳ１００において、センサ１０２から、溶接ワイヤ４０の位置または姿勢を検出可能な第２センサ情報をさらに取得する。

図１１は、本開示の第５の実施形態に係る学習用データの一例を示す図である。
データ生成部２１３は、図３のステップＳ１０１において、センサ１０２の第２センサ情報を含む学習用データＤ１（図１１）を生成する。

学習部２１４は、図３のステップＳ１０２において、データ生成部２１３が生成した学習用データＤ１に基づいて学習モデルＭを学習する。

溶接中に溶接トーチ１００の位置や姿勢が変化すると、溶接個所の状態（例えば、溶融池４１の流れ具合など）が変化する。このため、溶接トーチ１００の位置および姿勢を変えながら溶接を行うケースでは、溶接画像のみに基づいて学習モデルＭの学習を行うと、操作の適正度合の推定精度が低下する可能性がある。これに対し、本実施形態に係る溶接装置１は、溶接トーチ１００の位置および姿勢を検出可能な第２センサ情報を含む学習用データＤ１を用いることにより、溶接トーチ１００の位置および姿勢を加味した学習モデルＭを学習することができる。

また、制御モード時には、取得部２１０は、図５のステップＳ１１０において、溶接画像とともに、センサ１０２の第２センサ情報を取得する。推定部２１１は、図５のステップＳ１１１において、溶接画像と第２センサ情報とを学習モデルＭに入力し、溶接画像を撮影した時点における溶接装置１の位置および姿勢に応じた、電極１０１および溶接ワイヤ４０の操作の適正度合を出力として得る。また、制御部２１２は、図５のステップＳ１１２において、電極１０１および溶接ワイヤ４０の操作の適正度合に基づいて、電極１０１および溶接ワイヤ４０を制御するための制御信号を生成および出力する。

このような構成を有していることにより、溶接装置１は、溶接トーチ１００の位置や姿勢を変えながら溶接するケースであっても、電極１０１および溶接ワイヤ４０の操作の適正度合を精度よく推定することが可能となる。この結果、溶接装置１は、溶接トーチ１００の位置や姿勢の変化に追随して、電極１０１および溶接ワイヤ４０を適切に制御し、溶接品質を向上させることができる。

＜第６の実施形態＞
次に、本開示の第６の実施形態に係る溶接装置１について、図１２を参照しながら説明する。
上述の各実施形態と共通の構成要素には同一の符号を付して詳細説明を省略する。

溶接装置１のセッティング（溶接トーチ１００、溶接ワイヤ供給部１１０、カメラ１２０の配置等）のばらつきや、母材３のセッティングのばらつきにより、溶接画像が変化すると、学習モデルＭを効果的に学習できない可能性がある。このため、本実施形態に係るデータ生成部２１３は、図３のステップＳ１０１において、過去に撮影された溶接画像に対し、溶接装置１と母材３との相対位置のばらつきを模擬した画像処理を加えた学習用画像を含む学習用データＤ１を生成する。

図１２は、本開示の第６の実施形態に係る制御装置の機能を説明するための図である。
具体的には、データ生成部２１３は、図１２に示すように、元の溶接画像に対し、各種画像処理を施した複数の加工画像を生成し、各加工画像を含む学習用データＤ１を生成する。

例えば、データ生成部２１３は、溶接画像を平行移動、または回転させた加工画像を生成して、溶接装置１および母材のセッティングのばらつきを模擬した学習用データＤ１を生成する。データ生成部２１３は、溶接画像を拡大または縮小した加工画像を生成して、ピント合わせによる画角のばらつきを模擬した学習用データＤ１を生成する。データ生成部２１３は、溶接画像の輝度を変更した加工画像を生成して、輝度のばらつきを模擬した学習用データＤ１を生成する。データ生成部２１３は、溶接画像にガウシアンノイズを付与した加工画像を生成して、溶接画像がピンぼけ状態で撮影されたケースを模擬した学習用データＤ１を生成する。データ生成部２１３は、溶接画像のアスペクト比を変更した加工画像を生成して、電極１０１と溶接ワイヤ４０との間の距離のばらつきを模擬した学習用データＤ１を生成する。

また、本実施形態に係る学習部２１４は、図３のステップＳ１０２において、元の溶接画像を含む学習用データＤ１と、加工画像（学習用画像）を含む学習用データＤ１とに基づいて、学習モデルＭの学習を行う。

このようにすることで、溶接装置１は、セッティングなどのばらつきを加味した学習モデルＭを構築することができる。これにより、溶接装置１は、制御モードにおいて、セッティングなどのばらつきに影響されることなく、精度よく電極１０１および溶接ワイヤ４０を制御することが可能となる。

＜その他の実施形態＞
図１３は、本開示のその他の実施形態に係る溶接装置の機能構成を示すブロック図である。
上述の各実施形態では、制御装置２０が学習用データＤ１および評価用データＤ２を生成するデータ生成部２１３を有する例について説明したが、これに限られることはない。例えば、図１３に示すように、溶接装置１は、制御装置２０とは別に、データ生成部２１３を有するデータ生成サーバ５０を備えていてもよい。この場合、学習用データＤ１および評価用データＤ２は、データ生成サーバ５０のデータ生成部２１３において生成される。また、制御装置２０は、通信インタフェース２４を介してデータ生成サーバ５０から学習用データＤ１および評価用データＤ２を取得して、ストレージ２３に記憶する。このような構成であっても、溶接装置１は、上述の各実施形態と同様の効果を得ることが可能である。

以上のとおり、本開示に係るいくつかの実施形態を説明したが、これら全ての実施形態は、例として提示したものであり、発明の範囲を限定することを意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で種々の省略、置き換え、変更を行うことができる。これらの実施形態及びその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

＜付記＞
上述の実施形態に記載の溶接装置、溶接方法、およびプログラムは、例えば以下のように把握される。

（１）本開示の第１の態様によれば、溶接ワイヤ４０および電極１０１の少なくとも一方の制御対象を制御して溶接を行う溶接装置１は、制御対象の先端と、溶接個所とを含む溶接画像を撮影するカメラ１２０と、過去に撮影された溶接画像である学習用画像と、学習用画像を見て溶接士が判断した制御対象の操作の適正度合を示す情報と、を含む学習用データＤ１を生成するデータ生成部と、学習用データＤ１を用いて、溶接画像を入力とし、制御対象の操作の適正度合を出力する学習モデルＭを構築する学習部２１４と、学習モデルＭを用いて、取得した溶接画像における制御対象の操作の適正度合を推定する推定部２１１と、操作の適正度合の推定結果に基づいて、制御対象を制御する制御部２１２と、を備える。

このようにすることで、溶接装置１は、学習用画像の特徴量と、学習用画像を撮影した際に、溶接士が画像内の溶接個所の状態を見ながら実行する操作との関係を学習することにより、溶接画像内の各部の位置情報のみならず、溶接士が溶接の判断に用いる情報であって、定量化が困難な情報を学習モデルＭに組み込むことが可能となる。このように、溶接装置１は、熟練した溶接士の判断を学習した学習モデルＭを用いて操作の適正度合を推定することにより、制御モード時に溶接品質の高い自動溶接を行うことができる。

（２）本開示の第２の態様によれば、第１の態様に係る溶接装置１において、データ生成部２１３は、過去に撮影された溶接画像において溶接士が着目しない領域をマスキングした学習用画像を含む学習用データＤ１を生成する。

このようにすることで、溶接装置１は、特定条件の溶接画像でしか学習できない（学習用データＤ１のサンプル数が少ない）場合であっても、学習モデルＭが着目領域Ｒ１における共通的特徴量を獲得できるように、効果的に深層学習を行うことができる。また、これにより、溶接装置１は、制御モード時に、溶接画像における着目領域Ｒ１に含まれる特徴に基づいて、電極１０１および溶接ワイヤ４０の操作が適正であるか否かを精度よく推定することが可能となる。

（３）本開示の第３の態様によれば、第１の態様に係る溶接装置１において、データ生成部２１３は、過去に撮影された溶接画像の輪郭を抽出した学習用画像を含む学習用データＤ１を生成する。

このようにすることで、溶接装置１は、入力となる画像に対して、必要最低限の情報である各部のエッジのみを含む画像を用いることにより、溶接士が注目していない領域を省いて、効率的に学習モデルＭを学習することができる。これにより、溶接装置１は、制御モード時に、電極１０１および溶接ワイヤ４０の操作が適正であるか否かを精度よく推定することが可能となる。この結果、溶接装置１は、操作の適正度合に基づいて、電極１０１および溶接ワイヤ４０を適切に制御することができる。

（４）本開示の第４の態様によれば、第１から第３の何れか一の態様に係る溶接装置１において、データ生成部２１３は、過去に撮影された溶接画像に対し、制御対象、カメラ１２０、および溶接個所の相対位置のばらつきを模擬した画像処理を加えた学習用画像を含む学習用データＤ１を生成する。

このようにすることで、溶接装置１は、セッティングなどのばらつきを加味した学習モデルＭを構築することができる。これにより、溶接装置１は、制御モードにおいて、セッティングなどのばらつきに影響されることなく、精度よく電極１０１および溶接ワイヤ４０を制御することが可能となる。

（５）本開示の第５の態様によれば、第１から第４の何れか一の態様に係る溶接装置１は、溶接ワイヤ４０を送出するワイヤノズル１１１に設けられ、溶接ワイヤ４０の溶接個所への接触状態を検出可能な第１センサ情報を出力する第１センサ１１２をさらに備え、学習部２１４は、第１センサ情報に基づいて特定した溶接ワイヤ４０の操作をさらに含む学習用データＤ１を用いて学習モデルＭを構築する。

（６）本開示の第６の態様によれば、第１から第５の何れか一の態様に係る溶接装置１は、溶接装置１に設けられ、溶接装置１の位置および姿勢の少なくとも一方を検出可能な第２センサ情報を出力する第２センサ１０２をさらに備え、学習部２１４は、第２センサ情報をさらに含む学習用データＤ１を用いて学習モデルＭを構築する。

このようにすることで、溶接装置１は、溶接トーチ１００の位置や姿勢を変えながら溶接するケースであっても、電極１０１および溶接ワイヤ４０の操作の適正度合を精度よく推定することが可能となる。この結果、溶接装置１は、溶接トーチ１００の位置や姿勢の変化に追随して、電極１０１および溶接ワイヤ４０を適切に制御することができる。

（７）本開示の第７の態様によれば、溶接ワイヤ４０および電極１０１の少なくとも一方の制御対象を制御して溶接を行う溶接方法は、制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、過去に撮影された溶接画像である学習用画像と、学習用画像を見て溶接士が判断した制御対象の操作の適正度合を示す情報と、を含む学習用データＤ１を生成するステップと、学習用データＤ１を用いて、溶接画像を入力とし、制御対象の操作の適正度合を出力する学習モデルＭを構築するステップと、学習モデルＭを用いて、取得した溶接画像における制御対象の操作の適正度合を推定するステップと、操作の適正度合の推定結果に基づいて、制御対象を制御するステップと、を有する。

（８）本開示の第８の態様によれば、プログラムは、溶接ワイヤ４０および電極１０１の少なくとも一方の制御対象を制御して溶接を行う溶接装置１に、制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、過去に撮影された溶接画像である学習用画像と、学習用画像を見て溶接士が判断した制御対象の操作の適正度合を示す情報と、を含む学習用データＤ１を生成するステップと、学習用データＤ１を用いて、溶接画像を入力とし、制御対象の操作の適正度合を出力する学習モデルＭを構築するステップと、学習モデルＭを用いて、取得した溶接画像における制御対象の操作の適正度合を推定するステップと、操作の適正度合の推定結果に基づいて、制御対象を制御するステップと、を実行させる。

１ 溶接装置
１０ 本体部
１００ 溶接トーチ
１０１ 電極
１０２ センサ（第２センサ）
１１０ 溶接ワイヤ供給部
１１１ ワイヤノズル
１１２ トルクセンサ（第１センサ）
１２０ カメラ
２０ 制御装置
２１ プロセッサ
２１０ 取得部
２１１ 推定部
２１２ 制御部
２１３ データ生成部
２１４ 学習部
２２ メモリ
２３ ストレージ
２４ 通信インタフェース
３ 母材
４０ 溶接ワイヤ
５０ データ生成サーバ

Claims (8)

1. 溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接装置であって、
   前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するカメラと、
   過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するデータ生成部と、
   前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築する学習部と、
   前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定する推定部と、
   前記操作の適正度合の推定結果に基づいて、前記制御対象を制御する制御部と、
   を備える溶接装置。
2. 前記データ生成部は、過去に撮影された前記溶接画像において前記溶接士が着目しない領域をマスキングした前記学習用画像を含む学習用データを生成する、
   請求項１に記載の溶接装置。
3. 前記データ生成部は、過去に撮影された前記溶接画像の輪郭を抽出した前記学習用画像を含む学習用データを生成する、
   請求項１に記載の溶接装置。
4. 前記データ生成部は、過去に撮影された前記溶接画像に対し、前記制御対象、前記カメラ、および前記溶接個所の相対位置のばらつきを模擬した画像処理を加えた前記学習用画像を含む学習用データを生成する、
   請求項１、２または３に記載の溶接装置。
5. 前記溶接ワイヤを送出するワイヤノズルに設けられ、前記溶接ワイヤの前記溶接個所への接触状態を検出可能な第１センサ情報を出力する第１センサをさらに備え、
   前記学習部は、前記第１センサ情報に基づいて特定した前記溶接ワイヤの操作をさらに含む前記学習用データを用いて前記学習モデルを構築する、
   請求項１、２または３に記載の溶接装置。
6. 前記溶接装置に設けられ、前記溶接装置の位置および姿勢の少なくとも一方を検出可能な第２センサ情報を出力する第２センサをさらに備え、
   前記学習部は、前記第２センサ情報をさらに含む前記学習用データを用いて前記学習モデルを構築する、
   請求項１、２または３に記載の溶接装置。
7. 溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接方法であって、
   前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、
   過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するステップと、
   前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築するステップと、
   前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定するステップと、
   前記操作の適正度合の推定結果に基づいて、前記制御対象を制御するステップと、
   を有する溶接方法。
8. 溶接ワイヤおよび電極の少なくとも一方の制御対象を制御して溶接を行う溶接装置に、
   前記制御対象の先端と、溶接個所とを含む溶接画像を撮影するステップと、
   過去に撮影された溶接画像である学習用画像と、前記学習用画像を見て溶接士が判断した前記制御対象の操作の適正度合を示す情報と、を含む学習用データを生成するステップと、
   前記学習用データを用いて、前記溶接画像を入力とし、前記制御対象の操作の適正度合を出力する学習モデルを構築するステップと、
   前記学習モデルを用いて、取得した前記溶接画像における前記制御対象の操作の適正度合を推定するステップと、
   前記操作の適正度合の推定結果に基づいて、前記制御対象を制御するステップと、
   を実行させるプログラム。

Images