JP2023143763A - 学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システム - Google Patents

Abstract

【課題】学習データを生成するのに要する時間と工数を大幅に低減できる学習データ生成装置を提供する。【解決手段】学習データ生成装置１０は、溶接ビード１１０と母材１００とを含む溶接箇所の形状良否を判定するための学習データを生成する。学習データ生成装置１０は、母材１００及び溶接ビード１１０の形状を指定するパラメータの入力を受け付ける形状指定部１と、このパラメータに基づいて、溶接形状データを生成する形状生成部２と、溶接形状データに対し、溶接ビード１１０及び母材１００の表面の質感を表現する質感データを重畳させる質感付与部３と、質感データが重畳された溶接形状データを学習データとして出力する出力部７と、を備えている。質感データは、母材１００に実験的に形成された溶接ビード１１０の形状データに基づいて形成され、その形状計測時の状態に応じたノイズが重畳されている。【選択図】図１

Description

本開示は、溶接箇所の形状良否を判定するために用いられる学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システムに関する。

近年、溶接ビードとその周囲の母材と含む溶接箇所の外観検査において、コンピュータを利用して検査結果を評価解析する技術が広まりつつある。

例えば、特許文献１には、ＣＡＥ（Computer Aided Engineering）での解析を容易とするために、母材の設計用ＣＡＤ（Computer Aided Design）データに溶接ビードの形状等の加工情報を付加し、解析用のメッシュデータであるＣＡＤデータを生成する技術が開示されている。

特許第５１７８６２４号公報

ところで、近年、外観検査により得られた溶接箇所の二次元形状データや三次元形状データに対して、ＡＩ（Artificial Intelligence；人工知能）を利用して判定モデルを生成し、当該判定モデルにより形状良否の判定を行うことが広まりつつある。ＡＩの利用により、大量の形状データを高速に処理できるため、溶接箇所の形状良否を短時間にかつ精度良く判定できる。

しかし、一般に、ＡＩを利用した場合、判定モデルの生成には、大量の教師データ（以下、学習データという）を必要とする。溶接箇所の形状評価を行う場合、母材の形状は様々であり、また、アーク溶接やレーザ溶接等、溶接方式も複数存在する。これらに対応して、大量の学習データを得るためには、大量の実溶接サンプルの外観を検査して、学習データとして取り込む必要があった。しかし、このような準備作業は、多くの時間と工数を要する。

また、特許文献１に開示されるように、設計用のＣＡＤデータから解析用データとして学習データを生成することも考えられるが、この場合も大量のＣＡＤデータを準備する必要があり、多くの時間と工数を要する。

本開示はかかる点に鑑みてなされたもので、その目的は、学習データを生成するのに要する時間と工数を大幅に低減できる学習データ生成装置、学習データ生成方法、学習データ生成用プログラム及び溶接箇所の形状評価システムを提供することにある。

上記目的を達成するため、本開示に係る学習データ生成装置は、溶接ビードとその周囲の母材とを含む溶接箇所の形状良否を判定するための学習データを生成する学習データ生成装置であって、前記母材と前記溶接ビードのそれぞれの形状を指定するパラメータの入力を受け付ける形状指定部と、前記形状指定部で受け付けられた前記パラメータに基づいて、前記母材の形状を表現する母材形状データと前記溶接ビードの形状を表現する溶接ビード形状データとをそれぞれ生成するとともに、前記母材形状データと前記溶接ビード形状データとを結合して溶接形状データを生成する形状生成部と、前記溶接形状データに対し、前記溶接ビード及び前記母材のそれぞれの表面の質感を表現する質感データを重畳させる質感付与部と、前記質感データが重畳された前記溶接形状データを前記学習データとして出力する出力部と、を少なくとも備え、前記質感データは、前記母材に実験的に予め形成された前記溶接ビードの形状データに基づいて生成されており、前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズが重畳されていることを特徴とする。

本開示に係る学習データ生成方法は、溶接ビードとその周囲の母材とを含む溶接箇所の形状良否を判定するための学習データを生成する学習データ生成方法であって、前記母材と前記溶接ビードのそれぞれの形状を指定するパラメータの入力を受け付ける第１ステップと、前記パラメータに基づいて、前記母材の形状を表現する母材形状データと前記溶接ビードの形状を表現する溶接ビード形状データとをそれぞれ生成するとともに、前記母材形状データと前記溶接ビード形状データとを結合して溶接形状データを生成する第２ステップと、前記溶接形状データに対し、前記溶接ビードが形成された前記母材の表面の質感を表現する質感データを重畳させる第３ステップと、前記質感データが重畳された前記溶接形状データを前記学習データとして出力する第５ステップと、を少なくとも備え、前記質感データは、前記母材に実験的に予め形成された前記溶接ビードの形状データに基づいて生成されており、前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズが重畳されていることを特徴とする。

本開示に係る学習データ生成用プログラムは、１または複数のプロセッサに前記学習データ生成方法を実行させる。

本開示に係る溶接箇所の形状評価システムは、前記学習データ生成装置と、前記溶接箇所の形状の良否を判定する形状良否判定装置と、を少なくとも備え、前記形状良否判定装置は、前記溶接ビードが形成された前記母材の形状データを取得するデータ取得部と、前記学習データ生成装置で生成された前記学習データを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを複数種類生成する判定モデル生成部と、前記データ取得部で取得された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定する判定部と、を少なくとも備えたことを特徴とする。

本開示によれば、溶接箇所の形状良否を判定するために用いられる学習データを生成するのに要する時間と工数を大幅に低減できる。

実施形態１に係る学習データ生成装置の機能ブロック図である。 学習データ生成装置のハードウェア構成の模式図である。 学習データの生成手順を示すフローチャートである。 形状指定部で受け付けられる入力パラメータの一例である。 外観検査装置による溶接ビードの形状データ取得の様子を示す模式図である。 溶接形状データの生成手順を示すフローチャートである。 重ね継手形状の母材形状データの一例である。 重ね継手形状の母材に溶接ビードが形成された溶接形状データの一例である。 質感データファイルの構造を示す模式図である。 質感データファイルの生成手順を示すフローチャートである。 質感データファイルの別の生成手順を示すフローチャートである。 溶接形状データへの質感データの重畳手順を示すフローチャートである。 溶接形状データを可視化した三次元画像の一例である。 図１２Ａに示す溶接形状データの二分化データである。 質感データを可視化した三次元画像の一例である。 図１３Ａに示す質感データの二分化データである。 学習データを可視化した三次元画像の一例である。 図１４Ａに示す学習データの二分化データである。 質感データの別の一例である。 質感データのさらなる別の一例である。 うろこ状模様の溶接ビードが形成された溶接箇所の質感データの一例である。 うろこ状模様の溶接ビードが形成された溶接箇所の質感データの別の一例である。 実施形態２に係る学習データの生成手順を示すフローチャートである。 溶接不良データの付与方法を模式的に示す一例である。 実施形態３に係る溶接箇所の形状評価システムの機能ブロック図である。 溶接箇所の形状良否判定手順を示すフローチャートである。

以下、本開示の実施形態を図面に基づいて説明する。なお、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本開示、その適用物或いはその用途を制限することを意図するものではない。

（実施形態１）
［１：学習データ生成装置の構成］
図１は、本実施形態に係る学習データ生成装置の機能ブロック図を示し、図２は、学習データ生成装置のハードウェア構成の模式図を示す。

図１に示すように、学習データ生成装置１０は、形状指定部１と形状生成部２と質感付与部３と出力部７とを少なくとも備えている。また、学習データ生成装置１０は、不良情報付与部６と記憶部４と表示部５とを備えている。

後で述べるように、外観検査装置３０で取得された溶接箇所の形状データに基づいて、溶接箇所の外観が所定の基準を満たすか否か、言い換えると、溶接箇所の形状良否を判定する（図６、図２１参照）。この形状良否判定にあたって、機械学習で学習強化されたアルゴリズムで形状データが評価される（図２１参照）。学習データ生成装置１０は、当該アルゴリズムの学習強化に用いられる学習データを生成する。

形状指定部１は、母材１００（図５参照）及び溶接ビード１１０（図５参照）のそれぞれの形状を指定するパラメータの入力を受け付けるユーザーインターフェイスである。後で述べるように、作業者が入力デバイスを用いて各パラメータを入力する。なお、形状指定部１がタッチパネル１７（図２参照）で実現される場合、作業者がタッチパネル１７を直接操作して各パラメータを入力する。

形状生成部２は、形状指定部１で受け付けられたパラメータに基づいて、母材１００の形状を表現する母材形状データを生成する。また、形状生成部２は、当該パラメータに基づいて、溶接ビード１１０の形状を表現する溶接ビード形状データを生成する。さらに、形状生成部２は、それぞれ生成した母材形状データと溶接ビード形状データとを結合して溶接形状データを生成する。なお、母材１００及び溶接ビード１１０の形状指定方法及び溶接形状データの生成方法については、後で詳細は説明する。

質感付与部３は、溶接形状データに対し、溶接ビード１１０及び母材１００のそれぞれの表面の質感を表現する質感データを重畳させる。質感データには、溶接ビード１１０の表面の質感を表現する溶接ビード質感データと、母材１００の表面の質感を表現する母材質感データとが含まれる。なお、溶接形状データへの質感データの重畳方法については、後で詳細は説明する。

不良情報付与部６は、溶接形状データに対し、１種類または複数種類の溶接不良を表現する溶接不良データを個数、サイズ及び溶接ビードに対する位置のうち、少なくとも１つを変化させて付与する。

記憶部４は、学習データの生成方法を記述した学習データ生成用プログラムや質感データや不良情報データを保存する。また、記憶部４は、溶接形状データを生成するのに必要なパラメータを保存する。記憶部４は、形状指定部１で受け付けられたパラメータや生成された溶接形状データを一時的に保存する。また、記憶部４は、学習データを一時的に保存してもよい。

表示部５は、形状指定部１で受け付けられたパラメータや記憶部４に保存されたパラメータ、また、溶接形状データを表示する。また、表示部５は、質感データや不良情報データが重畳された溶接形状データを視覚化して表示する。後で述べるように、形状指定部１がタッチパネル１７で構成される場合、表示部５の機能は、タッチパネル１７で実現される。

出力部７は、質感データや不良情報データが重畳された溶接形状データを学習データとして出力する。さらに言うと、出力部７は、溶接不良データが付与される前の溶接形状データを良品に関する学習データとして出力し、溶接不良データが付与された後の溶接形状データを不良品に関する学習データとして出力する。なお、記憶部４と表示部５とは、学習データ生成装置１０の外部に設けられてもよい。

図２に示す学習データ生成装置１０のハードウェア構成は、公知のパーソナルコンピュータ（ＰＣ）の構成と同様である。つまり、学習データ生成装置１０は、ハードウェアとして、入力ポート１１とＣＰＵ（Central Processing Unit）１２とＧＰＵ（Graphics Processing Unit）１３とＲＡＭ（Random Access Memory）／ＲＯＭ（Read Only Memory）１４と出力ポート１５とデータバス１６とを少なくとも備えている。

図１に示す学習データ生成装置１０内の複数の機能ブロックは、図２に示す各種デバイスに対応している。例えば、ＲＡＭ／ＲＯＭ１４は、図１に示す記憶部４に対応している。また、タッチパネル１７は、図１に示す形状指定部１と表示部５との両方に対応している。また、作業者がタッチパネル１７を操作することで、形状生成部２の一部の機能が実行される。なお、入力ポート１１は、学習データ生成装置１０の外部から記憶部４に保存されるデータや学習データ生成用プログラムの入力インターフェースである。

なお、学習データ生成装置１０は、入力デバイスとしてキーボードやマウス（いずれも図示せず）をタッチパネル１７とは別に備えていてもよい。その場合、表示部５は、単に表示用ディスプレイとしてもよい。また、学習データ生成装置１０は、図１に示す記憶部４として、ＲＡＭ／ＲＯＭ１４以外にＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を備えていてもよい。

なお、図１に示す形状生成部２と質感付与部３と不良情報付与部６のそれぞれの機能は、ＧＰＵ１３またはＣＰＵ１２において、記憶部４に保存された学習データ生成用プログラムを実行することで実現される。

なお、ＧＰＵ１３とＣＰＵ１２を総称して、プロセッサと呼ぶことがある。学習データ生成装置１０は１個のプロセッサ（ＧＰＵ１３）を有していてもよい。ただし、学習データ生成装置１０は、複数個のプロセッサ（ＧＰＵ１３とＣＰＵ１２、また、それぞれが複数個あってもよい。）を有するのが、データの処理速度向上の観点から好ましい。

なお、図２では、１本のデータバス１６に各種デバイスが接続された例を示しているが、通常のＰＣと同様に、複数のデータバス１６が用途に応じて設けられていてもよい。

［２：学習データの生成手順］
図３は、学習データの生成手順を示すフローチャートであり、図４は、形状指定部で受け付けられる入力パラメータの一例を示す。

まず、形状指定部１は、学習データを生成するのに必要なパラメータの入力を受け付ける（ステップＳ１）。図４に示すように、入力されるパラメータは多岐にわたる。このうち、三次元形状計測センサ３１（以下、単に計測センサ３１という）に関するパラメータについて説明する。

図５は、外観検査装置による溶接ビードの形状データ取得の様子を示す模式図である。図５に示すように、外観検査装置３０は、計測センサ３１がロボット３２に取り付けられて構成され、母材１００に形成された溶接ビード１１０の形状を計測する。なお、計測センサ３１は、ロボット３２に保持された溶接ヘッド（図示せず）に取り付けられてもよい。なお、溶接ヘッドとは、母材１００に溶接のためのエネルギーを供給するエネルギー供給部にあたり、例えば、溶接トーチやレーザヘッドを含むものをいう。

計測センサ３１は、母材１００の表面を走査可能に構成されたレーザ光源（図示せず）と、母材１００の表面に投影されたレーザ光線の反射軌跡を撮像するカメラまたは受光センサ（いずれも図示せず）とで構成されている。なお、カメラは撮像素子としてＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを有している。また、計測センサ３１の構成は特に上記に限定されず、他の構成を採りうる。例えば、カメラや受光センサの代わりに光干渉計を用いてもよい。

計測センサ３１によって、溶接ビード１１０及びその周囲の母材１００をレーザ光線で走査する。さらに、溶接ビード１１０や母材１００で反射されたレーザ光線をカメラまたは受光センサで撮像することにより、溶接ビード１１０及びその周囲の母材１００の三次元形状、つまり、形状データが点群データとして取得される。

なお、計測センサ３１で取得される点群データは、位置情報が付与された点の集合である。ここで、「位置情報」とは、母材１００の表面における所定の位置を原点とする二次元の座標情報である。例えば、母材１００の表面と平行な任意の方向をＸ方向とし、母材１００の表面と平行であって、Ｘ方向と直交する方向をＹ方向とし、Ｘ方向及びＹ方向とそれぞれ直交する方向をＺ方向とすると、位置情報は、（Ｘ，Ｙ）＝（ａ，ｂ）（ａ，ｂは任意の値）で表現される。位置情報は、具体的には、各画素の母材１００の表面における位置または各画素の溶接ビード１１０の表面における位置を座標（Ｘ，Ｙ）で表現したものである。

後で述べるように、質感データは、母材１００と母材１００に実験的に予め形成された溶接ビード１１０とを計測センサ３１で取得したときの形状データに基づいて生成される。この形状データには、計測センサ３１の走査速度、つまり、形状計測時に、溶接ビード１１０に沿って計測センサ３１を移動させる速度（計測センサ３１の走査速度に相当）に応じたノイズやロボット３２の微小振動に応じたノイズ、または、計測センサ３１の計測粒度に応じたノイズのうちの少なくとも一つが重畳される。言い換えると、計測センサ３１で取得される実際の母材１００及び溶接ビード１１０の形状データには、形状計測時の状態に応じたノイズが重畳される。よって、当該形状データに基づいて生成された質感データにも、母材１００及び溶接ビード１１０の形状計測時の状態に応じたノイズが重畳される。なお、このノイズには微小振動自体が含まれても良い。

溶接箇所の外観検査では、このようなノイズが重畳された状態の形状データに基づいて、溶接箇所の形状良否が判定される。したがって、形状良否判定のためのアルゴリズムを学習強化するのに用いられる学習データにも、同様のノイズを重畳しておく必要がある。形状指定部１で受け付けられる入力パラメータとして、図４に示すように、溶接ビード１１０の長さ方向や幅方向の点群間隔をパラメータとして入力しておくと、このパラメータに対応する形状データが記憶部４から呼び出され、これに基づいて、母材１００や溶接ビード１１０の表面の質感を表現する質感データ（形状データ）が生成される。

次に、図３の学習データの生成手順を示すフローチャートに示すように、ステップＳ１で受け付けられたパラメータに基づいて、形状生成部２は、溶接箇所の形状（溶接形状）を選択し、溶接形状データを生成する（ステップＳ２）。ステップＳ１，Ｓ２は、さらに複数のステップを含み、これらの詳細は後で説明する。

さらに、ステップＳ２で生成された溶接形状データに対して、質感付与部３は、質感データを重畳させる（ステップＳ３）。ステップＳ３の詳細は後で説明する。

出力部７は、質感データが重畳された溶接形状データを学習データとして、学習データ生成装置１０の外部に出力する（ステップＳ４）。なお、出力部７は、学習データを記憶部４に保存するようにしてもよい。

［２－１：溶接形状データの生成手順］
図６は、溶接形状データの生成手順を示すフローチャートであり、図３の学習データの生成手順を示すフローチャートに示すステップＳ１及びＳ２の処理に対応している。

まず、タッチパネル１７または別の入力デバイスを操作して、母材１００の基本形状を指定する（ステップＳ１１）。母材１００の基本形状のデータは、予め記憶部４に保存されており、前述の操作により、複数のデータの中から所望のデータが選択される。また、所望の基本形状のデータが記憶部４に保存されていない場合は、作業者が母材１００の形状をタッチパネル１７に描画して入力する。あるいは、タッチパネル１７を見ながら、マウス等を用いて、母材１００の形状を描画して入力する。母材１００の基本形状の修正、調整は、後で行う。

次に、ステップＳ１１で指定した母材１００の形状を、所望のサイズに合わせるように調整する（ステップＳ１２）。例えば、前述したＸ方向、Ｙ方向及びＺ方向のそれぞれに対し、所望の拡大率または縮小率を入力して、母材１００の形状を調整する。また、不要な部分は、当該部分を削除する編集を行う。また、必要に応じて、Ｘ方向、Ｙ方向またはＺ方向の周りに、母材１００を回転させて、形状を指定してもよい。

また、複数の母材１００にわたって溶接ビード１１０が形成された場合の学習データを生成する場合は、母材１００を追加する（ステップＳ１３）。この際、新たに追加された母材１００の形状がステップＳ１１にしたがって指定され、また、ステップＳ１２にしたがって、その形状が調整されるのは言うまでもない。

また、追加された複数の母材１００に関し、それぞれの位置を調整する（ステップＳ１４）。母材の位置調整は、複数の母材１００の形状をタッチパネル１７に表示させた上で、それぞれの位置を作業者が見ながら移動させて実行する。この処理により、溶接箇所の種々の形の継手形状、例えば、重ね継手や突合せ接手、Ｔ字継手等の継手形状を生成することが可能となる。ステップＳ１１～Ｓ１４までの処理を形状生成部２で実行することで、母材１００の形状を表現する母材形状データが生成される。ここに、生成した母材形状データの例として、図７に重ね継手形状の母材形状データの一例を示す。

次に、溶接ビード１１０の形状を指定、形状の調整をする（ステップＳ１５）。ステップＳ１５の溶接ビード１１０の形状を指定の処理は、ステップＳ１１の処理と同様である。具体的には、タッチパネル１７または別の入力デバイスを操作して、溶接ビード１１０の基本形状を指定する。つまり、溶接ビード１１０の形状のデータが、予め記憶部４に複数保存されている場合は、複数のデータの中から所望のデータが選択される。また、所望の形状のデータが記憶部４に保存されていない場合は、作業者が溶接ビード１１０の形状をタッチパネル１７に描画して入力する。あるいは、タッチパネル１７を見ながら、マウス等を用いて、溶接ビード１１０の形状を描画して入力する。また、ステップＳ１５の溶接ビード１１０の形状の調整の処理は、指定した溶接ビード１１０の形状を、所望のサイズに合わせるように調整する。形状の調整手順は、ステップＳ１２の処理と同様である。具体的には、ステップＳ１５の溶接ビード１１０の形状を指定の処理で指定した母材１００の形状を、所望のサイズに合わせるように調整する。ステップＳ１５の処理を形状生成部２で実行することで、溶接ビード１１０の形状を表現する溶接ビード形状データが生成される。

次に、母材形状データに対して、溶接ビード形状データを追加する。この際、母材１００に対する溶接ビード１１０の位置も調整される（ステップＳ１６）。ステップＳ１６の処理は、作業者がタッチパネル１７に表示され、可視化された母材１００や溶接ビード１１０の形状を見ながら行う。例えば、ステップＳ１５で生成された溶接ビード１１０の図形を選択、ドラッグして、母材１００の所望の位置にドロップする。さらに、溶接ビード１１０の位置が微調整されてもよい。

最後に、母材１００に対する溶接ビード１１０の位置が定まった後、作業者がタッチパネル１７を操作して、母材形状データと溶接ビード形状データとを結合して、溶接形状データを生成する（ステップＳ１７）。生成後の溶接形状データは、所定のデータ形式を有しており、記憶部４に保存される。溶接形状データのデータ形式は、計測センサ３１で取得された溶接箇所の形状データと同じ形式である。ここに、生成した溶接形状データの例として、図８に重ね継手形状の母材に溶接ビードが形成された溶接形状データの一例を示す。

［２－２：質感データファイルの生成手順］
図９は、質感データファイルの構造を示す模式図であり、図１０Ａは、質感データファイルの生成手順を示すフローチャートであり、図１０Ｂは、質感データファイルの別の生成手順を示すフローチャートである。

図９に示すように、質感データファイルは、２つのデータで構成される。一方は、計測センサ３１で取得された形状データである。形状データを三次元画像として可視化した場合、形状データは、母材１００や溶接ビード１１０の表面の質感を表現する。これらの表面の質感に着目してみた場合に、当該形状データを質感データと呼ぶことがある。

なお、質感データとしての形状データには、位置情報だけでなく距離情報が含まれる。ここで、「距離情報」とは、計測センサ３１と、座標（Ｘ，Ｙ）で表される母材１００の表面位置または溶接ビード１１０の表面位置との間の距離を言う。

この場合、距離情報を含めた座標情報は、（Ｘ，Ｙ，Ｚ）＝（ａ，ｂ，ｃ）（ｃは任意の値）で表現され、座標（Ｘ，Ｙ）と計測センサ３１との距離が、距離情報Ｚ（＝ｃ）で表現される。

なお、質感データとしての形状データには、位置情報や距離情報以外に色情報が含まれていてもよい。「色情報」とは、カメラの撮像素子または受光センサから出力される信号に含まれる色成分の情報である。撮像素子がカラー画像を取得する場合、各画素のデータに含まれる色情報は、例えば、Ｒ成分（赤色成分）とＧ成分（緑色成分）とＢ成分（青色成分）のそれぞれの輝度情報であってもよい。撮像素子が白黒画像を取得する場合、各画素のデータに含まれる色情報は、輝度情報である。また、色情報には、透明度を表す成分（Ａ成分）の輝度に相当する情報が含まれていてもよい。輝度の大きさは、例えば、正規化されていてもよい。

また、「色情報」は、色の種類に関する情報であってもよい。例えば、色の種類毎に番号を付与されたテーブル等が準備される場合、色情報は、色の種類に対応した番号に相当する。

いずれの場合も、位置情報に当該位置における色情報が結合された状態で質感データが構築されている。また、撮像素子で溶接ビード１１０を含む母材１００を撮像する場合、質感データは、撮像素子の各画素における画素データの集合体であるとも言える。ただし、質感データは、一般的な画像データのように二次元または三次元のデータに区分されない。

質感データファイルに含まれる他方のデータは、二分化データである。二分化データは、質感データ（形状データ）に対して、別途準備されたアノテーションツールを用いて生成される。具体的には、図１０Ａに示すように、アノテーションツールを用いて、質感データ（形状データ）を、ビード領域とそれ以外の領域とに二分化された二分化データに加工する（ステップＳ２１）。ステップＳ２１の実行後、もとの質感データ（形状データ）と二分化データとがまとめられて、図９に示す質感データファイルが生成される。質感データファイルは、学習データ生成装置１０の内部の記憶部４か、または、学習データ生成装置１０の外部の図示しない記憶部に保存される（ステップＳ２２）。

なお、アノテーションツールは、学習データ生成装置１０の内部に準備されていてもよいし、学習データ生成装置１０の外部に設けられていてもよい。したがって、質感データファイルは、学習データ生成装置１０の内部で生成されてもよいし、学習データ生成装置１０の外部で生成されて、記憶部４に保存されてもよい。

なお、大量の質感データファイルを準備する必要がある場合は、例えば、図１０Ｂに示す手順を実行してもよい。

まず、外観検査装置３０で取得された質感データ（形状データ）が準備される。また、ステップＳ２４の機械学習を実行するにあたって、必要な数と種類のアノテーション付与済データが準備される（ステップＳ２３）。アノテーション付与済データは、既に取得された質感データ（形状データ）に対して溶接ビード１１０の形成領域（以下、ビード領域ともいう）が予めラベル付けされたデータである。

次に、アノテーション付与済データを用いて、ビード領域を抽出するためのアルゴリズムに対して機械学習を行う（ステップＳ２４）。学習強化されたアルゴリズムを用いて、質感データ（形状データ）を、ビード領域とそれ以外の領域とに二分化された二分化データに加工する（ステップＳ２５）。

質感データ（形状データ）に距離情報や色情報が含まれる場合、ステップＳ２３，Ｓ２４を実行するにあたって、例えば、セマンティック・セグメンテーションと呼ばれるアルゴリズムが使用される。

セマンティック・セグメンテーションは、画像データにおける全画素のデータにラベルやカテゴリーを関連付けるアルゴリズムであり、物体検出等に用いられる。本実施形態では、DeepLab v3+と呼ばれるアルゴリズムが使用されるが、特にこれに限定されない。また、二分化データが学習データ生成装置１０の内部で生成される場合、当該アルゴリズムは、ＧＰＵ１３で実行される。

質感データ（形状データ）を撮像素子で取得される画像データとして見た場合、質感データ（形状データ）における各画素のデータに対し、分類が行われる。本実施形態では、形状データにおける各画素のデータにおいて、前述の距離情報や色情報が結合されている。ステップＳ２４，Ｓ２５では、この距離情報や色情報に着目したクラス分けが行われる。さらに言うと、質感データ（形状データ）は、固定サイズに拡張または縮小加工された後、ＣＮＮ（Convolutional Neural Network；畳み込みニューラルネットワーク）、具体的には、DeepLab v3+に入力される。さらに、ＣＮＮの各層で質感データ（形状データ）に対して演算処理がなされる。この際、距離情報や色情報に基づいて、溶接ビード１１０の形成領域に対応するクラスと、それ以外の領域に対応するクラスとに二分化されたクラス分けが行われる。

ステップＳ２５の実行後、もとの質感データ（形状データ）と二分化データとがまとめられて、図９に示す質感データファイルが生成される（ステップＳ２６）。ステップＳ２６の処理及びその後の質感データファイルの保存は、ステップＳ２２に示した処理と同様であるので、説明を省略する。

このように、機械学習で学習強化されたアルゴリズムを使用することで、質感データ（形状データ）をビード領域とそれ以外の領域とに精度良く、また確実に二分化することができる。

なお、質感データファイルを生成するための質感データ（形状データ）は、母材１００の材質や溶接方式毎に準備される。また、当該質感データ（形状データ）は、三次元計測センサ３１の計測粒度及び走査速度に応じて、複数種類準備される。

［２－３：溶接形状データへの質感データの重畳手順］
図１１は、溶接形状データへの質感データの重畳手順を示すフローチャートであり、図３に示すステップＳ３の処理に対応している。

図１２Ａは、溶接形状データ（母材形状データと溶接ビード形状データとが結合されて生成された溶接形状データ）を可視化した三次元画像の一例を示し、図１２Ｂは、図１２Ａに示す溶接形状データの二分化データ（ビード領域とそれ以外の領域に二分化されたデータ）を示す。図１３Ａは、質感データ（計測センサ３１で取得される実際の母材１００及び溶接ビード１１０の形状データに基づいて生成された質感データ（形状データとも言う））を可視化した三次元画像の一例を示し、図１３Ｂは、図１３Ａに示す質感データの二分化データを示す。図１４Ａは、学習データ（溶接形状データに質感データを重畳され生成された学習データ）を可視化した三次元画像の一例を示し、図１４Ｂは、図１４Ａに示す学習データの二分化データを示す。

図３に示すステップＳ１，Ｓ２の処理を実行して、前述の溶接形状データが生成される。前述したように、母材１００の形状や溶接ビード１１０のサイズを指定して、溶接ビード１１０及びそれが形成された母材１００の形状を表現する溶接形状データが生成される。

一方、溶接形状データ（ステップＳ１の形状指定パラメータで受け付けられたパラメータに基づいて、ステップＳ２で生成された溶接形状データ）は、単純な図形の結合であり、表面の質感を表すデータ、つまり、表面の微小な凹凸やうねり等は含まれていない。このため、この状態では、溶接箇所の形状良否判定に用いられる学習データとすることはできない。外観検査装置３０で取得される溶接箇所の形状データ（質感データ）には、表面の微小な凹凸やうねり等が含まれており、溶接形状データそのものを学習データとすると、これらの凹凸やうねりを溶接不良と誤認識する可能性があるからである。また、溶接方式によっては、溶接ビード１１０の表面にうろこ状模様の凹凸が形成されるが、これは良品と判定されなければならない。しかし、溶接形状データそのものを学習データとすると、このうろこ状模様の凹凸も溶接不良と誤認識されてしまう。

そこで、本実施形態では、溶接形状データに対し、母材１００や溶接ビード１１０の表面の質感を表現する質感データ（形状データ）を重畳させることで、学習データを生成している。以下、さらに説明する。

図１１に示すように、記憶部４に保存された複数の溶接形状データ（母材形状データと溶接ビード形状データとが結合されて生成された溶接形状データ）の中から所望のデータを選択して、形状生成部２に呼び出す（ステップＳ３１）。次に、形状生成部２は、溶接形状データに、二分化データ化としての溶接ビード１１０の位置及び範囲を確定するためのアノテーション情報を付加する（ステップＳ３２）。具体的には、溶接形状データにおいて、結合前のビード形状データの範囲と位置を画定し、母材形状データと区別して選択可能な状態にしておく。

次に、質感付与部３は、記憶部４または、学習データ形成装置の外部に保存された複数の質感データファイルの中から所望のデータファイルを選択して、呼び出す（ステップＳ３３）。

質感付与部３は、選択された質感データファイルの中の質感データ（形状データ）に対して、二分化データ化としての溶接ビード１１０の位置及び範囲を確定するためのアノテーション情報を付加する（ステップＳ３４）。具体的には、質感データ（形状データ）において、質感データの二分化データとして、ビード領域と確定された領域を溶接ビード質感データと設定し、それ以外の領域を母材質感データと設定する。溶接ビード質感データは、母材質感データと区別して選択可能な状態にしておく。

質感付与部３は、さらに、溶接形状データに対し質感データを重畳させる（ステップＳ３５）。ステップＳ３２，Ｓ３４，Ｓ３５の処理に関し、図１２Ａ～図１４Ｂを用いて説明する。

まず、図１２Ａに示す溶接形状データにおいて、リング状の突起部が示されている。この部分は、図１２Ｂに示すように、溶接ビード１１０のビード領域である。つまり、図１２Ａに示すリング状の突起部は、溶接ビード１１０を示しており、ステップＳ３２の処理では、リング状の突起部とそれ以外の部分とが区別して選択可能な状態になるように溶接形状データが加工される。

一方、図１３Ａに示す質感データ（形状データ）には、直線状の突起部が示されている。この部分は、図１３Ｂに示すように、溶接ビード１１０のビード領域である。つまり、図１３Ａに示す直線状の突起部は、溶接ビード１１０を示しており、ステップＳ３４の処理では、直線状の突起部とそれ以外の部分とが区別して選択可能な状態になるように質感データ（形状データ）が加工される。

これらの処理が実行された後、タッチパネル１７を用いて、溶接形状データに対し質感データを重畳させていく。例えば、図１２Ａに示す溶接形状データが表示された画面において、リング状の突起部（溶接ビード１１０）をタッチして選択する。次に、図１３Ａに示す質感データ（形状データ）が表示された画面において、直線状の突起部（溶接ビード１１０）をタッチして選択する。さらに、図１２Ａに示す溶接形状データが表示された画面において、リング状の突起部（溶接ビード１１０）を再度タッチすることで、リング状の突起部の表面に直線状の突起部における表面の質感を表現するデータ、つまり溶接ビード質感データが重畳される。同様の手順で、図１２Ａに示すリング状の突起部以外の部分（母材１００）の表面に、直線状の突起部以外の部分における表面の質感を表現するデータ、つまり、母材質感データが重畳される。

なお、溶接形状データへの質感データの重畳方法は、これに限られず、種々の方法を取りうる。

図１５は、質感データの別の一例を示し、図１６は、質感データのさらなる別の一例を示す。図１７Ａは、うろこ状模様の溶接ビードが形成された溶接箇所の質感データの一例を示し、図１７Ｂは、うろこ状模様の溶接ビードが形成された溶接箇所の質感データの別の一例を示す。

溶接形状データに対し、表面の質感をより細かく表現させたい場合がある。溶接ビード１１０の表面の質感は全体で一様ではなく、例えば、際の部分とそれ以外の部分とでは異なることが多い。これらの質感の違いも含めて、溶接形状データに反映させたい場合、例えば、図１５に示すように、質感データのうち、特定の領域を切り出して、溶接形状データの特定の箇所に重畳させる。図１５に示す例で言えば、溶接ビード１１０の際と母材１００の一部とを含むように領域Ａ，Ｂをそれぞれ特定し、溶接形状データの対応する箇所に領域Ａ，Ｂの質感データをそれぞれ重畳させる。また、溶接形状データにおいて、溶接ビード１１０の長さ方向に沿って、領域Ａ，Ｂの質感データをそれぞれ繰り返し重畳させる。

このようにすることで、生成される学習データを実際の溶接箇所の形状や質感により近いものとできる。このことにより、溶接箇所の形状良否判定を行うアルゴリズム（以下、判定モデルと呼ぶことがある。）を効率的に学習強化でき、形状良否判定の再現率や精度を高めることができる。

また、際の部分以外の溶接ビード１１０において、表面の質感を表現するのに、図１５に示す領域Ｃを特定し、溶接形状データにおいて、溶接ビード１１０の長さ方向に沿って、領域Ｃの質感データを繰り返し重畳させてもよい。同様に、母材１００の表面の質感を表現するのに、図１５に示す領域Ｄを特定し、溶接形状データにおいて、溶接ビード１１０の長さ方向に沿って、領域Ｄの質感データを繰り返し重畳させてもよい。

なお、領域Ａ～Ｄの大きさや位置の特定方法は、表現したい表面の質感や溶接箇所の形状に応じて、適宜変更されうる。

また、溶接ビード１１０や母材１００の表面の凹凸の程度を領域毎に変更することも可能である。例えば、前述したように、領域Ｃ，Ｄの質感データを、溶接ビード１１０の長さ方向に沿って繰り返し重畳させる場合、特定の場所において、質感データにおける凹凸の程度を調整してから重畳させる。本実施形態の学習データ生成装置１０では、凹凸の程度の調整は、タッチパネル１７で操作可能に構成されている。

また、外観検査装置３０によって実際の形状データを取得した場合、前述したように、形状データに計測センサ３１の走査速度やロボット３２の微小振動、また、計測センサ３１の計測粒度に応じたノイズが重畳されている。なおノイズには微小振動を含んでも良い。このノイズは、図１６に示すように、溶接ビード１１０の長さ方向、言い換えると、計測センサ３１の走査方向と交差する方向に波状の模様として現れる。なお、この波状の模様は、実際の溶接箇所には存在しないものである。計測センサ３１で取得される実際の母材１００及び溶接ビード１１０の形状データに基づいて生成されるものが質感データとなる。

しかし、波状の模様は、計測センサ３１で実際に取得される質感データ（形状データ）に重畳されているため、学習データに溶接箇所の表面の質感として取り込む必要がある。したがって、溶接形状データに質感データを重畳させる場合、この波状の模様も溶接形状データに重畳させる。なお、波状の模様の周期は、計測センサ３１の走査速度及び計測センサ３１を移動させるロボット３２の微小振動に依存している。また、計測センサ３１の計測粒度によって、波状の模様が発生することもある。

このため、予め、形状指定部１では、計測センサ３１の計測粒度や走査速度が入力される。また、計測条件が変更される場合を考慮して、質感データファイルを作成する場合は、計測センサ３１の走査速度や計測粒度をそれぞれ変化させた質感データ（形状データ）を準備し、これらに基づいた質感データファイルが複数作成される。溶接形状データに質感データを重畳させて、学習データを生成する場合、計測センサ３１の走査速度や計測粒度に応じた学習データが複数種類生成される。

また、アーク溶接では、図１７Ａや図１７Ｂに示すように、溶接ビード１１０にうろこ状模様が形成される場合がある。例えば、母材１００がアルミニウムの場合、明瞭なうろこ状模様が形成される。

一方、レーザ溶接では、一般に、このようなうろこ状模様は形成されない。つまり、溶接方式や母材１００の材質等によって、準備すべき質感データ（形状データ）が異なってくる。このため、溶接方式や母材１００の材質等を変更した質感データ（形状データ）を準備し、これらに基づいた質感データファイルが複数作成される。溶接形状データに質感データを重畳させて、学習データを生成する場合、溶接方式や母材１００の材質等に応じた学習データが複数種類生成される。

［３：効果等］
以上説明したように、本実施形態に係る学習データ生成装置１０は、溶接ビード１１０とその周囲の母材１００とを含む溶接箇所の形状良否を判定するための学習データを生成する。

学習データ生成装置１０は、母材１００と溶接ビード１１０のそれぞれの形状を指定するパラメータの入力を受け付ける形状指定部１と、形状指定部１で受け付けられたパラメータに基づいて、溶接形状データを生成する形状生成部２と、を少なくとも備えている。

形状生成部２は、母材１００の形状を表現する母材形状データと溶接ビード１１０の形状を表現する溶接ビード形状データとをそれぞれ生成するとともに、母材形状データと溶接ビード形状データとを結合して溶接形状データを生成する。

学習データ生成装置１０は、溶接形状データに対し、溶接ビード１１０及び母材１００のそれぞれの表面の質感を表現する質感データを重畳させる質感付与部３と、質感データが重畳された溶接形状データを学習データとして出力する出力部７と、をさらに備えている。

質感データは、母材１００に実験的に予め形成された溶接ビード１１０の形状データに基づいて生成されている。

この形状データ及び質感データには、母材１００及び溶接ビード１１０の形状計測時の状態に応じたノイズが重畳されている。

学習データ生成装置１０をこのように構成することで、学習データを生成するのに必要であった準備作業を大幅に低減できる。つまり、大量の実溶接サンプル作成と、計測センサ３１を用いたそれらのそれぞれの質感データ（形状データ）の取得作業とを大幅に低減できる。

前述したように、母材１００の形状や溶接方式に応じて、学習データを生成するための実溶接サンプルを大量に準備する必要があった。これらは、熟練した作業者に準備してもらったり、あるいは、溶接品の納入先である顧客に準備してもらったりする必要があった。しかし、これらの準備のために多くの時間を要していた。また、計測センサ３１を用いた質感データ（形状データ）の取得も、外観検査装置３０の計測に熟達したエンジニアの確保が必要であった。さらに、実溶接サンプルを個別に準備して得られる、大量の質感データ（形状データ）の取得に多くの時間を要していた。

一方、本実施形態の学習データ生成装置１０によれば、必要なパラメータを入力することで、母材１００及び溶接ビード１１０の形状を表現する溶接形状データを任意に作成できる。この場合のパラメータの種類は、例えば、数種類から十数種類と非常に少ないものである。つまり、学習データを生成するための時間、工数を大幅に短縮できる。

また、母材１００や溶接ビード１１０の表面の質感を、実際に取得した一つ以上の質感データ（形状データ）に基づいて、溶接形状データに重畳させることで、学習データを、実溶接サンプルを個別に準備して得られる、質感データが重畳されている状態に相当する個別の溶接形状データに近づけることができる。このことにより、本実施形態の学習データ生成装置１０で生成された学習データを用いて、溶接箇所の形状良否を判定する判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

また、特許文献１に開示された従来の構成では、ＣＡＤデータから、本願の溶接形状データに対応するデータを生成しているが、多様な母材１００の形状や溶接ビード１１０の形状に対して、ＣＡＤデータをすべて準備するのは、大きな工数を要する。

一方、本実施形態によれば、例えば、予め準備された基本形状を選択し、これを修正等することで、溶接形状データを生成している。また、母材１００や溶接ビード１１０の形状を可視化し、これを見ながら、タッチパネル１７やキーボード等の入力デバイスを操作して、それぞれの形状や位置を決定している。つまり、作業者が、直感的にかつ簡便に溶接形状データを生成することができ、この作業に要する工数を大幅に低減できる。

また、本実施形態によれば、機械学習により、実溶接サンプルで取得した質感データ（形状データ）に基づき、溶接ビード１１０の形成領域とそれ以外の領域とを二分化して区別する二分化データを生成している。また、母材１００や溶接ビード１１０の質感を表現する質感データ（形状データ）に対して、二分化データを用いて、溶接ビード１１０の位置及び範囲を確定するためのアノテーション情報を付加している。

このようにすることで、質感データ（形状データ）において、溶接ビード１１０の表面の質感を表現する溶接ビード質感データと、母材１００の表面の質感を表現する母材質感データとをそれぞれ容易に抽出できる。

また、質感付与部３は、前述のアノテーション情報に基づいて、溶接形状データのうち溶接ビード形状データに対応する部分に関し、溶接ビード質感データを重畳し、かつ母材形状データに対応する部分に関し、母材質感データを重畳する。

このようにすることで、学習データを、実溶接サンプルを個別に準備して得られる、質感データが重畳されている状態に相当する個別の溶接形状データに近づけ、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。なお、前述したように、溶接ビード質感データや母材質感データは、溶接形状データの対応する部分に対して、細かく分割した状態で重畳させることもできる。このようにすることで、学習データにおける母材１００や溶接ビード１１０の表面の質感を細かく表現できる。また、分割されたそれぞれの領域に関し、表面の凹凸の程度を変化させることもでき、学習データにおける母材１００や溶接ビード１１０の表面の質感をより細かく表現できる。

形状データ及び質感データには、母材１００及び溶接ビード１１０形状計測時の状態に応じたノイズとして、以下のうちの少なくとも一つが重畳されている。つまり、形状データを取得する計測センサ３１を溶接ビード１１０に沿って移動させる速度である走査速度に応じたノイズ、計測センサ３１を保持するロボット３２の微小振動に応じたノイズ、及び計測センサ３１の計測粒度に応じたノイズのうちの少なくとも一つが重畳されている。このため、母材１００に実験的に予め形成された溶接ビード１１０の形状データを、計測センサ３１の計測粒度及び走査速度に応じて複数種類準備しておくのが好ましい。

前述したように、計測センサ３１の計測粒度や走査速度に応じて、計測センサ３１で取得した形状データに実際の溶接ビード１１０や母材１００には存在しない波状の模様が現れることがある。当該模様は、前述した形状計測時の状態に応じたノイズに対応していると推定される。本実施形態によれば、このような波状の模様等、母材１００及び溶接ビード１１０の形状計測時の状態に応じたノイズを含む形状データ（質感データ）を複数種類、取得して、質感データファイルを生成している。このようにすることで、判定モデルの学習強化に用いられる学習データにも母材１００及び溶接ビード１１０の形状計測時の状態に応じたノイズが重畳される。このことにより、計測センサ３１で取得した溶接箇所の形状データ（質感データ）に、より近づけることができ、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

本実施形態に係る学習データ生成方法は、溶接ビード１１０とその周囲の母材１００とを含む溶接箇所の形状良否を判定するための学習データの生成方法である。

この学習データ生成方法は、母材１００と溶接ビード１１０のそれぞれの形状を指定するパラメータの入力を受け付ける第１ステップ（図３のステップＳ１）を少なくとも備えている。また、学習データ生成方法は、このパラメータに基づいて、母材１００の形状を表現する母材形状データと溶接ビード１１０の形状を表現する溶接ビード形状データとをそれぞれ生成する第２ステップ（図３のステップＳ２）を備えている。さらに、第２ステップでは、母材形状データと溶接ビード形状データとを結合して溶接形状データを生成する。

学習データ生成方法は、溶接形状データに対し、溶接ビード１１０が形成された母材１００の表面の質感を表現する質感データを重畳させる第３ステップ（図３のステップＳ３）と、質感データが重畳された溶接形状データを学習データとして出力する第５ステップ（図３のステップＳ４）と、をさらに備えている。

学習データ生成方法をこのように構成することで、学習データを生成するための時間、工数を大幅に短縮できる。また、生成された学習データを計測センサ３１で実際に取得され、形状計測時の状態に応じたノイズを含む表面の質感が表現された、個別の溶接箇所の形状データ（質感データ）により近づけることができる。このことにより、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

溶接ビード１１０の位置及び範囲を確定するためのアノテーション情報を質感データに付加するステップ（例えば、図１０ＡのステップＳ２１，Ｓ２２、図１０ＢのステップＳ２３～Ｓ２６、図１１のステップＳ３４）をさらに備えるのが好ましい。このようにすることで、溶接ビード１１０質感データと、母材質感データとをそれぞれ容易に抽出できる。なお、このステップは、溶接形状データに対し質感データを重畳させる第３ステップの実行前に行われてもよいし、第３ステップの実行中に行われてもよい。

また、第３ステップの実行中に、前述のアノテーション情報に基づいて、溶接形状データのうち溶接ビード形状データに対応する部分に関し、溶接ビード１１０の表面の質感を表現する溶接ビード質感データを重畳し、かつ母材形状データに対応する部分に関し、母材１００の表面の質感を表現する母材質感データを重畳している（図１１のステップＳ３５）。

このようにすることで、学習データを、実溶接サンプルを準備して得られる質感データが表現された形状データ（質感データ）に近づけ、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

本実施形態に係る学習データ生成用プログラムは、１または複数のプロセッサに前述した学習データ生成方法を実行させる。

このようにすることで、学習データを生成するための時間、工数を大幅に短縮できる。また、生成された学習データを計測センサ３１で実際に取得した溶接箇所の形状データ（質感データ）に、より近づけることができる。このことにより、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

（実施形態２）
図１８は、本実施形態に係る学習データの生成手順を示すフローチャートであり、図１９は、溶接不良データの付与方法を模式的に示す一例である。なお、説明の便宜上、図１８及び以降に示す各図面において、実施形態１と同様の箇所については同一の符号を付して詳細な説明を省略する。

一般に、溶接箇所の形状良否を判定するにあたって、学習データとして、溶接箇所の形状が良好であるデータ（以下、良品データという）と、形状に何らかの不具合があるデータ（以下、不良品データという）とを準備する必要がある。

このような形状不良は、溶接不良と呼ばれる。溶接不良には、様々な種類がある。例えば、溶接箇所の一部が溶け落ちて、母材１００を貫通する貫通穴が形成されることがある。これは、穴あきと呼ばれる。また、溶接ビード１１０の際の部分が母材１００の表面よりもへこんだ状態となった部分は、アンダーカットと呼ばれる。また、溶接中に母材１００が溶融した部分から微粒子が飛び散って、母材１００の表面に付着する場合がある。これは、スパッタ１２０（図１９参照）と呼ばれる。アーク溶接において、溶接ワイヤ（図示せず）の先端に形成された溶滴（図示せず）が母材１００に移行する際に溶滴の一部が飛び散って、母材１００の表面に付着する場合も、スパッタ１２０と呼ばれる。母材１００が亜鉛めっき鋼板である場合には、一部が蒸発して溶接ビード１１０の表面に開口（表面欠陥）が形成される場合がある。また、溶融金属内部に発生したガス孔が、溶接ビード表面に放出されたときに穴となって固まった開口が形成される場合がある。これは、ピットと呼ばれる。母材１００や溶接ワイヤがアルミ系材料である場合には、溶接ビード１１０の近傍に黒いスス状の物質（微細な金属酸化物）が付着する場合がある。これは、スマットと呼ばれる。

なお、溶接箇所の形状良否判定にあたっては、溶接箇所における形状異常の有無、つまり、溶接不良の有無が判定される。また、溶接不良がある場合は、溶接不良の種類や溶接箇所における溶接不良の位置や溶接不良のサイズが判定される。なお、溶接箇所における溶接不良の個数が判定されてもよい。

このような溶接不良をそれぞれ実溶接サンプルに形成して、質感データを取得し、これに基づいて、図１に示す学習データ生成装置１０で不良品データを生成してもよい。

一方、溶接不良を含む学習データである不良品データにおいて、溶接不良の位置や個数、さらに、それぞれのサイズを変化させたものを多数準備することが好ましい。このように多様な不良品データを準備し、これらを用いて判定モデルを学習強化することで、溶接箇所の形状良否を精度良く判定できる。

しかし、多様な不良品データを準備するには、やはり多くの時間、工数を要してしまう。そこで、本実施形態では、溶接形状データに質感データを重畳させるとともに、あるいは、質感データを重畳させた後に、溶接不良を表現する溶接不良データを形状不良データに付与する。以下、さらに説明する。

図１８に示すフローチャートのうち、ステップＳ４１～Ｓ４３，Ｓ４５は、図３に示すステップＳ１～Ｓ４とそれぞれ同様であるため、詳細な説明を省略する。

ステップＳ４４（第４ステップ）において、不良情報付与部６は、溶接形状データに対し、一種類または複数種類の溶接不良を表現する溶接不良データを付与する。溶接不良が形成された形状データは、予め記憶部４に保存されている。この場合、１つの形状データの中に複数種類の溶接不良が含まれていてもよいし、一種類の溶接不良のみが含まれていてもよい。ただし、いずれの場合も、１つまたは複数の形状データに、必要な種類の溶接不良がすべて含まれている必要がある。

不良情報付与部６は、溶接不良データを付与するにあたって、いくつかの方法を選択可能に構成されている。例えば、形状生成部２で母材形状データに溶接ビード形状データを結合させたのと同様の手順で、溶接不良の形状やサイズを入力して形状指定部１で受け付ける。これらの入力情報に基づいて、溶接不良データを生成して、溶接形状データに付与する。なお、この場合、質感付与部３は、溶接不良の表面の質感を表面する溶接不良質感データを溶接不良データに付与する。この場合は、溶接不良の種類に応じた溶接不良質感データがそれぞれ付与される。あるいは、記憶部４に保存されたデータから溶接不良に対応する部分をそのまま切り出して、溶接形状データに付与してもよい。

ただし、いずれの場合も、溶接形状データに対して、溶接不良の個数、サイズ及び溶接ビード１１０に対する位置のうち、少なくとも１つを変化させて付与する、いわゆるデータ拡張処理が実行される。

例えば、図１９に示すように、スパッタ１２０の個数や溶接ビード１１０に対する位置を変化させた複数の不良品データを生成する。また、図示しないが、スパッタ１２０のそれぞれのサイズを変化させた複数の不良品データを生成する。

このようにすることで、様々な種類の大量の不良品データを簡便かつ少ない工数で生成できる。

また、ステップＳ４５において、出力部７は、溶接不良データが付与される前の溶接形状データを良品に関する学習データとして出力し、溶接不良データが付与された後の溶接形状データを不良品に関する学習データとして出力する。

なお、溶接不良のサイズを変化させる場合、溶接不良の表面の質感が変化しないようにする必要がある。したがって、記憶部４に保存されたデータから溶接不良に対応する部分をそのまま切り出して、溶接形状データに付与する場合でも、後から溶接不良質感データが付与されるのが好ましい。

また、本実施形態によれば、実施形態１に示す構成が奏するのと同様の効果を奏することは言うまでもない。つまり、学習データを生成するための時間、工数を大幅に短縮できる。特に不良品データを生成するための時間、工数を大幅に短縮できる。また、良品データと不良品データとをそれぞれ計測センサ３１で取得した溶接箇所の形状データ（質感データ）に近づけることができる。このことにより、判定モデルを効率良く学習強化できる。また、溶接箇所の形状良否判定の再現率や判定精度を高めることができる。

（実施形態３）
図２０は、本実施形態に係る溶接箇所の形状評価システムの機能ブロック図を示す。図２１は、溶接箇所の形状良否判定手順を示すフローチャートである。

本実施形態に示す形状評価システム４０は、学習データ生成装置１０と形状良否判定装置２０とを少なくとも備えている。学習データ生成装置１０の構成及び内部の各機能ブロックの機能は、実施形態１，２に示したものと同様であるので、内部の図示及び詳細な説明を省略する。

形状良否判定装置２０は、溶接箇所の形状良否を判定する。言い換えると、形状良否判定装置２０は、溶接箇所における溶接不良の有無を判定する。また、溶接不良がある場合は、溶接不良の種類や溶接箇所における溶接不良の位置や溶接不良のサイズを判定する。なお、形状良否判定装置２０により、溶接箇所における溶接不良の個数が判定されてもよい。また、形状良否判定装置２０は、機能ブロックとしてデータ取得部２１と判定モデル生成部２４と判定部２５とを有している。また、形状良否判定装置２０は、記憶部２３と出力部２６と表示部２７と入力部２８を有している。

なお、形状良否判定装置２０のハードウェア構成は、図２に示すものと同様である。つまり、公知のＰＣと同様の構成である。よって、図２０に示す形状良否判定装置２０内の複数の機能ブロックは、図２に示す各種デバイスに対応している。例えば、ＲＡＭ／ＲＯＭ１４は、図２０に示す記憶部２３に対応している。入力ポート１１は、図２０に示すデータ取得部２１に対応している。また、タッチパネル１７は、図２０に示す表示部２７に対応している。また、形状良否判定装置２０は、図２０に示す記憶部２３として、ＲＡＭ／ＲＯＭ１４以外にＨＤＤやＳＳＤを備えていてもよい。なお、表示部２７は、単に表示用ディスプレイとしてもよい。

また、学習データ生成装置１０と形状良否判定装置２０のハードウェア構成は、同様であるため、それぞれの機能ブロックを実現するのに、共通のハードウェアを用いるようにしてもよい。ただし、全部のハードウェアを共通とする必要は無く、例えば、学習データ生成装置１０と形状良否判定装置２０とで、ＣＰＵやＧＰＵは別個に備えていてもよい。表示部２７が学習データ生成装置１０の表示部５と共通であってもよい。なお、学習データ生成用プログラムと後で述べる形状良否判定用プログラムとは別個に準備され、それぞれ共通または別個の記憶部に保存されている。

データ取得部２１は、溶接箇所の形状良否判定の対象としての形状データを取得するために、外観検査装置３０から、外観検査装置３０にて、実際に溶接ビード１１０（図５参照）が形成された母材１００（図５参照）の形状データを取得する。なお、図２０では、外観検査装置３０からデータ取得部２１に形状データが直接入力される例を示したが、特にこれに限定されない。例えば、外観検査装置３０の外部に設けられた、図示しない記憶部に形状データが保存されており、データ取得部２１が当該記憶部から形状データを取得するようにしてもよい。

データ取得部２１は、形状データ処理部２２をさらに備えていてもよい。形状データ処理部２２は、外観検査装置３０で取得された形状データのノイズ除去機能を有している。母材１００の材質によって計測センサ３１から出射されたレーザ光線の反射率が異なるため、反射率が高すぎるとハレーション等が起こってノイズとなり、形状データに影響を与える場合がある。このノイズは、前述した形状計測時の状態に応じたノイズとは異なり、形状データ自体を毀損するおそれがある。このため、このようなノイズが形状データに残存していると、正確な外観検査結果を得られないおそれがある。このため、例えば、ＣＰＵ上で所定のソフトウェアを実行して、形状データ処理部２２によるハレーション等のノイズのフィルタリング処理を実現している。なお、このフィルタリング処理では、前述した形状計測時の状態に応じたノイズまでは除去されない。

なお、外観検査装置３０に光学フィルタ（図示せず）を設けることによっても、同様にノイズを除去できる。光学フィルタとソフトウェア上のフィルタリング処理とを併用することで、高品質の形状データを得ることができる。

判定モデル生成部２４は、学習データ生成装置１０で生成された学習データを用いて、溶接箇所の形状の良否判定を行うための判定モデルを複数種類生成する。具体的には、学習データを用いて、判定モデルに対して機械学習を行うことで、判定モデルは、形状データに含まれる溶接不良の有無や種類等の推定を行う推論機能を獲得、向上させる。この場合は、ＣＰＵまたはＧＰＵ上で、ノイズ除去後の形状データに対して推論用のアルゴリズム処理が実行される。また、母材１００の材質や形状等に応じた判定モデルがそれぞれ独立して生成、準備されているのが好ましい。

また、判定モデルの判定精度を向上させたい場合、判定モデル生成部２４は、判定モデルの再学習を行う。その際、学習データ生成装置１０から、新たに学習データが追加される。

判定部２５は、データ取得部２１で取得された形状データと判定モデル生成部２４で生成された判定モデルとに基づいて溶接箇所の形状の良否を判定する。具体的には、形状データ処理部２２でのフィルタリング処理によりノイズ除去が行われた後の形状データを用いて、溶接ビード１１０を含む溶接箇所における溶接不良の有無を判定する。また、判定部２５は、溶接不良の種類を推定する。

記憶部２３は、溶接箇所の形状良否判定結果を保存する。また、判定部２５での判定に用いられる形状良否判定用プログラムを保存する。また、ノイズ除去が行われた後の形状データや学習データ生成装置１０で生成された学習データを一時的に保存するようにしてもよい。

表示部２７は、判定部２５の判定結果を表示する。また、溶接箇所における溶接不良の種類及びその位置を可視化して表示する。また、外観検査装置３０で取得された形状データ及び、ハレーション等のノイズ除去後の形状データを可視化して表示する。

出力部２６は、判定部２５の判定結果を図示しない外部の機器に出力する。出力部２６は、図２に示す出力ポート１５に対応している。

入力部２８は、形状良否判定用プログラムの起動命令や判定モデルの再学習命令等を入力する。入力部２８は、図２に示すタッチパネル１７で構成されていてもよいし、キーボードやマウス等で構成されてもよい。あるいは、これらすべてを備えていてもよい。

形状良否判定装置２０に設けられたプロセッサ上で形状良否判定用プログラムを実行することにより、溶接箇所の形状良否が判定できる。このことについて、図２１を用いてさらに説明する。

まず、外観検査装置３０で溶接箇所の外観検査を行う（ステップＳ５１）。検査結果は形状データとしてデータ取得部２１に送られ、形状データ処理部２２でノイズ除去等の処理が行われる。

次に、形状データが判定部２５に入力され、判定モデル生成部２４で生成された判定モデルにより、判定部２５は溶接箇所の形状良否を判定する（ステップＳ５２）。

ステップＳ５２では、判定部２５は、形状不良の有無及び形状不良がある場合はその種類を推定する。さらに、判定部２５は、溶接箇所における形状不良の位置やサイズを判定する。判定部２５は、溶接不良の個数を判定するようにしてもよい。不良判定にあたっては、例えば、予め準備された不良判定用の学習データを用いて、機械学習を行うことで、形状データにおける不良の有無や種類等を推論するようにしてもよい。この場合は、ＣＰＵまたはＧＰＵ上で、形状データに対して推論用のアルゴリズム処理が実行される。

また、判定部２５は、推定して得られた結果に基づいて、溶接箇所の外観が所定の基準を満足するか否かによって溶接箇所の形状良否を判定する。つまり、判定部２５は、計測された溶接箇所に形状不良があるか無いか、ある場合はその個数や種類やサイズが、予め設定された基準以下であるか否かを判断し、その判断結果に基づいて、溶接箇所の形状良否を判定する。

念のため、作業者が溶接箇所を目視で確認し（ステップＳ５３）、ステップＳ５２での判定結果が正しいか否かを判断する（ステップＳ５４）。なお、ステップＳ５４では、予め準備された所定の基準を溶接箇所の外観が満足するか否かで判断される。また、判定モデルが十分に学習強化され、判定部２５による形状良否判定が精度良く行われている状態では、ステップＳ５３及びＳ５４の処理は省略される。

ステップＳ５４の判断結果が肯定的、つまり、判定部２５による溶接箇所の形状良否判定が正しく行われている場合は、出力部２６が判定結果を出力し（ステップＳ５５）。溶接箇所の形状良否判定作業を終了する。

一方、ステップＳ５４の判断結果が否定的、つまり、判定部２５による溶接箇所の形状良否判定が正しく行われていない場合は、判定モデル生成部２４は、判定モデルの再学習を行う（ステップＳ５６）。この際、学習データ生成装置１０で新たに生成された学習データが判定モデルに読み込まれて、再学習が実行される。再学習の実行後、ステップＳ５２に戻って、ステップＳ５４の判断結果が肯定的になるまで一連の処理を繰り返し実行する。

本実施形態に係る溶接箇所の形状良否判定方法は、形状良否判定の対象としての溶接箇所、つまり、溶接ビード１１０が形成された母材１００の形状データを取得するステップと、学習データを用いて、溶接箇所の形状の良否判定を行うための判定モデルを生成するステップと、形状データと判定モデルとに基づいて溶接箇所の形状の良否を判定するステップと、を少なくとも備えている。

学習データは、学習データ生成装置１０で生成され、判定モデルは形状良否判定装置２０の判定モデル生成部２４で母材１００や溶接ビード１１０の材質や形状、さらにはその溶接個所の形状（溶接形状）に応じて複数種類生成される。

溶接箇所の形状良否判定ステップの実行後に、溶接箇所の外観が所定の基準を満足しないと判断された場合は、判定モデルを再学習して、溶接箇所の外観が所定の基準を満足するまで一連の処理を繰り返し実行する。

また、本実施形態に係る形状良否判定用プログラムは、形状良否判定装置２０に設けられた１または複数のプロセッサに、前述の溶接箇所の形状良否判定方法を実行させる。

本実施形態によれば、溶接箇所の形状良否を簡便かつ精度良く判定できる。また、学習データ生成装置１０で、任意の形状の母材１００や溶接ビード１１０に対応した学習データを簡便かつ短時間に生成できるため、溶接箇所の形状良否判定に要する時間や工数を大幅に低減できる。

また、判定モデル生成部２４に判定モデルの再学習機能を持たせることで、溶接箇所の形状良否判定を高い精度で安定して実行できる。

なお、本実施形態では、判定モデル生成部２４を形状良否判定装置２０の内部に組み込んだ例を示したが、判定モデル生成部２４を形状良否判定装置２０の外部に設けてもよい。その場合、判定モデルの再学習も形状良否判定装置２０の外部で実行され。再学習後の判定モデルが判定部２５に入力される。

なお、外観検査装置３０で取得される形状データに距離情報が含まれる場合、溶接ビード１１０の形成領域を特定し、母材１００の表面との高さの差を取ることにより、溶接ビード１１０の高さや脚長を得ることも可能である。

本開示の学習データ生成装置は、学習データを生成するのに要する時間や工数を大幅に短縮できるため、有用である。

１ 形状指定部
２ 形状生成部
３ 質感付与部
４ 記憶部
５ 表示部
６ 不良情報付与部
７ 出力部
１０ 学習データ生成装置
１１ 入力ポート
１２ ＣＰＵ
１３ ＧＰＵ
１４ ＲＡＭ／ＲＯＭ
１５ 出力ポート
１６ データバス
１７ タッチパネル
２０ 形状良否判定装置
２１ データ取得部
２２ 形状データ処理部
２３ 記憶部
２４ 判定モデル生成部
２５ 判定部
２６ 出力部
２７ 表示部
２８ 入力部
３０ 外観検査装置
３１ 三次元形状計測センサ（計測センサ）
３２ ロボット
４０ 形状評価システム
１００ 母材
１１０ 溶接ビード
１２０ スパッタ

Claims (13)

1. 溶接ビードとその周囲の母材とを含む溶接箇所の形状良否を判定するための学習データを生成する学習データ生成装置であって、
   前記母材と前記溶接ビードのそれぞれの形状を指定するパラメータの入力を受け付ける形状指定部と、
   前記形状指定部で受け付けられた前記パラメータに基づいて、前記母材の形状を表現する母材形状データと前記溶接ビードの形状を表現する溶接ビード形状データとをそれぞれ生成するとともに、前記母材形状データと前記溶接ビード形状データとを結合して溶接形状データを生成する形状生成部と、
   前記溶接形状データに対し、前記溶接ビード及び前記母材のそれぞれの表面の質感を表現する質感データを重畳させる質感付与部と、
   前記質感データが重畳された前記溶接形状データを前記学習データとして出力する出力部と、を少なくとも備え、
   前記質感データは、前記母材に実験的に予め形成された前記溶接ビードの形状データに基づいて生成されており、
   前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズが重畳されていることを特徴とする学習データ生成装置。
2. 請求項１に記載の学習データ生成装置において、
   前記質感データには、前記溶接ビードの位置及び範囲を確定するためのアノテーション情報が付加されることを特徴とする学習データ生成装置。
3. 請求項２に記載の学習データ生成装置において、
   前記質感付与部は、前記アノテーション情報に基づいて、前記溶接形状データのうち前記溶接ビード形状データに対応する部分に関し、前記溶接ビードの表面の質感を表現する溶接ビード質感データを重畳し、かつ前記母材形状データに対応する部分に関し、前記母材の表面の質感を表現する母材質感データを重畳することを特徴とする学習データ生成装置。
4. 請求項１に記載の学習データ生成装置において、
   不良情報付与部をさらに備え、
   前記不良情報付与部は、前記溶接形状データに対し、１種類または複数種類の溶接不良を表現する溶接不良データを個数、サイズ及び前記溶接ビードに対する位置のうち、少なくとも１つを変化させて付与し、
   前記出力部は、前記溶接不良データが付与される前の前記溶接形状データを良品に関する学習データとして出力し、前記溶接不良データが付与された後の前記溶接形状データを不良品に関する学習データとして出力することを特徴とする学習データ生成装置。
5. 請求項１ないし４のいずれか１項に記載の学習データ生成装置において、
   前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズとして、前記形状データを取得する計測センサを前記溶接ビードに沿って移動させる速度である走査速度に応じたノイズ、前記計測センサを保持するロボットの微小振動に応じたノイズ、及び前記計測センサの計測粒度に応じたノイズのうちの少なくとも一つが重畳されており、
   前記計測粒度及び前記走査速度に応じて、前記形状データが複数種類準備されていることを特徴とする学習データ生成装置。
6. 溶接ビードとその周囲の母材とを含む溶接箇所の形状良否を判定するための学習データを生成する学習データ生成方法であって、
   前記母材と前記溶接ビードのそれぞれの形状を指定するパラメータの入力を受け付ける第１ステップと、
   前記パラメータに基づいて、前記母材の形状を表現する母材形状データと前記溶接ビードの形状を表現する溶接ビード形状データとをそれぞれ生成するとともに、前記母材形状データと前記溶接ビード形状データとを結合して溶接形状データを生成する第２ステップと、
   前記溶接形状データに対し、前記溶接ビードが形成された前記母材の表面の質感を表現する質感データを重畳させる第３ステップと、
   前記質感データが重畳された前記溶接形状データを前記学習データとして出力する第５ステップと、を少なくとも備え、
   前記質感データは、前記母材に実験的に予め形成された前記溶接ビードの形状データに基づいて生成されており、
   前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズが重畳されていることを特徴とする学習データ生成方法。
7. 請求項６に記載の学習データ生成方法において、
   前記第３ステップの実行前または前記第３ステップの実行中に、前記溶接ビードの位置及び範囲を確定するためのアノテーション情報を前記質感データに付加するステップをさらに備えたことを特徴とする学習データ生成方法。
8. 請求項７に記載の学習データ生成方法において、
   前記第３ステップの実行中に、前記アノテーション情報に基づいて、前記溶接形状データのうち前記溶接ビード形状データに対応する部分に関し、前記溶接ビードの表面の質感を表現する溶接ビード質感データを重畳し、かつ前記母材形状データに対応する部分に関し、前記母材の表面の質感を表現する母材質感データを重畳することを特徴とする学習データ生成方法。
9. 請求項６に記載の学習データ生成方法において、
   前記第３ステップの実行後に、
   前記溶接形状データに対し、１種類または複数種類の溶接不良を表現する溶接不良データを個数、サイズ及び前記溶接ビードに対する位置のうち、少なくとも１つを変化させて付与する第４ステップをさらに備え、
   前記第５ステップにおいて、前記溶接不良データが付与される前の前記溶接形状データを良品に関する学習データとして出力し、前記溶接不良データが付与された後の前記溶接形状データを不良品に関する学習データとして出力することを特徴とする学習データ生成方法。
10. 請求項６ないし９のいずれか１項に記載の学習データ生成方法において、
    前記形状データ及び前記質感データには、前記母材及び前記溶接ビードの形状計測時の状態に応じたノイズとして、前記形状データを取得する計測センサを前記溶接ビードに沿って移動させる速度である走査速度に応じたノイズ、前記計測センサを保持するロボットの微小振動に応じたノイズ、及び前記計測センサの計測粒度に応じたノイズのうちの少なくとも一つが重畳されており、
    前記計測粒度及び前記走査速度に応じて、前記形状データが複数種類準備されていることを特徴とする学習データ生成方法。
11. １または複数のプロセッサに請求項６に記載の学習データ生成方法を実行させるための学習データ生成用プログラム。
12. 請求項１に記載の学習データ生成装置と、
    前記溶接箇所の形状の良否を判定する形状良否判定装置と、を少なくとも備え、
    前記形状良否判定装置は、
    前記溶接ビードが形成された前記母材の前記形状データを取得するデータ取得部と、
    前記学習データ生成装置で生成された前記学習データを用いて、前記溶接箇所の形状の良否判定を行うための判定モデルを複数種類生成する判定モデル生成部と、
    前記データ取得部で取得された前記形状データと前記判定モデル生成部で生成された前記判定モデルとに基づいて前記溶接箇所の形状の良否を判定する判定部と、
    を少なくとも備えたことを特徴とする溶接箇所の形状評価システム。
13. 請求項１２に記載の形状評価システムにおいて、
    前記学習データ生成装置を構成するハードウェアの一部または全部が、前記形状良否判定装置を構成するハードウェアと共通していることを特徴とする溶接箇所の形状評価システム。