JP2020144688A - 学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置 - Google Patents

Abstract

【課題】専門知識を必要とせず、簡便、かつ精度良く溶接欠陥を検出することができる溶接欠陥検出装置において用いられる識別器の学習方法、及び学習装置、並びに当該学習装置を備える溶接欠陥検出装置を提供する。【解決手段】溶接箇所に対する放射線の照射により得られた検査画像を取得する画像取得工程と、検査画像に含まれる画素に対して、溶接欠陥に対応する溶接欠陥画素、及び溶接欠陥画素以外の正常画素各々に応じたラベル付けを実施可能な作業画面をユーザに提示するための処理を実行する表示処理工程と、ユーザによる入力操作に応じて、作業画面において実施されたラベル付けの結果に基づいて、検査画像から、溶接欠陥画素、及び正常画素を区分したラベリング画像を生成するラベリング画像生成工程と、検査画像、及びラベリング画像を組み合わせた学習用データセットを用いて、溶接欠陥を検出するために用いられる識別器の学習を繰り返し実行する識別器学習工程と、を含む。【選択図】図１

Description

本実施形態は、溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置に用いられる識別器の学習方法、及び学習装置、並びに当該学習装置を備える溶接欠陥検出装置に関する。

例えば、構造物の溶接継手等の溶接箇所における溶接欠陥を検査する溶接欠陥検査においては、当該溶接箇所にＸ線等の放射線を照射して得られた画像を、専門の検査員により目視観察することで、溶接欠陥の有無、及び溶接欠陥のグレード分けを評価することが実施されている。しかしながら、人間の目視による評価には個人差がある。また、定性的な判断ができないため、きめ細かなグレード分けが困難である。また、溶接欠陥の分類に対する専門知識が必要である。

上記問題点に関して、例えば、下記特許文献１では、人間の目視に依らずに、画像処理技術により、各種溶接欠陥を自動的に分離及び識別して検出すると共に、それらのグレードを定量的に評価できる手法を開示している。当該手法では、濃淡モフォロジ処理、輪郭抽出、スライス処理、及び二値化処理等の画像処理を実行している。

特許第４２１１０９２号明細書

一方で、溶接箇所に対する放射線の照射により得られた検査画像には、溶接欠陥以外のノイズが多く存在しており、ノイズ除去処理を実行しても、ノイズを完全的に削除することができない。これらのノイズは、二値化処理、及び輪郭抽出に対する影響が非常に大きい。このため、当該溶接欠陥の過検出、又は未検出が発生しやすい。すなわち、特許文献１の手法を用いた場合、検出結果の信頼性が低い。

本実施形態はこのような事情を考慮してなされたものであり、その目的とするところは、専門知識を必要とせず、簡便、かつ精度良く溶接欠陥を検出することができる溶接欠陥検出装置において用いられる識別器の学習方法、及び学習装置、並びに当該学習装置を備える溶接欠陥検出装置を提供することにある。

上記目的を達成するため、本実施態様に係る学習方法は、溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置において用いられる識別器の学習方法であって、前記溶接箇所に対する放射線の照射により得られた検査画像を取得する画像取得工程と、前記検査画像に含まれる画素に対して、前記溶接欠陥に対応する溶接欠陥画素、及び前記溶接欠陥画素以外の正常画素各々に応じたラベル付けを実施可能な作業画面をユーザに提示するための処理を実行する表示処理工程と、前記ユーザによる入力操作に応じて、前記作業画面において実施された前記ラベル付けの結果に基づいて、前記検査画像から、前記溶接欠陥画素、及び前記正常画素を区分したラベリング画像を生成するラベリング画像生成工程と、前記検査画像、及び前記ラベリング画像を組み合わせた学習用データセットを用いて、前記溶接欠陥を検出するために用いられる識別器の学習を繰り返し実行する識別器学習工程と、を含む。

また、前記識別器学習工程は、前記検査画像に含まれる画素に対して、前記識別器を用いた前記ラベル付けを実行することで、前記溶接欠陥画素、及び前記正常画素を区分した仮想ラベリング画像を生成することと、前記ラベリング画像、及び前記仮想ラベリング画像を比較して、前記ラベリング画像、及び前記仮想ラベリング画像の一致度が所定の閾値以上となるまで、前記識別器を更新して、前記検査画像から前記仮想ラベリング画像を再度生成することを繰り返すことと、を含んでいてもよい。

また、前記ラベル付けは、前記溶接欠陥画素に対して前記溶接欠陥の種別に応じた前記ラベル付けを含んでいてもよい。

また、前記識別器は、セマンティックセグメンテーションに用いられるニューラルネットワークであってもよい。

本実施態様に係る学習装置は、溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置において用いられる識別器の学習装置であって、ユーザの入力操作を受け付ける入力部と、前記溶接箇所に対する放射線の照射により得られた検査画像を取得する画像取得部と、前記検査画像に含まれる画素に対して、前記溶接欠陥に対応する溶接欠陥画素、及び前記溶接欠陥画素以外の正常画素各々に応じたラベル付けを実施可能な作業画面をユーザに提示するための処理を実行する表示処理部と、前記入力部を介した前記ユーザによる入力操作に応じて、前記作業画面において実施された前記ラベル付けの結果に基づいて、前記検査画像から、前記溶接欠陥画素、及び前記正常画素を区分したラベリング画像を生成するラベリング画像生成部と、前記検査画像、及び前記ラベリング画像を組み合わせた学習用データセットを用いて、前記溶接欠陥を検出するために用いられる識別器の学習を繰り返し実行する識別器学習部と、を具備する。

また、前記識別器学習部は、前記検査画像に含まれる画素に対して、前記識別器を用いた前記ラベル付けを実行することで、前記溶接欠陥画素、及び前記正常画素を区分した仮想ラベリング画像を生成することと、前記ラベリング画像、及び前記仮想ラベリング画像を比較して、前記ラベリング画像、及び前記仮想ラベリング画像の一致度が所定の閾値以上となるまで、前記識別器を更新して、前記検査画像から前記仮想ラベリング画像を再度生成することを繰り返すことと、を実行してもよい。

また、前記ラベル付けは、前記溶接欠陥画素に対して前記溶接欠陥の種別に応じた前記ラベル付けを含んでいてもよい。

また、前記識別器は、セマンティックセグメンテーションに用いられるニューラルネットワークであってもよい。

さらに、本実施態様に係る溶接欠陥検出装置は、上記学習装置と、前記学習装置により学習された前記識別器を用いて、前記検査画像における溶接欠陥を検出する溶接欠陥検出部と、を具備する。

本実施形態に係る学習方法、及び学習装置は、専門知識を必要とせず、簡便、かつ精度良く溶接欠陥を検出することができる溶接欠陥検出装置において用いられる識別器の学習を実現することができる。

本実施形態に係る学習装置の構成を示すブロック図である。 図１に示す処理部において実行される処理の流れを示すフローチャートである。 球状欠陥を含む検査画像を示す図である。 線状欠陥を含む検査画像を示す図である。 溶接欠陥を含まない検査画像を示す図である。 図３Ａに示す球状欠陥を含む検査画像から生成されたラベリング画像である。 図３Ｂに示す線状欠陥を含む検査画像から生成されたラベリング画像である。 図３Ｃに示す正常画像から生成されたラベリング画像である。 図１に示す処理部の識別器学習部における識別器の学習について説明するための図である。 本実施形態に係る学習装置を備える溶接欠陥検出装置の構成を示すブロック図である。 図７は、図６に示す処理部において実行される処理の流れを示すフローチャートである。

以下、本実施形態に係る学習方法、学習装置、及び当該学習装置を備える溶接欠陥検出装置について、図面を参照して説明する。なお、本実施形態は以下に説明する内容に限定されるものではなく、その要旨を変更しない範囲において任意に変更して実行することが可能である。また、実施形態の説明に用いる図面は、いずれも構成部材を模式的に示すものであって、理解を深めるべく部分的な強調、拡大、縮小、または省略などを行っており、構成部材の縮尺や形状等を正確に表すものとはなっていない場合がある。

（学習装置）
まず、本実施形態に係る学習装置の構成について説明する。図１は、本実施形態に係る学習装置１の構成を示すブロック図である。図１に示す学習装置１は、溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置において用いられる識別器の学習を実行する装置である。ここで、本実施形態における溶接欠陥は、ピット、クレーター、割れ、又はブローホール等の当該技術分野において知られているものである。

また、本実施形態における識別器は、全層畳み込みネットワーク（ＦＣＮ）、ＳｅｇＮｅｔ、Ｄｉｌａｔｅｄ畳み込み、ＤｅｅｐＬａｂ、Ｒｅｆｉｎｅ Ｎｅｔ、ＰＳＰ Ｎｅｔ、又はＬａｒｇｅ Ｋｅｒｎｅｌ Ｍａｔｔｅｒｓ等の当該技術分野で知られている、セマンティックセグメンテーションに用いられるニューラルネットワークである。

なお、本実施形態におけるセマンティックセグメンテーションは、上記識別器を用いて、検査画像に含まれる画素ごとに、上記溶接欠陥に対応する溶接欠陥画素であるか、又は当該溶接欠陥画素以外の正常画素であるかを判定し、さらに、当該溶接欠陥画素である場合に溶接欠陥の種別を判定する技術のことである。

本実施形態に係る学習装置１は、上記識別器の学習を実行することで、溶接箇所を撮影した検査画像を入力するだけで、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出すると共に、それらのグレードを定量的に評価可能な改良識別器（溶接欠陥検出モデル）を生成する。すなわち、本実施形態に係る学習装置１により学習された改良識別器は、異なる種類の溶接欠陥に対して、異なる画像処理を実行せずとも、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出することを実現する。

まず、本実施形態に係る学習装置１は、例えば、演算装置１０と、入力機器３０と、表示機器４０とを備える。演算装置１０は、入力機器３０、及び表示機器４０と電気的、又は光学的に相互に接続されている。

演算装置１０は、接続された機器とのデータのやり取り、及び当該識別器の学習に関する演算処理を実行するパーソナルコンピュータ、又はワークステーションである。図１に示すように、本実施形態における演算装置１０は、入出力インタフェース部１１と、記憶部１２と、処理部１３とを有する。入出力インタフェース部１１と、記憶部１２と、処理部１３とは、装置内に設けられたバス１４を介して相互に接続される。

入出力インタフェース部１１は、演算装置１０と、他の機器とを電気的、又は光学的に相互に接続し、演算装置１０内の構成と他の機器との間の通信を確立する。本実施形態における入出力インタフェース部１１は、有線接続、又は無線接続のうちの少なくとも一つの接続手法により、演算装置１０と、他の機器とを接続する。例えば、入出力インタフェース部１１は、入力機器３０を介して入力されたユーザの入力操作を電気信号へ変換し処理部１３へ出力する。また、入出力インタフェース部１１は、処理部１３から出力されたデータを表示機器４０の制御信号へ変換し表示機器４０へ出力する。なお、本実施形態における入出力インタフェース部１１は、図示しない外部機器と接続されてもよい。

記憶部１２は、ＨＤＤ（Hard Disk Drive）、又はＳＳＤ（Solid State Drive）等のデータを記憶可能な機器を含む。例えば、本実施形態における記憶部１２は、構造物の溶接継手等の溶接箇所に対する放射線の照射により得られた画像（検査画像）を予め記憶する。また、本実施形態における記憶部１２は、学習前の識別器を記憶する。ここで、上記検査画像は、溶接箇所に対して、Ｘ線管等の放射線照射装置により放射線を照射し、当該溶接箇所を透過した放射線をイメージインテンシファイア等の放射線検出器により検出することで、透過した当該放射線の強度分布を画像化したものである。

また、本実施形態における記憶部１２は、ＨＤＤ、又はＳＳＤ等の機器以外にも、光磁気ディスク、ＣＤ（Compact Disc）、又はＤＶＤ（Digital Versatile Disc）等の光ディスクを利用してもよい。また、記憶部１２の保存領域は、演算装置１０内にあってもよいし、入出力インタフェース部１１を介して接続された外部記憶装置（図示せず）内にあってもよい。

処理部１３は、ハードウェア資源として、所定のプロセッサを有する。処理部１３は、画像取得部１３１と、前処理部１３２と、表示処理部１３３と、ラベリング画像生成部１３４と、識別器学習部１３５とを有する。

画像取得部１３１は、上記検査画像を取得する。本実施形態における画像取得部１３１は、記憶部１２、又は上記外部記憶装置（図示せず）に記憶された当該検査画像を取得する。

前処理部１３２は、画像取得部１３１により取得された上記検査画像に対して所定の前処理を実行する。例えば、本実施形態における前処理部１３２は、画像取得部１３１により取得された上記検査画像に対して、画像のコントラストを向上させる正規化処理、及びフィルタにより画像ノイズを除去する平滑化処理等の画像処理を実行する。

表示処理部１３３は、上記検査画像に含まれる画素に対して、上記溶接欠陥画素、及び正常画素各々に応じたラベル付けを実施可能なラベリング作業画面をユーザに提示するための処理を実行する。ここで、本実施形態におけるラベル付けは、例えば、検査画像に含まれる画素に対して、上記溶接欠陥画素、及び正常画素各々に応じたラベル（例えば、溶接欠陥画素、及び正常画素各々に応じた番号）を付与する作業のことである。上記ラベル付けは、溶接欠陥画素に対して溶接欠陥の種別に応じたラベルを付与することを含む。

ラベリング画像生成部１３４は、後述する入力機器３０を介した、上記ユーザによる入力操作に応じて、上記ラベリング作業画面において実施されたラベル付けの結果に基づいて、検査画像から、溶接欠陥画素、及び正常画素を区分したラベリング画像を生成する。

識別器学習部１３５は、上記検査画像、及び上記ラベリング画像を組み合わせた学習用データセットを用いて、上記識別器の学習を繰り返し実行する。なお、本実施形態における識別器学習部１３５での識別器の学習の詳細については、後ほど図面を参照しながら説明する。

次に、入力機器３０は、ユーザの入力操作を受け付ける。ここで、本実施形態における入力機器３０は、マウス、キーボード、トラックボール、スイッチボタン、操作面へ触れることで入力操作を行うタッチパッド、手書き入力を行うタッチペン、又は表示画面とタッチパッドとが一体化されたタッチパネルディスプレイのうちの少なくとも一つである。

最後に、表示機器４０は、処理部１３による制御に従い、種々のデータを表示する。表示機器４０は、表示インタフェース回路、及び表示パネルを有する。表示インタフェース回路は、表示対象を表すデータをビデオ信号に変換する。表示信号は、表示パネルに供給される。表示パネルは、表示対象を表すビデオ信号を表示する。ここで、本実施形態における表示機器４０としては、例えば、ＣＲＴディスプレイ（Cathode Ray Tube Display）、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ、又は当該技術分野で知られている他の任意のディスプレイが適宜利用可能である。

ここで、本実施形態に係る学習装置１の処理部１３において実行される各演算処理について、図２乃至図５を参照して説明する。図２は、図１に示す処理部１３において実行される処理の流れを示すフローチャートである。図２に示すフローチャートは、上記学習用データセットを用いて、識別器の学習を実行することで、溶接箇所を撮影した検査画像を入力するだけで、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出すると共に、それらのグレードを定量的に評価可能な改良識別器（溶接欠陥検出モデル）を出力する流れを示す。

まず、処理部１３の画像取得部１３１は、記憶部１２に記憶された上記検査画像を取得する（ステップＳａ１）。例えば、画像取得部１３１は、図３Ａ乃至図３Ｃに示す検査画像を取得する。なお、図３Ａは、上記溶接欠陥として、ピット及びブローホール等の球状欠陥Ｅ１を含む検査画像である。図３Ｂは、上記溶接欠陥として、割れ等の線状欠陥Ｅ２を含む検査画像である。図３Ｃは、上記溶接欠陥を含まない検査画像（すなわち、正常画像）である。

ステップＳａ１の処理後、処理部１３の前処理部１３２は、画像取得部１３１により取得された上記検査画像に対して、正規化処理、及び平滑化処理等の画像処理を実行する（ステップＳａ２）。ステップＳａ２の処理後、処理部１３の表示処理部１３３は、上記ラベリング作業画面を表示機器４０に表示するための処理を実行する（ステップＳａ３）。これにより、表示機器４０に、上記ラベリング作業画面が表示され、上記ラベリング作業画面がユーザに提示される。

ここで、ユーザは、上記ラベリング作業画面を参照しながら、上記入力機器３０を操作して、検査画像に含まれる画素に対して、溶接欠陥画素、及び正常画素各々に応じたラベル付けを実施する。具体的には、ユーザは、上記ラベリング作業画面に表示されたポインタをスクロールさせて、溶接欠陥であると推定される検査画像の箇所を指定する。さらに、ユーザは、指定した検査画像の箇所にラベル（例えば、溶接欠陥画素、及び正常画素各々に応じた番号）を付与する。なお、ラベル付けを実施するユーザは、溶接欠陥の分類に対する専門知識を有する専門の検査員である。

ステップＳａ３の処理後、及びユーザによるラベル付けの実施後、処理部１３のラベリング画像生成部１３４は、上記ラベリング作業画面において実施されたラベル付けの結果（すなわち、ユーザにより実施されたラベル付けにおける指定箇所の座標情報及び付与されたラベル）に基づいて、図４Ａ乃至図４Ｃに示すラベリング画像を生成する（ステップＳａ４）。なお、図４Ａは、図３Ａに示す球状欠陥Ｅ１を含む検査画像から生成されたラベリング画像である。図４Ｂは、図３Ｂに示す線状欠陥Ｅ２を含む検査画像から生成されたラベリング画像である。図４Ｃは、図３Ｃに示す正常画像から生成されたラベリング画像である。例えば、図４Ａ乃至図４Ｃに示すように、球状欠陥Ｅ１を示す画素には、球状欠陥Ｅ１を示すラベル「１」が付与され、線状欠陥Ｅ２を示す画素には線状欠陥Ｅ２を示すラベル「２」が付与され、正常画素には正常画素を示すラベル「０」が付与されている。

ステップＳａ４の処理後、処理部１３の識別器学習部１３５は、上記検査画像と、上記ラベリング画像とを組み合わせた学習用データセットを用いて、上記識別器の学習を繰り返し実行する（ステップＳａ５）。図５は、図１に示す処理部１３の識別器学習部１３５における識別器の学習について説明するための図である。

図５に示すように、識別器学習部１３５は、上記検査画像に含まれる画素に対して識別器を用いたラベル付けを実行することで、溶接欠陥画素、及び正常画素を区分した仮想ラベリング画像を生成する。さらに、識別器学習部１３５は、上記ラベリング画像、及び仮想ラベリング画像を比較して、上記ラベリング画像、及び仮想ラベリング画像の一致度が所定の閾値以上となるまで、当該識別器を更新して、仮想ラベリング画像を再度生成することを繰り返す。例えば、所定の閾値を「９０％」とし、さらに、図５に示すように、上記ラベリング画像、及び仮想ラベリング画像の一致度が「７４％」である場合、識別器学習部１３５は、当該識別器の構造（例えば、周囲の画素と比較して、画素値が低い画素を溶接欠陥と判定する等のノード（人工ニューロン）、及び複数のノードの間を接続する経路）を更新して、検査画像から仮想ラベリング画像を再度生成する。

なお、所定の閾値は、ユーザにより任意の値を設定可能である。また、所定の閾値は、後述する溶接欠陥検出装置において求められる、当該溶接欠陥の検出精度に応じて設定可能である。

ステップＳａ５の処理後、識別器学習部１３５は、上記ラベリング画像、及び仮想ラベリング画像の一致度が所定の閾値以上となった場合に、学習した識別器を溶接欠陥検出モデルとして出力する（ステップＳａ６）。ステップＳａ６の処理後、本実施形態に係る学習装置１は、一連の処理を終了する。

上記構成によれば、本実施形態に係る学習装置１は、上記識別器の学習を実行することで、溶接箇所を撮影した検査画像を入力するだけで、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出すると共に、それらのグレードを定量的に評価可能な改良識別器（溶接欠陥検出モデル）を出力することができる。

かくして、本実施形態に係る学習装置１は、専門知識を必要とせず、簡便、かつ精度良く溶接欠陥を検出することができる溶接欠陥検出装置において用いられる識別器の学習を実現することができる。

（溶接欠陥検出装置）
さらに、本実施形態では、上記学習装置１により出力された当該溶接欠陥検出モデルを用いて、溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置を実現する。

図６は、本実施形態に係る学習装置１を備える溶接欠陥検出装置１００の構成を示すブロック図である。なお、図１に示す学習装置１と同様の機能を有する構成については、詳細な説明を省略し、必要に応じて適宜記載することとする。

図６に示す溶接欠陥検出装置１００は、溶接箇所における溶接欠陥を検出するための装置である。本実施形態に係る溶接欠陥検出装置１００は、例えば、演算装置５０と、学習装置１と、撮影機器２０と、入力機器３１と、表示機器４１とを備える。演算装置１０は、学習装置１、撮影機器２０、入力機器３１、及び表示機器４１と電気的、又は光学的に相互に接続されている。なお、入力機器３１、及び表示機器４１は、図１に示す入力機器３０、及び表示機器４０と同様の機能を有している。

演算装置５０は、演算装置１０と同様に、接続された機器とのデータのやり取り、及び構造物の表面の劣化検出に関する演算処理を実行するパーソナルコンピュータ、又はワークステーションである。図６に示すように、本実施形態における演算装置５０は、入出力インタフェース部５１と、記憶部５２と、処理部５３とを有する。入出力インタフェース部５１と、記憶部５２と、処理部５３とは、装置内に設けられたバス５４を介して相互に接続される。

入出力インタフェース部５１は、入出力インタフェース部１１と同様に、演算装置５０と、他の機器とを電気的、又は光学的に相互に接続し、演算装置５０内の構成と他の機器との間の通信を確立する。本実施形態における入出力インタフェース部５１は、有線接続、又は無線接続のうちの少なくとも一つの接続手法により、演算装置５０と、他の機器とを接続する。例えば、入出力インタフェース部５１は、撮影機器２０により生成された検査画像を記憶部５２、又は処理部５３のうちの少なくとも一つへ出力する。また、入出力インタフェース部５１は、入力機器３１を介して入力されたユーザの入力操作を電気信号へ変換し処理部５３へ出力する。また、入出力インタフェース部５１は、処理部５３から出力されたデータを表示機器４１の制御信号へ変換し表示機器４１へ出力する。なお、本実施形態における入出力インタフェース部５１は、図示しない外部機器と接続されてもよい。

記憶部５２は、記憶部１２と同様に、ＨＤＤ、又はＳＳＤ等のデータを記憶可能な機器を含む。本実施形態における記憶部５２は、例えば、上記検査画像を記憶する。また、記憶部５２は、学習装置１により生成された溶接欠陥検出モデルを記憶する。なお、本実施形態における記憶部５２は、ＨＤＤ、又はＳＳＤ等の機器以外にも、光磁気ディスク、ＣＤ、又はＤＶＤ等の光ディスクを利用してもよい。また、記憶部５２の保存領域は、演算装置５０内にあってもよいし、入出力インタフェース部５１を介して接続された外部記憶装置（図示せず）内にあってもよい。

処理部５３は、処理部１３と同様に、ハードウェア資源として、所定のプロセッサを有する。処理部５３は、画像取得部５３１と、前処理部５３２と、溶接欠陥検出部５３３と、表示処理部５３４とを有する。

画像取得部５３１は、溶接箇所を撮影した検査画像を取得する。本実施形態における画像取得部５３１は、撮影機器２０から直接、又は記憶部５２若しくは上記外部記憶装置（図示せず）に記憶された当該検査画像を取得する。

前処理部５３２は、画像取得部５３１により取得された上記検査画像に対して所定の前処理を実行する。例えば、本実施形態における前処理部５３２は、画像取得部５３１により取得された上記検査画像に対して、画像のコントラストを向上させる正規化処理、及びフィルタにより画像ノイズを除去する平滑化処理等の画像処理を実行する。

溶接欠陥検出部５３３は、学習装置１により学習された識別器を用いて、上記検査画像における溶接欠陥を検出する。具体的には、溶接欠陥検出部５３３は、記憶部５２に記憶された溶接欠陥検出モデルを用いて、上記ラベル付けを実行することで、仮想ラベリング画像を生成する。

表示処理部５３４は、溶接欠陥の検出結果をユーザに提示する処理を実行する。例えば、表示処理部５３４は、溶接欠陥検出部５３３により生成された仮想ラベリング画像をユーザに提示するための処理を実行する。

次に、撮影機器２０は、構造物における溶接箇所を撮影することで、上記検査画像を生成する。本実施形態における撮影機器２０は、Ｘ線管等の放射線照射装置、及びイメージインテンシファイア等の放射線検出器により構成される。撮影機器２０は、上記溶接箇所に対して、放射線照射装置により放射線を照射し、当該溶接箇所を透過した放射線を放射線検出器により検出することで、透過した当該放射線の強度分布を画像化した検査画像を生成する。また、撮影機器２０により生成される検査画像は、アナログ画像でもディジタル画像でもよい。上記検査画像がアナログ画像である場合、例えば、演算装置５０により、検査画像をアナログ画像からディジタル画像に変換する必要がある。

ここで、本実施形態に係る溶接欠陥検出装置１００の処理部５３において実行される各演算処理について、図７を参照して説明する。図７は、図６に示す処理部５３において実行される処理の流れを示すフローチャートである。図７に示すフローチャートは、上記検査画像を入力するだけで、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置（例えば、画素の座標）、及び種類を一括して検出し、検出した溶接欠陥をユーザに提示する流れを示す。

まず、処理部５３の画像取得部５３１は、上記検査画像を取得する（ステップＳｂ１）。ステップＳｂ１の処理後、処理部５３の前処理部５３２は、画像取得部５３１により取得された上記検査画像に対して、正規化処理、及び平滑化処理等の画像処理を実行する（ステップＳｂ２）。

ステップＳｂ２の処理後、処理部５３の溶接欠陥検出部５３３は、上記溶接欠陥検出モデルを用いて、上記検査画像における溶接欠陥を検出する（ステップＳｂ３）。すなわち、溶接欠陥検出部５３３は、上記溶接欠陥検出モデルを用いて、上記ラベル付けを実行することで、仮想ラベリング画像を生成する。すなわち、溶接欠陥検出部５３３は、検査画像を入力するだけで、異なる種類の溶接欠陥に対して、異なる画像処理を実行しなくても、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出することができる。

ステップＳｂ３の処理後、処理部５３の表示処理部５３４は、溶接欠陥検出部５３３により検出された溶接欠陥をユーザに提示するための処理を実行する（ステップＳｂ４）。すなわち、表示処理部５３４は、溶接欠陥検出部５３３により生成された仮想ラベリング画像をユーザに提示するための処理を実行する。このとき、表示処理部５３４は、仮想ラベリング画像と共に、各種溶接欠陥の位置、及び種類、並びにＪＩＳ規格に基づく各種溶接欠陥のグレード分けをユーザに提示してもよい。ステップＳｂ４の処理後、本実施形態に係る溶接欠陥検出装置１００は、一連の処理を終了する。

上記構成によれば、本実施形態に係る溶接欠陥検出装置１００は、検査画像を入力するだけで、異なる種類の溶接欠陥に対して、異なる画像処理を実行しなくても、検査画像に含まれる溶接欠陥を識別して、当該溶接欠陥の位置、及び種類を一括して検出することができる。さらに、本実施形態に係る溶接欠陥検出装置１００は、ＪＩＳ規格に基づく各種溶接欠陥のグレード分けをユーザに提示することができる。

かくして、本実施形態に係る溶接欠陥検出装置１００は、専門知識を必要とせず、簡便、かつ精度良く溶接欠陥を検出することができる。また、本実施形態に係る溶接欠陥検出装置１００は、人間の目視に依らないため、検出精度を向上し、検出結果の信頼性を向上することができる。また、本実施形態に係る溶接欠陥検出装置１００は、異なる種類の溶接欠陥に対して、異なる画像処理実行しなくてよいため、１つの検出装置のみで対応でき、汎用性が高い。

ここで、本実施形態において、学習装置１の処理機能及び記憶機能を溶接欠陥検出装置１００の演算装置５０が有していてもよい。また、本実施形態において、学習装置１に備えられる入力機器３０、及び表示機器４０、並びに溶接欠陥検出装置１００に備えられる入力機器３１、及び表示機器４１を共通化して、一つの入力機器、及び表示機器を、学習装置１、及び溶接欠陥検出装置１００で共有してもよい。

なお、上記説明において用いた「所定のプロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、若しくはＧＰＵ（Graphics Processing Unit）等の専用又は汎用のプロセッサ、又は、特定用途向け集積回路（ＡＳＩＣ：Application Specific Integrated Circuit）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（ＳＰＬＤ：Simple Programmable Logic Device）、複合プログラマブル論理デバイス（ＣＰＬＤ：Complex Programmable Logic Device）、若しくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ：Field Programmable Gate Array）等を意味する。また、本実施形態の各構成要素（処理部１３に含まれる各構成）は、単一のプロセッサに限らず、複数のプロセッサによって実現するようにしてもよい。

以上、本実施形態の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 学習装置
１０、５０ 演算装置
１１、５１ 入出力インタフェース部
１２、５２ 記憶部
１３、５３ 処理部
１４、５４ バス
２０ 撮影機器
３０、３１ 入力機器
４０、４１ 表示機器
１００ 溶接欠陥検出装置
１３１、５３１ 画像取得部
１３２、５３２ 前処理部
１３３、５３４ 表示処理部
１３４ ラベリング画像生成部
１３５ 識別器学習部
５３３ 溶接欠陥検出部

Claims (9)

1. 溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置において用いられる識別器の学習方法であって、
   前記溶接箇所に対する放射線の照射により得られた検査画像を取得する画像取得工程と、
   前記検査画像に含まれる画素に対して、前記溶接欠陥に対応する溶接欠陥画素、及び前記溶接欠陥画素以外の正常画素各々に応じたラベル付けを実施可能な作業画面をユーザに提示するための処理を実行する表示処理工程と、
   前記ユーザによる入力操作に応じて、前記作業画面において実施された前記ラベル付けの結果に基づいて、前記検査画像から、前記溶接欠陥画素、及び前記正常画素を区分したラベリング画像を生成するラベリング画像生成工程と、
   前記検査画像、及び前記ラベリング画像を組み合わせた学習用データセットを用いて、前記溶接欠陥を検出するために用いられる識別器の学習を繰り返し実行する識別器学習工程と、
   を含む、学習方法。
2. 前記識別器学習工程は、
   前記検査画像に含まれる画素に対して、前記識別器を用いた前記ラベル付けを実行することで、前記溶接欠陥画素、及び前記正常画素を区分した仮想ラベリング画像を生成することと、
   前記ラベリング画像、及び前記仮想ラベリング画像を比較して、前記ラベリング画像、及び前記仮想ラベリング画像の一致度が所定の閾値以上となるまで、前記識別器を更新して、前記検査画像から前記仮想ラベリング画像を再度生成することを繰り返すことと、
   を含む、請求項１に記載の学習方法。
3. 前記ラベル付けは、前記溶接欠陥画素に対して前記溶接欠陥の種別に応じた前記ラベル付けを含む、請求項１、又は請求項２に記載の学習方法。
4. 前記識別器は、セマンティックセグメンテーションに用いられるニューラルネットワークである、請求項１から請求項３のいずれか一項に記載の学習方法。
5. 溶接箇所における溶接欠陥を検出するための溶接欠陥検出装置において用いられる識別器の学習装置であって、
   ユーザの入力操作を受け付ける入力部と、
   前記溶接箇所に対する放射線の照射により得られた検査画像を取得する画像取得部と、
   前記検査画像に含まれる画素に対して、前記溶接欠陥に対応する溶接欠陥画素、及び前記溶接欠陥画素以外の正常画素各々に応じたラベル付けを実施可能な作業画面をユーザに提示するための処理を実行する表示処理部と、
   前記入力部を介した前記ユーザによる入力操作に応じて、前記作業画面において実施された前記ラベル付けの結果に基づいて、前記検査画像から、前記溶接欠陥画素、及び前記正常画素を区分したラベリング画像を生成するラベリング画像生成部と、
   前記検査画像、及び前記ラベリング画像を組み合わせた学習用データセットを用いて、前記溶接欠陥を検出するために用いられる識別器の学習を繰り返し実行する識別器学習部と、
   を具備する学習装置。
6. 前記識別器学習部は、
   前記検査画像に含まれる画素に対して、前記識別器を用いた前記ラベル付けを実行することで、前記溶接欠陥画素、及び前記正常画素を区分した仮想ラベリング画像を生成することと、
   前記ラベリング画像、及び前記仮想ラベリング画像を比較して、前記ラベリング画像、及び前記仮想ラベリング画像の一致度が所定の閾値以上となるまで、前記識別器を更新して、前記検査画像から前記仮想ラベリング画像を再度生成することを繰り返すことと、
   を実行する、請求項５に記載の学習装置。
7. 前記ラベル付けは、前記溶接欠陥画素に対して前記溶接欠陥の種別に応じた前記ラベル付けを含む、請求項５、又は請求項６に記載の学習装置。
8. 前記識別器は、セマンティックセグメンテーションに用いられるニューラルネットワークである、請求項５から請求項７のいずれか一項に記載の学習装置。
9. 請求項５から請求項８のいずれか一項に記載の学習装置と、
   前記学習装置により学習された前記識別器を用いて、前記検査画像における溶接欠陥を検出する溶接欠陥検出部と、
   を具備する溶接欠陥検出装置。