JP2022013285A - 機械学習方法 - Google Patents

Abstract

【課題】錆の程度をより高い精度で評価できるようになる機械学習方法を提供する。【解決手段】機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、評価対象物の撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、ブリスター画像を当該画像に写るブリスターの種類毎に分類し、ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備える。【選択図】図１

Description

本発明は、評価対象物の錆の程度を評価するための学習モデルを構築する機械学習方法に関する。

従来、自動車等に用いられる塗装された鋼材等の錆の程度についての評価は目視観察で行われていた。しかしながら、目視観察では判断基準が曖昧であり、かつ個人差が発生し易いために、評価結果にばらつきが生じるおそれがあった。

これに対し、塗装された鋼材等の錆の程度に関し、評価結果にばらつきを生じさせずに高い精度で評価するための技術に関する発明が知られている。例えば、特許文献１には、塗装された鋼材の塗装劣化を診断するに際し、鋼材とカラーサンプルを同時に撮影し、撮影した画像を画像処理機能を備えたコンピュータに取り込み、カラー画像解析により腐食箇所の色彩情報（色の明度・彩度・色相等）から腐食箇所（薄錆・赤錆・鉄錆）の検出と腐食状態の判定を行い、一般的な画像処理により塗膜欠陥（膨れ、割れ、剥離等）の検出と塗膜欠陥状態の判定を行い、これら判定結果から塗装の劣化度合を評価する診断方法が記載されている。

また、特許文献２には、錆の程度に関する評価精度を向上させるために、評価対象物の撮像画像を用いて、評価対象物のさびの程度に関する評価を行う評価システムであって、撮像画像を取得する画像取得部と、撮像画像を補正することで評価用画像を生成する補正部と、評価用画像に基づいて評価を行う評価部と、評価部による評価結果を出力する出力部と、を備え、補正部は、撮像画像から評価対象物の表面のうちの所定の面積を有する範囲の画像である評価領域を抽出し、評価領域に基づいて評価用画像を生成し、評価部は、ニューラルネットワークを用いて評価を行う評価システムが記載されている。

さらに、特許文献３には、錆の検出を効率化するために、対象物を撮像した画像を第１の学習モデルに入力し、第１の学習モデルから出力された情報に基づいて、対象物における錆の存在を検出する第１の錆検出手順と、第１の学習モデルとは構造が異なる第２の学習モデルに画像を入力し、第２の学習モデルから出力された情報に基づいて、対象物における錆の存在を検出する第２の錆検出手順と、第１の錆検出手順による検出結果と、第２の錆検出手順による検出結果とに基づいて、対象物における錆の発生領域を判定する判定手順と、をコンピュータに実行させる錆検出プログラムが、記載されている。

特開２０２０－０２０７４４号公報 特開２０１９－１４４０１３号公報 特開２００１－２６６１２１号公報

特許文献１に記載された診断方法では、明確な評価基準に基づき、錆の程度を評価できるものの、評価精度が不十分となるおそれがあった。一方、特許文献２に記載された評価システム、及び特許文献３に記載された錆検出プログラムでは、機械学習により構築された学習モデルを用い、撮像画像に基づいて錆の程度を評価することにより、錆の程度の評価精度を向上させることができる。しかしながら、特許文献２に記載された評価システムでは、錆が生じている候補領域を抽出し、候補領域を用いて錆の程度に関する評価を行うことができるものの、錆の深刻さに関連するブリスターの種類を分類することはできない。さらに、特許文献３に記載された錆検出プログラムでも、対象物における錆の発生領域を判定することはできるものの、錆の深刻さに関連するブリスターの種類を分類することはできない。

本発明は、このような点を鑑みてなされたものであり、その目的とするところは、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築することで、錆の程度をより高い精度で評価できるようになる機械学習方法を提供することにある。

上記課題を解決すべく、本発明の機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、上記評価対象物の上記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、上記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、上記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、上記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする。

本発明によれば、錆の程度をより高い精度で評価できるようになる。

実施形態の機械学習方法の一例の概略を示す図である。 実施形態の機械学習方法の一例における各工程の概略を示す工程図である。 実施形態の機械学習方法の一例における各工程の概略を示す工程図である。 機械学習装置を実現するシステムの構成を模式的に示す図である。 実施形態のブリスター発生量推定方法の一例の概略を示す図である。 ブリスターの種類毎の分類方法の概略を示す図である。 実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。 実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。 参考例の機械学習方法の主な処理を示すフローチャートである。 参考例で実試験を行う塗装された基材の塗膜構成を示す概略断面図である。 参考例における実試験で基材に発生するブリスターを示す撮像画像及び当該ブリスターの種類の説明図である。 参考例のブリスター発生量推定方法の主な処理を示すフローチャートである。 ＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化の推定を示すグラフ、並びにＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化の推定を示すグラフである。

以下、本発明の機械学習方法に係る実施形態について説明する。

実施形態の機械学習方法は、錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、上記評価対象物の上記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、上記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、上記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、上記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする。

ここで、実施形態の機械学習方法の一例について説明する。図１は、実施形態の機械学習方法の一例の概略を示す図である。図２（ａ）～図３（ｂ）は、実施形態の機械学習方法の一例における各工程の概略を示す工程図である。

本例の機械学習方法では、まず、図１に示すように、塗装され腐食試験が行われた鋼材（評価対象物）の過去の撮像画像１０を複数準備する（準備工程）。

次に、図１及び図２（ａ）に示すように、準備した複数の過去の撮像画像１０について画像処理を行う。具体的には、複数の過去の撮像画像１０のそれぞれにおいて、エッジ検出を行うことでブリスターの輪郭を明確化した後に、二値化を行うことでブリスターの領域を明確化することにより、複数のブリスターの領域を判別できる処理画像１２を取得する。

次に、処理画像１２で複数のブリスターの領域を判別した後に、複数のブリスターの領域から、外径が０．１ｍｍ以下の領域をＴｙｐｅ３のブリスター画像と分類して除外し、さらに処理画像１２の外縁に接触する領域を除外した上で、図１及び図２（ｂ）に示すように、残りの複数のブリスターの領域をそれぞれ含む未加工の複数のブリスター画像２０を画像処理前の撮像画像１０から抽出する（抽出工程）。

次に、図２（ｃ）に示すように、抽出した未加工の複数のブリスター画像２０を当該画像に写るブリスターの種類毎に分類し、Ｔｙｐｅ１及び２のどちらかのブリスターの画像として分類した上で、ブリスター画像２０と当該画像に写るブリスターの種類との組を教師データとして、複数組の教師データを作成する。さらに、図３（ａ）に示すように、未加工のブリスター画像２０を元のブリスター画像として用い、元のブリスター画像を６０°から３００°の範囲で回転させた複数のブリスター画像２０を作成し、当該ブリスター画像２０と当該画像に写るブリスターの種類（元のブリスター画像２０と同一の種類）の複数の組も教師データとすることで教師データを水増しする。これにより、図１及び図３（ｂ）に示すように、ブリスター画像２０と当該画像に写るブリスターの種類３０との複数組の教師データ４０を準備する（教師データ準備工程）。

なお、未加工の複数のブリスター画像２０を当該画像に写るブリスターの種類毎に分類する際には、ブリスターの種類の分類に長けた有識者が知識及び経験に基づき分類することにより、分類の精度を向上させることが好ましい。

次に、図１に示すように、準備した複数組の教師データ４０を、機械学習装置の記憶部に入力部を介して入力し記憶させる。次に、図１及び図３（ｂ）に示すように、機械学習装置の学習部において、複数組の教師データ４０を用いて、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）の一種であるＡｌｅｘＮｅｔを使用した機械学習を行う。当該機械学習では、複数組の教師データ４０をＡｌｅｘＮｅｔに与え、それぞれの教師データ４０のブリスターの種類３０がＡｌｅｘＮｅｔから出力される対応するブリスターの種類３０と一致するように、ＡｌｅｘＮｅｔに関連するパラメータを最適化する。これにより、評価用の塗装された鋼材の撮像画像に写るブリスターの種類を分類するための学習モデル５０を構築する（学習工程）。続いて、図１に示すように、構築した学習モデル５０を機械学習装置の記憶部に記憶させる。

なお、図４は、機械学習装置を実現するシステムの構成を模式的に示す図である。機械学習装置は、図４に示すシステム１００における計算機１１０、記憶装置１２０、入力装置１３０、及び表示装置１４０等で実現する。

続いて、上記例の機械学習方法により構築した学習モデルを用いて、評価用の塗装された鋼材の撮像画像に写るブリスターの種類を分類し、当該鋼材の撮像画像に写るブリスターの種類毎の個数及び面積を推定するブリスター発生量推定方法の一例について説明する。図５は、実施形態のブリスター発生量推定方法の一例の概略を示す図であり、図６は、ブリスターの種類毎の分類方法の概略を示す図である。図７（ａ）～図８（ｂ）は、実施形態のブリスター発生量推定方法の一例における各工程の概略を示す工程図である。

本例のブリスター発生量推定方法では、まず、図５に示すように、評価用の塗装された鋼材（評価対象物）の画像を撮像することで、当該鋼材の撮像画像１０を取得する。

次に、図５及び図７（ａ）に示すように、取得した撮像画像１０について画像処理を行う。具体的には、撮像画像１０において、エッジ検出を行うことでブリスターの輪郭を明確化した後に、二値化を行うことでブリスターの領域を明確化することにより、複数のブリスターの領域を判別できる処理画像１２を取得する。

次に、処理画像１２で複数のブリスターの領域を判別した後に、図５、図６、及び図７（ｂ）に示すように、複数のブリスターの領域から、外径が０．１ｍｍ以下の領域をＴｙｐｅ３のブリスター画像と分類して除外し、さらに処理画像１２の外縁に接触する領域を除外した上で、残りの複数のブリスターの領域をそれぞれ含む未加工の複数のブリスター画像２０を画像処理前の撮像画像１０から抽出する。

次に、図５に示すように、抽出した未加工の複数のブリスター画像２０及びＴｙｐｅ３のブリスター画像２０を推定装置の記憶部に入力部を介して入力し記憶させる。次に、図５、図６、及び図８（ａ）に示すように、推定装置の分類部において、記憶部に予め記憶させた上記の学習モデル５０を用いて、未加工の複数のブリスター画像２０を当該画像に写るブリスターの種類毎に分類し、Ｔｙｐｅ１及び２のどちらかのブリスターの画像として分類する。

次に、図５、図６、及び図８（ｂ）に示すように、推定装置の処理部により、Ｔｙｐｅ１及び２のブリスター画像２０並びにＴｙｐｅ３のブリスター画像２０からブリスターの種類毎の個数及び面積を計算し、推定装置の出力部によりそれらの計算結果を出力する。これにより、評価用の塗装された鋼材のブリスターの発生量を推定する。なお、推定装置は、上記の図４に示すシステム１００における計算機１１０、記憶装置１２０、入力装置１３０、及び表示装置１４０等で実現する。

実施形態の機械学習方法では、上記例の機械学習方法のように、錆の程度を評価する評価対象物の撮像画像から抽出したブリスター画像を当該画像に写るブリスターの種類毎に分類し、ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして用いて機械学習を行うことにより、評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する。従って、実施形態の機械学習方法によれば、上記例のブリスター発生量推定方法のように、機械学習方法で構築した学習モデルを用いて、評価対象物の撮像画像に写るブリスターを種類毎に分類し、当該ブリスターの種類毎の定量化を行うことができようになる。これにより、目視観察によりブリスターの定量化を行う場合と比較して、ブリスターの定量化を正確に行うことができるようになる。また、錆の深刻さに関連するブリスターの種類毎の定量化が可能となるので、錆の程度に関するより重要な評価指標を得ることができるようになる。よって、錆の程度をより高い精度で評価できるようになる。

以下、参考例を挙げて、本発明に係る実施形態についてさらに説明する。

［参考例］
塗装された基材のブリスターの発生量を腐食試験の条件から推定するための学習モデルを構築する機械学習方法を実施した。さらに、構築した学習モデルを用いて、塗装された基材のブリスターの発生量を腐食試験の条件から推定するブリスター発生量推定方法を実施した。以下、具体的に説明する。

〔機械学習方法〕
機械学習方法について、フローチャートを参照しながら説明する。図９は、参考例の機械学習方法の主な処理を示すフローチャートである。

参考例の機械学習方法では、図９に示す処理の事前準備として、腐食試験の試験機を使用し、塗装された基材で錆を発生させる実試験を複数回行い、複数回の実試験での塗装の構成及び試験機の設定条件のデータを記録した。そして、複数回の実試験でのブリスターの発生量のデータを測定した。図１０は、参考例で実試験を行う塗装された基材の塗膜構成を示す概略断面図である。図１１は、参考例における実試験で基材に発生するブリスターを示す撮像画像及び当該ブリスターの種類の説明図である。塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータは下記の通りである。

（Ａ）塗装の構成
・表面積
・クリア膜厚
・ベース膜厚
・中塗りの材料の種類（中塗り材料種Ａ、中塗り材料種Ｂ、……中塗り材料種Ｎ）
・中塗りの膜厚
・中塗りの焼き付け温度
・ＥＤの材料の種類（ＥＤ材料種Ａ、ＥＤ材料種Ｂ、……ＥＤ材料種Ｎ）
・ＥＤの膜厚
・ＥＤの焼き付け温度
・ＥＤの焼き付け時間
・化成材料の種類（化成材料種Ａ、化成材料種Ｂ、……化成材料種Ｎ）
・母材（基材）の種類（母材材料種Ａ、母材材料種Ｂ、……母材材料種Ｎ）
・母材（基材）の引張有無

（Ｂ）試験機の設定条件
・浸漬時間

（Ｃ）ブリスター発生量
・ブリスター個数
・ブリスター種類
・ブリスター面積
・ブリスター種類毎の個数
・ブリスター種類毎の面積

続いて、図９に示す処理等を上記の図４に示すシステム１００で行った。
まず、図９に示すように、上記の実試験の条件及び結果のデータをシステムに入力し記憶装置に記憶させた。具体的には、実試験の条件のデータとして、上記の複数回の実試験での塗装の構成及び試験機の設定条件のデータを入力し記憶させ、実試験の結果のデータとして、上記の複数回の実試験でのブリスターの発生量のデータを入力し記憶させた。

次に、図９に示すように、実試験の条件及び結果のデータから教師データを作成し、記憶装置に記憶させた。教師データの作成は、下記の手順で行った。

（＃１）複数回の実試験での塗装の構成及び試験機の設定条件（実試験の条件）並びにブリスターの発生量（実試験の結果）のデータを読み込む。
（＃２）各実試験での塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータから一つの教師データを下記の手順で作成する。これにより、複数回の実試験でのデータから複数組の教師データを作成する。
（＃２－１）各実試験での塗装の構成及び試験機の設定条件のデータのうち、数値データについては、そのまま説明因子として用い教師データの説明変数とする。
（＃２－２）各実試験での塗装の構成及び試験機の設定条件のデータのうち、文字データ（材料の種類）については、材料種が選択される材料区分（中塗りの材料、ＥＤの材料、化成材料、母材）毎に材料種Ａ、材料種Ｂ、……材料種Ｎを説明因子として用い、説明因子の２値化（例えば、材料種Ａ、材料種Ｂ、……材料種Ｎのうち、塗装に使用した材料種のみを「１」とし、それ以外の材料種を「０」とする処理）を行い、説明因子を２値化したものを説明変数とする。
（＃２－３）各実試験でのブリスターの発生量のデータについては、ブリスターの個数、種類、及び面積のデータ、並びにブリスター種類毎の個数及び面積のデータをそのまま教師データの目的変数とする。
（＃３）複数組の教師データを記憶装置に記憶させる。

次に、図９に示すように、複数組の教師データを読み込み、複数組の教師データを用いて、サポートベクター回帰（ＳＶＲ：Support Vector Regression）を使用した機械学習を行った。これにより、塗装の構成及び試験機の設定条件からブリスターの発生量を推定するための学習モデルを構築した。次に、図９に示すように、学習モデルを記憶装置に記憶させた。

〔ブリスター発生量推定方法〕
ブリスター発生量推定方法について、フローチャートを参照しながら説明する。図１２は、参考例のブリスター発生量推定方法の主な処理を示すフローチャートである。

参考例のブリスター発生量推定方法では、図１２に示す処理等を上記の図４に示すシステム１００で行った。まず、図１２に示すように、ブリスターの発生量を推定するための推定条件として、塗装の構成及び試験機の設定条件のデータをシステムに入力し記憶装置に記憶させた。なお、塗装の構成及び試験機の設定条件並びにブリスターの発生量のデータは上記の通りである。

次に、図１２に示すように、予め記憶装置に記憶させておいた上記の機械学習方法により構築した学習モデルを用いて、推定条件からブリスターの発生量を推定した。具体的には、推定条件から説明変数を作成し、学習モデルを用いて説明変数からブリスターの発生量を推定した。それらの処理は、下記の手順で行った。

〈説明変数の作成〉
（＃１）推定条件である塗装の構成及び試験機の設定条件のデータを読み込む。
（＃２）推定条件である塗装の構成及び試験機の設定条件のデータから説明変数を下記の手順で作成する。
（＃２－１）塗装の構成及び試験機の設定条件のデータのうち、数値データについては、そのまま説明因子として用い説明変数とする。
（＃２－２）塗装の構成及び試験機の設定条件のデータのうち、文字データ（材料種）については、材料種が選択される材料区分（中塗りの材料、ＥＤの材料、化成材料、母材）毎に材料種Ａ、材料種Ｂ、……材料種Ｎを説明因子として用い、説明因子の２値化（例えば、材料種Ａ、材料種Ｂ、……材料種Ｎのうち、塗装に使用した材料種のみを「１」とし、それ以外の材料種を「０」とする処理）を行い、説明因子を２値化したものを説明変数とする。
（＃３）説明変数を記憶装置に記憶させる。

〈ブリスターの発生量の推定〉
（＃１）説明変数を読み込む
（＃２）学習モデルを用いて説明変数からブリスターの発生量を推定する。

参考例のブリスター発生量推定方法により、所定の条件及び閾値設定において、ＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化を推定した。さらに、ＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化を推定した。なお、ブリスターの面積率とは、塗装された基材の表面積に対するブリスターの面積の比率である。図１３は、ＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎の個数の変化の推定を示すグラフ、並びにＥＤ膜厚、中塗り膜厚、及び浸漬時間の変化によるブリスター種類毎のブリスターの面積率の変化の推定を示すグラフである。なお、図１３には、これらを推定した際の条件及び閾値設定を合わせて示す。

参考例によれば、塗装の構成及び試験機の設定条件からブリスターの発生量を推定することで定量化を行うことができる。このため、目視観察によりブリスターの発生量の定量化を行う場合とは異なり、定量化のために、塗装された基材のサンプルを用意し、膨大な時間をかけてサンプルで錆を発生させる実試験を行う必要がない。よって、開発期間を短縮することができる。さらに、従来の技術とは異なり、長期間（年単位）での錆の程度の推定だけではなく、短・中期間（週単位）の推定も可能となる。また、錆の種類まで推定することができる。

以上、本発明に係る実施形態について詳述したが、本発明は、上記の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の精神を逸脱しない範囲で、種々の設計変更を行うことができるものである。

１０ 撮像画像
２０ ブリスター画像
３０ ブリスターの種類
４０ 教師データ
５０ 学習モデル

Claims (1)

1. 錆の程度を評価する評価対象物の撮像画像を準備する準備工程と、
   前記評価対象物の前記撮像画像からブリスターの領域を含むブリスター画像を抽出する抽出工程と、
   前記ブリスター画像を当該画像に写るブリスターの種類毎に分類し、前記ブリスター画像と当該画像に写るブリスターの種類との組を教師データとして準備する教師データ準備工程と、
   前記教師データを用いて機械学習を行うことにより、錆の程度を評価する評価対象物の撮像画像に写るブリスターの種類を分類するための学習モデルを構築する学習工程と、を備えることを特徴とする機械学習方法。
   

Images