JP2023039521A - 特定方法、特定装置、および、特定システム - Google Patents

Abstract

【課題】特定領域と非特定領域とを含む物体の画像から特定領域を特定する場合において、特定領域以外の領域を誤って特定領域として特定する可能性を低減する技術を提供する。
【解決手段】物体の予め定められた特定領域を特定する特定方法は、物体の画像のうちで特定領域を含む第１訓練画像と、物体の画像のうちで特定領域以外の領域である非特定領域を含む第２訓練画像と、を少なくとも含む複数の訓練画像を入力して学習させた畳み込みニューラルネットワークを用いた学習モデルに、物体の画像である対象画像を入力して第１クラス活性化マップを生成する第１マップ生成工程と、第１クラス活性化マップを用いて、対象画像に含まれる特定領域を特定する特定工程と、を含む。
【選択図】図５

Description

本開示は、特定方法、特定装置、および、特定システムの技術に関する。

従来、工作機械に用いられる工具について、撮像した画像や、機械学習モデルを用いて、被加工物を加工する工具の刃先の摩耗量を算出する技術が知られている（特許文献１、特許文献２）。

特開２０１７－４９６５６号公報 特開２０１９－１３９７５５号公報

従来の技術において、摩耗量を算出する場合、例えば、工具の撮像画像を画像処理することで摩耗領域を特定する。この場合において、工具に付着した汚れや異物などを誤って摩耗領域として特定する場合があった。このような課題は、工具の摩耗領域を特定する技術に限られず、物体の特定の領域を特定する技術に共通する。

本開示は、以下の形態として実現することが可能である。

（１）本開示の第１形態によれば、特定方法が提供される。物体の予め定められた特定領域を特定する特定方法は、前記物体の画像のうちで前記特定領域を含む第１訓練画像と、前記物体の画像のうちで前記特定領域以外の領域である非特定領域を含む第２訓練画像と、を少なくとも含む複数の訓練画像を入力して学習させた畳み込みニューラルネットワークを用いた学習モデルに、前記物体の画像である対象画像を入力して第１クラス活性化マップを生成する第１マップ生成工程と、前記第１クラス活性化マップを用いて、前記対象画像に含まれる前記特定領域を特定する特定工程と、を含む。この形態によれば、マップ生成部は、学習済みの学習モデルに対象画像を入力して、対象画像に含まれる特定領域を特定するために、第１クラス活性化マップを生成する。これにより、学習モデルに入力された対象画像について特定のクラス（クラス分類）に寄与した度合いを数値データとして取得して、数値データを可視化した第１クラス活性化マップを取得することができる。このとき、特定領域と非特定領域とは、学習モデルに入力された対象画像について特定のクラス（クラス分類）に寄与した度合いが異なるため数値に差が生じる。よって、第１クラス活性化マップを用いて、物体の予め定められた特定領域を特定することで、非特定領域の少なくとも一部を誤って特定領域として特定する可能性を低減できる。
（２）上記形態であって、前記特定工程では、前記第１クラス活性化マップのうちで特定の条件を満たす領域を前記特定領域と判定し、前記第１クラス活性化マップのうちで前記特定領域以外の領域を前記非特定領域と判定することによって、前記対象画像に含まれる前記特定領域を特定してもよい。この形態によれば、第１クラス活性化マップから特定領域を特定するために、特定の条件を設定する。このようにすると、第１クラス活性化マップを生成する際に、学習モデルに入力された対象画像について特定のクラス（クラス分類）に寄与した度合いに応じた条件を特定の条件として設定することができる。これにより、第１クラス活性化マップと特定の条件とを比較することによって、対象画像に含まれる特定領域と非特定領域とを明確に区別した状態で、特定領域を特定することができる。
（３）上記形態であって、さらに、前記第１マップ生成工程の後に実行される第１マスク処理工程を有し、前記第１マスク処理工程は、前記第１クラス活性化マップの各画素値を予め定められた第１閾値と比較することで前記第１クラス活性化マップを２値化することによって、前記特定領域を含む領域を第１抽出領域、前記第１抽出領域以外の領域を第１非抽出領域に設定した第１マスク画像を生成する第１マスク画像生成工程と、前記対象画像に対して前記第１マスク画像を適用することによって第１処理後画像を取得する第１処理工程と、を含み、前記特定工程は、前記第１処理後画像を用いて、前記対象画像に含まれる前記特定領域を特定してもよい。この形態によれば、対象画像から、特定領域ではない非特定領域を大まかに取り除いた第１マスク画像を用いて、特定領域を特定することができる。
（４）上記形態であって、前記特定工程は、最終処理画像を用いて、前記対象画像に含まれる前記特定領域を特定し、前記最終処理画像は、前記第１処理後画像の各画素値を予め定められた第３閾値と比較することで前記第１処理後画像を２値化する２値化処理と、前記第１処理後画像に含まれるエッジを抽出するエッジ抽出処理と、の少なくとも一方を実行した後の画像であってもよい。この形態によれば、２値化処理とエッジ抽出処理との少なくとも一方の処理によって、第１処理後画像の特定領域をより明確にした状態で、対象画像に含まれる特定領域を特定することができる。
（５）上記形態であって、前記第１マップ生成工程に用いる前記学習モデルは、第１学習モデルであり、前記特定方法は、さらに、前記第１マスク処理工程の後に実行される第２マップ生成工程であって、前記学習モデルとしての第２学習モデルに前記第１処理後画像を入力して第２クラス活性化マップを生成する第２マップ生成工程と、前記第２マップ生成工程の後に実行される第２マスク処理工程と、を有し、前記第２マスク処理工程は、前記第２クラス活性化マップの各画素値を予め定められた第２閾値と比較することで前記第２クラス活性化マップを２値化することによって、前記特定領域を含む領域を第２抽出領域、前記第２抽出領域以外の領域を第２非抽出領域に設定した第２マスク画像を生成する第２マスク画像生成工程と、前記対象画像と、前記第１処理後画像と、のいずれか一方に対して、前記第２マスク画像を適用することによって第２処理後画像を取得する第２処理工程と、を含み、前記特定工程は、前記第２処理後画像を用いて、前記対象画像に含まれる前記特定領域を特定してもよい。この形態によれば、特定領域と特定領域の周囲の領域とを抽出して生成した第１処理後画像を用いて、第２クラス活性化マップを生成する。これにより、特定領域と類似する特徴を有する非特定領域が存在した場合に、非特定領域を大まかに取り除いた状態で生成された第２クラス活性化マップにおいて、特定のクラス（クラス分類）に寄与した度合いに応じて、特定領域を特定することができる。
（６）上記形態であって、前記特定工程では、前記第２クラス活性化マップのうちで特定の条件を満たす領域を前記特定領域と判定し、前記第２クラス活性化マップのうちで前記特定領域以外の領域を前記非特定領域と判定することによって、前記対象画像に含まれる前記特定領域を特定してもよい。この形態によれば、第２クラス活性化マップから特定領域を特定するために、特定の条件を設定する。このようにすると、クラス活性化マップを生成する際に、特定のクラス（クラス分類）に寄与した度合いに応じた条件を特定の条件として設定することができる。これにより、第２クラス活性化マップと特定の条件とを比較することによって、対象画像に含まれる特定領域と非特定領域とを明確に区別した状態で、特定領域を特定することができる。
（７）上記形態であって、前記特定工程は、最終処理画像を用いて、前記対象画像に含まれる前記特定領域を特定し、前記最終処理画像は、前記第２処理後画像の各画素値を予め定められた第３閾値と比較して２値化することで前記第２処理後画像を２値化する２値化処理と、前記第２処理後画像に含まれるエッジを抽出するエッジ抽出処理と、の少なくとも一方を実行した後の画像であってもよい。この形態によれば、２値化処理とエッジ抽出処理との少なくとも一方の処理によって、第２処理後画像の特定領域Ｗをより明確にした状態で、対象画像に含まれる特定領域を特定することができる。
（８）上記形態であって、前記物体は工具であり、前記特定領域は、前記対象画像のうちで、前記工具が摩耗した摩耗領域であり、前記非特定領域は、前記対象画像のうちで前記特定領域としての前記摩耗領域以外の領域であってもよい。この形態によれば、非特定領域の一部を誤って特定領域として特定する可能性を低減させた状態において、工具の摩耗領域を特定することができる。
（９）上記形態であって、前記第２訓練画像の種類として、前記非特定領域としての異物領域を含む異物特定画像であって、前記異物領域は、前記工具に付着した汚れと、前記工具に付着した異物と、の少なくとも１つを含む領域である異物特定画像と、前記非特定領域としての本体領域を含む工具本体特定画像であって、前記本体領域は、前記工具のうちで前記特定領域および前記異物領域を除いた領域である工具本体特定画像と、前記非特定領域としての背景領域を含む背景特定画像であって、前記背景領域は、前記特定領域と、前記異物領域と、前記本体領域とのいずれにも該当しない領域である背景特定画像と、を有してもよい。この形態によれば、第２訓練画像は、複数の種類の訓練画像から構成され、異物特定画像と、工具本体特定画像と、背景特定画像と、を有する。これにより、学習モデルに学習させるクラスを細分化することで、クラス活性化マップにおいて、特定領域と非特定領域とをより判別しやすい数値データを生成できる。よって、非特定領域のうちで特定領域Ｗでない領域を、誤って特定領域として特定する可能性をさらに低減できる。
（１０）上記形態であって、さらに、前記特定工程によって前記摩耗領域として特定された前記特定領域を用いて、前記工具の摩耗量を測定する摩耗量測定工程を含んでもよい。この形態によれば、特定領域に基づいて、工具の摩耗量を測定することができる。
（１１）本開示の第２形態によれば、特定装置が提供される。物体の予め定められた特定領域を特定する特定装置は、前記物体の画像のうちで前記特定領域を含む第１訓練画像と、前記物体の画像のうちで前記特定領域以外の領域である非特定領域を含む第２訓練画像と、を少なくとも含む複数の訓練画像を入力して学習させた畳み込みニューラルネットワークを用いた学習モデルに、前記物体の画像である対象画像を入力して第１クラス活性化マップを生成するマップ生成部と、前記第１クラス活性化マップを用いて、前記対象画像に含まれる前記特定領域を特定する特定部と、を含む。この形態によれば、マップ生成部は、学習済みの学習モデルに対象画像を入力して、対象画像に含まれる特定領域を特定するために、第１クラス活性化マップを生成する。これにより、学習モデルに入力された対象画像について特定のクラス（クラス分類）に寄与した度合いを数値データとして取得して、数値データを可視化した第１クラス活性化マップを取得することができる。このとき、特定領域と非特定領域とは、対象画像について特定のクラス（クラス分類）に寄与した度合いが異なるため数値に差が生じる。よって、第１クラス活性化マップを用いて、物体の予め定められた特定領域を特定することで、非特定領域の少なくとも一部を誤って特定領域として特定する可能性を低減できる。
（１２）本開示の第３形態によれば、特定システムが提供される。物体の予め定められた特定領域を特定する特定システムは、上記形態に記載の前記特定装置と、前記対象画像を得るために前記物体を撮像する撮像装置と、を備える。この形態によれば、撮像装置によって撮像した対象画像に含まれる特定領域を、特定装置によって特定できる。
本開示は、上記の特定方法、特定装置、および、特定システム以外の種々の形態で実現することが可能である。例えば、特定装置の製造方法、特定装置の制御方法、その制御方法を実現するためのコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

本実施形態の特定方法を実行する特定システムの概略構成を示す図。 スカイビング工具および本実施形態における撮像領域を示す図。 学習モデルの作成方法を示すフローチャート。 訓練画像および教師データの一例を示す図。 第１実施形態の特定方法を示すフローチャート。 第１実施形態の特定方法の各工程を説明するための図。 第１実施形態の第１マスク処理工程の詳細を示すフローチャート。 第１実施形態の第２マスク処理工程の詳細を示すフローチャート。 第１実施形態の特定工程の詳細を示すフローチャート。 第２実施形態の特定方法を示すフローチャート。 第２実施形態の第３マスク処理工程の詳細を示すフローチャート。 第３実施形態の特定方法を示すフローチャート。

Ａ．第１実施形態：
図１は、本実施形態の特定方法を実行する特定システム１の概略構成を示す図である。特定システム１は、物体の予め定められた特定領域Ｗを特定する。具体的には、特定システム１は、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いた学習済みの学習モデルＭＤに、物体の画像を入力してクラス活性化マップＣ１，Ｃ２（後述の図６）を生成する。そして、生成されたクラス活性化マップＣ１，Ｃ２を用いて、物体の画像に含まれる特定領域Ｗを特定する。本実施形態では、特定対象となる物体は、切削工具の一例としてのスカイビング工具７０（後述の図２）である。また、本実施形態では、特定領域Ｗは、スカイビング工具７０の外周面側において、被加工物を切削する過程で摩耗した摩耗領域Ｗである。つまり、本実施形態では、特定システム１は、スカイビング工具７０を撮像した画像から、被加工物を加工するスカイビング工具７０の工具加工部７４の摩耗領域Ｗを特定する。なお、特定対象となる物体の形状はこれに限られるものではなく、例えば、旋削やエンドミル加工などの他の切削工具であってもよい。

図２は、スカイビング工具７０および本実施形態における撮像領域ＡＲを示す図である。スカイビング工具７０は、円環形状の被加工物の内周面を切削し、被加工物の内周面に歯車を形成するために使用される切削工具である。図２には、互いに直交する軸としてのＸ軸およびＺ軸が描かれている。Ｚ軸に沿ったＺ方向は、スカイビング工具７０の中心軸ＣＬに沿った方向である。Ｘ軸に沿ったＸ方向は、スカイビング工具７０の中心軸ＣＬから外周面側に向かう方向であり、スカイビング工具７０の径方向に沿った方向である。以下において、Ｘ軸、Ｚ軸に沿った方向で正負を問わないものを、それぞれＸ方向，Ｚ方向と呼ぶ。これ以降の図および説明についても同様とする。

スカイビング工具７０は、中心軸ＣＬを有する円環形状である。切削加工時には、スカイビング工具７０は、工作機械のうちで回転可能な工具支持部８０に取り付けられ、工具支持部８０により回転される。スカイビング工具７０は、複数の工具刃７１と、すくい面７２とを有する。複数の工具刃７１は、スカイビング工具７０の外周面に形成されている。工具刃７１は、外周端面７１ａを有する。工具刃７１の中心軸ＣＬ方向から見た形状は、スカイビング工具７０の内周面を基部として、外周端面７１ａに向かって先細る略台形形状である。また、工具刃７１は、中心軸ＣＬ方向に対して傾斜した方向に沿って延伸している。すくい面７２は、スカイビング工具７０の中心軸ＣＬ方向における端面であり、径方向にて中心から外方に向かって上昇するように傾斜している。加工時には、すくい面７２が先端となるように、スカイビング工具７０は工具支持部８０に取り付けられ、被加工物に向かって進行しつつ回転されることにより、被加工物の内周面が切削される。スカイビング工具７０は、主に、すくい面７２と工具刃７１の外周面との境界である工具加工部７４が切削により摩耗する。

図１に示すように、特定システム１は、撮像装置５と、特定装置１０と、を備える。撮像装置５は、物体を撮像する。以下において、撮像装置５によって撮像された物体の画像のうちで、学習モデルＭＤの学習に用いるための画像を訓練画像ＴＰ（後述の図４）とする。なお、後述する図４の訓練画像ＴＰや図６の対象画像Ｐは白黒の画像であるが、実際にはカラー画像である。また、特定領域Ｗを特定するために学習済みの学習モデルＭＤに入力される画像を対象画像Ｐ（後述の図６）とする。撮像装置５は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサである。なお、学習モデルＭＤに入力される訓練画像ＴＰおよび対象画像Ｐは、撮像装置５以外の他の装置によって予め撮像された画像データであってもよい。

特定装置１０は、対象画像Ｐを学習済みの学習モデルＭＤに入力して、物体の特定領域Ｗを特定するための機能を備える。特定装置１０は、通信部３０と、ディスプレイ４０と、入力操作部５０と、記憶部６０と、ＣＰＵ１００と、を備える。特定装置１０は、例えば、各構成要素３０，４０，５０，６０，１００を備えるコンピュータである。撮像装置５と特定装置１０とは、通信部３０を介して通信可能に接続されており、撮像装置５によって撮像された訓練画像ＴＰや対象画像Ｐは、特定装置１０へ送信される。ディスプレイ４０は、例えば、液晶ディスプレイであり、ＣＰＵ１００の指令に応じて、情報を表示する。入力操作部５０は、例えば、キーボードやマウスを有し、ユーザからの指示を受け付ける。

記憶部６０は、特定システム１の動作を制御する各種プログラムと、対象画像Ｐからクラス活性化マップＣ１，Ｃ２やクラスの分類結果を生成するための学習モデルＭＤと、撮像装置５から送信された画像データと、を含む各種情報を記憶する。学習モデルＭＤは、機械学習を用いて学習されるモデルである。本実施形態では、学習モデルＭＤのアルゴリズムとして、畳み込みニューラルネットワークが用いられる。また、本実施形態では、学習モデルＭＤは、第１学習モデルＭＤ１および第２学習モデルＭＤ２を有する。第１学習モデルＭＤ１および第２学習モデルＭＤ２の学習方法、および、第１学習モデルＭＤ１と第２学習モデルＭＤ２との相違点については後述する。記憶部６０は、ＲＡＭやＲＯＭ、書き換え可能な不揮発性メモリなどを含む。なお、記憶部６０に記憶される学習モデルＭＤは、１種類でもよく、３種類以上であってもよい。

ＣＰＵ１００は、記憶部６０に記憶された各種プログラムを展開することにより、画像取得部１１０と、分類部１３０と、マップ生成部１４０と、画像処理部１５０と、特定部１６０として機能する。画像取得部１１０は、通信部３０を介して、撮像装置５によって撮像された画像を受け付ける。分類部１３０は、学習済みの学習モデルＭＤに入力された対象画像Ｐなどの画像を、予め学習したクラスのいずれかにクラス分類する。マップ生成部１４０は、学習済みの学習モデルＭＤを用いて、対象画像Ｐなどの物体の画像について特定のクラス（クラス分類）に寄与した度合い（以下、寄与度）を数値として出力する。そして、マップ生成部１４０は、寄与度の数値差を色調差として示すクラス活性化マップＣ１，Ｃ２を生成する。画像処理部１５０は、後述する第１マスク処理工程や第２マスク処理工程、２値化処理、エッジ抽出処理などの各種処理を実行する。特定部１６０は、生成されたクラス活性化マップＣ１，Ｃ２を用いて、対象画像Ｐに含まれる特定領域Ｗを特定する。さらに、特定部１６０は、特定された特定領域Ｗに基づいて、工具の摩耗量ＷＡ（後述の図６）を測定する。特定部１６０による特定領域Ｗの特定に係る結果や摩耗量ＷＡの測定結果は、適宜ディスプレイ４０に表示される。なお、ＣＰＵ１００の少なくとも一部の機能は、ハードウェア回路によって実現されてもよい。なお、特定装置１０において、分類部１３０は、必須ではなく、省略してもよい。

図３は、学習モデルＭＤの作成方法を示すフローチャートである。図４は、訓練画像ＴＰおよび教師データＴＤの一例を示す図である。図４に示すｘ軸、ｙ軸は、画像座標系である。図４に示すように、訓練画像ＴＰは、＋Ｘ方向（図２の撮像方向）側からスカイビング工具７０の外周面を撮像した画像である。図４に示す一例では、訓練画像ＴＰは、図２の撮像領域ＡＲを撮像した工具画像Ｐ１から抽出された画像である。

まず、図３に示すように、教師データＴＤを準備する（ステップＳ１２）。教師データＴＤは、図４に示すように、第１訓練画像ＴＰ１と、第２訓練画像ＴＰ２と、を少なくとも含む複数の訓練画像ＴＰと、複数の訓練画像ＴＰそれぞれの正解ラベルＬ１～Ｌ４と、を互いに関連付けたデータである。第１訓練画像ＴＰ１は、物体（本実施形態では、スカイビング工具７０）の画像のうちで特定領域Ｗを含む画像である。特定領域Ｗは、本実施形態では、工具加工部７４の摩耗領域Ｗである。本実施形態では、第１訓練画像ＴＰ１は、摩耗領域Ｗと摩耗領域Ｗの周辺領域を含む摩耗特定画像ＴＰ１１である。第２訓練画像ＴＰ２は、物体の画像のうちで特定領域Ｗは含まず非特定領域ＮＷを含む画像である。本実施形態では、特定装置１０によって特定領域Ｗを特定する際に、非特定領域ＮＷのうちで特定領域Ｗと類似する特徴を有する領域を誤って特定領域Ｗとして特定する可能性を低減させるために、非特定領域ＮＷをさらに細分化した３種類の第２訓練画像ＴＰ２を用いている。具体的には、第２訓練画像ＴＰ２は、異物特定画像ＴＰ２３と、工具本体特定画像ＴＰ２２と、背景特定画像ＴＰ２１と、の３種類である。

本実施形態では、スカイビング工具７０を撮像した１枚の工具画像Ｐ１から、例えば目視などによって各領域を判定することで、摩耗特定画像ＴＰ１１と、異物特定画像ＴＰ２３と、工具本体特定画像ＴＰ２２と、背景特定画像ＴＰ２１と、の複数の画像を、訓練画像ＴＰとして抽出している。なお、工具画像Ｐ１に異物領域Ｄや摩耗領域Ｗが存在しない場合には、異物特定画像ＴＰ２３や摩耗特定画像ＴＰ１１は生成されない。

異物特定画像ＴＰ２３は、非特定領域ＮＷとしての異物領域Ｄと、異物領域Ｄの周辺領域、例えば、非特定領域ＮＷとしての本体領域Ｔと、を含む。異物領域Ｄは、スカイビング工具７０の画像における摩耗領域Ｗ（特定領域Ｗ）以外の領域のうちで、スカイビング工具７０に付着した汚れと、スカイビング工具７０に付着した異物との少なくとも１つを含む領域である。本実施形態では、異物領域Ｄは、スカイビング工具７０の表面に付着した汚れを含む領域である。本体領域Ｔは、スカイビング工具７０のうちで異物領域Ｄと特定領域Ｗとしての摩耗領域Ｗとを除いた領域であり、工具本体の画像領域である。図４の右下に示す異物特定画像ＴＰ２３では、異物領域Ｄの形状は、概ね円形状であり、異物領域Ｄは本体領域Ｔに囲まれるように位置している。異物領域Ｄを含む第２訓練画像ＴＰ２としての異物特定画像ＴＰ２３には、正解ラベルとして、異物領域Ｄを含む画像であることを示す「ラベルＬ４：異物部」（以下、異物部Ｌ４）を関連付けて、これを第４教師データＴＤ４とする。

工具本体特定画像ＴＰ２２は、非特定領域ＮＷとしての本体領域Ｔの画像である。本体領域Ｔを含む第２訓練画像ＴＰ２としての工具本体特定画像ＴＰ２２には、正解ラベルとして、本体領域Ｔの画像であることを示す「ラベルＬ３：本体部」（以下、本体部Ｌ３）を関連付けて、これを第３教師データＴＤ３とする。

背景特定画像ＴＰ２１は、非特定領域ＮＷとしての背景領域Ｂの画像である。背景領域Ｂは、工具画像Ｐ１のうちで、摩耗領域Ｗと、異物領域Ｄと、本体領域Ｔと、のいずれにも該当しない背景の領域である。背景特定画像ＴＰ２１には、正解ラベルとして、背景領域Ｂの画像であることを示す「ラベルＬ２：背景部」（以下、背景部Ｌ２）を関連付けて、これを第２教師データＴＤ２とする。

摩耗特定画像ＴＰ１１は、特定領域Ｗとしての摩耗領域Ｗと、摩耗領域Ｗの周辺領域、本実施形態では本体領域Ｔおよび背景領域Ｂを含む。図４に示す摩耗特定画像ＴＰ１１では、摩耗領域Ｗは、本体領域Ｔと背景領域Ｂとの間においてｙ方向に沿って延びるように位置している。また、図４に示す摩耗特定画像ＴＰ１１では、摩耗領域Ｗの形状は、ｙ方向を長手方向、ｘ方向を短手方向とする細長形状である。摩耗領域Ｗを含む第１訓練画像ＴＰ１としての摩耗特定画像ＴＰ１１には、正解ラベルとして、摩耗領域Ｗを含む画像であることを示す「ラベルＬ１：摩耗部」（以下、摩耗部Ｌ１）を関連付けて、これを第１教師データＴＤ１とする。このようにして、訓練画像ＴＰと正解ラベルＬ１～Ｌ４とを関連付けた教師データＴＤ１～ＴＤ４を複数準備する。なお、学習済みの学習モデルＭＤを用いたクラス分類の結果は、正解ラベルＬ１～Ｌ４の名称で出力される。よって、以下において、４つのクラスを「摩耗部Ｌ１」、「背景部Ｌ２」、「本体部Ｌ３」、および、「異物部Ｌ４」とも呼ぶ。また、分類するクラスの数や種類、教師データＴＤの数や種類は、これに限られるものではない。

次に、図３に示すように、複数の教師データＴＤ１～ＴＤ４を学習モデルＭＤ、詳細には第１学習モデルＭＤ１および第２学習モデルＭＤ２に入力して、学習モデルＭＤを学習する（ステップＳ１５）。具体的には、まず、入力層と、１以上の畳み込み層およびプーリング層と、全結合層と、活性化関数としてソフトマックス関数を用いた出力層とで構成される畳み込みニューラルネットワークに対して、複数の教師データＴＤ１～ＴＤ４を入力し、その出力結果を得る。そして、得られた出力結果と各教師データＴＤ１～ＴＤ４との誤差をそれぞれ計算して、この誤差を低減するように、畳み込みニューラルネットワークのパラメータを更新することで、学習モデルＭＤを学習する。

第１学習モデルＭＤ１と、第２学習モデルＭＤ２とは、アルゴリズム（本実施形態では、畳み込みニューラルネットワーク）や畳み込み層およびプーリング層の数などの層構造は同じであるが、学習モデルＭＤを学習する際の設定条件が異なる。ここで言う設定条件とは、例えば、カーネルサイズやストライドであり、対象画像Ｐと後述する第１処理後画像Ｍ１０（後述の図６）とのいずれか一方の画像における特徴量を抽出して、クラス活性化マップＣ１，Ｃ２を生成するための各種パラメータに影響する項目を指す。本実施形態では、第１学習モデルＭＤ１は、対象画像Ｐに含まれる摩耗領域Ｗと異物領域Ｄとを精度よく区別するための設定条件が設定された学習モデルＭＤである。また、本実施形態では、第２学習モデルＭＤ２は、後述する第１処理後画像Ｍ１０に含まれる摩耗領域Ｗを精度よく特定する、すなわち、摩耗領域Ｗの特徴量をより抽出できる設定条件が設定された学習モデルＭＤである。

さらに、教師データＴＤを構成する複数の訓練画像ＴＰには、特定領域Ｗと非特定領域ＮＷとを含む画像（例えば、図４に示す訓練画像ＴＰ）以外に、摩耗していない新品のスカイビング工具７０から生成した訓練画像ＴＰが含まれてもよい。このとき、初期工具画像から生成した訓練画像ＴＰには、摩耗領域Ｗは存在しない。よって、初期工具画像から生成した訓練画像ＴＰには、正解ラベルＬ１（摩耗部）に代えて、新品であることを示す正解ラベルを用いる。新品であることを示す正解ラベルは、１枚の初期工具画像から生成した複数の訓練画像ＴＰのうちで、すくい面７２と工具刃７１の外周面との境界である工具加工部７４とその周辺領域を含む画像に関連付けられる。また、スカイビング工具７０について、撮像時の条件によっては、スカイビング工具７０の外周面と背景領域Ｂとの間にエッジが抽出される場合が生じ得る。この場合、例えば、初期工具画像から生成した複数の訓練画像ＴＰについて、予め工具加工部７４のエッジ幅を測定して、平均値を補正値として算出し、記憶部６０に記憶させる。そして、学習済みの学習モデルＭＤに対象画像Ｐを入力して、特定装置１０が摩耗量ＷＡを測定する際に、算出した摩耗量ＷＡから補正値を差し引くことで、最終的な摩耗量ＷＡを測定する。

図５は、第１実施形態の特定方法を示すフローチャートである。図６は、本実施形態の特定方法の各工程を説明するための図である。図６では、図５および後述する図７～図９に示す特定方法の各工程に対応するステップ番号を付している。本実施形態では、図５に示すステップＳ２０～ステップＳ９０を実行することで、スカイビング工具７０の特定領域Ｗである摩耗領域Ｗが特定されて、スカイビング工具７０の摩耗量ＷＡが測定される。

図５に示すように、まず、ステップＳ２０において、学習済みの第１学習モデルＭＤ１に対して、図６のステップＳ２０に示す対象画像Ｐを入力する。対象画像Ｐは、スカイビング工具７０のうちで摩耗した部分を撮像した画像であり、本実施形態では、工具画像Ｐ１から摩耗した工具加工部７４およびその周辺領域を抽出した画像である。具体的には、本実施形態では、スカイビング工具７０と撮像装置５とが予め定められた位置関係となるように設定されている。これにより、例えば、撮像装置５によって撮像された画像に対してエッジ抽出を実行することで、摩耗領域Ｗを含む領域を対象画像Ｐとして切り出すことができる。つまり、本実施形態では、撮像領域ＡＲが摩耗領域Ｗを含むように予め設定されている。よって、本実施形態では、後のステップＳ３０を実行するに際し、分類部１３０によるクラス分類の結果を出力する必要がない。

図５に示すように、ステップＳ２０の後に、第１マップ生成工程（ステップＳ３０）が実行される。第１マップ生成工程（ステップＳ３０）では、マップ生成部１４０は、第１学習モデルＭＤ１に入力された対象画像Ｐについて特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合い（以下、第１寄与度）を数値として出力する。そして、マップ生成部１４０は、図６のステップＳ３０に示すように、第１寄与度の数値差を色調差として示す第１クラス活性化マップＣ１を生成する。第１クラス活性化マップＣ１は、摩耗領域Ｗを特定する過程において、第１学習モデルＭＤ１による判断根拠を可視化した画像である。マップ生成部１４０は、第１クラス活性化マップＣ１を生成するために、例えば、全結合層の直前の畳み込み層において生成された特徴マップを入力して、特定領域Ｗと非特定領域ＮＷとに対する特徴マップの勾配を計算する。そして、計算された勾配に基づいて、特徴マップ内の重要度を計算する。これにより、マップ生成部１４０は、重要度が高い領域、つまり、第１寄与度が大きい領域を特定領域Ｗとしての摩耗領域Ｗとして可視化し、重要度が低い領域、つまり、第１寄与度が小さい領域を非特定領域ＮＷ（異物領域Ｄ、本体領域Ｔ、背景領域Ｂ）として可視化する。本実施形態では、第１学習モデルＭＤ１によって、摩耗領域Ｗである可能性が高いと判断された領域ほど第１寄与度が大きく、非特定領域ＮＷ（異物領域Ｄ、本体領域Ｔ、背景領域Ｂ）である可能性が高いと判断された領域ほど第１寄与度が小さくなるように設定されている。第１クラス活性化マップＣ１の生成は、例えば、Ｇｒａｄ－ＣＡＭ（Ｇｒａｄｉｅｎｔ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）を用いる。また、第１クラス活性化マップＣ１を生成する場合には、Ｇｒａｄ－ＣＡＭに代えて、例えば、Ｇｒａｄ－ＣＡＭ＋＋やＳｃｏｒｅ－ＣＡＭ（Ｓｃｏｒｅ－ｗｅｉｇｈｔｅｄ Ｃｌａｓｓ Ａｃｔｉｖａｔｉｏｎ Ｍａｐｐｉｎｇ）が用いられてもよい。

図６のステップＳ３０では、第１クラス活性化マップＣ１を模式的に図示している。第１クラス活性化マップＣ１の色調差は、ハッチングの種類、および、ハッチングの濃さによって示されている。具体的には、ハッチングの濃さが濃いほど第１寄与度が大きく、ハッチングの濃さが薄いほど第１寄与度が小さくなるように描かれている。また、クロスハッチングが付されている領域は、ドットハッチングが付されている領域よりも第１寄与度が大きくなるように描かれている。つまり、図６のステップＳ３０に示す第１クラス活性化マップＣ１では、クロスハッチングの濃さが濃い領域ほど摩耗領域Ｗである可能性が高く、ドットハッチングの濃さが薄い領域ほど非特定領域ＮＷである可能性が高いと判定されたことが視覚的に表されている。なお、実際の第１クラス活性化マップＣ１には、第１寄与度に応じた色調が付されており、例えば、第１寄与度が大きい場合には赤色で表され、第１寄与度が小さい場合には青色で表される。また、第１クラス活性化マップＣ１の画像と対象画像Ｐとは、画像座標系におけるｘ軸、ｙ軸それぞれにおいて同じ画素数であり、同じ大きさである。

図５に示すように、第１マップ生成工程（ステップＳ３０）の後に、第１マスク処理工程（ステップＳ４０）が実行される。図７は、本実施形態の第１マスク処理工程（ステップＳ４０）の詳細を示すフローチャートである。第１マスク処理工程（ステップＳ４０）では、図７に示すように、第１マスク画像生成工程（ステップＳ４２０～ステップＳ４４０）と、第１処理工程（ステップＳ４５０）と、がこの順で実行される。

第１マスク画像生成工程では、画像処理部１５０は、第１クラス活性化マップＣ１を用いて、白黒の二値画像である第１マスク画像Ｍ１を生成する。具体的には、第１クラス活性化マップＣ１の各画素のうち、特定領域Ｗとしての摩耗領域Ｗおよび摩耗領域Ｗの周囲（例えば、所定画素分の領域）と想定される領域を白画像である第１抽出領域ＷＲ１、それ以外の非特定領域ＮＷと想定される領域を黒画像である第１非抽出領域ＢＲ１に設定することで、第１マスク画像Ｍ１を生成する。第１クラス活性化マップＣ１に含まれる領域を、第１抽出領域ＷＲ１と第１非抽出領域ＢＲ１とに分類するためには、特定の条件としての第１条件がユーザによって設定される。本実施形態では、図７のステップＳ４２０に示すように、第１クラス活性化マップＣ１の各画素値に対して、予め定められた第１閾値が設定される。第１閾値は、摩耗領域Ｗとその周囲（例えば、摩耗領域Ｗから所定画素分離れた領域）とが第１抽出領域ＷＲ１に設定されるような値に設定されることが好ましい。本実施形態では、第１条件は、第１クラス活性化マップＣ１のうちで第１閾値以上であることとしている。第１クラス活性化マップＣ１は、数値としての第１寄与度を色調差として図示している。そこで、ステップＳ４２０において、画像処理部１５０は、第１クラス活性化マップＣ１の各画素値に対して、第１寄与度が第１閾値以上であるか否かを判定する。そして、画像処理部１５０は、第１クラス活性化マップＣ１の各画素値のうちで、第１閾値以上の領域を白画像の領域である第１抽出領域ＷＲ１とする（ステップＳ４３０：Ｙｅｓ）。一方で、画像処理部１５０は、第１抽出領域ＷＲ１以外の領域である第１閾値未満の領域を黒画像の領域である第１非抽出領域ＢＲ１とする（ステップＳ４３５：Ｎｏ）。なお、ユーザは、予め第１閾値を設定して、記憶部６０に記憶させてもよく、第１クラス活性化マップＣ１を生成した後に、第１クラス活性化マップＣ１を参照して所望の第１閾値を設定してもよい。

ステップＳ４３０およびステップＳ４３５の後に、ステップＳ４４０の第１マスク処理が実行される。第１マスク処理では、画像処理部１５０が、第１クラス活性化マップＣ１のうちで、第１抽出領域ＷＲ１を白画像とし、第１非抽出領域ＢＲ１を黒画像として第１マスク画像Ｍ１を生成する。

図７に示すように、ステップＳ４４０の後に、第１処理工程（ステップＳ４５０）が実行される。第１処理工程（ステップＳ４５０）では、画像処理部１５０は、図６のステップＳ４５０に示すように、第１マスク画像Ｍ１を対象画像Ｐに適用して、第１処理後画像Ｍ１０を取得する。具体的には、画像処理部１５０は、対象画像Ｐに第１マスク画像Ｍ１を重ね合わせることで、対象画像Ｐから第１非抽出領域ＢＲ１を取り除いた第１処理後画像Ｍ１０を取得する。これにより、対象画像Ｐから特定領域Ｗではない非特定領域ＮＷを大まかに取り除いた第１処理後画像Ｍ１０が取得できる。なお、図６のステップＳ４５０に示す第１処理後画像Ｍ１０において、第１非抽出領域ＢＲ１は、本来であれば黒画像となるが、第１処理後画像Ｍ１０を用いた第２クラス活性化マップＣ２を生成する際に、黒画像の領域を摩耗領域Ｗとして第２寄与度が高く設定される可能性がある。よって、画像処理部１５０は、第１処理後画像Ｍ１０における第１非抽出領域ＢＲ１を白画像に画像処理している。ステップＳ４５０までの各工程の実行により、第１マスク処理工程（ステップＳ４０）は終了する。

図５に示すように、ステップＳ４０の後に、ステップＳ５０が実行される。ステップＳ５０において、図６のステップＳ４５０に示す第１処理後画像Ｍ１０を、学習済みの第２学習モデルＭＤ２に入力する。

図５に示すように、ステップＳ５０の後に、第２マップ生成工程（ステップＳ６０）が実行される。第２マップ生成工程（ステップＳ６０）は、第２学習モデルＭＤ２に入力された第１処理後画像Ｍ１０について特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合い（以下、第２寄与度）を数値として出力する。そして、図６のステップＳ６０に示すように、第２寄与度の数値差を色調差として示す第２クラス活性化マップＣ２を生成する。第２クラス活性化マップＣ２は、第１処理後画像Ｍ１０を第２学習モデルＭＤ２に入力して摩耗領域Ｗを特定する過程において、第２学習モデルＭＤ２による判断根拠を可視化した画像である。本実施形態では、第２学習モデルＭＤ２によって、摩耗領域Ｗである可能性が高いと判断された領域ほど第２寄与度が大きく、非特定領域ＮＷ（異物領域Ｄ、本体領域Ｔ、背景領域Ｂ）である可能性が高いと判断された領域ほど第２寄与度が小さくなるように設定されている。よって、第２クラス活性化マップＣ２では、重要度が高い領域、つまり、第２寄与度が大きい領域を摩耗領域Ｗとして可視化する。そして、重要度が低い領域、つまり、第２寄与度が小さい領域を、非特定領域ＮＷ（異物領域Ｄ、本体領域Ｔ、背景領域Ｂ）として可視化する。第２クラス活性化マップＣ２の生成には、例えば、Ｇｒａｄ－ＣＡＭ、Ｇｒａｄ－ＣＡＭ＋＋、Ｓｃｏｒｅ－ＣＡＭを用いる。なお、第２クラス活性化マップＣ２の生成に係る原理は、入力される画像が異なること以外は第１クラス活性化マップＣ１と同様である。

図６のステップＳ６０では、図６のステップＳ３０に示す第１クラス活性化マップＣ１と同様に、第２クラス活性化マップＣ２の色調差は、ハッチングの濃さ、および、ハッチングの種類によって示されている。具体的には、ハッチングの濃さが濃いほど第２寄与度が大きく、ハッチングの濃さが薄いほど第２寄与度が小さくなるように描かれている。また、クロスハッチングが付されている領域は、ドットハッチングが付されている領域よりも第２寄与度が大きくなるように描かれている。なお、実際の第２クラス活性化マップＣ２は、第１クラス活性化マップＣ１と同様に、第２寄与度に応じて色調が付されている。また、第２クラス活性化マップＣ２の画像と対象画像Ｐと第１処理後画像Ｍ１０とは、画像座標系におけるｘ軸、ｙ軸それぞれにおいて同じ画素数であり、同じ大きさである。

図５に示すように、第２マップ生成工程（ステップＳ６０）の後に、第２マスク処理工程（ステップＳ７０）が実行される。図８は、本実施形態の第２マスク処理工程（ステップＳ７０）の詳細を示すフローチャートである。第２マスク処理工程（ステップＳ７０）では、図８に示すように、第２マスク画像生成工程（ステップＳ７２０～ステップＳ７４０）と、第２処理工程（ステップＳ７５０）と、がこの順で実行される。

第２マスク画像生成工程では、画像処理部１５０は、第２クラス活性化マップＣ２を用いて、白黒の二値画像である第２マスク画像Ｍ２を生成する。具体的には、第２クラス活性化マップＣ２の各画素のうち、摩耗領域Ｗと想定される領域を白画像である第２抽出領域ＷＲ２、それ以外の非特定領域ＮＷと想定される領域を黒画像である第２非抽出領域ＢＲ２に設定することで、第２マスク画像Ｍ２を生成する。第２クラス活性化マップＣ２に含まれる領域を、第２抽出領域ＷＲ２と第２非抽出領域ＢＲ２とに分類するためには、特定の条件としての第２条件がユーザによって設定される。本実施形態では、図８に示すように、第２クラス活性化マップＣ２の各画素値に対して、予め定められた第２閾値が設定される。このとき、第２閾値は、特定領域Ｗとしての摩耗領域Ｗと想定される領域のみを第２抽出領域ＷＲ２として抽出できるように設定されることが好ましい。よって、第２閾値は、摩耗領域Ｗとその周囲（例えば、摩耗領域Ｗから所定画素分離れた領域）を第１抽出領域ＷＲ１とするために設定される第１閾値と比べて、高い値に設定されることが好ましい。本実施形態では、第２条件は、第２クラス活性化マップＣ２のうちで第２閾値以上であることとしている。第２クラス活性化マップＣ２は、数値としての第２寄与度を色調差として図示している。そこで、ステップＳ７２０において、画像処理部１５０は、第２クラス活性化マップＣ２に含まれる領域に対して、第２寄与度が第２閾値以上であるか否かを判定する。そして、画像処理部１５０は、第２クラス活性化マップＣ２の各画素値のうちで、第２閾値以上の領域を白画像の領域である第２抽出領域ＷＲ２とする（ステップＳ７３０：Ｙｅｓ）。一方で、画像処理部１５０は、第２クラス活性化マップＣ２の各画素値のうちで、第２抽出領域ＷＲ２以外の領域である第２閾値未満の領域を黒画像の領域である第２非抽出領域ＢＲ２とする（ステップＳ７３５：Ｎｏ）。

ステップＳ７３０およびステップＳ７３５の後に、ステップＳ７４０の第２マスク処理が実行される。第２マスク処理では、画像処理部１５０が、第２クラス活性化マップＣ２のうちで、第２抽出領域ＷＲ２を白画像として、第２非抽出領域ＢＲ２を黒画像として第２マスク画像Ｍ２を生成する。

図８に示すように、ステップＳ７４０の後に、第２処理工程（ステップＳ７５０）が実行される。第２処理工程（ステップＳ７５０）では、画像処理部１５０は、第２マスク画像Ｍ２を、対象画像Ｐと第１処理後画像Ｍ１０とのいずれか一方に適用して、図６のステップＳ７５０に示す第２処理後画像Ｍ２０を取得する。具体的には、対象画像Ｐと第１処理後画像Ｍ１０とのいずれか一方の画像に対して、第２マスク画像Ｍ２を重ね合わせる。これにより、対象画像Ｐと第１処理後画像Ｍ１０とのいずれか一方の画像から、第２非抽出領域ＢＲ２を取り除いた第２処理後画像Ｍ２０が取得できる。ステップＳ７５０までの各工程の実行により、第２マスク処理工程（ステップＳ７０）は終了する。

図５に示すように、第２マスク処理工程（ステップＳ７０）の後に、特定領域Ｗとしての摩耗領域Ｗを特定する特定工程（ステップＳ８０）が実行される。図９は、本実施形態の特定工程（ステップＳ８０）の詳細を示すフローチャートである。ステップＳ８７０では、画像処理部１５０は、第２処理後画像Ｍ２０の各画素の画素値と、予め定められた第１閾値および第２閾値とは異なる第３閾値と比較して２値化する２値化処理と、第２処理後画像Ｍ２０に含まれるエッジＥ１，Ｅ２を抽出するエッジ抽出処理と、の少なくとも一方を実行する。これにより、最終処理画像Ｆを取得する。本実施形態では、図６のステップＳ８７０に示すように、第２処理後画像Ｍ２０に対してエッジ抽出処理を実行した後の画像を最終処理画像Ｆとしている。このように、画像処理部１５０が、第２処理後画像Ｍ２０に対して、２値化処理と、エッジ抽出処理と、の少なくとも一方を実行することで、特定領域Ｗと非特定領域ＮＷとの境界を明確に抽出した状態で、後のステップＳ８９０を実行できる。

図９に示すように、ステップＳ８７０の後に、ステップＳ８９０が実行される。ステップＳ８９０では、特定部１６０が、最終処理画像Ｆを用いて、対象画像Ｐに含まれる特定領域Ｗを特定する。例えば、特定部１６０は、最終処理画像Ｆのうちで抽出されたｘ軸において離れた２つの境界（エッジ）に挟まれた領域を摩耗領域Ｗとして特定する。また、特定部１６０は、対象画像Ｐに最終処理画像Ｆにおける２つの境界（エッジ）を重ね合わせることで、対象画像Ｐに含まれる摩耗領域Ｗを特定してもよい。

図９のステップＳ８９０においてスカイビング工具７０の摩耗領域Ｗが特定された後に、図５に示す摩耗量測定工程（ステップＳ９０）が実行される。本実施形態では、特定部１６０は、最終処理画像Ｆを用いて、スカイビング工具７０の摩耗量ＷＡを測定する。スカイビング工具７０の摩耗量ＷＡは、例えば、以下のようにして測定される。

図６に示すように、最終処理画像Ｆに含まれる摩耗領域Ｗのｘ軸に間隔をあけたエッジＥ１，Ｅ２のうちで、ｘ軸方向において最小座標値を示す点を第１点Ｗ１とし、ｘ軸方向において最大座標値を示す点を第２点Ｗ２とする。まず、特定部１６０は、最終処理画像Ｆにおける第１点Ｗ１と第２点Ｗ２とのそれぞれの座標を取得する。図６のステップＳ９０に示す例では、最終処理画像Ｆにおける第１点Ｗ１の座標を（Ｗｘ１，Ｗｙ１）とし、最終処理画像Ｆにおける第２点Ｗ２の座標を（Ｗｘ２，Ｗｙ２）としている。次に、特定部１６０は、ｘ軸方向における、第１点Ｗ１と第２点Ｗ２との距離を、摩耗量ＷＡとして算出する。なお、特定装置１０は、対象画像Ｐに最終処理画像ＦのエッジＥ１，Ｅ２を重ね合わせた画像を用いて、摩耗量ＷＡを測定してもよい。また、特定装置１０は、生成されたクラス活性化マップＣ１，Ｃ２や測定された摩耗量ＷＡを用いて、さらに、工具刃７１の外周面における面粗さを予測してもよい。

上記実施形態によれば、図５および図６に示すように、学習済みの学習モデルＭＤとしての第１学習モデルＭＤ１に、対象画像Ｐを入力して、クラス活性化マップとしての第１クラス活性化マップＣ１を生成する。具体的には、対象画像Ｐから特定領域Ｗを特定する過程で、第１学習モデルＭＤ１に入力された対象画像Ｐについて特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合いを数値として出力する。そして、特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合いを示す数値の差を色調差として示す第１クラス活性化マップＣ１を生成する。この生成された第１クラス活性化マップＣ１を用いて、対象画像Ｐに含まれる特定領域Ｗを特定する。このようにすると、学習済みの第１学習モデルＭＤ１を用いて、対象画像Ｐに含まれる特定領域Ｗを特定する場合に、第１学習モデルＭＤ１による判断根拠を数値データとして取得することができる。よって、第１クラス活性化マップＣ１を用いて対象画像Ｐに含まれる特定領域Ｗを特定することで、非特定領域ＮＷの少なくとも一部を誤って特定領域Ｗとして特定する可能性を低減できる。例えば、第１クラス活性化マップＣ１において、第１寄与度を予め定められた閾値と比較することで、異物領域Ｄと摩耗領域Ｗとを明確に区別できる。

また、上記実施形態によれば、マップ生成部１４０は、第１学習モデルＭＤ１に入力された対象画像Ｐについて特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合いである第１寄与度に基づいて、第１クラス活性化マップＣ１を生成する。このとき、特定領域Ｗとしての摩耗領域Ｗと、非特定領域ＮＷとは、第１寄与度が大きく異なる。そこで、第１クラス活性化マップＣ１のうちで、摩耗領域Ｗと摩耗領域Ｗの周囲の領域とが第１抽出領域ＷＲ１として抽出されるように、第１寄与度に応じた特定の条件として第１閾値（第１条件）を設定する。そして、画像処理部１５０は、第１クラス活性化マップＣ１のうちで第１条件を満たす領域を第１抽出領域ＷＲ１とし、第１条件を満たさない領域を非抽出領域ＢＲ１として第１マスク画像Ｍ１を生成する。この第１マスク画像Ｍ１を対象画像Ｐに適用することで、画像処理部１５０は、摩耗領域Ｗと摩耗領域Ｗの周囲の領域とが抽出された第１処理後画像Ｍ１０を取得する。よって、異物領域Ｄなどの摩耗領域Ｗに類似する特徴を有する非特定領域ＮＷが抽出されていない画像を第１処理後画像Ｍ１０として取得することができる。さらに、図８に示すように、第１処理後画像Ｍ１０から生成された第２クラス活性化マップＣ２のうちで、摩耗領域Ｗが第２抽出領域ＷＲ２として抽出されるように、特定の条件として第２閾値（第２条件）を設定する。そして、画像処理部１５０は、第２クラス活性化マップＣ１のうちで第２条件を満たす領域を第２抽出領域ＷＲ２とし、第２条件を満たさない領域を第２非抽出領域ＢＲ２として第２マスク画像Ｍ２を生成する。この第２マスク画像Ｍ２を対象画像Ｐと第１処理後画像Ｍ１０とのいずれか一方の画像に適用することで、画像処理部１５０は、第２処理後画像Ｍ２０を取得する。これにより、摩耗領域Ｗと類似する特徴を有する領域（例えば、異物領域Ｄ）を取り除いた第２処理後画像Ｍ２０を用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定することができる。よって、工具に付着した汚れや異物などを誤って摩耗領域Ｗとして特定する可能性を低減できる。

また、上記実施形態によれば、第１条件は、予め設定された第１閾値以上であることとしている。そのため、例えば、ユーザが所望の第１閾値を設定することで、第１抽出領域ＷＲ１と第１非抽出領域ＢＲ１とを決定することができる。また、上記実施形態によれば、第２条件は、予め設定された第２閾値以上であることとしている。そのため、例えば、ユーザが、所望の第２閾値を設定することで、第２抽出領域ＷＲ２と第２非抽出領域ＢＲ２とを決定することができる。

また、上記実施形態によれば、図５および図６に示すように、第１学習モデルＭＤ１とは異なる第２学習モデルＭＤ２に、対象画像Ｐから非特定領域ＮＷを大まかに取り除いた第１処理後画像Ｍ１０を入力して、第２クラス活性化マップＣ２を生成する。このとき、第２学習モデルＭＤ２は、第１処理後画像Ｍ１０に含まれる特定領域Ｗとしての摩耗領域Ｗの特徴量をより抽出できる学習モデルＭＤである。そのため、第２クラス活性化マップＣ２から第２マスク画像Ｍ２を生成する際に、摩耗領域Ｗと、摩耗領域Ｗに類似する特徴を有する領域（例えば、異物領域Ｄ）と、の数値（第２寄与度）が大きく異なる。これにより、摩耗領域Ｗに類似する特徴を有する領域を第２非抽出領域ＢＲ２として容易に設定できる。よって、異物領域Ｄなどの摩耗領域Ｗに類似する特徴を有する領域を誤って摩耗領域Ｗとして特定する可能性をさらに低減できる。

また、上記実施形態によれば、図６および図９に示すように、第２処理後画像Ｍ２０に含まれるエッジＥ１，Ｅ２を抽出するエッジ抽出処理を実行した後の最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定する。また、上記実施形態によれば、第２処理後画像Ｍ２０を予め定められた閾値と比較して２値化する２値化処理が実行されてもよい。このようにすると、２値化処理とエッジ抽出処理との少なくとも一方の処理によって、特定対象となる特定領域Ｗをより明確にした状態で、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定することができる。

また、上記実施形態によれば、図５に示すように、学習モデルＭＤを用いて生成したクラス活性化マップＣ１，Ｃ２に基づいて、工具の一例としてのスカイビング工具７０の摩耗領域Ｗを特定する。そして、特定された摩耗領域Ｗに基づいて、スカイビング工具７０の摩耗量ＷＡを測定する。これにより、非特定領域ＮＷの一部を誤って特定領域Ｗとして特定する可能性を低減させた状態において、工具の摩耗量ＷＡを測定することができる。つまり、工具の摩耗量ＷＡを測定する場合に精度を向上させることができる。よって、算出された工具の摩耗量ＷＡの信憑性を確認するための作業に要する時間を減らすことができる。

また、上記実施形態によれば、図１に示すように、特定システム１は、特定対象とする物体を撮像するための撮像装置５を備える。そして、対象画像Ｐから特定領域Ｗを特定する装置としての特定装置１０と撮像装置５とは、通信部３０を介して接続されている。そのため、撮像装置５によって撮像した対象画像Ｐに含まれる特定領域Ｗを、特定装置１０によって特定できる。これにより、訓練画像ＴＰや対象画像Ｐの準備する工程と、対象画像Ｐから特定領域Ｗを特定する工程とを一連の流れとして実行することができる。

Ｂ．第２実施形態：
図１０は、第２実施形態の特定方法を示すフローチャートである。なお、第２実施形態の特定方法に用いる特定システム１の構成は、前述した第１実施形態と同一である。また、本実施形態においても、第１実施形態と同様に、工具の一例としてのスカイビング工具７０の摩耗領域Ｗを特定領域Ｗとして特定する。第１実施形態における各ステップと同一のステップ、および、第１実施形態の構成と同一の構成については、同一の符号を付すと共に説明を省略する。

図１０に示すように、まず、ステップＳ２２０において、学習済みの第２学習モデルＭＤ２に対して、図６のステップＳ２０に示す対象画像Ｐを入力する。本実施形態においても、対象画像Ｐは、工具画像Ｐ１（図４）から摩耗した工具加工部７４（図２）およびその周辺領域を抽出した画像である。ステップＳ２２０の後に、第３マップ生成工程（ステップＳ２３０）が実行される。第３マップ生成工程（ステップＳ２３０）では、マップ生成部１４０は、第２学習モデルＭＤ２に入力された対象画像Ｐについて特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合い（以下、第３寄与度）を数値として出力する。そして、マップ生成部１４０は、第３寄与度の数値差を色調差として示す第３クラス活性化マップを生成する。第３クラス活性化マップは、対象画像Ｐを第２学習モデルＭＤ２に入力して摩耗領域Ｗを特定する過程において、第２学習モデルＭＤ２による判断根拠を可視化した画像である。具体的には、マップ生成部１４０は、特定領域Ｗとしての摩耗領域Ｗを特定するに際して、重要度が高い領域、つまり、第３寄与度が大きい領域を摩耗領域Ｗとして可視化する。そして、マップ生成部１４０は、重要度が低い領域、つまり、第３寄与度が小さい領域を非特定領域ＮＷ（背景領域Ｂ、本体領域Ｔ、異物領域Ｄ）として可視化する。本実施形態では、第２学習モデルＭＤ２によって、摩耗領域Ｗである可能性が高いと判断された領域ほど第３寄与度が大きく、非特定領域ＮＷ（背景領域Ｂ、本体領域Ｔ、異物領域Ｄ）である可能性が高いと判断された領域ほど第３寄与度が小さくなるように設定されている。なお、第３クラス活性化マップの画像と対象画像Ｐとは、画像座標系におけるｘ軸、ｙ軸それぞれにおいて同じ画素数であり、同じ大きさである。

第３マップ生成工程（ステップＳ２３０）の後に、第３マスク処理工程（ステップＳ３００）が実行される。図１１は、本実施形態の第３マスク処理工程（ステップＳ３００）の詳細を示すフローチャートである。第３マスク処理工程（ステップＳ３００）では、図１１に示すように、第３マスク画像生成工程（ステップＳ３１０～ステップＳ３４０）と、第３処理工程（ステップＳ３５０）と、がこの順で実行される。

第３マスク画像生成工程では、画像処理部１５０は、第３クラス活性化マップを用いて、白黒の二値画像である第３マスク画像を生成する。具体的には、第３クラス活性化マップの各画素のうち、摩耗領域Ｗと想定される領域を白画像である第３抽出領域、それ以外の非特定領域ＮＷと想定される領域を黒画像である第３非抽出領域に設定することで第３マスク画像を生成する。第３クラス活性化マップに含まれる領域を、第３抽出領域と第３非抽出領域とに分類するためには、特定の条件としての第３条件がユーザによって設定される。本実施形態では、第３クラス活性化マップの各画素値に対して、予め定められた第４閾値が設定される。このとき、第４閾値は、特定領域Ｗとしての摩耗領域Ｗとして想定される領域のみを第３抽出領域として抽出できるように設定されていることが好ましい。よって、第４閾値は、摩耗領域Ｗとその周囲（例えば、摩耗領域Ｗから所定画素分離れた領域）を第１抽出領域ＷＲ１とするために設定される第１閾値と比べて、高い値に設定されることが好ましい。また、第４閾値は、摩耗領域Ｗのみを第２抽出領域ＷＲ２とするために設定される第２閾値と同一であってもよい。本実施形態では、第３条件は、第３クラス活性化マップのうちで第４閾値以上であることとしている。ステップＳ３２０において、画像処理部１５０は、第３クラス活性化マップに含まれる領域に対して、第３寄与度が第３閾値以上であるか否かを判定する。そして、画像処理部１５０は、第３クラス活性化マップの各画素値のうちで、第４閾値以上の領域を白画像の領域である第３抽出領域とする（ステップＳ３３０：Ｙｅｓ）。一方で、画像処理部１５０は、第３クラス活性化マップの各画素値のうちで、特定領域Ｗ以外の領域である第４閾値未満の領域を黒画像の領域である第３非抽出領域とする（ステップＳ３３５：Ｎｏ）。なお、ステップＳ３２０に係る特定の条件は、他の条件であってもよい。

ステップＳ３３０およびステップＳ３３５の後に、ステップＳ３４０の第３マスク処理が実行される。第３マスク処理では、画像処理部１５０が、第３クラス活性化マップのうちで、第３抽出領域を白画像として、第３非抽出領域を黒画像として第３マスク画像を生成する。

ステップＳ３４０の後に、第３処理工程（ステップＳ３５０）が実行される。第３処理工程（ステップＳ３５０）では、画像処理部１５０は、第３マスク画像を対象画像Ｐに適用して、第３処理後画像を取得する。具体的には、対象画像Ｐに第３マスク画像を重ね合わせる。これにより、対象画像Ｐから第３非抽出領域を取り除いた第３処理後画像が取得できる。ステップＳ３５０までの各工程の実行により、第３マスク処理工程（ステップＳ３００）は終了する。

図１０に示すように、第３マスク処理工程（ステップＳ３００）の後に、特定領域Ｗとしての摩耗領域Ｗを特定する特定工程（ステップＳ８０が実行される。特定工程（ステップＳ８０）では、まず、画像処理部１５０が、第３処理後画像の各画素の画素値を予め定められた閾値、例えば、第３閾値と比較して２値化する２値化処理と、第３処理後画像に含まれるエッジＥ１，Ｅ２を抽出するエッジ抽出処理と、の少なくとも一方を実行する（ステップＳ８７０）。これにより、最終処理画像Ｆを取得する。そして、特定部１６０が、最終処理画像Ｆを用いて、対象画像Ｐに含まれる特定領域Ｗを特定する（ステップＳ８９０）。特定工程（ステップＳ８０）の後に、スカイビング工具７０の摩耗量ＷＡを測定する摩耗量測定工程（ステップＳ９０）が実行される。摩耗量測定工程（ステップＳ９０）の実行態様は、第１実施形態と同様である。

上記第２実施形態によれば、図１０および図１１に示すように、マップ生成部１４０は、学習済みの第２学習モデルＭＤ２に、対象画像Ｐを入力して、第３クラス活性化マップを生成する。そして、第３マスク画像を生成する際に、第３クラス活性化マップの数値データを用いるため、画像処理部１５０は、非特定領域ＮＷを第３非抽出領域である黒画像とした第３マスク画像を生成することができる。そして、この第３マスク画像を対象画像Ｐに適用することで、異物領域Ｄなどの摩耗領域Ｗに類似する特徴を有する非特定領域ＮＷが抽出されていない画像（第３処理後画像）を用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定できる。よって、対象画像Ｐに含まれる摩耗領域Ｗの特徴をより抽出できる。なお、本実施形態では、１種類の学習モデルＭＤとして第２学習モデルＭＤ２を作成すればよい。

Ｃ．第３実施形態：
上記実施形態では、スカイビング工具７０と撮像装置５とが予め定められた位置関係となるように設定されることで、特定領域Ｗとしての摩耗領域Ｗが含まれる画像を対象画像Ｐとして切り出していた。これに対して、スカイビング工具７０などの特定対象となる物体と撮像装置５とは位置決めがなされていなくてもよい。本実施形態では、特定対象となる物体と撮像装置５との位置決めがなされていない場合の摩耗領域Ｗを含む画像の特定方法について説明する。特定対象となる物体と撮像装置５との位置決めがなされていない場合には、例えば、分類部１３０が、第１マップ生成工程（ステップＳ３０）を開始する前に、第１学習モデルＭＤ１に入力された画像を、予め学習した４つのクラスＬ１～Ｌ４のいずれかに分類する。そして、マップ生成部１４０は、クラス分類の結果に応じて、図５に示す第１マップ生成工程（ステップＳ３０）を実行するか否かを決定する。

図１２は、本実施形態の特定方法を示すフローチャートである。なお、本実施形態の特定方法に用いる特定システム１の構成は、前述した第１実施形態（図１）と同一である。また、本実施形態においても、第１実施形態と同様に、工具の一例としてのスカイビング工具７０の摩耗領域Ｗを特定領域Ｗとして特定する。第１実施形態における各ステップと同一のステップ、および、第１実施形態の構成と同一の構成については、同一の符号を付すと共に説明を省略する。

本実施形態では、図１２に示すように、ステップＳ２０の後に、ステップＳ２５を実行する。ステップＳ２５において、分類部１３０は、訓練画像ＴＰと正解ラベルＬ１～Ｌ４とが紐付けられた教師データＴＤ１～ＴＤ４のうちで、対象画像Ｐがどの訓練画像ＴＰと類似するかを判断し、判断結果として１つの正解ラベルＬ１～Ｌ４を出力する。そして、マップ生成部１４０は、分類部１３０によるクラス分類の結果が「摩耗部Ｌ１」である場合には、第１マップ生成工程（ステップＳ３０）を実行する（ステップＳ２５：Ｙｅｓ）。第１マップ生成工程（ステップＳ３０）以降の工程（ステップＳ４０～ステップＳ９０）についても、第１実施形態と同様に実行される。

一方で、マップ生成部１４０は、分類部１３０によるクラス分類の結果が「摩耗部Ｌ１」以外である場合には、第１マップ生成工程（ステップＳ３０）を実行することなく、特定方法を終了する（ステップＳ２５：Ｎｏ）。なお、本実施形態では、クラス分類の結果が「摩耗部Ｌ１」以外である場合とは、「背景部Ｌ２」「本体部Ｌ３」「異物部Ｌ４」のいずれかのクラスがクラス分類結果として出力された場合である。

上記第３実施形態によれば、図１２に示すように、第１マップ生成工程（ステップＳ３０）を実行する前に、分類部１３０が、第１学習モデルＭＤ１に入力された画像を、予め学習した４つのクラスＬ１～Ｌ４のいずれかに分類する。そして、クラス分類の結果が「摩耗部Ｌ１」である場合には、第１マップ生成工程（ステップＳ３０）以降の工程（ステップＳ３０～ステップＳ９０）を実行する。一方で、クラス分類結果が「摩耗部Ｌ１」以外である場合には、第１マップ生成工程（ステップＳ３０）を実行することなく、本実施形態の特定方法を終了する。これにより、撮像領域ＡＲが予め定められていない場合には、第１学習モデルＭＤ１に入力された画像が摩耗領域Ｗを含むか否かを判別した上で、第１マップ生成工程（ステップＳ３０）以降の工程（ステップＳ３０～ステップＳ９０）を実行することができる。また、振動などによってスカイビング工具７０が予め定められた位置から移動したことで撮像領域ＡＲに摩耗領域Ｗが含まれないこととなった場合においても、後の工程（ステップＳ３０～ステップＳ９０）を実行するか否かをクラス分類結果に応じて決定できる。

また、上記実施第３形態によれば、対象画像Ｐのうちで摩耗領域Ｗと異物領域Ｄとは、形状が異なる一方で、色調が類似している。そこで、上記実施形態では、分類部１３０は、摩耗部Ｌ１と、背景部Ｌ２と、本体部Ｌ３と、異物部Ｌ４と、の４つのクラスＬ１～Ｌ４に分類している。このように、学習モデルＭＤに学習させるクラスＬ１～Ｌ４を細分化することで、クラス活性化マップＣ１，Ｃ２において、摩耗領域Ｗとそれ以外の領域である非特定領域ＮＷとをより判別しやすい数値データを生成できる。

Ｄ．他の実施形態：
Ｄ－１．他の実施形態１：
上記第１実施形態では、図９に示すように、第２処理後画像Ｍ２０に対して、２値化処理と、エッジ抽出処理と、の少なくとも一方を実行することによって得られた最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第２処理後画像Ｍ２０を用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。また、上記第２実施形態では、図１０に示すように、第３処理後画像に対して、２値化処理と、エッジ抽出処理と、の少なくとも一方を実行することによって得られた最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第３処理後画像を用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。このような形態であっても、クラス活性化マップＣ１，Ｃ２において、摩耗領域Ｗと、摩耗領域Ｗに類似する特徴を有する非特定領域ＮＷ（例えば、異物領域Ｄ）と、の数値（第２寄与度）が大きく異なる。これにより、摩耗領域Ｗに類似する特徴を有する領域を第２非抽出領域ＢＲ２として容易に設定できる。よって、異物領域Ｄなどの摩耗領域Ｗに類似する特徴を有する領域を誤って摩耗領域Ｗとして特定する可能性をさらに低減できる。

Ｄ－２．他の実施形態２：
上記第１実施形態では、第２マスク画像Ｍ２に対して第２マスク処理を実行した第２処理後画像Ｍ２０から作成した最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第２マスク画像Ｍ２を用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。また、上記第２実施形態では、第３マスク画像に対して第３マスク処理を実行した第３処理後画像から作成した最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第３マスク画像を用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。このような形態であっても、第２マスク画像Ｍ２を生成する際に、第２クラス活性化マップＣ２の数値データを用いるため、画像処理部１５０は、非特定領域ＮＷを第２非抽出領域ＢＲ２である黒画像とした第２マスク画像Ｍ２を生成することができる。また、第３マスク画像を生成する際に、第３クラス活性化マップの数値データを用いるため、画像処理部１５０は、非特定領域ＮＷを第３非抽出領域である黒画像とした第３マスク画像を生成することができる。これにより、異物領域Ｄなどの摩耗領域Ｗに類似する特徴を有する非特定領域ＮＷが抽出されていない画像を用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定できる。よって、対象画像Ｐに含まれる摩耗領域Ｗの特徴をより抽出できる。

Ｄ－３．他の実施形態３：
上記第１実施形態では、第１クラス活性化マップＣ１を用いて生成した第２クラス活性化マップＣ２に対して、第２マスク処理と、２値化処理やエッジ抽出処理と、をこの順に実行することによって取得した最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第１クラス活性化マップＣ１や第２クラス活性化マップＣ２を用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。この場合、特定部１６０は、例えば、第２クラス活性化マップＣ２の各画素値と、第２閾値と、を比較することによって、対象画像Ｐに含まれる特定領域Ｗを特定すればよい。また、上記第２実施形態では、第３クラス活性化マップに対して、第３マスク処理と、２値化処理やエッジ抽出処理と、をこの順に実行することによって取得した最終処理画像Ｆを用いて、特定部１６０は、対象画像Ｐに含まれる特定領域Ｗを特定していた。これに対して、特定部１６０は、第３クラス活性化マップを用いて、対象画像Ｐに含まれる特定領域Ｗを特定してもよい。このような形態であっても、マップ生成部１４０は、学習モデルＭＤに入力された対象画像Ｐなどの物体の画像について特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合いである寄与度に基づいて、クラス活性化マップＣ１，Ｃ２を生成する。このとき、特定領域Ｗとしての摩耗領域Ｗと、非特定領域ＮＷとは、寄与度が大きく異なる。よって、特定部１６０は、寄与度の差を用いて、対象画像Ｐに含まれる特定領域Ｗを特定することができる。

Ｄ－４．他の実施形態４：
上記実施形態では、特定装置１０は、学習済みの学習モデルＭＤにおいて、特定領域Ｗである可能性が高いと判断された領域ほど寄与度が大きく、非特定領域ＮＷである可能性が高いと判断された領域ほど寄与度が小さくなるように設定されていた。これに対して、特定装置１０は、特定領域Ｗである可能性が高いと判断された領域ほど寄与度が小さく、非特定領域ＮＷである可能性が高いと判断された領域ほど寄与度が大きくなるように設定されていてもよい。この場合、特定部１６０は、例えば、第１閾値や第２閾値、第４閾値以下である領域を特定領域Ｗと判定し、特定領域Ｗ以外の領域を非特定領域ＮＷと判定するように設定する。このような形態であっても、寄与度に応じてクラス活性化マップＣ１，Ｃ２を生成することができる。

Ｄ－５．他の実施形態５：
上記実施形態では、工具の摩耗量ＷＡは、特定部１６０によって測定されていた。これに対して、工具の摩耗量ＷＡは、生成されたクラス活性化マップＣ１，Ｃ２を用いて、特定装置１０以外の装置によって測定されてもよい。また、工具の摩耗量ＷＡは、生成されたクラス活性化マップＣ１，Ｃ２を出力（例えば、印刷）して、ユーザが定規等を用いて測定してもよい。このような形態であっても、対象画像Ｐのうちで、特定部１６０によって特定された特定領域Ｗに基づいて、工具の摩耗量ＷＡを測定することができる。

Ｄ－６．他の実施形態６：
上記実施形態では、特定領域Ｗと非特定領域ＮＷとの境界において、ｘ軸方向において最大座標値を示す点と、最小座標値を示す点との距離を工具の摩耗量ＷＡとしていた。これに対して、工具の摩耗量ＷＡは、他の方法によって測定されてもよい。工具の摩耗量ＷＡは、例えば、対象画像Ｐに含まれる特定領域Ｗの面積から算出されてもよい。このような形態であっても、対象画像Ｐのうちで、特定部１６０によって特定された特定領域Ｗに基づいて、工具の摩耗量ＷＡを測定することができる。

Ｄ－７．他の実施形態７：
上記実施形態では、第１学習モデルＭＤ１を作成するときに入力される訓練画像ＴＰと、第２学習モデルＭＤ２を作成するときに入力される訓練画像ＴＰとは同一であった。これに対して、第１学習モデルＭＤ１の作成時に入力された訓練画像ＴＰとは異なる画像を入力して第２学習モデルＭＤ２を学習させてもよい。この場合、例えば、複数の第１処理後画像Ｍ１０を畳み込みニューラルネットワークに入力して第２学習モデルＭＤ２を作成する。このような形態であっても、対象画像Ｐに含まれる特定領域Ｗを特定するために第２クラス活性化マップＣ２を生成することができる。また、このような形態であれば、第２学習モデルＭＤ２に対して、第１処理後画像Ｍ１０を入力して第２クラス活性化マップＣ２を生成する際の精度をさらに向上させることができる。

Ｄ－８．他の実施形態８：
上記実施形態では、特定領域Ｗは、被加工物を加工する工具の工具加工部７４の摩耗領域Ｗであった。これに対して、特定領域Ｗは、摩耗領域Ｗ以外の領域であってもよい。例えば、特定システム１を用いて、工具の表面に付着した異物を特定してもよい。つまり、特定領域Ｗは、異物領域Ｄであってもよい。工具の表面に付着した異物は、例えば、工具の外周面が摩耗して削り取られたときに生じた切り屑である。この場合、特定領域Ｗとして特定したい領域が含まれる画像を第１訓練画像ＴＰ１とし、正解ラベルと関連付けた教師データＴＤを準備して、学習モデルＭＤを作成する。このような形態であれば、所望の領域を特定領域Ｗとして特定することができる。

Ｄ－９．他の実施形態９：
上記実施形態では、特定システム１を用いて、工具の工具加工部７４の摩耗領域Ｗを特定していた。これに対して、特定対象とする物体は、工具以外の物体であってもよい。特定対象とする物体は、例えば、スカイビング工具７０によって切削加工される被加工物であってもよい。この場合、特定領域Ｗは、例えば、切削加工が行われる過程で、被加工物の表面に生じた傷である。また、特定システム１は、切削加工や研磨加工以外の他分野において、製品を製造する際に、製品に付着した異物を特定するために用いられてもよい。この場合、例えば、特定システム１は、食品や医薬品を製造する工程において、毛髪や害虫、原材料を梱包する資材の破片等の異物が製品に付着していないことを確認するために用いられてもよい。このような形態であっても、学習済みの学習モデルＭＤに入力された対象画像Ｐについて特定のクラスＬ１～Ｌ４（クラス分類）に寄与した度合いである寄与度に基づいて、クラス活性化マップＣ１，Ｃ２を生成することができる。そして、生成されたクラス活性化マップＣ１，Ｃ２を用いて、対象画像Ｐに含まれる特定領域Ｗを特定することができる。また、このような形態であれば、特定対象とする物体や特定領域Ｗ、非特定領域ＮＷなど適用対象を限定しないため、様々な場面において、本実施形態の特定方法を実行できる。よって、特定システム１や特定装置１０の汎用性が高まる。

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１…特定システム、５…撮像装置、１０…特定装置、３０…通信部、４０…ディスプレイ、５０…入力操作部、６０…記憶部、７０…スカイビング工具、７１…工具刃、７１ａ…外周端面、７２…すくい面、７４…工具加工部、８０…工具支持部、１００…ＣＰＵ、１１０…画像取得部、１３０…分類部、１４０…マップ生成部、１５０…画像処理部、１６０…特定部、ＡＲ…撮像領域、Ｂ…背景領域、ＢＲ１，ＢＲ２…非抽出領域、Ｃ１…第１クラス活性化マップ、Ｃ２…第２クラス活性化マップ、ＣＬ…中心軸、Ｄ…異物領域、Ｅ１，Ｅ２…エッジ、Ｆ…最終処理画像、Ｌ１…摩耗部、Ｌ２…背景部、Ｌ３…本体部、Ｌ４…異物部、Ｍ１…第１マスク画像、Ｍ２…第２マスク画像、Ｍ１０…第１処理後画像、Ｍ２０…第２処理後画像、ＭＤ…学習モデル、ＭＤ１…第１学習モデル、ＭＤ２…第２学習モデル、ＮＷ…非特定領域、Ｐ…対象画像、Ｐ１…工具画像、Ｔ…本体領域、ＴＤ，ＴＤ１，ＴＤ２，ＴＤ３，ＴＤ４…教師データ、ＴＰ…訓練画像、ＴＰ１…第１訓練画像、ＴＰ２…第２訓練画像、ＴＰ１１…摩耗特定画像、ＴＰ２１…背景特定画像、ＴＰ２２…工具本体特定画像、ＴＰ２３…異物特定画像、Ｗ…特定領域，摩耗領域、Ｗ１…第１点、Ｗ２…第２点、ＷＡ…摩耗量、ＷＲ１，ＷＲ２…抽出領域

Claims (12)

1. 物体の予め定められた特定領域を特定する特定方法であって、
   前記物体の画像のうちで前記特定領域を含む第１訓練画像と、前記物体の画像のうちで前記特定領域以外の領域である非特定領域を含む第２訓練画像と、を少なくとも含む複数の訓練画像を入力して学習させた畳み込みニューラルネットワークを用いた学習モデルに、前記物体の画像である対象画像を入力して第１クラス活性化マップを生成する第１マップ生成工程と、
   前記第１クラス活性化マップを用いて、前記対象画像に含まれる前記特定領域を特定する特定工程と、を含む、特定方法。
2. 請求項１に記載の特定方法であって、
   前記特定工程では、
   前記第１クラス活性化マップのうちで特定の条件を満たす領域を前記特定領域と判定し、
   前記第１クラス活性化マップのうちで前記特定領域以外の領域を前記非特定領域と判定することによって、前記対象画像に含まれる前記特定領域を特定する、特定方法。
3. 請求項１に記載の特定方法であって、さらに、
   前記第１マップ生成工程の後に実行される第１マスク処理工程を有し、
   前記第１マスク処理工程は、
   前記第１クラス活性化マップの各画素値を予め定められた第１閾値と比較することで前記第１クラス活性化マップを２値化することによって、前記特定領域を含む領域を第１抽出領域、前記第１抽出領域以外の領域を第１非抽出領域に設定した第１マスク画像を生成する第１マスク画像生成工程と、
   前記対象画像に対して前記第１マスク画像を適用することによって第１処理後画像を取得する第１処理工程と、を含み、
   前記特定工程は、
   前記第１処理後画像を用いて、前記対象画像に含まれる前記特定領域を特定する、特定方法。
4. 請求項３に記載の特定方法であって、
   前記特定工程は、
   最終処理画像を用いて、前記対象画像に含まれる前記特定領域を特定し、
   前記最終処理画像は、
   前記第１処理後画像の各画素値を予め定められた第３閾値と比較することで第１処理後画像を２値化する２値化処理と、
   前記第１処理後画像に含まれるエッジを抽出するエッジ抽出処理と、の少なくとも一方を実行した後の画像である、特定方法。
5. 請求項３に記載の特定方法であって、
   前記第１マップ生成工程に用いる前記学習モデルは、第１学習モデルであり、
   前記特定方法は、さらに、
   前記第１マスク処理工程の後に実行される第２マップ生成工程であって、前記学習モデルとしての第２学習モデルに前記第１処理後画像を入力して第２クラス活性化マップを生成する第２マップ生成工程と、
   前記第２マップ生成工程の後に実行される第２マスク処理工程と、を有し、
   前記第２マスク処理工程は、
   前記第２クラス活性化マップの各画素値を予め定められた第２閾値と比較することで前記第２クラス活性化マップを２値化することによって、前記特定領域を含む領域を第２抽出領域、前記第２抽出領域以外の領域を第２非抽出領域に設定した第２マスク画像を生成する第２マスク画像生成工程と、
   前記対象画像と、前記第１処理後画像と、のいずれか一方に対して、前記第２マスク画像を適用することによって第２処理後画像を取得する第２処理工程と、を含み、
   前記特定工程は、
   前記第２処理後画像を用いて、前記対象画像に含まれる前記特定領域を特定する、特定方法。
6. 請求項５に記載の特定方法であって、
   前記特定工程では、
   前記第２クラス活性化マップのうちで特定の条件を満たす領域を前記特定領域と判定し、
   前記第２クラス活性化マップのうちで前記特定領域以外の領域を前記非特定領域と判定することによって、前記対象画像に含まれる前記特定領域を特定する、特定方法。
7. 請求項５に記載の特定方法であって、
   前記特定工程は、
   最終処理画像を用いて、前記対象画像に含まれる前記特定領域を特定し、
   前記最終処理画像は、
   前記第２処理後画像の各画素値を予め定められた第３閾値と比較して２値化することで前記第２処理後画像を２値化する２値化処理と、
   前記第２処理後画像に含まれるエッジを抽出するエッジ抽出処理と、の少なくとも一方を実行した後の画像である、特定方法。
8. 請求項１から請求項７までのいずれか一項に記載の特定方法であって、
   前記物体は工具であり、
   前記特定領域は、前記対象画像のうちで、前記工具が摩耗した摩耗領域であり、
   前記非特定領域は、前記対象画像のうちで前記特定領域としての前記摩耗領域以外の領域である、特定方法。
9. 請求項８に記載の特定方法であって、
   前記第２訓練画像の種類として、
   前記非特定領域としての異物領域を含む異物特定画像であって、前記異物領域は、前記工具に付着した汚れと、前記工具に付着した異物と、の少なくとも１つを含む領域である異物特定画像と、
   前記非特定領域としての本体領域を含む工具本体特定画像であって、前記本体領域は、前記工具のうちで前記特定領域および前記異物領域を除いた領域である工具本体特定画像と、
   前記非特定領域としての背景領域を含む背景特定画像であって、前記背景領域は、前記特定領域と、前記異物領域と、前記本体領域とのいずれにも該当しない領域である背景特定画像と、を有する、特定方法。
10. 請求項８または請求項９に記載の特定方法であって、
    さらに、前記特定工程によって前記摩耗領域として特定された前記特定領域を用いて、前記工具の摩耗量を測定する摩耗量測定工程を含む、特定方法。
11. 物体の予め定められた特定領域を特定する特定装置であって、
    前記物体の画像のうちで前記特定領域を含む第１訓練画像と、前記物体の画像のうちで前記特定領域以外の領域である非特定領域を含む第２訓練画像と、を少なくとも含む複数の訓練画像を入力して学習させた畳み込みニューラルネットワークを用いた学習モデルに、前記物体の画像である対象画像を入力して第１クラス活性化マップを生成するマップ生成部と、
    前記第１クラス活性化マップを用いて、前記対象画像に含まれる前記特定領域を特定する特定部と、を含む、特定装置。
12. 物体の予め定められた特定領域を特定する特定システムであって、
    請求項１１に記載の特定装置と、
    前記対象画像を得るために前記物体を撮像する撮像装置と、を備える、特定システム。

Images