JP2021157735A - 画像識別システム、画像識別装置、プログラムおよび学習済みモデル - Google Patents

Abstract

【課題】画像をより高い精度で識別する画像識別システムを提供する。【解決手段】画像識別システムは、対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する画像識別手段１１０を有する。【選択図】図１

Description

本発明は、画像識別システム、画像識別装置、プログラムおよび学習済みモデルに関する。

近年、深層学習を用いた画像解析が多くの場面で利用されている。その画像解析における画像（物体）の識別精度を向上させるために、入力画像を識別するための特徴マップの活性化状態を可視化した活性化マップに基づいて、対象画像から不要な領域を削除する技術が開示されている（例えば、特許文献１参照。）。

特開２０２０−００８８９６号公報

特許文献１に記載されたような技術においては、画像識別に使用しない不要領域の有無を判定し、不要領域がある場合は、その不要領域を削除した特徴マップを用いて画像識別を行う。そのため、学習済みモデルが使用する学習用データの構造を最適化するものではない。

本発明は、上記問題を解決するためになされたものである。すなわち、本発明の目的は、画像をより高い精度で識別することができる画像識別システム、画像識別装置、プログラムおよび学習済みモデルを提供することにある。

本発明の第一の要旨は、対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する画像識別手段を有する、画像識別システムにある。

本発明の第二の要旨は、対象物の画像データを連続的に取得する画像取得部と、前記画像取得部が取得した前記対象物の画像データから、特定の光学特性があらかじめ決められた変化のパターンを示す部位を含む画像データを抽出する画像処理部と、前記画像処理部が抽出した画像データを、前記画像識別システムにおける画像識別手段を用いて識別する画像解析部とを有する画像識別装置にある。

本発明の第三の要旨は、コンピュータに実行させるためのプログラムであって、対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する手順を前記コンピュータに実行させ、前記学習済みモデルは、あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップに基づいて、前記学習用データを編集した学習用データを用いて、前記深層学習を用いて作成されたものである、プログラムにある。

本発明の第四の要旨は、対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルであって、あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップに基づいて、前記学習用データを編集した学習用データを用いて、前記深層学習を用いて作成された、学習済みモデルにある。

本発明によれば、画像をより高い精度で識別することができる。

本発明の画像識別システムの実施の一形態を示す図である。 図１に示した画像識別システムを用いた画像識別装置の一形態を示す図である。 図１に示した画像識別システムおよび図２に示した画像識別装置における画像識別方法の一例を説明するフローチャートである。 図１に示した学習済みモデル作成手段が画像データを分類した画像データ群の一例を説明するための図である。 図１に示した学習用データ編集手段が行う学習データの編集方法の一例を説明するための図である。 図１に示した学習用データ編集手段が行う学習データの編集方法の一例を説明するための図である。 図１に示した学習用データ編集手段が行う学習データの編集方法の一例を説明するための図である。 図５、図６および図７を用いて説明した学習用データ編集手段が行う学習データの編集方法の結果、得られた再現率と適合率との一例を示す図である。 図２に示した画像識別装置の各要素の配置の一例を示す図である。 ラインカメラおよび光源の配置の他の例を示す図である。

以下に、本発明の実施の形態について図面を参照して説明する。
図１は、本発明の画像識別システムの実施の一形態を示す図である。本形態は図１に示すように、画像識別手段１１０と、活性化マップ取得手段１２０と、学習用データ編集手段１３０と、学習済みモデル作成手段１４０と、学習済みモデル評価手段１５０とを有する。

画像識別手段１１０は、対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する。ここで、対象物とは、例えば、撮像された表面画像から傷等の欠陥を検出する対象となる樹脂製品等である。深層学習に用いられる学習用データは、あらかじめ準備されたデータであって、テストデータとは別個に準備される。

前記の「あらかじめ準備されたデータ」としては、例えば、人間があらかじめ目視で分類した画像データであって、個々の画像データには、例えば、後述する「異常部」または、後述する「正常ノイズ」のクラス分類のラベルがつけられた画像データを用いることができる。

また、前記の「テストデータ」についても、前記「あらかじめ準備されたデータ」と同様に、例えば、人間があらかじめ目視で分類した画像データであって、個々の画像データには「異常部」または「正常ノイズ」のクラス分類のラベルがつけられた画像データを用いることができる。

活性化マップ取得手段１２０は、あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップを取得する。この活性化マップは、深層学習を用いて画像を識別する際、識別対象となる対象物のどの部分に、どの程度着目しているのかを可視化したマップである。つまり、活性化マップを用いれば、深層学習が対象物を識別するのに、画像のどの部分に基づいて識別を行ったのかを認識することができる。

学習用データ編集手段１３０は、活性化マップ取得手段１２０が取得した活性化マップに基づいて、学習用データを編集する。ここで、学習用データ編集手段１３０は、活性化マップ取得手段１２０が取得した活性化マップのうち、学習済みモデルを用いて正しく識別されなかった撮像画像の活性化マップに基づいて、学習用データを編集する。具体的には、学習用データ編集手段１３０は、学習用データのクラス分類の数を変更すること（方法１）と、クラス分類の構成を変更すること（方法２）と、クラス分類間で学習用データを入れ替えること（方法３）と、いずれかのクラス分類に含まれる学習用データを削除すること（方法４）との少なくとも１つを用いて、学習用データを編集する。

前記方法１〜４の一実施方法を、以下に示すが、本発明はこれらの方法に限定されるものではない。

（方法１：学習用データのクラス分類の数の変更）
前記方法１としては、例えば、下記の方法（１−１）〜（１−３）が挙げられるが、これらに限定されるものではない。
方法（１−１）：互い異なる２以上のクラス分類に属する学習用データを一まとめにして１つのクラス分類にまとめることができる。こうすることで、例えば、深層学習によって新たに生成された学習済みモデルが、元のクラス分類の平均的な特徴を持ったデータを正しく識別できるようになるという効果が生まれる。
方法（１−２）：特定のクラス分類に属する学習データを、当該クラス分類の特徴とは異なる特徴に着目して、別の新たなクラス分類を設けることができる。こうすることで、例えば、学習済みモデルが正常ノイズ（異常部）のデータを異常部（正常ノイズ）のクラス分類に誤って分類する頻度を減少できるという効果が生まれる。
方法（１−３）：特定のクラス分類に属する学習データを全て除去して、当該特定のクラス分類を不使用とすることをいう。こうすることで、例えば、学習済みモデルが誤って当該クラス分類に分類していたデータ（例えば、正常ノイズと異常部が混在したデータ）が、適切なクラス分類に正しく分類されるという効果が生まれる。

（方法２：クラス分類の構成の変更）
前記方法２としては、例えば、下記の方法（２−１）が挙げられるが、これらに限定されるものではない。
方法（２−１）：学習用データを各クラス分類に振り分けるときの判断基準を変更することや、クラス分類の種類又は規定の仕方を変更することをいう。こうすることで、人工知能がそのクラス分類の特徴をより的確に認識できるようになり、深層学習によって新たに生成された学習済みモデルの識別精度が向上するという効果が生まれる。

（方法３：クラス分類間での学習用データの入れ替え）
前記方法３としては、例えば、下記の方法（３−１）が挙げられるが、これらに限定されるものではない。
方法（３−１）：異なるクラス分類に属する１以上の学習用データを、当該クラス分類間で入れ替えることをいう。こうすることで、例えば、元々属していたクラス分類の特徴よりも、他のクラス分類の特徴を強く持っていた学習用データが、適切なクラス分類に再配置されるので、人工知能がそのクラス分類の特徴をより的確に識別できるようになり、深層学習によって新たに生成された学習済みモデルの識別精度が向上するという効果が生まれる。

（方法４：いずれかのクラス分類に含まれる学習用データの削除）
前記方法４としては、例えば、下記の方法（４−１）が挙げられるが、これらに限定されるものではない。
方法（４−１）：あるクラス分類に含まれる学習用データの一部を除去して不使用とすることをいう。こうすることで、人工知能が特徴を正しく識別できなかった学習用データを用いて学習済みモデルを生成させる必要がないので、深層学習によって新たに生成された学習済みモデルの識別精度が向上するという効果が生まれる。

なお、学習済みモデルを用いて正しく識別されなかった撮像画像とは、「正常であると判定される形態とは異なる形態であるが、学習済みモデルを用いて正常であると判定された画像」、又は「正常であると判定される形態であるが、学習済みモデルを用いて正常ではないと判定された画像」のことである。

学習済みモデル作成手段１４０は、学習用データ編集手段１３０が編集した学習用データに基づいて、深層学習を用いて新たな学習済みモデルを作成する。

学習済みモデル評価手段１５０は、撮像された撮像画像を用いて、学習済みモデル作成手段１４０が作成した学習済みモデルを評価する。また、学習済みモデル評価手段１５０は、評価の結果を示す評価値を出力する。学習済みモデル評価手段１５０は、評価値として、再現率や適合率を出力する。この再現率および適合率の詳細については、後述する。また、学習済みモデル評価手段１５０が出力した評価値が所定の条件を満たすまで、活性化マップ取得手段１２０が活性化マップを取得し、取得した活性化マップに基づいて学習用データ編集手段１３０が学習用データを編集し、編集した学習用データに基づいて学習済みモデル作成手段１４０が学習済みモデルを作成していく。
「学習用データを編集」することの、具体的な内容は、上述したとおりである。

図２は、図１に示した画像識別システムを用いた画像識別装置の一形態を示す図である。図２に示した画像識別装置２００は、画像取得部２１０と、画像処理部２２０と、画像解析部２３０とを有する。また、画像取得部２１０は、光源部２４０と、撮像部２５０と、記録装置２６０とを有する。なお、図２には、本発明の画像識別装置２００が有する構成要素のうち、本形態に係る主要な構成要素のみを示した。

画像取得部２１０は、対象物の画像データを連続的に取得する。光源部２４０は、対象物の表面に検査光を照射する。
光源部２４０は、点状の検査光を照射する点照明、前記点照明が一列に並んだライン照明、又は、線状の検査光を照射するライン照明である。対象物が大きな場合、若しくは、板形状、シート形状又はフイルム形状の場合は、光源部２４０としてライン照明を用いることができる。対象物が小さな場合、若しくは細い糸状の場合は、光源部２４０として点照明を用いることができる。
撮像部２５０は、光源部２４０から出射され、対象物を透過した検査光または対象物の表面で反射した検査光から取得されるライン画像を連続的に撮像する。

画像処理部２２０は、画像取得部２１０が取得した対象物の画像データから、特定の光学特性があらかじめ決められた変化のパターンを示す部位を含む画像データを抽出する。画像処理部２２０は、撮像部２５０が撮像したライン画像を時系列に並べて合成して対象物の画像データとする。画像処理部２２０は、光学特性として、輝度合計値と、輝度平均値と、輝度中央値と、輝度分散値と、輝度勾配方向と、輝度勾配の大きさと、欠陥の部分の面積と、欠陥の部分の周囲長と、欠陥の円形度と、欠陥のフェレ径と、欠陥の縦横比とから選ばれる少なくとも１つを用いる。

画像解析部２３０は、図１に示した画像識別システムにおける画像識別手段１１０を用いて、画像処理部２２０が抽出した画像データを識別する。

記録装置２６０は、画像処理部２２０が処理した結果や、画像解析部２３０が解析した結果、また処理や解析に必要となるデータ等を記憶する。

以下に、図１に示した画像識別システムおよび図２に示した画像識別装置２００における画像識別方法について説明する。図３は、図１に示した画像識別システムおよび図２に示した画像識別装置２００における画像識別方法の一例を説明するフローチャートである。

まず、光源部２４０が対象物へ光を照射させて、撮像部２５０が対象物の表面画像を撮像して取り込む（ステップＳ１）。続いて、画像処理部２２０が、撮像部２５０が取り込んだ画像についてぼかし処理、膨張処理、圧縮処理および２値化処理等の画像処理を行う（ステップＳ２）。

ぼかし処理では、デジタル画像を構成する各画素の輝度を、その周辺の画素の輝度と平均化する処理が行われる。こうすることで、各画素の互いの境界の輝度の変化が小さくなり、画像をぼかす効果が生まれる。例えば、３×３の９画素の輝度の平均値を採用する場合、注目画素の輝度とその周囲の８画素それぞれの輝度との平均値をその９画素の輝度とする。ここで、３×３の範囲をカーネルと称する。カーネルは、３×３のほか、５×５や７×７が考えられる。カーネルが大きくなるほど、ぼかし効果は大きくなる。画像全体にぼかし効果を与えるには、カーネルを１画素ずつ移動させながら、画素の平均化を行っていく。

膨張処理では、例えば、３×３の９画素の中心画素の濃度を、中心を含む９個の画素の中で、最大濃度（一番明るい値）に置き換える処理が行われる。こうすることで、黒いノイズ成分を除去する効果が生まれる。

圧縮処理では、例えば、例えば、３×３の９画素の中心画素の濃度を、中心を含む９個の画素の中で、最小濃度（一番暗い値）に置き換える処理が行われる。こうすることで、黒い画素を強調し、黒点等の欠陥を安定に検出できる効果が生まれる。

また、２値化処理は、一般的な２値化処理と同様に、その画素の輝度があらかじめ設定された閾値以上であるかどうかに基づいて、画像について白色か黒色かの２段階の輝度（階調）に数値化する処理である。

ステップＳ２における前記画像処理は、上述した、ぼかし処理、膨張処理、圧縮処理および２値化処理から選択される少なくとも１つの方法を用いることができる。２以上の方法を併用する場合は、その順番は特に限定されるものではない。
前記画像処理としては、通常は前記画像処理に要する時間を短くでき、画像をより高い精度で識別することができる学習済みモデルが得られることから、ぼかし処理の後に、２値化処理を行うことが好ましい。

なお、ステップＳ２における前記画像処理は、対象物の表面画像上の、正常部とは異なる非正常部を、「欠陥部」として強調し、後述するステップＳ３において、前記非正常部を重心とした欠陥部の画像を効率よく切り出して、後述する深層学習の学習用データの質を向上させ、画像をより高い精度で識別することができる学習済みモデルが得られるのであれば、ぼかし処理、膨張処理、圧縮処理および２値化処理に限定されるものではなく、その他の方法を用いることができる。

次いで、画像処理部２２０において、ステップＳ２の画像処理後の画像から、欠陥部の画像を抽出する（ステップＳ３）。欠陥部の画像は、あらかじめ設定された条件との比較に基づいて抽出される。ここで抽出された欠陥部の画像とは、正常部とは異なる非正常部の画像であり、欠陥部の画像の中に、後述する「異常部」の画像と後述する「正常ノイズ」の画像とが含まれる画像データの群であり、画像解析部２３０が用いる学習済みモデルで使用される学習用データおよびテストデータとなる。このとき、学習用データの数を増やすために、抽出した欠陥画像の少なくとも一部について、所定の点を中心軸として回転させたものを学習用データとして追加しても良い。また、抽出した欠陥画像の少なくとも一部について、左右を反転させたものを学習用データとして追加しても良い。また、抽出した欠陥画像の少なくとも一部について、上下を反転させたものを学習用データとして追加しても良い。また、抽出した欠陥画像の少なくとも一部について、所定の距離だけ移動させたものを学習用データとして追加しても良い。また、抽出した異常部の画像に正常ノイズの画像を合成させたものを学習用データとして追加しても良い。

続いて、学習済みモデル作成手段１４０が、画像処理部２２０が抽出した欠陥部の画像と、傷等が含まれていても光学性能に影響を与えない正常ノイズの画像とから一部（例えば、それぞれ９０％）を無作為に抽出し、抽出したデータを学習用データとし、残り（例えば、それぞれ１０％）をテストデータとする。ここで、正常ノイズの画像とは、多少の傷（ノイズ）が検出されたが、光学性能には影響を与えない薄傷や汚れであり、視認者からみて異常部として視認されないものである。

対象物の表面上に見られる正常ノイズとして、様々な形状が挙げられる。例えば、アルファベットのＮの形状をした傷の長さが長い傷（Ａタイプ）や、アルファベットのＮの形状をした傷の長さが短い傷（Ｂタイプ）や、幅が狭く略直線状の連続的又は断続的な傷（Ｃタイプ）、幅が広く傷の長さが短い断続的な傷（Ｄタイプ）、幅が広く傷の長さが短い断続的な傷（Ｅタイプ）が挙げられる。そのほかにも、いわゆる、毛羽、逆Ｎ傷、糸揺れ、横傷、段々傷、擦り傷、その他等の傷がある。これらの正常ノイズについて、多数のサンプル画像を学習データとして使用する。

そして、学習済みモデル作成手段１４０が、抽出した学習用データを用いて深層学習を使用して学習済みモデルを作成する（ステップＳ４）。ここで、最初に作成される学習済みモデルは暫定的なものである。すると、学習済みモデル評価手段１５０が、学習済みモデル作成手段１４０が作成した暫定的な学習済みモデルを用いて、抽出したテストデータを自動分類して評価結果を出力する。この評価結果が、特定の欠陥を精度よく抽出することが可能な欠陥分類学習モデルを得るための学習済みモデルである欠陥分類モデルの概略性能表示となる。また、学習済みモデル評価手段１５０が、学習済みモデル作成手段１４０が作成した暫定的な学習済みモデルを用いて、学習用データの画像とは異なる異常部の画像および正常ノイズの各パターンの画像を評価用データとして分類して評価する。評価した結果は評価値として出力される。評価値の詳細については、後述する。学習済みモデル評価手段１５０は、出力した評価値があらかじめ設定された閾値を満たしているかどうかを判定することで、作成された学習済みモデルが所定の条件を満たしているかどうかを判定する（ステップＳ５）。

学習済みモデル評価手段１５０は評価値を得るために、学習済みモデル作成手段１４０が正しい判定を行ったかどうかを判定するための複数の画像データ群に分類する。図４は、図１に示した学習済みモデル作成手段１４０が画像データを分類した画像データ群の一例を説明するための図である。学習済みモデル評価手段１５０は、画像データを、学習済みモデルを用いて異常部であると識別された画像データと、異常部ではない（多少の傷（ノイズ）は検出されるがそれは正常ノイズである）と識別された画像データとに分類する。また、学習済みモデル評価手段１５０は、それぞれの分類を、撮像部２５０が撮像した画像データに基づいて、合格レベルには含まれないと識別された画像データと、多少の傷（ノイズ）はあるが正常品として合格レベルに含まれると識別された画像データとにそれぞれ分類する。ここで、正常品として合格レベルに含まれるかどうかは、あらかじめ設定された基準値を満たすかどうかに基づいて判断される。また、撮像対象となった対象物に対して、その対象物の画像から基準値を満たしたかどうかを示すラベルが付与される。図４に示した例では、それぞれの分類のマトリックスをＡ，Ｂ，ＣおよびＤの分類で示している。分類Ａは、学習済みモデルを用いて異常部であると識別され、且つ基準値に従うと合格レベルには含まれないと判断された画像データが分類された画像データ群である。分類Ｂは、学習済みモデルを用いて異常部であると識別され、且つ基準値に従うと合格レベルに含まれると判断された画像データが分類された画像データ群である。分類Ｃは、学習済みモデルを用いて異常部ではないと識別され、且つ基準値に従うと合格レベルには含まれないと判断された画像データが分類された画像データ群である。分類Ｄは、学習済みモデルを用いて異常部ではないと識別され、且つ基準値に従うと合格レベルに含まれると判断された画像データが分類された画像データ群である。図４に示した分類では、分類Ａと分類Ｄが理想的な判定結果である。

なお、上述した「あらかじめ準備されたデータ」および「テストデータ」の個々の画像データにおいて、人間があらかじめ目視により、「異常部」のクラス分類のラベルをつけたのが前記分類Ａに相当し、「正常ノイズ」のクラス分類のラベルをつけたのが前記分類Ｄに相当する。

学習済みモデル評価手段１５０は、図４に示すように分類された画像データ群に含まれる画像データの件数に基づいた評価値を出力する。例えば、評価値として再現率が用いられる。再現率は、異常部および正常ノイズを正しく識別する確率であり、結果として得られるべき画像のうち、実際に得られるべき画像が得られた割合を示す。図４に示した例では、再現率は、
再現率＝分類Ａ／（分類Ａ＋分類Ｃ）
となる。具体的な数値（件数）では、再現率は、３７０／（３７０＋８７）＝８１．０％となる。また、評価値として適合率が用いられる。適合率は、予測を間違えない確率であり、得られた結果のうち、正しい画像の割合を示す。図４に示した例では、適合率は、
適合率＝分類Ａ／（分類Ａ＋分類Ｂ）
となる。具体的な数値（件数）では、適合率は、３７０／（３７０＋１３０）＝７４．０％となる。

ステップＳ５における処理は、上述したような評価値があらかじめ設定された閾値を満たしているかどうかを判定するものである。例えば、評価値として再現率が用いられており、その閾値として８０％が設定されている場合、図４に示した結果が出ると、この結果は条件を満たしていると判定される。また、評価値として再現率が用いられており、その閾値として９０％が設定されている場合、図４に示した結果が出ると、この結果は条件を満たしていないと判定される。また、評価値として適合率が用いられており、その閾値として７０％が設定されている場合、図４に示した結果が出ると、この結果は条件を満たしていると判定される。また、評価値として適合率が用いられており、その閾値として８０％が設定されている場合、図４に示した結果が出ると、この結果は条件を満たしていないと判定される。

ステップＳ５にて、評価値が条件を満たしていると判定された場合、学習済みモデルの作成（更新）は終了する。一方、ステップＳ５にて、評価値が条件を満たしていないと判定された場合は、Ｇｒａｄ−ＣＡＭ法で作成した活性化マップに基づいて、学習用データ編集手段１３０が学習用データを編集する（ステップＳ６）。具体的には、まず、活性化マップ取得手段１２０が、学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップを取得する。続いて、学習用データ編集手段１３０が、活性化マップ取得手段１２０が取得した活性化マップのうち、学習済みモデルを用いて正しく識別されなかった撮像画像の活性化マップに基づいて、学習用データを編集する。このとき、学習用データ編集手段１３０は、正しく識別されなかった撮像画像では、どの部位に着目して画像の識別が行われたのかを活性化マップを用いて判定し、学習用データを編集する。例えば、学習用データ編集手段１３０は、傷がある部位と学習済みモデルが着目していた部位とが互いに異なる場合、その画像データを学習用データから削除する。その他の編集方法について以下に説明する。

「学習用データを編集」することの、具体的な内容は、上述したとおりであるが、以下により具体的に説明する。
図５、図６および図７は、図１に示した学習用データ編集手段１３０が行う学習データの編集方法の一例を説明するための図である。図５、図６および図７には、学習済みモデルの暫定モデルから、学習用データ編集手段１３０が６回編集した学習用データの各構成の一例が示されている。図５、図６および図７に示すように、暫定モデルから次のモデルとなるＶｅｒ２のモデルへは、学習用データとして使用される正常ノイズの画像データが試作品から抽出されたものから、製品から新規に抽出されたもの（上述したＡタイプ、Ｂタイプ、Ｃタイプ、ＤタイプおよびＥタイプ）へ変更されている。また、学習用データのうち、異常部の学習用データが２つのクラス構成から１つへ変更されている。また、学習用データのうち、正常ノイズが１つのクラスから５つのクラス構成へ変更されている。また、次のモデルとなるＶｅｒ３のモデルへは、Ｖｅｒ２にて正常ノイズと誤判定されてしまった異常部の特徴を鮮明化させるために、異常部の学習用データが２つのクラス構成へ戻されている。また、次のモデルとなるＶｅｒ４のモデルへは、学習用データのうち、異常部の学習用データに正常ノイズのＣタイプの学習用データを編入させている。また、次のモデルとなるＶｅｒ５へのモデルへは、Ｖｅｒ４で異常部の学習用データに編入させた正常ノイズのＣタイプの学習データが削除されている。これにより、正常ノイズのＣタイプのノイズ側引力を削減させている。また、次のモデルとなるＶｅｒ６へは、正常ノイズのクラス構成を１つのクラス構成とし、正常ノイズのＣタイプの正常ノイズ側の欠陥引力を削減させている。最後に、改良モデル（現行モデル）へは、正常ノイズのクラス構成をＡ〜Ｅの５つのクラス構成へ変更され、Ｃタイプ、ＤタイプおよびＥタイプのような曖昧な画像データが異常部から削除されている。なお、本編集は、テストデータとして、３０枚の異常部の画像データと５８４０枚の正常ノイズの画像データとが用いられている。

図８は、図５、図６および図７を用いて説明した学習用データ編集手段１３０が行う学習データの編集方法の結果、得られた再現率と適合率との一例を示す図である。各学習済みモデルにおいて、学習済みモデル評価手段１５０は、再現率および適合率を算出している。再現率は、欠陥の検出性能を示す値である。適合率は、ノイズカットの確率である。再現率および適合率の具体的な算出方法は上述したとおりである。

図８に示すように、暫定モデルとなる学習済みモデルでは、再現率は９０．０％であり、適合率は７６．０％である。また、Ｖｅｒ２の学習済みモデルでは、再現率は８０．０％であり、適合率は９６．７％である。また、Ｖｅｒ３の学習済みモデルでは、再現率は９０．０％であり、適合率は９７．２％である。また、Ｖｅｒ４の学習済みモデルでは、再現率は１００．０％であり、適合率は４８．１％である。また、Ｖｅｒ５の学習済みモデルでは、再現率は７３．３％であり、適合率は８９．１％である。また、Ｖｅｒ６の学習済みモデルでは、再現率は８３．３％であり、適合率は７７．５％である。また、改良モデルの学習済みモデルでは、再現率は９３％であり、適合率は９６％である。

ステップＳ６にて学習用データ編集手段１３０が学習用データを編集すると、ステップＳ４にて、学習済みモデル作成手段１４０が、学習用データ編集手段１３０がステップＳ６にて編集した学習用データに基づいて、深層学習を用いて新たな学習済みモデルを作成する。

以下に、本発明における対象物の撮像形態について説明する。図９は、図２に示した画像識別装置２００の各要素の配置の一例を示す図である。図９に示したラインカメラ３００は、図２に示した撮像部２５０に相当する。また、図９に示した光源３１０は、図２に示した光源部２４０に相当する。また、図９に示した画像解析装置３２０には、図２に示した画像処理部２２０および画像解析部２３０が含まれる。また、画像解析装置３２０の外部に記録装置３３０を有する。図９に示した記録装置３３０は、図２に示した記録装置２６０に相当する。本システムでは、対象物３４０は、その所定の方向へ走行している。

光源３１０は、対象物３４０の走行方向に対してほぼ直交する方向から検査光を対象物３４０の表面に照射できる位置に配置されたＬＥＤ光源である。その角度は、光源３１０から照射される検査光の光軸が対象物３４０の中心軸方向に対して８０〜１００度であって、９０度に近いほど好ましい。また、光源３１０は、対象物３４０から６０ｍｍの距離に配置される。

ラインカメラ３００は、検査光が照射されている対象物３４０の表面部分を走行方向に対して所定の角度、傾斜した方向から撮像できる位置に配置された撮像装置である。この所定の角度は、検査光の光軸に対して４０〜６０度であって、５５度が最も好ましい。また、ラインカメラ３００は、対象物３４０からカメラの焦点距離である２４６ｍｍの距離に配置される。

記録装置３３０は、画像解析装置３２０が解析した結果や、解析に必要となるデータ等を記憶する。記録装置３３０は、単体の装置であっても良いし、複数の装置から構成されるものであっても良い。また、記録装置３３０は、メモリ等のデータ記憶用のデバイスであっても良い。また、記録装置３３０は、移設可能な記憶媒体でもあっても良い。

画像解析装置３２０は、図２に示した画像処理部２２０および画像解析部２３０が行う処理を行って、ラインカメラ３００が撮像した画像について、画像解析を行う。また、画像解析装置３２０は、記録装置３３０に記憶されているデータを画像解析処理に用いても良い。画像解析装置３２０に含まれる画像処理部２２０は、エリア画像を記録装置３３０に記録する。また、画像処理部２２０は、記録装置３３０に記録されたエリア画像について特定の輝度パターンを示す部位を検出し、輝度パターンを示す部位を含む一定サイズの画像を表面欠陥候補画像としてエリア画像から切り出して記録装置３３０に記録する。画像解析装置３２０に含まれる画像解析部２３０は、記録装置３３０に記録された、異常部の候補画像である表面欠陥候補画像を、深層学習を用いた画像解析プログラムによって表面欠陥候補の種類別に分類し、特定の種類の表面欠陥候補を表面欠陥として検出する。

図１０は、ラインカメラおよび光源の配置の他の例を示す図である。図１０に示した配置では、２つのラインカメラ３００−１，３００−２が、走行する対象物３４０の任意の点を中心として点対称に移動した位置にそれぞれ配置されている。ラインカメラ３００−１，３００−２はそれぞれ対象物の表面を表裏から連続的に撮影する。２つのラインカメラ３００−１，３００−２が配置されるため、それに伴い、それぞれのラインカメラ３００−１，３００−２のための光源３１０−１，３１０−２が設けられている。また、ラインカメラ３００−１，３００−２および光源３１０−１，３１０−２は外部からの光を遮断する筐体３５０内に設けられている。

図１０に示すように２つのラインカメラ３００−１，３００−２が配置された場合、画像解析装置３２０は、ラインカメラ３００−１，３００−２が撮像した複数のライン画像を時系列に並べてエリア画像に合成する。また、画像解析装置３２０は、エリア画像について画像解析を行って対象物３４０の表面欠陥を検出する。画像解析装置３２０は、エリア画像を記録装置３３０に記録し、記録装置３３０に記録されたエリア画像について特定の輝度パターンを示す部位を検出する。画像解析装置３２０は、輝度パターンを示す部位を含む一定サイズの画像を、異常部の候補画像である表面欠陥候補画像としてエリア画像から切り出して記録装置３３０に記録する。このとき、画像解析装置３２０は、図３に示したフローチャートを用いて説明したステップＳ１〜Ｓ３の処理を行う。画像解析装置３２０は、記録装置３３０が記憶している表面欠陥候補画像を、深層学習を用いた画像解析プログラムによって表面欠陥候補の種類別に分類し、特定の種類の表面欠陥候補を表面欠陥として検出する。

従来、検査の対象製品に、検出したい特定の欠陥（上述した異常部。）が有する特徴と類似した特徴を有する多種多様な欠陥（上述した正常ノイズ。）が存在する場合、異常部のみを高い精度で検出することが困難であった。また、深層学習により、検出したい異常部と正常ノイズとが混在したデータから、異常部のみを精度よく検出可能な欠陥分類モデルを得るには、大量の学習用（教師）データが必要である。しかしながら、異常部の発生頻度が極めて低い場合、異常部のみを精度よく検出できる欠陥分類モデルを得ることは困難であった。

そこで本発明においては、対象物を撮像する撮像部（カメラ）と、対象物の撮像部分に光を照射する光源との配置を最適化した。また、画像解析部で、深層学習の学習済みモデルを作成するときに、Ｇｒａｄ−ＣＡＭ法を用いて、学習用（教師）データの最適化を行った。この学習用データの最適化として、学習用データのクラス分類の数の変更、クラス分類の形態の変更、クラス分類間でデータの入れ替え、またはいずれかのクラス分類に含まれるデータの削除を行った。

撮像部と光源との配置を最適化することで、対象製品表面の非正常部の画像を、精度よく、高い再現性で検出することが出来る。また、画像解析部で、Ｇｒａｄ−ＣＡＭ法を用いて学習用データを最適化することで、学習用データの数が少ない場合であっても、検出精度（再現率、適合率）の高い学習済みモデルを得ることができる。さらに、Ｇｒａｄ−ＣＡＭ法を用いて作成した学習済みモデルでは、異常部の画像を、高い再現率、適合率で抽出できる。

以上、各構成要素に各機能（処理）それぞれを分担させて説明したが、この割り当ては上述したものに限定しない。また、構成要素の構成についても、上述した形態はあくまでも例であって、これに限定しない。また、各実施の形態を組み合わせたものであっても良い。

上述した各手段や装置が行う処理は、目的に応じてそれぞれ作製された論理回路で行うようにしても良い。また、処理内容を手順として記述したコンピュータプログラム（以下、プログラムと称する）を各手段や装置（以下、情報処理装置と称する。）にて読取可能な記録媒体に記録し、この記録媒体に記録されたプログラムを情報処理装置に読み込ませ、実行するものであっても良い。情報処理装置にて読取可能な記録媒体とは、フロッピー（登録商標）ディスク、光磁気ディスク、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリなどの移設可能な記録媒体の他、情報処理装置に内蔵されたＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等のメモリやＨＤＤ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等を指す。この記録媒体に記録されたプログラムは、情報処理装置に設けられたＣＰＵにて読み込まれ、ＣＰＵの制御によって、上述したものと同様の処理が行われる。ここで、ＣＰＵは、プログラムが記録された記録媒体から読み込まれたプログラムを実行するコンピュータとして動作するものである。

１１０ 画像識別手段
１２０ 活性化マップ取得手段
１３０ 学習用データ編集手段
１４０ 学習済みモデル作成手段
１５０ 学習済みモデル評価手段
２００ 画像識別装置
２１０ 画像取得部
２２０ 画像処理部
２３０ 画像解析部
２４０ 光源部
２５０ 撮像部
２６０，３３０ 記録装置
３００，３００−１，３００−２ ラインカメラ
３１０，３１０−１，３１０−２ 光源
３２０ 画像解析装置
３４０ 対象物
３５０ 筐体

Claims (20)

1. 対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する画像識別手段を有する、画像識別システム。
2. あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップを取得する活性化マップ取得手段と、
   前記活性化マップ取得手段が取得した活性化マップに基づいて、前記学習用データを編集する学習用データ編集手段と、
   前記学習用データ編集手段が編集した学習用データに基づいて、前記深層学習を用いて新たな学習済みモデルを作成する学習済みモデル作成手段とを有する、請求項１に記載の画像識別システム。
3. 前記学習用データ編集手段は、前記学習用データのクラス分類の数を変更することと、前記クラス分類の構成を変更することと、前記クラス分類間で前記学習用データを入れ替えることと、いずれかの前記クラス分類に含まれる前記学習用データを削除することとの少なくとも１つを用いて、前記学習用データを編集する、請求項２に記載の画像識別システム。
4. 前記撮像された撮像画像を用いて、前記学習済みモデル作成手段が作成した前記学習済みモデルを評価し、該評価の結果を示す評価値を出力する学習済みモデル評価手段を有し、
   前記学習済みモデル評価手段が出力した評価値が所定の条件を満たすまで、前記活性化マップ取得手段が前記活性化マップを取得し、該取得した活性化マップに基づいて前記学習用データ編集手段が前記学習用データを編集し、該編集した学習用データに基づいて前記学習済みモデル作成手段が前記新たな学習済みモデルを作成していく、請求項２又は３に記載の画像識別システム。
5. 前記学習用データ編集手段は、前記学習済みモデルを用いて正しく識別されなかった撮像画像の前記活性化マップに基づいて、前記学習用データを編集する、請求項２〜４のいずれか一項に記載の画像識別システム。
6. 前記学習済みモデル作成手段が、前記学習用データの画像を、正常であると判定される形態とは異なる形態を有し、且つあらかじめ設定された基準値に従えば所定の合格レベルに分類されない領域を含む、複数の画像データから構成される第１の画像データ群と、前記正常であると判定される形態とは異なる形態を有し、且つ前記基準値に従えば前記合格レベルに分類される領域を含む、複数の画像データから構成される第２の画像データ群とに分類した前記学習済みモデルを作成した場合、前記学習済みモデル評価手段は、前記第１の画像データ群に分類された前記複数の画像データの数と前記第２の画像データ群に分類された前記複数の画像データの数との合計に対する前記第１の画像データ群に分類された前記複数の画像データの数の割合である再現率を前記評価値として出力する、請求項４又は５に記載の画像識別システム。
7. 前記学習済みモデル作成手段が、前記学習用データの画像を、正常であると判定される形態とは異なる形態を有し、且つあらかじめ設定された基準値に従えば所定の合格レベルに分類されない領域を含む、複数の画像データから構成される第１の画像データ群と、前記正常であると判定される形態を有し、且つ前記基準値に従えば前記合格レベルに分類されない領域を含む、複数の画像データから構成される第３の画像データ群とに分類した前記学習済みモデルを作成した場合、前記学習済みモデル評価手段は、前記第１の画像データ群に分類された前記複数の画像データの数と前記第３の画像データ群に分類された前記複数の画像データの数との合計に対する前記第１の画像データ群に分類された前記複数の画像データの数の割合である適合率を前記評価値として出力する、請求項４〜６のいずれか一項に記載の画像識別システム。
8. 前記画像識別手段は、前記学習用データとして使用する学習用の画像の少なくとも一部について、所定の点を中心軸とした回転と、左右反転と、上下反転と、所定の距離の移動と、複数の学習用の画像同士の合成との少なくとも１つの処理を施した画像を、前記学習用データとして使用する学習用の画像に追加する、請求項１〜７のいずれに一項に記載の画像識別システム。
9. 対象物の画像データを連続的に取得する画像取得部と、
   前記画像取得部が取得した前記対象物の画像データから、特定の光学特性があらかじめ決められた変化のパターンを示す部位を含む画像データを抽出する画像処理部と、
   前記画像処理部が抽出した画像データを、請求項１〜８のいずれか一項に記載の画像識別システムにおける画像識別手段を用いて識別する画像解析部とを有する画像識別装置。
10. 前記画像処理部は、前記光学特性として、輝度合計値と、輝度平均値と、輝度中央値と、輝度分散値と、輝度勾配方向と、輝度勾配の大きさと、欠陥の部分の面積と、前記欠陥の部分の周囲長と、前記欠陥の円形度と、前記欠陥のフェレ径と、前記欠陥の縦横比とから選ばれる少なくとも１つを用いる、請求項９に記載の画像識別装置。
11. 前記画像取得部は、
    前記対象物の表面に検査光を照射する光源部と、
    前記光源部から出射され、前記対象物を透過した前記検査光または前記対象物の表面で反射した前記検査光から取得されるライン画像を連続的に撮像する撮像部とを有し、
    前記画像処理部は、前記撮像部が撮像した前記ライン画像を時系列に並べて合成して前記対象物の画像データとする、請求項９又は１０に記載の画像識別装置。
12. 前記光源部は、線状の前記検査光を照射するライン照明である、請求項１１に記載の画像識別装置。
13. 前記光源部は、走行する前記対象物の走行方向に対して略直交する方向から前記検査光を前記対象物の表面に照射する光源であり、
    前記撮像部は、前記検査光が照射されている前記対象物の表面部分を前記走行方向に対して傾斜した方向から撮像するラインカメラであり、
    前記ラインカメラは、前記対象物の任意の点を中心として点対称に移動した位置にそれぞれ配置された２つのラインカメラであって、該２つのラインカメラはそれぞれ前記対象物の表面を表裏から連続的に撮影することを含む、請求項１１又は１２に記載の画像識別装置。
14. 前記画像処理部は、前記ラインカメラが撮像した複数のライン画像を時系列に並べてエリア画像に合成し、該エリア画像について前記画像解析を行って前記対象物の表面欠陥を検出することを含む、請求項１３に記載の画像識別装置。
15. 前記光源部は、前記検査光の光軸が前記対象物の中心軸方向に対して８０〜１００度となる位置に配置され、
    前記撮像部は、その撮像方向が前記検査光の光軸に対して４０〜６０度となる位置に配置される、請求項１１〜１４のいずれか一項に記載の画像識別装置。
16. 記録装置をさらに有し、
    前記画像処理部は、前記エリア画像を前記記録装置に記録し、前記記録装置に記録された前記エリア画像について特定の輝度パターンを示す部位を検出し、前記輝度パターンを示す部位を含む一定サイズの画像を表面欠陥候補画像として前記エリア画像から切り出して前記記録装置に記録し、
    前記画像解析部は、前記記録装置に記録された前記表面欠陥候補画像を深層学習を用いた画像解析プログラムによって表面欠陥候補の種類別に分類し、特定の種類の表面欠陥候補を表面欠陥として検出する、請求項１４又は１５に記載の画像識別装置。
17. コンピュータに実行させるためのプログラムであって、
    対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルを用いて、撮像された画像データから、あらかじめ設定された形態の画像を示す画像データを識別する手順を前記コンピュータに実行させ、
    前記学習済みモデルは、あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップに基づいて、前記学習用データを編集した学習用データを用いて、前記深層学習を用いて作成されたものである、プログラム。
18. 前記学習用データのクラス分類の数を変更することと、前記クラス分類の構成を変更することと、前記クラス分類間で前記学習用データを入れ替えることと、いずれかの前記クラス分類に含まれる前記学習用データを削除することとの少なくとも１つを用いて、前記学習用データを編集する、請求項１７に記載のプログラム。
19. 対象物の画像データを学習用データとして、深層学習を用いて作成された学習済みモデルであって、
    あらかじめ作成された学習済みモデルが作成されたときの特徴マップの活性化状態をＧｒａｄ−ＣＡＭ法を用いて可視化した活性化マップに基づいて、前記学習用データを編集した学習用データを用いて、前記深層学習を用いて作成された、学習済みモデル。
20. 前記学習用データのクラス分類の数を変更することと、前記クラス分類の構成を変更することと、前記クラス分類間で前記学習用データを入れ替えることと、いずれかの前記クラス分類に含まれる前記学習用データを削除することとの少なくとも１つを用いて、前記学習用データを編集する、請求項１９に記載の学習済みモデル。

Images