JP2023183808A - 画像生成方法及び外観検査装置 - Google Patents

Abstract

【課題】機械学習による異常の有無の判定が不正確になるのを抑制すること。【解決手段】プロセッサを備える外観検査装置であって、前記プロセッサは、検査対象の外観を写した複数の外観画像を取得し、前記複数の外観画像を母集団としたときの前記各外観画像の特徴のばらつきを表す統計分布を生成し、前記統計分布が示す前記ばらつきに基づいて、前記外観を写した追加画像を生成し、前記複数の外観画像と前記追加画像とを含む学習データを用いた機械学習により学習済モデルを生成する。【選択図】図１

Description

本発明は、画像生成方法及び外観検査装置に関する。

製品を製造する製造ライン等においては、製造途中の製品やその部品に欠陥があるかどうかを画像認識技術で認識し、欠陥を早期に発見することが行われる。特に、近年の機械学習の進展により、機械学習で欠陥を発見することも盛んに行われている。その場合、CNN (Convolutional Neural Network)等の機械学習モデルに種々の学習画像を学習させた後、実際の製品の画像に基づいて製品に欠陥があるかを学習済の機械学習モデルが判定する。

但し、学習画像のバリエーションが少ないと機械学習モデルの学習が不十分となり、欠陥があるかの判定が不正確となる。そこで、特許文献１では、学習画像から傷を抽出し、その傷を種々に変形した部分画像を生成してそれらを合成先画像と合成して新たな学習画像とすることで、学習画像のバリエーションを増やす技術を提案している。

特開２０１９―１０９５６３号公報

しかしながら、製品に欠陥が発生する頻度は欠陥ごとに異なるため、その頻度を考慮せずに学習画像のバリエーションを増やすと、機械学習モデルが欠陥を誤検出したり、欠陥を見逃したりして、機械学習モデルの判定結果が不正確になるおそれがある。

本発明は、このような状況に鑑みてなされたものであり、機械学習による異常の有無の判定が不正確になるのを抑制することを目的とする。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下の通りである。

上記課題を解決するため、本発明の一態様に係る外観検査装置は、プロセッサを備える外観検査装置であって、前記プロセッサは、検査対象の外観を写した複数の外観画像を取得し、前記複数の外観画像を母集団としたときの前記各外観画像の特徴のばらつきを表す統計分布を生成し、前記統計分布が示す前記ばらつきに基づいて、前記外観を写した追加画像を生成し、前記複数の外観画像と前記追加画像とを含む学習データを用いた機械学習により学習済モデルを生成する。

本発明によれば、機械学習による異常の有無の判定が不正確になるのを抑制することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、外観検査装置の機能構成の一例を示す模式図である。 図２は、第１実施形態に係る外観検査方法のフローチャートの一例を示す模式図である。 図３は、第１実施形態に係る追加画像の生成処理の一例を示すフローチャートである。 図４は、第１実施形態に係る追加画像の生成処理の一例を説明するための模式図である。 図５は、外観画像の特徴として部品に変形が生じた位置を採用した場合における、第１実施形態に係る追加画像の生成処理の一例を説明するための模式図である。 図６は、外観画像の特徴として外観画像の画像全体の輝度を採用した場合における、第１実施形態に係る追加画像の生成処理の一例を説明するための模式図である。 図７は、外観画像の特徴として外観画像のコントラストを採用した場合における、第１実施形態に係る追加画像の生成処理の一例を説明するための模式図である。 図８は、外観画像の特徴として外観画像のノイズ強度を採用した場合における、第１実施形態に係る追加画像の生成処理の一例を説明するための模式図である。 図９は、第１実施形態に係る学習済モデルの生成方法の一例について示す模式図である。 図１０は、第１実施形態に係る検査の方法の一例について示す模式図である。 図１１は、第１実施形態に係る表示部の表示例を示す模式図である。 図１２は、第２実施形態における追加画像の生成処理の一例を説明するための模式図である。 図１３は、第３実施形態における学習済モデルの生成方法の一例について示す模式図である。 図１４は、第３実施形態における検査の方法の一例について示す模式図である。 図１５は、第１～第３実施形態に係る外観検査装置のハードウェア構成の一例を示す図である。

以下、本発明に係る一実施形態を図面に基づいて説明する。なお、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は適宜省略する。また、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合及び原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合及び原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。

＜第１実施形態＞
図１は、本実施形態に係る外観検査装置１００の機能構成の一例を示す模式図である。

外観検査装置１００は、例えば検査対象物である部品の外観に異常があるかを検査する装置であって、処理部１１０、記憶部１２０、入力部１３０、表示部１４０、及び撮像部１５０を備える。

入力部１３０は、ユーザからの種々の入力を受け付けるためのキーボード又はマウス等の入力デバイスである。表示部１４０は、例えば、部品の外観の検査結果等を表示する液晶表示ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等の表示デバイスである。

撮像部１５０は、検査対象物である部品の外観を撮像し、その外観を写した外観画像１２１ａを記憶部１２０に格納するカメラ等の撮像デバイスである。

記憶部１２０は、外観画像DB(Database)１２１、拡張学習画像DB１２２、学習済パラメータDB１２３、及びプログラム１２４の各々を記憶する機能部である。

外観画像DB１２１は、撮像部１５０が撮像した部品の外観画像１２１ａとその属性情報１２１ｂとを記憶するデータベースである。属性情報１２１ｂは、外観画像１２１ａに写った部品が正常か異常かを示す情報と、異常の種類と、部品に異常が発生した位置とを含む情報である。

拡張学習画像DB１２２は、拡張学習画像１２２ａと属性情報１２２ｂとを記憶するデータベースである。拡張学習画像１２２ａは、部品に異常があるかを検査する機械学習モデルが学習をするときの学習データである。一例として、拡張学習画像１２２ａは、前述の外観画像１２１ａと、後述の画像生成部１１３が生成した追加画像とを含む画像である。このように外観画像１２１ａだけでなく、追加画像を学習データとすることで、学習データのバリエーションを増やすことができる。

属性情報１２２ｂは、拡張学習画像１２２ａに写った部品が正常か異常かを示す情報と、異常の種類と、部品に異常が発生した位置とを含む情報である。

学習済パラメータDB１２３は、拡張学習画像１２２ａを学習データとして学習した機械学習モデルの内部パラメータを格納するデータベースである。

プログラム１２４は、本実施形態に係る外観検査プログラムである。そのプログラム１２４を外観検査装置１００が実行することで処理部１１０の各機能が実現される。

処理部１１０は、外観検査装置１００の各部を制御する機能部である。一例として、処理部１１０は、画像取得部１１１、統計分布生成部１１２、画像生成部１１３、学習部１１４、及び検査部１１５を備える。

画像取得部１１１は、外観画像DB１２１から外観画像１２１ａを取得する機能部である。

統計分布生成部１１２は、複数の外観画像１２１ａを母集団としたときの各外観画像１２１ａの特徴のばらつきを表す統計分布を生成する処理部である。その特徴の一例としては、後述のように検査対象である部品の変形量、又は部品に変形が生じた位置がある。また、各外観画像１２１ａの輝度、コントラスト、及びノイズ強度も特徴の一例である。

画像生成部１１３は、統計分布生成部１１２が生成した統計分布が示す特徴のばらつきに基づいて部品の外観を写した追加画像を生成し、それを拡張学習画像１２２ａとして拡張学習画像DBに格納する機能部である。

学習部１１４は、拡張学習画像１２２ａを学習データとする機械学習により学習済モデルを生成する機能部である。

検査部１１５は、学習済モデルを用いて検査対象の部品の外観に異常があるかを検査する機能部である。また、検査部１１５は、検査結果等を表示するように表示部１４０に指示し、表示部１４０を見たユーザが検査結果を把握できるようにしてもよい。

図２は、本実施形態に係る外観検査方法のフローチャートの一例を示す模式図である。

まず、画像取得部１１１が、外観画像DB１２１から１枚以上の外観画像１２１ａを取得する（ステップＳ２１）。この例では、画像取得部１１１は、外観画像DB１２１に格納されている全ての外観画像１２１ａのうち、１枚以上の正常な外観画像１２１ａをランダムに取得する。外観画像１２１ａが正常かどうかは、その外観画像１２１ａに対応した属性情報１２１ｂに基づいて画像取得部１１１が判断できる。更に、画像取得部１１１は、取得した外観画像１２１ａの各々に対応した属性情報１２１ｂも外観画像DB１２１から取得する。

次いで、統計分布生成部１１２と画像生成部１１３が、追加画像の生成処理を行う（ステップＳ２２）。この生成処理の詳細については後述する。

次に、学習部１１４が、拡張学習画像１２２ａを学習データとする機械学習により学習済モデルを生成する（ステップＳ２３）。このステップの詳細については後述する。

次いで、検査部１１５が、学習済モデルを用いて、部品に異常があるかを検査する（ステップＳ２４）。ここでは、検査部１１５は、撮像部１５０によって撮像された部品の検査画像を取得し、その検査画像に写った部品に異常があるかを検査する。その詳細については後述する。

以上により、本実施形態に係る外観検査方法の基本的な処理を終える。

次に、ステップＳ２２の追加画像の生成処理について説明する。図３は、追加画像の生成処理の一例を示すフローチャートである。また、図４は、追加画像の生成処理の一例を説明するための模式図である。なお、追加画像の生成処理は、画像生成方法の一例である。

まず、図３に示すように、統計分布生成部１１２が、ステップＳ２１で取得した各外観画像１２１ａを母集団としたときの各外観画像１２１ａの特徴のばらつきを表す統計分布を生成する（ステップＳ３１）。

図４の例では、統計分布の母集団となる各外観画像１２１ａを画像セット４０１で表す。統計分布生成部１１２は、その画像セット４０１に含まれる各外観画像１２１ａから基準値画像４０２を生成する。この例では、統計分布生成部１１２は、各外観画像１２１ａの画素値の中央値を位置ごとに算出し、各位置での画素値がその中央値となる中央値画像を基準値画像として生成する。なお、中央値に代えて、画素値の平均値を採用してもよい。また、中央値は、各画素の位置で算出してもよいし、複数の画素を含む領域で算出してもよい。次いで、統計分布生成部１１２は、各外観画像１２１ａと基準値画像４０２との画素値の差分を位置ごとに求める。ある位置で算出された当該差分は、基準値画像４０２を基準とした場合における、外観画像１２１ａに写った部品のその位置での変形量である。そして、統計分布生成部１１２は、各外観画像１２１ａの差分を位置ごとに合計した累積値を求める。その累積値が大きい位置は、画像セット４０１を母集団としたときに変形量のばらつきが大きい位置である。逆に、累積値が小さい位置は、画像セット４０１を母集団としたときに変形量のばらつきが小さい位置である。統計分布生成部１１２は、このような累積値をマッピングした統計分布４０３を生成する。統計分布４０３において色が濃い位置は変形量のばらつきが大きい位置であり、色が薄い位置は変形量のばらつきが小さい領域である。

ここでは、部品の位置ごとの変形量のばらつきを示す統計分布４０３を統計分布生成部１１２が生成したが、統計分布生成部１１２は複数種類の統計分布４０３を生成してもよい。例えば、統計分布生成部１１２は、後述のように部品の形状のばらつきを示す統計分布を生成してもよいし、各外観画像１２１ａの輝度、コントラスト、及びノイズ強度の各々のばらつきを示す統計分布を生成してもよい。

再び図３を参照する。次に、画像生成部１１３が、統計分布生成部１１２が生成した複数の統計分布のうちの一つ以上を選択する（ステップＳ３２）。ここでは、説明を簡単にするために、前述の変形量のばらつきを示す統計分布４０３を画像生成部１１３が選択した場合を例にして説明する。

次に、画像生成部１１３が、選択した統計分布４０３を基にして追加画像を生成する（ステップＳ３３）。追加画像の生成方法について図４を参照して説明する。

統計分布４０３が示すように、部品の位置によって変形量のばらつきは異なる。ばらつきが大きい位置で変形した部品を写した外観画像１１２ａは、ばらつきが小さい位置で変形した部品を写した外観画像１１２ａと比較して、外観画像DB１２１に含まれる枚数が統計的に少なく、バリエーションも少ないと考えられる。

そこで、画像生成部１１３は、外観画像DB１２１に含まれる外観画像１２１ａに対して変形処理を施した追加画像４０４を生成し、変形のバリエーションを増やす。変形量と追加画像４０４の枚数は、統計分布４０３に基づいて画像生成部１１３が決定する。例えば、画像生成部１１３は、統計分布４０３においてばらつきが大きい分布領域ほど変形量を大きくすると共に追加画像４０４の枚数を多くする。なお、変形処理を施す外観画像１２１ａは、外観画像DB１２１から任意に選択した１枚の外観画像１２１ａでもよいし、複数枚の外観画像１２１ａでもよい。これにより、ばらつきが大きい追加画像４０４のバリエーションが増やすことができる。

なお、画像生成部１１３は、追加画像４０４における変形量を、正常な外観画像１２１ａの統計分布４０３における分布の範囲内に収める。これにより、追加画像４０４に写った部品は正常とみなすことができる。なお、変形処理によって追加画像４０４となる外観画像１２１は正常でも異常でもよい。また、画像生成部１１３は、このように正常又は異常な外観画像１２１に対して変形処理を施すことにより、異常な追加画像４０４を生成してもよい。これについては後述の図５～図８の例でも同様である。

再び図３を参照する。次に、画像生成部１１３は、外観画像DBに含まれる全ての外観画像１２１ａと、ステップＳ３３で生成した全ての追加画像４０４とを拡張学習画像DB１２２に保存する（ステップＳ３４）。また、画像生成部１１３は、外観画像１２１ａの属性情報１２１ｂを拡張学習画像DB１２２に保存すると共に、追加画像４０４の属性情報１２２ｂも拡張学習画像DB１２２に保存する。なお、ここでは正常な外観画像１２１ａを画像セット４０１としたため、前述のように追加画像４０４に写った部品も正常とみなすことができる。そのため、追加画像４０４の属性情報１２２ｂは、部品が正常であることを示す情報となる。

以上により、追加画像の生成処理における基本的な処理を終える。

上記のようにして生成した拡張学習画像DB１２２における外観画像１２１ａと追加画像４０４は、学習部１１４が学習済モデルを生成するときの学習データとなる。本実施形態では前述のように統計分布４０３において変形量のばらつきが大きい分布領域における追加画像４０４の枚数を増やしたため、その分布領域における学習データのバリエーションが増える。これにより、学習部１１４が、学習データに基づいて、正常と異常とを区別する識別境界を正確に学習することができる。その結果、検査部１１５が、正常な範囲内で大きく変形した部品を誤って異常であると誤判定する可能性を低減でき、機械学習による異常の有無の判定が不正確になるのを抑制することができる。

図５は、外観画像１２１ａの特徴として部品に変形が生じた位置を採用した場合における、追加画像４０４の生成処理の一例を説明するための模式図である。

図５の例では、統計分布の母集団となる複数の外観画像１２１ａを画像セット５０１で表す。そして、ステップＳ３１においては、統計分布生成部１１２は、画像セット５０１に含まれる各外観画像１２１ａの形状を輪郭抽出等の画像処理で抽出する。次いで、統計分布生成部１１２は、画像セット５０１における部品の形状の中央値を示す中央値画像を基準値画像５０２として生成する。なお、統計分布生成部１１２は、中央値画像に代えて、画像セット５０１にわたる部品の形状の平均値を示す平均値画像を生成してもよい。

更に、統計分布生成部１１２は、画像セット５０１に含まれる各外観画像１２１ａと基準値画像５０２との画素値の差分を位置ごとに算出することで、基準値画像５０２を基準とした場合に部品に変形が生じた位置を外観画像１２１ａごとに算出する。そして、統計分布生成部１１２は、画像セット５０１を母集団とした場合における、変形が生じた位置のばらつきを示す統計分布５０３を生成する。

また、この例では、擦り傷及びシミ等の種々の欠陥画像を保存した異常テンプレート５０５を予め記憶部１２０に格納しておく。そして、ステップＳ３３においては、画像生成部１１３が、外観画像DB１２１に含まれる外観画像１２１ａに対して画像処理等で加工を行うことで、正常な範囲内で部品の形状が種々に変形した画像を生成する。例えば、画像生成部１１３は、統計分布５０３においてばらつきが大きい分布領域ほど変形が大きい画像を多く生成する。

画像生成部１１３は、外観画像DB１２１から任意の１枚の外観画像１２１ａを取得し、その外観画像１２１ａに対して上記の画像処理を行ってもよい。これに代えて、画像生成部１１３は、外観画像DB１２１から複数枚の外観画像１２１ａを取得し、各々の外観画像１２１ａに対して画像処理を行ってもよい。そして、画像生成部１１３は、このように画像処理が施された画像に異常テンプレート５０５の欠陥画像を重ねた（合成した）追加画像５０４を生成する。

外観画像１２１ａにおいて欠陥画像を重ねる位置は、その外観画像１２１ａにおいて変形が生じた位置とする。例えば、ある外観画像１２１ａにおいて部品の縁部に変形が生じた場合は、画像生成部１１３はその縁部に欠陥画像を重ねる。

画像生成部１１３は、異常テンプレート５０５の欠陥画像に対して回転、拡大、及び縮小のいずれか、又はこれらの組み合わせの処理を行い、処理後の画像を外観画像１２１ａに重ねてもよい。

追加画像５０４には欠陥画像が含まれているが、追加画像５０４の基になった画像は正常な範囲内で部品の形状が変形した画像である。よって、ステップＳ３４で拡張学習画像DB１２２に保存する追加画像５０４の属性情報１２２ｂは、正常であることを示す情報となる。

外観画像DB１２１には部品に変形が生じた位置が種々にばらついた外観画像１２１ａが含まれるが、図４の例と同様に、統計分布５０３においてばらつきが大きい分布領域にある外観画像１２１ａは、ばらつきが小さい分布領域にある外観画像１２１ａと比較して枚数が少なくバリエーションが少ないと考えられる。

そのため、この例のように追加画像５０４を生成することで、画像のバリエーションを増やすことができ、学習データのバリエーションが豊富になる。更に、その外観画像１２１ａに欠陥画像を重ねることで、変形と欠陥との組み合わせが豊富となり、学習データのバリエーションが一層増える。

これにより、学習部１１４が、変形が生じた位置に欠陥が存在する学習データに基づいて、正常と異常とを区別する識別境界を正確に学習することができる。その結果、検査部１１５が、正常範囲内での形状ばらつきを誤って異常であると誤判定する可能性を低減できる。

図６は、外観画像１２１ａの特徴として外観画像１２１ａの画像全体の輝度を採用した場合における、追加画像の生成処理の一例を説明するための模式図である。

図６の例では、統計分布の母集団となる複数の外観画像１２１ａを画像セット６０１で表す。そして、ステップＳ３１において、統計分布生成部１１２は、外観画像１２１ａの画像全体の輝度を画像セット６０１で平均した平均輝度を基準輝度として算出する。なお、統計分布生成部１１２は、平均輝度に代えて、画像セット６０１における輝度の中央値を基準輝度として算出してもよい。

更に、統計分布生成部１１２は、画像セット６０１に含まれる外観画像１２１ａごとに、画像全体の輝度と基準輝度との差を算出し、その差のばらつきを示す統計分布６０２を生成する。その統計分布６０２の横軸は基準輝度と輝度との差であり、縦軸は外観画像１２１ａの枚数である。

そして、ステップＳ３３において、画像生成部１１３は、外観画像DB１２１から外観画像１２１ａを適宜選択する。なお、選択する外観画像１２１ａの枚数は、１枚でもよいし複数枚でもよい。そして、画像生成部１１３は、選択した外観画像１２１ａに対して輝度補正処理を行うことで、統計分布６０２における分布の範囲内に基準輝度と輝度との差が収まるような種々の追加画像６０４を統計分布６０２に応じた枚数だけ生成する。

例えば、画像生成部１１３は、統計分布６０２において外観画像１２１ａの枚数が少ない分布領域ほど追加画像６０４の枚数を多くする。これにより、統計分布６０２において枚数が少ない画像のバリエーションを増やすことができる。

なお、追加画像６０４の輝度と基準輝度との差は、正常な外観画像１２１ａの統計分布６０２における分布の範囲内に収まるため、追加画像６０４に写った部品は正常とみなすことができる。そのため、ステップＳ３４で拡張学習画像DB１２２に保存する追加画像６０４の属性情報１２２ｂは、正常であることを示す情報となる。

この例によれば、統計分布６０２において枚数が少ない画像のバリエーションが増えるため、学習データにおける輝度のバリエーションが豊富になると共に、学習データにおける輝度の偏りが低減される。そのため、学習部１１４が、検査対象である部品の色を考慮して正常な部品の外観を学習することができる。その結果、検査部１１５が、色の相違に起因して正常な部品を誤って異常であると誤判定する可能性を低減できる。

図７は、外観画像１２１ａの特徴として外観画像１２１ａのコントラストを採用した場合における、追加画像の生成処理の一例を説明するための模式図である。

図７の例では、統計分布の母集団となる複数の外観画像１２１ａを画像セット７０１で表す。そして、ステップＳ３１において、統計分布生成部１１２は、画像セット７０１に含まれる外観画像１２１ａごとに、輝度値と画素数とを関連付けた輝度ヒストグラム７０２を算出する。次いで、統計分布生成部１１２は、画像セット７０１において輝度ヒストグラム７０２を平均した平均輝度ヒストグラムを基準ヒストグラム７０３として算出する。

更に、統計分布生成部１１２は、例えば基準ヒストグラム７０３における最大輝度と最小輝度との差に基づいて基準コントラストを算出する。同様に、統計分布生成部１１２は、各輝度ヒストグラム７０２における最大輝度と最小輝度との差に基づいて、画像セット７０１に含まれる各外観画像１２１ａのコントラストを算出する。そして、統計分布生成部１１２は、各外観画像１２１ａのコントラストと基準コントラストとの差を算出し、その差のばらつきを示す統計分布７０４を生成する。その統計分布７０４の横軸は基準コントラストとコントラストとの差であり、縦軸は外観画像１２１ａの枚数である。

そして、ステップＳ３３において、画像生成部１１３は、外観画像DB１２１から外観画像１２１ａを適宜選択する。選択する外観画像１２１ａの枚数は、１枚でもよいし複数枚でもよい。そして、画像生成部１１３は、選択した外観画像１２１ａに対してコントラスト補正処理を行うことで、統計分布７０４における分布の範囲内に基準コントラストとコントラストとの差が収まるような種々の追加画像７０５を統計分布７０４に応じた枚数だけ生成する。

一例として、画像生成部１１３は、統計分布７０４において外観画像１２１ａの枚数が少ない分布領域ほど、当該ばらつきを有する追加画像７０５の枚数を多くする。これにより、統計分布７０４において枚数が少ない画像のバリエーションを増やすことができる。

なお、追加画像７０５のコントラストと基準コントラストとの差は、正常な外観画像１２１ａの統計分布７０４における分布の範囲内に収まるため、追加画像７０５に写った部品は正常とみなすことができる。そのため、ステップＳ３４で拡張学習画像DB１２２に保存する追加画像７０５の属性情報１２２ｂは、正常であることを示す情報となる。

この例によれば、統計分布７０４において枚数が少ない画像のバリエーションが増えるため、学習データにおけるコントラストのバリエーションが豊富になると共に、学習データにおけるコントラストの偏りが低減される。そのため、学習部１１４が、画像のコントラストを考慮して正常な部品の外観を学習することができる。その結果、検査部１１５が、画像のコントラストの相違に起因して正常な部品を誤って異常であると誤判定する可能性を低減できる。

図８は、外観画像１２１ａの特徴として外観画像１２１ａのノイズ強度を採用した場合における、追加画像の生成処理の一例を説明するための模式図である。

図８の例では、統計分布の母集団となる複数の外観画像１２１ａを画像セット８０１で表す。そして、ステップＳ３１において、統計分布生成部１１２は、画像セット８０１に含まれる外観画像１２１ａの各々のノイズを除去したデノイズ画像８０２を生成する。

次いで、統計分布生成部１１２は、画像セット８０１の各外観画像１２１ａとそれに対応するデノイズ画像８０２との差分画像を生成し、その差分画像の画像全体での平均ノイズ強度を算出する。そして、統計分布生成部１１２は、画像セット８０１における平均ノイズ強度の平均を基準ノイズ強度として算出する。なお、画像セット８０１における平均ノイズ強度の中央値を基準ノイズ強度としてもよい。更に、統計分布生成部１１２は、各外観画像１２１ａの平均ノイズ強度と基準ノイズ強度との差を算出し、その差のばらつきを示す統計分布８０３を生成する。その統計分布８０３の横軸は基準ノイズ強度と平均ノイズ強度との差であり、縦軸は外観画像１２１ａの枚数である。

そして、ステップＳ３３において、画像生成部１１３は、外観画像DB１２１から外観画像１２１ａを適宜選択する。選択する外観画像１２１ａの枚数は、１枚でもよいし複数枚でもよい。そして、画像生成部１１３は、選択した外観画像１２１ａに対してノイズ付加処理を行うことで、統計分布８０３における分布の範囲内に基準ノイズ強度と平均ノイズ強度との差が収まるような種々の追加画像８０４を統計分布８０３に応じた枚数だけ生成する。

一例として、画像生成部１１３は、統計分布８０３において外観画像１２１ａの枚数が少ない分布領域ほど追加画像８０４の枚数を多くする。これにより、統計分布８０３において枚数が少ない画像のバリエーションを増やすことができる。

なお、追加画像８０４の平均ノイズ強度と基準ノイズ強度との差は、正常な外観画像１２１ａの統計分布８０３における分布の範囲内に収まるため、追加画像８０４に写った部品は正常とみなすことができる。そのため、ステップＳ３４で拡張学習画像DB１２２に保存する追加画像８０４の属性情報１２２ｂは、正常であることを示す情報となる。

この例によれば、統計分布８０３において枚数が少ない画像のバリエーションが増えるため、学習データにおける平均ノイズ強度のバリエーションが豊富になると共に、学習データにおける平均ノイズ強度の偏りが低減される。そのため、学習部１１４が、画像の平均ノイズ強度を考慮して正常な部品の外観を学習することができる。その結果、検査部１１５が、撮像環境によるノイズ強度の変化に起因して正常な部品を誤って異常であると誤判定する可能性を低減できる。

次に、図２のステップＳ２３における学習済モデルの生成方法について説明する。

図９は、学習済モデルの生成方法の一例について示す模式図である。

まず、学習部１１４が、拡張学習画像DB１２２から１枚以上の拡張学習画像１２２ａを取得する。ここでは、このように取得した拡張学習画像１２２ａのセットを学習画像セット９０１と呼ぶ。

次に、学習部１１４が、CNN等の機械学習モデル９０２に、学習画像セット９０１の各拡張学習画像１２２ａを学習データとして入力する。これにより、機械学習モデル９０２は、その内部パラメータに基づいて、拡張学習画像１２２ａに写った部品が正常か異常かを判定し、その判定結果を含む推定評価値９０３を出力する。推定評価値９０３には、正常か異常かの判定結果の他に、異常の種類と、異常が発生した位置も含まれる。

次いで、学習部１１４は、推定評価値９０３と属性情報１２２ｂとの誤差を算出し、その誤差が最小になるように機械学習モデル９０２の内部パラメータを更新する。そして、学習部１１４は、更新後の内部パラメータを学習済パラメータDB１２３に格納する。

この後は、機械学習モデル９０２は、学習済パラメータDBに格納された内部パラメータを用いて推定評価値９０３を出力する。このように学習済パラメータDBに格納された内部パラメータを用いて推定評価値９０３を出力する機械学習モデル９０２が学習済モデルである。

以上により、学習済モデルを生成するときの基本的な処理を終える。この例によれば、前述の統計分布４０３、５０３、６０２、７０４、８０３のいずれかに応じた枚数の追加画像によってバリエーションが増えた拡張学習画像DB１２２から学習画像セット９０１の拡張学習画像１２２ａを選択し、それを機械学習モデル９０２の学習データとする。これにより、バリエーションに富んだ学習データを機械学習モデル９０２が学習するため、学習済の機械学習モデル９０２が誤判定する可能性を低減できる。

次に、図２のステップＳ２４における検査の方法について説明する。

図１０は、検査の方法の一例について示す模式図である。まず、検査部１１５は、撮像部１５０によって撮像された部品の検査画像１００１を取得する。

次いで、検査部１１５は、機械学習モデル９０２に学習済パラメータDB１２３から内部パラメータを読み込ませた後、機械学習モデル９０２に検査画像１００１を入力する。これにより、学習済モデルである機械学習モデル９０２が、その内部パラメータに基づいて、検査画像１００１に写った部品が正常か異常かを判定し、その判定結果を含む推定評価値９０３を出力する。

そして、検査部１１５は、推定評価値９０３において正常であることが示されている場合には部品に異常はない(OK)と判定する。一方、推定評価値９０３において異常であることが示されている場合には、検査部１１５は、部品に異常がある(NG)と判定する。

以上により、部品を検査するときの基本的な処理を終える。

図１１は、表示部１４０の表示例を示す模式図である。この例では、表示部１４０は、外観画像DB１２１における外観画像１２１ａを表示する。なお、表示部１４０は、属性情報１２１ｂが示す正常と異常との別、及び異常の場合には「擦り傷」等の異常の種類も外観画像１２１ａと共に表示してもよい。

また、表示部１４０は、拡張学習画像DB１２２における拡張学習画像１２２ａも表示する。このとき、表示部１４０は、属性情報１２２ｂが示す正常と異常との別、及び異常の場合には「シミ」等の異常の種類も拡張学習画像１２２ａと共に表示してもよい。

更に、表示部１４０は、外観画像DB１２１と拡張学習画像DB１２２の各々における統計分布も表示する。ここでは、その統計分布として、表示部１４０が、拡張学習画像DB１２２における追加画像を生成するために選択した統計分布７０４、８０３を表示する。この場合、統計分布７０４を利用して生成した追加画像７０５と、統計分布８０３を利用して生成した追加画像８０４とが、拡張学習画像DB１２２の拡張学習画像１２２ａに含まれることになる。

外観画像DB１２１においては、統計分布７０４に示すように、基準コントラストとコントラストとの差が大きくなるほど画像枚数が少なくなり外観画像１２１ａのバリエーションが不足している。一方、拡張学習画像DB１２２においては、上向きの矢印で示すように統計分布７０４のばらつきが解消され、コントラストの大小に関わらず画像枚数がほぼ一様となっている。統計分布８０３についても同様である。これにより、コントラスト及び平均ノイズ強度の大小に関わらずバリエーションに富んだ拡張学習画像１２２ａを得ることができる。その結果、機械学習モデル９０２に拡張学習画像１２２ａを学習データとして学習させることで、誤判定の少ない学習済モデルを得ることができる。

更に、表示部１４０は、検査部１１５が行った検査結果も表示する。この例では、表示部１４０は、検査画像１００１と推定評価値９０３とを表示する。推定評価値９０３は、正常である確率と、「シミ」及び「擦り傷」等の異常が含まれている確率とを含む。また、異常がある場合には、表示部１４０は欠陥位置も表示する。

これにより、ユーザは、欠陥の位置と異常の種類とを把握することができる。

＜第２実施形態＞
第１実施形態では、図４～図８に示したように、画像取得部１１１は、外観画像DB１２１から正常な外観画像１２１ａを取得した。これに対し、本実施形態では、以下のように画像取得部１１１が外観画像DB１２１から異常な外観画像１２１ａを取得する。

図１２は、本実施形態における追加画像の生成処理の一例を説明するための模式図である。

まず、図１のステップＳ２１において、画像取得部１１１が、外観画像DB１２１に格納されている全ての外観画像１２１ａのうち、１枚以上の異常な外観画像１２１ａとその属性情報１２１ｂとをランダムに取得する。取得した外観画像１２１ａは、統計分布の母集団となる画像であり、以下ではそれらを画像セット１２０１で表す。

次に、ステップＳ３１において、統計分布生成部１１２が、取得した外観画像１２１ａの各々について、属性情報１２１ｂが示す異常の位置にある画素を特定する。次いで、統計分布生成部１１２が、画像セット１２０１において特定した画素の分布を示す統計分布１２０２を生成する。この統計分布１２０２は、変形に伴う異常が発生した頻度を色の濃さで表した分布であり、色が濃いほど異常が頻発して変形し易く、変形量のばらつきが大きい位置を示す。

外観画像DB１２１には種々の変形量を有する異常な外観画像１２１ａが含まれているが、異常な外観画像１２１ａの多くは変形量が画像セット１２０１における中央値の近くにあり、変形量が大きい異常な外観画像１２１ａの枚数は統計的には少ないと考えられる。

そこで、ステップＳ３１において、画像生成部１１３は、外観画像DB１２１から正常な外観画像１２１ａを適宜選択する。選択する外観画像１２１ａの枚数は、１枚でもよいし複数枚でもよい。そして、画像生成部１１３は、選択した外観画像１２１ａに対して画像処理等の加工を行うことで、種々の追加画像１２０３を統計分布１２０２に応じた枚数だけ生成する。

このとき、画像生成部１１３は、統計分布１２０２において変形量のばらつきが大きい分布領域ほど追加画像１２０３の枚数を多くする。これにより、異常が生じやすい分布領域における正常な追加画像１２０３のバリエーションが増やすことができる。その追加画像１２０３の変形量は、異常な画像セット１２０１の統計分布１２０２に応じて定められる。

そして、ステップＳ３４において、画像生成部１１３は、外観画像DB１２１に含まれる全ての外観画像１２１ａと全ての追加画像１２０３とを拡張学習画像DB１２２に保存する。このとき、画像生成部１１３は、外観画像１２１ａと追加画像１２０３のそれぞれの属性情報も拡張学習画像DB１２２に保存する。

これにより、前述のように異常が生じやすい領域における正常な拡張学習画像１２２ａのバリエーションが拡張学習画像DB１２２において増える。その結果、学習部１１４が、異常と正常を区別する識別境界を正確に学習することができ、検査部１１５が誤判定する可能性を低減できる。

＜第３実施形態＞
本実施形態では、ステップＳ２３の学習済モデルの生成において自己符号化器を利用する例について説明する。

図１３は、本実施形態における学習済モデルの生成方法の一例について示す模式図である。

本実施形態では、まず学習部１１４が、拡張学習画像DB１２２から１枚以上の正常な拡張学習画像１２２ａを取得する。このように取得した拡張学習画像１２２ａのセットを以下では学習画像セット１３０２と呼ぶ。

次に、学習部１１４が、自己符号化器１３０３に学習画像セット１３０２の各拡張学習画像１２２ａを正解データとして入力する。これにより、自己符号化器１３０３は、内部パラメータに基づいて処理を行い、再構成画像１３０４を出力する。自己符号化器１３０３は、入力画像と再構成画像１３０４とが同じ画像になるように学習するモデルであるため、入力画像と再構成画像１３０４との誤差が最小になるように内部パラメータを更新する。そして、学習部１１４が、更新された内部パラメータを学習済パラメータDB１２３に格納する。

この後は、自己符号化器１３０３は、学習済パラメータDBに格納された内部パラメータを用いて再構成画像１３０４を出力する。このように学習済パラメータDBに格納された内部パラメータを用いて再構成画像１３０４を出力する自己符号化器１３０３が本実施形態における学習済モデルである。

以上により、自己符号化器を用いて学習済モデルを生成するときの基本的な処理を終える。

次に、図２のステップＳ２４における検査の方法について説明する。

図１４は、本実施形態における検査の方法の一例について示す模式図である。まず、検査部１１５は、撮像部１５０によって撮像された部品の検査画像１４０１を取得する。

次いで、検査部１１５は、自己符号化器１３０３に学習済パラメータDB１２３から内部パラメータを読み込ませた後、自己符号化器１３０３に検査画像１４０１を入力する。これにより、自己符号化器１３０３は、その内部パラメータに基づいて再構成画像１３０４を出力する。

図１３に示したように、自己符号化器１３０３は、正常な拡張学習画像１２２ａを正解データとして学習しているため、異常のない正常な再構成画像１３０４を出力する。そのため、検査画像１４０１に異物が含まれていても、その異物が取り除かれた正常な再構成画像１３０４が出力される。よって、検査画像１４０１に異物が含まれていると、検査画像１４０１と再構成画像１３０４との差分を取った差分画像１３０５には異物が含まれることになる。

そこで、検査部１１５は、差分画像１３０５に異物が含まれている場合には検査対象の部品に異常があると判定し、差分画像１３０５に異物が含まれていない場合には部品は正常であると判定する。

以上により、本実施形態において部品を検査するときの基本的な処理を終える。これによれば、自己符号化器１３０３が出力した再構成画像１３０４と検査画像１４０１との差分を取ることで、部品に異常があるかを検査部１１５が検査することができる。

＜ハードウェア構成＞
図１５は、第１～第３実施形態に係る外観検査装置１００のハードウェア構成の一例を示す図である。

図１５に示すように、外観検査装置１００は、撮像装置１００ａ、メモリ１００ｂ、プロセッサ１００ｃ、記憶装置１００ｄ、表示装置１００ｅ、入力装置１００ｆ、及び読取装置１００ｇを備える。これらの装置はバス１００ｉにより相互に接続される。

撮像装置１００ａは、図１の撮像部１５０を実現するためのハードウェアである。例えば、撮像装置１００ａは、部品の外観を撮像するためのCCD(Charge Coupled Device)又はCMOS(Complementary Metal Oxide Semiconductor)イメージセンサ等の撮像素子を備えたカメラである。

メモリ１００ｂは、DRAM(Dynamic Random Access Memory)等のようにデータを一時的に記憶するハードウェアであって、その上にプログラム１２４が展開される。

プロセッサ１００ｃは、外観検査装置１００の各部を制御するCPU(Central Processing Unit)又はGPU(Graphical Processing Unit)である。そのプロセッサ１００ｃがメモリ１００ｂと協働してプログラム１２４を実行することで図１の処理部１１０が実現される。

記憶装置１００ｄは、HDD(Hard Disk Drive)やSSD(Solid State Drive)等の不揮発性の記憶装置であって、プログラム１２４を記憶する。

なお、プログラム１２４をコンピュータが読み取り可能な記録媒体１００ｈに記録させておき、プロセッサ１００ｃに記録媒体１００ｈのプログラム１２４を読み取らせるようにしてもよい。

記録媒体１００ｈとしては、例えばCD-ROM(Compact Disc - Read Only Memory)、DVD(Digital Versatile Disc)、及びUSB(Universal Serial Bus)メモリ等の物理的な可搬型記録媒体がある。フラッシュメモリ等の半導体メモリやハードディスクドライブを記録媒体１００ｈとして使用してもよい。

公衆回線、インターネット、及びLAN(Local Area Network)等に接続された装置にプログラム１２４を記憶させてもよい。その場合は、プロセッサ１００ｃがそのプログラム１２４を読み出して実行すればよい。

図１の記憶部１２０は、メモリ１００ｂと記憶装置１００ｄとにより実現される。

表示装置１００ｅは、図１の表示部１４０を実現するための液晶ディスプレイ又は有機ELディスプレイ等のハードウェアである。入力装置１００ｆは、図１の入力部１３０を実現するためのキーボード又はマウス等のハードウェアである。

読取装置１００ｇは、記録媒体１００ｈに記録されているデータを読み取るためのCDドライブ等のハードウェアである。

本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

本発明は、上記した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、図１の例では外観検査装置１００が撮像部１５０を備えているが、外観検査装置１００の外部に撮像部１５０を設けてもよい。この場合は、LAN又はインターネット等の不図示のネットワークにより撮像部１５０と外観検査装置１００とを接続し、撮像部１５０が撮像した外観画像１２１ａを外観検査装置１００が外観画像DB１２１に格納すればよい。このような構成を採用することで、外観画像１２１ａを含む拡張学習画像１２２ａを学習データとして学習部１１４が学習済モデルを生成し、その学習済モデルの内部パラメータを出力するクラウドサービスを外観検査装置１００で実現できる。

また、上記した各実施形態は、本発明を分かりやすく説明するために詳細に説明したものであり、本発明が、必ずしも説明した全ての構成要素を備えるものに限定されるものではない。また、ある実施形態の構成の一部を、他の実施形態の構成に置き換えることが可能であり、ある実施形態の構成に、他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現されてもよい。各機能を実現するプログラム、判定テーブル、ファイル等の情報は、メモリや、HDD、SSD等の記憶装置、または、IC(Integrated Circuit)カード、SD(Secure Digital)カード、DVD(Digital Versatile Disc)等の記録媒体に置くことができる。また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

１００…外観検査装置、１１０…処理部、１１１…画像取得部、１１２…統計分布生成部、１１３…画像生成部、１１４…学習部、１１５…検査部、１２０…記憶部、１２１ａ…外観画像、１２１ｂ…属性情報、１２２ａ…拡張学習画像、１２２ｂ…属性情報、１２４…プログラム、１３０…入力部、１４０…表示部、１５０…撮像部、４０１、５０１、６０１、７０１、８０１、１２０１…画像セット、４０２…基準値画像、４０３、５０３、６０２、７０４、８０３、１２０２…統計分布、４０４、５０４、６０４、７０５、８０４、１２０３…追加画像、５０２…基準値画像、５０５…異常テンプレート、７０２…輝度ヒストグラム、７０３…基準ヒストグラム、８０２…デノイズ画像、９０１…学習画像セット、９０２…機械学習モデル、９０３…推定評価値、１００１…検査画像、１３０２…学習画像セット、１３０３…自己符号化器、１３０４…再構成画像、１３０５…差分画像、１４０１…検査画像。

Claims (13)

1. プロセッサを備える外観検査装置であって、
   前記プロセッサは、
   検査対象の外観を写した複数の外観画像を取得し、
   前記複数の外観画像を母集団としたときの前記各外観画像の特徴のばらつきを表す統計分布を生成し、
   前記統計分布が示す前記ばらつきに基づいて、前記外観を写した追加画像を生成し、
   前記複数の外観画像と前記追加画像とを含む学習データを用いた機械学習により学習済モデルを生成する、
   外観検査装置。
2. 請求項１に記載の外観検査装置であって、
   前記プロセッサは、前記統計分布において前記ばらつきが大きい分布領域ほど、前記追加画像の枚数を多くする、
   外観検査装置。
3. 請求項２に記載の外観検査装置であって、
   前記特徴は、前記外観画像に写った前記検査対象の変形量である、
   外観検査装置。
4. 請求項２に記載の外観検査装置であって、
   前記特徴は、前記外観画像に写った前記検査対象に変形が生じた位置であり、
   前記プロセッサは、前記外観画像の前記位置に欠陥を重ねることにより前記追加画像を生成する、
   外観検査装置。
5. 請求項１に記載の外観検査装置であって、
   前記プロセッサは、前記統計分布において前記外観画像の枚数が少ない分布領域ほど、前記追加画像の前記枚数を多くする、
   外観検査装置。
6. 請求項５に記載の外観検査装置であって、
   前記特徴は、前記外観画像の輝度、コントラスト、及びノイズ強度のいずれかである、
   外観検査装置。
7. 請求項１に記載の外観検査装置であって、
   前記プロセッサは、更に、前記学習済モデルを用いて、検査画像に写った前記検査対象に異常があるかを検査する、
   外観検査装置。
8. 請求項７に記載の外観検査装置であって、
   前記学習済モデルは、前記学習データを正解データとして学習した自己符号化器であり、
   前記プロセッサは、前記自己符号化器に前記検査画像を入力し、前記自己符号化器から出力された再構成画像と前記検査画像との差分を取った差分画像に異物が含まれているかを判定することにより、前記検査対象に異常があるかを検査する、
   外観検査装置。
9. 請求項１に記載の外観検査装置であって、
   前記複数の外観画像の各々は、正常な前記検査対象の前記外観を写した画像である、
   外観検査装置。
10. 請求項１に記載の外観検査装置であって、
    前記複数の外観画像の各々は、異常な前記検査対象の前記外観を写した画像である、
    外観検査装置。
11. 請求項９又は１０に記載の外観検査装置であって、
    前記プロセッサは、正常な前記検査対象の外観を写した画像を加工して、正常を示す前記追加画像を生成する
    外観検査装置。
12. 請求項９に記載の外観検査装置であって、
    前記プロセッサは、異常又は正常な前記検査対象の外観を写した画像を加工して、異常を示す前記追加画像を生成する
    外観検査装置。
13. コンピュータが、
    検査対象の外観を写した複数の外観画像を取得するステップと、
    前記複数の外観画像を母集団としたときの前記各外観画像の特徴のばらつきを表す統計分布を生成するステップと、
    前記統計分布が示す前記ばらつきに基づいて、前記外観を写した追加画像を生成するステップと、
    前記複数の外観画像と前記追加画像とを含む学習データを用いた機械学習により学習済モデルを生成するステップと、
    を実行する画像生成方法。