JP2020173496A - 異常品判定方法 - Google Patents

Abstract

【課題】大量の正常データと少数の異常データを用いて機械学習を行い、三次元形状を有する物品の異常品の判定を精度高く行うことのできる異常品判定方法を提供する。【解決手段】複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して判定対象物の特徴を抽出し、ディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定し、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返して、特徴の抽出の誤差を最小化する。エンコーダが、更新により得た特徴を用いて、判定対象物の異常度を算出し、異常度のしきい値処理を行って、判定対象物が正常品であるか異常品であるかを判定する。【選択図】図２

Description

本発明は、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。特に、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行うことにより、判定対象物が正常品であるときの特徴を数値化し、この特徴に基づいて判定対象物が正常品であるか異常品であるかをコンピュータが判定する異常品の判定方法に関する。

コンピュータにデータを繰り返し学習させることで、データに含まれる特徴を数値または数式としてコンピュータが統計的に抽出し、さらに、抽出した特徴を用いて、識別を行う手法として機械学習がある。

機械学習の一つの方法として、オートエンコーダ（自己符号化器）と呼ばれるエンコーダ、デコーダ構造ネットワークを用いた特徴量の抽出方法が知られている。オートエンコーダとは、入力と出力とが同じになるように学習させるニューラルネットワークである。エンコーダで入力を少ない次元の特徴に一旦落とし込み、デコーダで入力を再現するように出力することを繰り返すなかで、入力をよく表す特徴量が抽出される。

オートエンコーダを用いて正常品の特徴を抽出することができれば、この特徴を用いて、正常品と異常品とが混在する判定対象物の集合体から、異常品を精度高く判定して抽出することが可能となる。

非特許文献１は、ニューラルネットワークの一種である「Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、畳み込みニューラルネットワークとも言う）」に関する技術を開示している。ＣＮＮは、主に画像認識の分野で用いられるニューラルネットワークで、画像の局所的な特徴抽出を担う畳み込み層と、局所ごとの特徴をまとめるプーリング層とを繰り返した構造が特徴である。一般に、ＣＮＮを含めたニューラルネットワークの学習のためには、大量の訓練サンプルを用いた教師あり学習が必要となる。しかし、異常品のサンプル数を学習に十分な数だけ確保することが難しい場合には、学習をうまく行うことができないという問題がある。

非特許文献２は、ニューラルネットワークの一種である「Ａｕｔｏｅｎｃｏｄｅｒ（以下、オートエンコーダ、自己符号化器とも言う）」に関する技術を開示している。非特許文献２が開示するニューラルネットワークは、多階層のニューラルネットワークのパラメータを教師なし学習で初期化した後に、教師あり学習により再学習している。非特許文献２のオートエンコーダは、入力を次元圧縮し、入力の抽象的な特徴をベクトル量である特徴ベクトルに変換し、その特徴ベクトルから入力を再現する。しかし、オートエンコーダで得られる特徴がどのような分布となるかは、これまで操作することができなかった。

非特許文献３は、ニューラルネットワークの一種である「Ａｄｖｅｒｓａｒｉａｌ Ａｕｔｏｅｎｃｏｄｅｒ（以下、敵対的自己符号化器とも言う）」に関する技術を開示している。敵対的自己符号化器は、オートエンコーダに敵対的学習を取り入れることで、入力をよく表す特徴を抽出しつつ、その特徴を任意の分布に従わせる技術である。

非特許文献４は、ホテリングのＴ^２法を開示した文献である。Ｔ^２法は、大量の正常データのみ、もしくは大量の正常データと少量の異常データを用いた特徴ベクトルから正常モデルを作成し、未知データの個々の異常度を算出することにより、異常データを検出する統計的手法である。しかし、データの特徴量の分布が正規分布に従っていることを仮定しているため、データが正規分布に従っていない場合、十分な検出を行うことはできない。ホテリングのＴ^２法を画像認識分野に適用する場合には、正規分布に従う特徴を選択する必要がある。

「ＩｍａｇｅＮｅｔ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｗｉｔｈ Ｄｅｅｐ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ」Ａｌｅｘ Ｋｒｉｚｈｅｖｓｋｙ、Ｉｌｙａ Ｓｕｔｓｋｅｖｅｒ、Ｇｅｏｆｆｒｅｙ Ｈｉｎｔｏｎ著、Ａｄｖａｎｃｅｓ ｉｎ ｎｅｕｒａｌ ｉｎｆｏｒｍａｔｉｏｎ ｐｒｏｃｅｓｓｉｎｇ ｓｙｓｔｅｍ，１０９７−１１０５頁（２０１２年）． 「Ｒｅｄｕｃｉｎｇ ｔｈｅ ｄｉｍｅｎｓｉｎａｌｉｔｙ ｏｆ ｄａｔａ ｗｉｔｈ ｎｅｕｒａｌ ｎｅｔｗｏｒｋｓ」Ｇｅｏｆｆｒｅｙ Ｈｉｎｔｏｎ、Ｒｕｓｌａｎ Ｓａｌａｋｈｕｔｄｉｎｏｖ著、Ｓｃｉｅｎｃｅ，３１３号、５０４−５０７頁（２００６年）． 「Ａｄｖｅｒｓａｒｉａｌ ａｕｔｏｅｎｃｏｄｅｒｓ」Ａｌｉｒｅｚａ Ｍａｋｈｚａｎｉ、Ｊｏｎａｔｈｏｎ Ｓｈｌｅｎｓ、Ｎａｖｄｅｅｐ Ｊａｉｔｌｙ，Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ、Ｂｒｅｎｄａｎ Ｆｒｅｙ著、ＡｒＸｉｖ ｐｒｅｐｒｉｎｔ，ａｒＸｉｖ：１５１１．０５６４４（２０１５年） 「Ｔｈｅ ｇｅｎｅｒａｌｉｚａｔｉｏｎ ｏｆ Ｓｔｕｄｅｎｔ’ｓ ｒａｔｉｏ」Ｈａｒｏｌｄ Ｈｏｔｅｌｌｉｎｇ著、Ａｎｎａｌｓ ｏｆ Ｍａｔｈｅｍａｔｉｃａｌ Ｓｔａｔｉｓｔｉｃｓ，２：３６０−３７８頁（１９３１年）．

正常品と異常品が混在する判定対象物の集合のデータをニューラルネットワークに入力し、学習によって正常品の特徴ベクトルを得ようとする場合、異常品の数が正常品よりも極めて少ない場合には学習を効果的に行うことができず、結果として異常品の判定精度が低くなる場合があった。

本発明は、上記課題を解決するためになされたものであって、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの機械学習を行った場合であっても、異常品の判定を精度高く行うことのできる異常品判定方法を提供するものである。

本発明は、エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する異常品判定方法に関する。本発明の異常品判定方法は、複数の判定対象物のデータをエンコーダ、デコーダ構造ネットワークに入力して、判定対象物の特徴を抽出する工程と、ディスクリミネータが、判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程と、エンコーダ、デコーダ構造ネットワークの更新と、ディスクリミネータの更新と、エンコーダの更新と、をそれぞれ繰り返し、特徴の抽出の誤差を最小化する工程と、エンコーダが、更新によって得られた特徴を用いて、判定対象物の異常度を算出する工程と、算出した異常度のしきい値処理を行うことによって、判定対象物が正常品であるか異常品であるかを判定する工程と、を備えている。本発明の異常品判定方法のディスクリミネータが判定対象物の特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、このデータとエンコーダ、デコーダ構造ネットワークが抽出した判定対象物の特徴との間の誤差を算出する工程である。ディスクリミネータの判定結果を用いていることで、エンコーダが異常度の算出に用いる判定対象物の特徴が正規分布に従って分布するように収束させられる。本発明の異常品判定方法は、判定対象物が三次元形状を有する物体であり、判定対象物のデータが、三次元形状を有する物体の断面画像であることを特徴とする。

本発明の異常品判定方法は、特徴を抽出するためにエンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることが好ましい。

本発明の異常品判定方法は、ディスクリミネータに入力するデータが、多変量の標準正規分布に従ったランダムベクターであることが好ましい。なお、ディスクリミネータに入力する正規分布に従ったデータは、標準正規分布から得た乱数を成分とするベクトルであることが最も好ましい。しかしながら、そのデータの全体としてのヒストグラムが平均値０、標準偏差１の正規分布とほぼ同様になるのであれば、データは疑似乱数であっても良く、データの発生方法は特に限定されない。

本発明の異常品判定方法は、ハンダバンプの異常判定に好適に適用される。判定対象物を半田バンプとした場合、判定対象物のデータは、ハンダバンプを所定の間隔で切断した断面画像の集合データであるであることが好ましい。

本発明の異常品判定方法は、三次元形状の物体の断面画像を判定することにより、三次元物体の一部に異常がある場合であっても、判定が可能である。機構上、外部から視認できない異常であっても、本発明の異常品判定方法で判定が可能である。

ハンダバンプを所定の間隔で切断した断面画像の集合データを用いて判定を行った場合は、ハンダの上下接合不良、パッド濡れ不足といった複数の異常のうちのいずれかががわずかに含まれていても、正確に判定することができる。

図１は、本発明の異常品判定方法を実行するニューラルネットワークの概念的な構成を示すブロック図である。 図２は、本発明の異常品判定方法のフローチャートである。 図３は、本発明の敵対的学習工程のフローチャートである。 図４は、実施例１でハンダバンプの異常品の判定のために、エンコーダ、デコーダ構造のネットワークに入力した断面画像の集合データの一部を示す図である。 図５は、実施例１で用いたニューラルネットワークのモデル図である。 図６（ａ）は、実施例１の異常品判定方法によって、正常品と判定された一群のハンダバンプの画像データを示しており、図６（ｂ）は、実施例１の異常品判定方法によって、異常品と判定された一群のハンダバンプの画像データを示している。 図７は、従来のハンダバンプの異常品検査方法において、規格を設定するために用いた画像データである。 図８は、従来のハンダバンプの異常品検査方法において、設定した規格の検証結果を示す図である。 図９は、従来のハンダバンプの異常品検査方法において、設定した規格の検証結果を示す図である。

以下、本発明の異常品判定方法の実施形態を、図面を参照しつつ詳細に述べる。

図１に、本発明の異常品判定方法を実行するニューラルネットワーク１の構成を概念的に表したブロック図を示す。本発明のニューラルネットワーク１は、エンコーダ、デコーダ構造のネットワークであるオートエンコーダ２のネットワークと、ディスクリミネータ３のネットワークとを備えている。

オートエンコーダ２は、エンコーダ（ｅｎｃｏｄｅｒ、符号化器）１１とデコーダ（ｄｅｃｏｒｄｅｒ、復号器）１２とを備えている。エンコーダ１１は、入力されたデータの次元圧縮を行い、入力データの特徴を表す特徴ベクトルを抽出する。デコーダ１２は、エンコーダ１１が抽出した特徴ベクトルを用いて、入力データを復元する。ディスクリミネータ（ｄｉｓｃｒｉｍｉｎａｔｏｒ、識別器）３には、エンコーダが抽出した特徴と正規分布からサンプリングされたベクトルが入力され、入力された各ベクトルが、エンコーダが抽出した特徴か正規分布からサンプリングされたベクトルかを判定し、判定の結果を用いて、うまくその判定が行えるようにディスクリミネータを更新する。再度エンコーダが抽出した特徴をディスクリミネータに入力し、正規分布からサンプリングされたベクトルであるかを判定し、その判定の結果を用いてエンコーダ２が正規分布に従う特徴抽出を行えるように、エンコーダ２を更新する。このようなオートエンコーダ２とディスクリミネータ３の処理を、敵対的学習という。

ニューラルネットワーク１上で実行する本発明の異常品判定方法のフローチャートを図２に示す。本発明の異常品判定方法は、複数の判定対象物のデータを入力する工程（ステップＳ１）と、ニューラルネットワーク１のオートエンコーダ２とディスクリミネータ３との間で敵対的学習を行わせる工程（ステップＳ２）と、敵対的学習によって得られた特徴を用いて未知のデータから特徴を抽出する工程（ステップＳ３）と、エンコーダ１１によって個々の判定対象物の異常度を算出する工程（ステップＳ４）と、しきい値処理によって判定対象物が正常品であるか異常品であるかを判定する工程（ステップＳ５）と、結果を出力する工程（ステップＳ６）と、を備えている。

本発明の異常品判定方法は、ステップＳ１で、エンコーダ、デコーダ構造のネットワークすなわちオートエンコーダ２に、複数の判定対象物のデータを入力する。この複数の判定対象物のデータは、異常品よりも正常品を多く含むデータである。好ましい実施形態として、正常品に対する異常品の割合は５〜２０％である。

異常品よりも正常品を多く含む判定対象物のデータを用いて、ステップＳ２の敵対的学習を実行する。敵対的学習によって、異常度の算出に用いる判定対象物の特徴を、修正し最適化して抽出することができる。本発明の異常品判定方法は、抽出した判定対象物の特徴が、正規分布に従って分布していることを特徴とする。なお、敵対的学習の内容については、図３を参照しつつ以下に詳細に説明する。

敵対的学習によって抽出される判定対象物の特徴は、通常、多変量となる。従って、抽出した特徴は、以下の多変量正規分布の式に従って分布する。

ここで、ｘは確率変数であり、Σは分散共分散であり、μは平均であり、Ｍはｘの次元数である。

予め敵対的学習を行ったニューラルネットワーク１を用いて、正常品か異常品かが未知である判定対象物の判定を行うことができる。ステップＳ３で、本発明の異常品判定方法は、正常品か異常品かが未知であるデータから、エンコーダ１１により特徴ｘ’を抽出する。

異常度の算出には、マハラノビス距離ａ（ｘ’）の公式を用いることができる。
ここで、ｐは確率密度関数であり、Ｄはデータ群である。

非特許文献４に開示されているホテリングのＴ^２理論を適用すると、異常度ａ（ｘ’）の分布は、データの数が十分多い場合、自由度Ｍのカイ二乗分布に従う。そこで、ステップＳ５で異常品のしきい値を決定し、未知データｘ’の異常度がしきい値よりも小さい場合には正常品と判定し、しきい値よりも大きい場合にはこれを異常品と判定することで、未知データが正常品であるか異常品であるかを正確に判定することができる。

本発明の異常品判定方法において、正規分布に従う判定対象物の特徴を抽出するための、敵対的学習の内容を図３のフローチャートに示す。図３において、ＮＢ＿ＥＰＯＣＨとはデータセットを学習させる規定の回数であり、ＳＴＥＰＳ＿ＰＥＲ＿ＥＰＯＣＨとは１回の学習の中で何回ネットワークのパラメータを更新するかを決定する規定の回数である。また、ベクターバッチとは１回の更新で入力されるベクターの集まりであり、イメージバッチとは１回の更新で入力される画像の集まりである。

本発明における敵対的学習では、オートエンコーダ２とディスクリミネータ３内のデータの更新が、別々に行われる。オートエンコーダ２のエンコーダ１１は、複数の判定対象物のデータを入力して、判定対象物の特徴を抽出する。デコーダ１２は、エンコーダ１１の抽出した特徴を用いて、入力データを復元する。この復元の程度を定量的に確認するために、以下の二乗誤差の式を用いる。

ここで、ｙは復元画像の集まり（バッチ）であり、ｔは教師画像（入力画像）の集まり（バッチ）であり、ＢＳはバッチの枚数である。

また、ディスクリミネータ３の判定が教師信号に対してどれほど正確かを以下の交差エントロピーを用いて評価する。

ここで、ｙはディスクリミネータ３の出力信号の集まり（バッチ）であり、ｔは教師信号の集まり（バッチ）であり、ＢＳはバッチの枚数である。

オートエンコーダ２は、以下の損失関数Ｌｏｓｓ_ＡＥを用いて、エンコーダ１１が入力をよく表す特徴を抽出するための最適化とデコーダ１２がその特徴から入力をうまく復元するための最適化を同時に行う。

ここで、ＭＳＥとは二乗誤差であり、Ｅｎとは画像を入力し、入力画像を符号化する演算であり、ＤｅとはＥｎ演算で符号化され得られたベクターを復号化し画像を得る演算であり、ｘはイメージバッチである。

エンコーダ１１により抽出された特徴の集まりと、正規分布からサンプリングしたベクターの集まりを連結させ、ディスクリミネータ３に入力するためのベクターバッチを作成する。ここで、ディスクリミネータ３に入力するベクターは、多変量標準正規分布に従ったランダムベクターであることが好ましい。多変量標準正規分布とは、多変量の確率変数の平均ベクトルがゼロベクトルで、分散共分散行列が単位行列の多変量正規分布である。多変量標準正規分布に従ったランダムベクターの各成分は平均がゼロで分散が１の正規分布、つまり標準正規分布に従った乱数となる。ディスクリミネータ３は、入力された判定対象ベクターが正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。以下の損失関数Ｌｏｓｓ_Ｄｉｓを用いて、オートエンコーダが抽出した特徴ベクトルと正規分布からサンプリングされたベクターとを判定できるようディスクリミネータを更新する。

ここで、Ｌｏｓｓ_ｄｉｓはディスクリミネータの判別の程度を表す指標であり、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、ｚは正規分布からサンプリングされたベクターの集まり（バッチ）であり、Ｏは要素がすべて０のベクターであり、Ｉは要素がすべて１のベクターである。

エンコーダ１１は、ディスクリミネータ３に抽出した特徴を出力する。ディスクリミネータ３は、入力された判定対象物の特徴の分布が正規分布に従っているのか否かを判定して、０から１の間の値を判定結果として出力する。

更に、以下の損失関数Ｌｏｓｓ_Ｅｎを用いて、エンコーダ１１を更新する。

ここで、ＢＣＥは交差エントロピーであり、Ｄｉｓはベクターを受け取り、オートエンコーダ由来か正規分布由来かを出力する演算であり、Ｅｎは画像を入力して符号化する演算であり、ｘは入力画像の集まり（バッチ）であり、Ｉは要素がすべて１のベクターである。

以上の学習により、オートエンコーダ２が抽出する特徴は正規分布に従った特徴となる。エンコーダにより抽出された、正規分布に従った特徴を利用して異常度の算出を行うこととなるため、大量の正常データのみ、もしくは大量の正常データとごく少数の異常データを用いてニューラルネットワークの学習を行った場合であっても、異常品の判定を精度高く行うことができる。

（実施例１）
本発明の異常品判定方法を、ハンダバンプの異常品の判定に適用した実施例を示す。図４は、異常品の判定のために、ニューラルネットワーク１に入力した多数のハンダバンプのデータの中から、任意に選択した３個のハンダバンプの断面画像の集合データを示している。本実施例では、それぞれのハンダバンプごとに、パッドとの接合面を輝度の変化の大きな位置で特定し、特定したパッドとの接合面から１５μｍずつ水平方向にスライスした断面画像を取得した。そしてハンダバンプ全体に対応している８枚の断面画像をパッドからの距離順に連結し、ハンダバンプ１個あたりの集合データとして用いた。断面画像の集合データは、二次元配列されている画素の輝度値を含む画素値として表される。

図４に示した断面画像の集合データは、Ｘ線断層画像として取得した画像である。Ｘ線断層画像の代わりに、ハンダバンプを薄く切断して断面を実際に撮像した画像を判定に用いることも可能である。

図５は、実施例で用いたニューラルネットワーク１のそれぞれの階層構造と次元を示したモデル図である。エンコーダは、画像データから特徴量を抽出するために、二次元の畳み込み処理を行っている。二次元の畳み込み処理をすることによって、対象の画素とその周囲の画素を考慮した、二次元の空間的な広がりを持つ特徴を抽出する。

本実施例では、敵対的学習に、４７，７３６個分の正常なハンダバンプのデータと、４５１個分の異常なハンダバンプのデータとを用いた。そして、６，０４１,８８０個の正常なハンダバンプのデータと４５１個の異常なハンダバンプのデータからなるデータ群を、正常品か異常品かが未知であるデータとして用い、判定を行った。

図６（ａ）は、実施例の異常品判定方法によって、異常品と判定された一群のハンダバンプの画像データである。図６（ｂ）は、実施例の異常品判定方法によって、正常品と判定された一群のハンダバンプの画像データである。異常品と判定されたハンダバンプは面積不足や異なる形状がみられるのに対し、正常品と判定されたハンダバンプは、正常な面積を有し、断面形状も均一な円形に近いことが確認された。このことから、ニューラルネットワークは、ハンダバンプの異常品を正しく判定していることが明らかとなった。本実施例において、正常品を異常品と判定したサンプル数は２個であり、過検出率は、０．００７７％であった。

ハンダバンプは、その中の一部でも不良箇所があれば、全体の品質に影響する。しかし、三次元形状のどこに異常があるのか、そしてそれが複数枚の断面画像の集合データの中の何枚目に異常が撮像されているかは、従来の方法では特定できず、したがって、三次元形状を有する物体の画像データを学習をさせる事ができなかった。しかし、本実施例のように、三次元形状を有する物体全体の断層画像を撮像してその集合データを用いて敵対的学習を行えば、異常の現れる画像位置を特定することなく、判定を行うことが可能である。

（比較例）
比較例として、従来の検査手法によって、ハンダバンプの異常を判定するために行われていた、ハンダバンプの特徴を抽出する工程と、抽出した特徴に基づいて規格を決定する方法と、その規格の検証結果を説明する。従来、特徴量の抽出を行うためには、明らかな正常品と異常品のサンプルを製造し、Ｘ線検査機で撮像した後実際に切断して実断面を撮像し、正常品と異常品の差が認められる特徴を目視にて抽出していた。

図７に、従来のハンダバンプの異常品検査方法において、検査で用いた画像データの一例を示す。画像データは、ハンダバンプを高さ方向で１５μｍ毎にスライスした断面の集合データである。図７（ａ）は、正常品の三次元画像と、断面画像の集合データであって、集合データの上段が実際の断面を撮像したもの、下段がＸ線断層画像である。図７（ｂ）は、上下でハンダの接合不良が認められたハンダバンプの三次元画像と、その断面画像の集合データであって、集合データの上段が実際の断面を撮像したもの、下段がＸ線断層画像である。図７（ｃ）は、パッド濡れ不足の異常が認められたハンダバンプの三次元画像と、その断面画像の集合データであって、集合データの上段が実際の断面を撮像したもの、下段がＸ線断層画像である。

これらのハンダバンプの異常を検出する検査方法を確立するためには、目視による官能検査に基づく特徴量の抽出と、その特徴量の定量化を行っていた。たとえば上下ハンダの接合不良については、図中右から３番目の画像で示される位置に大きさの違いが認められることを、数千〜数万枚の画像で判断し、面積値を算出して検証していた。またたとえば、パッドの濡れ不測の異常については、図中左から２番目と３番目の図において、ハンダバンプの輪郭が不鮮明になることを、同様に画像で判断し、画像の輝度比を算出して検証していた。

特徴量に、有意な差異が認められた場合には、その特徴を規格として決定するために、さらに次のような工程が必要であった。すなわち、再度の試作による正常品のデータの取得と、特徴量のヒストグラム化による正常品のばらつきの把握および画像の解析と、最終的な正常品と異常品のデータ比較による異常品の検出確認が必要であった。従来、これらの工程には、非常に時間と人的資源が必要となった。

図８および図９に、従来の特徴量の抽出法に基づいて定めた規格の、検証結果を示す。図８（ａ）は、上下ハンダ不良の異常を検査するための検査項目である、パッド面積の規格に基づいて判別した正常品と異常品の分布を示す図である。図８（ｂ）は、同じく上下ハンダ不良の異常を検査するための検査項目である、接合面積の規格に基づいた正常品と異常品の分布を示す図である。図９（ａ）は、パッド濡れ不足の異常を検査するための検査項目である、真円度の規格に基づいて判別した正常品と異常品の分布を示す図である。図９（ｂ）は、同じくパッド濡れ不足の異常を検査するための検査項目である、輝度比の規格に基づいた正常品と異常品の判別結果の分布をそれぞれ示す図である。いずれの規格も、正常品と異常品を明確に判別している。しかし、従来の検査方法では、良品を不良品と判定する過検出率が平均５．３％あった。また、従来の規格を定めるには、データの取得と解析に１品目当たり６ヶ月程度を要していた。このことから、実施例の異常品判定方法の精度と効率の良さは、明らかである。

本発明の異常品判定方法の利用可能性は、三次元物体の画像データに限定されない。正常品と異常品とが混在する集合体から異常品を精度高く識別して抽出する全ての物品やデータに適用することができる。特に、異常品の数が正常品の数と比較して非常に少ない工業製品や農産物の外観検査、画像データの中の異常な場面の検出、異常な状態が音声に反映させる可能性のある工程等に好適に利用することができる。

１ ニューラルネットワーク
２ オートエンコーダ
３ ディスクリミネータ
１１ エンコーダ
１２ デコーダ

Claims (4)

1. エンコーダ、デコーダ構造のネットワークとディスクリミネータのネットワークとを用いて敵対的学習を行い、判定対象物が正常品であるか異常品であるかを判定する判定方法であって、
   複数の判定対象物のデータを前記エンコーダ、デコーダ構造ネットワークに入力して、前記判定対象物の特徴を抽出する工程と、
   前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程と、
   前記エンコーダ、デコーダ構造ネットワークの更新と、前記ディスクリミネータの更新と、前記エンコーダの更新と、をそれぞれ繰り返し、前記特徴の抽出の誤差を最小化する工程と、
   前記エンコーダが、更新によって得られた前記特徴を用いて、判定対象物の異常度を算出する工程と、
   算出した前記異常度のしきい値処理を行うことによって、前記判定対象物が正常品であるか異常品であるかを判定する工程と、
   を備えており、
   前記ディスクリミネータが、前記判定対象物の前記特徴の分布は正規分布に従っているのか否かを判定する工程は、ディスクリミネータに正規分布に従ったデータを入力し、前記データと前記エンコーダ、デコーダ構造ネットワークが抽出した前記判定対象物の前記特徴との間の誤差を算出する工程であり、
   前記ディスクリミネータの判定結果を用いていることで、前記エンコーダが異常度の算出に用いる前記判定対象物の前記特徴が正規分布に従って分布するように収束させられており、
   前記判定対象物が三次元形状を有する物体であり、
   前記判定対象物のデータが、前記三次元形状を有する物体の断面画像であることを特徴とする異常品の判定方法。
2. 前記特徴を抽出するために前記エンコーダ、デコーダ構造ネットワークに入力する複数の判定対象物のデータが、異常品よりも正常品を多く含むデータであることを特徴とする請求項１に記載の異常品の判定方法。
3. 前記ディスクリミネータに入力する正規分布に従った前記データは、多変量の標準正規分布に従ったランダムベクターであることを特徴とする請求項１または２に記載の異常品の判定方法。
4. 前記判定対象物が、ハンダバンプであり、
   前記判定対象物のデータが、ハンダバンプを所定の間隔で切断した断面画像の集合データであることを特徴とする請求項１から３のいずれか１項に記載の異常品の判定方法。