JP2022156999A - 検査方法、検査装置 - Google Patents

Abstract

【課題】複数の検査項目について、精度よく検査できる検査方法を提供することを目的とする。【解決手段】被検査物について撮像した複数枚の検査用画像を用いて、前記被検査物の検査を行う検査方法であって、複数枚の前記検査用画像を分類する分類工程と、前記分類工程で、分類された前記検査用画像を用いて、前記被検査物の検査を行う検査工程と、を有し、前記分類工程は多段階で実施し、前記検査工程は、前記分類工程の各段階で分類された前記検査用画像についてそれぞれ検査を行う検査方法を提供する。【選択図】図１

Description

本発明は、検査方法、検査装置に関する。

工業製品の製造プロセスにおいて、外観を各種カメラ等の撮像装置を用いて撮像し、検査を行うことが従来からなされていた。

例えば特許文献１には、基板の被検査面上に光を照射する光照射部と、前記被検査面上に映る前記光照射部の画像を取得する撮像部と、前記基板又は前記光照射部の位置を制御することで、前記被検査面上に映る前記光照射部の画像を移動させる移動部と、前記光照射部から照射された光が前記被検査面の欠陥部分で散乱することで形成された像であって前記光照射部の画像の輪郭線よりも外側に形成された像を検出することで、前記被検査面の検査を行う検査部と、を備える基板の検査装置が開示されている。

特開２０１６－０２０８２４号公報

ところで、工業製品の製造プロセスにおける検査の検査項目は、例えば特許文献１に開示されているような欠陥部分の検出だけではなく、例えば色ムラの有無等、多岐にわたるようになっている。

また、近年では予め良品、不良品の画像を学習させた検査装置が用いられるようになっている。

しかしながら、１つの検査装置により複数の検査項目を検査する場合、検知の精度が低下するという問題があった。また、１つの検査装置により複数の検査項目を検査する場合、各検査項目について良品と不良品の境界が明確となるように学習させる必要があり、該検査装置に学習させるための画像が非常に多くなるという問題もあった。

そこで上記従来技術が有する問題に鑑み、本発明の一側面では、複数の検査項目について、精度よく検査できる検査方法を提供することを目的とする。

上記課題を解決するため本発明の一態様によれば、
被検査物について撮像した複数枚の検査用画像を用いて、前記被検査物の検査を行う検査方法であって、
複数枚の前記検査用画像を分類する分類工程と、
前記分類工程で、分類された前記検査用画像を用いて、前記被検査物の検査を行う検査工程と、を有し、
前記分類工程は多段階で実施し、前記検査工程は、前記分類工程の各段階で分類された前記検査用画像についてそれぞれ検査を行う検査方法を提供する。

本発明の一態様によれば、複数の検査項目について、精度よく検査できる検査方法を提供することができる。

本発明の実施形態に係る検査方法のフロー図。 撮像工程における撮像領域の説明図。 撮像工程における撮像領域の説明図。 本開示の一態様に係る検査装置の機能を示すブロック図である。 本開示の一態様に係る検査装置のハードウェア構成図である。

以下、本発明を実施するための形態について図面を用いながら説明するが、本発明は、下記の実施形態に制限されることはなく、本発明の範囲を逸脱することなく、下記の実施形態に種々の変形および置換を加えることができる。
［検査方法］
本発明の発明者らは、複数の検査項目について、精度よく検査できる検査方法について検討を行った。そして、分類工程を多段階で実施することで、被検査物について撮像した複数枚の検査用画像を目的とする検査項目に応じて分類し、各検査項目について検査工程を実施することで、検査項目が複数あり、多岐に渡る場合でも精度よく検査できることを見出し、本発明を完成させた。

本実施形態の検査方法は、被検査物について撮像した複数枚の検査用画像を用いて、被検査物の検査を行う検査方法であって、以下の分類工程と、検査工程とを有することができる。

分類工程は、複数枚の検査用画像を分類することができる。

検査工程は、分類工程で分類された検査用画像を用いて、被検査物の検査を行うことができる。

なお、分類工程は、多段階で実施できる。そして、検査工程は、分類工程の各段階で分類された検査用画像についてそれぞれ検査を行うことができる。
（１）各工程について
本実施形態の検査方法は、図１に示したフロー１０のように複数の分類工程（Ｓ１１～Ｓ１Ｘ）と、複数の検査工程（Ｓ２１～Ｓ２Ｙ）とを有することができる。

なお、分類工程、検査工程の数は、検査項目の数等に応じて選択できる。また、分類工程と、検査工程の数は一致していても（Ｘ＝Ｙ）よいが、一致していなくても（Ｘ≠Ｙ）よい。例えば検査工程の数の方を多くすることもできる。

以下、各工程について説明する。
（１－１）分類工程（Ｓ１１～Ｓ１Ｘ）
分類工程では、複数枚の検査用画像を分類できる。

分類工程は、多段階で実施でき、複数枚の検査用画像について分類し、一部の検査用画像を取出し、検査工程に供給できる。残部の検査用画像は下流側の分類工程に供給できる。

分類の内容は特に限定されず、該分類工程で分類した検査用画像を供給する検査工程での検査の内容等に応じて選択できる。すなわち例えば第１分類工程Ｓ１１では、第１検査工程Ｓ２１での検査内容に応じて検査用画像を分類できる。

分類工程では、例えば検査用画像の種類や、撮像した被検査物の部位等に応じて分類することができる。

被検査物が基板の場合を例に説明すると、基板表面の検査用画像を複数のセルに分割して分類工程に供する場合には、分類工程では、基板の内部側の画像と、基板の端部を含む画像とに分類することができる。また、基板表面を撮像する際の条件、例えば透過光を撮像している場合の画像と、反射光を撮像している場合の画像とに分類できる。

なお、分類工程で分類する際の分類条件は１つである必要は無く、例えば基板の端部を含む検査用画像であり、かつ反射光を撮像した検査用画像の様に掛け合わせた条件により分類し、取り出すことができる。
（第１分類工程）
具体的には例えば、複数枚の検査用画像について、第１分類工程Ｓ１１で分類し、取り出した検査用画像を、第１検査工程Ｓ２１に供給できる。残部の検査用画像については第２分類工程Ｓ１２へと供給できる。

このため、第１分類工程Ｓ１１では、第１検査工程Ｓ２１での検査内容に合わせた検査用画像を取出し、第１検査工程Ｓ２１へ供給できる。第１検査工程Ｓ２１に供給しない画像については第２分類工程Ｓ１２に供給されることになる。
（第２分類工程）
第２分類工程Ｓ１２では、第１分類工程Ｓ１１から供給された検査用画像を分類し、取り出した検査用画像を、第２検査工程Ｓ２２に供給できる。残部の検査用画像については第３分類工程Ｓ１３へと供給できる。

このため、第２分類工程Ｓ１２では、第２検査工程Ｓ２２での検査内容に合わせた検査用画像を取出し、第２検査工程Ｓ２２へ供給できる。第２検査工程Ｓ２２に供給しない画像については第３分類工程Ｓ１３に供給されることになる。
（第３分類工程）
第３分類工程Ｓ１３においても、第１分類工程Ｓ１１、第２分類工程Ｓ１２と同様に実施できるため、ここでは説明を省略する。
（第Ｘ分類工程）
そして、上記分類工程を、行う検査項目の数等に応じて実施でき、例えば第Ｘ分類工程Ｓ１Ｘまで実施できる。

第Ｘ分類工程Ｓ１Ｘでは、第Ｘ－１分類工程から供給された検査用画像を分類し、取り出した検査用画像を、第Ｙ検査工程Ｓ２Ｙに供給できる。

なお、第Ｘ分類工程Ｓ１Ｘにおいて、第Ｙ検査工程Ｓ２Ｙに供給しない検査用画像が生じた場合には、検査工程に供されなかった検査用画像を保存する保存工程を実施することもできる。保存工程で保存された画像は、例えば人が目視で判定し、対応する分類工程で用いる分類部の再学習に用いることもできる。

以上の様に、分類工程を多段階で実施し、各分類工程で検査用画像を分類し、特定の検査用画像のみを取り出すように構成することで、精度よく検査用画像を分類できる。

上記分類工程は、分類する検査用画像の種類ごとに学習済みの複数の分類部を直列に配列して実施できる。すなわち、上記第１分類工程から、第Ｘ分類工程は、直列に配列されたＸ個の分類部により実施できる。各分類部は、例えばＡＩ（ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を備えておくこともできる。そして、各分類部は、分類条件にあわせて学習を行っておくことができる。係る学習方法は特に限定されず、機械学習を用いることができる。このように、分類する検査用画像の種類に合わせて学習させた、すなわち多岐に渡る判断ではなく、単純な判断を行うように設定した分類部を複数用いることで、特に精度よく検査用画像を分類できる。
（１－２）検査工程（Ｓ２１～Ｓ２Ｙ）
検査工程では、分類工程で分類された検査用画像を用いて、被検査物の検査を行うことができる。

具体的には、検査用画像から、該検査用画像を撮像した被検査物についての検査、例えば良品と、不良品との判定を行うことができる。

検査工程は、多段階に設けられた分類工程に対応して実施でき、分類工程の各段階で分類された検査用画像についてそれぞれ検査を行うことができる。

検査結果は、例えば被検査物と紐づけて保存することができ、またリアルタイムで出力することもできる。なお、本実施形態の検査方法を工業製品の製造ライン上で実施する場合、例えば被検査物が不良品である旨検知された場合には、製造ライン上を搬送されている、もしくは倉庫に格納された被検査物を他の製品から分けて識別するように出力することもできる。
（第１検査工程）
第１検査工程Ｓ２１では、既述の第１分類工程Ｓ１１で分類し、取り出した検査用画像を検査できる。検査の内容は特に限定されず、被検査物に要求される検査内容に応じて選択できる。

なお、検査工程は多段で実施することもできる。具体的には同種の検査用画像に対して、複数の検査項目の検査を実施できる場合、検査工程を多段とすることもできる。例えば第１分類工程Ｓ１１から供給された検査用画像に対して、複数段の第１検査工程を実施してもよい。
（第２検査工程、第３検査工程、第Ｙ検査工程）
第２検査工程Ｓ２２、第３検査工程Ｓ２３、第Ｙ検査工程Ｓ２Ｙでは、それぞれ第２分類工程Ｓ１２、第３分類工程Ｓ１３、第Ｘ分類工程Ｓ１Ｘで分類し、取り出した検査用画像について検査できる。この場合も各検査工程での検査内容は特に限定されず、被検査物に要求される検査内容に応じて選択できる。

以上の様に、検査工程を、分類工程で分類され、該検査工程に適切な画像について実施することで、精度よく検査を行える。また、検査工程を複数の工程に分けることで、各検査工程では特定の検査項目についてのみ検査できる。このため、検査ミス等が生じにくく、検査の精度を特に高められる。

上記検査工程は、分類工程で分類される検査用画像の種類ごとに学習済みの複数の検査部により実施できる。すなわち、上記第１検査工程から、第Ｙ検査工程は、Ｙ個の検査部により実施できる。各検査部は、例えばＡＩを備えておくこともできる。そして、各検査部は、分類部から供給される検査用画像や、検査の内容にあわせて学習を行っておくことができる。係る学習方法は特に限定されず、機械学習を用いることができる。このように、分類工程で分類される検査用画像の種類に合わせて学習させた、すなわち多岐に渡る判断ではなく、単純な判断を行うように設定した検査部を複数用いることで、特に精度よく検査用画像を分類できる。
（２）その他の工程について
本実施形態の検査方法は、上述の分類工程、検査工程以外の工程を有することもできる。

例えば被検査物の検査用画像を撮像する撮像工程や、撮像工程で得られた画像を処理する画像処理工程、検査結果を出力する出力工程等をさらに有することもできる。
（２－１）撮像工程
本実施形態の検査方法は、分類工程に供する複数の被検査物の検査用画像を撮像する撮像工程を有することもできる。

撮像工程では被検査物について撮像できる。例えば被検査物が基板の場合であれば、基板に対して光を照射しながら基板の表面を撮像することで、基板の表面の凹凸や、色ムラ等を識別できる画像を取得できる。

被検査物が基板である場合に、検査する内容に応じて撮像する画像の例について以下に説明する。
（基板表面の凹凸の有無の検査）
基板表面の凹凸の有無を検査する場合、例えば図２に示すように、光源から、基板２１の第１主表面２１Ａに線状の光を照射できる。この際、基板２１の第１主表面２１Ａのうち線状の光を反射する明領域２２Ａと、明領域に隣接する暗領域２２Ｂとの境界近傍において、基板表面の凹凸のコントラストが高まる。そこで撮像工程では、基板の第１主表面２１Ａのうちの、上記明領域２２Ａと暗領域２２Ｂとの境界近傍である第１撮像領域２３Ａ、２３Ｂから選択された１つ以上の領域を撮像手段により撮像できる。第１撮像領域２３Ａ、２３Ｂは、明領域２２Ａの長手方向に沿って、すなわち図中のＹ軸方向に沿って、明領域２２Ａと、明領域２２Ａに隣接した暗領域２２Ｂとを含む、点線で囲まれた領域である。なお、撮像工程では、少なくとも第１撮像領域を含む領域を撮影すればよく、第１撮像領域の周辺も併せて撮像しても良い。第１撮像領域の周囲の領域も併せて撮像した場合、後述する画像処理工程において目的とする撮像領域の画像を、撮像した画像から切り出すことができる。

そして、上記線状の光を照射する位置を変化させることで、基板２１の第１主表面２１Ａ上の明領域２２Ａの位置を変化させながら撮像工程を繰り返し実施できる。繰り返し撮像し、得られた画像を必要に応じて画像処理手段によってつなぎ合わせることで、基板２１の第１主表面２１Ａの凹凸を明確にした画像が得られ、基板２１の第１主表面２１Ａの凹凸の有無を検査できる。

基板２１の第１主表面２１Ａ上の光を照射する位置を変化させる方法は特に限定されず、基板２１、および光源から選択された１以上の部材を移動させることで実施できる。具体的には、例えば基板２１を基板回転手段により回転させることで、または光源の位置を変化させる等により、基板２１の第１主表面２１Ａ上の光の照射位置を変化させることができる。以下の他の検査の場合でも同様である。

なお、基板２１の第１主表面２１Ａと反対側に位置する第２主表面側に、光源と、撮像手段を設け、同様に光の照射と、撮像と、画像処理とを行うことで、基板２１の第２主表面側の凹凸の有無の検査を行うこともできる。
（基板表面の色ムラの検査）
色ムラの検査を行う場合、例えば光源から、基板２１の第１主表面２１Ａに線状の光を照射することができる。この場合、撮像工程では、例えば基板の第１主表面２１Ａのうち線状の光を反射する、すなわち光を直接照射した明領域２２Ａ以外の領域である第２撮像領域２４を撮像できる。係る第２撮像領域２４を撮像し、観察することで、基板２１の第１主表面２１Ａの色ムラ、すなわち色の異なる領域を容易に検知できる。

図２に示すように、基板２１の第１主表面２１Ａのうち、明領域２２Ａ以外の領域は、光源からの光が直接照射されていないため、明領域２２Ａと比較して暗い暗領域２２Ｂとなっている。撮像手段は、少なくとも例えば明領域２２Ａの長手方向に沿って、すなわち図中のＹ軸方向に沿って、明領域２２Ａ以外の、すなわち暗領域２２Ｂ中の点線で囲まれた第２撮像領域２４を撮像できる。なお、この場合は少なくとも第２撮像領域２４を含む領域を撮影すればよく、第２撮像領域２４の周辺も併せて撮像しても良い。第２撮像領域２４の周囲の領域も併せて撮像した場合、後述する画像処理手段により目的とする第２撮像領域の画像を、撮像した画像から切り出すことができる。

なお、ここでは、光源からの光が、基板２１の第１主表面２１Ａに直接照射されている場合を例に説明したが、色ムラを検査する場合、光源からの光は、基板２１の第１主表面２１Ａに直接照射されている必要はない。例えば光源から照射された光が基板２１の第１主表面２１Ａ以外の場所に照射され、反射された間接的な光により照らされていても良い。

そして、基板２１の第１主表面２１Ａのうちの、上記明領域以外の第２撮像領域を撮像手段により撮像する操作を、明領域の位置を変化させながら繰り返し実施し、得られた画像を、必要に応じて画像処理手段によりつなぎ合わせることで、基板２１の第１主表面２１Ａの色ムラを明確にした画像が得られ、第１主表面２１Ａの色ムラを検査することができる。

なお、基板２１の第２主表面側についても同様にして色ムラを検査することもできる。
（透過光を用いた基板の凹凸の検査）
透過光を用いて、基板の両主表面の凹凸を検査することもできる。この場合、基板２１の第１主表面２１Ａと反対側に位置する第２主表面に、光源１２１Ｂから線状の光を照射すると、基板２１の第１主表面２１Ａのうち、光源１２１Ｂから照射された線状の光を透過した透過領域において、基板の表面の凹凸のコントラストが高まる。そして、基板２１の第１主表面２１Ａのうちの、上記透過領域を撮像（撮影）する操作を、透過領域の位置を変化させながら繰り返し実施し、必要に応じて画像処理手段により得られた画像をつなぎ合わせることで、基板２１の第１主表面２１Ａ、および第２主表面の凹凸を明確にした画像が得られる。このため、基板の主表面に含まれる凹凸の検査を行うことができる。

ここで、図３を用いて撮像工程において撮像する透過領域について説明する。

図３は、基板２１の第１主表面２１Ａ側を示している。

そして、図３では、第１主表面２１Ａと反対側に位置する第２主表面に１本の線状の光が照射され、第１主表面２１Ａにこれに対応した透過領域３１Ａが形成された状態を示している。

基板２１の第２主表面に線状の光が照射されると、基板２１の第１主表面２１Ａには透過領域３１Ａが形成される。透過領域３１Ａは、光源からの線状の光に対応した線状（帯状）の領域となる。

そして、透過領域３１Ａ以外の領域は、光源からの光の透過の程度が低いか、透過をしていないため、透過領域３１Ａと比較して暗い暗領域３１Ｂとなる。

この場合、撮像工程では透過領域３１Ａを撮像することができる。ただし、撮像手段は透過領域３１Ａを含む領域を撮像すればよく、透過領域３１Ａの周囲も併せて撮像することもできる。例えば、透過領域３１Ａの長手方向に沿って、すなわち図中のＹ軸方向に沿って、透過領域３１Ａを含む、点線で囲まれた第３撮像領域３２を撮像することができる。透過領域３１Ａを撮像する際に、その周囲の領域も併せて撮像した場合、例えば画像処理手段により目的とする透過領域の画像を、撮像した画像から切り出すことができる。

ここまで説明したいずれの検査の場合でも、撮像工程で撮像する画像は、動画であっても静止画であっても良い。動画の場合、例えば画像処理手段により、撮像した画像のうち任意のタイミングでの各撮像領域の静止画を複数枚抽出して用いることができる。

なお、被検査物が基板の場合において、上記各種検査の画像は例えば１回の撮像工程の中で撮像できる。これらの画像は被検査物の管理番号とあわせて既述の分類工程に供し、分類工程の中で画像の種類や、検査の内容に合わせて分類することができる。
（２－２）画像処理工程
画像処理工程では、必要に応じて撮像工程で撮像した画像の画像処理を行うことができる。画像処理の内容は特に限定されず、検査の内容や、検査工程での検査の方法等に応じて選択できる。例えば撮像工程で撮像した画像を切り出す、つなぎ合わせる等の画像処理を行うことができる。また、必要に応じて撮像工程で得られた画像を複数の領域に分割する等の処理を行うこともできる。

また、撮像工程で、動画で撮像した場合には、分類工程での分類や、検査工程での検査
を実施しやすいように、複数枚の静止画にすることもできる。

必要に応じて画像処理工程で画像処理を行った後、既述の分類工程に供することができる。
（２－３）出力工程
出力工程では、検査工程での検査結果を出力できる。

出力工程における検査結果の出力方法は特に限定されないが、単にディスプレイや、プリンターに検査結果を出力表示することもできる。

また、検査結果を、被検査物と紐づけて記憶装置に保存することもできる。なお、本実施形態の検査方法を工業製品の製造ライン上で実施する場合、検査工程で例えば被検査物が不良品である旨検知された場合には、製造ライン上を搬送されている、もしくは倉庫に格納された被検査物を他の製品から除外するように出力することもできる。
（３）被検査物について
本実施形態の検査方法は、各種工業製品の検査等に用いることができ、被検査物は特に限定されない。ただし、近年半導体装置等において、各種基板が用いられており、その表面に凹凸や、色ムラ等がないことを求められる場合がある。そして、基板の検査には外観を撮像した検査用画像を用いられることも多いことから、本実施形態の検査方法の被検査物としては、例えば基板を挙げることができる。

このため、本実施形態の検査方法は基板の検査方法とすることもできる。また、本実施形態の検査方法を基板の製造工程に組み込み、基板の製造方法において、得られた基板の検査を行う検査工程で用いることもできる。

以上に説明した本実施形態の検査方法によれば、分類工程を多段階で実施し、検査工程は、該分類工程で分類された検査用画像を用いて、被検査物の検査を行っている。このため、各分類工程では、特定の検査用画像を分類し、取り出せばよく、分類ミスの発生を抑制できる。また、各検査工程では、該検査工程を実施しやすい検査用画像を用いて、特定の検査工程のみを実施することになる。このため、各検査工程について検査項目が多岐に渡る場合でも精度よく検査を実施できる。

従って、本実施形態の検査方法によれば、複数の検査項目について、精度よく検査できる。
［検査装置］
本実施形態の検査装置は、被検査物について撮像した複数枚の検査用画像を用いて、被検査物の検査を行う検査装置であり、以下の分類部と、検査部とをそれぞれ複数有することができる。

分類部は、複数枚の検査用画像を分類できる。

検査部は、分類部で分類された検査用画像を用いて、被検査物の検査を行うことができる。

そして、複数の分類部は直列に配列されており、検査部は、分類部で分類された検査用画像についてそれぞれ検査を行うことができる。

なお、本実施形態の検査装置によれば、既述の検査方法を実施できる。このため、既に説明した事項については説明を一部省略する。

図４に、本実施形態の検査装置４０の機能ブロック図を示す。

図４に示すように、検査装置４０は、受付部４１、処理装置４２、出力部４３を有することができる。これらの各部は、例えば検査装置４０が有するＣＰＵ、記憶装置、各種インタフェース等を備えたパーソナルコンピュータ等の情報処理装置において、ＣＰＵが予め記憶されている例えば後述するプログラムを実行することでソフトウェアおよびハードウェアが協働して実現できる。

各部の構成について以下に説明する。
（１）受付部
受付部４１は、処理装置４２で実行される処理に関係するユーザーからのコマンドやデータの入力を受け付ける。受付部４１としてはユーザーが操作を行い、コマンド等を入力するキーボードやマウス、ネットワークを介して入力を行う通信装置、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ等の各種記憶媒体から入力を行う読み取り装置などが挙げられる。

受付部４１は、例えば被検査物についての検査用画像や、検査条件等を受け付けることができる。
（２）処理装置
処理装置４２は、分類部４２１、検査部４２２を有することができる。
（２－１）分類部
検査装置４０は、分類部４２１として、複数の分類部、例えば第１分類部４２１１～第Ｘ分類部４２１Ｘを有することができる。分類部４２１では、既述の分類工程を実施でき、複数枚の検査用画像を分類できる。

複数の分類部は、図４に示すように直列に配列され、受付部４１を介して供給された複数枚の検査用画像について、第１分類部４２１１で分類した残部の検査用画像を第２分類部４２１２に供給できる。第２分類部４２１２で分類した残部の検査用画像を第３分類部４２１３に供給できる。以降下流側に配置された検査部に対して、分類した残部の検査用画像を順に供給できる。

各分類部での分類の内容は特に限定されず、検査部での検査の内容等に応じて選択できるが、例えば検査用画像の種類や、撮像した被検査物の部位等に応じて分類することができる。

被検査物が基板の場合を例に説明すると、例えば、基板表面の検査用画像を複数のセルに分割して分類部に供する場合には、分類部は、基板の内部側の画像と、基板の端部を含む画像とに分類することができる。また、分類部は、基板表面を撮像する際の条件、例えば透過光を撮像している場合の画像や、反射光を撮像している場合の画像に分類することもできる。

なお、分類部で分類する際の分類条件は１つである必要は無く、例えば基板の端部を含む検査用画像であり、かつ反射光を撮像した検査用画像の様に掛け合わせた条件により分類し、取り出すことができる。

以上の様に、複数の分類部を直列に配置し、各分類部で検査用画像を分類し、特定の検査用画像のみを取り出すように構成することで、精度よく検査用画像を分類できる。

上記複数の分類部はそれぞれ、分類する検査用画像の種類ごとに学習済みであることが好ましい。上述のように、各分類部は、分類条件にあわせて学習を行っておくことが好ましい。係る学習方法は特に限定されず、機械学習を用いることができる。このように、分類する検査用画像の種類に合わせて学習させた、すなわち多岐に渡る判断ではなく、単純な判断を行うように設定した分類部を複数用いることで、特に精度よく検査用画像を分類できる。
（２－２）検査部
検査装置４０は、分類部で分類された検査用画像を用いて、被検査物の検査を行う検査部４２２を有することができる。検査装置４０は、検査部４２２として、複数の検査部、例えば第１検査部４２２１～第Ｙ検査部４２２Ｙを有することができる。

検査部は、検査用画像から、該検査用画像を撮像した被検査物についての検査、例えば良品と、不良品との判定を行うことができる。

検査部は、直列に配列された分類部に対応して配置でき、分類部で分類された検査用画像についてそれぞれ検査を行うことができる。

検査結果は、後述する出力部４３から出力できる。検査結果は、例えば被検査物と紐づけて保存することができ、またリアルタイムで出力することもできる。なお、本実施形態の検査装置を工業製品の製造ライン上に設置する場合、例えば被検査物が不良品である旨検知された場合には、製造ライン上を搬送されている、もしくは倉庫に格納された被検査物を他の製品から分けて識別するように出力することもできる。

例えば第１検査部４２２１では、第１分類部４２１１で分類し、取り出した検査用画像１を検査できる。検査の内容は特に限定されず、被検査物に要求される検査内容に応じて選択できる。

なお、検査部は多段に設けることもできる。具体的には同種の検査用画像に対して、複数の検査項目の検査を実施できる場合、検査項目の数にあわせて検査部を直列に配列することもできる。例えば第１分類部４２１１から供給された検査用画像に対して、複数段の検査を行うため、複数の第１検査部４２２１を配置してもよい。

第２検査部４２２２、第３検査部４２２３、第Ｙ検査部４２２Ｙでは、それぞれ第２分類部４２１２、第３分類部４２１３、第Ｘ分類部４２１Ｘで分類し、取り出した検査用画像２、検査用画像３、検査用画像Ｘについて検査できる。この場合も各検査部での検査内容は特に限定されず、被検査物に要求される検査内容に応じて選択できる。

以上の様に、検査部において、分類部で分類され、該検査部に適切な画像について検査を実施することで、精度よく検査を行える。また、検査を複数の検査部で分けて実施することで、各検査部では特定の検査項目についてのみ検査できる。このため、検査ミス等が生じにくく、検査の精度を特に高められる。

上記複数の検査部は、分類部で分類される検査用画像の種類ごとに学習済みであることが好ましい。係る学習方法は特に限定されず、機械学習を用いることができる。このように、分類部で分類される検査用画像の種類に合わせて学習させた、すなわち多岐に渡る判断ではなく、単純な判断を行うように設定した検査部を複数用いることで、特に精度よく検査用画像を分類できる。
（３）出力部
本実施形態の検査装置４０は、検査部４２２での検査結果を出力する出力部４３を有することができる。出力部４３は、図４に示すように、検査部４２２にあわせて、複数の出力部、例えば第１出力部４３１～第Ｙ出力部４３Ｙを設けてもよく、１つの出力部とすることもできる。例えば、出力内容等に応じて出力部の数や構成を選択できる。
（４）その他の部材について
本実施形態の検査装置は、必要に応じてさらに任意の部材を有することができる。例えば、被検査物の検査用画像を撮像する撮像部や、撮像部で撮像した画像を画像処理する画像処理部を有することもできる。なお、本実施形態の検査装置は、既に撮像した画像を用いて検査を実施することもできるため、撮像部等を有しないこともできる。
（４－１）撮像部
撮像部は、所定の検査用画像等を撮像できればよく、その構成は特に限定されない。撮像部としては、各種撮像素子を備えるカメラモジュールを用いることができる。撮像素子としては、例えばＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ ｏｘｉｄｅ ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサや、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサなどの半導体撮像素子や光電管、撮像管等から選択された１種類以上を用いることができる。

撮像部が撮像する画像は、動画であっても静止画であっても良い。動画の場合、例えば後述する画像処理部により、撮影した画像のうち任意のタイミングでの撮像領域の静止画を複数枚抽出してつなぎ合わせることができる。

撮像部で撮像する検査用画像の例については既に説明したため、ここでは説明を省略する。
（４－２）画像処理部
画像処理部は、撮像部が撮像した画像から、検査の対象に応じ画像の処理を行うことができる。画像処理の内容は特に限定されず、検査の内容や、検査部での検査の方法等に応じて選択できる。例えば撮像部が撮像した画像を切り出す、つなぎ合わせる等の画像処理を行うことができる。また、必要に応じて撮像部で得られた画像を複数の領域に分割する等の処理を行うこともできる。

また、撮像部で、動画で撮像した場合には、分類部での分類や、検査部での検査を実施しやすいように、複数枚の静止画にすることもできる。
（４－３）光源、搬送手段
本実施形態の検査装置は、必要に応じて、被検査物に光を投影する光源や、光源と撮像部との位置関係を制御するための搬送手段等を有することもできる。

図５に示したハードウェア構成図に示すように、本実施形態の検査装置４０は、例えば、情報処理装置（コンピュータ）で構成することができ、物理的には、演算処理部であるＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：プロセッサ）５１と、主記憶装置であるＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）５２やＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）５３と、補助記憶装置５４と、入出力インタフェース５５と、出力装置である表示装置５６等を含むコンピューターシステムとして構成できる。これらは、バス５７で相互に接続されている。なお、補助記憶装置５４や表示装置５６は、外部に設けられていてもよい。

ＣＰＵ５１は、検査装置４０の全体の動作を制御し、各種の情報処理を行う。ＣＰＵ５１は、ＲＯＭ５３または補助記憶装置５４に格納された、例えば後述するプログラム（検査プログラム）を実行して、検査等を行うことができる。

ＲＡＭ５２は、ＣＰＵ５１のワークエリアとして用いられ、主要なパラメータや情報を記憶する不揮発ＲＡＭを含んでもよい。

ＲＯＭ５３は、プログラム（検査プログラム）等を記憶することができる。

補助記憶装置５４は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）や、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶装置であり、検査装置の動作に必要な各種のデータ、ファイル等を格納できる。

入出力インタフェース５５は、タッチパネル、キーボード、表示画面、操作ボタン等のユーザインタフェースと、外部のデータ収録サーバ等からの情報を取り込み、他の電子機器に解析情報を出力する通信インタフェースとの双方を含む。

表示装置５６は、モニタディスプレイ等である。表示装置５６では、画面が表示され、入出力インタフェース５５を介した入出力操作に応じて画面が更新される。

図４に示した検査装置４０の各機能は、例えばＲＡＭ５２やＲＯＭ５３等の主記憶装置または補助記憶装置５４からプログラム（検査プログラム）等を読み込ませ、ＣＰＵ５１により実行することにより、ＲＡＭ５２等におけるデータの読み出しおよび書き込みを行うと共に、入出力インタフェース５５および表示装置５６を動作させることで実現できる。
（５）被検査物について
本実施形態の検査装置は、各種工業製品の検査等に用いることができ、被検査物は特に限定されない。ただし、近年半導体装置等において、各種基板が用いられており、その表面に凹凸や、色ムラ等がないことを求められる場合がある。そして、基板の検査には外観を撮像した検査用画像を用いられることも多いことから、本実施形態の検査装置の被検査物としては、例えば基板を挙げることができる。

このため、本実施形態の検査装置は基板の検査装置とすることもできる。また、本実施形態の検査装置を、基板の製造装置に組み込み、基板の製造装置において、得られた基板の検査を行う検査部で用いることもできる。

以上に説明した本実施形態の検査装置によれば、複数の分類部を直列に配列し、検査部は、該分類部で分類された検査用画像を用いて、被検査物の検査を行っている。このため、各分類部では、特定の検査用画像を分類し、取り出せばよく、分類ミスの発生を抑制できる。また、各検査部では、該検査部を実施しやすい検査用画像を用いて、特定の検査のみを実施することになる。このため、検査項目が多岐に渡る場合でも精度よく検査を実施できる。

従って、本実施形態の検査装置によれば、複数の検査項目について、精度よく検査できる。
［プログラム］
次に、本実施形態のプログラムについて説明する。

本実施形態のプログラムは、被検査物を、検査用画像により検査するためのプログラムに関し、コンピュータを以下の複数の分類部、複数の検査部として機能させることができる。

分類部は、複数枚の検査用画像を分類できる。

検査部は、分類部で分類された検査用画像を用いて、被検査物の検査を行うことができる。

そして、複数の分類部は直列に配列されており、検査部は、分類部で分類された検査用画像についてそれぞれ検査を行うことができる。

本実施形態のプログラムは、例えば既述の検査装置のＲＡＭやＲＯＭ等の主記憶装置または補助記憶装置の各種記憶媒体に記憶させておくことができる。そして、係るプログラムを読み込ませ、ＣＰＵにより実行することにより、ＲＡＭ等におけるデータの読み出しおよび書き込みを行うと共に、入出力インタフェースおよび表示装置を動作させて実行できる。このため、検査装置で既に説明した事項については説明を省略する。

上述した本実施形態のプログラムによれば、複数の検査項目について、精度よく検査できる。

以下、実施例を参照しながら本発明をより具体的に説明する。但し、本発明は以下の実施例に限定されるものではない。
［実施例１］
以下の手順により、基板の検査を実施した。

第１主表面の凹凸、および色ムラを有する基板を検知するため、基板の検査用画像として、以下の画像を準備した。
（凹凸の検査用画像）
図２に示すように、光源から、基板２１の第１主表面２１Ａに線状の光を照射した。そして、係る線状の光を照射する位置を変化させながら基板２１の第１主表面２１Ａのうち線状の光を反射する明領域２２Ａと、明領域に隣接する暗領域２２Ｂとの境界である第１撮像領域２３Ａを撮像部により撮像する操作を繰り返し実施した。

画像処理部により、得られた第１撮像領域をつなぎ合わせ、基板全体の画像を得た。ただし、検査部で一度に検査できる画像のサイズが画素で２５５×２５５なので、得られた基板全体の画像を、上記検査用の画像サイズに収まるように複数に分割した。
（色ムラの検査用画像）
また、上記凹凸の検査用画像を撮像する際、線状の光を照射する位置を変化させながら、基板２１の第１主表面２１Ａのうち、光を直接照射した明領域２２Ａに隣接した第２撮像領域２４を撮像部により撮像する操作を繰り返し実施した。

画像処理部により、得られた第２撮像領域をつなぎ合わせ、基板全体の画像を得た。ただし、検査部で一度に検査できる画像のサイズが画素で２５５×２５５なので、得られた基板全体の画像を、上記検査用の画像サイズに収まるように複数に分割した。

以上の凹凸の検査用画像と、色ムラの検査用画像とを含む検査用画像を用いて、基板について以下の様に検査を行った。なお撮像した基板の内、１０５枚は第１主表面に凹凸、色ムラがなく良品であり、３５枚は第１主表面に凹凸または色ムラを含む不良品であった。

第１分類工程として、第１分類部で上記検査用画像のうち、基板の縁部を含まない領域の凹凸の検査用画像を分類して取り出し、第１検査工程に供し、第１検査部で基板の表面に凹凸を含む基板を検知した。残部の検査用画像については第２分類工程へと供給した。

第２分類工程として、第２分類部で第１分類工程から供給された検査用画像のうち、基板の縁部を含む領域の凹凸の検査用画像を分類して取り出し、第２検査工程に供し、第２検査部で基板の表面に凹凸を含む基板を検知した。残部の検査用画像については第３分類工程へと供給した。

第３分類工程として、第３分類部で第２分類工程から供給された検査用画像のうち、基板の縁部を含まない領域の色ムラの検査用画像を分類して取り出し、第３検査工程に供し、第３検査部で基板の表面に色ムラを含む基板を検知した。残部の検査用画像については第４分類工程へと供給した。

第４分類工程として、第４分類部で第３分類工程から供給された検査用画像のうち、基板の縁部を含む領域の色ムラの検査用画像を分類して取り出し、第４検査工程に供し、第４検査部で基板の表面に色ムラを含む基板を検知した。なお、第４分類工程を終えた時点で、全ての検査用画像が検査工程に供された。

なお、第１分類部～第４分類部は、上記検査用画像を分類できるように、良品の基板１２０枚分と、不良品５０枚分の画像を用いて、予め深層学習により学習させていた。各分類部では、実施する分類の内容に合わせて学習させており、第１分類部の場合であれば、上記学習用の基板の画像のうち、基板の縁部を含まない領域の凹凸の検査用画像を用いて学習を行った。

また、第１検査部～第４検査部についても上記検査用画像を検査できるように予め深層学習を用いて学習させていた。

上記第１分類部～第４分類部および第１検査部～第４検査部には、Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ社製のＶｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎを用いた。

以上の第１検査工程から第４検査工程を終え、出力工程で結果を出力させた。被検査物の良品、不良品と、検査装置、検査方法による検査結果とを対比すると、正解率が９９％であることを確認できた。
［比較例１］
実施例１と同じ被検査物の検査用画像について、１つの検査部を備える検査装置により検査を行った。

上記検査部は、良品の基板２２５枚分と、不良品８５枚分の画像を用いて、予め深層学習により、基板表面の凹凸、および色ムラを検出できるように学習させていた。

被検査物の良品、不良品と、本比較例の検査装置による検査結果とを対比すると、正解率が８０％であることを確認できた。

なお、検査部の検査精度を向上させることを目的として、学習に用いる画像の枚数を５倍に増やして学習させた後、再度検査を行ったが、正解率は９０％未満であった。

実施例１の検査方法、検査装置によれば、複数の分類部を直列に配列し、検査部は、該分類部で分類された検査用画像を用いて、被検査物の検査を行っている。このため、各分類部では、特定の検査用画像を分類し、取り出せばよく、分類ミスの発生を抑制できる。また、各検査部では、該検査部を実施しやすい検査用画像を用いて、特定の検査のみを実施することになる。このため、検査項目が多岐に渡る場合でも精度よく検査を実施でき、正解率の高さから、係る効果を確認できた。従って、実施例１の検査方法、検査装置によれば、複数の検査項目について、精度よく検査できることを確認できた。

これに対して、比較例１の検査方法、検査装置では、学習を進めても正解率は９０％未満であり、複数の検査項目についての検査精度を高めることは困難であった。

Ｓ１１～Ｓ１Ｘ 分類工程（第１分類工程～第Ｘ分類工程）
Ｓ２１～Ｓ２Ｙ 検査工程（第１検査工程～第Ｙ検査工程）
４２１、４２１１～４２１Ｘ 分類部（第１分類部～第Ｘ分類部）
４２２、４２２１～４２２Ｙ 検査部（第１検査部～第Ｙ検査部）

Claims (8)

1. 被検査物について撮像した複数枚の検査用画像を用いて、前記被検査物の検査を行う検査方法であって、
   複数枚の前記検査用画像を分類する分類工程と、
   前記分類工程で、分類された前記検査用画像を用いて、前記被検査物の検査を行う検査工程と、を有し、
   前記分類工程は多段階で実施し、前記検査工程は、前記分類工程の各段階で分類された前記検査用画像についてそれぞれ検査を行う検査方法。
2. 前記分類工程は、分類する前記検査用画像の種類ごとに学習済みの複数の分類部を直列に配列して実施する請求項１に記載の検査方法。
3. 前記検査工程は、前記分類工程で分類される前記検査用画像の種類ごとに学習済みの複数の検査部により実施する請求項１または請求項２に記載の検査方法。
4. 前記被検査物が基板である請求項１から請求項３のいずれか１項に記載の検査方法。
5. 被検査物について撮像した複数枚の検査用画像を用いて、前記被検査物の検査を行う検査装置であって、
   複数枚の前記検査用画像を分類する複数の分類部と、
   前記分類部で分類された前記検査用画像を用いて、前記被検査物の検査を行う複数の検査部と、を有し、
   複数の前記分類部は直列に配列されており、
   前記検査部は、前記分類部で分類された前記検査用画像についてそれぞれ検査を行う検査装置。
6. 複数の前記分類部はそれぞれ、分類する前記検査用画像の種類ごとに学習済みである請求項５に記載の検査装置。
7. 複数の前記検査部は、前記分類部で分類される前記検査用画像の種類ごとに学習済みである請求項５または請求項６に記載の検査装置。
8. 前記被検査物が基板である請求項５から請求項７のいずれか１項に記載の検査装置。

Images