JP2013254286A - 欠陥画像の提示方法 - Google Patents

Abstract

【課題】複数の欠陥画像から典型画像を選び出すためのユーザ作業を効果的に支援することのできる技術を提供する。
【解決手段】複数の欠陥画像を多次元特徴量空間にプロットした場合に互いに近接して塊を形成する画像群を１つのグループとして、大きなグループから順に、当該グループに属する画像を典型画像の候補としてユーザに提示する。収集された多数の欠陥画像がその特徴に応じて予めいくつかのグループに仕分けられた状態で提示されるので、ユーザの作業負荷が大きく軽減される。
【選択図】図３

Description

この発明は、欠陥を撮像した欠陥画像をユーザに提示する方法に関し、特に、多数の欠陥画像から欠陥の典型例を含む典型画像を見つけ出す作業を支援するための欠陥画像の提示方法に関するものである。

例えば半導体やプリント基板等の製造技術分野では、製品に含まれる欠陥を検出しこれを分析・評価するために、評価対象物を顕微鏡等を介して撮像し、得られた画像について複数種の特徴量を算出して自動分類を行うことが研究されている。この種の技術においては、典型的な欠陥を含む画像として予め与えられた教師画像に基づく学習アルゴリズムを利用した分類技術が多数提案されている。

例えば特許文献１に記載の技術では、ユーザにより欠陥カテゴリが指定された教師画像の特徴量を求め、その値を用いて遺伝的アルゴリズムにより学習を行うことで判別木を生成して未知の欠陥画像の分類を行えるようにしている。この場合、ユーザから与えられる情報の確度が学習結果の精度に大きく影響し、ユーザが与えた情報の確度が低い場合には却って分類精度が低下する可能性がある。一方、このような問題に対応するため、特許文献２に記載された技術においては、欠陥種別に対応する分類カテゴリの１つ１つに対して複数の典型画像をユーザに指定させ、これらに基づく学習を行うことで、学習結果に基づく分類精度の向上が図られている。

特開２００３−３１７０８３号公報 特開２０１０−０７１８２６号公報

上記した従来技術のいずれも、典型画像（もしくは教師画像）の選定がユーザの作業に委ねられている点では変わりない。すなわちユーザは、欠陥を含む多数の欠陥画像を個々に目視確認してそれらの中から典型画像を選び出すという作業を行う必要があり、この作業に対して上記従来技術は何らの支援を提供することができない。このため、上記従来技術では、分類精度に関わる典型画像の選定が依然としてユーザの判断のみによって行われており、結果のばらつきやユーザに過大な負担を強いるという問題が残されていた。

この発明は上記課題に鑑みなされたものであり、複数の欠陥画像から典型画像を選び出すためのユーザ作業を効果的に支援することのできる技術を提供することを目的とするものである。

この発明にかかる欠陥画像の提示方法は、上記目的を達成するため、欠陥を撮像した複数の欠陥画像のそれぞれについて、複数の特徴量を算出する特徴量算出工程と、前記複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内において互いに近接した２つの前記欠陥画像同士を互いに同一のグループとすることで、前記複数の欠陥画像をグループ化するグループ化工程と、前記グループの少なくとも１つについて、当該グループに属する前記欠陥画像の少なくとも１つを、欠陥の典型例を含む典型画像の候補としてユーザに提示する提示工程とを含むことを特徴としている。

このように構成された発明では、複数の欠陥画像をそれぞれ複数の特徴量によって表すとともに、それらの特徴量を座標軸とする特徴量空間内での位置関係に基づいてグループ化する。より具体的には、特徴量空間内で近接した位置にある、つまり画像の特徴が類似した欠陥画像同士が１つのグループとなるように欠陥画像をグループ化する。このように、類似した特徴を有する欠陥画像が予めグループ化され、その結果に基づく典型画像の候補が提示されることで、複数の欠陥画像から典型画像の選出をしようとするユーザの作業負荷は大幅に軽減される。というのは、多数の欠陥画像が予めいくつかのグループに仕分けられていることで、欠陥画像の全てを同様の重みをもって逐一確認する必要がなくなるからである。

また、従来技術におけるユーザの目視判断による典型画像の選定作業では、特徴量により定量的かつ客観的に表される画像の特徴とは矛盾した指定がなされることがあり得る。例えば、それぞれの特徴量を比較する限りでは類似しているとみなせる２つの欠陥画像に対して異なる欠陥種別が指定されたり、その逆に特徴量では大きく相違する２つの欠陥画像に対して同一の欠陥種別が指定されることがある。このように、ユーザの主観に基づく判断と定量的な分析結果とが矛盾する場合があり、このことが学習の精度を低下させてしまう。これに対し本発明では、特徴量に基づく類似の有無を予め判断し提示することができるため、このような矛盾した指定がなされることを未然に回避し、学習およびそれに基づく分類の精度を高めることが可能である。

また、１つのグループに属する欠陥画像の数が多ければ当該グループに共通する特徴が出現頻度の高い「典型的な」欠陥に起因するものであると言える一方、属する欠陥画像の数が少ないグループはより出現頻度の低い特異な欠陥を示していると言える。このように、グループの大きさ、つまりグループに属する欠陥画像の多寡が欠陥の出現頻度を指標する情報となり、このような情報を予め把握しておくことで、ユーザは出現頻度の高い欠陥に対応する典型画像をより容易に見出すことが可能となる。

このように、本発明によれば、複数の欠陥画像から典型画像を選定するユーザの作業を効果的に支援して、ユーザの負荷を軽減するとともに、選定された典型画像を用いた学習やその結果に基づく分類を高精度に行うことが可能となる。なお、典型画像の候補に関するユーザへの提示については、例えばあるグループに属する欠陥画像の全てまたは代表的な一部を表示するものであってもよく、また例えば多数の欠陥画像から典型画像の候補をユーザが容易に抽出することのできるインデックス情報を提示するものであってもよい。

ここで、本発明のグループ化工程では、例えば、複数の欠陥画像から選択した基準画像について当該基準画像に近接する欠陥画像を探索する探索処理を行うことで欠陥画像のグループ化を行うようにしてもよい。この探索処理では、例えば、特徴量空間内において基準画像が位置する点を基準座標点として設定し、一の座標軸について、当該座標軸に対応する特徴量の値が当該座標軸における基準座標点の値から予め定められた近傍範囲内にある欠陥画像を候補画像として選び出す抽出処理を、複数の座標軸を対象として実行し、抽出処理の対象とした複数の座標軸の全てにおいて候補画像として選ばれた欠陥画像を、基準画像に近接する近傍画像として基準画像と同一のグループとすることができる。

複数の画像間での類似度合いを判断する方法として、特徴量空間内における各画像に対応する点間の距離を求める方法がこれまで一般的に行われており、例えばユークリッド距離、マンハッタン距離およびマハラノビス距離などがこの目的のために使用される。しかしながら、欠陥画像の特徴を表すための特徴量としては種々のものがあり、特徴量空間の次元が１００を超えるような場合もある。このように特徴量空間の次元が多くなると、複数の画像間で相互に上記距離を求めるための演算量は膨大なものとなり、例えば浮動小数点処理など高度な演算能力を有するプロセッサが必須となる。

一方、上記した本発明の探索処理では、一の特徴量における値同士の比較を特徴量の種類数だけ行うことにより、２つの欠陥画像間の類似度合いが判断される。このため、従来の方法に比べて演算量が大幅に削減され、また高度な演算能力も必要とされない。

この場合、例えば、一の座標軸について、複数の欠陥画像における当該座標軸に対応する特徴量の値の分布態様に応じて近傍範囲を設定するようにしてもよい。複数の欠陥画像において、ある１つの特徴量の値がどのような分布を示すかは、収集される画像の内容に依存し、予め予想することは困難である。また、実際の分布の態様を反映せずに設定された近傍範囲が用いられることで、欠陥画像間の類似度合いが不適切に判断されてしまうおそれがある。収集された欠陥画像における特徴量の値の分布態様に応じて近傍範囲を設定し探索処理を行うことで、このような問題を未然に回避することができる。

より具体的には、例えば、一の座標軸に対応する特徴量の、複数の欠陥画像間での最大値と最小値とを含む数値範囲を所定の分割数で複数に均等分割した区間の数値範囲を近傍範囲とすることができる。このようにすると、特徴量の最大値から最小値までの分布範囲が複数の区間に均等に分割され、特徴量の値がどの区間にあるかの判断のみで、当該欠陥画像が候補画像とすべきものであるか否かを判定することができる。これにより処理はさらに簡略化される。

また例えば、複数の特徴量のうち、複数の欠陥画像間での最大値と最小値との差が当該特徴量に対して予め設定された閾値より大きいものについて、当該特徴量に対応する座標軸を抽出処理の対象とするようにしてもよい。複数の欠陥画像間である特徴量の最大値と最小値との差が小さいとき、その特徴量が表す特徴に関しては各画像間で大きな差異がないということができる。したがって、その特徴量については抽出処理の対象から除外しても結果にはほとんど影響せず、またそうすることで必要な処理量をさらに低減することができる。

また例えば、グループ化工程では、複数の特徴量ごとに、当該特徴量の値と、その値を有する欠陥画像とを関連付けたテーブルを作成し、複数の欠陥画像の中で基準画像を順次変更しながらその都度探索処理を行って、当該基準画像に対する近傍画像を探索するようにしてもよい。このように、それぞれの特徴量ごとにその値と欠陥画像とを関連付けたテーブルは、複数の欠陥画像のうちいずれが基準画像に選ばれた場合でも、当該基準画像の近傍画像を探索する上で有用なものとなる。というのは、当該基準画像における特徴量の値に近い値を有する他の欠陥画像を、テーブルを参照することで直ちに導出することができるからである。特に基準画像を順次変更しながら繰り返し探索処理を行う場合、全ての基準画像について同一のテーブルを参照することができるので、その効果は特に顕著となる。

また、本発明における提示工程は、例えば、属する欠陥画像が最も多いグループを含む少なくとも１つのグループについて、当該グループに属する欠陥画像の少なくとも１つを典型画像の候補として提示するように構成されてもよい。１つのグループに含まれる欠陥画像の数が多いほど、当該グループに共通する特徴が、高い頻度で出現する典型的なものであることを意味している。したがって、当該グループに属する欠陥画像の各々、あるいはそれらの全体が、典型画像とされるべき蓋然性が高い画像であると言える。このため、このような大きなグループに属する画像を提示することは、多くの欠陥画像の中から典型画像とされるべき蓋然性の高い画像を選び出す作業をユーザに代わって行うことと同様の意義を有する。これにより、ユーザの作業が大幅に軽減される。

この発明によれば、欠陥画像をその特徴に応じて予めグループ分けして提示することで、多くの欠陥画像から典型画像を選び出すユーザの作業を効果的に支援することが可能となる。

本実施形態の処理対象である欠陥画像の概念を示す図である。 この実施形態における処理の流れの概略を示すフローチャートである。 特徴量空間における画像の分布の例を示す図である。 この実施形態における近傍の範囲を示す図である。 近傍画像を探索するための前処理を示すフローチャートである。 特徴量の値の正規化・量子化の概念を示す図である。 量子化された特徴量と画像番号とを関連付けたテーブルの例を示す図である。 欠陥画像のグループ化処理を示すフローチャートである。 この発明を好適に適用可能な検査システムの概略構成を示す図である。

以下、この発明の一実施形態である欠陥画像の提示方法について説明する。この実施形態は、複数の欠陥画像を自動学習アルゴリズムによりいくつかの欠陥カテゴリに分類する自動欠陥分類を行うに当たり、その前段階の処理として実行されるものである。より詳しくは、基板等の検査対象物を撮像して収集された複数の欠陥画像の中から典型的な欠陥を含み自動学習における教師画像となりうる典型画像を見つけ出すユーザの作業を支援するための処理である。説明に先立って、本実施形態および以下の説明の前提となっている概念について説明しておく。

図１は本実施形態の処理対象である欠陥画像の概念を示す図である。図１（ａ）に示すように、予め収集された欠陥画像群ＩＧに属する各欠陥画像（以下、単に「画像」と称する場合がある）に対しては、各画像を個々に区別するための識別符号として連番かつ一意の画像番号（１，２，…）が付される。以下の説明では、欠陥画像群ＩＧの画像総数をＰ（Ｐは２以上の自然数）とし、そのうちの任意の１つの画像を画像番号ｐ（ｐは自然数、１≦ｐ≦Ｐ）として表すものとする。

各画像に含まれる欠陥の特徴は、複数の特徴量により表現される。図１（ｂ）に示すように、本実施形態ではＮ種類（Ｎは２以上の自然数）の特徴量により欠陥の特徴が表され、これら各種の特徴量のそれぞれに大文字Ｘを用いた符号Ｘ1，Ｘ2，…，ＸNが付される。そのうちの任意の１つの特徴量は、符号Ｘn（ｎは自然数、１≦ｎ≦Ｎ）により表されるものとする。

画像番号ｐの欠陥画像に対応する特徴量の値は小文字ｘを用いて符号ｘpnにより表される。したがって、例えば画像番号１の欠陥画像に対応するＮ種類の特徴量の値は、それぞれ符号ｘ11，ｘ12，…，ｘ1Nにより表される。また、画像番号１，２，…，Ｎに対応する特徴量Ｘ1の値は、それぞれｘ11，ｘ21，…，ｘP1により表される。また、一の特徴量Ｘnに着目したとき、各欠陥画像に対応する当該特徴量の値ｘ1n，ｘ2n，…，ｘPnのうちの最大値が符号Ｍn、最小値が符号ｍnにより表される。

図２はこの実施形態における処理の流れの概略を示すフローチャートである。最初に、互いに異なる複数の欠陥画像が取得され（ステップＳ１０１）、それらの欠陥画像により欠陥画像群ＩＧが構成される。各欠陥画像は、検査対象である例えば半導体基板の外観に現れたピンホールや異物等の欠陥を含むものであり、同一基板の異なる位置で撮像された複数の画像や、互いに異なる基板において撮像された複数の画像などを多数収集して欠陥画像群ＩＧを構成することができる。

こうして取得された複数の欠陥画像の各々について、複数の特徴量Ｘ1，…，ＸNが算出される（ステップＳ１０２）。これにより、各々の欠陥画像に含まれる欠陥の特徴がＮ種類の特徴量により定量的に表される。複数の特徴量を座標軸とする多次元の特徴量空間を想定したとき、各欠陥画像をその特徴量の値を座標値とする座標点として特徴量空間内にプロットすることができる。欠陥画像に含まれる欠陥の特徴が類似した画像は、特徴量空間内で互いに近接した位置に位置づけられる。言い換えれば、特徴量空間内で互いに近接した位置にある複数の画像の欠陥の特徴（例えば形状、大きさ等）は類似しており、それらは同じタイプの起源に基づく欠陥である可能性が高いと推定することができる。

学習アルゴリズムを用いた自動欠陥分類を精度よく行うためには、収集された複数の欠陥画像の中から教師画像となる典型的な欠陥を含む画像（典型画像）を見つけ出す必要がある。同一の欠陥であってもその発現態様は微妙に異なっており、コンピュータによる画像処理等で自動的に典型画像を求める技術は確立されていない。そのため、典型画像の選定は熟練したユーザの経験に基づく判断に委ねられているのが現状である。このとき、ユーザは事前に何らの手がかりもなく多数の画像を隈なく精査して典型画像を選び出す必要があり、その作業負荷は非常に大きい。収集された画像から自動的に把握できる欠陥の傾向や相関性に関する情報がユーザに対して提供されると便宜である。

そこで、この実施形態では、特徴量空間内で互いに近接した位置にある画像同士が同一のグループとなるように各欠陥画像がグループ化される（ステップＳ１０３）。これにより、類似した特徴を有する画像が互いに関連付けられる。そして、こうして形成されたグループごとに、当該グループに属する画像からいくつかが典型画像の候補としてユーザに提示される。このとき、形成されたいくつかのグループの中では、大きなグループ、つまりそのグループに属する画像の数が多いものから優先的に順に提示される（ステップＳ１０４）。

提示される画像の数は任意であり、同一グループに属する画像全てであってもよく、またその一部でもよい。提示の態様としては、提示の対象とされた画像を例えばディスプレイ等の表示手段に表示する方法であってもよく、また例えば同一グループに属する欠陥画像の画像番号のリストを出力する方法であってもよい。また、グループの大きさを把握し得るような情報、例えばそのグループに属する欠陥画像の数に関する情報をさらに付加してもよい。

属する画像の数が大きいグループを優先的に提示する理由は以下の通りである。類似した特徴を有する画像を集めたグループが大きいほど、その特徴を有する欠陥が発生頻度の高い「典型的な」ものであることを意味している。したがって、教師画像に基づく学習アルゴリズムに際しては、当該グループに対応する典型画像が教師画像に含まれていることが望ましい。このため、大きなグループから優先的に画像の提示を行うようにしている。

このような提示がなされることにより、相互の関連付けが全くなされていない未整理の多数の欠陥画像の中から、互いに類似する特徴を有する画像のみが絞り込まれて提示されることになる。そのため、ユーザは提示されたそれらの画像の中からいくつかの典型画像を選ぶだけで済むこととなり、典型画像の指定におけるユーザの作業負荷は大幅に軽減される。すなわち、未整理の画像群から最終的に典型画像を選出するための作業の多くが自動的に、かつ客観的に行われる。なお、１つのグループに属する画像から選出される典型画像の数は任意であり、例えば同一グループ内の画像全て、あるいはそのうち明らかに起源の異なると見られるもののみを除外した全てを典型画像としてもよい。

また、ユーザは、互いに類似する欠陥画像についてはその全てをチェックする必要はなく、提示されたいくつかの画像から把握される特徴的な部分を見てその欠陥が典型的なものか否かを判断すればよい。一方で、類似する特徴を持つ画像の少ない特殊な欠陥を含む画像であっても小さいながらも１つのグループとして提示されることで、そのような特殊な欠陥についても見落とすことなく、典型画像とするか否かをユーザに判断させることができる。

また、ユーザの目視のみで典型画像を選出する場合、特徴量に基づき定量的に判断される画像の特徴と矛盾する指定がなされ、これに基づく学習が却って分類結果に混乱をもたらす可能性があり得る。しかしながら、この実施形態では類似する画像とそうでない画像とが予め仕分けられており、その情報を把握した上でユーザが典型画像を指定することができるため、このように定量的な判断と矛盾する指定がなされる可能性は極めて低くなっている。

次に、収集された多数の欠陥画像から互いに類似した特徴を有する画像のグループを見つけ出す方法について説明する。前述したように、一般的には、特徴量空間内において近接した位置にある複数の画像は互いに類似しているということができる。したがって、複数の画像について特徴量空間内における相互の距離を算出することで、画像間の類似度合いを推定することが可能である。このような類似度合いを表すパラメータとして、ユークリッド距離、マンハッタン距離、マハラノビス距離などが知られているが、高次元空間において多数の画像間で互いにこれらの距離を求めるための演算量は膨大である。また、高次元の特徴量空間では欠陥画像間の距離の比較がほとんど意味をなさない場合があることが「次元の呪い」として知られている。この実施形態では、多次元空間内での距離計算を伴わないためこのような問題が生じず、かつより簡便な方法で画像間の類似度合いを推定しており、その方法について次に説明する。

図３は特徴量空間における画像の分布の例を示す図である。ここでは、２種類の特徴量Ｘ1、Ｘ2による二次元の特徴量空間を例として説明するが、より高い次元の特徴量空間においても以下の考え方を拡張して適用することが可能である。一例として、特徴量Ｘ1、Ｘ2をそれぞれ座標軸とする二次元特徴量空間に、２０枚の欠陥画像（Ｐ＝２０）をその特徴量の値に応じてプロットした場合を考える。図３において、内部に数字を付した丸印は特徴量空間における各欠陥画像の位置を示し、数字はそれぞれの欠陥画像の画像番号を表している。

画像番号１〜２０の２０枚の画像は、特徴量Ｘ1、Ｘ2の値に応じて座標空間内の各位置に配置される。ここで、図３に破線で示したように、互いに近接位置にある画像同士をまとめてゆくことで、画像全体をいくつかのグループに分けることができる。例えば画像番号１，４，７，１３，１７，２０で表される一群の画像は互いに近接しており、全体として１つの塊（クラスタ）を構成している。１つの欠陥画像を基準画像として、その近傍にある他の欠陥画像を基準画像と同じグループに含ませるとともに、該他の欠陥画像に対し近傍位置にあるさらに別の欠陥画像についても、基準画像と同じグループとする。なお、他の画像からの距離が遠い孤立した画像（例えば画像番号８）については、当該孤立画像を唯一の構成要素とする１つのグループとみなせばよい。

図４はこの実施形態における近傍の範囲を示す図である。この実施形態の考え方では、１つの欠陥画像を基準画像Ｉｓとしたとき、特徴量空間における当該基準画像の位置を中心として、特徴量Ｘ1に対応する座標軸において適宜に定めた近傍範囲Ｒ1、特徴量Ｘ2に対応する座標軸において適宜に定めた近傍範囲Ｒ2の範囲内にある画像を探索し、そのような画像があればそれを当該基準画像に近接する近傍画像と判定する。

この例では、基準画像Ｉｓに対し特徴量Ｘ1に対応する座標軸において近傍範囲Ｒ1内にある画像としてはそれぞれ符号Ｉ1、Ｉ2で示される画像があるが、このうち特徴量Ｘ2に対応する座標軸においても近傍範囲Ｒ2内にある画像Ｉ1が基準画像の近傍画像とされる。画像Ｉ2は特徴量Ｘ2に対応する座標軸において範囲外であるため、近傍とはみなされない。一方、画像Ｉ3は特徴量Ｘ2に対応する座標軸においては近傍範囲Ｒ2内にあるが、特徴量Ｘ1に対応する座標軸において範囲外であるため、やはり近傍とはみなされない。両座標軸のいずれにおいても範囲外である画像Ｉ4は当然に近傍ではないとされる。

このような基準に基づく判定は、上記したユークリッド距離等に基づく判定ほど厳密なものではないとも言えるが、各座標軸ごとの独立した演算の繰り返しにより判定を行うことができ、次元数が増加したときに指数関数的に演算量が増大する上記の距離計算に比べ、演算量がさほど大きくならないという利点がある。また、ここでの判定の目的は、一応関連があるとみられる画像をグループ化して提示することでユーザの判断を支援するというものであり、そのための近傍画像の探索という目的においては上記判定方法は必要十分な精度を得ることができるものである。すなわち、ここでは処理量の少なさの利点が演算の正確さよりも優先される。

図５は近傍画像を探索するための前処理を示すフローチャートである。この処理は、多数の欠陥画像間で相互の近傍関係をスムーズに探索するために、各欠陥画像の特徴量の値の関係を特徴量の種類ごとに予め整理しておく処理である。この処理は、図２に示した処理のうちステップＳ１０１およびＳ１０２と、ステップＳ１０３の一部とに相当する。複数の欠陥画像が取得されると（ステップＳ２０１）、各欠陥画像を識別するための符号として連番の画像番号が付与される（ステップＳ２０２）。そして、各欠陥画像について、Ｎ種類の特徴量がそれぞれ算出される（ステップＳ２０３）。

次いで、Ｎ種類から１つの特徴量Ｘnが選択され、当該特徴量の値ｘ1n，ｘ2n，…，ｘPnの大小関係に基づき各欠陥画像が配列される。ここでは例えば昇順に配列されるものとする（ステップＳ２０５）。画像の配列において、実際の欠陥画像を並べる必要はなく、特徴量の値の順に配列された画像番号の列が得られればよい。

そして、これらの特徴量の最大値Ｍnと最小値ｍnとの差分が求められる（ステップＳ２０６）。この差分が所定の閾値ａと比較され（ステップＳ２０７）、閾値ａを超えていれば次のステップＳ２０８〜Ｓ２１１が実行される一方、閾値以下ならこれらの各ステップはスキップされる。

ステップＳ２０８〜Ｓ２１１では、各欠陥画像間での特徴量の値の比較を容易にするために、特徴量の値を正規化・量子化するとともに、その値と画像番号とを関連付けたテーブルを作成する。ただし、特徴量の最大値Ｍnと最小値ｍnとの差分が閾値以下であるとき、当該特徴量については各画像間で有意な差がないとみなし、そのような作業を省略する。閾値ａとしては、例えば倍精度浮動小数点型で表現し得る最小正数の１０００倍の値とすることができる。最大値Ｍnと最小値ｍnとの差がこのように定められた閾値ａ以下であるとき、各欠陥画像間での値の差はさらに微小なものとなり、当該特徴量に対応する座標軸に関しては各画像間で比較するまでもなくそれらが極めて近接しているとみなせるからである。このように結果にほとんど影響のない特徴量を除外することで、実質的な次元数が元のＮ次元よりも小さくなり、演算量をさらに低減することができる。

ステップＳ２０８では、特徴量の値の昇順配列において隣接する画像間相互での特徴量の値の差δを求め、それらの値δを累積加算してデータ数で割ることにより、差分の平均値Δnを算出する。これにより特徴量の値の広がりの範囲を求める。このとき、値δが所定の閾値ｂnよりも小さいときは、隣接する画像間での特徴量の差が実質的にゼロであるとして累積加算から除外し、データ数からも除外する。閾値ｂnについては、例えば（Ｍn−ｍn）／１０００とすることができる。このようにすることで、次に行う特徴量の量子化において、画像間での特徴量の値のばらつきの態様に応じて、不必要に細かいステップとならない適切な量子化ステップを適用することが可能となる。

ステップＳ２０９では、当該特徴量Ｘnに対応する座標軸における量子化分割数Ｋnを求める。量子化分割数Ｋnについては次式：
Ｍn≦Ｋn・Δn
の関係を満たすような最小の整数とすることができる。さらに、ステップＳ２１０において、こうして定められた量子化分割数に基づき、個々の欠陥画像における特徴量Ｘnの値ｘpnが次式：
ｙpn＝Int｛（ｘpn−ｍn）／Δn＋０．５｝
により正規化・量子化される。ここで、Int｛ｘ｝は、変数ｘの整数部分を値として返す関数である。また、０．５を加えて整数化するのは、小数点以下を四捨五入するためである。

これにより、当該特徴量Ｘnに対応する座標軸において最小値ｍnから最大値Ｍnまでの範囲に分布する各欠陥画像の特徴量の値ｘpnは、１〜Ｋnまでの離散的な値を取る正規化・量子化された値ｙpnに変換される。これにより、画像間における特徴量の値の微小な差異に関する情報は失われることになるが、この情報は本実施形態のような用途においては必要のないものであり、結果にはほとんど影響しない。そして、こうして量子化された特徴量の値ｙpnとその値を取る欠陥画像の画像番号とを関連付けたテーブルを作成する（ステップＳ２１１）。

このような処理を、特徴量の全種について行う（ステップＳ２１２）。すなわち、選択する特徴量を順次変更しながら、上記した特徴量の値の正規化・量子化およびこれに基づくテーブルの作成を行う。なお、ステップＳ２０７において一部の特徴量が除外される可能性があるため、テーブルはＮ種の特徴量の全てについて作成されるとは限らない。以下ではテーブルが作成された特徴量の数をＮ’（≦Ｎ）によって表す。

図６は特徴量の値の正規化・量子化の概念を示す図である。また、図７は量子化された特徴量と画像番号とを関連付けたテーブルの例を示す図である。これらの図およびその説明における欠陥画像群としては、図３に示したものと同じものを用いる。二次元の特徴量空間において特徴量の値を量子化するとは、特徴量空間において各画像を表す座標点の位置を、図６に破線で示すように等間隔に設けた格子点のうち最も近いものの位置に移動させることに相当する。また、特徴量の値を正規化するとは、１つの座標軸において、量子化された特徴量の最小値が１、最大値がＫnとなるように座標軸をスケーリングすることに相当している。なお、図６の例では、特徴量Ｘ1（ｎ＝１）に対応する横軸において量子化分割数Ｋn（すなわちＫ1）が９、特徴量Ｘ2（ｎ＝２）に対応する縦軸において量子化分割数Ｋn（すなわちＫ2）を１０となっているが、これらは一例を示したものにずぎず、量子化分割数は、上記した通り各座標軸における特徴量の値の分布に応じて定まるものである。

画像番号１〜２０の各欠陥画像が、上記のような正規化・量子化の結果、特徴量空間のどこに位置づけられたかを各特徴量ごとに示すのが、図７に例示するテーブルである。図７（ａ）は特徴量Ｘ1についてのテーブル、図７（ｂ）は特徴量Ｘ2についてのテーブルである。図において「区画番号」は正規化・量子化された特徴量の値と同義であり、「区画に該当する画像番号」は正規化・量子化の結果として特徴量の値が区画番号と同じになる欠陥画像の画像番号を意味している。例えば図７（ａ）を見ると、特徴量Ｘ1に対応する座標軸において正規化・量子化された特徴量の値が１となるのは、画像番号４，７，１０の３つであることが示されている。

このように、それぞれの特徴量について、特徴量の値と画像番号とを関連付けたテーブルを作成しておけば、基準画像として１つの画像番号が指定されたとき、当該基準画像と特徴量の値が近い他の欠陥画像の画像番号を直ちにテーブルから読み出すことが可能である。

具体的には、このテーブルを次のように利用する。例えば画像番号１で表される欠陥画像を基準画像として、特徴量空間においてその近傍にある近傍画像を探索する場合を考える。基準画像に対応する画像番号として例えば画像番号１が指定されると、特徴量の値が基準画像の値に対して近傍範囲にあるものが候補画像として各テーブルから特定される。ここでは、基準画像と同一区画およびそれに隣接する区画までを近傍範囲とする。そうすると、特徴量Ｘ1については、図７（ａ）から明らかなように、画像番号１と同一区画（区画番号２）に属しているのは、画像番号１，１１，１３，１８，２０の５つ、隣接する区画（区画番号１および３）に属しているのは４，７，１０，１４，１７の計５つである。すなわち、特徴量Ｘ1についての候補画像は、画像番号１，４，７，１０，１３，１４，１７，１８，２０でそれぞれ特定される画像である。

一方、特徴量Ｘ2については、図７（ｂ）からわかるように、基準画像と同じ区画番号２に属するのは画像番号１，７，１６であり、隣接する区画番号１および３に属するのは区画番号４，１３，１７，２０である。したがって、特徴量Ｘ2についての候補画像は、画像番号１，４，７，１３，１６，１７，２０でそれぞれ特定される画像である。

特徴量空間内で近傍にある画像とは、全ての座標軸（特徴量）において基準画像の近傍範囲にある画像である。したがって、特徴量Ｘ1、Ｘ2それぞれでの候補画像の積集合を取り、そこから基準画像自体を除外した画像番号４，７，１３，１７，２０で表される画像が、基準画像（画像番号１）に対応する近傍画像であると言うことができる。なお、この場合の特徴量空間は、元のＮ次元空間から最大値Ｍnと最小値ｍnとの差が小さいと判断された（図５のステップＳ２０７）座標軸を除いたＮ’次元空間である。この原理を用いて、この実施形態では以下のようにして欠陥画像のグループ化を行う。

図８は欠陥画像のグループ化処理を示すフローチャートである。この処理は、図２のステップＳ１０３に相当するものである。最初に、収集されている複数の欠陥画像の中からまだグループ化されていない欠陥画像を選び出し、これを基準画像に指定する（ステップＳ３０１）。この基準画像に対して、グループを識別するための適宜のグループラベルを付与する（ステップＳ３０２）。異なるグループに同一のラベルを与えることのないよう、このときのグループラベルは既存のグループに割り当てられていない新たなものとする。

次に、基準画像に対する近傍画像の探索を行う。すなわち、上記原理に基づき、先に作成されたＮ’面のテーブルを参照して、各特徴量においてその値が基準画像の値に対して近傍範囲にあるものを候補画像として抽出する（ステップＳ３０３）。そして、Ｎ’面の全てのテーブルにおいて候補画像として抽出されたものを特定し（ステップＳ３０４）、それらから基準画像自体を除外したものを、当該基準画像に対応する近傍画像として特定する（ステップＳ３０５）。こうして特定された近傍画像の各々のうちグループラベルが未付与のものに対し、基準画像と同一のグループラベルを付与する（ステップＳ３０６）。これにより、基準画像とその近傍画像とが同一のグループとして関連付けられる。

本実施形態の趣旨によれば、近傍画像の近傍にある画像に対しても、たとえその画像が基準画像から近傍範囲を超えて離れたものであっても、基準画像と同一のグループラベルが与えられる必要がある。そこで、基準画像の近傍画像に対する近傍画像の探索とラベル付与とを引き続いて行う。具体的には、上記で得られた基準画像に対する近傍画像の画像番号をスタックに追加し（ステップＳ３０７）、それらの画像を順次新たな基準画像に指定しながら（ステップＳ３０９）、当該画像に対する近傍画像の探索および見つかった近傍画像へのグループラベル付与を行う（ステップＳ３０３〜Ｓ３０６）。新たな近傍画像が見つかれば演算プロセッサのスタックに追加する（ステップＳ３０７）。これをスタックが空になるまで繰り返すことで（ステップＳ３０８）、最初の基準画像を起点として互いの近傍画像を介した画像間の関連付けが次々と周囲に広がり、それらに同じグループラベルが割り当てられてゆく。

スタックが空になると、当該グループの近傍にはもはや他の画像は残っていないことになる。つまり当該グループの広がりは収束する。そこでステップＳ３０１に戻り（ステップＳ３１０）、まだグループ化されていない画像を新たな基準画像として上記処理を繰り返す。このとき、先のグループラベルとは異なるラベルが付与される。全ての欠陥画像にいずれかのグループラベルが与えられるまで、上記処理を繰り返して実行する。こうして全ての画像がグループ化される。グループ化の結果をユーザに提示する方法については先に説明した通りである。

上記の例では、正規化および量子化された特徴量の値において基準画像と同一区画またはこれに隣接する区画までを「近傍範囲」として説明した。この近傍範囲の設定の仕方により、グループ化の結果は当然に異なる。すなわち、近傍範囲を広くすると、比較的差異の大きな画像まで同じグループにグループ分けされることになる。逆に近傍範囲を狭くすると、僅かな特徴の差異であっても別のグループとして扱われることとなる。特に高次元の特徴量空間では、外観上の小さな差異が特徴量空間では大きな距離となって各画像が孤立してしまう傾向がある。欠陥画像の数や特徴量の分布によって様々ではあるが、本願発明者の知見によれば、Ｋn＝１００程度の欠陥画像群においては、基準画像と同一区画を基準として±１０〜±５０区画程度を近傍範囲に含めたとき好結果が得られている。

図９はこの発明を好適に適用可能な検査システムの概略構成を示す図である。この検査システム１は、検査対象である半導体基板Ｓの外観に現れたピンホールや異物等の欠陥検査を行い、検出された欠陥の自動分類を行う検査システムである。検査システム１は、基板Ｓ上の検査対象領域を撮像する撮像装置２と、撮像装置２からの画像データに基づいて欠陥検査を行うとともに欠陥が検出された場合に欠陥が属すべきカテゴリへと欠陥を自動分類（ＡＤＣ；automatic defect classification）する検査・分類機能および検査システム１の全体動作を制御する機能を有する制御部としてのホストコンピュータ５を有する。撮像装置２は基板Ｓの製造ラインに組み込まれ、検査システム１はいわゆるインライン型のシステムとなっている。

撮像装置２は、基板Ｓ上の検査対象領域を撮像することにより画像データを取得する撮像部２１、基板Ｓを保持するステージ２２、および、撮像部２１に対してステージ２２を相対的に移動させるステージ駆動部２３を有し、撮像部２１は、照明光を出射する照明部２１１、基板Ｓに照明光を導くとともに基板Ｓからの光が入射する光学系２１２、および、光学系２１２により結像された基板Ｓの像を電気信号に変換する撮像デバイス２１３を有する。ステージ駆動部２３はボールねじ、ガイドレールおよびモータにより構成され、ホストコンピュータ５に設けられた装置制御部５０１がステージ駆動部２３および撮像部２１を制御することにより、基板Ｓ上の検査対象領域が撮像される。

ホストコンピュータ５は、予め読み込まれた制御プログラムを実行することにより、図１に示す各機能ブロックをソフトウェアにより実現する。ホストコンピュータ５は、上記の装置制御部５０１のほか、欠陥検出部５０２、欠陥分類部（ＡＤＣ）５０３、特徴量算出部５０４、教示部５０５、判定部５０６、演算部５０７などの各機能ブロックを備えている。さらに、ホストコンピュータ５は、各種データを記憶するための記憶部５１０、ユーザからの操作入力を受け付けるキーボードおよびマウスなどの入力受付部５１１および操作手順や処理結果等のユーザ向け視覚情報を表示する表示部５１２などを備えている。また、図示を省略しているが、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体から情報の読み取りを行う読取装置を有し、検査システム１の他の構成との間で信号を送受信する通信部が、適宜、インターフェイス（Ｉ／Ｆ）を介する等して接続される。

欠陥検出部５０２は、検査対象領域の画像データを処理しつつ、検査対象領域中の特異な領域を見出すことで欠陥検出を行う。欠陥検出部５０２が検査対象領域から欠陥を検出すると、欠陥の画像データや検査に利用された各種データが記憶装置５１０に一時的に保存される。

一方、欠陥分類部５０３は、検出された欠陥をＳＶＭ（サポート・ベクタ・マシン；Support Vector Machine）、ニューラルネットワーク、決定木、判別分析等の学習アルゴリズムを利用して分類する処理をソフトウェア的に実行する。特徴量算出部５０４は、検出された欠陥の画像データに基づいて、当該欠陥を特徴付ける特徴量を算出する。教示部５０５は欠陥分類部５０３に上記アルゴリズムを機械学習させるための教示データを与える。

判定部５０６および演算部５０７はそれぞれ、欠陥分類部５０３によって分類された分類結果の妥当性を示す確度を算出するための処理を行う。具体的には、判定部５０６は欠陥画像の各特徴量の値が各分類カテゴリに適合するものであるか否かの判定を行う。また演算部５０７は判定部５０６の判定結果に基づき確度を算出する。

このように構成された検査システムに対し、本発明を好適に適用することが可能である。すなわち、撮像装置２により撮像された多数の欠陥画像のうちいくつかを典型画像として欠陥分類部５０３が機械学習を行う際、ユーザが欠陥画像の中から典型画像を見つけ出す作業を支援するのに本発明を用いることができる。グループ化により得られた典型画像の候補については、ホストコンピュータ５の表示部５１２への表示によってユーザに提示することができる。ユーザにより典型画像が指定されると、その情報に基づき教示部５０５が教示データを作成し欠陥分類部５０３に与えることになる。

以上のように、この実施形態においては、図２のステップＳ１０２が本発明の「特徴量算出工程」に相当する一方、ステップＳ１０３および図５および図８に示す処理が、本発明の「グループ化工程」に相当している。また、図２のステップＳ１０４が、本発明の「提示工程」に相当している。また、図８のステップＳ３０３が本発明の「探索処理」に相当している。また、上記実施形態においては、基準画像として選ばれた欠陥画像が特徴量空間において占める点が、本発明における「基準座標点」に相当している。

なお、本発明は上記した実施形態に限定されるものではなく、その趣旨を逸脱しない限りにおいて上述したもの以外に種々の変更を行うことが可能である。例えば、上記実施形態では欠陥画像の各特徴量の値を正規化・量子化した上で基準画像に対する近傍画像の探索を行っているが、これらは演算上の便宜のためであって、特徴量の値を正規化または量子化することは本発明において必須の要件ではない。またこれらの処理のうち一方のみが実行されてもよい。

したがって例えば、各特徴量について、複数の欠陥画像の間での当該特徴量の値の最小値から最大値までを含む範囲を均等に複数の区間に分割し、各画像の特徴量の値がそれらのうちのどの区間に該当するかという観点で図７のようなテーブルを作成しても、同様の効果が得られる。

また、上記実施形態は半導体基板の欠陥を検査・分類する画像分類装置であるが、本発明の適用対象たる画像分類装置は、半導体基板を検査する装置だけでなく、他の対象物、例えばプリント基板やガラス基板等を検査する装置や、各種材料の表面状態を検査する表面検査装置であってもよい。

本発明は、欠陥画像に対し自動分類を行う技術に好適であり、特に、多数の欠陥画像から欠陥の典型例を含む典型画像を見つけ出すユーザの作業を支援するという目的のために好適に適用することができる。

１ 検査システム
２ 撮像装置
５０３ 欠陥分類部
５０４ 特徴量算出部
５０５ 教示部
５０６ 判定部
５０７ 演算部
５１２ 表示部
Ｓ１０２ 特徴量算出工程
Ｓ１０３ グループ化工程
Ｓ１０４ 提示工程
Ｓ３０３ 探索処理

Claims (7)

1. 欠陥を撮像した複数の欠陥画像のそれぞれについて、複数の特徴量を算出する特徴量算出工程と、
   前記複数の特徴量をそれぞれ一の座標軸とする多次元の特徴量空間内において互いに近接した２つの前記欠陥画像同士を互いに同一のグループとすることで、前記複数の欠陥画像をグループ化するグループ化工程と、
   前記グループの少なくとも１つについて、当該グループに属する前記欠陥画像の少なくとも１つを、欠陥の典型例を含む典型画像の候補としてユーザに提示する提示工程と
   を含むことを特徴とする、欠陥画像の提示方法。
2. 前記グループ化工程では、前記複数の欠陥画像から選択した基準画像について当該基準画像に近接する前記欠陥画像を探索する探索処理を行うことで前記欠陥画像のグループ化を行い、
   前記探索処理では、
   前記特徴量空間内において前記基準画像が位置する点を基準座標点として設定し、
   一の前記座標軸について、当該座標軸に対応する特徴量の値が当該座標軸における前記基準座標点の値から予め定められた近傍範囲内にある前記欠陥画像を候補画像として選び出す抽出処理を、複数の前記座標軸を対象として実行し、
   前記抽出処理の対象とした複数の前記座標軸の全てにおいて前記候補画像として選ばれた前記欠陥画像を、前記基準画像に近接する近傍画像として前記基準画像と同一のグループとする請求項１に記載の欠陥画像の提示方法。
3. 一の前記座標軸について、前記複数の欠陥画像における当該座標軸に対応する特徴量の値の分布態様に応じて前記近傍範囲を設定する請求項２に記載の欠陥画像の提示方法。
4. 一の前記座標軸に対応する特徴量の、前記複数の欠陥画像間での最大値と最小値とを含む数値範囲を所定の分割数で複数に均等分割した区間の数値範囲を、前記近傍範囲とする請求項３に記載の欠陥画像の提示方法。
5. 前記複数の特徴量のうち、前記複数の欠陥画像間での最大値と最小値との差が、当該特徴量に対して予め設定された閾値よりも大きいものについて、当該特徴量に対応する座標軸を前記抽出処理の対象とする請求項２ないし４のいずれかに記載の欠陥画像の提示方法。
6. 前記グループ化工程では、
   前記複数の欠陥画像を、複数の前記特徴量ごとに、当該特徴量の値とその値を有する前記欠陥画像とを関連付けたテーブルを作成し、
   前記複数の欠陥画像の中で前記基準画像を順次変更しながらその都度前記探索処理を行って、当該基準画像に対する前記近傍画像を探索する請求項２ないし５のいずれかに記載の欠陥画像の提示方法。
7. 前記提示工程では、属する前記欠陥画像が最も多いグループを含む少なくとも１つのグループについて、当該グループに属する前記欠陥画像の少なくとも１つを前記典型画像の候補として提示する請求項１ないし６のいずれかに記載の欠陥画像の提示方法。

Images