JP2004077165A

JP2004077165A - 欠陥分類方法及びその装置

Info

Publication number: JP2004077165A
Application number: JP2002234302A
Authority: JP
Inventors: Hiroto Okuda; 奥田　浩人; Toshifumi Honda; 本田　敏文; Yuji Takagi; 高木　裕治; Atsushi Miyamoto; 宮本　敦
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2002-08-12
Filing date: 2002-08-12
Publication date: 2004-03-11
Anticipated expiration: 2022-08-12
Also published as: US7583832B2; IL154676A; US20040028276A1; IL154676A0; JP3978098B2

Abstract

【課題】教示データを多数収集する必要がなく、かつ、ユーザによって異なる欠陥分類要求に対して柔軟に対応が可能な、信頼性の高い欠陥自動分類。
【解決手段】システムが提供するクラス、またはユーザが定義したクラスを、ユーザが任意に組み合わせて分類クラス構成を定義し、更に、ユーザが欠陥のクラスに関する先験的知識を制約として与え、制約付の学習を行う。
【選択図】　図１

Description

【０００１】
【発明の属する技術分野】
本発明はデータの分類方法及びその装置に関する。特に、半導体電子回路基板やプリント回路基板、液晶表示基板等の表面に生じた欠陥を、検出画像やＥＤＸ検出スペクトル等に基づいて分類する方法及びその装置に関する。
【０００２】
【従来の技術】
近年、半導体電子回路基板等の表面に生じた欠陥の発生状況の迅速な把握や、欠陥種毎の発生数のモニタ等を目的として、欠陥部の画像を自動分類する方法が開発されてきている。
【０００３】
画像を自動分類する方法については、パターン認識の分野において、古くから多様な手法が研究されている。
【０００４】
古典的な方法論の一つは、学習型分類と呼ばれる方法である。この方法論においては、教師画像を事前に収集し、これを学習することにより、分類器を最適化する（ニューラルネット等）。学習型分類器は、ユーザの要求に応じた柔軟な分類が可能となる可能性がある反面、一般に良好な性能を得るためには、教示データを大量に収集する必要があるため、生産プロセス立ち上げ時には実質的に使用できない、という問題がある。逆に、少数の教示データのみを用いた場合には、過学習と呼ばれる、教示データに対する学習の過剰適合現象が生じて性能が低下することが知られている。
【０００５】
また、他の古典的な方法論の一つはルールベース型分類と呼ばれる方法である。この方法論においては、分類対象である画像から特徴量を抽出し、システムに組み込んだ“ｉｆ−ｔｈｅｎ”式のルールに基づいて、特徴量の値を判定することにより、欠陥をクラスの一つに分類する。ルールベース型分類器は、分類するクラス・ルールが固定で、ユーザの要求に柔軟に対応できない反面、教示データが不要であるため、生産プロセス立ち上げ時より使用可能である、という利点がある。
【０００６】
また、上述のルールベース型分類器と学習型分類器を併用する構成として、特開２００１−１３５６９２号公報には、ハイブリッドで一様に適用可能な自動欠陥分類法が開示されている。すなわち、前記公報に記載された技術においては、“コア分級器”と呼ばれるルールベース型分類器によって、固定数の事前に組み込まれたクラス（“コア分類”と呼ばれる）に欠陥を分類し、更に、コア分類に関連付けられた“特定の適用可能な分級器”と呼ばれる学習型分類器によって、任意数からなる“下位分類“に分類する。
【０００７】
上記公報に記載された技術では、コア分級器を用いることにより、教示データ数を収集する必要なく、プロセス立ち上げ時よりコア分類を行うことができるとされる。また、更に詳細な分類が必要な場合には、学習型の“特定の適用可能な分級器”による分類が可能とされる。
【０００８】
【発明が解決しようとする課題】
しかしながら、上記述べたルールベース型分類器、及び、ルールベース型分類器がその一部として組み込まれている方法論、例えば、上記公報に開示された発明には、ルールが固定型であるという制約と、クラスが固定されているという制約があった。以下に、それらの制約について説明する。
（１）固定ルールの制約
ルールベース型分類器においては、分類クラスに対して、組み込みの分類規則が事前に対応付けられているがゆえに、高い分類性能を実現できない場合がある。実際、“粒子”、“パターン欠陥”という“コア分類”に相当するクラスへの分類も、一般的なユーザ、一般的なプロセスに対して、ルールベース型分類器で高い分類性能を実現することは難しい。この理由は、クラスと、そのクラスに属する欠陥の画像から観察される定性的な性質が、ユーザによって微妙に（時には大きく）異なっている、すなわち不変ではないことに起因する。
【０００９】
例えば、“粒子欠陥”、“パターン欠陥”の２クラスを例に説明する。ユーザＡにおいては、“粒子欠陥”は“突起状かつ面積任意”、“パターン欠陥”は“平坦状かつ面積任意”、と観察され、ユーザＢにおいては、“粒子欠陥“は、“突起もしくは平坦状、かつ小面積”、“パターン欠陥”は“平坦状”かつ“大面積”と観察されたとする。ユーザＡにおいては、突起状か否かが識別に有効な特徴である一方、ユーザＢにおいては、突起状か否かは識別に有効な情報ではなく、面積が識別に有効な情報となる。明らかに、“粒子欠陥”と“パターン欠陥”を明確に分類できる、突起状態、または面積に着目した共通の分類規則は存在しない。
つまり、たとえ多くのユーザが分類を要求する汎用性の高いクラスであっても、そのクラスに対応する、不変な分類規則は一般的には存在しない。汎用性の高いクラスであることと、ルールベース型分類器によって分類できる可能性があるかどうかは、別次元の問題である。
【００１０】
（２）固定クラスの制約
ルールベース型分類器では分類するクラスも組み込みであるがゆえに、ユーザの要求に合致した分類クラスを提供できない場合がある。
【００１１】
例えば、上記公報に記載された技術においては、ルールベース型分類器によって、欠陥を“粒子”と“パターン”に二分することが前提となっている。しかし、ユーザのプロセスによっては、実質的に“パターン“欠陥は生じないので、“粒子”のみで十分な場合がある。余分なクラスがルールとして組み込まれている場合、ユーザにとって、本来不要なクラスへの誤分類により性能が低下してしまうという問題が生じる。
【００１２】
また、上記公報に記載された技術においては、ルールベース型分類器によって、“粒子”を“粒子及び変形したパターン”、“表面上の粒子”、“埋込まれた粒子”に細分化しているが、このような細分化がユーザにとって不要な場合がある。あるいは、対象プロセスに対して十分な性能を達成できないため、細分化を廃止したい場合がある。
【００１３】
また、細分化の尺度を変更したい場合もある。すなわち、例えば、“粒子”を“粒子及び変形したパターン”、“表面上の粒子”、“埋込まれた粒子”に細分化するかわりに、“大”、“小”の尺度で細分化したい場合もある。
また、同様の理由によって、分類を部分的に統合、あるいはさらに細分化した方が望ましい場合もある。
【００１４】
このように、ルールベース型分類器では分類クラスが組み込みであるがゆえに、ユーザに対して、不要なクラス提供や、過剰な細分化、特定の分類尺度を強要してしまうため、結果としてユーザの要求に合致する分類を実現できない場合がある。更には、付随的に性能低下が生じる場合がある。
【００１５】
以上、述べてきたように、従来のルールベース型分類器、ないし、ルールベース型分類器をその一部に含むような方法論においては、クラスに対応する分類規則が組み込みであるため、ユーザによってクラスに属するデータの性質が異なる場合、対応できなくなる可能性がある、ないし分類性能が低くなる可能性があるという問題点がある。また、ルールベース型分類器の提供する分類クラスが組み込みであるため、ユーザの要求する分類クラスを過不足なく提供できなくなってしまう場合がある、更には、それゆえに誤分類による性能低下引き起こしてしまう可能性がある、という問題がある。
【００１６】
前記公報に記載された技術における分類の方法論、すなわち、ルールベース型分類器を用いて、あらかじめ数の決まった“コア分類”に分類する、という概念は、いかなるユーザの分類要求に対しても公約数的なクラスとしての“コア分類”が存在し、かつ、前記公約数的な“コア分類”に対し、共通の不変な分類規則で分類できること、を前提としている。
【００１７】
しかしながら、上記に説明したように、実際にはいかなるユーザの分類要求に対しても公約数となり得るようなクラスは存在しないし、また、仮に、大多数のユーザの分類要求に対して公約数的なクラスが存在したとしても、共通の不変な分類規則によって分類することは一般的には難しい。
【００１８】
本発明の目的は、従来の学習型分類器のもつ過学習という問題を低減すると同時に、従来のルールベース型分類器のもつユーザの要求に合致する分類を実現できない場合があるという問題を解決できる分類方法及びその装置を提供することにある。
【００１９】
【課題を解決するための手段】
上記、目的を達成する為に、本発明では、試料を撮像してこの試料の画像を得る工程と、この試料の画像を参照画像と比較して試料の欠陥画像を抽出する工程と、
この抽出した欠陥画像をこの欠陥画像を分類するための複数のクラスとの対応付けを行う工程と、対応付けの情報を記憶する工程と、欠陥画像を複数のクラスに分類する為の制約条件を設定する工程と、記憶した対応付けの情報と設定した制約条件とを用いて抽出した欠陥画像を複数のクラスに分類する工程と、分類した欠陥画像を画面上に表示する工程とを備えた欠陥分類方法とした。
【００２０】
すなわち、上記したような本発明による欠陥分類方法においては、ユーザが設定した制約条件の下で学習を行うため、学習型分類器のもつ過学習という問題を低減すると同時に、クラス定義、及びその分類規則を学習によって決定するため、前記した従来のルールベース型分類器、ないし、ルールベース型分類器をその一部として前提にするような方法における課題が解決される。
【００２１】
【発明の実施の形態】
本発明の第一の実施形態について説明する。
本実施の形態においては、制約つき学習型分類器と呼ぶ構成を採用する。制約つき学習型分類器とは、ユーザがクラス構成を定義し、かつ、クラスに対応する分類規則の性質を制約条件としてユーザが設定し、更に、ユーザが設定した制約の下で学習を行う方法論である。
【００２２】
本発明による分類方法が、従来のルールベース型分類器ないしルールベース型分類器をその一部に含む分類器と大きく異なる点は、クラス構成をユーザが自由に設定することができる学習型の分類器であり、システムが、組み込みのクラス及びクラスに対応する分類規則を提供しない点にある。
【００２３】
同時に、本発明による分類方法が古典的な学習型分類器と大きく異なる点は、クラスを分離する境界の性質をユーザが制約として設定する点にある。制約を課すことにより、学習における自由度が減り、通常の学習型分類器において生じる“過学習”、すなわち、教示データに対する過剰適合現象を低減することができる。
【００２４】
一般に、古典的な学習型分類器におけるモデルの自由度の妥当性を自動的に判断することは難しい。換言すれば、解くべき分類問題の性質に対して、学習型分類器が前提とするモデルの自由度が適正か不適正か、自動的に判断することは難しい。これに対し、本方法は、モデルの自由度に関する制約をユーザが直接設定することにより、ユーザが分類問題の性質に応じてモデルの自由度を制御することができる方法と言える。
【００２５】
本発明による分類方法では、始めに、ユーザは欠陥の画像を収集する。図２（ａ）の２１には収集した画像が、分類されずに一覧表示されている様子を示す。次に、ユーザは欠陥を分類するクラス構成を設定する。ユーザは任意のクラス構成を設定することができる。図２（ｂ）の２２は、クラス構成の設定例である。ユーザはクラスを自由に命名し、クラスを直列ないし、並列に組み合わせて任意のクラス構成を設定する。２２においては、“異物”、“凹み”、のクラスが並列に設定され、更に、“異物“の下位に”大“、”小“のクラスが設定されている。
【００２６】
次に、ユーザは教示を行う。例えば、図２（ｃ）の２３に示すように、分類された欠陥画像をドラッグ・アンド・ドロップ操作によって正しい分類クラスに対して教示する。
【００２７】
次に、ユーザはクラスに分類する規則の制約条件を設定する。図３は、クラスに対し分類する規則の制約条件を設定する画面である。図３は“異物　大”クラスにおける設定画面である。３１〜３３の画像群は、それぞれ検出した欠陥画像、参照画像、及び抽出した欠陥領域を示している。３４は、欠陥領域を解析して得られた欠陥の特徴を示しており、例えば、大きさ、明るさ、高さ、等の特徴量を表示している。
【００２８】
ユーザは、検出画像を観察したり上記算出した特徴量を参考にして、経験や知識に基づいて、欠陥の性質を規定できる場合、これを入力部３５から入力する。図３の例では、二つの式に基づいて制約条件を定義している。すなわち、Ｎｏ．１式として『欠陥は一定値（１μｍ）以上の大きさである』、Ｎｏ．２式として『欠陥は一定値以上（しきい値不明）の高さである』を定義した上で、Ｎｏ．１かつＮｏ．２（　１＊２　）の成立を制約条件として設定している。
【００２９】
式は、（１）特徴量の種類（例えば、大きさ、高さ等）、（２）式の種類（例えば、“〜より大”、“〜より小”、“〜と等しい”、“〜と等しくない”等）、（３）しきい値の有無、を指定して設定する。
【００３０】
制約条件は、上記定義した式の論理演算による組み合わせ、（例えば“式１かつ式２“）として定義する。
【００３１】
制約つき学習型分類器において、通常の学習型分類器における過学習を回避できることを、別の例を挙げて説明する。今、仮に、図４（ａ）の４１に示すような“粒子１”、“粒子２”の教示データ群が得られたと仮定する。“粒子１”の教示データ群はいずれも、“面積が大きく”、“白い”。一方、“粒子２”は、いずれも“面積が小さく“、“灰色”である。図４（ｂ）の４２、図４（ｃ）の４３に教示データの特徴量の分布ヒストグラムを示す。ここで、仮に、”粒子１“の教示データにたまたま面積が大きい欠陥が集まったとすると、“面積”を識別に有効な特徴と判断することは、望ましくない。通常、制約のない学習型分類器においては、“粒子１”と“粒子２”とを識別する上で、“面積”が有効な特徴と判定される。すなわち過学習が生じる。
【００３２】
しかし、ユーザが何らかの先験的な知識に基づいて、教示データにおける”粒子１”の面積が大きいことは偶然、すなわち、教示データの偏りに起因すると判断できる場合、“面積”という特徴を利用しない、あるいは、面積がどの程度の範囲に分布している、等の制約を図３に示した画面を用いて設定することにより、過学習を低減することが可能である。
【００３３】
図５に、制約つき学習によって、特徴量空間におけるクラス間の分離境界を学習する一例を示す。図５は、Ｆ１、Ｆ２の２軸からなる２次元の特徴量空間において、下記制約条件の下で、Ｃ１、Ｃ２の２クラスを分離する境界ａｂｃｄｅが、最近傍法によって学習された様子を示している。下記制約条件はユーザが設定する。
制約条件：クラスＣ１の存在範囲は、Ｆ１＞ｔｈ１、または、Ｆ２＞ｔｈ２を満足する。
図５では、Ｃ１、Ｃ２の各クラスに属する特徴量ベクトルをそれぞれ○、△で示す。上記制約条件の下では、クラスＣ１の境界は灰色に彩色した部分に存在が限定される。
【００３４】
一方、最近傍法（本例では１−最近傍法）においては、特徴量空間の任意の点に対し、その点からの距離が最も近い教示データの属するクラスに分類される。そこで、最近傍法によって定まるクラスＣ１の勢力範囲と上記制約条件によって定まる領域が、クラスＣ１に分類される領域として決定される。結果として、クラスＣ１、Ｃ２の境界ａｂｃｄｅは、最近傍法によって決定される部分（区間ａ〜ｂ、区間ｄ〜ｅ）と、制約条件によって決定される部分（区間ｂ〜ｄ）から成る。
【００３５】
この結果、５１のような、制約条件を満足しない領域に存在する教示データは無視される。すなわち、教示データに“たまたま紛れ込んだ”、ユーザの先験的な知見に合致しないデータは用いられない。
【００３６】
また、別の効果として、５１を特徴量の算出に失敗したデータとみなせば、特徴量の算出に失敗したデータを自動的に棄却する、という利点も併せ持っている。
次に、ユーザが定義したクラス構成に従って、制約条件つき学習器で分類する方法について、図２（ａ）の収集した欠陥画像２１を例に説明する。
【００３７】
上に述べた教示手順、ＧＵＩの操作により、ユーザは異物大、異物小、凹み、の各クラスに対し、教示データを教示するとともに、制約条件を設定する。本分類器は、クラス構成の各階層に対し特徴量空間を生成する。すなわち、異物と凹みを弁別するための第一の特徴量空間と、異物大と異物小を弁別するための第二の特徴量空間を生成する。
【００３８】
第一の特徴量空間では、異物大、及び異物小として教示されたデータ全てを異物の教示データとして用い、異物、凹みの２クラス分離のための境界を学習する。　第二の特徴量空間では、異物大、異物小として教示されたデータを用いて、異物大、異物小の２クラス分離のための境界を学習する。
【００３９】
分類にあたっては、初めに第一の特徴量空間における学習結果に従って、分類すべき欠陥を異物、または凹みに分類する。更に、異物に分類された欠陥に関しては、第二の特徴量空間における学習結果に従って、異物大、または異物小に分類する。
【００４０】
以上の説明では、制約条件の下での学習について説明した。一方、制約条件をクラスの判定条件として直接用いる方法も考えられる。その例を、図１５に示す。
図１５は、制約条件の入力画面例である。図１５に示す画面を用いて、ユーザは、欠陥が
式Ｎｏ．１　：　凸、凹、平、不定
式Ｎｏ．２　：　配線上、下地上、配線及び下地上
のいずれに該当するか、を制約条件として指定する。また、１５１によって、制約条件をクラスの判定条件として直接用いるか（“ルール”ボタンを押下）、もしくは制約条件の下での学習を行うか（“学習”ボタンを押下）を指定する。
【００４１】
システムは、欠陥領域を解析して式Ｎｏ．１、式Ｎｏ．２の判定に必要な情報を計算し、１５１の“ルール”ボタンを押下したときには、制約条件をクラスの判定条件として直接用いて分類を実行し、また、１５１の“学習”ボタンを押下したときには、上記に説明したような方法で制約条件の下での学習を行い分類を実行する。
【００４２】
以上、第一の実施の形態におけるユーザによるクラス構成の定義方法、教示データの与え方、制約条件つき学習器と、制約条件つき学習器を階層的に構成することによるユーザ定義クラス分類の実現、制約条件を与えるためのユーザインタフェース画面について述べた。
【００４３】
次に、本発明の第二の実施の形態について述べる。本実施の形態においては、図１（ａ）〜（ｄ）に示すように、ユーザは分類に先立って、欠陥を分類するためのクラス構成をユーザインタフェースに従って、設定する。ユーザはシステムの提供するクラスや、ユーザ自身が定義するクラスを組み合わせて、クラス構成を設定する。初めに、クラス構成の設定手順を説明し、次に、分類器の自動適合化について説明する。
【００４４】
（１）クラス構成の設定手順
図６〜図１０は、クラス構成を設定するための画面、並びに設定手順を示している。以下、クラス構成の設定操作について説明する。
【００４５】
操作１：分類尺度の選択（図６）
初期状態では、図６（ａ）の６１に示すようにクラスは定義されていない。ユーザはどのような分類尺度に従って分類するのか、システムが提示する分類尺度から選択することができる。分類尺度には例えば、次のようなものがある。
（ａ）異物・凹み・パターン
（ｂ）膜上異物・膜下異物
（ｃ）膜上パターン・膜下パターン
（ｄ）大・小
（ｅ）パターンオープン・パターンショート・それ以外
（ｆ）高・低
（ｇ）明・暗
（ｈ）パターン上・下地上
（ｉ）跨線・単線・孤立
操作手順としては、例えば、カーソル操作によって図６（ｂ）の６２のように分類尺度を選択すればよい。図６（ｃ）の６３は、異物・凹み・パターンという分類尺度が選択された状態を示している。
【００４６】
また、ユーザはシステムが提供するクラスとは別に、ユーザクラスを新たに定義することができる。ユーザが定義するクラスはシステムの提供するクラスと同様に、以下に述べる操作２〜５の対象となる。
【００４７】
操作２：クラスの削除（図７）
ユーザは、任意のクラスを削除することができる。操作手順としては、例えば、図７（ａ）の７１のように削除するクラスを選択した上で、操作パネルを表示させ、削除操作を選択すればよい。図７（ｂ）の７２は（ａ）の７１のクラス構成に対して、パターン欠陥を削除した結果を示す。
【００４８】
操作３：階層の定義（図８）
ユーザは、特定のクラスを他の分類尺度によって細分するべくクラス構成を定義することができる。例えば、“パターン”欠陥を、更に、“パターンオープン”・“パターンショート”・“それ以外”に細分するように、必要に応じて設定することができる。あるいは、“凹み”欠陥を、更に、“深い”凹み・“浅い”凹みに細分するように必要に応じて設定することができる。操作手順としては、例えば、図８（ａ）の８１のように、細分化するクラスを選択した上で、操作パネルを表示させ、操作１で説明した分類尺度の選択操作を行えばよい。図８（ｂ）の８２は“異物”の下位に“大”、“小”、の分類尺度が設定された結果を示す。
【００４９】
操作４：クラスの分割（図９）
一部の分類尺度においては、ユーザは、細分化の程度を変えることができる。例えば、大・小の分類尺度において、２クラスではなくより多くのクラス（大・中・小の３クラス）に変更することができる。操作手順としては、例えば、図９（ａ）の９１のように、細分化するクラスを選択した上で、操作パネルを表示させ、分割操作を行う。図９（ｂ）の９２は“異物”の下位クラスである“大”が、“大１”、“大２”に分割された結果を示す。
【００５０】
操作５：クラスの統合（図１０）
ユーザは不要な細分化を避けるため、複数のクラスを統合できる。操作手順としては、例えば、図１０（ａ）の１０１のように統合するクラスを選択した上で操作パネルを表示させ、統合操作を行う。図１０（ｂ）の１０２は“凹み”と“パターン欠陥”が統合された結果を示す。
【００５１】
（２）分類器の自動適合化
上記ユーザが定義したクラス構成に対し、システムが分類規則を自動的に適合化する方法について説明する。
【００５２】
システムには分類クラス毎に分類規則の初期状態が組み込まれている。ここで、分類規則の初期状態とは、分類尺度毎に、その分類尺度を実現するために好適な特徴量から構成される特徴量空間と、特徴量空間におけるクラスの境界として定義される。図１１にその一例を示す。
【００５３】
図１１（ａ）〜（ｃ）には、３つの分類尺度、すなわち、異物／凹み／パターン、膜上／膜下、オープン／ショート／その他、とそれぞれに対応する特徴量空間を示している。それぞれの特徴量空間は、各分類尺度に属するクラスと一意に対応づけられる領域に分割されている。
【００５４】
以上に、クラス構成の設定手順について述べたが、操作の容易化を図るため、推奨クラス構成を事前に組み込んでおき、ユーザが必要であれば、組み込みの推奨クラス構成を選択してもよい。
【００５５】
次に、既に述べたクラス構成の各設定操作に対し、分類規則を初期状態から適合化させる方法について説明する。
【００５６】
操作１：分類尺度の選択
分類尺度を選択することは、その分類尺度に対応する特徴量空間を使用することを意味する。
【００５７】
操作２：クラスの削除
クラスを削除した場合、分類規則の適合化には二つの場合がある。
【００５８】
（１）冗長特徴の自動検知と廃止
クラスの廃止に伴い、特徴空間が冗長になる場合がある。例えば、“異物”、“凹み”、“パターン”を分類するための分類規則が初期状態において特徴量１、特徴量２を用いるとし、更に、パターンか否かは、特徴量２のみによって識別されるとしよう。ユーザが仮に、クラス“パターン”を削除した場合、　“異物”、“凹み”の２クラス分類において、特徴量２は冗長となる。
分類エンジンの自動適合化においては、分類ルールの整合性をチェックし、特徴量２のような冗長な特徴を自動的に検知、削除する。
【００５９】
（２）特徴空間の自動完備化
削除したクラスに分類していた領域を他のどのクラスに分類するか再定義する必要が生じる場合がある。図１２（ａ）では、分類尺度として“異物”、“凹み”、“パターン”を選択した場合の、各クラスに対応する分類規則の初期状態を示している。すなわち、“異物”、“凹み”、“パターン”分類において、特徴量空間はｆｅａｔｕｒｅ１を軸とする１次元空間であり、分類規則の初期状態においては、ｆｅａｔｕｒｅ１の任意の値に対し、上記３クラスのうちの１クラスが対応付けられている。
【００６０】
仮に、図１２（ｂ）のようにクラス“パターン”を削除すると、特徴量空間中に、どのクラスにも対応付けられない“空いた領域”が生じる。
【００６１】
分類エンジンの自動適合化においては、特徴量空間における“空き領域”を自動的に検知し、“空き領域”を自動的に他のクラスに割り当てる。例えば、空き領域の各点に対し、最も近いクラスを割り当ててもよいし、あるいは、空き領域の割り当て方を事前に組み込んでおいても良いし、あるいは、教示データを用いて学習してもよい。
【００６２】
操作３：階層の定義
階層関係を定義した場合、下位クラスの分類規則は上位クラスの分類規則を継承する。すなわち、クラスＡ、Ｂに対し、それぞれ分類規則群Ｒａ、Ｒｂが定義されていたとする。すなわち、Ｒａ（Ｒｂ）が成立するならば、クラスＡ（Ｂ）に分類するものとする。ここで、仮に、クラスＡの下位にクラスＢを設定したとすると、クラスＢの分類規則は、ＲａかつＲｂ、すなわち、ＲａかつＲｂが成立するならば、クラスＢに分類する。
【００６３】
操作４：クラスの分割
特定の分類尺度、例えば、欠陥の大きさ、明るさ、高さ等に対しては、クラスの分割を行うことができる。分割する境界はユーザが図３のような設定画面によって設定してもよいし、教示データを用いても良い。
【００６４】
操作５：クラスの統合
クラスを統合した場合、特徴量空間において、統合したクラスに対応する領域は、統合する各クラスに対応する領域の和とする。言い換えれば、クラスＡ，Ｂに対し、対応する分類規則群Ｒａ、Ｒｂが定義されていたとすると、Ａ，Ｂを統合したクラスに対する分類規則はＲａまたはＲｂとなる。
【００６５】
以上述べた第三の実施の形態において、ユーザが、システムの提供するクラス並びに、ユーザ自身が定義するクラスを組み合わせてクラス構成を定義する方法を述べた。また、定義したクラス構成において、分類規則の初期値が組み込まれているクラスに関しては、分類規則を自動的に再構成する方法を述べた。
【００６６】
次に本発明の第四の実施の形態について説明する。本実施の形態では、ユーザが設定したクラス構成の下で、システムに組み込まれているデフォルトの教示データ集合を再学習することにより、分類器を適合化させる。
【００６７】
図１３を用いて、本実施の形態における分類器の適合化について説明する。システムには事前に教示データをデフォルトとして組み込んでおき、各教示データは、図１３（ａ）の１３０１に示すごとく、組み込みの各分類尺度における正解を付与されている。
図１３（ｂ）の１３０２、（ｃ）の１３０３は、それぞれユーザが設定したクラス構成例を示している。図１３（ｂ）の構成１３０２においては、（ａ）の１３０１の教示データ▲１▼、▲３▼は、“異物、大”クラスの教示データ、教示データ▲２▼、▲４▼は、“異物、小”クラスの教示データとして自動的に学習する。また、図１３（ｃ）の構成１３０３においては、（ａ）の１３０１の教示データ▲１▼、▲２▼は、“異物、膜上”クラスの教示データ、教示データ▲３▼、▲４▼は、“異物、膜下”クラスの教示データとして自動的に学習する。このように、ユーザが設定したクラス構成に対し、デフォルトとして組み込まれた教示データを再学習することにより、分類器を自動的に適合化する。
【００６８】
このように、教示データをシステムに組み込んでおくことにより、ユーザは新たな教示データを収集することなく、欠陥自動分類を行うことができる。
また、システムが提供する推奨クラス構成に対しては、組み込みの教示データを用いて出荷前に事前に学習をおこなっておいてもよい。
【００６９】
また、教示データ集合を複数持ってもよい。すなわち、例えば、配線工程、ゲート工程、穴工程、キャパシタ工程等、工程毎に教示データ集合をシステムに組み込んでおき、ユーザはクラス構成を定義した後、どの教示データ集合を用いて学習するのか指定する。ユーザは各々の要求分類に近い教示データを用いることにより、より信頼性の高い分類が可能となる。
【００７０】
次に、本発明における欠陥を検出して分類するシステムの概略構成を、図１４に示す。１４０１は電子線照明光学系であり、検査対象である半導体電子回路基板１４０２上に生じた欠陥部に電子線を照射する。１４０２の表面から生じた２次電子は画像を形成するべく、電子線検出器１４０３を介して検出、電気信号に変換され、さらにデジタル画像に変換されてコンピュータ１４０４に転送される。コンピュータ１４０４は、検出した電子線画像を記憶装置１４０５に記憶する。コンピュータ１４０４は、検出した電子線画像を参照画像と比較して差画像を算出することにより欠陥部を抽出し、抽出した欠陥部における特徴量を算出し、記憶装置１４０５に記憶する。コンピュータ１４０４は、上記第一から第四の実施の形態において述べた設定用画面をユーザに提示し、ユーザに欠陥の分類を促す。
【００７１】
ユーザは、第一から第三の実施の形態で述べた方法でクラス構成を設定し、ソフトウエアとしてコンピュータ１４０４上に実装された分類器に対し、必要に応じて教示データを学習させる。これにより、半導体電子回路基板上に生じた欠陥の画像を自動的に分類できる。
【００７２】
以上、第一から第五の実施の形態に関し、述べた。これらいずれの形態においても、ユーザが新たに追加した教示データを用いて追加学習を行うこともできる。
【００７３】
更に、他の形態として、第五の実施の形態においては電子線式の画像検出器によって検出した欠陥画像の分類を想定していたが、光学式の画像検出器よって検出した欠陥画像の分類を行ってもよい。
【００７４】
更に、電子線式、あるいは光学式の画像検出器、あるいはＸ線分光特性を検出するＸ線スペクトル分光器の出力情報（画像情報及び組成情報）に基づき欠陥の分類を行ってもよい。
【００７５】
更に、半導体電子回路基板上に生じた欠陥画像の分類を適用対象例として、本発明の詳細を述べたが、本発明の適用対象は上記に限るものではない。例えば、プリント回路基板、ＦＰＤ、液晶表示基板等の表面に生じた欠陥部の画像を自動分類する方法にも適用することができる。
【００７６】
【発明の効果】
本発明によれば、多様なユーザ要求に対して常に信頼性の高い分類が可能になる。これにより、分類クラスに対応する分類規則を組み込むルールベース型分類器と比較し、分類規則を学習によってユーザ毎に適合化することができる。
【００７７】
また、本発明によれば、教示データではないデータに対する分類性能の低下を回避できる。すなわち、分類クラスに対応する分類規則を学習する際、ユーザによる先験的知識を制約として与え、制約のもとで学習することにより、一般的な学習型分類器と比較し、教示データに対する過学習を避けることができ、教示データではないデータに対する分類性能の低下を回避できる。
【００７８】
さらに、本発明によれば、ルールベース型分類器と学習型分類器の利点を同じに備えることができる。すなわち、ルールベース型分類器の如く、教示データが全くない、ないしほとんどない状況下でも即時使用可能であり、かつ、学習型分類器の如く、ユーザの要求するクラス構成に柔軟に対応し、かつ、教示データの学習により分類性能を向上させることができる。
【図面の簡単な説明】
【図１】クラス構成を設定する教示画面の正面図である。
【図２】第一の実施の形態におけるクラス構成設定画面と教示画面の正面図である。
【図３】第一の実施の形態における制約条件の設定画面の正面図である。
【図４】制約つき学習による効果の具体例を説明する図である。
【図５】制約つき学習の一例を説明する欠陥の特徴量空間分布図である。
【図６】クラス構成の設定手順を説明するクラス構成設定画面の正面図である。
【図７】クラスを削除する手順を説明するクラス構成設定画面の正面図である。
【図８】クラスに階層関係を定義する手順を説明するクラス構成設定画面の正面図である。
【図９】クラスを分割する手順を説明するクラス構成設定画面の正面図である。
【図１０】クラスを統合する手順を説明するクラス構成設定画面の正面図である。
【図１１】分類尺度に対応する特徴量空間を説明する図である。
【図１２】クラス削除に伴う分類規則の自動適合化を説明するクラス構成設定画面の正面図である。
【図１３】第四の実施の形態における分類器の自動適合化を説明する図である。
【図１４】本発明における欠陥を検出して分類するシステムの概略構成を示すブロック図である。
【図１５】第一の実施の形態における制約条件の設定画面の正面図である。
【符号の説明】
２１・・・収集した画像を表示する画面　　　２２・・・設定したクラス構成を表示する画面　　　　２３・・・設定したクラス構成に対し、教示操作を行う画面
３１、３２、３３・・・欠陥画像、参照画像、差画像　　　　６１、６２、６３、６４・・・クラス構成を設定する手順　　８１、８２・・・クラスに階層関係を定義する手順　　　９１、９２・・・クラスを分割する手順　　　　１０１、１０２・・・クラスを統合する手順　　１４０１・・・電子線照明光学系　　　　１４０２・・・半導体電子回路基板　　　　　１４０３・・・電子線検出器　　　　１４０４・・・コンピュータ　　　　１４０５・・・記憶装置　　　　１５１・・・分類方法の選択ボタン

Claims

試料を撮像して該試料の画像を得る工程と、
該試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する工程と、
該抽出した欠陥画像を該欠陥画像を分類するための複数のクラスとの対応付けを行う工程と、
該対応付けの情報を記憶する工程と、
前記欠陥画像を複数のクラスに分類する為の制約条件を設定する工程と、
前記記憶した対応付けの情報と前記設定した制約条件とを用いて前記抽出した欠陥画像を前記複数のクラスに分類する工程と、
該分類した欠陥画像を画面上に表示する工程と
を備えたことを特徴とする欠陥分類方法。
前記欠陥画像を分類するための複数のクラスは、予め設定されていたクラスを組み合わせて構成されたものであることを特徴とする請求項１記載の欠陥分類方法。
前記記憶する対応付けの情報は、前記複数のクラスのそれぞれに対応する欠陥画像の特徴量であることを特徴とする請求項１記載の欠陥分類方法。
試料を撮像して該試料の画像を得る工程と、
該試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する工程と、
該欠陥画像を分類するための複数のクラスからなるクラス構成を設定する工程と、
該設定したクラス構成のそれぞれのクラスと前記欠陥画像との対応付けを行う工程と、
該設定したクラス構成と該クラス構成のそれぞれのクラスに対応付けられた欠陥画像との対応関係を記憶する工程と、
前記設定したクラス構成のそれぞれのクラスに分類するための制約条件を設定する工程と、
前記記憶した対応関係と前記設定した制約条件とを用いて前記抽出した欠陥画像を前記設定したクラス構成のそれぞれのクラスに分類する工程と、
該分類した欠陥画像を画面上に表示する工程と
を備えたことを特徴とする欠陥分類方法。
試料を撮像して該試料の画像を得る工程と、
該試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する工程と、
該抽出した欠陥画像を分類するための複数のクラスを設定する工程と、
該設定した複数のクラスと前記表示された欠陥画像との対応付けを行う工程と、
該設定した複数のクラスと表示された欠陥画像との対応関係を記憶する工程と、
前記設定した複数のクラスに分類する為の制約条件を設定する工程と、
前記設定した複数のクラスの組み合わせに基づくクラス構成を設定する工程と、
該設定したクラス構成に基づいて前記記憶した対応関係と前記設定した制約条件とを用いて前記抽出した欠陥画像を分類する工程と、
該分類した欠陥画像を画面上に表示する工程と
を備えたことを特徴とする欠陥分類方法。
前記複数のクラスを設定する工程において、予め記憶しておいた複数のクラスの中から前記抽出した欠陥画像を分類するためのクラスを選択するとともに、新たな分類のためのクラスを追加し、該選択した予め記憶しておいたクラスと追加したクラスとを用いて前記複数のクラスを設定することを特徴とする請求項５記載の欠陥分類方法。
前記欠陥画像を抽出する工程で抽出した欠陥画像を画面上に表示する工程を更に備え、前記対応付けを行う工程は、前記画面上で前記表示された欠陥画像を前記設定したクラス構成のそれぞれのクラスに振り分ける事を特徴とする請求項４又は５に記載の欠陥分類方法。
前記欠陥画像を分類するための複数のクラスからなるクラス構成は、予め記憶しておいた欠陥画像を分類するためのクラスを組み合わせて構成されたものであることを特徴とする請求項４記載の欠陥分類方法。
前記記憶する欠陥画像との対応関係の情報は、前記複数のクラスのそれぞれに対応する欠陥画像の特徴量であることを特徴とする請求項４又は５に記載の欠陥分類方法。
前記制約条件は、前記欠陥画像の特徴量の種類および該特徴量の大きさに関するものであることを特徴とする請求項４又は５に記載の欠陥分類方法。
試料を撮像して該試料の画像を得る工程と、
該試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する工程と、
該抽出した欠陥画像を分類するためのクラスの構成を設定する工程と、
予め記憶しておいた欠陥画像を分類するためのクラス分けのデータを前記設定したクラスの構成に対応させて編集する工程と、
該設定したクラスの構成に対応させて編集したそれぞれのクラス分けのデータを用いて前記抽出した欠陥画像を前記設定したクラス構成に分類する工程と、
該分類した欠陥画像を画面上に表示する工程と
を備えたことを特徴とする欠陥分類方法。
前記予め記憶しておいたクラス分けのデータは、欠陥画像の複数の特徴量で構成されたものであることを特徴とする請求項１１記載の欠陥分類方法。
試料を撮像して該試料の画像を取得する画像取得手段と、該画像取得手段で取得した前記試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する欠陥画像抽出手段と、該欠陥画像抽出手段で抽出した欠陥画像を複数のクラスに分類する欠陥分類手段とを備えた欠陥を分類する装置であって、前記欠陥分類手段は、
前記画像取得手段で取得した欠陥画像を分類するための複数のクラスからなるクラス構成と欠陥画像との対応関係の情報を記憶する記憶部と、
前記欠陥画像を複数のクラスからなるクラス構成に分類する為の制約条件を設定する制約条件設定部と、
前記記憶部に記憶した対応付けの情報と前記制約条件設定部に設定した制約条件とを用いて前記欠陥画像抽出手段で抽出した欠陥画像を前記複数のクラスからなるクラス構成に分類する欠陥分類部と、
該欠陥分類部で分類した欠陥画像を前記表示する表示部と
を有する事を特徴とする欠陥分類装置。
前記記憶部に記憶する前記欠陥画像を分類するための複数のクラスからなるクラス構成は、予め記憶しておいた欠陥画像を分類するためのクラスを組み合わせて構成されたものであることを特徴とする請求項１３記載の欠陥分類装置。
前記記憶部に記憶する欠陥画像との対応関係の情報は、前記クラス構成の複数のクラスのそれぞれに対応する欠陥画像の特徴量であることを特徴とする請求項１３記載の欠陥分類装置。
前記制約条件設定部で設定する制約条件は、前記欠陥画像の特徴量の種類および該特徴量の大きさに関するものであることを特徴とする請求項１３に記載の欠陥分類装置。
試料を撮像して該試料の画像を得る撮像手段と、
該撮像手段で撮像して得た試料の画像を参照画像と比較して前記試料の欠陥画像を抽出する欠陥抽出手段と、
該欠陥抽出手段で抽出した欠陥画像を分類するための複数のクラスからなるクラス構成を設定するクラス構成設定手段と、
欠陥画像を分類するためのクラス分けのデータを記憶しておく記憶手段と、
該記憶手段に記憶しておいた欠陥画像を分類するためのクラス分けのデータを前記クラス構成設定手段で設定したクラスの構成に対応させて編集するクラス分けデータ編集手段と、
該クラス分けデータ編集手段で編集したそれぞれのクラス分けのデータを用いて前記欠陥抽出手段で抽出した欠陥画像を前記クラス構成設定手段で設定したクラス構成に分類する分類手段と、
該分類手段で分類した欠陥画像を画面上に表示する表示手段と
を備えたことを特徴とする欠陥分類装置。
前記記憶手段に記憶しておくクラス分けのデータは、欠陥画像の複数の特徴量で構成されたものであることを特徴とする請求項１７記載の欠陥分類装置。