JP2005309535A

JP2005309535A - 画像自動分類方法

Info

Publication number: JP2005309535A
Application number: JP2004122121A
Authority: JP
Inventors: Daisuke Hirai; 大輔平井
Original assignee: Hitachi High Technologies Corp; Hitachi High Tech Corp
Current assignee: Hitachi High Tech Corp
Priority date: 2004-04-16
Filing date: 2004-04-16
Publication date: 2005-11-04

Abstract

【課題】分類基準学習型の画像自動分類方法において、分類基準の作成作業が容易な画像自動分類方法を提供する。
【解決手段】学習データにおける各分類カテゴリの特徴量分布から、使用すべき特徴量を限定的に選択する。次に、使用する特徴量に最適な大分類カテゴリを自動で限定的に選択する。更に、選択した大分類カテゴリに最適な詳細分類カテゴリを自動で限定的に選択する。また、学習データと分類結果とを比較して、カテゴリ分布に乖離がある場合、学習データを更新する。
【選択図】図２

Description

本発明は、画像の自動分類に関するものであって、特に半導体製品の製造プロセス中に発生したパターン欠陥や付着異物等を撮像した欠陥画像を自動分類する方法及び自動分類する装置に関する。

半導体製品には、その製造工程中において、製造装置から発生される異物等による形成パターンのショートや断線等の欠陥、製造プロセスの条件の不具合によって生じる欠陥等が発生するおそれがある。そこで、これらの欠陥の発生原因を早期に特定し対策を施すことが、製品歩留りの向上に不可欠である。そのため、ウェハ表面に付着した異物やウェハ表面に形成されたパターン欠陥を半導体ウェハ異物検査装置や半導体ウェハ外観検査装置により検査することにより、これらの発生を常に監視し、その検査結果を基に、その欠陥の発生原因を早期に突き止め対策を行う必要がある。

この際、一枚の半導体ウェハ上で検出された欠陥が数個から数十個であれば、それらの箇所を撮像した画像を人手で確認することによりその欠陥の種類を判別し、その欠陥の原因を特定することが可能である。

しかし、一枚のウェハ上で検出される欠陥部位が数百から数千にのぼる場合は、人手による全欠陥の観察には相当の労力が必要とされ、事実上不可能である。このため、これまでは、検出された全欠陥から、任意に選んだ欠陥のみを観察するということがされている。ところがこのように選択された欠陥のみを観察していたのでは、製品の良品／不良品の判断に関わるような重要な欠陥を見逃す可能性がある。

そこで、検査装置により検出された異物欠陥やパターン欠陥をその発生原因別に又はその外観の特徴別に自動分類し（ここで分離された一つのグループをカテゴリと呼ぶこととする）、製品の不良品の発生に致命的な欠陥のカテゴリのみを人手により観察し、そのカテゴリ毎の発生頻度などを監視できれば、それら欠陥の早期な対策が可能になり製品歩留りの向上に貢献することが可能である。

被検査画像に含まれる情報を特徴量として抽出し、それに基づいて自動分類する方法としては、ニューラルネットワークを用いた方法が、下記特許文献１に開示されている。

特開平８−２１８０３号公報

従来技術のような画像分類方法において、多様化する分類ニーズに応えるためには、画像情報から多種多様な特徴量を抽出して、効果的に分類基準を学習する必要がある。ところが特徴量の増大は、不適切な特徴量混入の可能性を高める。本発明は、使用する特徴量の組合せを自動で選択することで、不適切な特徴量の影響による分類性能の低下を防止する画像分類方法を実現することを目的とする。

また、ニューラルネットワークを用いた方法では、各特徴量に重み付けをすることで不適切な特徴量が分類性能に及ぼす影響を低減しようとするが、特徴量の増加は最適な重み付けを行うための演算時間、あるいは全体的な学習時間の増大を招く。本発明は、使用する特徴量を自動で選択することで、分類基準学習データの作成時間の増大を抑えた画像分類方法を実現することを目的とする。次に、大分類によりカテゴリ群を限定した後、限定されたカテゴリ内で詳細分類を階層的分類を行うことで分類性能の向上を図る画像分類方法において、多様化する分類ニーズに対して分類性能を維持するためには、大分類カテゴリ群の選別と、各大分類カテゴリ内の詳細分類カテゴリ群の組合せを最適化することが必要である。この最適化には多種多様な特徴量に関する知識が必要であり、大分類カテゴリ群の選別と、各大分類カテゴリ内の詳細分類カテゴリ群の組合せを最適化する処理はユーザの負担となっている。本発明は、使用する特徴量に最適な大分類カテゴリの選別作業が容易な画像分類方法を実現することを目的とする。また、各大分類カテゴリに対して詳細分類カテゴリの組合せを最適化する作業が容易な画像分類方法を実現することを目的とする。

更に、半導体製造の過程においては、同一カテゴリに分類すべき欠陥の画像的特徴がプロセス変動により、学習時のデータと比較して変化する場合がある。このプロセス変動に柔軟に対応するためには、分類時のデータに基づいて学習データを更新する必要がある。本発明は、分類時と学習時の各カテゴリ分布を比較して学習データを更新することで、プロセス変動に柔軟に対応することができる画像分類方法を実現することを目的とする。

本発明は上記課題を解決するために、不適切な特徴量を排除し、適切な特徴量のみを使用することで、分類性能を向上させる手段として、学習データにおける各カテゴリの特徴量の分布から、使用すべき特徴量を自動的に選択するようにした。また、使用する特徴量に適した大分類カテゴリを選定することで、分類性能を向上させる手段として、学習データにおける各カテゴリの特徴量の分布から、大分類カテゴリを自動的に選択するようにした。次に、各大分類カテゴリと各大分類カテゴリ内の詳細分類カテゴリ群との組合せを最適化することで、分類性能を向上させる手段として、学習データにおけるカテゴリ分布から、各大分類カテゴリと組合せるべき詳細分類カテゴリを自動的に選択するようにした。更に、プロセス変動に柔軟に対応し、分類性能の低下を防止する手段として、分類データにおけるカテゴリ分布と学習データにおけるカテゴリ分布とを比較して、各カテゴリの発生頻度に設定基準以上の差がある場合、分類データにおけるカテゴリ分布に対して最適化されるように、学習データを更新するようにした。

このように特徴量、大分類カテゴリ、大分類カテゴリに登録すべき詳細分類カテゴリ、又はこれらの組合せを最適化して限定することで、分類性能を向上させるだけでなく、学習データの作成時間、又は分類処理時間の短縮を実現するものである。

本発明によれば、分類基準学習型の画像自動分類方法において、多様な分類ニーズに柔軟に対応する分類基準を容易に作成できる。

第１に、本発明によれば、ユーザは分類したいカテゴリに画像を登録するだけで、分類基準の学習に必要な特徴量が自動的に厳選されるので、学習データ作成作業が容易に行え、特徴量数を限定的に選択できる。これにより、学習に要する時間を短縮でき、不要な特徴量が混入しないので、分類性能を向上させることができる。

第２に、本発明によれば、ユーザは分類したいカテゴリに画像を登録するだけで、分類基準の学習に必要な大分類カテゴリが自動的に限定されるので、学習データ作成作業が容易に行え、大分類カテゴリ数を限定的に選択できる。これにより、学習に要する時間を短縮でき、不要な大分類カテゴリに分類しないので、分類性能を向上させることができる。

第３に、本発明によれば、ユーザは分類したいカテゴリに画像を登録するだけで、分類基準の学習に必要な大分類カテゴリと詳細分類カテゴリの組合せを最適化できるので、学習データ作成作業が容易に行え、詳細分類カテゴリ数を限定的に選択できる。これにより、学習に要する時間を短縮でき、不要な詳細分類カテゴリが排除されるので、分類性能を向上させることができる。

第４に、本発明によれば、ユーザは分類したいカテゴリに画像を登録するだけで、分類データに合わせて学習データを更新することができるので、容易に学習データの改良が行える。

以下、本発明の実施例を説明する。図１はシステム構成図を示したものである。半導体製造プロセスに適用する場合には、画像撮像部が電子顕微鏡となる。

図２に学習の手順を示す。学習用の画像データセットを読み込んだ後、ユーザは学習に使用する画像をカテゴライズする。図３はカテゴライズ操作を行う画面の一例である。ユーザは画面上で欠陥画像をドラッグ＆ドロップにより分類したいカテゴリに移動するだけでよく、画像処理又は特徴量に関する特別な知識を必要としない。カテゴリ名称は、例えば、致命異物、非致命異物、パターンオープン、パターンショート、スクラッチ、虚報のように、画像処理又は特徴量を意識せず自由に設定できる。次にカテゴライズ結果から大分類に使用する特徴量を限定する。

図４は特徴量限定アルゴリズムを説明するための模式図である。図４では分類カテゴリＣ_ｉをＣ_１，Ｃ_２、Ｃ_３、特徴量Ｆ_ｉのうちＦ_１，Ｆ_２、Ｆ_３を表示している。実際の装置では、分類カテゴリは３〜２０個程度、使用する特徴量の候補は欠陥の大きさ、高さ、形、明るさ、色、テクスチャ、欠陥と背景の位置関係など３０〜１００程度である場合が多い。図の横軸は−１から１の範囲の値を取るように規格化した特徴量、縦軸は各カテゴリの面積が１になるように規格化した度数である。図４（a）の場合、度数分布に重なりがないため有効な特徴量と判断できる。図４（b）の場合、Ｃ_１を分類するのに有効な特徴量であるが、Ｃ_２とＣ_３を分類するのには無効な特徴量である。図４（c）の場合、重なりが大きいため有効ではない特徴量と判断できる。

図５は大分類特徴量選択の手順である。各カテゴリの各特徴量分布における度数分布の重なり面積の総和を類似度とし、これを評価値とする。ここでは度数分布の重なり面積を類似度と定義して評価値としたが、相関係数、又は各特徴量値を要素とする多次元ベクトル間の距離から類似度を算出することも可能である。これらの方法で算出した類似度が低いものを大分類に使用する特徴量として採用する。図５の閾値１は採用する特徴量の類似度の上限、閾値２は採用する特徴量数の上限である。サンプルによっては図４(b)のような特徴量ばかりが選択される場合もありえるが、このような場合にはＣ_２とＣ_３の分類性能は低くなることが予想されるので、Ｃ_２とＣ_３を統合する。その結果、大分類カテゴリとしてはＣ_１と、Ｃ_２とＣ_３を統合した２つを定義することになる。

この大分類カテゴリ選択の手順を示したものが図６である。上記手順で採用することを決定した全ての特徴量に関して、各カテゴリ間の類似度を算出する。この類似度の総和を２つのカテゴリ間の類似度と定義する。このカテゴリ間の類似度が、カテゴリ統合基準である閾値３より大きい場合、２つのカテゴリを統合する。ここまでの手順で、大分類に使用する特徴量の選択と、選択した特徴量の組合せで定義される大分類カテゴリの選択が完了する。

次に、各大分類カテゴリに対して最適な詳細分類カテゴリを定義する方法を説明する。図７はユーザの分類要求がカテゴリＣ_１，Ｃ_２、Ｃ_３、Ｃ_４であるのに対して、上記の手順で大分類カテゴリがＣ_１’、Ｃ_２’に統合された例を示している。まず、全ての大分類カテゴリＣ_１’、Ｃ_２’に対してユーザ分類要求に対応した全ての詳細分類カテゴリＣ_１，Ｃ_２、Ｃ_３、Ｃ_４が登録されているものとして、学習データにおける各カテゴリの発生頻度を算出する。次に、発生頻度が詳細分類カテゴリ登録閾値４より小さい詳細分類カテゴリは登録しないものとして、各大分類カテゴリに対して、登録すべき詳細分類カテゴリを決定する。ここでは各大分類カテゴリにおける詳細分類カテゴリの発生頻度を評価値としたが、詳細カテゴリ内での発生頻度に対する閾値５と組合せて評価することも可能である。このような方法を用いれば、大分類カテゴリと詳細分類カテゴリの最適な組合せを自動で設定することが可能となる。

また、図８のような画面を表示すれば、発生頻度は低いが分類する重要性が高いカテゴリを、ユーザが手動で簡単に登録することができる。以上の手順で選択した特徴量と、大分類カテゴリと詳細分類カテゴリの組合せから構成される分類基準を学習する。学習結果の良否判定は、学習データ自身を分類するセルフチェックと呼ばれる方法で確認できる。また、学習データ修正機能が有効となっている場合には、上記学習データに加えて、各大分類カテゴリに選択前の全詳細分類カテゴリを登録した学習データ修正用の学習データも作成しておく。

図９に分類及び学習データ更新判定手順を示す。学習データ更新判定機能が有効になっている場合は、通常の分類処理に加えて、学習データ更新用の学習データに基づいた分類処理も実行する。

図１０は学習データの更新方法を示している。学習時における各カテゴリの発生頻度と、学習データ修正用の学習データに基づいて分類した結果を比較して、発生頻度の差が許容値を超えている場合、警報メッセージを表示してユーザに通知する。通知する際には学習データの更新案を合わせて提示する。更新案の具体的な作成方法を説明する。学習時には発生頻度が低いため登録しなかった詳細分類カテゴリの発生頻度が、分類時に登録基準値以上に向上した場合、登録するように学習データを更新する。反対に、学習時には発生頻度が高いため登録していた詳細分類カテゴリの発生頻度が、分類時に登録基準値以下に低下した場合、登録を解除するように学習データを更新する。また、図２と同様の画面で正解カテゴリを与えることで、更新前後の分類結果、複数の更新案がある場合はそれぞれの分類結果を比較することができる。図１１のような画面表示を行えば、ユーザが容易に変更前後の性能を比較でき、最適な修正案の選択が容易に行える。

本発明による分類方法を実現する分類装置の構成例を示す図である。本発明による学習データ作成手順を示すフローチャートである。本発明によるカテゴライズを実現する画面の一例である。本発明による特徴量選択アルゴリズムを説明する図である。本発明による特徴量自動選択手順を示すフローチャートである。本発明による大分類カテゴリ自動選択手順を示すフローチャートである。本発明による大分類カテゴリと詳細分類カテゴリの組合せ最適化アルゴリズムを説明する図である。本発明による大分類カテゴリと詳細分類カテゴリの組合せ最適化を確認し、必要に応じて手動で更新するための画面の一例である。本発明による分類及び学習データ更新判定手順を示すフローチャートである。本発明による学習データ更新アルゴリズムを説明する図である。本発明による学習データ更新の良否を確認するための画面の一例である。

符号の説明

101…画像撮像部、102…画像記憶部、103…表示部、104…演算部、105…画像処理部、106…分類処理部、107…操作部、301…未学習画像表示エリア、302…カテゴリＣ１画像表示エリア、303…カテゴリＣ２画像表示エリア、304…カテゴリＣ３画像表示エリア、801…リンク設定画面、802…大分類カテゴリ表示エリア、803…詳細分類カテゴリ表示エリア、804…評価値１表示エリア、805…評価値２表示エリア、806…リンク設定選択エリア、1101…学習データ更新前後の分類結果比較画面、1102…分類正解率表示エリア、1103…画面表示説明エリア、1104…画像表示エリア、1105…分類情報表示エリア

Claims

被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する画像分類方法において、分類基準となる各カテゴリの特徴量の分布から、使用すべき特徴量の組合せを自動で選択することを特徴とする画像分類方法。
被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する画像分類方法において、分類基準となる各カテゴリの特徴量の分布から、使用すべき大分類カテゴリを自動で選択することを特徴とする画像分類方法。
被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する画像分類方法において、学習データの各大分類カテゴリの出現頻度から、各大分類カテゴリ内に登録すべき詳細分類カテゴリを自動で選択することを特徴とする画像分類方法。
被検査対象物を撮像して得た画像を多数収集して分類基準学習データを作成し、該画像の特徴点に基づき、大分類のカテゴリから該大分類のカテゴリ内に登録した詳細分類カテゴリに階層的に分類する画像分類方法において、分類データの各カテゴリの出現頻度から、分類基準学習データを最適化して更新することを特徴とする画像分類方法。