JP2013134666A - 二値画像生成装置、分類装置、二値画像生成方法および分類方法 - Google Patents
二値画像生成装置、分類装置、二値画像生成方法および分類方法 Download PDFInfo
- Publication number
- JP2013134666A JP2013134666A JP2011285433A JP2011285433A JP2013134666A JP 2013134666 A JP2013134666 A JP 2013134666A JP 2011285433 A JP2011285433 A JP 2011285433A JP 2011285433 A JP2011285433 A JP 2011285433A JP 2013134666 A JP2013134666 A JP 2013134666A
- Authority
- JP
- Japan
- Prior art keywords
- image
- binary image
- classification
- binary
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Abandoned
Links
Abstract
【課題】分類用の二値画像を、背景のノイズの検出を抑制しつつ容易に生成する。
【解決手段】分類装置1の撮像部2では、基板を撮像して多階調の撮像画像が取得される。検査部3の差分画像生成部31では、撮像画像と参照画像との差分画像が対象画像として生成される。二値化部32では、対象画像において欠陥の形状が検出される第1閾値、および、第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、対象画像を第1閾値にて二値化して第1二値画像が生成され、対象画像を第2閾値にて二値化して第2二値画像が生成される。連結領域取得部33では、第1二値画像に対するラベリング処理により複数の連結領域が取得される。連結領域限定部34では、複数の連結領域のうち、第2二値画像にて検出される位置の画素を含まない連結領域が特定されて削除される。これにより、分類用二値画像が生成される。
【選択図】図3
【解決手段】分類装置1の撮像部2では、基板を撮像して多階調の撮像画像が取得される。検査部3の差分画像生成部31では、撮像画像と参照画像との差分画像が対象画像として生成される。二値化部32では、対象画像において欠陥の形状が検出される第1閾値、および、第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、対象画像を第1閾値にて二値化して第1二値画像が生成され、対象画像を第2閾値にて二値化して第2二値画像が生成される。連結領域取得部33では、第1二値画像に対するラベリング処理により複数の連結領域が取得される。連結領域限定部34では、複数の連結領域のうち、第2二値画像にて検出される位置の画素を含まない連結領域が特定されて削除される。これにより、分類用二値画像が生成される。
【選択図】図3
Description
本発明は、対象物の形状を示すとともに、当該対象物の分類に用いられる分類用二値画像を生成する技術、および、対象物を分類する技術に関する。
半導体基板、ガラス基板、プリント基板等の製造では、異物や傷、エッチング不良等の製造上の欠陥を検査するために光学顕微鏡や走査電子顕微鏡等を用いて外観検査が行われる。例えば、特許文献1では、基本閾値、不足系欠陥(例えば、ピンホール欠陥)検出用閾値、および、余剰系欠陥(例えば、飛散欠陥)検出用閾値からなる3閾値による二値画像と、例えば、ヘアラインショートやヘアライン断線検出用の2次微分閾値による2次微分二値画像とを論理合成することにより、欠陥を検出する手法が開示されている。
また、検査にて検出された欠陥を自動的に分類する自動欠陥分類(Auto Defect Classification)も実用されている。自動欠陥分類により欠陥の解析を迅速かつ効率的に行うことが実現され、発生頻度の高い欠陥の種別に注目して優先的に対策を施すことが可能となる。
なお、特許文献2では、適切な二値化閾値を得る手法が開示されており、本手法では、被処理画像を表現する画像信号が有する階調値が画素の配列方向に沿って、所定の閾値を跨いで増加または減少する回数で定義される1次変化点数の、当該閾値に対する分布を表現する1次変化点数ヒストグラムを作成し、1次変化点数ヒストグラムが有する2つのピークに挟まれる範囲内で二値化閾値が探索される。また、二値化閾値を求める手法として、クラス間分散とクラス内分散との比である分離度が最大となる閾値を求める大津の方法や、双峰性を有する階調値のヒストグラムにおいて谷の位置を閾値として決定するモード法が知られている。
ところで、自動欠陥分類では、検出された欠陥の特徴量を抽出し、当該特徴量に基づいて欠陥を予め定められた種別に分類するが、分類を精度よく行うには、欠陥の形状に関する特徴量が含まれることが好ましい。
一方、コントラストが比較的低い欠陥を示す多階調の撮像画像を、大津の方法やモード法にて得られる閾値にて二値化する場合、これらの閾値は背景のノイズの検出を低減するため、二値画像において欠陥の領域の一部が非検出となる。したがって、比較的広範囲に広がる欠陥では、二値画像が示す欠陥の形状が、人が撮像画像を見て感じる欠陥の形状とは大きく異なる。また、特許文献2の手法により得られる閾値は、大津の方法やモード法にて得られる閾値に比べて小さくなるため(すなわち、検出感度が上げるため)、検出される欠陥の形状は望ましいものとなるが、背景のノイズによる擬欠陥も増加して、真の欠陥を特定することが難しくなる。このように、擬欠陥の検出を抑制しつつ、欠陥の形状が検出される閾値を設定することは不可能であるため、欠陥の形状を示す分類用の二値画像を、擬欠陥の検出を抑制しつつ生成することは容易ではない。
本発明は上記課題に鑑みなされたものであり、対象物の形状を示すとともに、当該対象物の分類に用いられる分類用二値画像を、背景のノイズの検出を抑制しつつ容易に生成することを目的としている。
請求項1に記載の発明は、対象物の形状を示すとともに、前記対象物の分類に用いられる分類用二値画像を生成する二値画像生成装置であって、対象物を撮像して多階調の撮像画像を取得する撮像部と、前記撮像画像または前記撮像画像に対して所定の処理を施すことにより前記対象物が強調された多階調の画像を対象画像として、前記対象画像において前記対象物の形状が検出される第1閾値、および、前記第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、前記対象画像において前記背景を示す階調値との差が前記第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、前記背景を示す階調値との差が前記第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像を生成する画像生成部とを備える。
請求項2に記載の発明は、請求項1に記載の二値画像生成装置であって、前記画像生成部が、前記対象画像を前記第1閾値にて二値化して第1二値画像を生成するとともに、前記対象画像を前記第2閾値にて二値化して第2二値画像を生成する二値化部と、前記第1二値画像に対するラベリング処理により前記複数の連結領域を取得する連結領域取得部と、前記複数の連結領域のうち、前記第2二値画像にて検出される位置の画素を含まない連結領域を特定して削除する連結領域限定部とを備える。
請求項3に記載の発明は、請求項1または2に記載の二値画像生成装置であって、前記対象物が基板上のパターンの欠陥であり、前記対象画像が、前記撮像画像とパターンを示す参照画像との差を示す画像である。
請求項4に記載の発明は、対象物を分類する分類装置であって、請求項1ないし3のいずれかに記載の二値画像生成装置と、前記二値画像生成装置にて生成された前記分類用二値画像に基づいて前記対象物を分類する分類部とを備える。
請求項5に記載の発明は、対象物の形状を示すとともに、前記対象物の分類に用いられる分類用二値画像を生成する二値画像生成方法であって、a)対象物を撮像して取得される多階調の撮像画像を準備する工程と、b)前記撮像画像または前記撮像画像に対して所定の処理を施すことにより前記対象物が強調された多階調の画像を対象画像として、前記対象画像において前記対象物の形状が検出される第1閾値、および、前記第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、前記対象画像において前記背景を示す階調値との差が前記第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、前記背景を示す階調値との差が前記第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像を生成する工程とを備える。
請求項6に記載の発明は、請求項5に記載の二値画像生成方法であって、前記b)工程が、b1)前記対象画像を前記第1閾値にて二値化して第1二値画像を生成する工程と、b2)前記対象画像を前記第2閾値にて二値化して第2二値画像を生成する工程と、b3)前記第1二値画像に対するラベリング処理により前記複数の連結領域を取得する工程と、b4)前記複数の連結領域のうち、前記第2二値画像にて検出される位置の画素を含まない連結領域を特定して削除する工程とを備える。
請求項7に記載の発明は、請求項5または6に記載の二値画像生成方法であって、前記対象物が基板上のパターンの欠陥であり、前記対象画像が、前記撮像画像とパターンを示す参照画像との差を示す画像である。
請求項8に記載の発明は、対象物を分類する分類方法であって、請求項5ないし7のいずれかに記載の二値画像生成方法を実行する工程と、前記二値画像生成方法にて生成された前記分類用二値画像に基づいて前記対象物を分類する工程とを備える。
本発明によれば、対象物の形状を示す分類用二値画像を、背景のノイズの検出を抑制しつつ容易に生成することができる。請求項2および6の発明では、分類用二値画像をさらに容易に生成することができる。請求項4および8の発明では、対象物の分類を精度よく行うことができる。
図1は本発明の一の実施の形態に係る分類装置1の構成を示す図である。分類装置1は、半導体基板9(以下、単に「基板9」という。)上のパターンの欠陥を示す二値画像を生成し、二値画像に基づいて欠陥の分類を行う装置である。分類装置1は基板9上の検査対象領域を撮像する撮像部2、および、分類装置1の全体動作を制御するとともに、後述の検査部、自動欠陥分類部および学習部を実現するコンピュータ5を備える。コンピュータ5では、撮像部2からの画像データに基づいて欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべき種別へと欠陥を自動分類する処理が行われる。基板9上に存在する欠陥の種別は、例えば、欠け、突起、断線、ショート、異物等である。分類装置1は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。
撮像部2は、基板9上の検査対象領域を撮像して多階調の撮像画像(のデータ)を取得する撮像デバイス21、基板9を保持するステージ22、および、撮像デバイス21に対してステージ22を相対的に移動するステージ駆動部23を有する。撮像デバイス21は、照明光を出射する照明部211、基板9に照明光を導くとともに基板9からの光が入射する光学系212、および、光学系212により結像された基板9の像を電気信号に変換するエリアセンサ213を有する。ステージ駆動部23はボールねじ、ガイドレール、モータ等により構成され、コンピュータ5がステージ駆動部23および撮像デバイス21を制御することにより、基板9上の検査対象領域が撮像される。撮像デバイス21では、受光素子が一次元に配列されたラインセンサがエリアセンサ213に代えて用いられてよく、この場合、受光素子の配列方向に垂直な方向にステージ22を移動することにより、検査対象領域を示す二次元の撮像画像が取得される。
図2はコンピュータ5の構成を示す図である。コンピュータ5は各種演算処理を行うCPU51、基本プログラムを記憶するROM52および各種情報を記憶するRAM53をバスラインに接続した一般的なコンピュータシステムの構成となっている。バスラインにはさらに、情報記憶を行う固定ディスク54、画像等の各種情報の表示を行うディスプレイ55、操作者からの入力を受け付けるキーボード56aおよびマウス56b(以下、「入力部56」と総称する。)、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体8から情報の読み取りを行う読取装置57、並びに、分類装置1の他の構成との間で信号を送受信する通信部58が、適宜、インターフェイス(I/F)を介する等して接続される。
コンピュータ5には、事前に読取装置57を介して記録媒体8からプログラム80が読み出されて固定ディスク54に記憶され、さらに、プログラム80はRAM53にコピーされるとともにCPU51によりRAM53内のプログラムに従って演算処理が実行される。
図3は分類装置1における機能構成を示すブロック図であり、図3では、コンピュータ5のCPU51、ROM52、RAM53、固定ディスク54等により実現される機能構成を、符号5を付す破線の矩形にて囲んでいる。コンピュータ5は、撮像部2にて取得される撮像画像に基づいて欠陥を検出する検査部3、欠陥が検出された場合にニューラルネットワーク、決定木、判別分析等を利用して当該欠陥を自動的に分類する自動欠陥分類部41、自動欠陥分類部41を学習させる学習部42、および、表示部であるディスプレイ55を有する。検査部3は、差分画像生成部31、二値化部32、連結領域取得部33および連結領域限定部34を有し、自動欠陥分類部41は、特徴量算出部411および分類部412を有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。
図4は、分類装置1が欠陥を検出して分類する処理の流れを示す図である。まず、撮像部2が基板9の検査対象領域を撮像することにより、図5に示す多階調の撮像画像(のデータ)が取得され、検査部3に入力される(すなわち、撮像画像が準備される。)(ステップS11)。図5では、撮像画像の一部を示しており、実際には、基板9上のパターンを示す撮像画像が取得される。後述の図6ないし図9、図12、並びに、図13の画像は、図5に対応する基板9上の領域のみを示すものである。実際には、撮像部2により基板9上の複数の検査対象領域が順に撮像されて複数の撮像画像が取得され、以下の処理は、複数の撮像画像に対して順次行われる。
差分画像生成部31では、基板9の検査対象領域におけるパターンを示す多階調の参照画像(すなわち、欠陥が存在しない当該パターンを示す画像)が予め準備されており、撮像画像の各画素と、当該画素と同じ位置である参照画像の画素との間における階調値(画素値)の差の絶対値を示す画像(以下、「差分画像」という。)が取得される(ステップS12)。
図6は差分画像を示す図である。差分画像は、撮像画像と参照画像との相違を示す画像であるため、撮像画像における欠陥が、欠陥以外の部分である背景に対して強調された画像であると捉えることができる。図7は図6の差分画像にコントラスト強調処理を施した画像を示す図である。実際の処理では、図6の差分画像に対して必ずしもコントラスト強調処理を施す必要はないが、本処理例では、図6の差分画像にコントラスト強調処理を施した図7の差分画像を、以下の処理が行われる対象画像として説明を行う。もちろん、図6の差分画像が対象画像として取り扱われてもよい。
対象画像が取得されると、二値化部32では、上記特許文献2(特開平6−86073号公報)と同様の手法にて準備される第1閾値を用いて対象画像が二値化され、第1二値画像が生成される(ステップS13)。詳細には、対象画像を表現する画像信号における階調値が画素の配列方向に沿って、所定の閾値を超えて(跨いで)増加または減少する回数で定義される1次変化点数の、当該閾値に対する分布を表現する1次変化点数ヒストグラムが作成される。続いて、当該分布に基づき、閾値が順次変化するに伴って、当該閾値に対応する1次変化点数が、所定の基準1次変化点数を超えて増加または減少する回数で定義される2次変化点数の、当該基準1次変化点数に対する分布を表現する2次変化点数ヒストグラムが作成される。そして、2次変化点数ヒストグラムに基づいて、2次変化点数が最も長く連続して4である基準1次変化点数の区間で定義される安定区間が判定され、1次変化点数ヒストグラムにおいて1次変化点数が当該安定区間内にある閾値の範囲内(1次変化点数ヒストグラムが有する2つのピークに挟まれる範囲内)で第1閾値が決定される。その後、図7の対象画像において階調値が第1閾値よりも高い画素(以下、「検出画素」という。)に階調値1が付与され、階調値が第1閾値以下の画素に階調値0が付与され、図8に示すように第1二値画像が生成される。図8では、検出画素を白にて表している。
第1二値画像が生成されると、二値化部32では、周知の大津の方法にて準備される第2閾値を用いて対象画像が二値化され、第2二値画像が生成される(ステップS14)。具体的には、クラス間分散とクラス内分散との比である分離度が最大となる第2閾値が求められ、図7の対象画像において階調値が第2閾値よりも高い画素(以下、「検出画素」という。)に階調値1が付与され、階調値が第2閾値以下の画素に階調値0が付与される。これにより、図9に示す第2二値画像が生成される。図9では、検出画素を白にて表している。
ここで、第1閾値と第2閾値との相違について述べる。図10は、図7の対象画像において、中央近傍を通過するとともに横方向(図10中にてx方向として示す。)に伸びる白い直線L上における画素の階調値のプロファイルを示す図であり、図11は、図7の対象画像の全体における階調値のヒストグラムを示す図である。図10および図11に示すように、第2閾値T2は、第1閾値T1よりも大きく、上記二値化処理において対象画像中の背景のノイズ(図7のおよそ全体に散在するグレーの領域であり、例えば、撮像デバイス21における電気的ノイズに起因するものである。)が検出画素として検出されることが第1閾値T1に比べて低減される閾値である。また、第1閾値T1は、上記二値化処理において対象画像中の欠陥の形状が第2閾値T2に比べて正確に検出される閾値であり、実際には、第1閾値T1により欠陥の領域のおよそ全体が検出画素として検出される。
したがって、図8の第1二値画像では、背景のノイズを示す白い検出画素が多く存在するが(すなわち、擬欠陥が多く検出されるが)、人が対象画像を見て感じる欠陥の形状とほぼ同じ形状の欠陥が検出されている。また、図9の第2二値画像では、人が対象画像を見て感じる欠陥の形状と異なる形状の欠陥が検出されるが、擬欠陥はほとんど検出されていない。なお、対象画像において背景のノイズ(擬欠陥)の検出が低減可能であり、かつ、欠陥の少なくとも一部が検出される第2閾値は、大津の方法とは異なる手法にて求められてよい。また、第2閾値よりも小さく、かつ、欠陥の形状が忠実に検出可能である第1閾値も、上記特許文献2の手法とは異なる手法にて求められてよい。
第1および第2二値画像が生成されると、連結領域取得部33では、図8の第1二値画像に対するラベリング処理により複数の領域71(以下、「連結領域71」という。)が取得される(ステップS15)。各連結領域71は、互いに隣接する検出画素の集合であり、連結領域取得部33により複数の連結領域71に対して異なるラベル番号が付与される。このとき、欠陥を示す連結領域71のみならず、欠陥の背景における擬欠陥を示す領域も連結領域71として取得される。
連結領域限定部34では、図9の第2二値画像の各検出画素に対応する、図8の第1二値画像の画素(すなわち、当該検出画素と同じ位置の画素)が特定され、当該画素に付与されたラベル番号が特定ラベル番号として取得される。そして、図12に示すように特定ラベル番号の連結領域71aのみを示す新たな二値画像が生成される。後述するように、図12の二値画像は欠陥の分類に用いられるため、以下、「分類用二値画像」という。
図13は、第1二値画像と第2二値画像とを重ねて示す図である。図13では、第2二値画像における検出画素を白にて示し、第1二値画像における連結領域のうち特定ラベル番号の連結領域を淡いグレーおよび白にて示し、残りの連結領域を濃いグレーにて示す。図12および図13から判るように、連結領域限定部34における上記処理は、複数の連結領域のうち、第2二値画像にて検出される位置の画素を含まない連結領域(図13中の濃いグレーの連結領域)、すなわち、擬欠陥を示す連結領域を特定して削除する処理として捉えることができる(ステップS16)。
以上のように、検査部3は、第2二値画像において検出画素が存在する(すなわち、欠陥が存在する)場合に、欠陥領域(連結領域71a)を示す分類用二値画像を生成する画像生成部としての役割を果たし、撮像部2および検査部3により、欠陥の形状を示す分類用二値画像を生成する二値画像生成装置が実現される。なお、第2二値画像において検出画素が存在しない(欠陥が存在しない)場合は、特定ラベル番号も取得されないため、分類用二値画像は生成されず、自動欠陥分類部41における後述の処理は行われない。
本処理例では、対象画像が撮像画像と参照画像との差を示す画像であるため、対象画像における背景の階調値は、理想的には0となる。したがって、図8の連結領域71は、対象画像において背景を示す階調値との差が第1閾値よりも大きい階調値(すなわち、背景を示す階調値に対して第1閾値よりも遠い階調値)を有する画素の集合であると捉えることができる。また、図12の分類用二値画像が示す連結領域71aは、対象画像において背景を示す階調値との差が第2閾値よりも大きい階調値の画素を含む連結領域であると捉えることができる。
分類用二値画像が生成されると、分類用二値画像、撮像画像、参照画像および対象画像は、自動欠陥分類部41の特徴量算出部411に出力される。特徴量算出部411では、分類用二値画像から欠陥の形状に関する特徴量(例えば、欠陥の面積、周囲長、扁平度、欠陥を楕円に近似した場合の長軸の傾き等)が算出される(ステップS17)。また、分類用二値画像を用いることにより、撮像画像や対象画像中の欠陥領域を背景と区別する(背景から分離する)ことが可能となり、欠陥領域における濃淡に基づく特徴量等も求められる。これらの特徴量は分類部412に入力され、撮像画像が示す欠陥が、複数の種別のいずれかに分類される(ステップS18)。分類結果は、ディスプレイ55に表示され、操作者に報告される。欠陥を示す撮像画像や欠陥の位置情報等が、分類結果と共にディスプレイ55に表示されてもよい。
実際の分類装置1では、検査部3にて分類用二値画像が生成される(すなわち、欠陥が検出される)毎に特徴量の算出がリアルタイムにて行われ、多数の欠陥の自動分類が高速に行われる。
分類部412の学習の際には、様々な欠陥を示す複数の撮像画像が準備され、各撮像画像の欠陥の種別が操作者により決定される。また、撮像画像から、上記と同様の手法により対象画像および分類用二値画像が生成され、これらの画像を用いて欠陥に対する複数の特徴量が算出される。そして、分類用二値画像、撮像画像、参照画像および対象画像、並びに、これらの特徴量および欠陥の種別の情報が教師データとして学習部42に転送され、学習部42にて教師データを用いて分類部412の学習が行われる。すなわち、分類部412の構成における変数の値が決定されたり、構造が決定されて分類部412が生成される。
以上に説明したように、分類装置1では、撮像画像と参照画像との差を示す多階調の差分画像が対象画像として取得される。また、対象画像において欠陥の形状が検出される第1閾値、および、第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が対象画像に基づいて準備される。そして、対象画像において第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、階調値が第2閾値よりも大きい画素を含む連結領域のみを示す分類用二値画像が生成される。これにより、コントラストが比較的低い欠陥であっても、欠陥の形状を示す分類用二値画像を、背景のノイズの検出を抑制しつつ容易に生成することができる。また、自動欠陥分類部41では、このような分類用二値画像に基づいて欠陥が分類されることにより、欠陥の分類をより精度よく行うことができる。
上記処理例では、第1二値画像に対するラベリング処理にて特定された連結領域のうち、第2二値画像における検出画素と同じ位置の画素を含まないものを削除することにより分類用二値画像が容易に生成されるが、分類用二値画像は他の手法により生成されてもよい。
例えば、検査部3では、第2閾値を用いて対象画像を二値化することにより第2二値画像のみが生成される。続いて、対象画像において、第2二値画像における一の検出画素に対応する画素が連結要素画素として特定され、当該連結要素画素の4近傍(8近傍であってもよい。)の画素が探索対象となる。そして、探索対象のうち階調値が第1閾値よりも大きい画素が、新たな連結要素画素として特定される。同様に、この連結要素画素の4近傍(8近傍であってもよい。)の画素が探索対象となり、探索対象のうち階調値が第1閾値よりも大きい画素が新たな連結要素画素として特定される。このようにして、連結要素画素が特定される毎に、この連結要素画素の4近傍を探索対象として、新たな連結要素画素が探索される。このとき、既に探索対象となった画素(以下、「探索済み画素」という。)を特定する情報も生成することにより、探索済み画素を探索対象から排除する(すなわち、探索済み画素が繰り返し探索対象となることを避ける)ことが可能である。なお、第2二値画像における上記一の検出画素に対応する画素も探索済み画素として取り扱われる。
新たな連結要素画素が特定されなくなると、対象画像において、第2二値画像における他の一の検出画素に対応する画素(ただし、探索済み画素を除く。)が連結要素画素として特定され、上記と同様の処理が行われる。第2二値画像における全ての検出画素に対応する画素が探索済み画素となると、全ての連結要素画素に階調値1を付与し、他の画素に階調値0を付与した画像が、分類用二値画像として生成される。上記処理では、第1二値画像の生成、第1二値画像のラベリング処理(複数の連結領域の取得)、および、第2二値画像により特定されない連結領域を削除する処理が並行して行われていると捉えることができる。
本手法では、ラベリング処理に相当する連結要素画素の探索が、第2二値画像における検出画素に対応する画素の周囲に制限されるため、対象画像のサイズ(画素数)が大きい場合には、第1二値画像および第2二値画像を生成する図4の処理に比べて、分類用二値画像を高速に生成することが可能となる。なお、対象画像において画素を順にスキャンして第2閾値よりも階調値が高い画素を順次検出することにより、第2二値画像を生成することなく、上記処理が行われてもよい。
以上、本発明の実施の形態について説明してきたが、本発明は上記実施の形態に限定されるものではなく、様々な変形が可能である。
上記実施の形態では、撮像画像に対して参照画像との差の絶対値を求める処理を施すことにより得られる差分画像が、対象画像として取り扱われるが、例えば、基板9上の一様な膜上の欠陥を検出する場合等には、撮像画像に対してコントラスト強調処理を施すことにより欠陥が強調された多階調の画像や、撮像画像自体が対象画像として取り扱われてもよい。
この場合、対象画像の全ての画素のうち、その周囲の背景を示す階調値との差が大きい階調値を有する画素(すなわち、背景に比べて明るい、または、暗い画素)が基板上の異常な部位を示すと捉えられる。したがって、検査部3では、このような対象画像において、欠陥の形状を検出するための第1閾値、および、第1閾値よりも大きく、背景のノイズの検出を低減するための第2閾値が準備される。そして、対象画像において当該背景を示す階調値(すなわち、背景領域における階調値の平均値、中央値あるいは最頻値等の代表値)との差が第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、当該背景を示す階調値との差が第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像が生成される。なお、分類用二値画像の生成の際に、図4の処理のように第1二値画像が生成される場合には、対象画像において、背景を示す階調値αとの差が第1閾値T1よりも大きい階調値βを有する画素(すなわち、(α−β)の絶対値がT1よりも大きい画素)が検出画素とされる(第2二値画像において同様)。
上記実施の形態では、撮像部2および検査部3が実現する二値画像生成装置を、欠陥検査装置に自動欠陥分類の機能を付加した分類装置1に適用する場合について説明したが、他の欠陥検査装置にて検出された基板上の欠陥を観察する観察装置(レビュー装置とも呼ばれる。)に自動欠陥分類の機能を付加した装置(同様に、分類装置として捉えることができる。)において、二値画像生成装置が用いられてもよい。このような二値画像生成装置における撮像部では、欠陥をより高度に解析するため、図1の撮像部2に比べて高い解像度の撮像画像が取得される。そして、当該撮像画像を用いて図1の分類装置1と同様の処理により、分類用二値画像が生成される。
一般的な観察装置では、他の欠陥検査装置にて検出された基板上の欠陥の位置情報が入力され、当該位置情報が示す基板上の位置が撮像されるのみであるため、自動欠陥分類を行うには、操作者が撮像画像中の欠陥領域を特定する必要がある。これに対し、二値画像生成装置では、欠陥の形状を示す分類用二値画像を生成することにより、その形状と共に欠陥領域が自動的に検出されるため、二値画像生成装置は、観察装置に自動欠陥分類の機能を付加した装置にも適している。
図1の分類装置1では、半導体基板に代えてガラス基板(例えば、平面表示装置用のガラス基板)、プリント配線基板あるいは基板の露光に使用するマスク基板等の検査が行われてもよい。
また、二値画像生成装置が、血液や培養液等の所定の液中の細胞を分類する用途に用いられてもよい。この場合、細胞を含む液を撮像して撮像画像(細胞画像)が取得され、撮像画像に対して所定の処理(例えば、コントラスト強調処理や、差分画像生成処理)を施すことにより細胞が強調された多階調の画像が対象画像(撮像画像自体であってもよい。)として生成される。続いて、対象画像において細胞の形状が検出される第1閾値、および、第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備される。そして、対象画像において背景を示す階調値(対象画像が差分画像である場合には、階調値0)との差が第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、背景を示す階調値との差が第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像が生成される。
分類用二値画像では各連結領域が細胞の形状を示すため、分類用二値画像が示す細胞の形状等に基づいて、当該細胞が、生細胞または死細胞、あるいは、細胞の種別に分類される。これにより、撮像画像中における生細胞数および死細胞数や、各種別の細胞の個数等を自動的に取得することが可能となる。以上のように、二値画像生成装置は、様々な対象物の分類用二値画像の生成に利用可能である。
また、二値画像生成装置では、可視光による撮像画像以外に、電子線やX線等による撮像画像が取得されてよい。
上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。
1 分類装置
2 撮像部
3 検査部
9 基板
32 二値化部
33 連結領域取得部
34 連結領域限定部
71,71a 連結領域
412 分類部
S11〜S18 ステップ
2 撮像部
3 検査部
9 基板
32 二値化部
33 連結領域取得部
34 連結領域限定部
71,71a 連結領域
412 分類部
S11〜S18 ステップ
Claims (8)
- 対象物の形状を示すとともに、前記対象物の分類に用いられる分類用二値画像を生成する二値画像生成装置であって、
対象物を撮像して多階調の撮像画像を取得する撮像部と、
前記撮像画像または前記撮像画像に対して所定の処理を施すことにより前記対象物が強調された多階調の画像を対象画像として、前記対象画像において前記対象物の形状が検出される第1閾値、および、前記第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、前記対象画像において前記背景を示す階調値との差が前記第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、前記背景を示す階調値との差が前記第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像を生成する画像生成部と、
を備えることを特徴とする二値画像生成装置。 - 請求項1に記載の二値画像生成装置であって、
前記画像生成部が、
前記対象画像を前記第1閾値にて二値化して第1二値画像を生成するとともに、前記対象画像を前記第2閾値にて二値化して第2二値画像を生成する二値化部と、
前記第1二値画像に対するラベリング処理により前記複数の連結領域を取得する連結領域取得部と、
前記複数の連結領域のうち、前記第2二値画像にて検出される位置の画素を含まない連結領域を特定して削除する連結領域限定部と、
を備えることを特徴とする二値画像生成装置。 - 請求項1または2に記載の二値画像生成装置であって、
前記対象物が基板上のパターンの欠陥であり、
前記対象画像が、前記撮像画像とパターンを示す参照画像との差を示す画像であることを特徴とする二値画像生成装置。 - 対象物を分類する分類装置であって、
請求項1ないし3のいずれかに記載の二値画像生成装置と、
前記二値画像生成装置にて生成された前記分類用二値画像に基づいて前記対象物を分類する分類部と、
を備えることを特徴とする分類装置。 - 対象物の形状を示すとともに、前記対象物の分類に用いられる分類用二値画像を生成する二値画像生成方法であって、
a)対象物を撮像して取得される多階調の撮像画像を準備する工程と、
b)前記撮像画像または前記撮像画像に対して所定の処理を施すことにより前記対象物が強調された多階調の画像を対象画像として、前記対象画像において前記対象物の形状が検出される第1閾値、および、前記第1閾値よりも大きく、背景のノイズの検出が低減される第2閾値が準備され、前記対象画像において前記背景を示す階調値との差が前記第1閾値よりも大きい階調値を有するとともに互いに隣接する画素の集合を連結領域として、複数の連結領域のうち、前記背景を示す階調値との差が前記第2閾値よりも大きい階調値の画素を含む連結領域のみを示す分類用二値画像を生成する工程と、
を備えることを特徴とする二値画像生成方法。 - 請求項5に記載の二値画像生成方法であって、
前記b)工程が、
b1)前記対象画像を前記第1閾値にて二値化して第1二値画像を生成する工程と、
b2)前記対象画像を前記第2閾値にて二値化して第2二値画像を生成する工程と、
b3)前記第1二値画像に対するラベリング処理により前記複数の連結領域を取得する工程と、
b4)前記複数の連結領域のうち、前記第2二値画像にて検出される位置の画素を含まない連結領域を特定して削除する工程と、
を備えることを特徴とする二値画像生成方法。 - 請求項5または6に記載の二値画像生成方法であって、
前記対象物が基板上のパターンの欠陥であり、
前記対象画像が、前記撮像画像とパターンを示す参照画像との差を示す画像であることを特徴とする二値画像生成方法。 - 対象物を分類する分類方法であって、
請求項5ないし7のいずれかに記載の二値画像生成方法を実行する工程と、
前記二値画像生成方法にて生成された前記分類用二値画像に基づいて前記対象物を分類する工程と、
を備えることを特徴とする分類方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011285433A JP2013134666A (ja) | 2011-12-27 | 2011-12-27 | 二値画像生成装置、分類装置、二値画像生成方法および分類方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011285433A JP2013134666A (ja) | 2011-12-27 | 2011-12-27 | 二値画像生成装置、分類装置、二値画像生成方法および分類方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2013134666A true JP2013134666A (ja) | 2013-07-08 |
Family
ID=48911304
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011285433A Abandoned JP2013134666A (ja) | 2011-12-27 | 2011-12-27 | 二値画像生成装置、分類装置、二値画像生成方法および分類方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2013134666A (ja) |
Cited By (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103778609A (zh) * | 2014-01-22 | 2014-05-07 | 南京航空航天大学 | 基于像素连续性判断的二值化图像和灰度图像的高效去噪声法 |
CN103839268A (zh) * | 2014-03-18 | 2014-06-04 | 北京交通大学 | 一种地铁隧道表面裂缝的检测方法 |
WO2015015945A1 (ja) * | 2013-07-30 | 2015-02-05 | シャープ株式会社 | 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 |
CN104657706A (zh) * | 2015-01-27 | 2015-05-27 | 北京大学 | 基于图像的高铁线路线杆断裂与联接结构体异常检测方法 |
CN105261011A (zh) * | 2015-09-22 | 2016-01-20 | 武汉大学 | 一种无人机巡检航拍复杂背景影像中绝缘子的提取方法 |
WO2016051841A1 (ja) * | 2014-09-29 | 2016-04-07 | 株式会社Screenホールディングス | 検査装置および検査方法 |
JP2016181098A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社Screenホールディングス | 領域検出装置および領域検出方法 |
CN107945190A (zh) * | 2017-12-22 | 2018-04-20 | 成都华栖云科技有限公司 | 二值图像快速连通区域计算方法 |
CN109995964A (zh) * | 2019-02-21 | 2019-07-09 | 西安万像电子科技有限公司 | 图像数据处理方法及装置 |
CN112200800A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种基于灰度直方图梯度加权目标方差的电润湿显示器缺陷检测方法 |
CN113221737A (zh) * | 2021-05-11 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种物料信息的确定方法、装置、设备及存储介质 |
CN113255657A (zh) * | 2020-12-31 | 2021-08-13 | 深圳怡化电脑股份有限公司 | 票据表面刮痕检测方法、装置、电子设备、机器可读介质 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04106460A (ja) * | 1990-08-28 | 1992-04-08 | Toshiba Corp | 欠陥検出方法 |
JP2000199745A (ja) * | 1998-10-26 | 2000-07-18 | Dainippon Printing Co Ltd | 色ムラの検査方法及び装置 |
JP2001021502A (ja) * | 1999-07-07 | 2001-01-26 | Kobe Steel Ltd | 欠陥検査方法及びその装置 |
JP2007256132A (ja) * | 2006-03-24 | 2007-10-04 | Ckd Corp | 検査装置及びptpシートの製造装置 |
-
2011
- 2011-12-27 JP JP2011285433A patent/JP2013134666A/ja not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04106460A (ja) * | 1990-08-28 | 1992-04-08 | Toshiba Corp | 欠陥検出方法 |
JP2000199745A (ja) * | 1998-10-26 | 2000-07-18 | Dainippon Printing Co Ltd | 色ムラの検査方法及び装置 |
JP2001021502A (ja) * | 1999-07-07 | 2001-01-26 | Kobe Steel Ltd | 欠陥検査方法及びその装置 |
JP2007256132A (ja) * | 2006-03-24 | 2007-10-04 | Ckd Corp | 検査装置及びptpシートの製造装置 |
Cited By (20)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015015945A1 (ja) * | 2013-07-30 | 2015-02-05 | シャープ株式会社 | 欠陥候補特定装置、欠陥候補特定方法、欠陥判定装置、欠陥検査装置、欠陥候補特定プログラム及び記録媒体 |
CN103778609A (zh) * | 2014-01-22 | 2014-05-07 | 南京航空航天大学 | 基于像素连续性判断的二值化图像和灰度图像的高效去噪声法 |
CN103839268A (zh) * | 2014-03-18 | 2014-06-04 | 北京交通大学 | 一种地铁隧道表面裂缝的检测方法 |
US10613037B2 (en) | 2014-09-29 | 2020-04-07 | SCREEN Holdings Co., Ltd. | Inspection apparatus and inspection method |
WO2016051841A1 (ja) * | 2014-09-29 | 2016-04-07 | 株式会社Screenホールディングス | 検査装置および検査方法 |
JP2016070732A (ja) * | 2014-09-29 | 2016-05-09 | 株式会社Screenホールディングス | 検査装置および検査方法 |
CN107076677A (zh) * | 2014-09-29 | 2017-08-18 | 株式会社斯库林集团 | 检查装置以及检查方法 |
EP3203217A4 (en) * | 2014-09-29 | 2018-05-09 | SCREEN Holdings Co., Ltd. | Inspection device and inspection method |
CN104657706A (zh) * | 2015-01-27 | 2015-05-27 | 北京大学 | 基于图像的高铁线路线杆断裂与联接结构体异常检测方法 |
CN104657706B (zh) * | 2015-01-27 | 2017-12-29 | 北京大学 | 基于图像的高铁线路线杆断裂与联接结构体异常检测方法 |
JP2016181098A (ja) * | 2015-03-24 | 2016-10-13 | 株式会社Screenホールディングス | 領域検出装置および領域検出方法 |
CN105261011A (zh) * | 2015-09-22 | 2016-01-20 | 武汉大学 | 一种无人机巡检航拍复杂背景影像中绝缘子的提取方法 |
CN107945190A (zh) * | 2017-12-22 | 2018-04-20 | 成都华栖云科技有限公司 | 二值图像快速连通区域计算方法 |
CN109995964A (zh) * | 2019-02-21 | 2019-07-09 | 西安万像电子科技有限公司 | 图像数据处理方法及装置 |
CN112200800A (zh) * | 2020-10-30 | 2021-01-08 | 福州大学 | 一种基于灰度直方图梯度加权目标方差的电润湿显示器缺陷检测方法 |
CN112200800B (zh) * | 2020-10-30 | 2022-10-28 | 福州大学 | 一种基于灰度直方图的电润湿显示器缺陷检测方法 |
CN113255657A (zh) * | 2020-12-31 | 2021-08-13 | 深圳怡化电脑股份有限公司 | 票据表面刮痕检测方法、装置、电子设备、机器可读介质 |
CN113255657B (zh) * | 2020-12-31 | 2024-04-05 | 深圳怡化电脑股份有限公司 | 票据表面刮痕检测方法、装置、电子设备、机器可读介质 |
CN113221737A (zh) * | 2021-05-11 | 2021-08-06 | 杭州海康威视数字技术股份有限公司 | 一种物料信息的确定方法、装置、设备及存储介质 |
CN113221737B (zh) * | 2021-05-11 | 2023-09-05 | 杭州海康威视数字技术股份有限公司 | 一种物料信息的确定方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2013134666A (ja) | 二値画像生成装置、分類装置、二値画像生成方法および分類方法 | |
KR102083706B1 (ko) | 반도체 검사 레시피 생성, 결함 리뷰 및 계측을 위한 적응적 샘플링 | |
JP4776308B2 (ja) | 画像欠陥検査装置、画像欠陥検査システム、欠陥分類装置及び画像欠陥検査方法 | |
JP2017049974A (ja) | 識別器生成装置、良否判定方法、およびプログラム | |
JP6059486B2 (ja) | 教師データ検証装置、教師データ作成装置、画像分類装置、教師データ検証方法、教師データ作成方法および画像分類方法 | |
US20140270474A1 (en) | Detecting Defects on a Wafer | |
JP6549396B2 (ja) | 領域検出装置および領域検出方法 | |
KR102084535B1 (ko) | 결함 검사 장치, 결함 검사 방법 | |
JP2011158373A (ja) | 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置 | |
KR20190029484A (ko) | 검사 레시피를 생성하는 방법 및 그 시스템 | |
KR101146081B1 (ko) | 마이크로-검사 입력을 이용한 매크로 결함 검출 방법 및시스템 | |
TWI512284B (zh) | 玻璃氣泡瑕疵檢測系統 | |
JP2022000642A (ja) | 架線摩耗検査方法 | |
JP2001077165A (ja) | 欠陥検査方法及びその装置並びに欠陥解析方法及びその装置 | |
TW202024619A (zh) | 在一晶圓上偵測一邏輯區域中之缺陷 | |
KR101929669B1 (ko) | 엔트로피를 이용하여 이미지를 분석하는 방법 및 장치 | |
JP2001021332A (ja) | 表面検査装置及び表面検査方法 | |
JP2004296592A (ja) | 欠陥分類装置、欠陥分類方法およびプログラム | |
JP3752849B2 (ja) | パターン欠陥検査装置及びパターン欠陥検査方法 | |
JP3788586B2 (ja) | パターン検査装置および方法 | |
JP2013205320A (ja) | 検査条件決定方法、検査方法および検査装置 | |
JP2017142219A (ja) | 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
TWI753424B (zh) | 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式 | |
JP2004361085A (ja) | 外観検査装置 | |
TW202100991A (zh) | 外觀檢查管理系統、外觀檢查管理裝置、外觀檢查管理方法以及程式 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140625 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150305 |
|
A762 | Written abandonment of application |
Free format text: JAPANESE INTERMEDIATE CODE: A762 Effective date: 20150507 |