JP2016181098A - 領域検出装置および領域検出方法 - Google Patents

Abstract

【課題】対象画像から所定の目的に利用される目的領域を容易に検出する。【解決手段】画素特徴量算出部では、互いに異なる複数のマスクパターン６１が準備されており、対象画像の各画素を中心とするウィンドウ６内において、ウィンドウ６よりもサイズが小さい各マスクパターン６１を複数の位置に配置して当該マスクパターン６１に従った演算を行うことにより、複数のマスクパターン６１にそれぞれ対応する複数の画素特徴量が当該画素に対して取得される。画素分類器では、複数の画素特徴量に基づいて、各画素が目的領域に含まれるか否かが判定される。これにより、所定の目的に利用される目的領域が対象画像から容易に検出される。【選択図】図６

Description

本発明は、領域検出装置および領域検出方法に関する。

半導体基板、ガラス基板、プリント配線基板等の基板の外観検査において、検出された欠陥の画像を自動的に分類する自動欠陥分類が従来より行われている。自動欠陥分類では、欠陥画像から算出される特徴量を用いて判別関数が推測される。このような特徴量の一つとして高次局所自己相関（Higher-oder Local Auto-Correlation：ＨＬＡＣ）特徴量が知られている。

特許文献１および２では、２次元画像に対するＨＬＡＣを用いた適応学習型汎用画像計測法が開示されている。ＨＬＡＣは画像認識において基本的な要請となる位置不変性と加法性を満たしており、計算量の少なさと高い認識性能が特徴である。ＨＬＡＣにおける相関の次数を二次までに限定すると、変位が８近傍の場合には、多値画像に対して３５通りのマスクパターン（変位パターン）が存在し、２値画像に対して２５通りのマスクパターンが存在する。各画素に対してマスクパターンに従った演算により得られる値を画像全体で足し合わせることにより、当該マスクパターンによるＨＬＡＣ特徴量が得られる。

なお、特許文献３では、分類用の二値画像を生成する手法が開示されている。当該手法では、撮像画像と参照画像との差分画像において欠陥の形状が検出される第１閾値、および、第１閾値よりも大きく、背景のノイズの検出が低減される第２閾値が準備され、差分画像を第１閾値にて二値化して第１二値画像が生成され、差分画像を第２閾値にて二値化して第２二値画像が生成される。第１二値画像に対するラベリング処理により複数の連結領域が取得され、複数の連結領域のうち、第２二値画像にて検出される位置の画素を含まない連結領域が特定されて削除される。これにより、分類用二値画像が生成される。

特許第２９８２８１４号公報 特許第２８３４１５３号公報 特開２０１３−１３４６６６号公報

ところで、基板の外観検査において、欠陥を精度よく分類するには、欠陥領域を適切に検出する必要がある。一般的に、対象物を撮像した画像から、欠陥領域等の目的領域を検出する場合、撮像画像と、異常がない対象物を示す参照画像とが比較される。しかしながら、この場合、検査対象の領域の全てに対して参照画像を準備する必要があり、目的領域の検出が煩雑となる。また、参照画像の準備が困難なケースもある。

本発明は上記課題に鑑みなされたものであり、目的領域を容易に検出することを目的としている。

請求項１に記載の発明は、対象画像から所定の目的に利用される目的領域を検出する領域検出装置であって、互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する画素特徴量算出部と、前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する画素分類器とを備える。

請求項２に記載の発明は、請求項１に記載の領域検出装置であって、前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含む。

請求項３に記載の発明は、請求項１または２に記載の領域検出装置であって、前記画素分類器により検出された前記目的領域に対して領域特徴量を算出する領域特徴量算出部と、前記領域特徴量に基づいて前記目的領域を分類する領域分類器とをさらに備える。

請求項４に記載の発明は、請求項３に記載の領域検出装置であって、前記領域特徴量算出部が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施し、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する。

請求項５に記載の発明は、請求項１ないし４のいずれかに記載の領域検出装置であって、前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域である。

請求項６に記載の発明は、請求項５に記載の領域検出装置であって、欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記画素分類器が構築される。

請求項７に記載の発明は、対象画像から所定の目的に利用される目的領域を検出する領域検出方法であって、ａ）互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する工程と、ｂ）前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する工程とを備える。

請求項８に記載の発明は、請求項７に記載の領域検出方法であって、前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含む。

請求項９に記載の発明は、請求項７または８に記載の領域検出方法であって、ｃ）前記ｂ）工程において検出された前記目的領域に対して領域特徴量を算出する工程と、ｄ）前記領域特徴量に基づいて前記目的領域を分類する工程とをさらに備える。

請求項１０に記載の発明は、請求項９に記載の領域検出方法であって、前記ｃ）工程が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施す工程と、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する工程とを備える。

請求項１１に記載の発明は、請求項７ないし１０のいずれかに記載の領域検出方法であって、前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域である。

請求項１２に記載の発明は、請求項１１に記載の領域検出方法であって、欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記ｂ）工程にて利用される画素分類器が構築される。

本発明によれば、目的領域を容易に検出することができる。

検査・分類装置の構成を示す図である。 コンピュータの構成を示す図である。 検査・分類装置における機能構成を示すブロック図である。 画素分類器および領域分類器の構築の流れを示す図である。 教師画像セットを示す図である。 教師画像セットを示す図である。 教師画像セットを示す図である。 画素特徴量を算出する処理を説明するための図である。 検出領域画像および処理済み検出領域画像を示す図である。 検出領域画像および処理済み検出領域画像を示す図である。 検出領域画像および処理済み検出領域画像を示す図である。 検査・分類装置による検査および分類の流れを示す図である。 対象画像を示す図である。 検出領域画像および処理済み検出領域画像を示す図である。 欠陥領域画像を示す図である。 欠陥画像を示す図である。 参照画像を示す図である。 欠陥領域画像を示す図である。 対象画像を示す図である。 検出領域画像を示す図である。

図１は本発明の一の実施の形態に係る検査・分類装置１の構成を示す図である。検査・分類装置１は、半導体基板９（以下、単に「基板９」という。）上のパターンの欠陥を検出し、当該欠陥の分類を行う装置である。検査・分類装置１は基板９上の検査対象領域を撮像する撮像部２、および、検査・分類装置１の全体動作を制御するとともに、後述の検査部、分類部および学習部を実現するコンピュータ５を備える。コンピュータ５では、撮像部２からの画像データに基づいて欠陥検査を行い、欠陥が検出された場合に当該欠陥が属すべき欠陥クラス（欠陥の種別であり、「カテゴリ」等とも呼ばれる。）へと欠陥を自動分類する処理が行われる。基板９上に存在する欠陥のクラスは、例えば、欠け、突起、断線、ショート、異物等である。検査・分類装置１は、欠陥検査装置に自動欠陥分類の機能を付加した装置と捉えることもできる。

撮像部２は、基板９上の検査対象領域を撮像して多値の撮像画像（のデータ）を取得する撮像デバイス２１、基板９を保持するステージ２２、および、撮像デバイス２１に対してステージ２２を相対的に移動するステージ駆動部２３を有する。撮像デバイス２１は、照明光を出射する照明部２１１、基板９に照明光を導くとともに基板９からの光が入射する光学系２１２、および、光学系２１２により結像された基板９の像を電気信号に変換するエリアセンサ２１３を有する。ステージ駆動部２３はボールねじ、ガイドレール、モータ等により構成され、コンピュータ５がステージ駆動部２３および撮像デバイス２１を制御することにより、基板９上の検査対象領域が撮像される。撮像デバイス２１では、受光素子が一次元に配列されたラインセンサがエリアセンサ２１３に代えて用いられてよく、この場合、受光素子の配列方向に垂直な方向にステージ２２を移動することにより、検査対象領域を示す二次元の撮像画像が取得される。

図２はコンピュータ５の構成を示す図である。コンピュータ５は各種演算処理を行うＣＰＵ５１、基本プログラムを記憶するＲＯＭ５２、および、各種情報を記憶するＲＡＭ５３を含む一般的なコンピュータシステムの構成となっている。コンピュータ５は、情報記憶を行う固定ディスク５４、画像等の各種情報の表示を行うディスプレイ５５、ユーザからの入力を受け付けるキーボード５６ａおよびマウス５６ｂ（以下、「入力部５６」と総称する。）、光ディスク、磁気ディスク、光磁気ディスク等のコンピュータ読み取り可能な記録媒体８から情報の読み取りを行う読取装置５７、並びに、検査・分類装置１の他の構成との間で信号を送受信する通信部５８をさらに含む。

コンピュータ５には、事前に読取装置５７を介して記録媒体８からプログラム８０が読み出され、固定ディスク５４に記憶される。そして、ＣＰＵ５１によりＲＡＭ５３および固定ディスク５４を利用しつつプログラム８０に従って演算処理が実行される。

図３は検査・分類装置１における機能構成を示すブロック図であり、図３では、コンピュータ５のＣＰＵ５１、ＲＯＭ５２、ＲＡＭ５３、固定ディスク５４等により実現される機能構成を、符号５を付す破線の矩形にて囲んでいる。コンピュータ５は、撮像部２にて取得される撮像画像に基づいて欠陥を検出する検査部３１、および、欠陥が検出された場合にニューラルネットワーク、決定木、判別分析等を利用して当該欠陥を自動的に分類する分類部３２を有する。検査部３１は、画素特徴量算出部３１１および画素分類器３１２を有し、分類部３２は、領域特徴量算出部３２１および領域分類器３２２を有する。コンピュータ５は、画素分類器３１２および領域分類器３２２を学習させる学習部３３をさらに有する。これらの構成が実現する機能の詳細については後述する。なお、これらの機能は専用の電気回路により構築されてもよく、部分的に専用の電気回路が利用されてもよい。

検査・分類装置１では、事前準備として、画素分類器３１２および領域分類器３２２が学習部３３により構築される。図４は、画素分類器３１２および領域分類器３２２の構築の流れを示す図である。分類器の構築とは、分類器が含むパラメータに値を付与したり、構造を決定すること等により分類器を生成することを意味する。

分類器の構築の際には、まず、様々な欠陥を示す複数の撮像画像（以下、「欠陥画像」という。）が準備される。また、各欠陥画像と欠陥が存在しない参照画像とを比較することにより差分画像（典型的には、両画像の差の絶対値を示す画像）が取得され、当該差分画像を二値化する等して欠陥の領域を示す画像（以下、「欠陥領域画像」という。）が生成される。欠陥領域画像では、例えば、欠陥の領域に含まれる画素に、値１が付与され、欠陥の領域に含まれない画素に、値０が付与される。欠陥領域画像では、欠陥の領域を膨張させる処理等が適宜施されてよい。欠陥領域画像の生成では、例えば、特開２０１３−１３４６６６号公報（特許文献３）の手法等、他の手法が用いられてもよい。

複数の欠陥画像はコンピュータ５のディスプレイ５５に表示される。入力部５６がユーザからの入力を受け付けることにより、複数の欠陥画像のそれぞれに対して、複数の欠陥クラスのうちの一の欠陥クラスが関連付けられる。以上の処理により、一の欠陥クラスに属すると教示された欠陥画像、および、当該欠陥画像に対応する欠陥領域画像の集合を教師画像セットとして、複数の教師画像セットが準備される（ステップＳ１１）。以下の説明では、ユーザにより各欠陥画像に付与された欠陥クラスを「教示欠陥クラス」という。

図５Ａないし図５Ｃは、教師画像セットを示す図である。図５Ａないし図５Ｃでは、欠陥画像７１および欠陥領域画像７２を示している。画素特徴量算出部３１１では、各教師画像セットの欠陥画像７１における各画素に対して画素特徴量ベクトルが取得される（ステップＳ１２）。本実施の形態では、欠陥画像７１の各画素を中心とする所定サイズの領域（後述の図６のウィンドウ６内の領域）において、高次局所自己相関（Higher-oder Local Auto-Correlation: ＨＬＡＣ）特徴量が画素特徴量として求められる。

図６は、欠陥画像７１の各画素の画素特徴量を算出する処理を説明するための図である。複数の画素７１１が行方向および列方向に配列される欠陥画像７１において、図６中にて平行斜線を付す一の画素７１１ａを注目画素とすると、注目画素７１１ａに対する画素特徴量の算出では、欠陥画像７１において注目画素７１１ａを中心とするウィンドウ６が設定される。例えば、図６のウィンドウ６の行方向の長さは、行方向の画素ピッチＰ１の９倍であり、ウィンドウ６の列方向の長さは、列方向の画素ピッチＰ２の９倍である。

また、画素特徴量算出部３１１では、ＨＬＡＣ特徴量用の複数のマスクパターン６１が準備されている。複数のマスクパターン６１は互いに異なる。各マスクパターン６１（カーネルとも呼ばれる。）では、複数の要素が行方向および列方向に配列されており、各要素は画素７１１と同じサイズである。例えば、各マスクパターン６１の行方向の長さは、行方向の画素ピッチＰ１の３倍であり、マスクパターン６１の列方向の長さは、列方向の画素ピッチＰ２の３倍である。各マスクパターン６１のサイズは、ウィンドウ６のサイズよりも小さい。図６では、マスクパターン６１の外形を示す実線の太さを、ウィンドウ６の外形を示す実線よりも太く描いている。ウィンドウ６の行方向および列方向における長さは、好ましくは、マスクパターン６１の長さの２倍以上かつ５倍以下である。

マスクパターン６１は、図６中に符号Ａ１を付す矢印にて示すように、ウィンドウ６内を走査する。すなわち、マスクパターン６１の全体がウィンドウ６内に配置されるという条件の下で、列方向におけるウィンドウ６内の各位置において、行方向に関してウィンドウ６内の一端から他端までマスクパターン６１が１画素ずつ移動する。また、マスクパターン６１では、互いに掛け合わせるべき複数の要素が指定されており、マスクパターン６１が配置される各位置では、マスクパターン６１が指示する複数の要素とそれぞれ重なる複数の画素７１１の値同士が掛け合わされて中間演算値が求められる。そして、ウィンドウ６内においてマスクパターン６１が配置される全ての位置における中間演算値の和が、当該マスクパターン６１による画素特徴量として求められる。なお、複数のマスクパターン６１では、掛け合わせるべき要素が互いに異なる。

このように、ウィンドウ６内において、各マスクパターン６１を複数の位置に配置して当該マスクパターン６１に従った演算を行うことにより、複数のマスクパターン６１にそれぞれ対応する複数の画素特徴量が注目画素７１１ａに対して取得される。そして、複数の画素特徴量の配列が、注目画素７１１ａに対する画素特徴量ベクトルとして取得される。上記処理は、欠陥画像７１において、ウィンドウ６が配置可能な各画素７１１（すなわち、欠陥画像７１の外縁近傍に位置する画素７１１を除く全ての画素７１１のそれぞれ）を注目画素として行われ、欠陥画像７１のおよそ全ての画素７１１に対する画素特徴量ベクトルが取得される。換言すると、複数（例えば、３５個）のマスクパターン６１にそれぞれ対応する複数の画素特徴量画像が取得される。なお、画素特徴量画像のサイズは、ウィンドウ６のサイズに応じて欠陥画像７１よりも僅かに小さくなる。

一方、各教師画像セットの欠陥領域画像７２は、欠陥画像７１の各画素７１１が、基板９上の欠陥を示す欠陥領域、および、欠陥を示さない非欠陥領域のいずれに含まれるかを示す。すなわち、欠陥領域画像７２は、欠陥画像７１の各画素７１１が属する領域クラス（欠陥領域および非欠陥領域）を示す。学習部３３では、複数の教師画像セットに含まれる欠陥画像７１の各画素７１１の画素特徴量ベクトル、および、欠陥領域画像７２が示す当該画素７１１の領域クラスを用いて画素分類器３１２が生成される（ステップＳ１３）。各画素７１１の画素特徴量ベクトル、および、当該画素７１１の領域クラスの組合せは、画素分類器３１２を構築するための教師データと捉えることができる。画素分類器３１２を生成する方法または機構としては、学習型（教示型）のものであれば様々なものが利用されてよい。例えば、最近傍法、最小距離法、部分空間法、決定木法、線形判別法、ファジーボーティング法、フレキシブルナイブベイズ法、ニューラルネットワーク、サポートベクターマシン（ＳＶＭ）等が採用可能である。

続いて、領域特徴量算出部３２１では、各教師画像セットに対して領域特徴量ベクトルが取得される（ステップＳ１４）。本実施の形態では、欠陥領域画像７２により特定される欠陥画像７１の欠陥領域において、ＨＬＡＣ特徴量が求められる。すなわち、欠陥画像７１の欠陥領域に含まれる各画素に対してマスクパターンに従った演算により得られる値を画素演算値として、当該欠陥領域に含まれる全ての画素の画素演算値の和が、当該マスクパターンによる領域特徴量として求められる。このように、領域特徴量を求める領域が、欠陥画像７１における欠陥領域に制限される。

領域特徴量算出部３２１では、画素特徴量算出部３１１と同様に、複数のマスクパターンが準備されており、各マスクパターンによる領域特徴量が求められる。そして、複数（全て）のマスクパターンを用いてそれぞれ求められる複数の領域特徴量の配列が、領域特徴量ベクトルとして取得される。なお、領域特徴量は、画素特徴量算出部３１１にて算出された画素特徴量を用いて求められてよく、例えば、欠陥領域に含まれる全ての画素の画素特徴量の和であってもよい。また、ＨＬＡＣ特徴量に加えて、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量が、欠陥画像７１または欠陥領域画像７２から取得され、領域特徴量ベクトルに含まれてもよい。

各教師画像セットに対して領域特徴量ベクトルが取得されると、複数の教師画像セットの領域特徴量ベクトル、および、複数の教師画像セットに含まれる欠陥画像７１に関連付けられた教示欠陥クラスを用いて領域分類器３２２が生成される（ステップＳ１５）。各欠陥領域の領域特徴量ベクトル、および、当該欠陥領域の教示欠陥クラス（すなわち、欠陥画像７１の教示欠陥クラス）の組合せは、領域分類器３２２を構築するための教師データと捉えることができる。画素分類器３１２の生成と同様に、領域分類器３２２を生成する方法または機構としては、学習型（教示型）のものであれば様々なものが利用されてよい。以上の処理により、画素分類器３１２および領域分類器３２２が構築される。

ここで、図５Ａないし図５Ｃに示す教師画像セットの欠陥画像７１の各画素を、図４の処理により構築された画素分類器３１２により分類すると、図７Ａないし図７Ｃの左側の画像７３（以下、「検出領域画像７３」という。）が得られる。検出領域画像７３は、画素分類器３１２により欠陥領域に属すると判定された画素の値と、非欠陥領域に属すると判定された画素の値とが相違する２値画像である。換言すると、検出領域画像７３は、領域クラスが欠陥領域である領域（すなわち、検出された欠陥領域であり、以下、「検出欠陥領域」という。）を、領域クラスが非欠陥領域である他の領域と区別して示す画像である。

図７Ａないし図７Ｃの検出領域画像７３における白い検出欠陥領域は、図５Ａないし図５Ｃの欠陥領域画像７２が示す欠陥領域（白い領域）を概ね含むが、欠陥領域に対応しない微小な検出欠陥領域（幅が微小な検出欠陥領域も含む。）も散在している。後述するように、検査・分類装置１における検査および分類では、欠陥領域の有無および位置が未知である撮像画像から検査部３１にて検出欠陥領域が取得された際に、分類部３２により当該検出欠陥領域の分類が行われる。本実施の形態では、微小な検出欠陥領域は偽欠陥である可能性が高いため、分類部３２における欠陥クラスの分類では、微小な検出欠陥領域は除去されることが好ましい。

この場合、分類部３２における領域特徴量算出部３２１では、検出領域画像７３に対して、微小領域（幅が微小な領域も含む。）を除去する前処理（ノイズ除去処理）が施され、前処理済みの検出領域画像が示す検出欠陥領域に対して領域特徴量ベクトルが取得される。本実施の形態では、検出領域画像７３の検出欠陥領域に対する収縮処理および膨張処理が前処理として行われる。図７Ａないし図７Ｃの右側には、左側の検出領域画像７３の検出欠陥領域に対して収縮処理を施し、続いて、当該収縮処理と同程度の膨張処理を施して得られる画像７４（前処理済みの検出領域画像であり、以下、「処理済み検出領域画像７４」という。）を示している。図７Ａないし図７Ｃの右側の処理済み検出領域画像７４は、左側の検出領域画像７３よりも、図５Ａないし図５Ｃの右側の欠陥領域画像７２に近似している。

図８は、検査・分類装置１による検査および分類の流れを示す図である。まず、撮像部２が基板９の検査対象領域を撮像することにより、多値の撮像画像が取得され、対象画像として検査部３１に入力される（ステップＳ２１）。図９では、対象画像７０の一部を示しており、実際には、基板９上の広範囲を示す対象画像７０が取得される。対象画像７０では、欠陥領域の有無および位置が未知である。後述の図１０および図１１の画像は、図９に対応する。実際には、撮像部２により基板９上の複数の検査対象領域が順に撮像されて複数の対象画像７０が取得され、以下の処理が、複数の対象画像７０に対して順次行われる。

画素特徴量算出部３１１では、図４のステップＳ１２と同様の処理により、対象画像７０の各画素に対して画素特徴量ベクトルが取得される（ステップＳ２２）。すなわち、対象画像７０の各画素を中心とするウィンドウ６（図６参照）内において、各マスクパターン６１を複数の位置に配置して当該マスクパターン６１に従った演算を行うことにより、複数のマスクパターン６１にそれぞれ対応する複数の画素特徴量が取得される。画素分類器３１２では、画素特徴量ベクトルに基づいて当該画素が欠陥領域に含まれるか否かが判定される（ステップＳ２３）。例えば、欠陥領域に含まれると判定された画素（以下、「検出欠陥画素」という。）には、値１が付与され、欠陥領域に含まれないと判定された画素には、値０が付与される。これにより、図９に示す対象画像７０に対して、図１０の左側に示す検出領域画像７３が取得される。検出領域画像７３は、検出欠陥領域（白い領域）を示す。各検出欠陥領域は、互いに隣接する検出欠陥画素の集合（閉領域）であり、ブロブとも呼ばれる。

検出領域画像７３は、分類部３２に入力される。領域特徴量算出部３２１では、検出領域画像７３の各検出欠陥領域に対して収縮処理を施し、続いて、当該収縮処理と同程度の膨張処理が施される。このようにして、検出領域画像７３に対して微小領域を除去する前処理（ノイズ除去処理）が施され、図１０の右側に示す処理済み検出領域画像７４が取得される（ステップＳ２４）。なお、領域特徴量算出部３２１における前処理は、検出領域画像７３における微小領域が除去可能であるならば、他の手法にて行われてよい。

領域特徴量算出部３２１では、図４のステップＳ１４と同様の処理により、処理済み検出領域画像７４の各検出欠陥領域に対して領域特徴量ベクトルが取得される（ステップＳ２５）。例えば、処理済み検出領域画像７４により特定される対象画像７０の検出欠陥領域において、ＨＬＡＣ特徴量が求められる。ＨＬＡＣ特徴量に加えて、欠陥の面積、周囲長、重心位置、モーメント量、階調値の平均、分散、最大、最小等の特徴量が、対象画像７０または処理済み検出領域画像７４から取得され、領域特徴量ベクトルに含まれてもよい。処理済み検出領域画像７４における検出欠陥領域毎の領域特徴量ベクトルは領域分類器３２２に入力され、分類結果が出力される。すなわち、領域分類器３２２により、検出欠陥領域（ブロブ）が領域特徴量ベクトルに基づいて複数の欠陥クラスのいずれかに分類される（ステップＳ２６）。分類部３２では、検査部３１にて検出欠陥領域が検出される毎に領域特徴量の算出がリアルタイムにて行われ、多数の検出欠陥領域の自動分類が高速に行われる。

なお、図１１では、図９の対象画像７０を参照画像と比較することにより差分画像を生成し、当該差分画像を二値化する等して取得した欠陥領域画像７２を示している。図１０の左側の検出領域画像７３、および、右側の処理済み検出領域画像７４は、図１１の欠陥領域画像７２と近似している。このように、検出領域画像７３および処理済み検出領域画像７４では、欠陥領域が適切に検出され、検出領域画像７３および処理済み検出領域画像７４を、欠陥領域画像７２に代えて、欠陥領域の分類に利用可能であることが判る。

以上に説明したように、領域検出装置である検査・分類装置１では、対象画像７０の各画素を中心とするウィンドウ６内において、各マスクパターン６１を複数の位置に配置して当該マスクパターン６１に従った演算を行うことにより、複数のマスクパターン６１にそれぞれ対応する複数の画素特徴量が当該画素に対して取得される。そして、複数の画素特徴量に基づいて、当該画素が、基板９上の欠陥を示す欠陥領域に含まれるか否かが判定される。これにより、対象画像７０において、欠陥の検出および分類に利用される目的領域である検出欠陥領域（欠陥領域）を、参照画像を用いることなく容易に検出することが実現される。

また、検出欠陥領域に対して領域特徴量が算出され、当該領域特徴量に基づいて当該検出欠陥領域が分類される。これにより、検出欠陥領域を適切に分類することができる。領域特徴量として、対象画像７０における検出欠陥領域に対するＨＬＡＣ特徴量を算出することにより、検出欠陥領域を精度よく分類することができる。さらに、検出欠陥領域を他の領域と区別して示す検出領域画像７３に対して、微小領域を除去する前処理を施し、前処理済みの検出領域画像７４が示す検出欠陥領域に対して領域特徴量を算出することにより、検出欠陥領域をより適切に分類することができる。

検査・分類装置１では、欠陥を示す欠陥画像７１と所定の参照画像との差分画像に基づいて取得される欠陥領域画像７２と、当該欠陥画像７１の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、画素分類器３１２が構築される。これにより、画素分類器３１２の構築においてユーザによる教示作業（欠陥領域に含まれる画素の教示作業）を省略または簡略化することができる。

上記検査・分類装置１および領域検出方法では様々な変形が可能である。

例えば、対象画像（欠陥画像）の各画素を中心とするウィンドウ内において、マスクパターンである微分フィルタを複数の位置に配置することにより、当該複数の位置の濃度勾配方向が求められ、当該複数の位置の濃度勾配方向の分散を示す値が、当該画素に対する一の画素特徴量として取得されてよい。このように、画素特徴量算出部３１１では、高次局所自己相関特徴量用のマスクパターン以外の様々なマスクパターンが用いられてよい。

対象画像は、半導体基板以外の基板の外観を示すものであってよい。すなわち、欠陥画像は、半導体基板以外の基板のパターンの欠陥や異物等の欠陥を示すものであってよい。当該基板として、ハードディスク基板等の薄膜デバイス、プラズマディスプレイや液晶ディスプレイ等の薄型ディスプレイに用いられるガラス基板、フォトマスク基板、フィルム基板、プリント配線基板等が例示される。

また、検査・分類装置１が、太陽電池パネルを撮像した画像の検査および分類に用いられてよい。この場合、例えば、太陽電池パネルのＥＬ（エレクトロ・ルミネッセンス）発光やＰＬ（フォト・ルミネッセンス）発光を撮像して得られる画像や、レーザーテラヘルツエミッション顕微鏡（ＬＴＥＭ）を用いて得られる太陽電池パネルの画像において、参照画像が示す正常な領域とは異なる領域が検出対象の欠陥領域（目的領域）となる。

図１２および図１３は、太陽電池パネルのＥＬ発光を撮像して得られる画像を示し、図１２は、欠陥を含む領域を示す欠陥画像であり、図１３は、欠陥を含まない領域を示す参照画像である。図１４は、欠陥画像と参照画像との差分画像に基づいて取得される欠陥領域画像を示す。検査・分類装置１の画素特徴量算出部３１１では、欠陥画像の各画素に対する複数の画素特徴量が算出され、欠陥領域画像と各画素の画素特徴量ベクトルとを用いて学習を行うことにより、画素分類器３１２が構築される。そして、欠陥領域の有無および位置が未知である図１５に示す対象画像が入力されると、対象画像の各画素の画素特徴量ベクトルに基づいて当該画素が欠陥領域に含まれるか否かが判定され、図１６に示す検出領域画像が取得される。もちろん、上記実施の形態と同様にして、領域分類器３２２が構築され、領域特徴量ベクトルに基づく欠陥クラスの分類が行われてよい。

また、検査・分類装置１が、血液や培養液等の所定の液中の細胞を分類する用途に用いられてもよい。この場合、細胞を含む液を撮像して撮像画像（細胞画像）が取得される。例えば、培養中の細胞（例えば、ガン細胞）から死細胞を取り除くために、当該細胞を示す撮像画像から、死細胞の領域を目的領域として検出する場合、死細胞の領域を示す撮像画像である死細胞画像において死細胞の領域がユーザにより指定され、２値の死細胞領域画像が生成される。また、画素特徴量算出部３１１では、死細胞画像の各画素に対する複数の画素特徴量が算出され、死細胞領域画像と各画素の画素特徴量ベクトルとを用いて学習を行うことにより、画素分類器３１２が構築される。そして、死細胞の領域の有無および位置が未知である撮像画像が対象画像として入力されると、対象画像の各画素の画素特徴量ベクトルに基づいて当該画素が死細胞の領域に含まれるか否かが判定され、対象画像における死細胞の領域が検出される。検出対象の目的領域は、例えば、培養中のｉｐｓ細胞において生成される目的外の細胞の領域等であってもよい。もちろん、領域特徴量ベクトルに基づく目的領域の分類が行われてよい。

以上のように、検査・分類装置１では、様々な種類の対象物を撮像した対象画像から、所定の目的に利用される目的領域を容易に検出することが可能である。検査・分類装置１において、目的領域を検出する領域検出装置としての機能は、様々な用途に利用されてよく、撮像部２と分離して用いられてもよい。検査・分類装置１では、レーザ光、電子線やＸ線等により撮像される画像が検査および分類されてよい。

上記実施の形態および各変形例における構成は、相互に矛盾しない限り適宜組み合わされてよい。

１ 検査・分類装置
６ ウィンドウ
９ 基板
６１ マスクパターン
７０ 対象画像
７１ 欠陥画像
７２ 欠陥領域画像
７３ 検出領域画像
７４ 処理済み検出領域画像
３１１ 画素特徴量算出部
３１２ 画素分類器
３２１ 領域特徴量算出部
３２２ 領域分類器
７１１，７１１ａ 画素
Ｓ１１〜Ｓ１５，Ｓ２１〜Ｓ２６ ステップ

Claims (12)

1. 対象画像から所定の目的に利用される目的領域を検出する領域検出装置であって、
   互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する画素特徴量算出部と、
   前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する画素分類器と、
   を備えることを特徴とする領域検出装置。
2. 請求項１に記載の領域検出装置であって、
   前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含むことを特徴とする領域検出装置。
3. 請求項１または２に記載の領域検出装置であって、
   前記画素分類器により検出された前記目的領域に対して領域特徴量を算出する領域特徴量算出部と、
   前記領域特徴量に基づいて前記目的領域を分類する領域分類器と、
   をさらに備えることを特徴とする領域検出装置。
4. 請求項３に記載の領域検出装置であって、
   前記領域特徴量算出部が、前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施し、前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出することを特徴とする領域検出装置。
5. 請求項１ないし４のいずれかに記載の領域検出装置であって、
   前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域であることを特徴とする領域検出装置。
6. 請求項５に記載の領域検出装置であって、
   欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記画素分類器が構築されることを特徴とする領域検出装置。
7. 対象画像から所定の目的に利用される目的領域を検出する領域検出方法であって、
   ａ）互いに異なる複数のマスクパターンが準備されており、対象画像の各画素を中心とするウィンドウ内において、前記ウィンドウよりもサイズが小さい各マスクパターンを複数の位置に配置して前記各マスクパターンに従った演算を行うことにより、前記複数のマスクパターンにそれぞれ対応する複数の画素特徴量を前記各画素に対して取得する工程と、
   ｂ）前記複数の画素特徴量に基づいて、前記各画素が目的領域に含まれるか否かを判定する工程と、
   を備えることを特徴とする領域検出方法。
8. 請求項７に記載の領域検出方法であって、
   前記複数のマスクパターンが、高次局所自己相関特徴量用のマスクパターンを含むことを特徴とする領域検出方法。
9. 請求項７または８に記載の領域検出方法であって、
   ｃ）前記ｂ）工程において検出された前記目的領域に対して領域特徴量を算出する工程と、
   ｄ）前記領域特徴量に基づいて前記目的領域を分類する工程と、
   をさらに備えることを特徴とする領域検出方法。
10. 請求項９に記載の領域検出方法であって、
    前記ｃ）工程が、
    前記目的領域を他の領域と区別して示す画像に対して微小領域を除去する前処理を施す工程と、
    前記前処理済みの前記画像が示す前記目的領域に対して前記領域特徴量を算出する工程と、
    を備えることを特徴とする領域検出方法。
11. 請求項７ないし１０のいずれかに記載の領域検出方法であって、
    前記対象画像が、対象物を撮像した画像であり、前記目的領域が、前記対象物上の欠陥を示す領域であることを特徴とする領域検出方法。
12. 請求項１１に記載の領域検出方法であって、
    欠陥を示す欠陥画像と所定の参照画像との差分画像に基づいて取得される欠陥領域画像と、前記欠陥画像の各画素に対する複数の画素特徴量とを用いて学習を行うことにより、前記ｂ）工程にて利用される画素分類器が構築されることを特徴とする領域検出方法。