(発明の概要)
本発明は、オブジェクトを目視検査するとともに、それらの画像、特にカラー画像(ただし、それに限定されない)を解析するための改善された装置および方法を提供しようとするものである。本発明の装置および方法は、パターン化されたオブジェクトの画像の解析に適用可能で、より具体的には、特徴的な光学属性を有する複数のエレメントを含むパターン化されたオブジェクトの画像の解析に適用可能であると考えられる。本発明の装置および方法で検査するのに特に適したオブジェクトとしては、ボールグリッドアレイ基板(「BGA」)、プリント回路基板、特に複数の導体材料を含むプリント回路基板、積層プリント回路基板、リードフレーム、フラットパネルディスプレイ、ハイブリッドチップパッケージ基板、TAB(テープオートメーテッドボンディング)基板、およびそれらと類似した複数材料の他のパターン化されたオブジェクトが挙げられる。
先行技術のオブジェクト検査システムにはどれもある種の制約があり、そのため、検査するオブジェクトがプリント回路基板、集積回路、および類似の電気部品の分野に限定されていても、ある特定のタイプのオブジェクトの検査にしか有用性を発揮しない。本発明は、特にオブジェクト検査システムの機能を改善し、そのシステムによって検査できるオブジェクトの多様性を高め、全体的にその制約を減少させることを目的とした、画像、特にカラー画像の解析装置および方法を提供しようとするものである。
特に、多色オブジェクトにおける隣接する有色領域が、モノクロ画像のなかで互いに区別するのが困難な色を有する場合には、改善されたカラー処理は多色オブジェクトの画像を解析する上で特に有用でありうると考えられる。例えば、ボールグリッドアレイ基板または積層プリント回路基板の検査の場合は、その表面が金の領域とその表面が銅の領域とが区別され、また部分的に透明なマスクに覆われた金属領域と覆われていない領域とが区別されることが望ましいと思われる。同様に、その表面が銀の領域を他の領域と区別することもある。本発明の方法および装置を使用すれば、先行技術のそれを使用する場合よりも、当該領域間の区別をより効果的に実現することができる。
例示することのみを目的として、ボールグリッドアレイ基板の場合は、本発明の装置および方法を使用して区別または特徴づけるのが望ましいと考えられる他の領域としては、裸基板;銅パッドや継手上の金メッキの如き金属被膜;はんだマスク、銅被覆継手、金メッキ継手または基板の如き少なくとも部分的に透明な被膜の存在、はんだマスクの如き少なくとも部分的に透明な被膜の下に位置する銅継手または金メッキ継手のような異なる物質;例えばフォトレジスト残留物のような表面残留物;金属被膜の空隙;表面の凹凸;擦り傷;異物;染み;および銅継手または金メッキの酸化が含まれる。金属継手、金属被膜または表面マークの如き領域の形状が区別されることも望ましいと考えられる。上述の例は、例示を目的としたものであって限定的なものではなく、様々な種類の領域を区別または特徴づけることが望ましいと思われる。本発明を構成する装置および方法は、検査対象となるBGAの如きオブジェクト上の異なる多くの物質および物質の組み合わせについての検査および画像解析を可能にするほど十分な柔軟性を有する。
上述のようなBGAにおける異なる領域は、以下に説明するように、一般には異なる色、色集団、または他の光学的特徴を有し、そのため色およびその光学的特徴を区別することによって異なる領域を区別できることが分かる。この点において、本発明を用いて、異なる色およびその他の光学的特徴に従って、異なる金属、ならびにはんだマスクの如き部分的に透明な被膜の下に位置する物質をあまねく区別できることは特に注目に値する。
本発明は、特にカラー画像に関する上述の用途と同様の用途において、モノクロ画像の処理を改善しようとするものでもある。
したがって、本発明の好ましい実施形態によれば、少なくとも2つの色集団を含むカラー画像における、該2つの色集団の第1の色集団に関連する第1のカラー領域と該2つの色集団の第2の色集団に関連する第2のカラー領域との間の境界位置を特定する方法であって、該第1のカラー領域と該第2のカラー領域がともに該カラー画像に含まれているものにおいて、該第1のカラー領域と該第2のカラー領域との間のおよその境界位置を識別し、該第1のカラー領域と該第2のカラー領域の間の複数の候補境界位置を特定する上で、前記複数の候補境界位置の各々を、複数の境界位置特定方法のなかから選択される対応する境界位置特定方法を適用することによって特定し、該複数の境界位置特定方法から1つの方法を好ましい方法として選択し、かつ該好ましい方法に関連する複数の候補境界位置の1つを境界として指定することによって該第1のカラー領域と該第2のカラー領域の間の境界の位置を特定することを含む方法が提供される。
さらに、本発明の好ましい実施形態によれば、該カラー画像はパターン化された物体の画像を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像は電気回路のカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像はリードフレームのカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該好ましい境界位置特定方法は、所定の色集団の組み合わせについての好ましい境界位置特定方法を選択するための規則に基づいて選択される。
さらに、本発明の好ましい実施形態によれば、該好ましい境界位置特定方法は、少なくとも2つの境界位置特定方法を適用することによる境界位置特定結果の比較に基づいて選択される。
また、本発明の他の好ましい実施形態によれば、少なくとも2つの色集団を含むカラー画像における、該2つの色集団の第1の色集団に関連する第1のカラー領域と該2つの色集団の第2の色集団に関連する第2のカラー領域との間の境界位置を特定する方法であって、該第1のカラー領域と該第2のカラー領域がともに該カラー画像に含まれる方法において、各々の異なる組の色集団について、該色集団の間の境界の位置を識別する好ましい方法の指示を含む境界解析マップを提供し、該第1のカラー領域と該第2のカラー領域の間のおよその境界位置を識別し、かつ該第1の色集団と該第2の色集団の間の境界の位置を識別するための、該境界解析マップにおいて指示された好ましい方法を用いて、該第1のカラー領域と該第2のカラー領域の間の境界の位置を特定することを含む方法が提供される。
さらに、本発明の好ましい実施形態によれば、該カラー画像はパターン化された物体の画像を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像は電気回路のカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像はリードフレームのカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像はオブジェクトのカラー画像を含み、各々の色集団は複数種の可能物質のうちの一種類の物質に関連する。
さらに、本発明の好ましい実施形態によれば、該カラー画像は第3の色集団に関連する第3のカラー領域をも含み、該識別ステップは、互いに隣接する第1のカラー領域、第2のカラー領域および第3のカラー領域のなかの各々2つのカラー領域について、該2つのカラー領域の間のおよその境界位置を識別することを含み、該特定ステップは、該2つのカラー領域毎に、該2つのカラー領域に関連する該2つの色集団の間の境界の位置を識別するための、該境界解析マップにおいて指示された好ましい方法を用いて、該2つのカラー領域の間の境界の位置を特定することを含む。
さらに、本発明の好ましい実施形態によれば、該方法は、ウィンドウサイズを有するウィンドウを定め、該ウィンドウ内にあるカラー画像の一部を調べて、少なくとも一部が該部分に含まれる別個のカラー領域の数を特定し、かつ別個のカラー領域の数が2つより大きい場合は、該ウィンドウ内のすべての境界を接合点に属するものとして分類し、接合点に属する境界の位置を特定する好ましい方法を用いて該ウィンドウ内の各境界の位置を特定することをも含む。
さらに、本発明の好ましい実施形態によれば、接合点に属する境界の位置を特定する好ましい方法は高すかし法を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像は、複数のカラー規定特性を有するカラー画像表現方法を用いて表現され、各々の好ましい方法は複数の利用可能な方法から選択され、該複数の利用可能な方法は、該複数のカラー規定特性のなかのカラー規定特性毎に、該カラー規定特性に関連するカラー画像の成分においてエッジ位置特定方法を実行することを含む方法を含む。
さらに、本発明の好ましい実施形態によれば、成分においてエッジ位置特定方法を実行することは、サブピクセル輪郭要素識別方法を実行することを含む。
さらに、本発明の好ましい実施形態によれば、成分においてのみエッジ位置特定方法を実行することは高すかし法を実行することを含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像表現方法はRGB法を含み、該複数のカラー規定特性はR成分、G成分およびB成分を含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像表現方法はHSI法を含み、該複数のカラー規定特性はH成分、S成分およびI成分を含む。
本発明の他の好ましい実施形態によれば、カラー画像からカラー形態マップを生成するための方法であって、カラー画像を提供し、該カラー画像を縮小して複数の色集団を含む縮小画像を生成し、該縮小画像内の該複数の色集団のうちの隣接する色集団の間の境界を特定し、該縮小画像を分割して、境界および少なくとも1つの非境界領域を含む2値画像を生成し、該少なくとも1つの非境界領域の骨格画像であって、複数の部分を含む骨格画像を生成し、かつ該色集団の1つに対応するカラー識別データを該骨格の各部分に割当てることを含む方法が提供される。
さらに、本発明の好ましい実施形態によれば、該割当ステップは、色集団に対する該骨格の一部の空間位置の関数として色集団を割り当てることを含む。
さらに、本発明の好ましい実施形態によれば、該割当ステップは、該縮小画像に該骨格画像を重ね合わせることをさらに含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像は24ビットカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該縮小画像は3ビット画像を含み、該複数の色集団は最大8つの色集団を含む。
さらに、本発明の好ましい実施形態によれば、該特定ステップは一画素の精度で境界を特定することを含む。
さらに、本発明の好ましい実施形態によれば、該方法は、少なくとも一部において、該方法の結果に基づいて少なくとも1つの形態的特徴の存在を識別することをも含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像はパターン化された物体の画像を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
本発明の他の好ましい実施形態によれば、カラー画像内のカラー輪郭要素(セル)を特定するための方法であって、カラー画像を提供し、該カラー画像を縮小して複数の色集団を含む縮小画像を生成し、該複数の色集団の隣接する色集団の間の境界であって、各々が2つの色集団によって囲まれた複数の境界セグメントを含む境界を特定し、 かつ境界セグメント毎に、少なくとも一部において、該境界セグメントを囲む2つの色集団に基づいて該境界セグメントに値を割り当てることを含む方法も提供される。
さらに、本発明の好ましい実施形態によれば、該カラー画像は24ビットカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該縮小画像は3ビット画像を含む。
さらに、本発明の好ましい実施形態によれば、該特定ステップは一画素の精度で境界を特定することを含む。
さらに、本発明の好ましい実施形態によれば、該特定ステップは一画素未満の精度で境界を特定することを含む。
さらに、本発明の好ましい実施形態によれば、各境界セグメントは第1の側および第2の側を有し、該割当ステップは、少なくとも一部において、該境界セグメントの該第1の側の色集団、および該境界セグメントの該第2の側の色集団に基づいて値を割り当てることを含む。
さらに、本発明の好ましい実施形態によれば、該カラー画像はパターン化された物体の画像を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
本発明の他の好ましい実施形態によれば、画像内の円滑曲線における凹凸を識別するための方法であって、該円滑曲線上の順序づけられた複数の点であって、その各々が該順序づけられた複数の点における少なくとも1つの隣接点を有する複数の点を識別し、該順序づけられた複数の点の各々において該円滑曲線に対する垂直方向を特定し、かつ少なくとも一部において、その点における該円滑曲線に対する垂直方向とその点の少なくとも1つの隣接点における該円滑曲線に対する垂直方向との差を含む局所的な垂直方向差に基づいて、該順序づけられた複数の点のうちの一点を凹凸の一部として識別することを含む方法も提供される。
さらに、本発明の好ましい実施形態によれば、該画像はパターン化された物体の画像を含む。
さらに、本発明の好ましい実施形態によれば、該画像は電気回路の画像を含む。
さらに、本発明の好ましい実施形態によれば、該局所的な垂直方向差は、所定の角度より大きな角度の方向の差を含む。
さらに、本発明の好ましい実施形態によれば、該所定の角度は約22度の角度を含む。
さらに、本発明の好ましい実施形態によれば、該画像は多数の画素を含み、該順序づけられた複数の点の各々は1つの画素に関連する。
さらに、本発明の好ましい実施形態によれば、該円滑曲線に含まれる各画素は、該順序づけられた複数の点うちの1つの点に関連する。
さらに、本発明の好ましい実施形態によれば、該円滑曲線に含まれる数個の画素のみが、該順序づけられた複数の点のうちの1つの点に関連する。
さらに、本発明の好ましい実施形態によれば、該順序づけられた複数の点のうちの1つの点に関連しない一定数の画素が、該順序づけられた複数の点のうちの各点と該順序づけられた複数の点のうちの各点の少なくとも1つの隣接点との間にくるように、該一部の画素を選択する。
さらに、本発明の好ましい実施形態によれば、該方法は、該凹凸の形状深さおよび形状開度を測定し、かつ少なくとも一部において該測定ステップの結果に基づいて該形状を分類する。
さらに、本発明の好ましい実施形態によれば、該分類は、以下の範疇、すなわちニック、突起および輪郭のうちの少なくとも1つを含む所定の範疇集合のうちのいずれか1つの範疇への分類を含む。
さらに、本発明の好ましい実施形態によれば、該方法は、電気回路における凹凸を検出するための方法であって、該方法に従って、電気回路の画像における二種類の物質間の境界を表す円滑曲線における凹凸を識別することを含む。
本発明の他の好ましい実施形態によれば、オブジェクトの画像内の凹凸を分類するための方法であって、凹凸の形状深さおよび形状開度を測定し、かつ少なくとも一部において、該測定ステップの結果に基づいて該形状を分類することを含む方法も提供される。
さらに、本発明の好ましい実施形態によれば、該オブジェクトは電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該分類は、以下の範疇、すなわちニック、突起および輪郭のうちの少なくとも1つを含む所定の一連の範疇のうちのいずれか1つの範疇への分類を含む。
本発明の他の好ましい実施形態によれば、オブジェクトの画像の一部における欠陥を識別するための方法において、該部分はエッジとして識別された画像内の位置に近接しており、該エッジに関連する排除方向を識別し、かつ該排除方向を含まない複数の方向において、エッジとして識別された位置に近接する欠陥を捜索することを含む方法も提供される。
さらに、本発明の好ましい実施形態によれば、該オブジェクトは電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該排除方向は、エッジに垂直な方向を含む。
さらに、本発明の好ましい実施形態によれば、該欠陥は擦り傷を含む。
さらに、本発明の好ましい実施形態によれば、該欠陥は染みを含む。
本発明の他の好ましい実施形態によれば、オブジェクトの画像内の表面欠陥を識別する方法においてが提供され、該画像は多数の画素を含み、該方法は、表面欠陥を識別する領域を選択し、該領域をサブサンプリングすることによって該領域のサブサンプル画像を生成し、かつ該画像を解析することにより該領域内の表面欠陥を識別することを含む。
さらに、本発明の好ましい実施形態によれば、該画像は電気回路のカラー画像を含む。
さらに、本発明の好ましい実施形態によれば、該サブサンプリングは、非隣接画素のサブサンプリングを含む。
さらに、本発明の好ましい実施形態によれば、隣接画素のそれぞれの非隣接画素の分離は、サブサンプリング比を含む。
さらに、本発明の好ましい実施形態によれば、該サブサンプリング比は、約1:13と約1:49の間である。
さらに、本発明の好ましい実施形態によれば、該サブサンプリングは、サブサンプル画素の間のおよその平均距離に従ってサブサンプリングすることを含む。
さらに、本発明の好ましい実施形態によれば、サブサンプル画素の間の該およその平均距離は約5画素と約11画素の間である。
さらに、本発明の好ましい実施形態によれば、該サブサンプリングステップは、該領域の一部をサブサンプリングすることを含み、該サブサンプリングステップは、該領域の複数の部分を用いて複数回実施される。
さらに、本発明の好ましい実施形態によれば、該領域の該複数の部分のうちの少なくとも2つの部分は、該領域の部分的重複部である。
本発明の他の好ましい実施形態によれば、配列画素内の1つの画素に画像処理演算子を適用して値を生成する方法が提供され、該方法は、中央画素のn×n展開を提供し、該中央画素がエッジ画素を含む場合には、結果に値0を割り当て、該中央画素がエッジ画素を含まない場合には、該n×n展開におけるそれぞれ1つの画素について、該1つの画素がエッジ画素でない場合に該1つの画素を選択画素として選択し、該1つの画素がエッジ画素で、該n×n展開内における該1つの画素の鏡像がエッジ画素でない場合に、該鏡像を選択画素として選択するか、あるいは該中央画素を選択画素として選択し、該選択画素の値と、該中央画素にガウス演算子を適用した結果との積をその合計に加え、かつ該合計を(n+1)の平方で割って結果を生成することを実行することを含む。
さらに、本発明の好ましい実施形態によれば、nは3に等しい。
本発明の他の好ましい実施形態によれば、畳み込み演算子によって勾配を計算する方法であって、nが奇数で、n×n配列の中央値が正の値または負の値をとることができる、値がn×n配列の形式の画像処理演算子を提供し、中央値が正の値を有する画像処理演算子を適用して第1の中間結果を生成し、中央値が負の値を有する画像処理演算子を適用して第2の中間結果を生成し、かつ該第1の中間結果と該第2の中間結果を合計して最終結果を生成することを含む方法も提供される。
さらに、本発明の好ましい実施形態によれば、該方法は、該第1の中間結果の算術符号と該第2の中間結果の算術符号とを比較し、かつ該比較ステップの結果に基づいて、局所的な極値の存在を特定することをも含む。
さらに、本発明の好ましい実施形態によれば、該特定は、完全な確信度未満の確信度で特定することを含む。
さらに、本発明の好ましい実施形態によれば、nは5に等しい。
本発明の他の好ましい実施形態によれば、パターン化された物体の検査に適した自動光学検査装置であって、複数のエレメントを有するパターン化された物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、該複数のエレメントのうちの少なくとも1つのエレメント上の金属被膜を検査する機能、および該複数のエレメントのうちの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能のうちの少なくともいずれか一方の検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体の検査に適した自動光学検査装置であって、複数のエレメントを含むパターン化された物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、該複数のエレメントのうちの少なくとも1つのエレメント上の金属被膜を検査する機能、および該複数のエレメントのうちの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該多色画像出力を受領する該処理回路は、該パターン化された物体の表面残留物を検出する追加的な検査機能を提供する。
さらに、本発明の好ましい実施形態によれば、該多色画像出力を受領する該処理回路は、該パターン化された物体の表面残留物を検出する追加的な検査機能を提供する。
さらに、本発明の好ましい実施形態によれば、該複数のエレメントのうちの少なくとも1つのエレメント上の金属被膜を検出する機能は、金属被膜内の空隙を検出する検査、金属被膜内の表面凹凸を検出する検査、金属被膜内の擦り傷を検出する検査、金属被膜上の異物の存在を検出する検査、金属被膜上の染みを検出する検査、金属被膜の酸化を検出する検査、および金属被膜の形状を検出する検査のうちの少なくともいずれか1つの検査様式を含む。
さらに、本発明の好ましい実施形態によれば、該複数のエレメントのうちの少なくとも1つのエレメント上の金属被膜を検査する機能は、金属被膜内の空隙を検出する検査、金属被膜内の表面凹凸を検出する検査、金属被膜内の擦り傷を検出する検査、金属被膜上の異物の存在を検出する検査、金属被膜上の染みを検出する検査、金属被膜の酸化を検出する検査、および金属被膜の形状を検出する検査のうちの少なくとも1つの検査様式を含む。
さらに、本発明の好ましい実施形態によれば、該複数のエレメントのうちの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能は、少なくとも部分的に透明な被膜内の空隙を検出する検査、少なくとも部分的に透明な被膜内の表面凹凸を検出する検査、少なくとも部分的に透明な被膜内の擦り傷を検出する検査、少なくとも部分的に透明な被膜上の異物の存在を検出する検査、少なくとも部分的に透明な被膜上の染みを検出する検査、および少なくとも部分的に透明な被膜の形状を検出する検査のうちの少なくとも1つの検査様式を含む。
さらに、本発明の好ましい実施形態によれば、該複数のエレメントのうちの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能は、少なくとも部分的に透明な被膜内の空隙を検出する検査、少なくとも部分的に透明な被膜内の表面凹凸を検出する検査、少なくとも部分的に透明な被膜内の擦り傷を検出する検査、少なくとも部分的に透明な被膜上の異物の存在を検出する検査、少なくとも部分的に透明な被膜上の染みを検出する検査、および少なくとも部分的に透明な被膜の形状を検出する検査のうちの少なくとも1つの検査様式を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体の表面の残留物を検出する機能は、該パターン化された物体の表面の表面凹凸の検出、該パターン化された物体の表面の異物の存在の検出、該パターン化された物体の表面の染みの検出、および該パターン化された物体の表面のマークの形状の検出のうちの少なくとも1つの検出様式を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体の表面の残留物を検出する機能は、該パターン化された物体の表面の表面凹凸の検出、該パターン化された物体の表面の異物の存在の検出、該パターン化された物体の表面の染みの検出、および該パターン化された物体の表面のマークの形状の検出のうちの少なくとも1つの検出様式を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該エレメントは該電気回路内の導体を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該金属被膜は金属メッキを含む。
さらに、本発明の好ましい実施形態によれば、該エレメントは該ボールグリッドアレイ基板内のボールを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適し、物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、色が異なる領域間の境界を区別するのに有効なサブピクセルの精度でのエッジ検出を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該処理回路は、第1の色集団に関連する第1のカラー領域と第2の色集団に関連する第2のカラー領域との間の境界を、該第1のカラー領域と該第2のカラー領域の間のおよその境界位置を識別し、該第1の色集団と該第2の色集団の間の境界の位置を識別するための好ましい方法を用いることにより、該第1のカラー領域と該第2のカラー領域の境界の位置を特定することによって区別する機能を有する。
さらに、本発明の好ましい実施形態によれば、該多色画像出力は、複数のカラー規定特性を有するカラー画像表現方法を用いて表現されるカラー画像を含み、各々の好ましい方法は複数の利用可能な方法から選択され、該複数の利用可能な方法は、該複数のカラー規定特性のうちのカラー規定特性毎に、該カラー規定特性に関連するカラー画像のある成分においてエッジ位置特定方法を実行することを含む方法を含む。
さらに、本発明の好ましい実施形態によれば、該エッジ位置特定方法は、サブピクセル輪郭要素位置特定方法を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適し、各々が少なくともディテクタにより検出可能な光学特性によって区別される少なくとも3つの異なる領域を有する物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、該少なくとも3つの異なる領域のうちの少なくとも2つの領域の境界を区別するのに有効なサブピクセルの精度でのエッジ検出を与える処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該処理回路は、該画像出力を受領し、該少なくとも3つの異なる領域の境界を区別するのに有効なサブピクセルの精度でのエッジ検出を提供する。
さらに、本発明の好ましい実施形態によれば、該処理回路は、共通の境界を有する異なる領域の各々における物質を識別する、該画像出力に少なくとも部分的に基づいたマッピングを提供する。
本発明の他の好ましい実施形態によれば、物体の検査に適し、物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、共通の境界を有する物体の少なくとも一部の異なる領域の各々における物質を識別する、該画像出力に少なくとも部分的に基づいたマッピングを提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該処理回路はサブピクセルの精度で機能する。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、各々が複数の代表可能カラーのうちの1つを有する複数のカラー領域を含む分割カラー画像に該多色画像を分割する検査機能、領域および境界を含む二値画像に該分割カラー画像を二値化する検査機能、該領域を形態的に侵食して該領域を表す骨格を提供する検査機能、およびカラー領域を該骨格内のエレメントに割り当てる検査機能のうちの少なくとも1つの検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該処理回路は、該骨格および該分割カラー画像を重ね合わせるとともに、領域を表すデータを該重ね合わせの関数として、該骨格内のエレメントに割り当てる機能を有する。
さらに、本発明の好ましい実施形態によれば、該処理回路は、該骨格内のエレメントがカラー領域内にくるように、領域を表すデータを該骨格内のエレメントに割り当てる機能を有する。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、所定数の可能性のあるカラー領域のなかから選択される複数のカラー領域に該多色画像を分割するとともに、画像内の各カラー領域を表すカラー領域データ、およびカラー領域間の各境界を表すための境界データを含む該多色画像の表示を生成する機能を有する処理回路とを含む自動光学検査装置も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を表すカラー画像であって、該パターン化された物体の形態的に侵食された多色画像を含むカラー画像も提供される。
さらに、本発明の好ましい実施形態によれば、形態的に侵食された多色画像の部分のカラーは、該パターン化された物体のそれぞれの領域における物質を示す。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該エレメントは、該電気回路内の導体を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該金属被膜は金属メッキを含む。
さらに、本発明の好ましい実施形態によれば、該エレメントはボールグリッドアレイ基板内のボールを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、該物体を表すカラー画像であって、該物体の少なくとも一部の形態的に侵食された多色画像を含むカラー画像を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、形態的に侵食された多色画像の部分のカラーは、該物体の様々な領域における物質を示す。
本発明の他の好ましい実施形態によれば、パターン化された物体を表すカラー画像であって、物体の異なる領域間の境界を示し、共通の境界を有する異なる領域の各々における物質を識別するマップを含むカラー画像も提供される。
さらに、本発明の好ましい実施形態によれば、該マップの各部の色は、それぞれ異なる領域における物質を示す。
さらに、本発明の好ましい実施形態によれば、各カラーは、所定の使用可能なカラーの1つのカラーを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該エレメントは、該電気回路内の導体を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該金属被膜は金属メッキを含む。
さらに、本発明の好ましい実施形態によれば、該エレメントはボールグリッドアレイ基板内のボールを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、該物体を表すカラー画像であって、物体の異なる領域間の境界を示すとともに、共通の境界を有する異なる領域の各々における物質を識別するマップを含むカラー画像を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該マップの各部の色は、該物体の様々な領域における物質を示す。
さらに、本発明の好ましい実施形態によれば、該処理回路は該画像出力を受領し、サブピクセルの精度で境界表示を提供する。
さらに、本発明の好ましい実施形態によれば、各々のカラーは、所定の使用可能なカラーのなかから選択されたカラーを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該異なる物質は異なる金属を含む。
さらに、本発明の好ましい実施形態によれば、該異なる領域は、被覆されない金属導体、被覆された金属導体、被覆されない基板および被覆された基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、検出可能なエッジを含む少なくとも三種類の物質を含むパターン化された物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、該画像出力を二値化して、領域画像データおよび境界画像データを含む2値画像を提供することを含む検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、複数種の物質間の検出可能な境界を有する複数種の物質を含むパターン化された物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、境界に関連する画像データのパターン解析を行って、境界におけるニックおよび突起の存在の表示を与えることを含む検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体はリードフレームを含む。
さらに、本発明の好ましい実施形態によれば、該複数種の物質は少なくとも三種類の物質を含む。
さらに、本発明の好ましい実施形態によれば、該物質は、被覆されない金属導体、被覆された金属導体、被覆されない基板および被覆された基板のグループからの物質を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は触刻金属基板を含む。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は彫刻金属基板を含む。
本発明の他の好ましい実施形態によれば、パターン解析を含む該検査機能は、境界に関連する画像データによって定められる境界上の順序づけられた複数の点であって、その各々が該順序づけられた複数の点のなかの少なくとも1つの隣接点を有する順序づけられた複数の点を識別し、該順序づけられた複数の点の各々において該円滑曲線に対する垂直方向を特定し、かつ少なくとも一部において、その点における該円滑曲線に対する垂直方向とその点の少なくとも1つの隣接点における該円滑曲線に対する垂直方向との差を含む局所的な垂直方向差に基づいて、該順序づけられた複数の点のうちの一点を、ニックおよび突起のいずれか一方を含む凹凸の一部として識別することを含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、領域画像データおよび境界画像データを含む分割画像に該画像出力を分割する検査機能、第1の技術を用いて該領域画像データを解析する検査機能、ならびに該第1の技術と異なる第2の技術を用いて該境界画像データを解析する検査機能のうちの少なくとも1つの検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該第1の技術は近傍解析を含み、該第2の技術は、境界付近の画素と境界付近の画素以外の画素を差別化する境界追跡解析を含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の多色画像出力を提供する少なくとも1つのディテクタと、該多色画像出力を受領し、所定のカラーの集合のなかから選択されるカラー領域を含む分割カラー画像に該多色画像出力を分割する検査機能、第1の技術を用いて第1のカラーに関連する領域画像データを解析する検査機能、および該第1の技術と異なる第2の技術を用いて第2のカラーに関連する領域画像データを解析する検査機能のうちの少なくとも1つの検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該物体はリードフレームを含む。
本発明の他の好ましい実施形態によれば、物体の検査に適した自動光学検査装置であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、領域画像データおよび境界画像データを含む分割画像に該画像出力を分割する検査機能、および該境界画像データの少なくとも一部の影響を受けないようにして該領域画像を平滑化する検査機能のうちの少なくとも1つの検査機能を提供する処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該物体はリードフレームを含む。
本発明の他の好ましい実施形態によれば、電気回路の検査に適した自動光学検査装置であって、多種類の物質を含む電気回路の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、少なくとも一種類の所定の物質の存在の出力表示を与える処理回路とを含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はフラットパネルディスプレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該処理回路は、少なくとも三種類の所定の物質のグループのうちの少なくとも二種類の物質の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路は、少なくとも三種類の所定の物質の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路は銅の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路は金の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路ははんだマスク材の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路は銀の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路はフォトレジスト残留物の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該処理回路は酸化された金属の存在の出力表示を与える。
さらに、本発明の好ましい実施形態によれば、該画像出力は、半透明の上塗り層を介して観察される電気回路の一部を表す。
本発明の他の好ましい実施形態によれば、パターン化された物体の検査に適した自動光学検査装置であって、パターン化された物体を少なくとも部分的に覆う半透明の上塗り層を介して該パターン化された物体の少なくとも一部の画像出力を提供する少なくとも1つのディテクタと、該画像出力を受領し、該半透明の上塗り層から独立した出力表示を与える処理回路を含む自動光学検査装置も提供される。
さらに、本発明の好ましい実施形態によれば、該パターン化された物体は電気回路を含む。
さらに、本発明の好ましい実施形態によれば、該電気回路はプリント回路基板を含む。
さらに、本発明の好ましい実施形態によれば、該プリント回路基板はボールグリッドアレイ基板を含む。
さらに、本発明の好ましい実施形態によれば、該処理回路は、該半透明の上塗り層によって覆われたパターンの部分、および該半透明の上塗り層によって覆われていないパターンの部分の表示を与える機能を有する。
本発明の他の好ましい実施形態によれば、カラー画像内の境界の位置を特定する装置において、該画像は、少なくとも2つの色集団を、該2つの色集団のうちの第1の色集団に関連する第1のカラー領域と該2つの色集団のうちの第2の色集団に関連する第2のカラー領域との間に含み、該第1のカラー領域および該第2のカラー領域の両方が該カラー画像に含まれ、該第1のカラー領域と該第2のカラー領域の間のおよその境界位置を識別する機能を有する境界識別ユニットと、該第1のカラー領域と該第2のカラー領域の間の複数の候補境界位置を特定する機能を有する候補境界特定ユニットであって、複数の境界位置特定方法のなかから選択される対応する境界位置特定方法を適用することによって該複数の候補境界位置の各々を特定する候補位置境界特定ユニットと、該複数の境界位置特定方法から1つの方法を好ましい方法として選択する方法選別器と、該好ましい方法に関連する該複数の候補境界位置の1つを境界として指定することによって、該第1のカラー領域と該第2のカラー領域の間の境界の位置を特定する機能を有する境界特定ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、カラー画像内の境界の位置を特定する装置において、該画像は、少なくとも2つの色集団を、該2つの色集団のうちの第1の色集団に関連する第1のカラー領域と該2つの色集団のうちの第2の色集団に関連する第2のカラー領域との間に含み、該第1のカラー領域および該第2のカラー領域の両方が該カラー画像に含まれ、個々の対の色集団毎に、該色集団の間の境界の位置を識別するための好ましい方法の指示を含む境界解析マップを提供する機能を有する境界解析マップユニットと、該第1のカラー領域と該第2のカラー領域の間のおよその境界位置を識別する機能を有する境界識別ユニットと、該第1の色集団と該第2の色集団の間の境界の位置を識別するための、該境界解析マップに示された好ましい方法を用いることにより、該第1のカラー領域と該第2のカラー領域の間の境界の位置を特定する機能を有する境界特定ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、カラー画像からカラー形態マップを生成する装置であって、カラー画像を縮小して複数の色集団を含む縮小画像を生成する機能を有する縮小ユニットと、該縮小画像内の該複数の色集団のうちの隣接する色集団の間の境界を特定する機能を有する境界特定ユニットと、該縮小画像を分割して、境界および少なくとも1つの非境界領域を含む2値画像を生成する機能を有する分割ユニットと、該少なくとも1つの非境界領域の骨格画像を生成する機能を有する骨格生成ユニットであって、該骨格画像は複数の部分を含む骨格生成ユニットと、該色集団の1つに対応するカラー識別データを該骨格の各部に割り当てる機能を有する割当ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、画像内の円滑曲線における凹凸を識別する装置であって、該円滑曲線上の順序づけられた複数の点を識別する機能を有する識別ユニットであって、該順序づけられた複数の点の各々は該順序づけられた複数の点のなかに少なくとも1つの隣接点を有する識別ユニットと、該順序づけられた複数の点の各々において該円滑曲線に対する垂直方向を特定する機能を有する垂直方向ユニットと、少なくとも一部において、その点における該円滑曲線に対する垂直方向とその点の少なくとも1つの隣接点における該円滑曲線に対する垂直方向との間の差を含む局所的な垂直方向差に基づいて、該順序づけられた複数の点のうちの一点を凹凸の一部として識別する機能を有する不整ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、オブジェクトの画像内の凹凸を分類する装置であって、凹凸の形状深さおよび形状開度を決定する機能を有する寸法決定ユニットと、少なくとも一部において、該寸法決定ユニットの出力に基づいて該形状を分類する機能を有する分類ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、オブジェクトの画像の一部における欠陥を識別する装置であって、該部分はエッジとして識別される画像内の位置に近接し、該エッジに関連する排除方向を識別する機能を有する排除方向ユニットと、該排除方向を含まない複数の方向において、エッジとして識別される位置に近接する欠陥を捜索する機能を有する欠陥ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、オブジェクトの画像の領域内の表面欠陥を識別する装置であって、該画像は多数の画素を含み、サブサンプリング比に従って該領域をサブサンプリングして該領域のサブサンプル画像を生成する機能を有するサブサンプリングユニットと、該サブサンプル画像内の表面欠陥を識別する機能を有する欠陥識別ユニットと、該サブサンプリングユニット内の表面欠陥に対応する領域内の表面欠陥を識別する機能を有する対応ユニットとを含む装置も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を検査するための方法であって、複数のエレメントを有するパターン化された物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、該複数のエレメントのうちの少なくとも1つのエレメント上の金属被膜を検査する機能、および該複数のエレメントのなかの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能のうちの少なくとも1つの検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を検査するための方法であって、複数のエレメントを含むパターン化された物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、該複数のエレメントのなかの少なくとも1つのエレメント上の金属被膜を検査する機能、および該複数のエレメントのなかの少なくとも1つのエレメント上の少なくとも部分的に透明な被膜を検査する機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、少なくとも物体の一部の多色画像出力を提供し、かつ該多色画像出力を受領し、色が異なる領域間の境界を区別するのに有効なサブピクセルの精度でのエッジ検出を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、少なくとも光学特性によって各々が区別される少なくとも3つの異なる領域を有する物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、該少なくとも3つの異なる領域のうちの少なくとも2つの領域の境界を区別するのに有効なサブピクセルの精度でのエッジ検出を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、少なくとも一部において、共通の境界を有する該物体の少なくとも一部の異なる領域の各々における物質を識別する該画像出力に基づいたマッピングを提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、各々が複数の選択される可能性のある代表的カラーの一つを有する複数のカラー領域を含む分割カラー画像に該多色画像を分割する検査機能、該分割カラー画像を二値化して領域および境界を含む2値画像とする検査機能、該領域を形態的に侵食して該領域を表す骨格を提供する検査機能、ならびに該骨格内のエレメントにカラー領域を割り当てる検査機能のうちの少なくとも1つの検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、該物体を表すカラー画像であって、該物体の少なくとも一部の形態的に侵食された多色画像を含むカラー画像を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、該物体を表すカラー画像であって、物体の異なる領域間の境界を示すとともに、共通の境界を有する該異なる領域の各々における物質を識別するマップを含むカラー画像を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を検査するための方法であって、検出可能なエッジを有する少なくとも三種類の物質を含むパターン化された物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、該画像出力を二値化して領域画像データおよび境界画像データを含む2値画像を提供することを含む検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を検査するための方法であって、複数種の物質間の検出可能な境界を有する複数種の物質を含むパターン化された物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、該境界に関連する画像データのパターン解析を行って、境界上のニックおよび突起の存在についての指示を行うことを含む検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の画像出力を提供し、該画像出力を受領し、領域画像データおよび境界画像データを含む分割画像に該画像出力を分割する検査機能、第1の技術を用いて該領域画像データを解析する検査機能、および該第1の技術と異なる第2の技術を用いて該境界画像データを解析する検査機能のうちの少なくとも1つの検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の多色画像出力を提供し、かつ該多色画像出力を受領し、所定のカラーの集合のなかから選択されるカラー領域を含む分割カラー画像に該多色画像出力を分割する検査機能、第1の技術を用いて第1のカラーに関連する該領域画像データを解析する検査機能、および該第1の技術と異なる第2の技術を用いて第2のカラーに関連する該領域画像データを解析する検査機能ののうちの少なくとも1つの検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、物体を検査するための方法であって、物質間の検出可能な境界を有する多種類の物質を含む物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、領域画像データおよび境界画像データを含む分割画像に該画像出力を分割する検査機能、ならびに該境界画像データの少なくとも一部の影響を受けないようにして該領域画像データを平滑化する検査機能のうちの少なくとも1つの検査機能を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、電気回路を検査するための方法であって、多種類の物質を含む電気回路の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、少なくとも1つの所定の物質の存在についての出力指示を行うことを含む方法も提供される。
本発明の他の好ましい実施形態によれば、パターン化された物体を検査するための方法であって、パターン化された物体を少なくとも部分的に覆う半透明の上塗り層を介して該パターン化された物体の少なくとも一部の画像出力を提供し、かつ該画像出力を受領し、該半透明の上塗り層から独立した出力指示を行うことを含む方法も提供される。
本発明の他の好ましい実施形態によれば、自動的に光学的にオブジェクトのカラー画像を検査するための方法であって、オブジェクトの多色画像を取得し、該多色画像を処理して、候補欠陥、および所定の特徴の集合のなかから選択される特徴を指示するレポートを出力し、かつ各々の該候補欠陥および特徴を囲む領域の画像を提供することを含む方法も提供される。
本発明の他の好ましい実施形態によれば、自動的に光学的にオブジェクトのカラー画像を検査する装置であって、オブジェクトの多色画像を取得する機能を有するセンサと、該多色画像を処理して、候補欠陥、および所定の特徴の集合のなかから選択される特徴を指示するレポートを出力するとともに、各々の該候補欠陥および特徴を囲む領域の画像を提供する機能を有する画像プロセッサとを含む装置も提供される。
さらに、本発明の好ましい実施形態によれば、該プロセッサは、該多色画像から生成される2値画像を処理する機能を有する2値画像プロセッサと、該多色画像を処理する機能を有するカラー画像プロセッサとを含む。
さらに、本発明の好ましい実施形態によれば、該装置は、該多色画像から導かれる多色画像からの骨格マップを生成する機能を有する形態的画像プロセッサをも含む。
本発明は、以下の詳細な説明と図面を併用することにより、十分に理解されるであろう。
(好ましい実施形態の詳細な説明) 概要 次に、本発明の好ましい実施形態に従って構成され、機能する画像解析システム100を示す概略構成図である図1を参照する。図1のシステムは、パターン化されたオブジェクト、例えばBGAまたは他の電気回路、を表す画像を解析する上で特に有用であるが、図1のシステムは、解析されている画像がパターン化されたオブジェクトまたは他の任意のオブジェクトを表すか否かに関わらず、画像解析に広く利用できることが理解される。本明細書では、本発明を例示する目的でBGAを参照するが、本明細書に用いられるBGAという言葉は、プリント回路基板、積層プリント回路基板、リードフレーム、フラットパネルディスプレイ、ハイブリッドチップパッケージ基板、テープオートメーテッドボンディング基板、ならびに医学的移植に利用できる様々な侵食および彫刻金属基板を含む任意のパターン化オブジェクトを意味し、かつそれらを追加的に包括するものと見なすべきである。
画像解析システム100は、照明サブシステム、画像取得サブシステム、オブジェクト搬送サブシステム、ソフトウェアベースの画像処理サブシステムを備えた検査システムに含まれるのが好ましい。したがって、画像解析システム100によって解析されている画像がBGAのようなパターン化されたオブジェクトの如きオブジェクトの画像を含む場合には、適切な画像取得システム(不図示)を典型的に採用してオブジェクトの画像を取り込むこと、ならびに画像解析システム100によって解析されている画像を、典型的に、フォーカス、補償、リサンプリングおよびアラインメントを含む当該技術分野において公知の方法で補正することが理解される。画像解析システム100に画像を提供するのに適した適切な画像取得システムは、典型的には、当該技術分野においてよく知られているように、多色画像出力を提供する少なくとも1つのディテクタを備える。当該画像取得システムの出力、または他の適切な手段によって生成される同様のあらゆる画像を、ここでは一般に「カラー画像」と呼ぶ。
解析すべき入力画像は、典型的に、当該技術分野において公知の適切なカラーフォーマットのカラー画像を含む。カラー画像は、24ビット解像度の如き高ビット解像度で、RGB(赤・緑・青)フォーマットにて提供されるのが好ましい。
画像解析システム100は、入力画像を解析するとともに、さらなる処理に向けて、好ましくはソフトウェア処理ユニットに対して解析結果を送るか、あるいは適切なアプリケーションインタフェースによりオペレータに直接報告するために解析結果を送る機能を有しているのが好ましい。
当該技術分野においてよく知られているように、画像解析システム100は、カスタムハードウェア内で実現するのが好ましい。画像解析システム100を汎用コンピュータ上で実行するためのソフトウェアの実現は可能であり、十分に機能するものと考えられるが、より高速なパフォーマンスを達成するためにはハードウェア実現のほうが好ましい。本発明の説明を容易にするために、通常は、ハードウェアでもソフトウェアでも本発明の原理を実現できるような方法を説明する。
画像解析システム100は、好ましくは入力画像に関するカラー情報を受領し、好ましくは、後述するように、受領したカラー情報に基づいて入力画像を解析する機能を有するカラープロセッサ、または「CLRP」ユニット120を備えるのが好ましい。
画像解析システム100は、好ましくは入力画像に関するグレーレベル情報としても知られるモノクロ情報を受領し、好ましくは、後述するように、受領したグレーレベル情報に基づいて入力画像を解析する機能を有するCABSユニット130をも備えるのが好ましい。モノクロ情報は、典型的には赤であるが必ずしも赤とは限らない一色の情報を含むことができ、典型的には8ビットの如き高ビット数のグレーレベル情報を含む。以下に、図33Aおよび図33Bを参照しながら、CABSユニット130の好ましい実施態様を説明する。
画像解析システム100は、好ましくは、後述され、CABSユニット130からの二値化情報、およびCLRPユニット120からのカラー情報を典型的に含む出力を入力として受領するSKFDユニット140をも備えるのが好ましい。SKFDユニット140は、後述するように、該ユニットへの入力を解析するとともに、入力画像の骨格表現および入力画像に見られる形態特徴を典型的に含む特性情報をそこから生成する機能を有するのが好ましい。
画像解析システム100は、同期ユニット150をも備えるのが好ましい。好ましくは、かつ画像解析システム100のより高速なパフォーマンスを得るために、CLRPユニット120、CABSユニット130およびSKFDユニット140はパラレルに動作する。同期化ユニット150は、好ましくはCLRPユニット120、CABSユニット130およびSKFDユニット140の各々と連携して動作し、好ましくはCLRPユニット120、CABSユニット130およびSKFDユニット140の各々からの出力を受領する。当該技術分野において公知のハードウェアベースの遅延および同期化方法の如き任意の適切な同期化方法を用いて、同期化ユニット150は、そこで受領された入力の各々を相互に同期化するとともに、同期化した入力を画像解析システム100の出力として伝送する機能を有するのが好ましい。
画像解析システム100は、2値セル、カラーセル、モフォロジ骨格、骨格特徴、ニック/突起、グレー表面欠陥、カラー表面欠陥、欠陥カラーセル、および対象領域のスナップショット画像の如き、検査されているオブジェクトに検出される様々な特徴および欠陥に関する情報を含むいくつかのレポートを生成するのが好ましい。これらのレポートは、本出願人の係属中のイスラエル特許出願第131,282号に詳述されているようなソフトウェア画像処理装置に入力される。加えて、画像解析システム100は、各特徴および欠陥のスナップショット画像、ならびに検査に先立ってユーザがあらかじめ定める物体上の特定の対象領域のスナップショット欠陥を生成する。典型的には、スナップショット画像は、各特徴、欠陥、およびあらかじめ定められた対象領域を囲む領域の多色画像である。
画像解析システム100のスナップショット画像出力は、検査対象オブジェクトの構造および欠陥に関する適切な最終レポートを作成するために、後処理サブシステム(不図示)によって後処理できることが好ましい。
CLRPユニット120は、以下のサブユニットを備えるのが好ましい。
1.物質識別サブユニット170、この物質識別サブユニット170は、好ましくはCLRPユニット120へのカラー画像データ入力を受領し、好ましくはその入力画像が該画像であるオブジェクト内に含まれる物質に関する情報をそこから求める機能を有する。物質識別サブユニット170の好ましい実施態様は、図2を参照しながら以下により詳しく説明されている。
2.物質輪郭サブユニット180、物質輪郭サブユニット180は、好ましくは物質識別サブユニット170からの出力を受領し、好ましくは入力画像内の輪郭および/または境界を表す輪郭情報をそこから求める機能を有する。物質輪郭サブユニット180の好ましい実施態様についても、図2を参照しながら以下により詳しく説明されている。
入力画像がオブジェクトの画像を含まない場合には、限定的ではないが特に物質識別サブユニット170および物質輪郭サブユニット180に関して、本明細書および請求項を通じて用いられる「物質」という言葉は、入力画像内の特徴を意味する。画像がオブジェクトを表さない場合、入力画像内の特徴は、解析上、その画像が表すオブジェクト内の一種類以上の物質の特徴に対応すると見なされる。すなわち、「物質」という言葉の解釈および定義を拡大すれば、物質識別サブユニット170および物質輪郭サブユニット180の機能は、オブジェクトの画像を含まない画像を解析する上でも有用であると考えられる。
3.カラー表面欠陥サブユニット190、カラー表面欠陥サブユニット190は、好ましくはCLRPユニット120へのカラー画像データ入力を受領し、好ましくは、入力画像内の表面欠陥に関する情報を、該入力から求める機能を有する。一般に、表面欠陥は、入力画像が画像であるオブジェクト内の欠陥に対応する。。カラー表面欠陥サブユニット190の好ましい動作方法は、図12を参照しながら以下により詳しく説明されている。
CABSユニット130は、好ましくは以下のサブユニットを備える。
1.二値化およびセル生成サブユニット200、二値化およびセル生成サブユニット200は、好ましくはCABSユニット130へのモノクロ画像データ入力を受領し、好ましくは該モノクロ画像データに基づいて、入力画像に対応する2値画像を表す2値情報をそこから導く機能を有する。さらに、本発明の好ましい実施形態では、二値化およびセル生成サブユニット200は、物質識別サブユニット170からの縮小カラー画像を受領し、入力された縮小カラー画像に対応する2値画像を表す2値情報をそこから導く機能を有する。二値化およびセル生成サブユニット200は、また、好ましくはセルとしても知られる輪郭エレメントを利用して画像内の境界を定めるとともに、生成されたセルの記述を含む情報を出力する機能を有するのが好ましい。二値化およびセル生成サブユニット200の好ましい動作方法は、カラー画像の1つの成分について図7を参照しながら以下に説明されている方法と類似している。
「2値」という言葉は、本明細書および請求項を通じて用いられるあらゆる形式において、また特に情報、画像、あるいは情報処理方法または画像処理方法の記述において、2つの状態または2つの結果を有することを意味する。例えば、画像の場合は、2値画像とは、画像に含まれる画素の如き各々のエレメントが、「黒」および「白」、あるいは「0」または「1」として表すことができる2つの状態しかもたない画像のことである。したがって、画像または画像情報において2値という言葉は、当該技術分野においてよく知られ、各エレメントについて可能な状態あるいは結果が2つ以上存在する特定のタイプの画像を意味する「グレースケール」および「カラー」という言葉と対照して用いられる。
2.ニックおよび突起ユニット220、ニックおよび突起ユニット220は、好ましくは二値化およびセル生成ユニット200によるセル情報出力を受領し、好ましくは二値化およびセル生成ユニット200によって定められた境界におけるニックおよび突起として知られる小さな境界の凹凸に関する情報をそこから導くとともに、出力としてニックおよび突起を報告する機能を有する。ニックおよび突起サブユニット220の好ましい動作方法は、図33Aおよび図33Bを参照しながら以下により詳しく説明されている。
3.グレー小欠陥サブユニット210、グレー小欠陥サブユニット210は、好ましくはCABSユニット130へのモノクロ画像データ入力を受領し、好ましくは、該モノクロ画像データを用いて、該画像がオブジェクトの画像である場合に、該画像を画像とするオブジェクト内の欠陥を示す可能性のある該入力画像内の小欠陥を識別する機能を有する。モノクロ情報を用いて小欠陥を識別する方法は、当該技術分野においてよく知られており、例えば、その開示内容を本願に引用して援用する、上文に参照された米国特許第5,586,058号(アロニ他)に記載されている。
SKFDユニット140は、以下のサブユニットを備えるのが好ましい。
1.線および空間骨格サブユニット230、線および空間骨格サブユニット230は、好ましくはCABSユニット130からの2値情報出力を、典型的には二値化およびセル生成サブユニット200を介して受領し、好ましくは入力画像を示すライン・アンド・スペース骨格情報をそこから導くとともに出力として生成する。当該技術分野においてよく知られているように、ライン・アンド・スペース骨格情報は、典型的には画素消費法を用いて導かれる。ライン・アンド・スペース骨格サブユニット230の好ましい動作方法は、図27を参照しながら以下により詳しく説明されている。
2.形態サブユニット240、形態サブユニット240は、好ましくはライン・アンド・スペース骨格サブユニット230によるライン・アンド・スペース骨格情報出力を受領し、好ましくは該ライン・アンド・スペース骨格情報に基づいて入力画像の形態的特徴を識別するとともに、該形態的特徴を示す情報を出力として生成する機能を有する。形態サブユニット240の好ましい動作方法は、図30Aから図30Cを参照しながら以下により詳細に説明されている。
以下の定義および一般論は、本明細書および請求項を理解する上で補助的な役割を果たしうる。
ほぼ均一なカラー特性を有する画素の集団を、ここでは「ほぼ均一な色集団」と呼ぶ。典型的に、解析されるカラー画像は、当該技術分野においてよく知られているように、ほぼ均一な色集団の複数の領域を含む。
例えば、赤、緑および青毎に個別のカラー値を含むRGB形式、色相、強度および彩度毎に個別の値を含むHSI形式のようなカラー・フォーマットまたはカラー空間によってカラー画像を表現することは、当該技術分野においてよく知られている。本明細書および請求項を通じて説明を簡潔化するために、特に指定のない限り、RGB形式の例を使用するが、たいていの場合は他の形式も使用できることが理解されるであろう。
RGB画像の単一の色成分をRGB画像の他の成分と別個に扱うことができること、例えば緑色成分を別個に扱うことができることは当該技術分野においてよく知られている。処理および説明を簡潔化するために、緑色成分のみを含む導出画像をモノクロ画像と見なすことができる。当該単一成分の導出画像について論述する上で、画素の値がある意味で「グリーンスケール値」であっても、説明を簡潔化するために、その値をグレースケール値と呼ぶことができる。
グレースケール画像解析の分野において、勾配の概念はよく知られており、画素値の関数の一次導関数であり、所定の位置における画素値の変化率を示す。したがって、赤色成分のような単一カラー成分における均一カラーの領域は、一般に勾配値がゼロまたはほぼゼロの画素から構成されることを当業者なら理解するであろう。境界やエッジを含む色が不均一な領域は、一般には、相当ゼロと異なる勾配値を有する画素から構成されることになる。
グレースケール画像におけるサブピクセル精度の特定を含め、グレースケール画像におけるエッジを特定するのに使用できる好ましい先行技術の方法としては、二次導関数計算法がある。二次導関数計算法は、画素強度関数の二次導関数の近似値を計算するのにガウス差分(DOG)法を一般的に用いる。典型的な先行技術の方法は、その開示内容を本願に引用して援用する以下の米国特許に記載されている。
1.自動目視検査システムを開示するCaspiの米国特許第5,774,572号。このシステムは、好ましくは、符号付き値を有する二次元畳み込み画像を形成するガウス関数の二次導関数に関連するフィルタ関数を用いて、オブジェクトの二次元デジタルグレースケール画像を畳み込む機能を有する。オブジェクト内のエッジの位置特定は、符号が逆の強度値を有する隣接画素間のゼロクロスを見いだすことによって達成される。
2.目視検査システムを開示するCaspi他の米国特許第5,774,573号。このシステムは、符号付き画素強度値を有する二次元畳み込み画像を形成するガウス関数の二次導関数に関連するフィルタ関数を用いて、オブジェクトの二次元デジタルグレースケール画像の畳み込みを利用する。Caspi他の畳み込みは、一方が正で他方が負の2つのガウス関数の差分を用いて実施することが可能である。
カラー画像処理 次に、図1のCLRPユニットに含まれる物質識別サブユニット170および物質輪郭サブユニット180の好ましい実施態様を示す簡単なブロック図である図2を参照する。
一般に、物質識別サブユニット170のタスクは、入力画像内の均一色集団領域に関するできるだけ多くの情報を入力画像のカラー情報から生成することである。物質識別サブユニット170において、均一色集団の領域は、一般に、他の物質を覆う半透明または部分的に透明な被膜、あるいは上塗り層の存在により生じうる特定の物質または物質の組み合わせによって特定される。例えば、検査対象となるオブジェクトがBGAであるときは、光学的に区別可能な典型的な物質および物質の組み合わせは、銅線、金塗装または金メッキされた銅線、基板、およびはんだマスク上塗り層によって覆われた上記物質のいずれかの該当部分を含む。検査対象となる他のオブジェクトは、例えば銀の如き他の物質および物質の組み合わせを含みうることが理解される。したがって、物質識別サブユニット170の主なタスクは、均一色集団の領域を、入力画像内で、かつカラー情報に基づいて識別することである。
本明細書および請求項に用いられている「半透明上塗り層」という言葉は、例えば、半透明または部分的に透明なはんだマスク、あるいは例えば、その反対側に位置する導体を見ることが可能な半透明基板を包括する。
ここでは、均一色集団領域は、特定物質の領域を表すものとする。一般に解析される入力画像が物理的なオブジェクトの画像である場合にはそうなる。しかし、既に説明したように、本発明は、物理的オブジェクトの画像である入力画像のみの解析に限定されるものでない。画像が物質的オブジェクトの画像でない場合における「物質」という言葉の使用は類似的なものであり限定を目的とするものでない。
一般に、物質輪郭ユニット180は、入力画像のカラー情報から、そして物質特定サブユニット170の出力から、均一色集団の領域間の、好ましくはサブピクセルレベルで識別される境界の標示を生成する。
図2の装置は、以下のユニットを備えるのが好ましい。 1.物質分類ユニット171 2.カラーエッジディテクタ172 3.領域拡張ユニット173 4.セル構成ユニット174 5.輪郭形成ユニット175。
物質分類ユニット171は、好ましくは、入力画像内の画素毎にRGB値からなるカラー成分データを受領し、好ましくは、特定の物質に属するほぼ均一な色集団の領域を分類する。好ましい実施態様において、物質分類ユニット171は、特定の物質または物質の組み合わせに対応するカラー空間内にある画素のカラー成分値(典型的にRGB値である)がその物質に対応するように、直接そのRGB値に基づいて各画素を分類するように、ハードウェアLUTとして実装される。
類似の物質で構成される複数のオブジェクトの画像を解析するという典型的な場合には、当該技術分野においてよく知られた方法を用いて代表的な画像を解析することによりLUTを構築できるのが好ましい。ヒストグラム状画素カラー分布解析に基づく単純な方法を含めて、代表画像を解析するいくつかの適切な方法は当該技術分野においてよく知られており、さらに任意の方法を利用できることが理解される。当該解析を行うための好ましい方法は、その開示内容を本願に引用して援用した文献、すなわちDorin ComaniciuおよびPeter Meer、「多変量データの分布によらない分解(Distribution Free Decomposition of Multivariate Data)」、SPR’98依頼提言(Invited Submission、ラトガーズ大学電気・コンピュータ学科(Piscataway、NJ08855、USA)に記載されている。
物質分類ユニット171は、好ましくは、特定の物質に対する入力画像内の各画素の割当を示す物質分類情報を出力する。
カラーエッジディテクタ172は、好ましくは、物質分類ユニット171と同じ入力を受領する。カラーエッジディテクタ172は、好ましくは、当該技術分野においてよく知られているように、典型的にソベル演算子を典型的に入力画像のHSI成分に適用することによって一次導関数の近似値を計算する機能を有する。ソベル演算子は、好ましくは、HSI成分の各々に個別的に適用され、次いで、以下に説明するように、総合結果が導かれる。
ソベルエッジ検出は、当該技術分野においてよく知られている。関数ψの勾配の絶対値は、xおよびy方向のψの部分導関数の絶対値の合計により与えられ、以下のような、点(i、j)におけるソベル概算において近似的に求められる:
本発明におけるソベルエッジ検出は、好ましくは3×3のサーキュラーエッジディテクタを使用し、画像の畳み込みを介し、上記の式による垂直および水平勾配成分の絶対値の合計として2Dの勾配絶対値を計算する。画像の畳み込みには、典型的に以下のカーネルを使用することができる。
次いで、カラーエッジディテクタ172は、以下のように、H、SおよびI成分勾配の加重加算によりカラーエッジを計算する。 |GCOLOR|=(|GH|関連(I)重みH+|GS|関連(I)重みS+|GI|重みI) ただし、 GCOLORはカラーエッジ、 GHは色相の勾配、 GSは彩度の勾配、 GIは強度の勾配、 関連(I)は強度のカラー関連重み関数、 重みHは、色相成分に対する重み、 重みSは、色度成分に対する重み、 重みIは、強度成分に対する重みである。
上述のファクタについてのさらなる説明は、その開示を本願に引用して援用する、上文に参照されたPhilippe PujasおよびMarie−Jose Aldonの「ロバストカラー画像分割(Robust Colour Image Segmentation)」に記載されている。
次に、カラーエッジディテクタ172の好ましい動作方法の概略フローチャートである図3を参照する。図3のフローチャートは、上述の説明を参照すれば自ずと理解される。
再び図2を参照すると、領域拡張ユニット173は、好ましくは、物質分類ユニット171が生成する物質分類情報を含む出力、およびカラーエッジディテクタ172が生成するカラー勾配情報を含む出力を受領する。領域拡張ユニット173は、好ましくは、均一色集団間の境界ができるだけ狭くなるように、物質分類ユニットにより識別される均一色集団を含む各領域を可能な限り拡張する機能を有する。
次に、図2の領域拡張ユニット173の好ましい動作方法を示す概略フローチャートである図4を参照する。図4の方法では、未割当ての画素が、低い勾配を有する均一カラーの隣接領域に割り当てられるが、それは、可能な限り、未割当ての画素との境界が最も不鮮明な隣接領域に未割当ての画素が割り当てられることを示す。図4の方法は、好ましくは以下のステップを含む。
上述したような適切なエッジ抽出演算子を用いて、画像内の各画素における勾配を計算する(ステップ330)。図4の方法の現段階において分類すべき未分類画素の勾配度を示すカレント勾配度を0にセットする(ステップ340)。
好ましくは、勾配が現行の勾配度以下の未分類の画素毎に以下のステップを実行し(ステップ350)、段階的に増加させる。
未分類の画素の隣接画素の中で、勾配が最小の隣接画素を特定する(ステップ360)。隣接画素は、2つの水平隣接画素と2つの垂直隣接画素から構成される4つの画素を含むことができる。あるいは、隣接画素は4つの対角隣接画素をも含み、8つの画素を含むことができる。
ステップ360において勾配が最小の画素として特定された、隣接画素の中の画素に未分類の画素を割り当てる(ステップ370)。勾配が最小の隣接画素が2つ以上存在する場合には、勾配が最小の2つ以上の隣接画素のうちの第1の出現画素を選択して使用する。
すべての画素が分類されているかどうかをチェックする(ステップ380)。そうであれば、図4の方法を終了するのが好ましい。
少なくとも1つの未分類画素が未分類のまま残っている場合は、カレント勾配度を増加させ(ステップ390)、ステップ350で図4の方法を実行する。
上述したように、図2の装置を含めて、図1のシステムのたいていのコンポーネントは、最適な性能を得るためにハードウェアで実行されるのが好ましいことが理解される。当業者であれば、ソフトウェアアルゴリズムの最適化されたハードウェアインプリメンテーションに適切なよく知られた技法を用いて図4の方法を実施するであろうことが理解される。
セル構成ユニット174は、好ましくは、典型的に物質分類ユニット171およびカラーエッジディテクタ172が受領するRGB入力を含むカラー成分入力を受領する。セル構成ユニット174は、好ましくは、異なる均一色集団の領域間の境界を区別するとともに、R、GおよびBグレースケール画像の各々においてサブピクセルレベルで特定される当該境界を表すセルをそこから決定する機能を有する。輪郭要素としても知られるセルについては、以下により詳細に説明する。
グレースケール画像における当該サブピクセル特定を行うための適切な装置および方法は、どちらも上文に参照され、その開示内容を本願に引用して援用した、ここではカスピ特許とも呼ばれる米国特許第5,774,572号(カスピ)および米国特許第5,774,573号(カスピ他)に記載されている。本発明において、赤色成分グレースケール画像の如き単一成分グレースケール画像におけるサブピクセルレベルでの境界の位置の特定は、カスピ特許に記載の方法を用いて実施することができる。
当該技術分野、特に上文に参照したカスピ特許においてよく知られているように、ガウス(DOG)演算子の適切な差を用いた畳み込みを利用して二次導関数を計算して境界位置を特定することができ、特に大規模演算子および小規模演算子を使用することができる。好ましいカーネルとしては、3×1、5×1、および5×3カーネルが挙げられる。ここでさらに、好ましい5×5ラージカーネル、および対応する好ましい3×3スモールカーネルの例をそれぞれ示す図5および図6を参照する。
輪郭形成ユニット175は、好ましくは、セル構成ユニット174からのR、GおよびBセル、ならびに領域拡張ユニット173からの分割物質情報を受領し、好ましくは入力画像における隣接物質間の境界を表すカラーセルをそこから生成する機能を有する。
次に、図2の輪郭形成ユニット175の好ましい実施態様を示す概略構成図である図7を参照する。図7の装置は、以下のコンポーネントを備えるのが好ましい。
1.好ましくは分割物質情報を受領し、好ましくはピクセルの精度で境界を表す物質セルをそこから生成する機能を有する物質セルビルダ176。
2.内部で境界が特定されるべき領域を示す、各物質セルの周りの1画素エンベロープの如きエンベロープを構築する選別器決定エンベロープビルダ177。
3.好ましくは、物質セルビルダ176からの物質セル、および選別器決定エンベロープビルダ177からのエンベロープ、ならびにR、GおよびBセル情報を受領し、好ましくは隣接する物質間の最良の境界を表す最終カラーセルをそこから生成する機能を有する最良輪郭選別器178。
最良輪郭選別器178での境界の特定では、エッジの境目の近傍においてサブピクセルの精度で境界を決定するのは一般に困難または不可能であるため、境目の近傍における輪郭境界を利用するのが好ましいとされている。境目の近傍は、例えば境目から3画素平方の範囲内に定めるといった任意の適切な方法で定めることができる。
本発明の好ましい実施形態では、境目に近くない領域にサブピクセルR、GまたはB境界を用いるべきか、あるいは画素物質セル境界を用いるべきかを、境界の両側に位置する物質に従って判断する。例えば特定の物質が赤で最もよく識別できることが知られている。それらの物質が境界の両側に位置する場合は、赤色サブピクセル境界を用いて境界をその位置に固定する。他の物質は、R、GまたはBのいずれにおいても識別できないかもしれず、その場合は、例えば境界特定のために所定の方法によりRGB入力に重み付けをすることによって疑似カラーを生成するか、その点に物質セル境界を使用することになる。
次に、図7の最良の輪郭選別器178の好ましい動作方法を示す概略フローチャートである図8を参照する。図8のフローチャートは、上述の説明を参照すれば自ずと理解される。
好ましくは、上述したサブピクセル精度の境界は複数の輪郭要素またはセルとして表され、各々のセルは、単一画素の近傍にあるサブピクセル精度の境界セグメントを示し、各々のセルは、長さが一画素の1つの寸法にほぼ等しい小さなベクトルにほぼ匹敵する。セル、およびセルの各々の側にある均一の色集団の位置と向きを定めることを含めた、セルを定める好ましい1つの方法であって、各集団を上述の物質または物質の組み合わせに関連づける方法を以下に記載する。
次に、本発明を理解する上で有用な、好ましいセル構成および分類を示す概略図である図9から図11を参照する。図9の例は、複数の画素530、および第2の複数の仮想セル画素540を含む。典型的に、各仮想セル画素540は、各画素530と同じ大きさで、各仮想セル画素540は、4つの画素530のコーナを中心とする。図9では、例示のみを目的として、中央の仮想セル画素545の隣接画素からなる4つの画素530の各々が、それぞれ−100、+20、+50および+20の所定の勾配値を有する画素として示されている。
図9はセル550も含む。セル550の開始端の交点560の位置は、当業界で知られているように、ゼロクロス点を見積もるために、隣接セル勾配値間、例えば+20と−100の間の線形補間により固定されるのが好ましい。同様に、セル550の終了端の交点の位置は、隣接セル勾配値間、例えば+50と−100の間の線形補間により固定されるのが好ましい。
図10は、セル550の開始端および終了端を記述するための好ましい循環座標系、ならびにセル550の上エッジ、左エッジ、右エッジおよび下エッジがそれぞれ0、1、2および3に番号づけされたエッジ番号づけシステムを示す図である。図11は、図9および図10のセル550の方向を示すエッジコードを記述するための好ましい体系を示す図である。
4つの隣接画素におけるエッジコードおよび方向ベースのDOG符号値を決定する好ましい方法としては、以下の内容に基づく参照用テーブルを実施することになる。
エッジコードの上述のリストにおいて、コード6はサドルを表し、コード7は「無セル」を表すことが理解される。
図10の番号づけシステムに従って、セルの開始端および終了端を以下の表から決定することができる。
本発明の好ましい実施形態において、上述のように計算されるセルを集めて、均一色集団の間のセル境界を表し、均一色集団のカラーのうちセルのそれぞれの側に位置するカラーをセル毎に指示する画像マップを形成する。上述のように均一色集団に物質を関連づけることにより、カラーセル画像マップは、検査対象となるオブジェクト上に存在する物質の正体および位置に関するデータを含むことが容易に理解される。
本発明の好ましい実施形態において、検査対象オブジェクトの特徴のレポートにセルの集合体(これは、要望に応じてさらに処理することができる)を含めるのが好ましい。追加的なレポートは、好ましくは、検査対象となるオブジェクトの均一色集団の領域を記した縮小カラーマップであって、以下により詳細に述べるように、例えばカラー形態マップを生成するために二値セルを生成する二値化およびセル生成ユニット200によって使用することができる縮小カラーマップを含む。さらに、カラーセルを解析して、部分的に透明な上塗り層の如き様々な被膜の形状および位置を確認し、欠陥があるものとして検出された場合に欠陥レポートを出力することができる。
表面欠陥の検出 次に、図1のカラー表面欠陥サブユニット190の好ましい実施態様を示す概略ブロック図である図12を参照する。参照の簡潔化のために、本明細書では、カラー表面欠陥サブユニット190をCOMPADD190と呼ぶことがある。
領域欠陥としても知られる表面欠陥は、無作為にテクスチャされた表面内の局所的な異常であると記すことが可能であり、典型的には、検査対象となる物体の表面に残留する処理残留物、様々な被膜およびメッキ内の空隙、ならびに特に金属被膜における擦り傷、異物、染みおよび様々な金属および金属被膜の酸化を含む物体の表面構造における凸凹を含む。表面欠陥は、好ましくは以下の2つのグループに分類される。 − 高コントラスト欠陥、擦り傷または凹みのように、一般に、強い勾配を測定することが可能な明確なエッジを有する欠陥からなる。 − 低コントラスト広領域欠陥、水の染みまたは酸化領域のように、一般に、比較的緩やかな勾配が測定される不明確なエッジを有する欠陥からなる。
以下のような他の様式で欠陥を分類することもできる。 − 主に色が周囲と異なる彩色欠陥。酸化領域は彩色欠陥の例である。 − 例えば、凹み、擦り傷および染みのように、周囲より明るいまたは暗い欠陥である無彩色欠陥、または強度基準の欠陥。
一般に、図12の装置は、様々な物質およびテクスチャを含む構造的に複雑な表面に対しても、上述のような表面欠陥を検出しようとする。好ましくは、図12の装置は、ある物質の内部で、そのエッジを無視して動作するよう設計され、そのため上述の物質輪郭サブユニット180によって生成される出力の如き、物質およびエッジに分割される入力を受領するよう設計される。好ましくは、図12の装置は、異なる解像度において彩色ディテクタおよび無彩色ディテクタを平行して適用する多解像度検出を用いてその結果を達成する。図12の装置は、好ましくは、異なる物質に対して異なる感度で動作し、物質のエッジからの距離の関数として感度を変えて動作するよう構成することができる。好ましくは、図12の装置は、検出された表面欠陥のレポートを生成する。好ましくは、表面欠陥を候補欠陥と見なし、検査対象となる画像内における欠陥を有する可能性のある位置のスナップショット画像を該レポートに添える。そのレポートおよびスナップショット画像は、要望に応じてさらに処理することができる。
したがって、本発明において、図12の装置に対する好ましい入力は、オブジェクトまたは検査対象となる画像を定めるカラー画像データ、物質識別サブユニット170が生成する物質情報、および物質輪郭サブユニット180が生成するカラーセル情報を含む。
動作の効率化のために、図12の装置は、好ましくは当該技術分野においてよく知られているような特殊用途のハードウェアで部分的または全面的に実行され、他の部分があるとすれば、それはソフトウェアおよび汎用ハードウェアで実行されるのが好ましい。
図12の装置は、以下のユニットを備えるのが好ましい。
1.カラー1/カラー2作成ユニット400、これは、好ましくはカラー情報および物質情報を受領し、好ましくは本明細書ではカラー1およびカラー2として知られる2つの導出カラー画像をそこから導く機能を有する。
本発明において好ましくは、各物質における彩色欠陥を検出するための好ましいカラーをあらかじめ定め、各物質における無彩色欠陥を検出するための好ましいカラーをあらかじめ定める。次いで、無彩色欠陥を検出するための最良の画像としてカラー1画像を定め、同様に、彩色欠陥を検出するための最良の画像としてカラー2画像を定める。カラー1画像およびカラー2画像のそれぞれは、好ましくは、4つの可能なグレースケール画像、すなわちR、G、BおよびそのHSI変換画像の1つのうちのいずれか1つから採取された画素が各画素に割り当てられるコラージュを含む。3つのHSI変換画像のうちの選択される1つの画像としては、画像内に存在することが見込まれる物質に対して効果的なものを選択することが好ましい(図13)。
次に、図12のカラー1/カラー2作成ユニット400の好ましい動作方法を示す概略図である図13を参照する。図13の方法は、上述の説明を参照すれば自ずと理解される。
2.方向性イネーブル画像クリエータ、これはカラーセル情報を受領し、好ましくは、図12の装置のさらなる動作を制御するために使用されるのが好ましい2つの方向性イネーブル画像、すなわちokdirおよびサブokdirを生成する機能を有する402。多物質画像に対して高感度な欠陥ディテクタを利用する場合、物質のエッジに起因する誤り検出を避けることが強く望まれることを当業者なら理解するであろう。
物質のエッジ上では一般に強い勾配が測定されるため、本発明では、特に表面欠陥検出に関して、物質のエッジまたはその付近における勾配測定を不可能にすることが望まれる。本発明では、以下のストラテジを用いて、物質のエッジに関連する勾配に起因する誤り検出を引き起こすことなく、物質のエッジ付近の欠陥を見いだすことを可能にする。画像は、好ましくは3つの主要グループ、すなわちエッジ上において、測定が行われないグループと、エッジ付近において、局所的なエッジ方向に平行する方向でしか測定が行われない(この測定方向をここではokdir方向と呼ぶ)グループと、その他の位置において正規の測定が行われるグループとに分けられる。好ましくは、フル解像度測定にはokdirマップを使用し、サブ解像度測定には誘導された「サブokdir」マップを使用する。
本明細書に用いられる「サブ解像度」とは、一般に、本来の画像の各ディメンジョンにおける5個おきの画素のような、各ディメンジョンにおけるn個おきの画素を使用する画像の如きサブサンプル画像の使用を意味する。数学の分野でよく知られているように、画素値が縮小することなく距離が縮小するため、サブサンプル画像を用いて画像を「縮小」することにより、勾配値のような特定の計算値が増加することが理解される。このように、低コントラスト欠陥をより明確にすることができる。
図14を参照しながら、okdirを作成する方向性イネーブル画像クリエータ402の部分の好ましい実施態様を、また図21を参照しながら、サブokdirを作成する部分の好ましい実施形態を以下により詳細に説明する。
3、4.それぞれが好ましくはカラー1画像およびカラー2画像を受領する、サブ解像度チャネル低コントラスト欠陥ディテクタ404およびフル解像度チャネル高コントラスト欠陥ディテクタ406を含み、低コントラスト検出ディテクタ404は好ましくはサブokdirイネーブル画像を受領し、高コントラスト検出ディテクタ406は好ましくはokdirイネーブル画像を受領し、低コントラスト検出ディテクタ404および高コントラスト欠陥ディテクタ406のそれぞれが勾配解析を行うとともに欠陥のレポートを生成する機能を有する多解像度勾配測定装置。好ましくは、合計4つのエッジディテクタを採用し、低コントラスト欠陥ディテクタ404および高コントラスト欠陥ディテクタ406のそれぞれにおけるカラー1画像およびカラー2画像のそれぞれに対して各々のエッジディテクタを使用する。さらに、好ましくは、フル解像度チャネル高コントラスト欠陥ディテクタ406のみに2つの小欠陥ディテクタを採用し、カラー1画像およびカラー2画像のそれぞれにその各々を使用する。したがって、好ましくは、合計6つのディテクタが採用される。
5.好ましくは、低コントラスト欠陥ディテクタ404および高コントラスト欠陥ディテクタ406のそれぞれからレポートを受領するとともに、そこから適切な合併レポートを生成する機能を有するチャネルレポート合併器408。
次に、図12の方向性イネーブル画像クリエータ402の第1の部分の好ましい実施態様を示す概略ブロック図である図14を参照する。図14に示された方向性イネーブル画像クリエータ402の部分は、okdirを作成する部分である。サブokdirを作成する部分は、図21を参照しながら以下に説明されている。
図14の装置は、好ましくは入力画像としてカラーセル情報を受領し、好ましくはそこからエッジイネーブル画像を導く機能を有するエッジイネーブル画像クリエータ410を備えるのが好ましい。エッジイネーブル画像では、好ましくはセルに「接触する」すべての画素がエッジ画素としてマーク付けされているのに対して、他のすべての画素はマーク付けされておらず、物質画素を表している。したがって、エッジイネーブル画像は2値画像として作成される。
次に、図14の装置の動作を理解する上で有用な、画像画素および隣接する仮想セル画素を示す概略図である図15を参照する。典型的には、画像画素690の如き各画像画素について、仮想セル画素700、710、720および730の如き画像画素690を中心とした4つの仮想セル画素の近傍を考慮する。仮想セル画素700、710、720および730は、典型的には、それらの位置に従って、それぞれ0、1、2および3の番号が付けられている。
4つの隣接仮想セル画素700、710、720および730のいずれにもセルが存在しない場合は、画像画素690をエッジ画素と見なさない。4つの隣接仮想セル画素700、710、720および730のいずれかにセルが存在する場合は、当該セルのすべてが図15に示されるような排除セル740でなければ、画像画素690をエッジ画素と見なす。図10およびそれについての上述の説明に従って、排除セル740は以下のように構成される。
再び図14を参照すると、図14の装置は、好ましくは典型的に3つの侵食ユニット414を含む複数の侵食ユニット414に制御情報を提供する機能を有する、典型的にはLUTとして実装される形態制御ユニット412を備えるのが好ましい。3つの侵食ユニット414の各々は、好ましくは、当該技術分野においてよく知られているように、エッジイネーブル画像クリエータ410が作成するエッジイネーブル画像に侵食を適用する機能を有する。典型的には、第1の侵食ユニット414が2つのレベルの侵食を適用してイネーブル2マップを生成し、第2の侵食ユニット414がさらに4つのレベルの侵食を適用してイネーブル6マップを生成し、第3の侵食ユニット414がさらに4つのレベルの侵食を適用してイネーブル10マップを生成する。典型的には、それらの入力および受領される制御情報を除いて、3つの侵食ユニット414の各々は同一である。
好ましくは、値を有する侵食キーに従って各侵食ステップを実施する。侵食キーの値の可能な例としては、「0C CCCT CC00」が挙げられる。好ましくは、左から右方向に読んだ場合に、侵食キーの各文字は単一の侵食ステップを表し、好ましくは侵食演算子に従って解釈される各ステップを以下に示す。
好ましくは、すべての侵食演算子が直交演算子、つまり、中央画素の4つの一次の隣接画素の1つが既に浸食されている場合に中央画素を消費する演算子を含む。イネーブル2マップは好ましくは演算「0C」によって生成され、イネーブル6マップはさらなる演算「CCCT」によって生成され、イネーブル10マップはさらなる演算「CC00」によって生成されることが理解される。ハードウェアインプリメンテーションを容易にするために「0」の侵食ステップを含めるのが好ましいことを当業者なら理解するであろう。
好ましくは、イネーブルマップを使用してエッジ内の領域を拡張し、それによってエッジ方向を特定することができる。侵食動作は、本来のエッジイネーブル画像のサイズを大きくする傾向があるため、エッジからの距離がより遠くてもエッジ検出の特定が可能となる。好ましくは、幅が10画素までのokdir−エンベロープを作成できる。
図14の装置は、好ましくは、okdir画像を生成する機能を有するokdirマップ計算ユニット416をも含む。次に、okdirマップ計算ユニット416の好ましい動作方法を示す概略フローチャートである図16を参照する。図16の方法は以下のステップを含むのが好ましい。 3つのイネーブル画像からの関連イネーブル画像を特定する(ステップ418)。
次に、図16のステップ418の好ましい実施態様を示す概略フローチャートである図17を参照する。図17の方法を理解する上で、以下の定義が有用でありうる。 − エンベロープ画素:5×5マトリックスの境界上に位置する画素。 − okdirアドレス:以下に説明するエンベロープおよびマップコード。 − エンベロープ:好ましくは図17の方法に従って、イネーブル2画像、イネーブル6画像およびイネーブル10画像から選択される選択イネーブル画像のエンベロープ画素のビットマップ。 − マップコード、典型的には2ビットコードとして実行され、典型的には以下の解釈に従って選択イネーブルマップを描写するコードであるマップコード。
図17の方法は、好ましくは、イネーブル2画像、イネーブル6画像およびイネーブル10画像を含む3つのイネーブル画像を入力として受領し、以下のステップを含むのが好ましい。
イネーブル2画像の中央画素はエッジ画素であるかどうかをチェックする(ステップ420)。そうである場合は、okdirアドレスを0にセットする(ステップ422)。すなわち、エンベロープとマップコードの両方をゼロに設定し、図17の方法を終了する。
そうでない場合は、イネーブル2画像は少なくとも1つのエッジ画素を含むかどうかをチェックする(ステップ424)。そうである場合は、エンベロープをイネーブル2エンベロープに等しく設定し、マップコードを01に等しく設定し(ステップ426)、図17の方法を終了する。
そうでない場合は、イネーブル6画像のエンベロープ画素は少なくとも1つのエッジ画素を含むかどうかをチェックする(ステップ428)。そうである場合は、エンベロープをイネーブル6エンベロープに等しく設定し、マップコードを02に等しく設定し(ステップ430)、図17の方法を終了する。
そうでない場合は、エンベロープをイネーブル10エンベロープに等しく設定し、マップコードを03に等しく設定する(ステップ432)。
一般に、エンベロープ2画像の中央画素がエッジ画素で、エンベロープが選択されない場合でなければ、図17の方法は、エッジ画素を含む最小のイネーブルマップのエンベロープを選択する機能を有することを当業者なら理解するであろう。
再び図16を参照すると、okdirを計算する(ステップ419)。好ましくは、上述したような効率性の理由により、ステップ419はLUT内のハードウェアで実行される。次に、図16のステップ419の好ましい実施態様を示す概略フローチャートである図18を参照する。図18の方法は、以下のステップを含むのが好ましい。
okdirアドレスが0に等しいかどうかをチェックする(ステップ434)。そうである場合は、okdirも0に等しく設定する(ステップ436)。
すべてのエンベロープ画素が占有されているかどうかをチェックする(ステップ438)。そうである場合は、okdirを、典型的には16進数の0×Fとして表される15に等しく設定する(ステップ440)。
次いで、イネーブル画像を侵食して骨格ヘッドとする(ステップ442)。骨格ヘッドは、侵食後も残留する単一の孤立画素である。次に、侵食によって一つの骨格ヘッド452を得る工程の例を示す概略図である図19を参照する。
再び図18を参照すると、骨格ヘッドの数により、3つの可能な例の1つに基づいて作業を行う(ステップ444)。
骨格ヘッドが1つの場合は、okdirは、骨格ヘッドと展開の中央画素を接続するベクトルに対して垂直になる(ステップ446)。okdir方向のこの例は、図19において参照番号454で示されている。
2つの骨格ヘッドがある場合は、okdirは、それら2つの骨格ヘッドの間に引かれた線の方向である(ステップ448)。
3つ以上の骨格ヘッドがある場合は、okdirを、測定が行われないことを示す0に設定する。
次に、okdir値、対応する測定方向、および測定のための好ましい勾配演算子を示す表である図20を参照する。図20の表において、「LinearDiff」は、当業界においてよく知られているように、線形差分演算子を表し、「HalfSobel」は、以下により詳細に説明する、ハーフソベル演算子と呼ばれる修正型ソベル演算子を表す。図20の表は、それ以外は自ずと理解される。
次に、図12の方向性イネーブル画像クリエータ402の第2の部分の好ましい動作方法を示す概略フローチャートである図21を参照する。図21の方法は、サブokdir画像の生成を目的とする。
図21の方法は、以下のステップを含むのが好ましい。 図14で説明したように生成されたイネーブル10画像を入力として受領し、拡大する(ステップ456)。好ましくは、イネーブル10画像の拡大は、5×5展開を行い、拡大における画素のいずれか1つがエッジ画素である場合は、展開の中央画素をエッジ画素に設定する。このようにして生成された画像を、本明細書では「ベースイネーブル」画像と呼ぶ。
kを好ましくは11または21に等しく設定してベースイネーブル画像のk×k展開を行う(ステップ458)。次いで、k×k展開内の9つの所定の画素から視覚的な3×3展開を作成する(ステップ460)。次に、11×11の展開に対する所定の画素の好ましい選択を示す図22を参照するが、21×21の展開または他の展開に対しても同様にして所定の画素を選択できることが理解される。さらに、k×kからの9つの画素の選択はサブサンプリングの形式を含むことも理解されるであろう。
仮想3×3展開からサブokdir値を求めるためにヒューリスティックの集合を適用する(ステップ462)。次に、図21のステップ462に使用される好ましいヒューリスティックを示す表である図23A、ならびに3×3仮想展開の9つの画素に対する命名規則を示す概略図である図23Bを参照するが、図23Bに記載の名称が図23Aで用いられている。図23Aおよび図23Bは自ずと理解される。
次に、図12の装置の一部の好ましい動作方法を示す概略フローチャートである図24を参照する。図24のフローチャートは、図12のフル解像度チャネル406、サブ解像度チャネル404およびチャネルレポート合併器408の好ましい動作方法を含む。図12の前述の部分に関連する図24のフローチャートの部分は、図24において、一般には参照番号404、406および408で示されている。
好ましくは、図12を参照しながら上述したように、フル解像度チャネル406およびサブ解像度チャネル404の両方が、カラー1画像およびカラー2画像を入力として受領する。
図24の方法は、以下のステップを含むのが好ましい。
1.フル解像度チャネルに関連するステップ406:
好ましくは、3×3のミラーガウスフィルタを用いて入力画像を平滑化する(ステップ464)。当該技術分野においてよく知られているように、ガウスフィルタを使用して画像を平滑化し、その中のテクスチャ効果を抑えることができる。ガウスフィルタは、エッジの隣に位置する画素が隣接するエッジ画素に影響され、効果的にエッジを物質のほうに広げる可能性があるという欠点がある。この問題を、「エッジ効果」と呼ぶことができる。本発明では、ガウス演算子と、3×3展開における画素を3×3展開の反対側の画素に変換するミラー演算子とを組み合わせるミラーガウス演算子を使用して、先行技術において知られているエッジ効果を克服することにより、境界に関連する画像データに影響されないようにして、非境界領域に関連する画像データを平滑化する。
次に、ガウス(i、j)が標準的なガウス関数の適用形態を表す、図24のステップ464の好ましい実施態様を示す概略フローチャートである図25を参照する。図25の方法は、自ずと理解される。
図24を参照すると、典型的には物質領域内にハーフソベルディテクタを含み、エッジ上に線形の差分ディテクタ(LinearDiff)を含む適切な勾配演算子を適用する(ステップ466)。
本発明において、線形差分ディテクタの適用は、好ましくは、okdir方向、またはサブ解像度チャネルの場合はサブokdir方向における、短ベクトルの頭「b」と短ベクトルの尾「a」と間の画素値の差の測定を含む。線形差分ディテクタの値は、好ましくは「b」における値から「a」における値を引いた値である。
当該技術分野においてよく知られ、本明細書にも説明されているソベル演算子は、主要な水平軸および垂直軸に沿うグレーレベル導出と、対角線に沿うグレーレベル導出とを組み合わせる勾配演算子である。以下に説明するが、図24の方法では、サブ解像度チャネルにソベル演算子を使用する。典型的には、個別に適用される2つの演算子として、すなわち
のような水平方向演算子と
のような垂直方向演算子としてソベル演算子を実行することができる。
本発明において、好ましくは、局所的な最小値および/または最大値の検出をソベル演算子の特性に付加する目的で、ハーフソベル演算子として知られる改良されたソベル型演算子をステップ466に用いる。通常、ハーフソベル水平方向演算子は、
の形式を有し、一方、ハーフソベル垂直方向演算子は、
の形式を有する。
典型的には、半ソベル演算子は2つのステップで適用される。入力値は演算子の下に位置する画素の値を示し、符号「−」は、演算子がその画素位置でゼロ値を有することを示す、半ソベル水平演算子の形式を取るとする。
Dif0=(2*A0+A1+A2)−4*Cが成り立ち、Dif1=4*C−(2*B0+B1+B2)が成り立つものとする。すると、半ソベル演算子を用いて計算された勾配Gradは以下の式で与えられる。 Grand=Dif0+Dif1
Dif0とDIF1の符号が異なる場合は、局所的な最小値または局所的な最大値を含む局所的な極値がC画素の位置またはその付近に存在しうる。
ステップ466の出力は、カラー1およびカラー2画像からそれぞれ別個に得られる水平勾配画像および垂直勾配画像を含む。
次いで、好ましくはエッジからの距離に基づく正規化演算子を用いて、また好ましくはDif0およびDif1に対して個別的に、勾配を正規化する(ステップ468)。表面ディテクタのいくつかの物質について同時に処理する場合、各々の物質が異なる固有のテクスチャを有し、ときには「ノイズ」と呼ばれる異なるレベルの勾配を生成するため、問題が生じる。1つの物質における欠陥を示す勾配のノイズレベルは、第2の物質における正規のテクスチャと見なされる可能性ある。
異なる物質における異なるテクスチャの問題を克服するのに様々な方法を採用しうることが理解される。1つの方法としては、調整可能なしきい値を採用することが考えられる。あるいは、物質毎に別個の正規化関数を与え、次いでそのようにして得られた正規化勾配に1つのしきい値を適用することもできる。
本発明のステップ468において、好ましくは勾配正規化を用いる。物質毎に、前もって適切な正規化関数を設定するが、それらの正規化関数は均一な結果を得るように選定される。好ましくは、適切な正規化関数は以下のようにして求めることができる。すなわち、すべての物質の勾配のヒストグラムを入手し、物質毎に中央勾配値を求め、当該技術分野においてよく知られている正規化演算を適用して正規化関数を得る。
次いで、ステップ468において、以下の式に従って正規化勾配を計算するのが好ましい。 NormGrad=NormFun(エッジからの物質距離)*Gradient*EdgeFactor(狭領域) ただし、 NormGradは正規化勾配値である。 NormFunction(エッジからの物質距離)は特定の物質についての正規化関数で、上述のようにして求めることができる。 Gradientは入力勾配値である。 EdgeFactor(狭領域)は、一般に0以上1以下の係数で、エッジ付近の勾配により小さな重みを与えるように選択される計数である。エッジ付近では、EdgeFactor(狭領域)は、例えば0.8の値を有するのが好ましい。
計算法を上に示した勾配を解析し、分類し、閾値処理する(ステップ470)。次に、解析および分類を含む、図24のステップ470の好ましい実施態様の概略フローチャートである図26を参照する。図26において、Dif0及びDif1は、好ましくは、ステップ466で説明した通りである。上述のように、LinearDiff演算子を使用する場合は、Dif0およびDif1は、好ましくは直線的に測定され、LinearDiffを測定する方向(現行のokdir方向に対応する方向)に沿うベクトルの中央画素とヘッドおよびテール画素との差を表すことが理解される。例えば、cが中央画素のグレー値で、bおよびaがヘッド画素およびテール画素のグレー値である場合は、Dif0およびDif1は、好ましくは以下の式で与えられる。 Dif0=c−b および Dif1=a−c 図26の方法は自ずと理解される。
再び図24を参照すると、次いで、ステップ470において、閾値処理する。典型的には以前の画像解析から導かれる所定の基準に基づいて、勾配および最大値/最小値の算定にしきい値を適用して、好ましくは勾配または最大値/最小値のレポートを以下のように等級付けする。
ステップ470の出力は、好ましくは、各々のケースにおいて、局所的な最小/最大欠陥、および勾配欠陥についての個別的なカラー1およびカラー2のレポートを含む。カラー1およびカラー2のレポートは、好ましくは「最強レポートの生き残り」規則を適用することによって統合される(ステップ472)。「最強レポートの生き残り」規則は、典型的には以下の論理によって表される。
次いで、典型的にはレポートの3×3展開を解析し、重みづけ合計値を計算し、所定のしきい値を適用することによってステップ472の結果をフィルタリングする(ステップ472)。好ましくは、ハードウェアLUTでこの動作を実行する。
2.サブ解像度チャネル404に関連するステップ: 好ましくは5×5のチェス盤状メジアンフィルタを用いて画像を平滑化する(ステップ476)。このステップは、フル解像度チャネルでのステップ464に対応する。サブ解像度チャネルでは、大きな欠陥を捜索するため、周囲領域との違いが大きくても、小さな特徴を無視するのが望ましい。したがって、隣接画素との違いが大きい画素を無視するように設計された大きなカーネルサイズのフィルタを使用するのが好ましい。好ましくは、当該技術分野においてよく知られているように、データをサンプリングし、その中央値を求めて使用するメジアンフィルタを用いる。実施を容易にするために、Xで表される画素はサンプリングされ、0で表される画素はサンプリングされない、以下に示すような5×5のチェス盤状サブサンプルの如きサブサンプルに対するメジアン計算を行うことが望ましい。
勾配ディテクタを適用する(ステップ478)。このステップはステップ466に対応し、好ましくは、物質内でソベルディテクタを使用する点を除いてはステップ466と類似している。ソベルディテクタは、特にステップ466を参照しながら上述されている。
ステップ468の勾配正規化に対応し、好ましくは類似した勾配正規化を行う(ステップ480)。
ステップ482において、ステップ470に対応する閾値処理と同様の勾配閾値処理を行い、カラーレポートを統合する。ステップ482におけるカラーレポートの統合は、好ましくはステップ472に類似している。よって、フィルタリングされていない勾配欠陥を含むレポート画像を生成する。
広領域結果フィルタを適用する(ステップ484)。このステップはステップ474に対応する。ステップ484において、好ましくはステップ474を参照しながら上述したフィルタと同様の3×3フィルタを最初に適用する。次いで、3×3フィルタの結果を利用して、9×9展開の如きより大きな展開を行い、次いで重みつき合計のしきい値に基づいてそれを同様にフィルタリングする。好ましくは、典型的に以下のパターン(ただし、Xはサンプリングされる画素を表し、0はサンプリングされない画素を表す)に従って、フィルタリング後に9×9展開をサブサンプリングする。
随意に、クラスタードレポートのレポート「クラウド」が存在し、外部レポートが希釈されないクラウドのエッジを定め、内部レポートが希釈される場合に、その結果を希釈し、代表レポートを小数に維持することによって格納空間を節約する。
3.サブ解像度チャネルレポートとフル解像度チャネルレポートの併合。
サブ解像度チャネルレポートとフル解像度チャネルレポートを併合する(ステップ468)。以下の規則に従って併合を行う。
1.ステップ472を参照しながら上述したものと同様の「最強レポートの生き残り」 2.2つのレポートが同じ強さを有する場合は、以下の順序に従って、ディテクタがより精密なレポートを使用する。 局所的最小値/最大値>フル勾配>サブ勾配
典型的な実施態様において、最終レポートにおける各項目は、以下のような典型的構成を有する9ビットワードを含む。
形態的骨格生成 次に、図1の線および空間骨格サブユニット230の好ましい動作方法を示す概略フローチャートである図27を参照する。図27の方法は、侵食方法を含み、一般的な侵食方法は当該技術分野においてよく知られている。線および空間骨格サブユニット230は、好ましくは、二値化およびセル生成サブユニット200が生成し、好ましくはモノクロ画像データから導かれる2値セルを入力として受領する。図27のステップは以下のステップを含むのが好ましい。
画素毎に骨格生成のための侵食を受ける画像は、例えばX方向の各列に沿って左から右に移動し、次にY方向の上から下に移動するといったように、所定のXおよびY走査方向に移動する(ステップ490)。
典型的には、侵食される画素に最も近い4または8の隣接画素に従って、画素毎に侵食を行う(ステップ492)。次に、図27の方法を理解する上で有用な、部分的侵食の前後の画素の配列を示す概略図である図28Aおよび図28Bを参照する。図28Aにおいて、A4で表される、侵食される画素496を、以下のいずれかの画素の画素値に従って侵食することができる:
A1、A3、A5およびA7で表される4つの水平および垂直隣接画素498、又は
4つの水平および垂直隣接画素496、ならびにA0、A2、A6およびA8で表される4つの対角隣接画素500を含む最も近い8つの隣接画素。
どの隣接画素を選択するかは、実施される解析に応じて変わりうる。最も近い4つの隣接画素に基づく侵食には主要な水平および垂直軸が有利であるのに対して、最も近い8つの隣接画素に基づく侵食では対角線に侵食も可能であることを当業者なら理解するであろう。原理的には、より均一な侵食を可能にするために、4つの隣接画素を使用し、かつ8つの隣接画素を使用して侵食を行うことが好ましいが、実用的には、4つの隣接画素または8つの隣接画素のいずれか一方を使用できる。いずれの場合も、好ましくは1の値を有するよう定められた黒色画素から0の値を有するよう定められた白色画素へと侵食が行われるが、白色から黒色への侵食、および/または上述の値と逆の値を白色および黒色画素に割り当てることも可能であることが理解される。好ましい侵食規則を以下に示す。
4つの隣接画素については、4つの水平および垂直隣接画素498のいずれかが0の値を有する場合に中央画素496を0に設定する。
8つの隣接画素については、4つの水平および垂直隣接画素498のいずれか、または直交隣接画素500のいずれかが0の値を有する場合に中央画素496を0に設定する。
本発明において、好ましくは(ただし、必ずしもそうではない)、侵食中の連結を保つ。すなわち、連結された黒色画素は連結されたままで、侵食の後も「切断」されるべきではない。連結を保つ場合は、典型的には当該技術分野においてよく知られているオイラーの状態を含む連結状態を適用する(ステップ494)。オイラーの状態は、オイラーの状態によって指定される合計またはスコアが侵食の前後にわたって保たれる場合に連結を保つことになる幾何学的状態である。連結を保つためには、オイラーの状態が破られると、侵食が行われないことになる。
図28Bを参照すると、既に侵食された画素502をP0、P1、P2およびP3で示す。侵食される画素496は、好ましくはステップ492に関する上述の状態が満たされ、オイラーの状態も満たされる場合にのみ侵食される。次に、オイラーの状態を示す概略図である図29を参照する。図29において、侵食の前後で変化することのない合計値を得るために、図29に示されているように、複数のパターン504の発生回数を加減する。
好ましくは、上述したように、動作の効率を考慮して、図27の方法をカスタムハードウェアで実行する。図27の方法を画像毎に一回または複数回実施し、1つ以上の侵食段階を実行することができることが理解される。好ましくは、侵食の終わりに一画素の幅の骨格を得るように、実行する侵食の段階の数を、侵食されるあらゆる形状の最大厚さに応じて変える。4つまたは8つの隣接画素を用い、また、連結を保ちながら、または連結を保たずに各段階を実行することができるが、ある侵食に対しては4つの隣接画素を使用し、他の侵食に対しては8つの隣接画素を使用することは、侵食の等方性を得る上で役立ちうることが理解される。
次に、図1の形態サブユニット240の好ましい動作方法を理解する上で有用な概略説明図である図30Aから図30Cを参照する。形態サブユニット240は、好ましくは線および空間骨格サブユニット230からの入力、および物質識別による均一色集団の画像を受領する。
図30Aでは、侵食前の画像506が示されている。図30Bには、図30Aの侵食前の画像506の黒色に対する侵食の結果の例508が示されている。図30Cには、図30Aの侵食前の画像506の白色に対する侵食の結果の例510が示されている。
図30および30Cには、検出される典型的な形態的事象、すなわち開口端512、接続点514およびブロブ接続点516が示されている。
図30Aから30Cを理解する上で有用な演算子を示す概略図である図31Aから図31Cを参照する。本発明の好ましい実施形態では、当該技術分野においてよく知られているように、図31Aから図31Cに示されるカーネルとしても知られる演算子の例を、図30Bの画像または図30Cの画像に適用して形態的事象を検出することができる。図31Aには、開口端カーネル演算子518が示されている。図31Bには、接続点演算子520が示されている。図31Cには、白色に囲まれた「黒色」の島を描くのに使用できるブロブ接続点演算子522が示されている。
本発明の好ましい実施形態に従って、白黒画像、すなわち、二値化およびセル生成サブユニット200を起源とする2値画像に関して示されているが、図30Bおよび図30Cに示される侵食2値画像における領域および特徴は均一色集団に関連づけられることが容易に理解される。このように、開口端512、接続点514およびブロブ接続点516の如き特定の特徴を均一色集団に関連づけ、また上述のようなさらなる関連づけにより、それぞれの均一色集団によって表される物質および物質の組み合わせに関連づけることができる。
次に、画像のカラー形態解析の好ましい方法を示す概略フローチャートである図32を参照する。説明を簡略化するために、画像の2値形態解析の説明の後に図32の方法を説明するが、図32の方法は、例えば、少なくとも一部において、カラー情報が利用可能な図1のCLRPユニット120で実行されうることが理解される。図32の方法は、一般に画像のカラー形態解析に有用であるため、図1のCLRPユニット120の特定の範囲の外側における他の形態のカラー画像解析にも有用でありうることが理解される。図32の方法は画像の任意の適切な光学特性の解析に利用できること、そして図32の方法は形態解析に限定されないことを当業者なら理解するであろう。
図32の方法は、以下のステップを含むのが好ましい。 典型的にはカラー処理を参照しながら上述したように、カラー法を用いてカラー物質画像を生成する(ステップ523)。カラー物質画像は、好ましくは物質識別サブユニット170によって生成され、各物質が均一色集団に関連づけられる。典型的には、カラー物質画像の生成により、異なる色集団の数がカラー画像データ内の集団の数に比べて著しく削減されることが容易に理解される。
好ましくは、さらなる処理に向けて物質領域を分離するために、典型的には、物質間の各境界に沿う各領域における画素に人工的な色値を割り当てることによって、物質間にギャップを生じさせる。典型的には、当該技術分野においてよく知られる閾値処理の如き方法を用いて、ステップ524の出力から2値画像を生成させる(ステップ525)。あるいは、当該技術分野において知られる任意の従来的な方法によりカラー画像をグレーレベルのモノクロ画像に変換し、そこから2値画像を生成する二値化およびセル生成サブユニット200に提供する。
ステップ525の出力に対して骨格法を実行する(ステップ526)。好ましくは、図27の方法を用いる。好ましくは図30Aから図30Cを参照しながら上述したように、ステップ526の出力における形態的事象を識別する(ステップ527)。
次いで、例えば上述のステップ523によって生成された強調物質画像内の対応する位置のカラーに従って形状を「色づけ」することにより、形態的事象を均一色集団に関連づける(ステップ528)。本発明の好ましい実施形態によれば、骨格画像内の形状が、重ね合わせた物質画像内の均一色集団のカラーの1つに応じたカラーを受け取るように、侵食骨格画像および物質画像を重ねることにより該色づけするステップを実行する。
このように、形状に割り当てる均一色集団または物質のカラーを有する形態マップを含むカラー形態画像が生成される。
ニックおよび突起処理 次に、併合すると、図1のニックおよび突起サブユニット220の好ましい動作方法を示す概略フローチャートを含む図33Aおよび図33Bを参照する。「ニック」および「突起」という言葉は、エッジ上の小さな欠陥を意味するが、ニックはエッジ内に伸びる欠陥であるのに対して、突起は、エッジがその適当な位置から外に伸びる欠陥である。図1のニックおよび突起サブユニット220は、好ましくは、ニックおよび突起を識別するとともに、ニックや突起と、例えば角の如き画像が解析されているオブジェクトの正規の形状とを区別する機能を有する。ニックおよび突起の検出は、直線のエッジを有する多数の微小形状が存在し、ニックおよび突起のような欠陥がけっこう存在し、典型的に望ましくないとされる、本明細書に記載されているようなオブジェクトを検査する上で特に興味深い。
次に、図33Aおよび図33Bの方法を理解するのに有用な、解析すべき画像の一部を示す概略図である図35を参照する。図35の画像は、どれもエッジ830上に位置するニック800、突起810、内角815および2つの外角820を含む。本発明の好ましい実施形態において、ニックおよび突起検出は、好ましくは隣接輪郭要素間の偏差の開度を測定することによって異なる物質間の境界を定めるエッジ輪郭を解析し、エッジ830上を移動するときのエッジ830に対する法線の角度の変化により疑わしい欠陥を分類することに基づいて行われる。
ニックと突起は、ニック800が「内−外−内」の変化を有するものとして特徴づけられるのに対して、突起810は「外−内−外」の角度変化を有するように、法線の角度変化についての逆のプロフィルを有することが理解される。その一方、内角815は「内−内−内」の角度変化を有するのに対して、外角820は「外」の角度変化を有する。したがって、法線の角度変化を測定および解析する適切な方法は、ニックと突起と、角の如き正規の特徴とを区別できるものでなければならないことが理解される。
図33Aおよび図33Bの方法は以下のステップを含むのが好ましい。
動作の効率化のために、ステップ840とステップ930(ともに以下に説明する)を平行して実施し、ステップ840およびステップ930の各々は入力として解析すべきセルを受領することが理解される。
典型的には画像内のすべてのセルについて、画像内の解析されるセル毎に破断検出を行う(ステップ840)。ステップ840は、以下のステップ850、860、870、880、890、900および910を含むのが好ましい。
解析対象のセルについて、セルの長さおよびセルの垂線の角度を測定する(ステップ850)。再び図9から図11を参照すると、好ましくは所定の数の少数の可能セルのみが存在するため、セルの長さおよびセルの角度をLUTから求めるのが好ましいこともありうることが理解される。
次いで、好ましくは、解析されるセルの各隣接セルについて、以下のステップ870、880、890、900および910を実行する(ステップ860)。再び図9から図11を参照すると、セルは、4つの隣接セルの1つの方向にのみ進行することができ、4つの「角」方向の1つに進行することができないことが理解されるため、各セルは4つの隣接セルのみを有することが理解される。
隣接セルの長さをチェックして、隣接セルの長さが、例えば1/4画素のしきい値の如き所定のしきい値より大きいことを確認する(ステップ870)。隣接セルの長さが所定のしきい値以下である場合は、次の隣接セルに対して処理を続ける(ステップ880)。
隣接セルの長さが所定のしきい値より大きい場合は、好ましくはステップ850を参照しながら上述した方法と類似の方法を用いて、隣接セルの垂線の角度を求め、ブレーク角を計算する(ステップ890)。次に、図33Aのステップ890を理解する上で有用な概略説明図である図34を参照する。図34は、セル891、ならびに隣接セル892および893を示す図である。それぞれセル892および893に対する法線894および895が示されている。次いで、ブレーク角896はセル891のブレーク角である。
ブレーク角が、例えば22度のしきい値の如き所定のしきい値より大きいかどうかをチェックする(ステップ900)。ブレーク角が所定のしきい値以下である場合は、上述したステップ880の処理を進める。
ブレーク角が所定のしきい値より大きい場合は、典型的には好適なマップにおいて、解析されるセルに対してブレークを表示する(ステップ910)。
ステップ840において解析されているセルの周囲のセルの領域が問題を有するものとして表示されていることを確認するために、ブレークマップ展開を作成し、実質的にブレークレポートを拡大する。すなわち、解析対象のセルが存続する2つの画素を含む2つの隣接画素もブレークを有するものとして表示される(ステップ920)。ブレークレポートを拡大するに際して、好ましくは、レポートされたブレークが近隣のブレークの拡大によって上書きされるのを防ぐために、隣接画素について記録された以前のレポートを上書きしない。
次いで、ブレークレポートを抽出し(ステップ925)、以下に説明するステップ980に託す。
好ましくは、図33Aの上述のステップと平行して、典型的には画像内のすべてのセルについて、画像内の解析対象セル毎に形状の特徴づけを行う(ステップ930)。ステップ930は、以下のステップ940、950、960および970を含むのが好ましい。
セルの中間点を特定する(ステップ940)。上述したように、各々の仮想セル画素の中に限られた数の可能セルしか存在しないため、LUTを介してセル中間点を突きとめるのが好ましく最も効率的でありうることが理解される。
現在解析されているセルをその一部とする形状の2つのエッジセルを、解析されているセルを中心とする展開のなかで、典型的には解析されているセルを中心とする5×5配列の仮想セル画素のなかで特定する(ステップ950)。実施の効率化のために、LUTを介してエッジセルから形状深さおよび開度を求めるのが好ましいが、5×5配列を用いたLUTの直接的な実行には、25ビットのLUTアドレス、あるいは実用上処理が極めて困難な数のエントリであると見なされる225エントリが必要になる。
ステップ950においてエッジセルを突きとめるための好ましい方法は以下のステップを含む。次に、図33Bのステップ950を理解する上で有用な、セル仮想画素の配列を示す概略図である図36を参照する。図36の例において、現在解析されているセルまたは中央セル951は既知である。第1のショルダセル952および第2のショルダセル953を特定する。
好ましくは、第1に、中央セル951の仮想画素、およびその8つの一次隣接画素を含む9つの中央仮想セル画素954に対して、3×3の連結解析を行う。連結解析の目的は、典型的には以下の規則に従って、検査対象となる輪郭にタイプを割り当てることである。
次に、上記表を理解する上で有用な、輪郭の例を示す概略図を含む図37Aおよび37Bを参照する。図37Aは、一般に1つ以上の輪郭が認められるときに存在するものと判断される欠陥輪郭の例を含む。図37Bは、図36に示されているのに似ている左上輪郭の例を含む。
好ましくは、16エッジ仮想セル画素955の連結セルの如き連結成分の解析を行う。再び図36の例を参照すると、例えば16エッジ仮想セル画素955のなかに第1および第2の輪郭が認められる。次いで、好ましくは、以下の論理を適用する(ただし、nは、16エッジ仮想セル画素955のなかに認められる個々の輪郭の数を表す)。
次に、好ましくは、9つの中央仮想セル画素954内に位置する中央の輪郭に最も近い2つの輪郭が使用されるように、好ましくは距離の尺度に基づいて、既に見いだされた輪郭のうちの2つの輪郭を、連結される可能性が最も高いものとして選択する。
好ましくは、ユークリッド距離に従って、互いの距離が最も近い選択された2つの輪郭の2つのセルを突きとめ、疑わしい輪郭のショルダとして報告する。例えば、上述の方法によって、図36における第1のショルダセル952および第2のショルダセル953を特定する。
再び図33Bを参照すると、ステップ950において特定された2つのエッジセルおよびステップ940において特定された中間点に基づく3つの特徴点は、本発明の好ましい実施形態では、さらなる処理を簡略化するために変換されている(ステップ960)。ステップ960は、主に計算の効率化を支援するために存在しているため、本発明の他の実施形態では省略することができることが理解される。中央セルは4ビットの情報によって特徴づけることができるのに対し、2つのエッジセルは各々4ビットの位置情報および4ビットのセルアドレス情報によって特徴づけることが可能で、合計20ビットの情報で特徴づけられることが理解される。3つの点への固定的な変換を行い、中央セル中間点を中央セル仮想画素の中央、またはその位置が既知である他の固定点へ移動させることによって、必要とされるデータを削減する。典型的には、4ビットの情報を省略することができるため、16ビットの情報を必要とするにすぎない。
次に、ステップ960において変換した変換点に基づいて、形状深さおよび開度を測定する(ステップ970)。好ましくは、中央セル仮想画素の右下の角から第1のセルと最後のセルを連結する線までの深さ測定に基づき、ステップ960を参照しながら上述した16ビットの情報に基づいてLUTを介して深さおよび開度を測定する。次に、突起の典型例を示す概略図で、その深さ971および開度972を示す図38を参照する。
次に、図33Bのステップ980を理解する上で有用な、仮想セル画素の配列を示す概略図である図39Aを参照する。図39Aの配列は、中央仮想セル画素982,第1のショルダ983および最後のショルダ984を有する調査対象輪郭981を含む。さらに、図39Aの仮想セル画素の配列を示す概略図で、調査対象輪郭981の解析に関連して、それぞれ「I」および「O」で表される「内」および「外」ブレークレポートの位置を示す図39Bを参照する。好ましくは、それぞれ中央画素982、第1のショルダ983および最後のショルダ984に対応するブレークレポート985、986および987のみを以下に説明するステップ980に入力する。
ステップ980は、好ましくは、その両方について上述したステップ925およびステップ930の両方からの出力を受領する。好ましくは、ステップ980において、典型的にLUTを含む決定表を実行することにより、ステップ925および930から受領した入力に基づいて結果を求める。ステップ980の結果は、好ましくは適当なLUTにより決定される。典型的には、LUTへの入力は、輪郭深さおよび開度、ならびにそれぞれ中央ブレーク、第1のブレークおよび最後のブレークとも呼ばれる、輪郭の中央およびそのショルダにおいて記録されたブレークを含む。LUTの結果は、典型的に、ニック、突起、角およびノーレポートを含む。LUTは、決定を導く一連の論理演算を含む総当たり決定法を典型的に含む、適切な方法を実施する。好ましい論理演算は、例えば以下のようなヒューリスティックで記述することができる。
− ブレークシーケンスin−in−inは角を示すが、その深さが深さのしきい値を著しく上回り、例えば深さのしきい値の2倍を超える場合には突起として報告されうる。
− ブレークシーケンスin−out−inはニックを示すが、最も小さいニック深さのしきい値を超える場合にニックとして報告される。
− none−out−inのブレークシーケンスは、その深さが十分に大きく、その幅が十分に狭い場合にのみ報告される(「none」は、ブレークが報告されない場合を意味する)。
典型的に、深さのしきい値は調査されるオブジェクトの応用形態またはタイプに特有のもので、1画素の3/4と2または3画素の間を変動しうるのに対して、開度のしきい値は典型的に幅が2.5画素である。
好ましくは、ニック/突起検出のレポートを含む、ステップ980の結果を報告し、その結果を後処理して、典型的には当該後処理のためのトリガを含むレポートを生成することができる。上述したように、その結果は、典型的にニック、突起、角またはノーレポートを含みうる。
次に、図1のシステムに併用すると有益な方法を示す概略フローチャートである図39Cおよび図39Dを参照する。図39Cの方法は、カラー画像からカラー形態マップを生成するための方法を含む。図39Dの方法は、カラー画像内のカラーセルを特定するための方法を含む。図39及び図30Dの方法は、上述の説明を参照すれば自ずと理解される。
次に、本発明の動作を理解するのに有用な、電気回路の如きパターン化された物体の例を示す概略図である図40を参照する。図40の装置は、本発明を用いて解析することのできるオブジェクトの具体的な例を提供することを意図するものである。図40の例は、限定的なものではない。
図40の装置は、図40の例においてボールグリッドアレイ(BGA)基板から構成される電気回路1000を含む。当該技術分野においてよく知られているように、BGA1000は、典型的には、はんだマスク1004の如き部分的に透明な被膜または半透明被膜に覆われた銅線の領域、露出基板1006の領域、部分的に透明な、または半透明のはんだマスク1008に覆われた領域、例えばボール1010および電力線1012のように、金の如き金属メッキで覆われた銅線の領域を含む。また、金メッキされた領域の一部を、被覆ボール1014の如き部分的に透明な、または半透明のはんだマスクで覆うこともできる。
上述の異なる物質および物質の組み合わせの領域の各々は、異なる識別色集団によって特徴づけられることが理解される。例えば、露出した銅と金メッキした銅の領域を色で区別する。はんだマスクは典型的には緑色で、はんだマスクで覆われた銅は典型的には淡緑色になり、はんだマスクで覆われた金メッキ銅は非常に淡い淡緑色になり、はんだマスクで覆われた基板は暗緑色になる。上述した本発明の好ましい実施形態において、異なる集団の各々を識別することができ、2値セル、カラーセルおよびカラー形態特徴を生成して領域の各々を表すことができる。
本発明を用いて、例えば擦り傷1016の如き様々な表面欠陥、ならびに例えば染み、凹みおよび他の欠陥のような表面欠陥1018についての解析を含めて、BGAとしてのパターン化された物体を解析できることも当業者なら理解するであろう。
発明人等は、その領域において欠陥を検出するかどうかに関わらず、外部処理ステップでBGAのいくつかの領域をさらに処理するのが望ましいことを見いだした。例えば、ユーザによっていくつかの領域を指定することができ、いくつかの領域を特定の特徴に関連づけることができる。したがって、例えば、電力線またはボールの如き特定の位置にあるいくつかの対象領域において、その領域に何らかの特定の特徴または欠陥が認められるかどうかに関わらず、好ましくはスナップショット画像を生成し、追加的な画像処理に供する。追加的かつ代替的に、BGA上のどこに位置するかに関わらず、特定の特徴、例えば金メッキされた銅継ぎ手における開口端が検出されると、位置、または特徴に関して何らかの特定の欠陥が認められるかどうかに関わらず、好ましくはスナップショット画像を生成し、追加的な画像処理に供する。
特徴を識別するために、その一部を図40に示すセルマップを生成することができ、それをさらなる処理に使用することができる。そのセルマップは、両方の輪郭を識別し、各々の輪郭をそのいずれかの側の物質の存在、例えば電力線1012についての結果のように、一方の側の金メッキされた銅、および他方の側の基板の存在に関連づけることができる。好ましくは、セルを直接処理されてニック1020および突起1022を検出する。
本発明を使用して、その一部を図40に示す形態マップをも生成し、その形態マップではオブジェクトについての形態骨格が生成される。その形態マップでは、形状の骨格1024が生成され、その骨格1024は、好ましくは特定の物質に関連づけられる。したがって、例えば、電力線1024の領域を表す骨格1024を金メッキされた銅に関連づけることになる。
再び図1を参照すると、上述したように、画像解析システム100は、好ましくは入力画像を解析するとともに、さらなる処理に向けてその解析結果を伝える機能を有する。好ましくは、画像解析システム100の様々なコンポーネントについて、図1から図40を参照しながらさらに詳述したように、さらなる処理に利用できる解析の結果には以下の情報が含まれる。
1.欠陥を特徴づける情報:表面欠陥、ニックおよび突起の欠陥、および欠陥カラー輪郭要素(セル)。
2.想定される物体を特徴づける情報:2値セル、骨格、骨格特徴、カラー骨格、およびカラーセル。
3.典型的にはカラーRGBスナップショットを含む、対象領域の周囲の領域、例えば電力線1012およびボール1010(図40)、各々のユーザ指定領域ならびに各欠陥の如き各々の所定のタイプの特徴の周囲の領域のスナップショット。
先述の内容の一般性を制限することなく、要望に応じてさらなる処理を行うために、典型的には個別のデータチャネルにおいて上述の結果のリストの各々を出力する。個別のデータチャネルは、以下のような2つの物理的チャネルを含むのが好ましい。 第1のチャネルは、好ましくは以下のレポートおよびデータを含む。 2値セルのレポート、 カラーセルのレポート、 形態的、かつ骨格形状のレポート、 およびニックおよび突起の如き欠陥のレポート。
第2のチャネルは、好ましくは以下のレポートおよびデータを含む。
COMRADD190からのカラー表面欠陥、およびCABSユニット130からのグレー表面欠陥のレポートを示すカラー欠陥レポート、
ならびに対象領域のスナップショット、例えば欠陥が報告された各領域、対象となる各々の形態的特徴、およびユーザが指定した各々の対象領域のスナップショットを含むスナップショットレポート。
明瞭化のために、個々の実施形態という状況のなかで説明されている本発明の様々な特徴を組み合わせて単一の実施形態としても提供できることが理解される。逆に、簡略化のために、単一の実施形態という状況で説明されている本発明の様々な特徴を別々に、あるいは任意の好適な組み合わせとしても提供できることが理解される。
本発明は、本明細書に具体的に示され、記載されていることによって制限されるものではないことを当業者なら理解するであろう。むしろ、本発明の範囲は、添付の請求項によってのみ定められる。