JP2013510366A - ボールグリッドアレイデバイスの位置合わせ及び検査のためのシステム及び方法 - Google Patents

Abstract

不均一な特徴部を有するＢＧＡデバイスなどの部品の高速位置合わせ及び検査のためのシステム及び方法を提供する。機械視覚システムのトレーニングタイム中に、粒度を選別するための幾何学解析の量及び位置合わせ有意ブロブの小さなサブセットが決定される。さらにトレーニングタイム中にボールがグループに関連付けられ、各グループは独自の検査用パラメータセットを有する。
【選択図】図１０

Description

本発明は、機械視覚システムに関し、より具体的には機械視覚システムを用いて複数の不均一な特徴部を有する部品を位置合わせ及び検査することに関する。

さまざまな製造及び品質制御プロセスにおいて高度な機械視覚システム及び該システムの基本となるソフトウェアの使用がますます増加している。機械視覚によって、大量生産品及び特注品の製造においてより早く、より正確で且つ繰り返し可能なエラーの少ない結果を得ることができる。基本的な機械視覚システムは、興味のある領域に向けられた一以上のカメラ（通常は固体電荷結合素子（ＣＣＤ）画像化素子を有する）と、ＣＣＤ画像を取り込み送信するフレーム取り込み／画像処理素子と、機械視覚ソフトウェアアプリケーションの実行により取り込まれた画像を操作するためのコンピュータ及びディスプレイと、興味のある領域上の適切な照明と、を有する。

機械視覚の用途の多くは、品質に影響する欠陥を発見するための部品及び表面の検査を含む。非常に深刻な欠陥が見つかった場合、表面の一部が容認不可／不良品としてマークされる。また、機械視覚は、特定のタスクの実行において製造エンジンの操作を補助するために多かれ少なかれ利用される。特に、機械視覚システムは、部品を挿入及び／又は組み立てて完成品とする前に部品が所定基準を満たすことを保証するために、組立ライン上の部品の検査に利用されてもよい。また、機械視覚システムは、挿入及び／又は組立装置が人間の介入を必要とせずに自動的に完成品を組立てることができるよう、組み立てられる部品及び製品を位置決めするために利用されることもある。

機械視覚システムは一般的にボールグリッドアレイ（ＢＧＡ）形状因子を有するデバイスの位置合わせ及び検査に利用される。ＢＧＡデバイスは一般的にデバイスの取り付け側に複数の小さいはんだボールを含む。回路基板上にデバイスが適切に配置されると、超音波及び／又は赤外線技術を用いてはんだボールがはんだ付けされる。ＢＧＡデバイス上のはんだボールの数は飛躍的に増加しており、現在のＢＧＡデバイスは数千個のボールを有する。また、近年のＢＧＡデバイスにおいては、はんだボールは一般的にグリッドパターン上に位置合わせされていることが少なく、即ちはんだボールは部品上に不均一な間隔をあけて配置されている。加えて、ＢＧＡデバイスは現在、不均一な寸法及び／又は非円形のはんだボール／はんだポイント、例えば各種の寸法及び／又は形状を有するはんだボール、を利用することもできる。

上記傾向は、ＢＧＡデバイスの位置合わせ及び／又は検査に利用される現在の機械視覚システムを複雑にする。ボールの抽出又はボール特徴部の測定に頼る現在の方法は、ボールの数が大幅に増加すると、通常、ランタイムとしては許容できないほど遅い速度で実行する。さらに、ボールのパターンがより複雑になるにつれて、位置合わせに対する調査ベースのアプローチによって最悪のシナリオが入力される可能性がある。なぜならば、並進自由度又は回転角のわずかなずれにより個別特徴部の大部分が誤った適合が生じる可能性が増大することに結び付くからである。

加えて、従来の機械視覚システムは、通常、ボールの寸法及び／形状が均一でない場合に位置合わせ及び／又は検査を実施することができない。現在の機械視覚は、ボール数の増加、ボールの寸法及び／又は形状の違い並びにボール間の不均一な間隔の組み合わせから、商業的に許容可能な速度及び効率で効果的にＢＧＡデバイスを位置合わせ及び／又は検査することができない。

本発明は、従来技術における問題を克服するために、複数の不均一な特徴部を有する部品、例えばＢＧＡデバイス、の高速位置合わせ及び／又は検査のためのシステム及び方法を提供することを目的とする。具体例として、不均一な特徴部は、例えばさまざまな寸法及び／又は形状の、さまざまなグリッドパターンに配置された（又はパターンが無い）はんだボールを有していてもよい。一般的に、例示の機械視覚システムは、最初にＢＧＡデバイスの特徴部の位置合わせ及び検査に関してトレーニング（設定）(trained)される。その後、ランタイム中に、ＢＧＡデバイスはまず本発明に係る実施例に基づき位置合わせされその後検査される。

本発明の実施例によれば、機械視覚システムのトレーニングタイム中、粒度選別のための幾何学解析の量(quantum)に加えて位置合わせ有意ブロブの小さいサブセットが決定される。位置合わせ有意ブロブは、例えばエッジ検出を用いてデバイスの画像から抽出することにより又はデバイスの幾何学モデルを解析することにより決定されてもよい。抽出によって、抽出が画像のエッジ検出によるものでも幾何学モデル解析によるものでも、一以上のグレースケールブロブを得ることができる。その後、グレーブロブスケールから位置合わせ有意ブロブが決定される。位置合わせ有意ブロブが決定されると、次にランタイム平滑化及びダウンサンプリングのためのパラメータが位置合わせ有意ブロブにおいて決定され、そして位置合わせマスクが生成される。例示的に、位置合わせマスクはさまざまな寸法のブロブに適合してもよく、非円形ブロブ即ちさまざまな形状のブロブに適合してもよい。

また、機械視覚検査システムのトレーニングタイム中、デバイスの幾何学モデルが入力され、一以上の候補はんだボールグループを識別するために解析される。例示的に、同じ寸法、形状及びグリッド配列を有するはんだボールのセットによって、各候補はんだボールグループが形成される。例示的に、対象グループがユーザに表示され、ユーザはその後グループを修正することができる。例えば、ユーザはグラフィカルユーザインターフェース（ＧＵＩ）を利用して候補はんだボールグループのメンバーを修正してもよい。各グループの境界が決定された後に、ユーザは、各グループについてのパラメータ、例えばグループ内のボールに関連する検査項目についてのさまざまな合格／不合格閾値を含むパラメータ、を設定してもよい。

ランタイム中の動作において、デバイスの画像が取り込まれ規定値を用いて平滑化及びダウンサンプリングされる。その後、細かい位置合わせの前に粗い位置合わせが実施される。粗い及び細かい位置合わせは既知の位置合わせ有意ブロブのみを利用し、これによりデバイスの位置合わせ速度及び精度が向上する。その後、位置合わせ情報が機械視覚システムの検査部品によって利用される。画像から各ボールが抽出され、各ボールについて、該ボールをメンバーに含むグループについての適切なパラメータのセットを用いて検査が実施される。全てのボールが調べられた後、検査の結果が出力される。この結果は例えば産業用自動化設備によって利用され、与えられたデバイスの利用の可否の決定に用いることができる。

本発明の上記の及びさらなる利点は、添付の図面を参照して以下の記載からより深く理解される。図面において同じ又は機能的に同じ構成要素には類似の参照符号を付している。

本発明の一実施例に係る機械視覚システムの概略的なブロック図である。 本発明の一実施例に係るデバイスのはんだボールパターンの一部の概略的なブロック図である。 本発明の一実施例に係る画像取り込みを用いて機械視覚システムをトレーニングするための手順の詳細なステップを示すフローチャートである。 本発明の一実施例に係る幾何学モデルを用いて機械視覚システムをトレーニングするための手順の詳細なステップを示すフローチャートである。 （ａ）は本発明の一実施例に係る円形ボールの例示的な位置合わせマスクの略図、（ｂ）は本発明の一実施例に係る楕円形ボールの例示的な位置合わせマスクの略図、（ｃ）は本発明の一実施例に係る非円形ボールの例示的な位置合わせマスクの略図である。 本発明の一実施例に係る例示的な部品のはんだボールパターンの一部の概略的なブロック図であり、位置合わせ有意ブロブの決定を示す。 本発明の一実施例に係る例示的な部品のはんだボールパターンの一部の概略的なブロック図であり、位置合わせ有意ブロブを示す。 本発明の一実施例に係る例示的な候補はんだボールグループを作成するための手順の詳細なステップを示すフローチャートである。 本発明の一実施例に係る例示的な候補はんだボールグループを示す解析の例示的な出力を示す略図である。 本発明の一実施例に係るユーザによる修正後の例示的なはんだボールグループを示す図である。 本発明の一実施例に係るデバイスのランタイム位置合わせ及び検査を実施するための手順の詳細なステップを示すフローチャートである。

Ａ．機械視覚システム
図１は、本発明の原理を実施するために利用することができる本発明の一実施例に係る機械視覚システム１００の概略的なブロック図である。機械視覚システム１００は、ＢＧＡデバイス又はその他の部品などの一以上の物体１１５を含む視野１１０の画像を作成する取り込み装置１０５を有する。取り込み装置１０５は従来のビデオカメラ又はスキャナを備えてもよい。そのようなビデオカメラは、電荷結合素子（ＣＣＤ）又は周知のＣＭＯＳセンサなどの適切な画像情報を取得するためのその他のシステムでもよい。取り込み装置１０５によって作成された画像データ（又は画素）は画像強度を表わし、例えば取り込み装置１０５の解像度内の場面の各ポイントの色又は明るさを表わす。取り込み装置１０５は、デジタル画像データを通信路１２０を介して画像解析システム１２５に送る。画像解析システム１２５は、例えばＣｏｇｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎから市販されているタイプの視覚処理システムなどの従来のデジタルデータプロセッサを備えてもよい。画像解析システム１２５は、従来のマイクロコンピュータ又はその他の例示の計算装置を備えてもよい。例えば携帯端末（ＰＤＡｓ）などの他の形態のインターフェースを利用してもよい。別の実施例において、取り込み装置は、画像解析システムの機能を果たすために処理機能を有してもよい。そのような実施形態では別個の画像解析システムは不要である。さらに別の実施形態において、取り込み装置は、トレーニングのために画像解析システムに動作可能に相互接続されてもよい。トレーニング開始後、適切なモデル又は複数のモデルがランタイム中の使用のために取り込み装置内に保存されてもよい。

画像解析システム１２５は本発明の教示に従って例示的にプログラム化され、本発明の一実施例に基づき高速で部品を位置合わせ及び検査する。画像解析システム１２５は、一以上の中央処装置（プロセッサ）１３０、メインメモリ１３５、入力／出力システム１４５及び一以上のディスク装置又は他の形態の大容量記憶装置１４０を有する。例示的に、入力／出力システム１４５は、取り込み装置１０５と画像解析システム１２５の間で通信路１２０と相互接続する。画像解析システム１２５は、本発明の教示に基づき命令をプログラミングすることにより設定してもよい。当業者にとって当然のことながら、本発明の原理を実施するために別のハードウェア及び／又はソフトウェアの構成を利用してもよい。特に、本発明の教示をソフトウェア、ハードウェア、ファームウェア及び／又はこれらの任意の組合せにより実行してもよい。さらに、ランタイム中、トレーニングタイムとは対照的に、追加の及び／又は異なる部品を機械視覚システム１００に含んでもよい。例えば、物体１１５をコンベヤーベルト（図示しない）又はその他の組立ライン装置などを用いて搬送してもよい。

本発明は機械視覚システム１００に関して記載しているが、本発明の原理はさまざまな異なる実施形態で利用してもよい。したがって、機械視覚システムなる用語は、代替的なシステムを含むと解釈すべきである。より一般的には、本発明の原理は、部品を位置合わせ及び／又は検査する任意のシステムにより実行してもよい。例えば、一実施形態において、例えば画面を処理するようプログラムされた独立型コンピュータと動作可能に相互接続した独立型カメラを有する従来の機械視覚システムが用いられる。

しかしながら、本発明の原理は、部品から取得された画像に基づいて部品を位置合わせ及び／又は検査する他の装置及び／又はシステムで利用されてもよい。例えば、Ｃｏｇｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎから市販されているＣｈｅｃｋｅｒ製品などの視覚センサ、あるいは照明源、画像取得機能及び／又は処理機能を備えた他の装置がある。そのような視覚センサは、Ｃｏｇｎｅｘ Ｖｉｓｉｏｎ Ｖｉｅｗなどの別個のモジュールを介してトレーニング及び／又は設定されてもよい。そのような実施形態において、ユーザは単一の物体の代わりに複数の物体を用いて視覚センサをトレーニングしてもよい。ユーザは、第一の物体を選択し、それをセンサの前に置いてトレーニングする物体が配置されたことをシステムに示してもよい。第二（第三など）の物体も同様にトレーニングされてもよい。ユーザは、例えば、トレーニングモジュール及び／又は視覚センサ自体に設けられたグラフィカルユーザインターフェース（ＧＵＩ）及び／又はボタン又は他の制御面を用いてトレーニングステップを制御してもよい。さらに、本発明の機能性は、ハンドヘルドの装置やワイヤレスの互換性のある装置などに盛り込まれてもよい。また別の実施例において、位置合わせ及び検査機能は、各種ハードウェア及び／又はソフトウェアモジュールに分割されてもよい。したがって、機械視覚システムなる用語は広く定義されるべきであり、本発明の一以上の教示を利用することができる上記のシステム及び装置を含む。

Ｂ．不均一な特徴部を有するＢＧＡ装置
図２は、本発明の一実施例に係る例示的なＢＧＡデバイス２００のはんだボールバターンの一部を示す概略的なブロック図である。本発明の実施例において、ＢＧＡデバイスは数千個のボールを有していてもよい。したがって、ＢＧＡデバイス２００の概略図は単に説明を目的とするものである。また、例示のデバイス２００の上には、多数のはんだボールがさまざまなグリッドパターンで配置されている。しかしながら、明らかに、本発明の別の実施形態では全てのボールは非グリッド状パターン又はその他の不均一パターンで配置されてもよい。したがって、デバイス２００に関する記載は、本発明が少なくともいくつかのグリッドに整列されたボールパターンを有すると限定するものではない。

本発明の一実施例において、デバイス上のボールの領域の寸法、形状及び／又は向きは、大きく異なってもよい。一例に基づくＢＧＡデバイス２００は三個の異なる領域を含む。第一領域２０５はグリッドパターンに整列したボールのセットを含み、はんだボールは等しい第一直径を有する。例示的に、領域２０５内の各はんだボールは等しい第一寸法を有する。第二領域２１０はグリッド状に位置合わせされたはんだボールの別のセットを含む。しかしながら、第二領域２１０内のはんだボールは第一領域２０５内のものとは異なる寸法（即ち第一直径とは異なる）を有する。第三領域２１５はグリッド状に整列していない複数のボールを含む。また、本発明の別の実施形態において、はんだボールの形状もさまざまであってよく、即ちボールは非円形の形状でもよい。したがって、円形のボールを有する例示のデバイス２００に関する記載は単なる例である。

当業者にとって当然のことながら、本発明の原理は、不均一な特徴部、例えばグリッド状に整列した又は整列していないという特徴並びに不均一な寸法及び／又は形状の特徴を有するボールからなる任意の数の領域を有するＢＧＡデバイスに利用されてもよい。したがって、デバイス２００の記載は、本発明の原理を説明するための例示のＢＧＡデバイスに関する。本発明の原理は、不均一な特徴部を有する任意の部品の位置合わせ及び／又は検査に一般化されてもよい。

Ｃ．位置合わせトレーニング
図３Ａは、本発明の一実施例に係るデバイスの画像取り込みを利用する機械視覚システムをトレーニングするための手順３００Ａの詳細なステップを示すフローチャートである。手順３００Ａはステップ３０５で開始して３１０に進み、ここでエッジ検出を用いて画像からグレースケールブロブが抽出される。例示的に、画像内のこれらの物体を識別するために、グレーレベル強度に基づく画像分割を利用するブロブ手段を用いてもよく、このようなブロブ手段は、例えばマサチューセッツ州にあるＣｏｇｎｅｘ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ｎａｔｉｃｋから市販されているＣｏｇｎｅｘブロブ手段でもよい。見つけられたブロブの境界は次にボールの多角形形状表現を作成するために使用される。この多角形形状表現は、後述のように、後にステップ３２５で位置合わせマスクの作成に利用されてもよい。別の実施例において、ターゲットが周知の形状（円形ボールなど）に限定されている場合、画像内でエッジチェーンを見つけるためにソーベルエッジ抽出技法を利用してもよい。例示的に、閉エッジチェーン又は小さな間隔を有する開エッジチェーンのセットを、モデルとして利用される周知の形状に適合してもよい。

グレースケールブロブが抽出された後、機械視覚システムは次にステップ３１５において位置合わせ有意ブロブを識別する。位置合わせ有意ブロブは、パターンがさまざまな方向にシフトされたときに隣のブロブと容易に間違えられないブロブである。より一般的には、高密度領域の境界上にあるブロブは、通常、位置合わせ有意ブロブである。位置合わせ有意性を決定するための一つの技法を以下に説明する。しかしながら、本発明の別の実施形態においては位置合わせ有意性を決定するための別の技法を利用してもよい。したがって、本明細書に記載の位置合わせ有意性を決定する技法は単なる例である。

位置合わせ有意性の決定の実施例を説明するにあたって、ブロブのすぐ近くにある隣接ブロブとは、与えられたブロブの最近傍距離の規定の定数因数内にある隣接ブロブとして定義される。実施例において、規定の定数因数は１．５である。したがって、与えられたブロブの最近傍の１．５ユニット内にあるブロブが、ブロブのすぐ近くにある隣接ブロブとして定義される。次に、ブロブの周囲にすぐ近くの隣接ブロブが存在しない十分大きな角度が存在する場合に、そのブロブは位置合わせ有意と定義される。

図５は、本発明の一実施例に係る例示のＢＧＡデバイス５００の概略的なブロック図である。例示的に、デバイス５００は、図２に関して上述した例示のデバイス２００のボールのパターンと同じパターンを有する。例示的に、図５は例えば数千個のはんだボールを含むもっと大きな画像のサブセットを示す。したがって、はんだボールの外側列は図５の画像の外側にも広がっていると仮定する。一実施例において、位置合わせ有意性を決定するために１３５°という規定角度が利用される。しかしながら、別の実施例において、位置合わせ有意性を決定するための閾角として任意の角度を用いてもよい。したがって、１３５°という角度を用いるとの記載は単なる例である。

したがって、手順３００のステップ３１５に基づいて、例示のデバイス５００の各ブロブの位置合わせ有意性が調べられる。例示のブロブ５０５が調べられ、隣接ブロブがない角度は約１８０であると決定された。この角度は例示の閾角１３５°よりも大きいことから、ブロブ５０５は位置合わせ有意性を有するとみなされる。同様に、ブロブ５１０が調べられ、隣接ブロブがない角度は１８０°と決定された。これはブロブ５０５と同じく閾角１３５°よりも大きいので、ブロブ５１０は位置合わせ有意性を有するとみなされる。ブロブ５１５が調べられ、隣接ブロブがない最大の角度は約９０°と決定された。９０°は閾角１３５°よりも小さいので、ブロブ５１５は位置合わせ有意性がないとみなされる。この有意性の決定は、例示的に、デバイス５００上の各はんだボールについて行われる。

図６はデバイス６００からの位置合わせ有意ブロブを説明する概略図である。例示的に、図５のデバイス５００からの閾角基準１３５°を満たすブロブのみが図６に示されている。上述したように、図５の画像は外側にも広がると仮定する。したがって、図５に示されたはんだボールの最外側列の外には別の列（図示しない）があると考えられるので、最外側列は位置合わせ有意性を有さない。別の実施形態において、閾角を変えることにより位置合わせ有意性の決定も変化する。したがって、図６は単なる例としてとらえるべきである。手順３００Ａに戻って、ステップ３２０において、機械視覚システムは画像について適切なランタイム平滑化及びダウンサンプリングを決定する。平滑化の実施は、妥当なマッチスコアが達成されることを保証することにより、調査方法が粗くなることを可能とする。

ステップ３２５において、上記位置合わせ有意ブロブのみを含む位置合わせマスクが作成される。例示的に、所定の位置合わせ手段及び／又は技法に特有の異なるマスクを用いて複数の位置合わせマスクを作成してもよい。図４（ａ）は本発明の実施例に係る円形ボールの例示的な位置合わせマスクの概略図である。図４（ｂ）は本発明の実施例に係る楕円形ボールの例示的な位置合わせマスクの概略図である。図４（ｃ）は本発明の実施例に係る非円形ボールの例示的な位置合わせマスクの概略図である。位置合わせマスクが作成されると、作成されたマスクはステップ３３０において一以上の位置合わせ手段をトレーニングするために利用される。そのような位置合わせ手段は、例えば標準相関手段やエッジ部分に基づく(edgelet based)手段などを含む。

その後ステップ３３５で手順３００Ａが完了する。例示的に、手順３００Ａは、部品の位置合わせ有意領域にのみに注目して機械視覚システムをトレーニングするよう機能する。これにより、複雑さが低減されるとともにランタイム中に部品を位置合わせする速度が増大する。

図３Ｂは、本発明の実施例に係る機械視覚システムのトレーニングを実施するための手順３００Ｂの詳細なステップを示すフローチャートである。手順３００Ｂはステップ３０５で開始してステップ３４０に進み、ここで幾何学モデルが機械視覚システムに入力される。例示的に、幾何学モデルは、例えば検査されるＢＧＡデバイスのコンピュータを用いた設計（ＣＡＤ）モデルを含んでもよい。機械視覚システムはその後ステップ３１５で幾何学モデルから位置合わせ有意ブロブを識別する。次にステップ３２０でランタイム平滑化及びダウンサンプリングのためのパラメータが決定される。次にステップ３４５で幾何学モデルを使用して合成画像が作成される。その後ステップ３２５で位置合わせマスクが作成される。その後ステップ３３０で、作成された位置合わせマスク及び合成画像を使用して位置合わせ手段がトレーニングされる。その後ステップ３３５で手順３００Ｂが完了する。

Ｄ．はんだボールグループ
図７は、本発明の実施例に係る検査のための候補はんだボールグループを定める手順７００の詳細なステップを示す。手順７００はステップ７０５で開始してステップ７１０に進み、ここでＢＧＡデバイスの幾何学モデルが例示的な機械視覚システムに入力される。例示的に、これは検査されるＢＧＡデバイスのＣＡＤモデルでもよい。これを解析のために従来のコンピュータ入力技法を用いて機械視覚システムに入力してもよい。幾何学モデルの入力に応じて、機械視覚システムは、ステップ７１５で、ＢＧＡデバイス内の候補はんだボールグループを識別するためにボールの位置を解析する。例示的に、候補はんだボールグループは、共通パターンを共有するボールをグループ化して特定される。例えば、候補はんだボールグループは、同じ寸法、形状及びグリッド状配置を有するはんだボールを含んでもよい。これは例えば図８に示されており、図８は本発明の実施例に係る例示的な候補はんだボールグループの概略図である。デバイス８００において、機械視覚システムは複数のグループを例示的に示す。第一グループ８０５は、第一セットパターン及び寸法を有するボールから構成される。第二グループ８１０は、第二パターン及び寸法を有するボールから構成される。個別のグループ８１５Ａ〜Ｇは各々明確なパターンのない単一のボールに関連する。

ステップ７１５で候補はんだボールグループが識別されると、これらはステップ７２０でユーザに表示される。ステップ７２５で、ユーザはグラフィカルユーザインターフェース（ＧＵＩ）及び／又は他のユーザインターフェース形態を利用して、候補はんだボールグループ境界を修正することができる。例示的に、ユーザは、所定の候補グループを受け入れる一方で他のグループ化を修正してもよい。例えば、ユーザは、グループ８１５Ａ〜Ｇの全てのボールを一つのグループ内に入れることを望む場合、図９に示すように個別のグループを一つのグループとするよう修正してもよい。図９は本発明の実施形態に係る例示的な修正されたボールのグループ化の概略図である。

ユーザによって各種グループ境界が設定された後、ユーザは次にステップ７３０で各グループについての各種パラメータを設定してもよい。パラメータは、例えば検査される項目や各種項目に関連する閾値などを含んでもよい。その後ステップ７３５で手順は終了する。

Ｅ．位置合わせ及び検査
図１０は、本発明の実施例に係るランタイム中の高速位置合わせ及び検査のための手順１０００の詳細なステップを示すフローチャートである。手順１０００はステップ１００５で開始してステップ１０１０に進み、ここで画像が装置に取り込まれる。例示的に、取り込み装置１０５を用いて画像が取り込まれる。取り込まれた画像は次にステップ１０１５で平滑化及びダウンサンプリングされる。例示的に、この平滑化及びダウンサンプリングは、トレーニングタイム中に定義されたパラメータ値を使用して行われる。本発明の実施例では、平滑化及びダウンサンプリングパラメータは、抽出されたブロブの中央最近傍距離に基づく。

ステップ１０２０で画像の粗い位置合わせが実施される。次にステップ１０２５で画像の細かい位置合わせが実施される。本発明の実施例において、粗い及び細かい位置合わせステップ１０２０、１０２５を一つの位置合わせステップにまとめてもよい。粗い及び細かい位置合わせステップ１０２０、１０２５は、例示的に、位置合わせ有意領域だけをマスクして従来の機械視覚技法を用いて実行される。これにより、生産要求を満たし且つ必要レベルの精度を与えるのに十分な速度で位置合わせ技法が動作することが可能となる。本発明の実施例において、粗い位置合わせステップ１０２０は標準相関技法を用いて実施され、細かい位置合わせステップ１０２５はエッジ部分に基づくマッチング技法を用いて実施される。したがって、同じ手法が用いられる粗い及び細かい位置合わせステップの記載は単なる例である。

機械視覚システムは次にステップ１０３０で上記細かい位置合わせ情報を利用して画像から各ボールを抽出する。例示的に、各ボールは個別に検査される。各ボールは、ボールに関連する適切なグループについてユーザが設定した検査項目及び閾値を使用して検査される。例示的な検査項目は、例えば正確なボール位置、位置誤差、ボール寸法及び寸法誤差、隣までの距離、距離誤差、画像の強度及び／又はコントラスト並びにボールの全体的な外観及び形状のスコア付けの基準を含む。

その後、ステップ１０４０において、全ての抽出されたはんだボールの周知の位置を用いて位置合わせが精査される。全ての抽出されたボールを利用することによって、通常、位置合わせ有意ボールのみを利用する場合と比べてより正確な位置合わせが可能となる。位置合わせ情報に基づく全てのはんだボールが抽出されて検査された後、これらのボールは次にステップ１０４５において画像からマスクされ、任意の追加のボールの検出が実施される。これらの追加のボールもまた上述したように検査される。

次にステップ１０５０で位置合わせ及び検査の結果が出力される。その後ステップ１０５５で手順１０００が終了する。

本明細書の記載は本発明の特定の実施形態に関する。しかしながら、当然のことながら、記載された実施形態に対してはその利点の一部又は全てを達成するような他の変更及び修正も可能である。加えて、本明細書に記載の手順、工程及び／又は各要素は、プログラム命令を有するコンピュータ読取可能媒体、ファームウェア又はこれらの組合せとして内蔵されたハードウェアやソフトウェアにより実行されてもよい。したがって、本明細書に添付された特許請求の範囲は、本発明の精神及び範囲に含まれる上記変更及び修正の全てをカバーすることを目的とする。

Claims (17)

1. ボールグリッドアレイデバイスを位置合わせする方法において、
   前記デバイスの幾何学モデルから一以上のブロブを抽出する工程と、
   一以上の位置合わせ有意ブロブを識別する工程と、
   前記位置合わせ有意ブロブを用いて位置合わせマスクを作成する工程と、を含む
   ことを特徴とする方法。
2. 前記作成された位置合わせマスクを利用して動作するよう機械視覚システムをトレーニングする工程をさらに含むことを特徴とする請求項１に記載の方法。
3. 前記位置合わせマスクが、異なる寸法の位置合わせ有意ブロブに適合するために複数の異なる寸法のマスクを用いることを特徴とする請求項１に記載の方法。
4. 前記位置合わせマスクが、非円形ブロブに適合するために多角形のマスクを用いることを特徴とする請求項１に記載の方法。
5. 前記作成された位置合わせマスクが標準相関調査のために利用されることを特徴とする請求項１に記載の方法。
6. 前記位置合わせ有意ブログを識別する工程が、所定の閾角内に隣接したブロブを有さないブロブのセットを識別することを含むことを特徴とする請求項１に記載の方法。
7. 前記ブロブが、前記デバイス上に不均一に配置されたはんだボールを表わしていることを特徴とする請求項１に記載の方法。
8. ボールグリッドアレイデバイスを位置合わせするためのシステムにおいて、
   前記ボールグリッドアレイデバイスの幾何学モデルと、
   （ｉ）前記デバイスの前記幾何学モデルからグレースケールブロブのセットを抽出し、（ｉｉ）前記抽出されたグレースケールブロブのセットから位置合わせ有意ブロブのセットを識別するよう構成されたプロセッサと、を有する
   ことを特徴とするシステム。
9. ボールグリッドアレイデバイスを位置合わせ及び検査するための方法において、
   前記ボールグリッドアレイデバイスの画像を取り込む工程と、
   位置合わせ情報を作成するために、前記取り込まれた画像について位置合わせ動作を実施する工程と、
   前記画像から複数のボールを抽出する工程と、
   前記抽出されたボールの各々について、複数のグループのうちの一つのグループに関連するパラメータのセットを用いて検査を実施する工程と、を含む
   ことを特徴とする方法。
10. トレーニングタイム中に、前記デバイスの幾何学モデルの各ボールを前記複数のグループのうちの一つに割り当てる工程と、
    前記複数のグループの各々について前記パラメータのセットを設定する工程と、を含む
    ことを特徴とする請求項９に記載の方法。
11. 前記パラメータのセットが検査項目のリストを含むことを特徴とする請求項９に記載の方法。
12. 前記パラメータのセットが閾値のセットを含むことを特徴とする請求項９に記載の方法。
13. 前記抽出されたボールのうちの少なくとも一つが非円形であることを特徴とする請求項９に記載の方法。
14. 前記抽出されたボールのうちの少なくとも一つが第一寸法を有し、前記抽出されたボールのうちの少なくとも一つが第二寸法を有することを特徴とする請求項９に記載の方法。
15. 前記抽出されたボールのうちの少なくともいくつかはグリッド状に配置されていないことを特徴とする請求項９に記載の方法。
16. 前記位置合わせ動作を実施することによって得られた前記位置合わせ情報を精査するために、前記検査されたボールのうちの一以上を使用する工程をさらに含むことを特徴とする請求項９に記載の方法。
17. 前記デバイスのモデルにおいて識別されていない一以上の追加のボールを検出する工程と、前記一以上の追加のボールを検査する工程と、をさらに含むことを特徴とする請求項９に記載の方法。

Images