JP2005537630A - 部品の配置を検査するピックアンドプレース機械 - Google Patents

Abstract

部品配置の改善された検査および確認が、ピックアンドプレース機械（３０１）によって実行される。この改善は、意図された配置位置の立体視撮像、配置ノズル（２０８、２１０、２１２）の近くの制限空間内で比較的強力な照明を容易にする照明強化、像取得装置（３００、３０２）が配置位置の面に対してある角度から配置位置（３６０）を見ることができるようにし、そのような像が部品（３０４）によって遮断される可能性を減らすようにする光学系（３８０）、市販のＣＣＤアレイを使用して像を迅速に取得し、事前および事後の像の取得がシステムの処理能力へ実質的なインパクトを与えないようにする手法、および部品の検査および確認情報を提供する像処理手法を含む。

Description

ピックアンドプレース（pick-and-place）機械は、一般的に電子回路基板を製造するために使用される。通常、空のプリント回路基板がピックアンドプレース機械へ供給され、次にピックアンドプレース機械は、部品送り装置から電子部品を取り上げて、そのような部品を基板の上に配置する。部品は、はんだペーストまたは接着剤によって基板の上に一時的に保持され、後続ステップで、はんだペーストが溶解されるか、接着剤が完全に硬化される。

ピックアンドプレース機械の操作は厄介である。マシンの速度は処理能力に対応するので、ピックアンドプレース機械が速く動作すると、製造される基板のコストはそれだけ安価になる。さらに、配置の正確性が非常に重要である。多くの電気部品、たとえばチップコンデンサおよびチップ抵抗器は比較的小さく、同じように小さい配置位置の上に正確に配置されなければならない。より大きい他の部品は、かなりの数のリード線または導体を有し、これらは比較的微細なピッチで相互から離される。そのような部品も正確に配置されて、各々のリード線が適正なパッドの上に確実に配置されなければならない。したがって、マシンは非常に速く動作しなければならないだけでなく、部品を非常に正確に配置しなければならない。

製造基板の品質を向上するため、すなわち、部品が不適正に配置されているか、欠落しているか、あるいは起こり得る様々なエラーを識別するために、全体または部分的に移植された基板は、一般的に、配置動作の後およびはんだのリフローの前後に検査される。そのような操作を実行する自動システムは非常に有用である。それらの自動システムは、はんだのリフローに先立って部品の配置問題を識別して、再加工や、リフローの後で再加工の候補となる欠陥基板を識別することをよりたやすくする。そのようなシステムの１つの例は、ミネソタ州 ゴールデンバレイ（Golden Valley）のサイバーオプティクス コーポレーション（CyberOptics Corporation）からモデルＫＳ２００の商品名で販売されている。このシステムは、整列および回転エラー、欠落および落下部品、ビルボード、トゥームストン、部品欠陥、不正確な極性、および不良部品のような問題を識別するために使用できる。リフロー前のエラーの識別は、多くの利点を提供する。再加工が容易になり、閉ループの製造制御が容易になり、エラー発生と修復との間に存在する修復作業が低減する。そのようなシステムは高度に有用な検査を提供するが、プラントのフロアスペースおよび保守作業のプログラミング時間などを消費する。

ピックアンドプレース機械自身の中に、配置後の検査を入れるという比較的新しい試みが、アサイ（Asai）等への米国特許第６，３１７，９７２号に開示されている。その参照文献は、電気部品を取り付ける方法を報告しているが、取り付け位置の像は、部品の配置前に取得され、部品レベルで配置動作を検査するため、部品の配置後に取り付け位置の像と比較される。

アサイ等の開示は、マシン内部品レベル検査を使用する１つの試みを示すものであるが、片づけなければならない多くの仕事が残っている。たとえば、アサイ等の開示は、主としてタレット（turret）型ピックアンドプレース機械に関連しており、配置の位置はｘおよびｙ方向で移動せず、上下に動くだけである。そのようなシステムでは、比較的大きくて重い撮像システムをノズルの近くに設けることができ、複数の配置事象を撮像しても、配置マシンの速度または設計レイアウトに、ほとんどまたは全然悪影響を与えない。対照的に、ガントリ（gantry）型ピックアンドプレース機械（アサイ等によって比較的注意を払われていない）では、ノズルはｘおよびｙ方向の少なくとも１つへ動く。したがって、複数の配置事象を撮像することを意図される光学系も、ｘおよび／またはｙ方向に動く。したがって、光学系自身のサイズおよび質量（慣性負荷）が、ガントリ型マシンでのオンヘッド（on-head）使用を妨げる。さらに、ガントリ型ピックアンドプレース機械のヘッドはｘおよび／またはｙ方向で移動するから、光学系のサイズを小さくして、光学系がピックアンドプレース機械の他の部分と衝突する可能性を減らすことが重要である。

ｘおよび／またはｙ方向に移動するヘッドを有するピックアンドプレース機械において、慣性が増加するために質量が増加することは問題である。ある機械の処理能力の達成は、部分的にはヘッドの加速に依存する。ピックアンドプレース機械の電気機械的システムによってある原動力が与えられるとすれば、増加した質量は加速を減少させる。

移動するヘッドへ取り付けられた光学系の容積および／または形状であるサイズも、多くの理由によって問題になる。１つの理由は、ヘッドがその環境へ丁度整合するように設計され、物体と衝突しないで、その作業空間を移動することである。既存のヘッド構造の空間包絡面を超えて突き出る物体を付加することは、物理的衝突の可能性を考えて注意して行わなければならない。ヘッドのサイズおよび／または形状が問題となる他の理由は、一般的に、比較的多数のケーブル、管、モータ、および他の構造物がヘッドへ取り付けられることである。マシンの組み立てまたは保守と調和しない物体を付加することは、一般的に賛成できない。

ピックアンドプレース機械における部品レベル配置検査の実行可能性を増進するためには、機械の処理能力または設計に悪影響を与えることなく光学系、照明システム、像取得、および像処理の局面を改善することが有利であろう。さらに、タレット型およびガントリ型の双方のピックアンドプレース機械で実践的な光学系および手法を提供することが有利であろう。

本発明の実施形態は、ピックアンドプレース機械によって実行される部品レベル検査を改善する。そのような改善は、意図された配置位置の立体視撮像、配置ノズルの近くの制限空間で比較的強力な照明を容易に提供する照明強化、像取得装置が配置位置の面に対してある角度から配置位置を観察することによって、そのような像が部品によって遮断される可能性を低減させる光学系、市販のＣＣＤアレイを使用して像を迅速に取得し、事前像および事後像の取得がシステムの処理能力に重大なインパクトを与えないようにする手法、および部品の検査および確認情報を提供する像処理手法を含む。本発明の実施形態のこれらおよび他の利点は、以下の説明から明かであろう。

本発明の実施形態は、ガントリ型ピックアンドプレース機械に関して説明されるが、当業者は、本発明の実施形態が他の形態のピックアンドプレース機械に適用可能であることを認識するであろう。

図１は、本発明の実施形態を適用できる例示的ピックアンドプレース機械２０１の説明図である。ピックアンドプレース機械２０１は、運搬システムまたはコンベヤ２０２を介して製造過程にある製品(workpiece)、たとえば回路基板２０３を受け取る。次に、配置ヘッド２０６は、製造過程にある製品２０３の上に取り付けられる１つまたは複数の電気部品を部品送り装置（図示されていない）から取得し、ｘ、ｙ、ｚ方向へ移動して、製造過程にある製品２０３上の適切な位置へ適切な方位で部品を配置する。配置ヘッド２０６はセンサ２００を含んでよい。センサ２００は、配置ヘッド２０６がピックアップ位置から配置位置へ部品を動かすときに、ノズル２０８、２１０、２１２によって保持された部品の下を通過する。部品が部品ピックアップ位置から配置位置へ動かされている間、センサ２００は、配置マシン２０１がノズル２０８、２１０、２１２によって保持された部品の下面を観察することを可能にし、部品の方位確定、およびある程度まで部品の検査が行われるようにする。他のピックアンドプレース機械は、部品を撮像する静止カメラの上を移動する配置ヘッドを使用することができる。さらに、配置ヘッド２０６は下方を見るカメラ２０９を含んでよい。このカメラ２０９は、一般的に、製造過程にある製品２０３の上の基準マークの位置を決定するために使用され、製造過程にある製品２０３に関する配置ヘッド２０６の相対位置を容易に計算できるようにする。

図２は、本発明の実施形態に従った配置ヘッドの説明図である。図２は、部品３０４がノズル２１０によって位置３６０の上に配置される前に、部品３０４の配置位置３６０の像を取得するように配置された一対の像取得装置３００および３０２を示す。装置３００および３０２は、部品３０４の配置の前および後の製造過程にある製品２０３上の配置位置３６０の像を取得する。これら事前および事後の像の比較は、部品レベルの配置の検査および確認を容易にする。配置位置の像の取得は、一般的に、ノズル、たとえばノズル２１０が配置位置の上方で部品３０４を保持するとき行われるので、部品自身または製造過程にある製品の上に既に取り付けられた隣接部品からの干渉を最小にするか減少させながら配置位置３６０を撮像できることが重要である。したがって、装置３００および３０２は、製造過程にある製品２０３の面に関して角度θで傾斜した観察を可能にする光軸を使用することが好ましい。装置３００および３０２が配置位置３６０を観察する角度θを補償するため、装置３００および３０２はＳｃｈｅｉｍｐｆｌｕｇ条件を使用するように構成されることが好ましい。Ｓｃｈｅｉｍｐｆｌｕｇ条件を使用する１つの特定の方法は、装置３００および３０２の各々の中の領域アレイ検出器を、それぞれの装置３００および３０２の光学列の軸に関してある角度で配置するように構成することである。この条件のもとで、傾斜した物体平面（配置位置）は、傾斜した像平面（装置３００および３０２の中の領域アレイ検出器）の上へ適正に撮像される。

図２で示されるように、装置３００および３０２は、さらに好ましくは、ｚ軸の周りで角度φだけ角度的に離され、装置３００および３０２が配置位置３６０の立体視撮像を行うようにする。そのような立体視撮像は、以下で詳細に説明する多くの利点を提供する。配置位置の事前および事後状態の立体視撮像は、ｘ−ｙデータと共に生成される高さのマップを生成させる。立体視撮像の２つの利点は、意図された部品配置位置の深度マップを生成すること、および目視線に沿った他のより高い部品によって部品の観察が遮断される可能性を最小にするか、少なくとも低減させることである。もし部品の観察が１つの視点から遮断されると、部品は一般的に他のカメラで見ることができるであろう。

装置３００および３０２の各々は、さらに好ましくは、非構造照明器３０６および構造照明器３０８を含む。非構造照明器３０６は装置３００および３０２の各々の上に配置されるように示されるが、実施形態によっては、１つの非構造照明器を別個に取り付けることができる。

図２で示されたシステムは多数の特徴を提供する。これらの特徴は、進歩した部品検査を提供するために、単独または組み合わせて使用できる。システムを使用する１つの方法は、構造光を使用して配置位置３６０の１つの観察から高さを再構成することである。他の方法は、単純に照明源として構造光を使用して、位置３６０の表面上に光パターンを提供し、次に、既知の相関アルゴリズム、たとえば１９８２年ローゼンフェルドエー．（Rosenfeld, A.）および エー．シー．カク（A.C. Kak）のディジタル画像処理（Digital picture processing：Volume 2. Academic Press, New York）によって報告されたアルゴリズムを使用して、異なった観察および２つの立体像から取得された２つの像の間の構造照明を相関させ、配置前または配置後に、基板表面の高さのマップを計算することである。ここで使用されるように、構造光は、正弦パターン、スポットまたは形状の正規アレイ、光のランダムパターン、および光の疑似ランダムパターンさえ含む。場合によっては、製造過程にある製品表面のある部分が像の１つに現れないような位置構成やノズル構成が存在するであろう。追加のカメラを配列して、１つまたは複数の像から欠落する可能性がある製造過程にある製品表面部分を観察することができる。代替的に、配置前または配置後に、欠落像部分を他の観察から補充し、配置の品質に関する情報または高さ情報を提供するために必要な立体情報を提供するのに必要な像を取得することができる。

図３は、ピックアンドプレース機械の中で部品レベルの検査を提供するため、像を取得する方法のフローチャートである。ステップ３５０では、部品の配置に先立って、意図された配置位置を照明するために、１つまたは複数の非構造照明器（たとえば照明器３０６）が付勢される。ステップ３５２では、配置位置が非構造照明で照明されている間に、装置３００および３０２の各々が配置位置の配置前の像を取得する。好ましくは、装置３００および３０２は、同時または実質的に同じ時間に、それぞれの像を取得する。ここで使用されるように、実質的に同じ時間とは、物理的システムが像を取得する間に、感知できるほどには移動しなかった十分に近い時間を意味する。こうして、配置前の立体視像がステップ３５２で取得され、非構造照明器が消灯される。オプションとして、立体視事前像、または意図された部品配置位置への構造照明像を、配置前の検査作業に使用することができる。そのような作業は、関連した部品リード線を受け取る適切な位置に、はんだペーストが堆積されていること、意図された配置位置に、破片または他の望ましくない物質が置かれていないことを確かめること、または他の望ましい検査作業を含む。

部品の配置に先立って、意図された部品配置位置の三次元像の情報を提供するため、構造照明像を各々の像取得装置から取得することができる。各々の像取得装置が自分自身の構造照明器を使用する場合、像取得装置は、それぞれの像を順次に取得して、１つの像取得装置からの構造照明が、他の像取得装置からの構造照明と干渉しないようにすべきである。しかし、もし適切な構造照明器が使用されて、処理中に各々の照明器からの構造照明を識別できれば、像取得装置の各々は、それぞれの構造照明像を同時に取得することができる。

ステップ３５４では、ノズル、たとえばノズル２１０は、その意図された配置位置へ部品を置く。ステップ３５６では、装置３００および３０２は、再び配置後の配置位置の立体視像を取得する。オプションとして、ステップ３５８では、構造照明器３０８を付勢して、意図された配置位置に部品３０４が存在するとき構造照明を部品３０４の上に与えることができる。次に、意図された配置位置が構造照明で照明される間に、装置３００および３０２は立体視像の他のセットをオプションとして取得することができる（ブロック３５９）。オプションのステップ３５８および３５９は、配置後の意図された配置位置の三次元基準点像の生成を容易にする。

図４は、様々な像を生成するために、様々な照明器および像取得装置がどのように使用されるか、および、重要な検査情報を提供するために、それらの像がどのように組み合わせられるかを示す説明図である。図４で示されるように、装置３００は非構造照明器３０６、カメラ３１０、および構造照明器３０８を含む。装置３０２は、非構造照明器３０６、カメラ３１２、および構造照明器３０８を含む。図示されるように、装置３００のカメラ３１０および非構造照明器３０６は、事前グレースケール像３１４および事後グレースケール像３１６の双方を生成するように協働する。次に、これらの像は装置３００からの観察に対応する差分（デルタ）グレースケール像３１８を生成するために使用される。さらに、カメラ３１０および構造照明器３０８は協働して、装置３００の観察から構造像３２０を生成する。

装置３０２は、装置３００に関して上記した像と類似した像３２２、３２４、３２６を生成するが、立体視像が簡単に得られるように異なった観察からの像も生成する。具体的には、像３２２は、好ましくは、像３２０の取得と同時またはほぼ同時に取得される。同様に、像３２４および３２６は、それぞれ像３１６および３１４とほぼ同時に取得される。装置３００および３０２の異なった観察から取られた２つの構造照明像３２０および３２２は、それぞれ三次元基準点像３２８を提供するように組み合わせられる。さらに、装置３０２によって取得されたグレースケール像は、グレースケール・デルタ像３３０を提供するように組み合わせることができる。三次元基準点像３２８は、グレースケール・デルタ像３１８および３３０の各々を遠近補正し、それぞれ遠近補正された第１および第２観察のグレースケール・デルタ像３３２および３３４を形成するために使用される。次に、遠近補正されたグレースケール像３３２および３３４は、多くの部品配置検査のために使用可能である。そのような検査の例は、ブロック３３６で示されるような不在／存在検査、ブロック３３８で示されるようなパターン／文字認識、ブロック３４０で示されるような部分ジオメトリ解析、およびブロック３４２で示されるような像対称解析を含むことができる。部品３０４自身に対するパターン／文字認識３３８は、ブロック３４４で示されるように、部品３０４の正しい型および値の確認を容易にする。さらに、ブロック３４６で示されるように、部分ジオメトリを解析することによって、ｘ、ｙ、および回転（θ）レジストレーションを測定および確認することができる。最後に、ブロック３４２で示される像対称の解析は、ブロック３４８で示されるように、部品の極性を解析する便利なアプローチを提供することができる。

照明
照明の以下の特徴は、本発明の実施形態へ追加的利点を提供する。実際、以下で開示される照明の特徴は本発明の特徴を含み、必ずしもこれまで開示された立体視手法を使用して実施される必要はない。

像の十分な品質を得るには、かなりの明るい照明を必要とする。なぜなら、多くの場合、高解像度、短い像取得時間、カメラに対するターゲット物体の低反射率が要求され、また他の理由があるからである。発光ダイオード（ＬＥＤ）は、多くの場合、光源として良好な選択である。なぜなら、発光ダイオードは一般的に信頼性に富み、効率的、安価、およびコンパクトだからである。しかし、ピックアンドプレース機械内の配置点の近くの空間は厳しく制限されているので、必要なＬＥＤを配置点の近くに置くことは非常に困難である。

そのような場合、光パイプ、特に光ファイバパイプを使用して、遠隔位置のＬＥＤからターゲット領域へ光を伝達するのが有利である。ピックアンドプレース機械内で光パイプを使用する利点は、明るい照明に必要なＬＥＤを十分に多数取り付けるための空間が、配置点の近くで大きくなりすぎる可能性があること、ノズル近傍における加熱（部品、ノズル、および他の加熱される材料の寸法が熱膨張によって変化するので問題である）が、配置点からＬＥＤ光源を除去することによって低減されること、パッケージングを最適化するようにＬＥＤを配列できること、および光ファイバパイプが可撓性であり、適切な配列によって、静止したＬＥＤ光源を、移動する配置ヘッドで使用できることを含む。

多くの応用は、さらに処理に必要な特徴または詳細を表示するために、適切に配列された照明を必要とする。ある場合には、空間を有効に利用するため、または撮像ジオメトリのある固有の対照性により良くマッチするために、対照性を補うように照明を配列するのが望ましい。例として、大きなリングライトを使用して、球状はんだボールの上に均一の円形特徴を形成すること、または線形照明器を使用して、線走査カメラのサイズを著しく縮小することが含まれる。

市販の照明構成は、多くの場合、離散的にパッケージされたまたはチップレベルのＬＥＤを単に長方形または円形に配列したものである。これらのＬＥＤパッケージのいずれも、自由裁量的構成として物理的に配列可能であるが、離散的パッケージのサイズは配列を粗い間隔に限定し、チップレベルの照明アレイは、通常、平坦面に限定される。いずれの場合も、自由裁量的配列の実現は、複雑で費用のかかる仕事になる。

可撓性光ファイバパイプへ結合されたＬＥＤ、または他の適切な光源は、自由裁量に近い照明構成を実現するのに適した単純な手法を提供する。光源の所望の配置および方位確定の複雑性は、ファイバの出力端をどのように保持するかにある。光パイプとしての使用に適したファイバは一般的に全くしなやかで、比較的小さな直径（０．２５〜１．０ｍｍ）であるから、光ファイバパイプの出力端を、適切に機械加工された１つまたは複数の部品へ取り付けることによって、配列を完成することができる。

光ファイバパイプをＬＥＤへ効率的に結合するには、通常、ＬＥＤパッケージまたはダイ(die)とファイバ入力端との間にレンズを必要とする。各々のＬＥＤレンズとファイバは、厳密に整列して保持されなければならない。その場合、全体のアセンブリは幾分大きくなり、特に単一レンズアレイが使用される場合、慣行の配列に向いていない。

本発明の実施形態に従った照明の１つの特徴は、光ファイバパイプ入力端をＬＥＤへ直接結合することを含む。

図５は、本発明の実施形態の照明特徴を示す説明図である。図５は、配置位置３６０が照明システム３０６によって照明されている間、装置３００が配置位置３６０の像を取得するように、基板２０３に対して配置されたノズル２１０および像取得装置３００を示す。照明システム３０６は、好ましくは、個々の点光源のアレイ、たとえば複数の個々のＬＥＤ３６４を有するＬＥＤアレイ３６２を含む。適切な数の光パイプ３６６が個々の光源３６４へ結合され、アレイ３６２から配置位置３６０に近い位置へ照明を伝達する。好ましくは、光パイプ３６６の出力端３６８は取り付け具３７０で結合される。取り付け具３７０は、光パイプ３６６の出力端３６８を所望の様式で取り付ける。出力端３６８は束ねられ、配列され、および／または外形に合わせることができ、照明が適切な角度および適切な位置で配置サイト３６０上へ導かれ、像の適切な輝度および／またはコントラストを提供し、同時に像の特徴の所望の形状または外観を提供するようにされる。さらに、出力端３６８は、配置ヘッドのサイズ、間隔、および他の機械的制約に順応するように束ねられ、配列され、および／または外形に合わせることができる。

図６は、ＬＥＤ３６４へ結合された光ファイバパイプ３６６の入力端３６８の説明図である。孔３６９は、ＬＥＤ３６４のパッケージまたはカプセルの一部分に作られ、光パイプ３６６を収容する。このようにして、ファイバ端３６８をＬＥＤダイの極めて近くに配置することができ、結果として高いジオメトリ結合効率が生じる。さらに、ファイバ端３６８とアクリルＬＥＤカプセルまたはパッケージ３７２との間の空間３７０を、屈折率整合接着剤で充填することができる。しかし、光パイプ３６６としてアクリルファイバが使用されるならば、ファイバ３６６およびＬＥＤパッケージを単純に融合させることができ、その結果、損失が少なくなる。この配列は、カップリングレンズの必要なしに、比較的高効率の結合を提供する。さらに、整列は固定および安定され、最適パッケージングに構成することが可能になる。たとえば、ファイバは比較的端数の角度でアセンブリから出ることができる。さらに、ＬＥＤおよび光ファイバアセンブリは、強度を増すため容器に入れることが可能である。

幾つかの実施形態では、アレイ３６２の全てのＬＥＤは１色である。その場合、好ましくは、像取得装置は周囲光を拒絶するが、照明帯域の波長の光を通すフィルタを含む。しかし、数色のＬＥＤが使用され、それらと共に１つまたは複数の適切なフィルタを使用できることが、容易に想定される。

光学系
本発明の実施形態による照明システムは非常にコンパクトで順応的であるだけでなく、検査カメラ自身が、サイズ、形状、および像領域への観察アクセスに関して厳しい制限に順応しなければならない。撮像部品および照明部品の双方が一個の集積協調ユニットへパッケージされることが好ましいが、そのような集積は、本発明の実施形態を実施するためには必ずしも必要でない。

前述したように、像取得システム３００および３０２は、好ましくは、傾斜した像平面を使用し、それによって装置３００および３０２は、比較的高い観察角を使用し、それらの観察角を撮像アレイへ適切にマップすることができる。そのような傾斜像平面を使用する１つの例は、Ｓｃｈｅｉｍｐｆｌｕｇ条件である。この手法は、テレセントリック光学系(telecentric optics)および非テレセントリック光学系(non-telecentric optics)の双方で使用できるが、本発明の実施形態は非テレセントリック光学系を使用することが好ましい。これは、単に、テレセントリック撮像光学系の要件の１つとして、テレセントリック撮像光学系の対物エレメントが視野よりも大きくなければならないことがあるからである。

図７は、装置３００および３０２のいずれか、または双方で好ましくは使用される光学系の説明図である。光学系３８０は非テレセントリックであり、それによって対物エレメント３８２は視野よりも小さな直径を有することができる。さらに、系３８０は非テレセントリックであるから、高さＨは、テレセントリック光学系と比較してコンパクトなカメラを提供するように縮小できる。配置位置３０６への視線の角度アクセスを増加するため、および／または光学系の直径を最小にするため、光学絞り３８４が対物エレメント３８２と配置位置３６０との間に配置される。さらに、絞り３８４は周囲光が入らないようにすることを助けるためにも使用される。図７で示されるように、光学軸を曲げるため、ミラー３８６を使用することができる。光学絞り３８４は、対物エレメント３８２とミラー３８６との間に置かれるのが好ましい。

非テレセントリック光学系が使用されるとき、ｘ、ｙピクセルアドレスを、意図された部品配置面上のｘ、ｙ位置へマップするため、較正手順を実行することが推奨される。これは、配置領域の平面上に較正ターゲットを置くことによって行われる。このターゲットは、多数の既知のインディシア、好ましくは既知のスペースを有する既知のサイズの平方を有する。したがって、配置領域の平面上で既知の較正ターゲットを観察することによって、システムは３×３等質遠近変換マトリックスを解くことができる。このマトリックスは、好ましくはミリメートル単位でｘ、ｙピクセルアドレスを配置平面上のｘ、ｙ位置へ変換する。この変換は、さらに、スケーリングおよび遠近歪みを補正する。さらに、２つ以上のカメラを使用すると、２つ以上のカメラで見た特徴から深度（ｚ）データを引き出す立体視較正を容易にする。ｚデータは、高さを有する特徴を下方の垂直方向配置平面へ投影するのに有用である。図２１は、好ましい較正ターゲットを示す。較正ターゲットの像は、像をバイナリ像へ閾値化することによって処理される。黒の正方形を特定するため、接続解析が実行される。次に、線がグレースケール像における各々の正方形の各々の辺へサブピクセル正確度で正確に当てはめられる。次に、全ての隣接線の交差が計算される。もし選択された数の正方形（たとえば、３０個の正方形）を像の中で見ることができれば、正方形の数にコーナーの数を乗算したもの（３０×４）は、点の比較的大きな数（たとえば１２０）を与える。点において、ｘおよびｙは高サブピクセル精度で計算される。次に、これらの位置は、較正マトリックスを計算するためターゲット上の既知のコーナー位置とミリメートル単位で比較される。

図２２は処理中の較正ターゲットの像を示す。ここで、プラス記号は「不鮮明小塊(blob)」の重心を示し、ラインフィッタの配置は正方形の辺の上で長方形として明かである。極端な遠近を処理するため、アルゴリズムは像の中の最大不鮮明小塊（６００で示される）からスタートする。較正マトリックスは、最大正方形に最も近い正方形を含め、グリッド内の正方形の全てが最終計算で使用されるまでさらに多くの正方形を含めることによって継続的に改良される。較正ステップは次のとおりである。先ず、全ての不鮮明小塊が像から抽出される。切り取られた不鮮明小塊は廃棄され、最大面積を有する不鮮明小塊が特定される。次に、最大面積の不鮮明小塊の４つのコーナーが粗く特定される。大きな正方形の４つの辺へ線を当てはめるため、ラインフィッタが使用される。次に、システムは、回転、スケーリング、および遠近補正で３×３等質変換マトリックスを解き、ピクセル単位をミリメートル単位へ変換する。これは、正方形の二次元アレイを像の中で直交させる比較的粗い推定である。次に、前に発見された不鮮明小塊を指す不鮮明小塊ポインタの二次元グリッドが生成される。これは、較正グリッド内の既知のミリメートルスペースに基づく。次に、最大不鮮明小塊の＋／−１行および＋／−１列であるグリッド内の不鮮明小塊（９つまでの不鮮明小塊が存在する）からスタートするループが始まる。ループ内の各々の不鮮明小塊について、新しい３×３ピクセルミリメートル変換を解くため、不鮮明小塊の重心が最大不鮮明小塊の４つのコーナーと一緒に使用される。改良された変換を使用して、早期に発見された不鮮明小塊を指す不鮮明小塊ポインタの二次元グリッドが再生成される。次に、使用可能なグリッドが、現在使用されている不鮮明小塊の周りへ＋／−１行および＋／−１列だけ拡張される。もしグリッド拡張が既に満たされていれば、ループは終了する。そうでなければ、ループは次の不鮮明小塊から継続する。一度、ループが完了すると、ループの実行中に計算された最終較正マトリックスを使用して不鮮明小塊の重心が変換される。次に、グリッド内の全ての不鮮明小塊の全ての４つの辺にラインフィッタが置かれ、隣接する全ての当てはめ線の交差を解くことによって、グリッド内の全ての不鮮明小塊でコーナーが計算される。最後に、像の中で発見された全てのコーナーおよびそれらの予想される位置を使用し、較正ターゲット内の正方形サイズおよびグリッドスペースを知ることによって、最終較正マトリックスが解かれる。

立体視の較正は、２つ以上のカメラを使用して見ることのできる特徴から深度データを提供する。重複する視野を有する２つ以上のカメラの較正は、前述した較正を２回実行することによって達成される。配置平面と一致する較正ターゲットの上で較正を実行した後、より高さの高い較正ターゲット（既知の高さを有する）が使用され、較正が反復される。各々のカメラ像における像の特徴の空間シフトであって、較正ターゲットの異なった位置に起因するシフトの方向および大きさを解析し、カメラ内のシフトを比較することによって、深度を決定することができる。カメラからの距離は、像シフトの大きさと反比例する。

像の取得
本発明の実施形態は、一般的に、意図された配置位置の２つ以上の連続像（即ち、配置前および配置後）を取得する。配置は比較的高速で起こり、機械の処理速度を遅くすることは非常に望ましくないから、場合によっては、２つの連続像を極めて迅速に取得することが必要となる。なぜなら、配置ヘッドと基板との間の相対移動の休止は短いからである。たとえば、約１０ミリ秒の期間内に２つの像を取得することが必要である。

本発明の様々な様相によれば、複数の連続像の迅速な取得は、異なった方法で行うことができる。１つの方法は、市販のＣＣＤ装置を使用し、それらを非標準様式で作動して、その装置から読み取り可能なレートよりも速いレートで像を取得することである。他の方法は、意図された配置位置を、共通の光学系を介して観察するように配列された複数のＣＣＤアレイを使用することである。

現在、ＣＣＤアレイのアーキテクチャとして２つの普通の型が存在する。即ち、インタライン転送ＣＣＤアレイ（図８で示される）およびフレーム転送ＣＣＤアレイ（図１１で示される）である（ここでは、それぞれＩＴおよびＦＴと呼ぶ）。双方の型は、光への露光に比例して電荷を累積する撮像領域と、光から遮蔽された蓄積領域を含む装置として概括することができる。ＣＣＤの撮像領域はフォトサイト（ここでは、ピクセルと呼ばれる）の二次元アレイである。蓄積セクション、および像がどのようにして該蓄積セクションへ転送され通過するかは、装置の２つの型を区別する重要な部分である。ＩＴ ＣＣＤでは、全体の像が、撮像セクションサイトからフォトサイトに近い蓄積セクションサイトへ数クロックサイクルで転送されるが、ＦＴ ＣＣＤは、撮像セクションから蓄積セクションへ一時に１ラインの像を転送する。

ＩＴ ＣＣＤ３９０の動作は、一般的に次の順序で起こる。図１０のブロック４１０で示されるように、先ず撮像領域がリセットされ、そのフォトサイトから残留電荷がクリアされる。ブロック４１２で示されるように、一度、リセットが行われると、フォトサイトは光に応答して電荷を累積し始める。ブロック４１４で示されるように、光への適切な露光時間の後、アレイの全撮像セクション内に累積された電荷は、アレイの蓄積セクションへ数クロックサイクルで転送される。一度、像が蓄積セクションに置かれると、この像は光による腐食から保護され、次の像が露光されることができる。蓄積サイトへの最初のフレームの転送は数クロックサイクルで起こるので、各々のフレーム取得の間の時間遅延は、１００マイクロ秒よりも小さくすることができる。次に、ブロック４１６で示されるように、蓄積セクション内の最初の像の各々のラインが水平レジスタ３９６へ転送され、水平レジスタ３９６の中で、各々のピクセルが一時に１つ（または、マルチタップ装置では可能性として数個）ずつシフトアウトされてディジタル化される。一度、最初の像がクロックアウトされると、第２の像がクロックアウトされることができるようになる。

本来的に、像の中のライン数が減少するに従って、ＣＣＤのフレームレートは増加する。図７で示される撮像ジオメトリでは、像のアスペクト比は傾斜方向で長くなる。この方向では、全体の像は必要とされないから、この方向の解像度（即ち、ラインの数）を減少することができる。像ライン解像度の減少は、ＣＣＤの蓄積セクション内の望まれないラインを水平レジスタ３９６へ転送し、それらをシフトアウトしないことによって達成することができる。一度、望まれない全てのラインが水平レジスタ３９６へクロックインされると、水平レジスタ３９６は、望まれる最初の像ラインが蓄積セクション３９４から水平レジスタ３９６へ転送される前に、その全長をシフトして残留電荷をクリアする。したがって、フレームタイムは、望まれないライン数と水平レジスタの外へ１ラインをシフトするのに要する時間とを乗算した時間量だけ減少する。

他の普通の型のＣＣＤ装置はフレーム転送ＣＣＤアレイである。この型も、本発明の実施形態に従って使用することができる。そのような装置（図１１で示される）の動作は、一般的に次の順序で起こる。先ず撮像領域４５２がリセットされ、そこから残留累積電荷がクリアされる。一度、リセットが行われると、撮像領域４５２を含むフォトサイトは、光に応答して電荷を累積し始める。適切な露光時間の後、全てのピクセル内の累積電荷は、一時に１ラインずつ垂直方向に蓄積領域４５４の中へシフトされる。撮像領域から蓄積領域へ全てのラインをシフトすることは必ずしも必要でないが、シフトされる最初のラインは最も底のラインでなければならない。さらに重要なことに、まだ遮蔽されていない像部分を含むフォトサイトは、入射光へ露光され続け、したがって、そのような光によって腐食、この場合は垂直スメアを受けることに注意すべきである。したがって、ＦＴ 装置は、最も多くの場合、光が検出器へ到達するかどうか、およびその時点を制御するある外部手段が存在する環境で使用される。

蓄積領域４５４内の像は、ＩＴ ＣＣＤ構成とほとんど同じようにして読み出し可能となる。しかし、重要な相違は、水平読み出しレジスタ４５６にロードするために、蓄積された像の各々のラインが垂直にシフトされる時、装置の感光セクションも同様に垂直にシフトされることである。これは、装置の感光領域が像へ露光されている間、蓄積された像の読み出しは起こることができないことを意味する。像は後の読み出しのために保存されなければならない。フレーム転送ＣＣＤアレイで複数の像を高速で取得することに関するさらに詳細は、「耐振動ビデオキャプチャを使用する検査システム」と題して２０００年３月１０日に出願された同時係属米国特許出願第０９／５２２，５１９号に記載される。

前述したように、像の１つの軸に沿って像のフル解像度を利用する必要はない。したがって、配置領域をカバーするために必要なラインの数は、撮像アレイの中の列の数よりも少ない。アレイの適切な方向付けによって、配置位置を表す行のみを蓄積領域へ転送し、像取得の間に必要な時間を縮小する必要がある。既知のＣＣＤ装置を使用して、正規の指定フレーム期間よりも少ない時間間隔で複数の像を取ることができる。最初の像が露光された後で装置へ落ちる光を制御する方法を使用するとき、そのような像の取得が容易に行えるようになる。

第２の像の腐食を避けるため、最初の像が蓄積領域から読み出されるように第２の像が感光領域で待っている間、確実に無視できるレベルの光だけがＣＣＤへ達することが必要である。このシナリオでは、第２の像の露光は、最初の像が蓄積領域へ転送された後の非常に短い時間を含む任意の時間に始まることができる。

この問題に対処する１つの方法は、電子的に制御される光シャッタを使用して、ＣＣＤアレイに落ちる光を制御することである。電子的に制御される光シャッタは、液晶光弁、マイクロチャネル空間光変調器、および電子光学光スイッチを含むが、これらに限定されない。

図９は、ＩＴ ＣＣＤアレイ３９０とレンズ４０４との間に配置された１つのそのような電子シャッタ４０２を示す。図９で示されたシステムの動作は、図１０で示されたフロー図に関して説明される。

ステップ４１０で、システムが初期化されたとき、電子シャッタを開いて光が通過できるように制御信号が電子シャッタへ送られ、またＣＣＤ３９０のフォトサイトをリセットする信号が送られる。ブロック４１４で示されるように、最初の像がアレイ３９０の蓄積セクションへ転送された後、感光ピクセルは新しい像の取得を開始することができる。ブロック４２２で示されるように、適切な積分期間が経過した後、信号が電子シャッタ４０２へ送られ、シャッタ４０２を閉じて、光が通過するのを阻止する。ブロック４２４では、アレイ３９０からの最初の像の読み出しが終了し、制御はブロック４２６へ渡される。ブロック４２６では、第２の像がフォトサイト３９２から蓄積アレイ３９４へ転送される。最後に、ステップ４２８で、第２の像がアレイ４００から読み出される。

さらに、ＦＴ ＣＣＤアレイで電子シャッタを使用して、フル解像度（全てのライン）の２つの像を迅速に連続して取得することができる。これは、領域４５２をリセットし、それを最初の像へ露光し、その後の光が感光領域４５２へ落ちるのをブロックし、装置の垂直転送サイクル速度によってのみ制限されるように結果の像をできるだけ速くラインごとに蓄積領域４５４の中へシフトし、好ましくは再び感光領域４５２をリセットし、それを第２の像へ露光し、再びその後の光がその上に落ちるのをブロックし、次に双方の像をピクセルごと、およびラインごとに読み出すことによって行われる。

このアプローチは、２つより多い像を迅速に取得させるように拡張できることが分かるが、そのようにするには、各々の像が１００％よりも少ない利用可能ラインを有することが必要である。たとえば、同じサイズの３つの像を迅速に連続して取得するためには、像はフルサイズ像の半分だけに制限される。

ＣＣＤの露光を制御する追加の解決法は、撮像システム自身の照明および光学環境を制御することを含む。光学環境を制御する１つの方法は、それが狭い波長レンジの中にあることを確実にするために照明器の波長を制御し、また照明器の波長バンド内にない光を拒絶するように設計されたフィルタをＣＣＤの前に置くことによって、周囲光の影響を最小にすることである。この実施形態に従ったシステムが使用されるとき、帯域フィルタの波長内に落ちる周囲光を含まない環境の中にカメラを置かなければならない。こうして、アレイ内のフォトサイトは、カメラによって制御され、ＣＣＤの露光と同期してフラッシュされる外部照明器のみに感応する。

照明器の波長を制御することなく周囲光を制御する他の方法は、十分に小さいサイズの絞りを設けるか、光学列の中にＮＤ(neutral-density)フィルタを置いて、周囲光が比較的小さなレベルへ低減されるようにすることである。周囲光を低減すると、照明器は適切な時点および持続時間でストローブされ、小さい絞りまたはＮＤフィルタが存在していてもフォトサイトを露光する十分な光を提供する。

図１２は、市販のＣＣＤカメラのフレームレートを超過するような時間間隔で複数の像を取得するため装置３００および３０２のいずれか、または双方で使用可能な代替の配列を示す。具体的には、システム４７０は、エレクトロニクス４７６へ結合された一対のＣＣＤアレイ４７２および４７４を含む。エレクトロニクス４７６も照明器４７８を制御する。ＣＣＤアレイ４７２および４７４の双方は、光学列の一部分である。この光学列は、ビームスプリッタ４８０を使用して、双方のＣＣＤアレイ４７２および４７４がレンズ４８２を介して物体平面を観察することができるようにする。類似の構造が今日の新しいカラーＣＣＤカメラで使用され、このようなカメラは典型的には３つの異なったＣＣＤアレイを含み、各々のアレイは波長の異なったバンドの光を受け取るが、そのような装置は、実質的に単色光の複数の観察を、時間的に相互に接近して、しかし相互に対して同時にではなく、取得するために使用されてきたとは思われない。各々のＣＣＤアレイが像を同時に取る代わりに（カラーＣＣＤカメラのように）、各々のＣＣＤアレイは順次にトリガされて、視野の中へ物体が配置される前、配置された後、または配置中の任意の時点で、像を捕捉することができる。図示されるように、電子回路４７６は、高速データバス４８４、および好ましくは適切な位置エンコーダを含むトリガ情報源４８６へ結合される。注意すべきは、この実施形態の様相は、前述した高速の像取得と組み合わせることができ、各々のＣＣＤアレイは、各々のアレイから読み出すことのできるレートよりも速いレートで像を効果的に取得するように動作し、２つを超える像を迅速な順序で捕らえることである。

図２に関して説明したシステムは、立体視撮像に一対のカメラを使用するように示したが、追加の利点を得るため追加のカメラおよび照明システムを使用することができる。したがって、本発明の１つの様相は、観察の重複および非重複領域を有する、検査ターゲットの複数の相補的観察を使用することを含む。

複数の観察は、ターゲットを完全にカバーすることができる。非重複観察領域は、他の観察の全てに存在しない情報を充当する。これは、特に、通常真上からではない観察検査の応用に重要である。なぜなら、傾斜観察は部分的に不明瞭になりやすいからである。

単一の像だけからは引き出せない独特の情報を生成するため、同じターゲットの複数の別個の観察を使用することができる。（１）観察の重複部分は、冗長データを提供して共通領域の特徴認識を改善する。（２）重複領域は、直接またはある種の特殊の準備（たとえば構造照明）を介して独特の情報、たとえば高さを引き出すことができる。

複数の像は、
（１）全く別個の照明、光学系、および検出器、
（２）全く別個の光学系、および共通照明を有する検出器、または
（３）共通の光学系および照明を有する別個の検出器
によって提供されることができる。

最も簡単な構成は、複数の同じ完全な「カメラ」（検出器、光学系、照明）を含み、それらの視野は実質的に重複し、意図されたターゲットを全ての側面から完全にカバーする。

図１３は、上方から見た４つのカメラ構成の説明図である。カメラ３００、３０２、５００、５０２は像を捕らえ、さらに照明を与えることができる。注意すべき点として、ターゲットの各々のコーナーの小さな部分は、４つの観察の１つだけで見ることができる。さらに、これらの観察の間には、実質的に重複領域が存在することである。

認識を改善するために複数の観察を使用することは、多くの利点を提供する。この方法は、複雑な光学系に頼って単一の観察で所望のターゲットをカバーするのではなく、一緒に働く少数の比較的簡単なカメラを使用して行うことができる。異なったカメラ観察の冗長的重複部分から、カバー範囲が完全になるだけでなく、追加情報が利用可能になる。これは、単一のカメラからは得られない。さらに、ある冗長性が提供され、信頼性が付加される。なぜなら、複数の観察によって、１つの像の中の遮断された領域を、他の像の類似部分で修復もしくは置換することができるからである。

適切な光学系を使用すると、複数の光路を有する撮像システムを使用することによって、複数の観察を集めるために単一の検出器を使用することができる。図１４は、そのような撮像システムの説明図である。各々の別個の観察５０４および５０６は、適切な光学系５０８によって検出器表面のサブセットへ向けられる。したがって、検出器によって取得された像は、５０９で示されるような双方の観察を含むであろう。これは、もし検出器が非常に高価であるか、空間の制約によって観察がファイバ光学系または他の手段によって遠隔検出器へ伝送される必要があるとき特に有用である。

像の処理
前述したように、プリント回路基板上の部品配置の確認は、部品が置かれることを予想される回路基板上の位置の配置前および配置後の像を取得し、１つの像を他の像から減算することによって行うことができる。事前の画像および事後の画像の間で変化しない像部分は、それによって抑制され、新しく置かれた部品の誤差は、結果の像の中に明瞭に存在する。しかし、機械的振動、不正確な機械運動、または像が取得されたときプリント回路基板および／またはカメラが運動していたため、配置前および配置後の像は一般的に完全には整列しない。２つの像（事前および事後）が整列しないとき、結果の差分された像の中に誤差が現れる。この誤差は、部品が存在することを誤って表示するかも知れない。２つの像の誤整列を推定する１つの手法は、相関（たとえば、正規化されたグレースケール相関）を使用することである。しかし、相関は、直交エッジがテンプレート（相関されている像領域）の中に存在するときにのみ働く。もしエッジが存在しないか、１つの方向のエッジのみが存在するとき、相関は整列のための唯一の（ｘ，ｙ）位置を生成しないであろう。

視覚システム、たとえば本発明の実施形態に従って使用される視覚システムは、もしＣＡＤデータが利用可能であり、ＣＡＤ記述に対して視覚システムが基板上で見ている場所を知っていれば、テンプレートの良好な位置をピックすることができるかも知れない。代替的に、もし視覚システムが全ての可能な視野を示されることによってオフラインで教示されることができれば、視覚システムは良好な位置またはテンプレートを前もって決定できるであろう。しかし、もしこれらのいずれの条件も真でないならば、視覚システムは実行時に良好なテンプレート位置を素早く決定する必要がある。

本発明の実施形態の１つの様相は、他の像で相関されるテンプレートを選択するため１つの像の良好な位置を決定する効率的な計算方法を提供する。その方法は図１５に示され、ブロック５１０で始まる。ブロック５１０では、Ｓｏｂｅｌエッジフィルタが配置前の像の上で計算され、全てのピクセルの周りの最強エッジの大きさおよび方向が計算される。（代替的に、より簡単な勾配操作が、全てのピクセルの周りの３×３隣接ピクセルで使用されてよい）。ブロック５１２では、エッジの大きさが閾値化され、エッジ方向が８つの角度の１つ、即ち０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、および３１５°へ丸められる。

図１６は、ピクセル５１４およびその８つの隣接ピクセルを示す。各々の矢印は、正規のエッジ方向を示す。ブロック５１６では、８つの方向が各々のピクセルについて８ビットバイト（エッジ・エンコード・ピクセル）へエンコードされる。このステップでリストされた８つの方向は、次のようにそれらのコンパス方向によって記述される。即ち、東７、北東６、北５、北西４、西３、南西２、南１、南東０である。ブロック５１８では、エンコードされたデータ上でＯＲ結合ボックスカー・フィルタが実行される。低域通過フィルタのように平均を計算する正規のボックスカー・フィルタとは異なり、このＯＲ結合ボックスカー・フィルタは、開口隣接ピクセルの中でピクセルにビット幅ＯＲ操作を実行する。開口は、５×５ピクセルまたは７×７ピクセル（または、適当な他のサイズ）であってよい。エッジ符号化ピクセルの結果の「像」において、各々のピクセルは、その５×５または７×７隣接ピクセルの中にどのエッジ方向が存在するかを示す。ブロック５２０では、像の中の全ての８ビット・エッジ・符号化・ピクセルへ得点を割り当てるため、所定のルックアップテーブルが使用される。一般的に、小さな数の得点（たとえば４）が必要である。８ビットコードがルックアップテーブルを検索するので、ルックアップテーブルは２^８または２５６個の要素を必要とするだけである。得点が高ければ、それだけ良好に５×５または７×７隣接ピクセルが表され、相関テンプレートの中で使用される。２５６個の８ビット・エッジ・符号化処理の中で、大多数は対称であり、したがって少数のサンプルの得点が次のテーブルに示される。

ブロック５２２では、４×４隣接得点を合計することによって像のサイズが縮小される。（言い換えれば、ピラミッド像が構築される）。代替的に、４×４またはそれより大きい開口サイズを有する像の上に追加的ボックスカー・フィルタを適用することができる。最後に、ブロック５２４で、得点の結果の像が高得点を求めてスキャンされる。高得点は、相関テンプレートとして使用できる元の像の良好な位置を示す。部品は、像の中央部分のどこかに置かれるから、高得点の探索は像の中央部分の外側にあるように制限されるべきである。（実際、上記の処理の全ては、効率のために像の中央領域を回避することができる。）

図１７は、本発明の実施形態に従って、取得された像を解析して、ブロック３３６の部品の不在／存在を決定する方法を示す。ブロック５４０では、事前および事後の像が取得される。配置前および配置後の像の例は、それぞれ図２３Ａおよび図２３Ｂとして提供される。ダッシュ線のブロック５４４は、一次元または二次元相関を使用して２つの像を整列させるオプションのステップを示す。好ましくは、図１５および図１６に関して説明した整列方法が使用される。ブロック５４６では、整列した事前および事後の像が相互から減算される。全てのピクセルはその絶対値を与えられる。このステップは、像の変化を強調し、したがって２つの像の差分を強調する。例示的な差分像が図２３Ｃに示される。ブロック５４８で、差分像が閾値化され、図２３Ｄに示される像と類似した像を提供する。差分像の閾値化は、変化した領域を、変化しない領域から区別するバイナリ像を作り出す。

ブロック５４９ａでは、２つの像の間で常に変化することが知られた領域、たとえばノズルおよびノズル反射が、閾値化された像からマスクされる。このマスキングは、変化することが知られた領域の上で、白マスク像の中に黒充填ポリゴンを描くことによって達成される。次に、変化が知られたマスク像が、閾値化された像とＡＮＤ結合される。オプションとして、もし部品の長さ、幅、および高さを含む部品データが利用可能であれば、ブロック５４９ｂで、システムは他の黒の像中の一部による占拠を予想される容積の二次元投影を像平面でカバーする白マスクを生成する。このマスキングは、部品が置かれる領域の上で、白充填ポリゴンを他の黒マスク像の中に描くことによって達成される。次に、予想された部分マスク像は、閾値化された像とＡＮＤ結合される。

ブロック５５０では、「Ｎ」とマークされたループによって示されるように、オプションの形態腐食操作を１回以上実行することができる。この腐食は、結果のノイズまたは像の誤整列である小さな物体を除去するのに有用である。ブロック５５２では、オプションの他の形態操作が提供される。具体的には、ブロック５５２は、「Ｍ」でマークされるループによって示されるように、１回以上実行されるオプションの膨張操作を提供する。膨張操作は、腐食操作または背景像とマッチした部品特徴によって分離された単一物体部分のマージを容易にする。そのような膨張の後の例示的な像が、図２３Ｅに示される。ブロック５５４では、像の中の物体を発見するため接続解析が実行される。この解析は、像の中の物体の各々に関する有用な多くの特徴値、たとえば物体の重心、長さ、幅、面積、回転などを生成する。（「センサで制御される操作および検査のモジュール式視覚システム」（Gleason, et al., “A Modular Vision System for Sensor-Controlled Manipulation and Inspection", Proc. 9th Symposium on Industrial Robots, March 1979, pp. 57-570)）。最後に、ブロック５５６で、像の中で発見された物体の特徴値および予想された物体の特徴値を比較することによって、部品の配置が確認される。この比較は、重心の位置、幅、面積、回転などの特徴値を含んでよいが、これらに限定されない。

図１８は、本発明の実施形態に従って部品の不在／存在を決定するため像を解析する他の方法の説明図である。図１８に示される方法は、さらに、図１７に関して説明されたステップ５４０、５４２、５４４、５４６を含む。したがって、それらのステップは図１８で説明および図示されない。図１８は、ステップ５４６の後で実行されるステップ５６０から始まる。ブロック５６０では、配置サイトのピクセル変化カウントが決定される。これは、ある閾値を超える値を有するピクセルであって、部品の配置が予想される像領域の中にあるピクセルをカウントすることによって達成される。ブロック５６２では、ある閾値を超える値を有するピクセルであって、部品の配置が予想される像領域の中に存在しないピクセルをカウントすることによって、トータルのピクセルカウントが決定される。ブロック５６４では、配置サイトピクセル変化カウント（ブロック５６０）とトータルピクセル変化カウント（ブロック５６２）とを比較することによって、部品配置の確認が実行される。

図１９は、本発明の実施形態に従ってブロック３３６の部品不在／存在を決定するため像を解析する他の方法の説明図である。図１９で示された方法は、さらに、図１７に関して説明されたステップ５４０、５４２、５４４、および５４６を含む。したがって、それらのステップは図１９では説明も図示もされない。図１９は、ステップ５４６の後で実行されるブロック５６６から始まる。ブロック５６６では、ある閾値より大きい値を有するピクセルであって、部品が予想される像領域の中にあるピクセルを合計することによって、配置サイトピクセル差分強度合計が配置サイトのために計算される。ブロック５６８では、全体の差分像の中でピクセル強度値の合計を取ることによって、トータルピクセル差分強度合計が計算される。ブロック５７０では、配置サイトピクセル差分強度合計とトータルピクセル差分強度合計とを比較することによって、部品配置が確認される。

図２０は、「値／型の確認」（図４のブロック３４４）、「Ｘ、Ｙ、θレジストレーション測定」（図４のブロック３４６）、および「極性の決定」（図４のブロック３４８）のために像を解析する方法の説明図である。図２０に示される方法は、図１７に関して説明したステップ５４０、５４２、５４４、５４６、５４８、５４９ａ、および５４９ｂを含む。したがって、それらのステップは図２０で説明も図示もされない。図２０は、ステップ５４９ｂの後で実行されるステップ５８２から始まる。

ステップ５４４〜５４９ｂおよび５８２〜５８４は、マスク像を生成する。ステップ５４４〜５４９ｂは前に説明した。ステップ５８２は、閾値化された差分像の上で複数（たとえば５つ）の３×３バイナリ膨張を実行する。ステップ５８４は、膨張した差分像を不鮮明にする大きなボックスカー・フィルタ（典型的には、１９×１９ピクセル）であり、図２３Ｆと類似した像を生成する。ステップ５８６では、ステップ５８４によって生成された不鮮明マスク像がステップ５４０で取得された「事後像」と乗算される。これは、像の中の配置された部品を分離し、像で変化しない部分を消去する。不鮮明マスクと事後像との乗算は、不鮮明でないマスク像と事後像との単純なＡＮＤ結合よりも優れている。なぜなら、マスクとグレースケール像とのＡＮＤ結合は、マスクの周辺に沿って人工エッジを生成するからである。そのような乗算から生じる例示的な像が図２３Ｇに示される。

ステップ５８８は、様々な像度量衡ツール、たとえばラインフィッタ、「ルーラ」、または「カリパス」を置いて、部品のリード線、またはリード線（実際にはボール）が部品の下に隠れている場合には、部品の４つの辺を特定する。リード線および／または部品の辺が特定された後、部品のＸ、Ｙ、θ位置を計算することができる。

同様に、「値／型の確認」のため、ブロック５８６で生成された像の上で光学式文字読み取り（ＯＣＲ）または相関を使用することができる。さらに、同じ像へ追加の度量衡ツールを適用して、極性を決定することができる。

本発明は好ましい実施形態により説明されたが、当業者は形状および細部において本発明の範囲から逸脱しないで変形できることを認識できるであろう。

本発明の実施形態を適用することのできるピックアンドプレース機械の説明図である。 本発明の実施形態による立体視像取得システムの簡単な説明図である。 本発明の実施形態によるピックアンドプレース機械を操作する方法を示すフロー図である。 本発明の実施形態による部品の配置検査を提供するため、様々な像をどのように使用および／または結合できるかを示すブロック図である。 本発明の一実施形態による照明システムの説明図である。 本発明の一実施形態による発光ダイオード（ＬＥＤ）へ取り付けられた光パイプの拡大図である。 Ｓｃｈｅｉｍｐｆｌｕｇ条件を使用するピックアンドプレース機械の像取得システムの光学列の説明図である。 本発明の実施形態に有用なインタライン転送ＣＣＤアレイの説明図である。 本発明の実施形態による電子シャッタを使用する像取得システムの説明図である。 本発明の実施形態による、インタライン転送ＣＣＤアレイを使用して複数の像を取得する方法のフロー図である。 本発明の実施形態で有用なフレーム転送ＣＣＤアレイの説明図である。 本発明の実施形態による、ビームスプリッタを介して複数のＣＣＤアレイおよび共通光学列を使用する像取得システムの説明図である。 本発明の実施形態による、配置位置の多視点の観察を生成するために使用される多視点の像取得システムの平面図である。 複数光路撮像システムの説明図である。 本発明の実施形態による、取得された像の中の位置を識別して像の比較を容易にする方法のフロー図である。 ピクセル、およびそれを取り巻く隣接ピクセルの説明図である。 本発明の実施形態による部品の配置確認を提供するために、像を解析する方法の説明図である。 本発明の実施形態による部品の配置確認を提供するために、像を解析する他の方法の説明図である。 本発明の実施形態による部品の配置確認を提供するために、像を解析するさらに他の方法の説明図である。 本発明の実施形態による、値／型を確認し、Ｘ、Ｙ、θの位置レジストレーションを測定し、また極性を決定するために、像を解析する方法の説明図である。 本発明の実施形態による較正ターゲットの説明図である。 本発明の実施形態による較正ターゲットの説明図である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。 本発明の実施形態による使用および／または生成された例示的像である。

符号の説明

２００・・・センサ
２０１・・・ピックアンドプレース機械
２０２・・・運搬システムまたはコンベヤ
２０３・・・製造過程にある製品
２０６・・・配置ヘッド
２０８，２１０，２１２・・・ノズル
２０９・・・カメラ
３００，３０２・・・像取得装置
３０４・・・部品
３０６・・・非構造照明器
３０８・・・構造照明器
３６０・・・部品３０４の配置位置

Claims (63)

1. 製造過程にある製品（workpiece）上に部品を配置するためのピックアンドプレース機械であって、該ピックアンドプレース機械が、
   前記部品を離脱可能に保持するための少なくとも１つのノズルを有する配置ヘッド、
   前記配置ヘッドと前記製造過程にある製品との間の相対移動を発生するためのロボットシステム、
   前記部品の配置前に、予定された配置場所の第１の観察の事前像を取得し、前記部品の配置後に、予定された配置場所の第１の観察の事後像を取得するように配置された第１の像取得装置、および
   前記部品の配置前に、予定された配置場所の第２の観察の事前像を取得し、前記部品の配置後に、予定された配置場所の第２の観察の事後像を取得するように配置された第２の像取得装置からなり、
   前記第１および第２の観察は、予定された配置場所の立体視検査を提供するために離れているピックアンドプレース機械。
2. 前記第１の観察は、前記予定された配置場所の平面に対してある角度で配置され、前記第１の像取得装置内の検出アレイは、前記第１の像の取得システムの光学的軸に対してある角度で配置される請求項１の機械。
3. さらに、前記ノズルから離れて設置された光源を含む照明装置と前記光源に光学的に結合された光パイプとからなり、前記予定された配置場所を照らすように方向付けられた出力端を有する請求項１の機械。
4. 前記照明装置が、ある波長帯域を有する光を提供し、前記の少なくとも第１の像の取得システムが、前記帯域内の光を通し、前記帯域外の光を妨げるためのフィルタを含む請求項１の機械。
5. 前記第１の像の取得システムが非テレセントリック光学系を採用する請求項１の機械。
6. さらに、前記予定された配置場所上に構造照明を直射するように構成された構造照明からなり、前記第１および第２の像取得装置のうちの少なくとも１つが、部品の配置後に前記予定された配置場所の構造照明像を取得する請求項１の機械。
7. 前記第１の像取得装置が、フレームレートを有するＣＣＤアレイ含み、前記フレームレートを超えるレートで前記ＣＣＤアレイに前記第１の観察の事前像と前記第１の観察の事後像とを取得させる請求項１の機械。
8. 前記ＣＣＤアレイがインタライン転送ＣＣＤアレイである請求項７の機械。
9. 前記ＣＣＤアレイがフレーム転送ＣＣＤアレイである請求項７の機械。
10. さらに、前記第１の像取得装置が、前記第１の観察の事後像の集積時間の経過後の過剰光を妨げるための、電子制御光学シャッタを含む請求項７の機械。
11. さらに、前記予定された配置場所上に構造照明を直射するように構成された構造照明装置からなり、前記第１および第２の像取得装置のうちの少なくとも１つが、部品の配置前に前記予定された配置場所の構造照明の像を取得する請求項１の機械。
12. 前記予定された配置場所の検査が、前記予定された配置場所の配置前検査を含む請求項１の機械。
13. ピックアンドプレース機械用の照明装置であって、前記照明が、
    光源、および
    前記光源に光学的に結合された光パイプからなり、前記光パイプは前記ピックアンドプレース機械内の予定された配置場所上に照明を直射するように装着された出力端を有する照明装置。
14. 前記光源が発光ダイオードである請求項１３の装置。
15. 前記光パイプが可撓性である請求項１３の装置。
16. 前記光パイプがファイバーオプティクス光パイプである請求項１３の装置。
17. さらに、少なくとも１つの追加の光源と、前記少なくとも１つの追加の光源に結合された少なくとも１つの追加の光パイプからなり、出力端を有する請求項１３の装置。
18. 前記光源および前記少なくとも１つの追加の光源が、ＬＥＤアレイ内に組み込まれる請求項１７の装置。
19. 前記光パイプの前記出力端と前記少なくとも１つの追加の光パイプとが前記予定された配置場所上に所望の角度で照明を直射するように装着された請求項１７の装置。
20. 前記光パイプの前記出力端と前記少なくとも１つの追加の光パイプとが前記予定された配置場所上に所望の形状で照明を直射するように装着された請求項１７の装置。
21. 前記光源と前記少なくとも１つの追加の光源とが、実質的に同じ波長の光を提供する請求項１７の装置。
22. 前記光源と前記少なくとも１つの追加の光源とが、実質的に異なる波長の光を提供する請求項１７の装置。
23. 前記光源が、前記ピックアンドプレース機械の配置ヘッド上に装着されるように構成された請求項１３の装置。
24. ピックアンドプレース機械内で用いられるための像取得装置であって、
    検出器アレイ、
    予定された配置場所の面に関してある角度で当該予定された配置場所を観察するための光学的軸を有し、前記検出器アレイ上の前記予定された配置場所の像の焦点を合わせるように構成された光学系からなり、
    前記検出器アレイが前記光学的軸に関してある角度で配置される像取得装置。
25. さらに、前記検出器アレイと前記予定された配置場所との間に配置されたミラーからなる請求項２４の装置。
26. 前記角度が、Ｓｃｈｅｉｍｐｆｌｕｇ条件を満足するように選択される請求項２４の装置。
27. 前記光学系が非テレセントリックである請求項２４の装置。
28. さらに、前記光学系と前記配置場所との間に配置された光学絞りからなる請求項２７の装置。
29. 前記絞りが前記像取得装置と一体的である請求項２８の装置。
30. さらに、光源、および
    前記光源に光学的に結合された光パイプを含む照明装置からなり、
    前記光パイプが、前記ピックアンドプレース機械内の予定された配置場所上に照明を直射するように装着された出力端を有する請求項２４の装置。
31. 前記照明装置が前記装置と共にパッケージされる請求項３０の装置。
32. ピックアンドプレース機械内の多数の像を捕らえる方法であって、その方法が
    感光アレイのフォトサイトをリセットすること、
    前記フォトサイト上で第１の像を捕らえること、
    前記第１の像を前記アレイの非感光領域に転送すること、
    前記第１の像を消去するために前記感光アレイの前記フォトサイトをリセットすること、および
    前記第１の像が前記アレイの非感光領域から完全に読まれる前に、第２の像を捕らえるために制御された露出を生成することからなる方法。
33. 前記第１の像を前記非感光領域に転送することが、前記第１の像をインタライン転送ＣＣＤアレイの垂直レジスタに転送することを含む請求項３２の方法。
34. 前記第１の像を前記非感光領域に転送することが、前記第１の像をフレーム転送ＣＣＤアレイの蓄積領域に転送することを含む請求項３２の方法。
35. 前記第１および第２の像が、前記アレイの画像処理領域の大きさより小さい請求項３２の方法。
36. さらに、前記感光アレイを前記第１および第２の像を提供する光学的軸に関してある角度で位置決めすることからなる請求項３５の方法。
37. 前記第２の像の制御された露出を生成することが、前記第２の像の積分期間が経過した後に、前記感光アレイ上への全ての光の照射を遮ることを含む請求項３２の方法。
38. 全ての光を遮ることが、電子制御された光学的シャッタを閉鎖状態にさせることによって光が通過するのを妨げることを含む請求項３７の方法。
39. さらに、選択された波長帯域外の照明が前記感光アレイ上に照射するのを妨げることからなり、
    前記制御された露出を生成することが、選択された露出時間中、配置場所上に前記選択された波長帯域内の照明を提供することを含む請求項３２の方法
40. ピックアンドプレース機械内の多数の配置場所の像を捕らえる方法であって、その方法が
    第１の感光アレイのフォトサイトをリセットすること、
    前記第１の感光アレイの前記フォトサイト上に第１の像を捕らえること、
    第２の感光アレイのフォトサイトをリセットすること、および
    前記第２の感光アレイのフォトサイト上に第２の像を捕らえることからなり、
    前記第１および第２のアレイが共通の光学系を介して継続的に像を捕らえる方法。
41. 前第１および第２の感光アレイが、実質的に単色光の照明に基づいて像を捕らえる請求項４０の方法。
42. 部品配置を確かめるために、ピックアンドプレース機械内の予定された配置場所の多数の像を処理する方法であって、その方法が、
    予定された配置場所の配置前および後配置後の像を捕らえること、
    前記配置前および配置後の像内の対象領域を選択すること、
    前記事前像と前記事後像との間の差に基づいて異なる像を生成すること、
    バイナリ差分像を生み出すために前記異なる像を閾値化すること、
    像の特徴値を取得するために前記バイナリ差分像の接続解析を実行すること、および
    部品配置を確かめるるために、前記像の特徴値を期待されるオブジェクト特徴値と比較することからなる方法。
43. さらに、前記事前および事後像を変更するための少なくとも１つの既知の領域をマスキングすることからなる請求項４２の方法。
44. 前記領域が前記ピックアンドプレース機械のノズルを含む請求項４３の方法。
45. さらに、前記部品の予期された包絡面外の少なくとも１つをマスキングすることからなる請求項４２の方法。
46. さらに、前記異なる像を取得する前に、前記事前像と前記事後像を整列することからなる請求項４２の方法。
47. 前記整列ステップが相関を適用することを含む請求項４６の方法。
48. さらに、前記バイナリ差分像上で形態腐食操作を実行することからなる請求項４２の方法。
49. 前記形態腐食操作が繰り返される請求項４８の方法。
50. さらに、前記バイナリ差分像上で形態膨張操作を実行することからなる請求項４２の方法。
51. 前記形態膨張操作が繰り返される請求項５０の方法。
52. 前記特徴値が物体の重心を含む請求項４２の方法。
53. 前記特徴値が物体の長さを含む請求項４２の方法。
54. 前記特徴値が物体の幅を含む請求項４２の方法。
55. 前記特徴値が物体の面積を含む請求項４２の方法。
56. 前記特徴値が物体の回転を含む請求項４２の方法。
57. 前記方法が像取得装置内で実行される請求項４２の方法。
58. 部品配置を確かめるために、ピックアンドプレース機械内の予定された配置場所の多数の像を処理する方法であって、その方法が、
    予定された配置場所の配置前および配置後の像を捕らえること、
    前記配置前および配置後の像内の対象領域を選択すること、
    前記事前像と前記事後像との間の差に基づいて異なる像を生成すること、
    バイナリ差分像を生み出すために前記異なる像を閾値化すること、
    前記予定された配置場所のピクセル変化カウントを計算すること、
    トータルピクセルカウントを計算すること、および
    部品配置を確かめるために、前記予定された配置場所の前記ピクセル変化カウントを前記トータルピクセルカウントと比較することからなる方法。
59. 部品配置を確かめるために、ピックアンドプレース機械内の予定された配置場所の多数の像を処理する方法であって、その方法が、
    予定された配置場所の配置前および配置後の像を捕らえること、
    前記配置前および配置後の像内の対象領域を選択すること、
    前記事前像と前記事後像との間の差に基づいて異なる像を生成すること、
    前記予定された配置場所の差分強度合計を計算すること、
    トータルピクセル差分強度合計を計算すること、および
    部品配置を確かめるために、前記予定された配置場所の前記ピクセル差分強度合計を前記トータルピクセル差分強度合計と比較することからなる方法。
60. 製造過程にある製品上に部品を位置決めするためのピックアンドプレース機械であって、その機械が
    ＣＣＤアレイを有する像取得システム、
    予定された配置場所の多数の像を、前記ＣＣＤアレイ上に同時に収束するための多数の像の光路を含む光学系からなり、
    前記像取得システムが、前記部品が位置決めされる前に前記予定された配置場所の多数の配置前の像を捕らえ、前記部品が位置決めされた後に前記予定された配置場所の多数の配置後の像を捕らえ、かつ
    部品配置を確かめるために、前記像取得装置に結合されたホストコントローラが、前記配置前の像を前記配置後の像と比較する方法。
61. ピックアンドプレース機械内の軸外（off-axis）像システムを較正する方法であって、その方法が、
    予定された配置場所内に既知のターゲットを位置決めすること、
    前記既知のターゲットの軸外像を捕らえること、
    前記捕らえられた像から前記既知のターゲット上にある既知の加工品の初期位置を決定すること、および
    変換マトリックスを計算することからなる方法。
62. さらに、軸外像を捕らえるステップの後に、
    Ｚ軸に沿った異なる位置で前記既知のターゲットを提示すること、
    前記既知のターゲットの少なくとも１つの追加の像を前記異なる位置で捕らえること、および
    前記少なくとも１つの追加の像から前記既知のターゲット上の既知の加工物の調整された位置を決定すること、および
    前記変換マトリックスを改良するために前記初期位置を前記調整された位置と比較することからなる請求項６１の方法。
63. ピックアンドプレース機械内の多数の像取得装置を較正する方法であって、その方法が、
    予定された配置場所内に既知のターゲットを位置決めすること、
    各像取得装置で前記既知のターゲットの像を捕らえると、
    前記捕らえられた像から前記既知のターゲット上の既知の加工物の位置を決定すること、および
    深さの較正のために、前記決定された位置を各捕らえられた像と比較することからなる方法。
    

Images