JP2006220425A - プリント基板外観検査装置及びプリント基板外観検査方法 - Google Patents

Abstract

【課題】三次元空間における対象物の特徴点の３次元位置を簡便かつ高精度に計測する。
【解決手段】被検査物を撮像する撮像カメラの前面に１組のミラーを光軸に対して傾いて配置するとともに前記ミラーを光軸に対して回転させて撮像する回転撮像手段６と、測定対象物の周りを回転して撮像を行う回転撮像手段６と、回転撮像手段６により撮像された複数枚の画像を取り込む連続画像取込手段７と、連続画像取込手段７により取り込まれた複数枚の画像を処理する情報処理手段１０と、を備え、取り込まれた複数枚の画像から画像内の特徴パターンを検出し、その特徴パターンの特徴部の移動軌跡より特徴部の３次元位置を計測してプリント基板の外観検査を行う。
【選択図】図１

Description

本発明は、プリント基板外観検査装置及びプリント基板外観検査方法に関し、より詳細には、回転する撮像系を有し、プリント基板外観検査における対象物の形状を高精度に測定する技術に関するものである。

実装プリント基板検査装置などにおいて、実装後のプリント基板に搭載された電子部品の搭載状態を検査し、それによって組み立ての良否を判定する、などの実装プリント基板の検査や、携帯電話やハードディスク記憶装置の部品の加工後の形状や組み立て後の位置関係の計測および検査が求められている。

たとえば図８は、実装プリント基板検査装置であるが、プリント基板の実装工程においてエリアセンサー、またはラインセンサーなどを素子として装備したＣＣＤカメラ３で、プリント基板１に搭載された電子部品２の組み込み状況を撮像し、撮像した画像を画像処理装置４で画像処理および画像認識することにより、部品の有無、サイズの異なる部品の誤実装、部品の実装位置、極性方向を、予め教示された通りに行われているかどうかを検査する。

ところで、実装プリント基板検査装置の大事な検査項目の一つに、部品高さの計測がある。これは、第９図に示すように、取り付けられた電子部品２の両端の高さとプリント基板１の表面の高さを測定し、プリント基板からの高さを測定することによって、部品が半田に接合されているかどうか、部品のリードなどが、穴にきちんと挿入されて、部品の下に折り込まれたりしていないか、等の検査を行うものであり、第８図のような単純なＣＣＤカメラ計測では高さが測定できないため、三次元空間における対象の表面形状を計測することが必要となっている。

それに対し、三次元空間における対象の形状を測定するセンサーが開発されている。たとえば精密工学会第9回外観検査の自動化ワークショップ, PP.73-77, (1997)掲載論文「クリームはんだ検査装置における３次元センシング技術」に記述されている検査システムがある。該検査装置のセンサー部では、高速のスポット光投影・操作系と、スポット光が投影されて光った位置を高精度で撮像・計測する受光系を持ち、３角測量の原理で、スポット光の当たった位置の３次元位置を高精度計測する。しかしこの方法は、巧妙な光学系を用いており、高精度計測には、複雑で微妙な光学系を高精度に調整する必要があるため、装置も高価であり、使用に当たっても高度の技術力を要する。一方、TV画面などに映った対象全体の３次元形状を求める方法としては、井口、佐藤著「三次元画像計測」（昭晃堂、１９９０年、pp.14-16）に見られるようなステレオ視が一般に用いられる。この方法は、左右２台のカメラのそれぞれの画像中から、同一場所を見ている対応位置を求める。そして、２台のカメラの取り付け間隔、対応位置の方向などをもとに、３角測量の原理で対象までの距離を求める方法であるが、短いカメラ取り付け間隔から長い距離測定を精密に行うためには、間隔や角度値が非常に正確に求められていなければならない。

また、３次元の位置計測において、撮像カメラの光軸に対して光屈折体を傾けて回転させ、計測点からの光を受光して観測点の位置、表面形状などを計測する方法が開示されている（例えば、特許文献１参照。）。

しかし、実装プリント基板検査装置の様な組み立て後の検査装置としては、あまりにも精密・高価すぎて、実用には供されないことが多い。このため、ＴＶカメラ並みの簡便さで高さ計測が可能である３次元視覚装置が求められている。
小野裕司著、「クリームはんだ検査装置における３次元センシング技術」、 第6回知能メカトロニクスワークショップ、 精密工学会、２００１年８月、PP.172-176 井口、佐藤著「三次元画像計測」、昭晃堂、１９９０年、PP.14-16 特開２００１−１２９１１号公報

従来の三次元空間における対象の形状計測においては、複雑で微妙な光学系を高精度に調整する必要があるため、装置も高価になるという問題があった。

本発明は、従来の課題を解決するために、ＴＶカメラ並みの簡便さで高さ計測が可能であるプリント基板外観検査装置を提供することを目的とする。

上記の課題を解決するために本発明のプリント基板外観検査装置は、被検査物を撮像する撮像カメラの前面に１組のミラーを光軸に対して傾いて配置するとともに前記ミラーを光軸に対して回転させて撮像する回転撮像手段と、前記被検査物を前記撮像カメラの光軸上に配置するＸＹステージと、前記回転撮像手段により撮像された複数枚の画像を取り込む連続画像取込手段と、前記連続画像取込手段により取り込まれた画像の特徴パターンを検出しその特徴パターンの特徴部の移動軌跡より特徴部の三次元位置を計測する三次元位置計測手段と、を備え、前記三次元位置計測手段において計測された三次元位置情報と、
予め教示される前記被検査物の三次元位置情報と比較し、該比較結果に応じて被検査物の良否を判断することを特徴としたものである。

また、本発明のプリント基板外観検査方法は、被検査物の斜め上方から該測定対象物の回りを回転して撮像する回転撮像部を有し、前記回転撮像部を用いて前記被検査物を撮像して複数枚の画像を取り込み、前記取り込まれた画像の特徴パターンを抽出し、その特徴パターンの特徴部の移動軌跡より特徴部の３次元位置を計測し、当該計測された被検査物の三次元位置情報と、予め教示される前記被検査物の三次元位置情報と比較し、該比較結果に応じて被検査物の良否を判断することを特徴としたものである。

本発明のプリント基板外観検査装置を用いることによって、三次元空間における対象物の特徴点の空間座標値を、簡便かつ高精度に計測することができる。たとえば、図６（ａ）に示すような表面パターンをもつ部品の高さ計測においては、本発明を用いることで、部品のコーナーの特徴やパターンの特徴点より３次元座標値が求められ、高さが所定の範囲にあるかを検査することができる。

また、ここで高さを求めるのに、画像中の特徴点の移動による推定円の半径を求めるのみで、光学系のパラメータは一切使用しない。つまり、ある基準高さを測定したときの円の半径からの比例計算のみを行っており、この事は、非常に少ない、求めやすいパラメータのみで高さ計算が可能であることをしめす。そして、これ以外に必要なのは、画像中に見える位置と、基準平面のＸＹ空間での対応関係だけであり、２次元視覚センサーで一般に行われている変換のみである。

この様に、本方法は、簡単な光学系で、かつ、簡便な調整のみで、画像中の特徴点の３次元計測を可能にする。

本発明は、ＣＣＤカメラに取り付ける程度の光学系を開発し、そこから取り込んだ画像を、パソコンを中心とした情報処理装置で解析、簡便に高さ計測しようという目的に開発されたものであり、以下の特徴を有するプリント基板外観検査装置を提供する。
（１）ＴＶカメラの先端に取り付ける簡便な光学系のみで３次元計測を可能にする。
（２）計測のためのカメラ特性計測も、簡単なパラメータ計測のみで可能とする。

以下、本発明の実施例を図面に基づいて具体的に説明する。ただし、これらの実施例は、本発明の技術思想を具体化するためのプリント基板外観検査装置を例示するものであって、本発明のプリント基板外観検査装置は下記のものに限定されない。

図１は、本発明を利用した実装プリント基板の検査装置の構成図である。本装置では、実装後のプリント基板の外観検査として、部品の有無、取り付け位置、極性などの２次元的検査と、部品高さの３次元検査を行う。以下、図１を用いて説明する。

被検査対象である電子部品２が搭載された実装プリント基板１は、ＸＹステージ５上に置かれる。そして、被検査対象である電子部品２が、回転型ロータリーヘッド撮像系６の真下に持ってくるようステージコントローラ９でＸＹステージ５を制御する。

回転型ロータリーヘッド撮像系６には、ヘッドを回転するためのモータが付けられており、モーターコントローラ８により制御され、常時回転している。回転型ロータリーヘッド撮像系６で順次回転しながら取り込まれた画像は、連続画像取込装置７を経由し、情報処理装置１０に送り込まれ、画像処理および高さ算出処理をすることにより、対象物の三次元情報を生成する。そして、生成された三次元情報をもとに、当該電子部品２の部品の有無、取り付け位置、極性、部品高さの当該電子部品２の搭載状態の検査を行う。
また、回転型ロータリーヘッド撮像系６の撮像視野は限定されており、被検査対象である電子部品２を回転型ロータリーヘッド撮像系６のほぼ真下に配置されなければならいため、（１）実装プリント基板１上に搭載された被検査対象である電子部品２毎に、当該電子部品２が回転型ロータリーヘッド撮像系６の真下に配置されるようステージコントローラ９でＸＹステージ５の移動を制御、（２）移動後に回転型ロータリーヘッド撮像系６で撮像された被検査対象である電子部品２の複数枚の画像を連続画像取込装置７で連続画像の取り込み、（３）取り込まれた複数枚の画像をもとに情報処理装置１０で三次元情報を生成、（４）生成された三次元情報をもとに当該電子部品２の搭載状態の検査という（１）から（４）までの一連の動作を、実装プリント基板１上の全面に搭載された全ての被検査対象である電子部品２に対し繰り返し行う。

以上のように実装プリント基板1上の電子部品２を三次元位置計測手段において計測して得られる三次元位置情報と、情報処理装置１０内に予め教示される被検査物の電子部品の三次元位置情報とを比較し、比較結果に応じて被検査物の良否を判断する。

図１は、情報処理装置とコンピュータを別個に記載しているが、コンピュータを含めて情報処理装置としてもよい。

ここで、図２を用いて、ＣＣＤカメラの前面に取り付けられる回転ミラーを回転させて、対象物の撮像する回転型ロータリーヘッド撮像系６を説明する。

図２は、ＣＣＤカメラ３と回転型のミラー系４１からなる回転型ロータリーヘッド撮像系６の構成図である。ここでは、固定されたＣＣＤカメラの先端に、図に示す通り、対象物である電子部品２を斜め上方から撮像できるように配置された一対のミラー４２と、一対のミラー４２をＣＣＤカメラ３の光軸を中心に回転させる機構を持つ回転型のミラー系４１を取り付けるのみで、対象物である電子部品２の斜め上方から回転しながら、電子部品２に対し周囲から見た画像を連続的に撮像する。周囲から見ることの特徴は、たとえば立方体の様な物体の側面で、ある方向からの撮像では隠れ面となる場合があっても、他の方向からは見えている場合が多く、決まった方向のみのステレオ計測では求められない形状であっても、本方式であれば計測が可能となることである。

本方式での計測の基本原理を図３に示す。図３（ａ）は、説明を簡単にするためＣＣＤカメラ３を回転させる回転撮像系とし、ＣＣＤカメラと回転軌跡５１で模式的に現した図であり、回転型ロータリーヘッド６は、ＣＣＤカメラ３が回転軌跡５１に沿って移動し、対象物である電子部品２が搭載されたプリント基板１上の所定の領域を、一対のミラー４２を回転させる機構を持つ回転型のミラー系４１を用いることにより、回転軌跡５１上の周囲から複数回撮像することを意味する。

そして、図３（ｂ）に示す通り、その撮像された複数の画像について、例えば図の点１について画像を重ね合わせると、点１からある高さにある特徴点である点２の軌跡は、点１の回りに円形上に配置される。この円の径は、点１からの高さで決まるので、そのことを利用して点２の基板からの高さを計測できる。

また、図３（ｃ）に示すように、点２が点１よりも相対的に高い場合、点２が投影される位置は、点１に対し、視点と反対側に投影され、点２が点１よりも相対的に低い場合は、点２が投影される位置は、点１に対し視点と同じ側に投影される。従って、点２の軌跡の開始位置と、その時のカメラの位置関係より、対象となる点２の高さ方向が決定できる。

情報処理装置１０内の特徴パターン抽出部（図示せず）にて、抽出される特徴点（基準点即ち円の中心）を基準として、測定点が投影面である基準面より低い位置にある場合は、基準点（円の中心）より視点側に撮像され、高い場合は、基準点（円の中心）より視点と反対側に撮像される。従って、測定対象点が基準面より高いか低いかの判定は、容易に行うことができる。即ち、対象物の測定点が基準面となる特徴点に対し、視点側にあるか否かで基準面の高さより高いか否かの判定をすることができる。

ところで、プリント板の検査装置の場合には、光学系を固定できるので、単に画像上で特徴点を追跡したとき、特徴点が動かなければ、それはある基準面上にあることになる。また、特徴点の追跡画像が円を描けば、その円の径は基準面からの高さを表し、円の中心は２次元平面上の座標値を表すので、本走査により基板上の任意の特徴点の３次元座標を計測できる事になる。なお、撮像系の構成から得られることであるが、点２が点１より高い位置にあると、描かれる円の始点は、円の中心からカメラとは反対側にあり、低いとカメラと同じ側から始まることが言える。この事を利用して、基準面から高い特徴点と低い特徴点を区別して測定可能である。

このように、画像入力時のおよその角度のみ取り込めていれば、画像入力の開始時、円の始点がカメラ側か反対側かを判定して、基準面からの上下判定が出来、また、高さを求めるのも、軌跡の描く半径のみでよいので、回転角度は、情報処理の上では余り意味を持たず、複雑な調整を必要とせず簡単に高さの測定が可能となる。

以上が本システムの基本的な考え方であるが、ここで図２の撮像光学系として、一般のＴＶカメラのレンズを使った場合、斜め上方から中央に置かれた対象を見る場合には、カメラが斜め方向から回転して撮像することになるため、像に遠近ひずみが出てしまい、図４（ｂ）のように歪んだ像になってしまう。このため、図３（ｂ）に示す軌跡も、円にはならず楕円となってしまう。もちろん、これでも補正によって点の３次元位置は計測可能であるが、精度が低下する。

そこで考えられたのが、図４（ａ）に示すあおり光学系の導入である。ここでは、図４（ｃ）のように、ＣＣＤカメラの撮像面、結像カメラのレンズ面、そして撮像対象の基準面（多くは、実装プリント板のプリント板表面）を平行な位置関係に置く。こうすることで、ＣＣＤカメラの撮像での遠近ひずみを無くすることが出来、図４（ｃ）のように、特徴点を追跡した軌跡も、正確な円を描く。図４においても、説明の簡単化のため、ＣＣＤカメラ３を被測定物の周りに回転させる構成としている。

次に、回転型ロータリーヘッド撮像系６により取得された複数枚の画像から高さ情報を生成する方法について詳しく説明する。

なお、図１に示す構成において、連続画像取込装置７では、単にＣＣＤカメラ３からの画像を高速に取り込み情報処理装置１０に取り込まれた画像を何の処理も施さずそのまま渡すものもあるし、連続画像取込装置７の中で、動画像処理で行われる特徴点の抽出とトラッキング処理までも行うものもある。ここでは、そのどちらでも処理可能であるが、ここでは単にＣＣＤカメラ３からの画像を単に取り込むだけのタイプについて説明する。この場合、回転型ロータリーヘッド撮像系の中のＣＣＤカメラ３から連続画像取込装置７を経由して取り込まれた複数画像からの三次元情報生成処理は、情報処理装置１０で実施される。なお、回転型ロータリーヘッド撮像系６からの取り込み画像については、回転型のミラー系４１を１秒間に１回転し、１回転で１６枚の画像をほぼ均等な角度から撮像できる程度に調整されているものと考える。

次に、処理の概要および高さの算出方法について、図５、図６を用いて説明する。
まず、ＳＴ１で、前記回転型ロータリーヘッド撮像系６のＣＣＤカメラ３で、対象物である電子部品２を異なる方向から撮像した１６枚の画像を、連続画像取込装置７を通して情報処理装置１０に連続して取り込む。

次にＳＴ２で、図６（ａ）で示す通り、情報処理装置１０に取り込まれたれた画像の特徴点を特定し、その点について、１６枚の画像中に現れる特定された特徴点の位置を、パターンマッチングなどの画像処理により検出する。パターンマッチングの方法としては、予め、特徴点を含む局所領域の２次元画のテンプレート画像を用意しておき、撮像画像と予め撮像画像とテンプレート画像との差分が最も小さくなる位置をマッチングされた位置とする一般的なテンプレートマッチングの方法で行う。なお、図６（ａ）で示す、印刷文字等などは形状が複雑なため、テンプレートマッチングが容易な特徴点検出方法となるが、特徴点検出方法は、テンプレートマッチングに限定されるものではない。例えば、図６（ａ）で示す電子部品の場合、部品外形のコーナーを特徴点とすると、画像を微分処理することにより部品の外形である境界を抽出し、微分処理された画像を２値化処理し、２値化された画像をもとに、直交する２つの辺の直線を最小２乗近似等により求め、直交する直線の交点を求めることにより、部品外形のコーナーである特徴点を検出することも可能である。

そして、ＳＴ２で検出された特徴点を画像中に重ねると、図６（ａ）に示すように、２次元画像中で円を描く。

しかしながら、対象物によっては、図７（ａ）のように、プリント基板と同じ色でかつ電子部品表面に何の特徴もない電子部品が搭載された場合、カメラで撮像した画像では特徴点が現れない場合もある。このような特徴点が撮像画像に現れないような対象物に対しては、図７（ｂ）のように、対象物に対し、例えばレーザーポインタのような投影光発生部９１で可視化可能なスポット光や、パターン光を投影することにより、特徴パターンを生成することも可能である。

次にＳＴ３で、その画像中の点特徴点の座標（ｉ，ｊ）を与えて、図６（ｂ）に示すように、最小２乗法などで最適に並んだ点の位置をとおる円を求める。この時、隠れ面などで方向によって見えていない特徴点が有ったとしても、円推定は、ある方向の座標点が与えられていないだけだから、円の推定を行うことが可能である。

次にＳＴ４で、円の推定結果から、円の半径ｒと画像座標中での中心位置（ｉｃ、ｊｃ）が与えられると、（ｉｃ、ｊｃ）は基準面上の中心位置として良いので中心の３次元座標値（ｘ，ｙ）を求めることが出来る。また、図６（ｃ）に示すように、既知の高さＨの基準パターンを撮像したときの特徴点が画く円の軌跡の半径Ｒをあらかじめ求めておくと、基準面からの高さｈは
ｈ＝Ｈ×（ｒ／Ｒ）
によって求めることが出来る。これにより、任意の特徴点の空間位置を求めることが出来、高さを求めたい物体上の特徴点を与えれば、実装基板の部品の取り付け位置と高さ検査を行うことが出来る。

以上のように、本発明は、ＣＣＤカメラの先端に取り付ける程度の簡便な光学系で、さらに計測のためのカメラ特性計測も、簡単なパラメータ計測のみで、３次元計測を可能にするものである。

本発明は、たとえば実装プリント基板検査装置などに置いて、組み立て後のプリント基板の表面形状を計測することによって組み立ての良否を判定する、などの実装プリント基板の検査や、携帯電話やハードディスク記憶装置の部品の加工後の形状や組み立て後の位置関係の計測などに利用可能である。

本発明のプリント基板外観検査装置を利用した実装プリント基板の検査装置に応用した場合の構成を示す図 本発明のプリント基板外観検査装置の回転型ロータリーヘッドの構造を示す図 本発明のプリント基板外観検査装置のロータリー視覚による３次元位置計測の原理を説明するための図 プリント基板外観検査装置にあおり光学系を用いて遠近ひずみの除去を説明するための図 本発明のプリント基板外観検査方法のフローチャート 本発明のプリント基板外観検査装置の高さの算出を説明するための図 本発明のプリント基板外観検査装置の特徴パターンの生成を説明するための図 従来のプリント基板外観検査装置における検査装置の構成を説明する図 実装プリント基板外観検査における検査装置の高さ検査を説明するための図

符号の説明

１ プリント基板
２ 電子部品
３ ＣＣＤカメラ
４ 画像処理装置
５ ＸＹステージ
４１ 回転型のミラー系
４２ 一対のミラー
６ 回転型ロータリーヘッド撮像系
７ 連続画像取込装置
８ モーターコントローラ
９ ステージコントローラ
１０ 情報処理装置
５１ 回転軌跡
５２ 特徴点の軌跡
９１ 投影光発生部

Claims (7)

1. 被検査物を撮像する撮像カメラの前面に１組のミラーを光軸に対して傾いて配置するとともに前記ミラーを光軸に対して回転させて撮像する回転撮像手段と、
   前記被検査物を前記撮像カメラの光軸上に配置するＸＹステージと、
   前記回転撮像手段により撮像された複数枚の画像を取り込む連続画像取込手段と、
   前記連続画像取込手段により取り込まれた画像の特徴パターンを検出しその特徴パターンの特徴部の移動軌跡より特徴部の三次元位置を計測する三次元位置計測手段と、
   を備え、
   前記三次元位置計測手段において計測された三次元位置情報と、
   予め教示される前記被検査物の三次元位置情報と比較し、該比較結果に応じて被検査物の良否を判断することを特徴とプリント基板外観検査装置。
2. 前記回転撮像手段は、
   前記ミラーを被検査物上の周りで回転させて、前記撮像カメラにて撮像して得られる前記被測定物の複数枚の画像の所定の測定点を基準点として、その基準点を一致させることにより合成して得られる円の軌跡の半径より被測定物の高さ情報を抽出することを特徴とする請求項１に記載のプリント基板外観検査装置。
3. 測定対象物の測定点が前記特徴点に対し、前記回転撮像手段の視点側にあるか否かで基準面の高さより高いか否かを判定することを特徴とする請求項１に記載のプリント基板外観検査装置。
4. 取り込まれた複数枚の画像から検出された特徴パターンの移動軌跡の推定円の半径を求めて当該特徴点の３次元位置を計測することを特徴とする請求項１に記載のプリント基板外観検査装置。
5. 被検査物にスポット光若しくはパターン光を投射することにより被検査物の表面に特徴パターンを生成することを特徴とする請求項１に記載のプリント基板外観検査装置。
6. 被検査物の斜め上方から該測定対象物の回りを回転して撮像する回転撮像部を有し、
   前記回転撮像部を用いて前記被検査物を撮像して複数枚の画像を取り込み、
   前記取り込まれた画像の特徴パターンを抽出し、
   その特徴パターンの特徴部の移動軌跡より特徴部の３次元位置を計測し、
   当該計測された被検査物の三次元位置情報と、
   予め教示される前記被検査物の三次元位置情報と比較し、該比較結果に応じて被検査物の良否を判断することを特徴とするプリント基板外観検査方法。
7. 被検査物にスポット光若しくはパターン光を投射することにより被検査物の表面に特徴パターンを生成することを特徴とする請求項６に記載のプリント基板外観検査方法。
   

Images