JP2007040801A - ３次元座標測定装置及び方法 - Google Patents

Abstract

【課題】ＢＧＡ等のように表面に多数の突起物を備えた被測定物を高精度で測定するのに好適な３次元座標測定装置及び方法を提供する。
【解決手段】同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物Ｗを載置した試料台１２の鉛直軸ＣＬに対して光軸１４Ａが所定の傾斜角度をなすように設けられる第１の撮像手段１４と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、試料台の鉛直軸に対して光軸１６Ａが第１の撮像手段の光軸１４Ａと線対称になるように設けられる第２の撮像手段１６とを使用し、第１の撮像手段で照明した被測定物表面を第２の撮像手段で撮像し、第２の撮像手段で照明した被測定物表面を第１の撮像手段で撮像し、第１及び第２の撮像手段で撮像した画像より被測定物表面の３次元座標を得る。
【選択図】 図１

Description

本発明は、３次元座標測定装置及び方法に係り、特に、ＢＧＡ等のように表面に多数の突起物を備えた被測定物を高精度に測定するのに好適な３次元座標測定装置及び方法に関する。

半導体デバイスの１つとして、ＢＧＡ（ボール・グリッド・アレイ）が使用されている。このＢＧＡは、基板の表面に多数の微細な半田ボールが配列されたものであり、個々の半田ボールの高さ及び位置が規定の範囲内に収められていることが、半導体基板への実装に欠かせない。

すなわち、このＢＧＡの普及に伴い、３次元的な曲面を持つボールの高さと位置を測定する技術が必要とされている。近年において、ＢＧＡデバイス上のボール数も増加しているため、特に、高速に測定する技術が必要とされている。

ところで、従来より曲面の３次元的位置測定の代表的な技術としては、以下の５種類の技術が知られている（非特許文献１〜５）。

非特許文献１は、共焦点光学系を用いる３次元測定方法に関するものである。非特許文献２は、光学的３角測量を用いる方法に関するものである。非特許文献３は、レーザー光走査（光切断法）を用いる方法に関するものである。非特許文献４は、モアレ干渉法を用いる方法に関するものである。非特許文献５は、真上及び左右４５度方向に光学系を設置した３次元検査装置（ステレオ光学を応用）に関するものである。
カールツァイス株式会社 カタログ（３次元測定装置） 光三次元計測 ２章 吉澤 徹 編、新技術コミュニケーションズ １９９３年３月８日 光三次元計測 ３章 吉澤 徹 編、新技術コミュニケーションズ １９９３年３月８日 光三次元計測 ４章 吉澤 徹 編、新技術コミュニケーションズ １９９３年３月８日 株式会社アルゴル カタログ（３次元検査装置）

しかしながら、非特許文献１の方法では、光学系が複雑になりコストが非常にかかる。また高さ方向への微小移動も必要なため高速化は難しい。非特許文献２の方法によれば、２次元的な広がりのあるＢＧＡデバイスの半田ボールの３次元座標測定に対しては、非特許文献３の方法のように光を走査しなければならない。そして後述する非特許文献３の方法と同じ問題点がある。

非特許文献３の方法によれば、レーザー光を被測定物である半田ボールの頂点を通るように走査させなければならないが、完全にボールの頂点を照射しないことや、走査方向とボール配列の方向にずれがあること等のため、ボールの平面位置を測定できない、すなわち精度を確保できないという問題点がある。

非特許文献４の方法によれば、被測定物である半田ボールの等高線を白黒の画像パターンとして計測するため、１つ１つのボールの３次元座標を得るためには、複雑なアルゴリズム（ボールの半径のところで、等高線の何本かが重なる等の問題があるので）を必要とする。一方、精度を上げるために位相シフト法を取り入れると、処理時間がかかり、コストも増加するという問題点がある。

非特許文献５の３次元検査装置は、真上の光学系と左右対称に４５度方向に配置された２つ光学系との合計３つの光学系で構成されており、既述のようにステレオ光学を形成している。このように、左右光学系を４５度方向に配置すると、高さ方向に変化があった場合、他の角度で設置した場合と比較して、左右画像データで最も大きな変位として検出できる。

ところが、４５度傾けた光学系では、充分な焦点深度を確保しないと、画像データの中に高さの違いのために焦点の合わない部分が存在することとなる。このような焦点の合わない部分は、測定できないこととなる。そして、この検査装置では、照明のために真上光学系の直下に口径の大きい照明装置を配置している。

このような検査装置は、シャープなエッジを持った被測定物の高さを測定する場合には大変有効である。しかしながら、３次元的な曲面で構成される被測定物に対しては、被測定物表面で照明光線が鏡面反射すると、左右光学系で得られる画像データにおいて、対象物上の同一点が一方の光学系では明るく見えるが、他方の光学系では暗く見えるという現象が発生する。この状態について図１４を用いて説明する。

図１４に示される３次元検査装置において、半球状の被測定物１は、真上に設置された広い面積をもつ照明装置２で照射され、左右光学系３、４により撮像される。図において、２Ａ及び２Ｂは、照明光線である。半球状の被測定物１の表面（曲面）において、鏡面反射され左光学系３に結象する光線３Ａが実線で、右光学系４に結象する光線４Ａが破線で図示されている。

このような半球状の被測定物１の表面では、被測定物１の法線に対して入射光線と反射光線の角度が等しくなる。そして、撮像された画像データ上で明るくなる領域は、光学系３、４の光軸の向きと平行に光学系３、４に入射する光線による。

図１４より解るように、左画像データ上で明るくなる領域５（実線で表示）と右画像データ上で明るくなる領域６（破線で表示）とは一致しない。このように図１４の検査装置では、左光学系３と右光学系４とでは、被測定物１に対する見え方が違うため、すなわち被測定物１上の同一点が同じ明るさとはならないため（画像データ上の明るい領域は互いに異なる場所であるため）正確に測定することが難しいという問題点がある。特に３次元的曲面では、同一点を左右画像データ上で対応をつけることが難しい。

以上、要約すると、非特許文献５のように、ステレオ光学系を応用する場合には、左右の光学系で撮像点・撮像方向が異なるため、３次元的曲面を持つ被測定物に対し見え方が違い、同一点の同定ができないという問題がある。

本発明はこのような状況を考慮してなされたもので、上記の各問題点を解決でき、ＢＧＡ等のように表面に多数の突起物を備えた被測定物の精密な３次元座標を測定するのに好適な３次元座標測定装置及び方法を提供することを目的とする。

前記目的を達成するために、本発明は、被測定物を載置する試料台と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第１の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第１の撮像手段の光軸と線対称になるように設けられる第２の撮像手段と、前記第１及び第２の撮像手段で撮像した画像より被測定物表面の３次元座標を得る算出手段と、を備えたことを特徴とする３次元座標測定装置を提供する。

また、このために、本発明は、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第１の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第１の撮像手段の光軸と線対称になるように設けられる第２の撮像手段とを使用し、前記第１の撮像手段で照明した被測定物表面を前記第２の撮像手段で撮像するステップと、前記第１の撮像手段と第２の撮像手段とを使用し、前記第２の撮像手段で照明した被測定物表面を前記第１の撮像手段で撮像するステップと、前記第１及び第２の撮像手段で撮像した画像より被測定物表面の３次元座標を得るステップと、を含むことを特徴とする３次元座標測定方法を提供する。

本発明によれば、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、左右に対称に設けられる第１及び第２の撮像手段を使用し、第１の撮像手段で照明した被測定物表面を第２の撮像手段で撮像し、また、第２の撮像手段で照明した被測定物表面を第１の撮像手段で撮像し、これらの画像より被測定物表面の３次元座標を得る。

すなわち、本発明は、非特許文献５のようにステレオ光学を応用するものであるが、３次元的曲面を持つ被測定物であっても、左右の光学系で同一の画像が得られるように、左右対称に配置した同軸落射照明を備えたテレセントリック光学系により、光の相反性（入射光線と反射光線とは反転できるという原理）を利用した３次元座標測定装置及び方法である。

したがって、本発明によれば、上記の各問題点が解消され、ＢＧＡ等のように表面に多数の突起物を備えた被測定物の精密な３次元座標を測定するのに好適な３次元座標測定装置及び方法が得られる。

なお、テレセントリック光学系とは、絞りが対物レンズの焦点の一つに置かれている望遠鏡光学系を指す。

本発明において、前記試料台の表面に被測定物との距離を検出するために設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第１の撮像手段と第２の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出することが好ましい。

このように、試料台のマークと、被測定物の検出領域の重心との距離が第１及び第２の撮像手段によりそれぞれ検出され、この距離同士の差より被測定物の高さ方向の座標が算出されれば、好適な３次元座標測定が行える。

また、本発明において、前記第１の撮像手段により被測定物が高輝度で検出される領域と前記第２の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出することが好ましい。このように、パターンマッチングの技術を利用して第１及び第２の撮像手段によりそれぞれ検出され領域を認識すれば、高精度の３次元座標測定が行える。

また、本発明において、前記第１の撮像手段及び第２の撮像手段の撮像位置パラメータを使用して、前記第１の撮像手段で撮像された画像と前記第２の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の３次元座標を得ることが好ましい。そして、第１の撮像手段及び第２の撮像手段の撮像位置パラメータをキャリブレーションしておくことが好ましい。このように、第１の撮像手段及び第２の撮像手段の撮像位置パラメータをキャリブレーションしておけば、第１の撮像手段で撮像された画像と第２の撮像手段で撮像された画像とで、被測定物の画像上での対応をとることにより、被測定物の高精度の３次元座標測定が行える。

また、撮像手段の撮像位置パラメータとしては、カメラの撮像位置（Ｘ_Ｃ、Ｙ_Ｃ、及びＺ_Ｃ）、カメラ撮像の方向（Ｘ軸周りの回転角度Ｒ_Ｘ、Ｙ軸周りの回転角度Ｒ_Ｙ、及びＺ軸周りの回転角度Ｒ_Ｚ）、主点位置（画像データの中心点とカメラ光軸との差異Ｘ_Ｏ及びＹ_Ｏ）及びカメラの焦点距離ｆの９つである。

本発明によれば、従来よりの各問題点が解消され、ＢＧＡ等のように表面に多数の突起物を備えた被測定物の精密な３次元座標を測定するのに好適な３次元座標測定装置及び方法が得られる。

以下、添付図面に従って本発明に係る３次元座標測定装置及び方法の好ましい実施の形態（第１の実施形態）について詳説する。

図１は、本発明に係る３次元座標測定装置１０の構成図である。この装置において、被測定物（図の場合は、ＢＧＡ）Ｗを載置する試料台１２が設けられている。そして、試料台１２の鉛直軸ＣＬに対して光軸１４Ａが所定の傾斜角度θをなすように第１の撮像手段である左光学系１４が設けられている。この左光学系１４には、テレセントリック光学系の鏡筒１４Ｂが設けられており、この鏡筒１４Ｂの内部にはハーフミラー１４Ｃが光軸１４Ａに対し４５度の角度をなして配されている。

そして、鏡筒１４Ｂの側面に設けられた照明鏡筒１４Ｄに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒１４Ｂの基端部には撮像カメラ１４Ｅが連結されており、撮像カメラ１４Ｅの出力ケーブル１４Ｆは画像処理装置１８に接続されている。この画像処理装置１８は、左光学系１４及び後述する
右光学系１６が撮像した画像より被測定物Ｗ表面の３次元座標を得る算出手段に該当する。

同様に、試料台１２の鉛直軸ＣＬに対して光軸１６Ａが所定の傾斜角度θをなすように第２の撮像手段である右光学系１６が設けられている。すなわち、右光学系１６において、試料台１２の鉛直軸ＣＬに対して光軸１６Ａが左光学系１４の光軸１４Ａと線対称になるように設けられている。この右光学系１６には、テレセントリック光学系の鏡筒１６Ｂが設けられており、この鏡筒１６Ｂの内部にはハーフミラー１６Ｃが光軸１６Ａに対し４５度の角度をなして配されている。

そして、鏡筒１６Ｂの側面に設けられた照明鏡筒１６Ｄに矢印方向に外部光源よりの照明光が照射されることにより、同軸落射照明系を構成している。また、鏡筒１６Ｂの基端部には撮像カメラ１６Ｅが連結されており、撮像カメラ１６Ｅの出力ケーブル１６Ｆは画像処理装置１８に接続されている。

左光学系１４及び右光学系１６の鉛直軸ＣＬに対する傾斜角度θに特に制限はないが、１０〜２０度が好ましく、１２．５〜１７．５度がより好ましい。

試料台１２は、図１のＸ、Ｙ及びＺ方向に移動可能となっており、このＸ、Ｙ及びＺ方向の移動量が図示しない検知手段（たとえば、リニアスケール）により画像処理装置１８に入力されるようになっている。

試料台１２上の被測定物Ｗの種類、サイズ等に特に制限はないが、たとえば、図のようにＢＧＡ（ボールの直径が０．２５ｍｍで、デバイスサイズが１０ｍｍ角のもの）とできる。試料台１２上の被測定物Ｗの載置位置の近傍には、識別用マーク（図４参照）が設けられている。これについては後述する。

鏡筒１４Ｂ、１６Ｂとしては、テレセントリック光学系のレンズ鏡筒であれば倍率、口径サイズ等に特に制限はないが、たとえば、０．１〜１０倍のもので、測定領域の直径が４０〜５０ｍｍのものとできる。

撮像カメラ１４Ｅ、１６Ｅの種類、倍率等に特に制限はないが、たとえば１／２インチＣＣＤ（１２．７ｍｍ）の工業用カメラが使用できる。

次に、図１の３次元座標測定装置１０を使用した測定の原理について説明する。

先ず、本発明の３次元座標測定装置１０で利用する光の相反性（入射光線と反射光線とは反転できるという原理）について説明する。図２（Ａ）は、同軸落射照明光学系の撮像手段１５により、平面上に置かれたボール（球）Ｂを撮像して画像データを取得する場合の概略図である。鏡筒１５Ｂは、テレセントリック光学系のレンズ鏡筒であり、この基端部に撮像カメラ１５Ｅが接続されている。なお、照明光学系の図示は省略されている。

図２（Ａ）において、試料台１２の表面（平面状である）及びボールＢの頂上部分では、鏡面反射により、入射光線ＲＩと反射光線ＲＯとは方向が反対であるが同一線上となる。ボールＢの頂上部分で、厳密にこの条件に合致するのは１点のみであるが、テレセントリック光学系を用いると、図２（Ｂ）に示される撮像画像のように、ボールＢの頂上部分の所定の大きさ部分（図における白抜き部分）が鏡面反射により明るくなる。また、ボールＢを置いた試料台１２の平面からも鏡面反射する。なお、図２（Ａ）では画像処理システムは何も描かれていないが、光学系のカメラでモニターしたとする。

このように、テレセントリック光学系では、光軸に対して少し傾いた範囲も結像するので、ボールＢの頂上部分の所定範囲が明るくなる。これは、厳密な鏡面条件より少しゆるい条件である。この明るい領域の周囲は、ボールＢの外周までは、鏡面条件を満たすことはないので暗くなる。また、ボールＢを置いた試料台１２の平面は、再び鏡面条件を満たすので明るくなる。

なお、ボールＢの頂上付近の明るく見える領域のサイズ（径）は、ボールＢの大きさ、ボールＢの表面の状態、テレセントリック光学系の特性、照明装置の特性等に依存する。

図２（Ａ）では、同軸落射照明を備えたテレセントリック光学系の撮像手段１５が１つの場合であったが、これを２つにしてもよい。テレセントリック光学系の撮像手段を２つにした場合、図３（図１）に示されるように左右対称となるように配置する。

図３のように左右対称に配置すると、左側の光学系１４の同軸落射照明を使用して右側の撮像光学系１６で画像データを取得し、右側の光学系１６同軸落射照明を使用して左側の撮像光学系１４で画像データを取得することができる。

光には相反性がある（すなわち、入射光線と反射光線とは反転できる）ので、図３に示される２つのテレセントリック光学系では、水平な平面に対する鏡面条件は、図２の場合とほぼ一致するといえる。

図３では、図２の場合と同じように、ボールＢの頂上部分の平面は鏡面条件を満たしているので明るい領域となり、その周りの領域は、ボール外周までは、鏡面条件を満たすことはないので暗い領域となる。

この図３の光学系で撮像した場合の画像データを図４に示す。このうち、（Ａ）は、左側の光学系１４で取得した画像データであり、（Ｂ）は、右側の光学系１６で取得した画像データである。

図４の画像データを図２（Ｂ）の画像データと比べると、図４の画像データではボールＢの頂上部分の位置（図中の白抜き部分の位置）がズレている。（なお、ボールＢの外周の黒い領域も左画像と右画像とでズレがあるが、測定には使用しない）。このズレの大きさ（長さ）は、試料台１２の平面上にマークを付け、そのマークからの長さとして測定すれば容易に検出できる。このため、図４において、識別用マークとして“＋”マークを試料台１２の左上と右下に描いた。図４の識別用マークは、説明のために強調したもので、試料台１２に固定されていれば、図４に示すことと同等の測定ができる。

図３（図１）のように光学系１４、１６を画像データの横軸（Ｘ軸）方向に傾けて配置すると、このズレＤはＸ方向のみに発生する。図４に示されるように、平面上に設置されたマークを位置の基準とすると、左画像データと右画像データとでは、ボールＢの頂上部分の領域は、Ｘ軸方向でズレＤＬ及びＤＲ（位置の差異）がある。

ボールＢの頂上部分領域のＸ方向のズレ（左画像データと右画像データの差異）は、その高さにほぼ比例して変化する。したがって、高さによる左右画像データ上でのズレ（位置の差異）を予めキャリブレーションしておけば、被測定部位の高さを測定できる。本発明は、このように左右画像データ上のズレの大きさから、被測定部位の高さを検出するものである。

図３（図１）のように、同軸落射照明を備えたテレセントリック光学系の左光学系１４及び右光学系１６を左右対称となるように配置すると、左光学系１４では右側の照明装置を使用して被測定物を撮像でき、右光学系１６では左側の照明装置を使用して被測定物を撮像できる。このような光学系１４、１６では、水平平面に対して鏡面条件を満たすことができる。

そして、試料台１２の平面上に載せられた被測定物の頂上周辺は水平平面となる。すなわち、被測定物の頂上周辺は鏡面条件を満たしている。また、入射光線と反射光線は反転できる（光の相反性）ので、被測定物の頂上周辺の領域は左右光学系に対して同じ条件で撮像される。すなわち、画像データ上では同じ形状となる。これは、被測定物が後述するバンプ電極Ｃ（図９等参照）のような曲面であっても成り立ち、左右画像データで曲面上の同一点を識別できる手段を与えることとなる。また、光学系１４、１６をＸ方向に傾けたため、被測定物の高さを変えた場合、画像データ上では被測定部位がＸ方向に変化することとなる。

このように、左右対称に配置したテレセントリック光学系を使用することが本発明の特徴とする構成である。このような光学系により、被測定物の頂上周辺の領域が左画像データ上と右画像データ上とで同じ形に撮像される。そして、この特性を利用して被測定物を左右画像データ上で対応させ、高さを測定できる。

次に、図１の３次元座標測定装置１０を使用した測定方法について説明する。同軸落射照明を備えたテレセントリック光学系の左光学系１４及び右光学系１６は、平行光線で被測定物Ｗを照明し、平行光線で結像させることができる。したがって、左光学系１４では右側の照明装置を使用して被測定物Ｗを撮像し、右光学系１６では左側の照明装置を使用して被測定物Ｗを撮像する。

このように、図１の３次元座標測定装置１０で、ＢＧＡデバイスを撮像すると、図４に示されるような左右画像が１つ１つのボールＢ、Ｂ…から得られる。既述したように、ボールＢの高さが変わると、ボールＢの頂上部分の明るい領域は画像データ上で変位量が変化する（ずれ量が変わる）。画像データ上の変位量と高さ差異との関係を説明するために図５を用いて説明する。

図１の左光学系１４に備えられた照明装置によりほぼ平行となる光線ＲＩ、ＲＩ…で被測定物Ｗを照明すると、被測定物Ｗ上で鏡面反射した光線ＲＯ、ＲＯ…は右光学系１６で結像して画像データとなる。図５は、平面座標（Ｘ、Ｙ座標）の同一の点が高さ（Ｚ軸方向）とともにどのように変化するかを示したものである。高さの変化ｈに対する画像データ上の変位ｄｘは簡単に、以下の式１で表せる。

[数１]
ｄｘ＝（撮像倍率）×ｈ×ｓｉｎθ （式１）
また、左光学系１４で撮像された画像データ上での変位は、これと反対の方向となる。

この変位ｄｘを算出するために、図６に示される格子板を使用する。この格子板は、ガラス板上に間隔及び太さが一定となるようにエッチングで格子を形成した基準格子板であり、これを用いて左右光学系１４、１６の調整を行うためのものである。

図６に示される格子板は、格子間隔Ｐが１ｍｍであり、格子線の太さｔが０．０５ｍｍのものである。また、中央の格子点を識別するため余分のマーク（いわゆる、トンボマーク）を付加してある。なお、この図６は、この格子板を基準高さ（Ｚ軸方向）位置に設置した状態で撮像した画像データである。

具体的には、この格子板を基準高さ（Ｚ軸方向）位置に水平に置いて、左右の画像データ上で格子位置が重なるように左右光学系１４、１６を調整する。既述の図６は、格子板と被測定物Ｗとの距離を１１０ｍｍにし、左右光学系１４、１６の交差角度を３０度（θを１５度）にし、倍率１．０倍の光学系（左光学系１４）で撮像した例である。

図６に示される基準となる格子板を、高さ方向（Ｚ軸方向）に正確に移動させて、画像データ上の（１点の）格子点の変位を正確に測定すると、図７のような高さ（縦軸）と、左右画像データ上での差異（横軸）の関係を示すグラフが得られる。すなわち、図７では、高さをＹ軸方向に、測定された画像データ上での差異（右画像データ上での測定値−左画像データ上での測定値）をＸ軸方向としている。

このように、図７のグラフを簡略的に表現したものが、既述の式１である。なお、画像データ上での差異は、ｄｘの２倍となっている。

被測定物ＷであるＢＧＡデバイスのボールＢの高さを測定する前に、このようなキャリブレーションを実施し、キャリブレーションデータを保存しておく。３次元座標測定装置１０のＸ・Ｙ・Ｚ軸の直交性が正確であれば、このキャリブレーションは画像中央の１点で実施しておけばよいが、Ｘ・Ｙ・Ｚ軸の調整には許容値があるので、測定領域（図６中の白い破線で示す範囲）をカバーするように図６の格子板の中央部２５点についてキャリブレーションデータをもつことが実際的である。

ＢＧＡデバイスの画像データ上では、多くのボールＢ、Ｂ…が撮像されるので、ボールＢの高さを求めるときには、被測定ボールＢに近い位置のキャリブレーションデータを使用するようにすることが好ましい（格子点の中間の位置では、補間計算を行うこともある）。

通常のＢＧＡデバイスでは、ボールＢの直径は２５０μｍであり、ボールＢ、Ｂ同士の間隔（ピッチ）は５００μｍである。上述したような、交差角度が３０度（θが１５度）で、１倍の光学系（１画素を１０μｍとして）では、ボールＢの高さは、画像データ上では６．４７画素のズレとなり（左右画像ではこの２倍のズレ）、一方ボールＢ、Ｂ同士の間隔は５０画素である。

そのため、一方の画像データで明るい領域が見つけられれば、他方の画像データ上でも明るい領域は容易に見つけられる。たとえば、２５０μｍのボール場合は、約１３画素分Ｘ方向にズレた位置に見つけられる。

すなわち、同一ボールＢに対して左右画像の対応をとることは難しくない。また、ボールＢの頂上周辺の明るい領域は、ボールＢの配列と同じ配列でほぼ一定の間隔となるので、領域の大きさが変化しても容易に見つけられる。

ＢＧＡデバイスのボールＢの３次元座標を測定するには、予めボールＢの位置（ボールＢ、Ｂ…の配列も同時に）を画像データ上でティーチングしておく。試料台１２にロードされるＢＧＡデバイスの繰り返し位置決め精度程度に、画像データ上でのボールＢ位置がバラつくが、左右画像データでは、この大きさは同じである。

次に、ボールＢの３次元座標測定のフローを説明する。図８は、ボールＢの３次元座標測定のプロセスを説明するフロー図である。

先ず、左右画像データ上でボールＢの頂上部分の明るい領域を抽出する（ステップＳ−１）。明るい領域は、ティーチングされたボールＢの配列と同じ配列となる。そして、左右画像データ間で、ほぼ一定のズレで同じ配列として測定される。

次いで、ボールＢの頂上部分の明るい領域の重心座標を求める（ステップＳ−２）。ボールＢの頂上の３次元座標を求めるためには、明るい領域から１点を座標として抽出する必要がある。この１点は、形状重心又は輝度重心として算出する。形状重心は、明るい領域より少し広い範囲で画像を２値化して、明るい領域を確定してその重心座標を求める。輝度重心は、明るい領域より少し広い範囲で、明るさを重みとして加重平均して座標を求める。

次いで、左右画像データから得られた重心座標のＸ座標差異から、そのボールＢの高さを求める（ステップＳ−３）。この際、既述したように、２５点についてのキャリブレーションデータがあるので、当該ボールＢと一番近いデータを使用する。

次いで、高さに相当するＸ座標の差異（図７のグラフで得られる大きさの半分）を画像データに対して補正する（ステップＳ−４）。

ステップＳ−４のようにして、画像座標上での座標と基準高さからの高さ差異が得られるので、これより３次元座標を求める（ステップＳ−５）。この際、画像データ上の座標と３次元座標とは、基準高さで基準格子板を測定して変換できるようにしておく。

以上のステップ（ステップＳ−１〜ステップＳ−５）をボールＢの配列の個数分繰り返せば、登録されたボールＢの全ての３次元座標が得られる。

ボールＢの頂上部分の明るい画像領域の形状及び大きさは、ボールＢの状態に依存している。しかしながら、ボールＢの頂上部分の明るい画像領域の形状及び大きさが大きく変化しても、本発明によれば、光の相反性のため左右の画像データではほぼ同じ形状となる（後述する第２の実施形態の図９及び図１０参照）。ボールＢの形状が同じであれば、左右画像での重心位置も同等に算出されるので、高さ精度が確保される。本発明はこの点を考慮してなされたものである。

なお、画像データ上で０．２画素のズレを識別できるとすると、片側の光学系のズレは０．１画素である。既述の式１に代入して計算すると、この画素のズレは高さの差異として２．５μｍとなる。このように、１倍のテレセントリック光学系を交差角度３０度に配した場合、高さ方向で２〜３μｍの精度となる。０．２画素より小さい差異を識別できれば、更に測定精度は向上する。

次に、本発明の第２の実施形態について説明する。この実施形態は、図１等で示される既述の第１の実施形態に対して、左右の光学系１４、１６の撮像位置パラメータを３次元的にキャリブレーションすること、及び、左右画像データ上で対応する点をパターンマッチングにより見つけるという２点を改良したものである。したがって、３次元座標測定装置１０の構成は、図１と略同一である。

本発明で採用されるテレセントリック光学系は、光軸に平行な光線で照明及び撮像するようにしたものであるが、レンズを使った結像系であるので、通常のカメラで撮像した場合と同様に、撮像位置パラメータを３次元的にキャリブレーションすることができる。

撮像光学系（撮像カメラ）の撮像位置パラメータについては、後述するが、９つのパラメータよりなる。左右の光学系１４、１６の撮像位置パラメータが得られると、３次元座標を測定しようとする被測定物上の点を左右画像データ上で測定すれば、左右画像データ上の座標と撮像位置パラメータを用いて容易にその点の３次元座標を算出できる。この点は、ステレオ光学系による測定法として既知である。

本実施形態においては、ステレオ光学系として、左画像データ上の位置及び右画像データ上の位置を測定することにより、被測定物の３次元座標を測定する。すなわち、既述の第１の実施形態では、左右画像データ上の対応点を重心座標から求めたが、本実施形態では、パターンマッチングにより、左画像と右画像の対応する位置を抽出する。

図９は、被測定物Ｗとしてバンプ電極を採用した場合の拡大図であり、（Ｂ）は、バンプ電極Ｃの正面図（断面図）であり、（Ａ）は、同軸落射照明を備えたテレセントリック光学系で真上からバンプ電極Ｃを撮像した画像データである。

テレセントリック光学系では、光軸と平行な光線で撮像するが、光軸に対し小さい角度をなす範囲の光線は結像に寄与する。図９のバンプ電極Ｃの表面での鏡面反射の条件は、水平な平面（Ｘ−Ｙ平面）のみであるが、テレセントリック光学系では水平な平面から少しの角度傾いた平面からも反射光が戻ってくる。

図９に示されるようなバンプ電極Ｃの高原状の頂上周辺では、一定の傾き以内の平面と言う条件は、頂上からほぼ一定の高さまでの範囲と言う条件に言い換えられる。このような近似的な見方をして、頂上からｄｈ低い領域まで照明光が反射する状態がこの図９に示されている。このｄｈは、実際には無視しても差し支えないくらい小さい量（後述）である。

図９のバンプ電極Ｃを、左右対称に配置したテレセントリック光学系（図１の左右の光学系１４、１６）で撮像した画像データを図１０に示す。図１０において、左画像データは、撮像カメラ１４Ｅの撮像面における画像データであり、右画像データは、撮像カメラ１６Ｅの撮像面における画像データである。これは、第１の実施形態の図４に相当する。

図１０において、バンプ電極Ｃの表面で鏡面反射する入射光と反射光とが示されている。左光学系１４（図１参照）に備えられた同軸落射照明の光線は、結像して右画像データとなり、右光学系１６（図１参照）に備えられた同軸落射照明の光線は、結像して左画像データとなる。光の相反性の原理により、入射光と反射光とは入れ替えることができるので、バンプ電極Ｃの頂上周辺の領域の形状とバンプ電極Ｃの底面の形状は、左右の画像データで同じ形状になる。

また、バンプ電極Ｃの頂上周辺の領域の形状とバンプ電極Ｃの底面の形状は、高さの違いのため、左画像データと右画像データとでズレが発生する。図１０では、照明光線及び撮像光線に直交するように、撮像カメラ１４Ｅ、１６Ｅの撮像面、及び撮像される画像データが描かれている。そして、撮像カメラ１４Ｅ、１６Ｅの撮像面の上流側に光学系があるので、実際の画像データは上下及び左右が入れ替わる（図１０では、図が複雑とならないように、結像光学系を省略した）。すなわち、第１の実施形態の図４と図１０とを比較すると、電極の頂上部分の領域は逆方向にずれている。実際の画像は、図１０と上下左右が入れ替わるので、このようなことはない。

画像処理の技術分野においては、形状が同じであれば、パターンマッチングにより最もよく重なる位置を容易に求めることができる。パターンマッチングを実行するためには、パターンマッチングの画像モデルを登録する必要がある。左右の光学系を持つステレオ画像システムでは、被測定物上の１点に対する左画像データ上の位置（座標）と右画像データ上の位置（座標）とが与えられれば、その点の３次元座標を算出できる。

図１０において、左画像データ上でバンプ電極Ｃの頂上周辺領域（画像データ上で明るい領域）をモデル画像として登録し、登録されたモデル画像を使用して右画像データをサーチ（パターンマッチングで最もよく重なる位置を求める）することにより、左画像と右画像との対応点を求める。右画像データ上の黒い＋マークはモデル原点であり、明るい領域の重心位置で、頂上と見なした点である。右画像データ上の黒い＋マークはサーチされた位置を示す。このような対応がとれれば、左右の画像データの画像座標から頂上と見なした点の３次元座標が算出できる。

デバイスの基板が鏡面反射する場合には、電極の底面の形状は既述の図９及び図１０に示されるように、黒い境界で囲まれた領域となる。電極の底面の形状をモデル画像として登録しておけば、パターンマッチングにより、容易に電極の底面の位置（たとえば、重心位置）を求めることができる。電極の底面の位置が得られたら、バンプ電極Ｃの頂上周辺領域も簡単に求められ、バンプ電極Ｃの頂上周辺領域を設定して画像モデルを登録できる。

また、デバイスの基板が鏡面反射しない場合には、既述の図９及び図１０に示されるような黒い境界は存在せず、バンプ電極Ｃの頂上周辺領域の明るい領域のみの画像となる。このような場合には、画像データ上で明るく見える領域を抽出し（領域の大きさが、バンプ電極Ｃの大きさ以下であることの確認が要）、抽出された領域がバンプ電極Ｃの配列と同じとなるか（同じ配列状に並んでいるか）、平面上の座標をチェックする。

その後で、左画像の明るい領域を囲むようにモデル画像を登録する（図１０と同様の操作）。登録された画像モデルにより右画像データをサーチすれば、左画像データ上と右画像データ上での対応点の座標が得られる。これにより、既述したように３次元座標が算出できる。

次に、バンプ電極Ｃの３次元座標測定のフローを説明する。図１１は、バンプ電極Ｃの３次元座標測定のプロセスを説明するフロー図である。

先ず、左画像上でバンプ電極Ｃの頂上部分の明るい領域を抽出する（ステップＳ−１１）。次いで、抽出された領域がバンプ電極Ｃの配列と同じ配列状となるかチェックする（ステップＳ−１２）。

次いで、バンプ電極Ｃの頂上周辺の領域を画像モデルとして登録する（ステップＳ−１３）。そして、登録された画像モデルを用いて右画像をサーチする（ステップＳ−１４）。

次いで、画像モデルの原点（左画像上の座標）とサーチされた位置（右画像上の座標）から３次元座標を算出する（ステップＳ−１５）。

以上のステップ（ステップＳ−１３〜ステップＳ−１５）をバンプ電極Ｃの配列の個数分繰り返せば、登録されたバンプ電極Ｃの全ての３次元座標が得られる（ステップＳ−１６）。

このように、本発明によれば、光の相反性の原理を利用して、被測定物の頂点近傍の平面で反射される光線の特性に着目して高さ測定を実施するので、バンプ電極のように３次元的な曲面で形成される被測定物の３次元座標の測定に適している。そして、視野内にある被測定物に対しては同時に測定できるので、処理を高速化することができる。

既述したように、テレセントリック光学系では、対物レンズの焦点位置に絞りを置く（物体側テレセントリック光学系）。この絞りがあるため、対物レンズより物体側では光軸と平行な光線以外は絞りで遮蔽されるため結像に寄与しない。光学系の結像位置は、絞りには依存せず、同じである。

このテレセントリック光学系も、レンズを使用した結像系であるので、カメラの位置決めと同じ方法でキャリブレーションできる。通常のカメラ位置決め方法を以下に記述する（たとえば、「写真による三次元測定（1983年共立出版）」参照）。ただし、カメラでは被測定物までの距離が大きいが、テレセントリック光学系では被測定物まで距離はそれほど大きくない。そのため、カメラ位置決めパラメータとして、カメラで焦点距離としているところは、光学系の設計に基づく結像距離（焦点距離より長い）である。

カメラの撮像パラメータとしては、カメラの撮像位置（Ｘ_Ｃ、Ｙ_Ｃ、及びＺ_Ｃ）、カメラ撮像の方向（Ｘ軸周りの回転角度Ｒ_Ｘ、Ｙ軸周りの回転角度Ｒ_Ｙ、及びＺ軸周りの回転角度Ｒ_Ｚ）、主点位置（画像データの中心点とカメラ光軸との差異Ｘ_Ｏ及びＹ_Ｏ）及びカメラの焦点距離ｆの９つを用いる。

これら９つのパラメータは、基準とする座標系で３次元位置が既知である点より、撮像して得られた画像データ上で精密に座標を測定すれば、公開されている文献（たとえば、既述の「写真による三次元測定（1983年共立出版）」）に基づいた式から算出できる。この際、画像データ上の位置（画像データ上での座標）と３次元座標が既知である点を５点以上測定すればよい。この場合、３次元的に配置する必要がある。

図１２は、カメラの撮像位置パラメータについて説明する図である。図１２では、座標系を決める面を基準面とし、その面に平行に第二基準面、第三基準面を設け、これら３つの面上に座標が既知の点９点を配置した。（基準点は各基準面では直線上（図とは異なるが）にはないものとする）。

これらの９点は、図１２において直線で示されるように、画像データ上に撮像される。テレセントリック光学系では光軸に平行な光線で撮像するので、図の直線で示す光線は絞りで遮蔽される。しかし結象位置は絞りに依存しないので、結象位置を求めるためにはこの直線の方が簡単である。これら９点の画像座標を精密に測定すれば、カメラ撮像パラメータが得られる。

次に、テレセントリック光学系でボールＢの明るく見える領域について説明する。図１３は、ボールＢの中心Ｏを通る垂直線をＢＬとし、ボールＢの中心Ｏで垂直線ＢＬと角度φをなして交わる直線ＢＨを垂直線ＢＬの周りに回転させた状態を示す。この直線ＢＨのボールＢの球面上の軌跡は、図に示されるような円となる。中心Ｏからその円までの高さ（高さ方向の距離）は、ボールＢの半径をｒとした場合、ｒ×ｃｏｓφである。ボールＢの頂点Ｔとその円との高さの違いｄｈは、以下の式２で表せる。

[数２]
ｄｈ＝ｒ×（１−ｃｏｓφ）＝ｒ×φ×φ／２ （式２）
φが小さいとしてｃｏｓφを展開すると、式２の右式のようになる。φが微小量であるとこれは２次のオーダーの微小量となるので、無視できる大きさである。この図１３はテレセントリック光学系の状況を近似している。φはテレセントリック光学系の設計要素と関連している。

以上に説明したように、本発明によれば、テレセントリック光学系を左右対称に配置することにより、光の相反性に着目して被測定物の頂点近傍の平面で反射される領域が左画像データと右画像データとで同じになるという特性を利用して、被測定物の高さを測定することができる。

したがって、本発明は、ＢＧＡや、図９に示されるような形状のバンプ電極のように３次元的な曲面で形成される対象物の３次元座標の測定に適している。そして、画像データとして撮像された範囲（すなわち、光学系の視野範囲）内の突起物が多数あるＢＧＡ等の場合には、これらを同時に、かつ高速に測定できるというメリットがある。

たとえば、０．５〜１倍の光学系では、視野が６×５ｍｍ〜１２×１０ｍｍとなり、１００〜４００個の半田ボールを備えるＢＧＡデバイスを、精度３〜５μｍで同時に測定できる。その上、±０．５〜±1ｍｍ程度の高さの測定範囲がある。したがって、精度が高く、コストが低く、スピードが速く、高さの測定範囲が広いという各点において、従来の装置に比べ大きなメリットがある。

以上、本発明に係る３次元座標測定装置及び方法の実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、各種の態様が採り得る。

たとえば、被測定物として主にＢＧＡを取り上げて説明したが、これ以外の対象物の３次元座標測定であっても同様に行える。

本発明に係る３次元座標測定装置の構成図 同軸落射照明光学系の撮像手段によりボールを撮像して画像データを取得する場合の概略図 同軸落射照明光学系の撮像手段を左右対称に配置しボールを撮像して画像データを取得する場合の概略図 図３の光学系で撮像した場合の画像データを示す図 図１の３次元座標測定装置でＢＧＡデバイスを撮像する状態を説明する概略図 格子板の平面図 格子板の高さと左右画像データ上での差異との関係を示すグラフ ボールの３次元座標測定のプロセスを説明するフロー図 被測定物としてバンプ電極を採用した場合の撮像した画像データ等 バンプ電極を左右対称に配置したテレセントリック光学系で撮像した画像データ バンプ電極の３次元座標測定のプロセスを説明するフロー図 カメラの撮像位置パラメータについて説明する図 テレセントリック光学系でボールの明るく見える領域について説明する図 従来例の３次元検査装置の構成図

符号の説明

１０…３次元座標測定装置、１２…試料台、１４…左光学系、１６…右光学系、１４Ｂ、１６Ｂ…鏡筒、１４Ｃ、１６Ｃ…ハーフミラー、１４Ｄ、１６Ｄ…照明鏡筒、１４Ｅ、１６Ｅ…撮像カメラ、１８…画像処理装置

Claims (6)

1. 被測定物を載置する試料台と、
   同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第１の撮像手段と、
   同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第１の撮像手段の光軸と線対称になるように設けられる第２の撮像手段と、
   前記第１及び第２の撮像手段で撮像した画像より被測定物表面の３次元座標を得る算出手段と、
   を備えたことを特徴とする３次元座標測定装置。
2. 前記試料台の表面に被測定物との距離を検出するためのマークが設けられている請求項１に記載の３次元座標測定装置。
3. 同軸落射照明を備えたテレセントリック光学系の撮像手段であって、被測定物を載置した試料台の鉛直軸に対して光軸が所定の傾斜角度をなすように設けられる第１の撮像手段と、同軸落射照明を備えたテレセントリック光学系の撮像手段であって、前記試料台の鉛直軸に対して光軸が前期第１の撮像手段の光軸と線対称になるように設けられる第２の撮像手段とを使用し、前記第１の撮像手段で照明した被測定物表面を前記第２の撮像手段で撮像するステップと、
   前記第１の撮像手段と第２の撮像手段とを使用し、前記第２の撮像手段で照明した被測定物表面を前記第１の撮像手段で撮像するステップと、
   前記第１及び第２の撮像手段で撮像した画像より被測定物表面の３次元座標を得るステップと、
   を含むことを特徴とする３次元座標測定方法。
4. 前記試料台の表面に設けられたマークと、被測定物が高輝度で検出される領域の重心との距離を前記第１の撮像手段と第２の撮像手段によりそれぞれ検出し、検出された前記距離同士の差より被測定物の高さ方向の座標を算出する請求項３に記載の３次元座標測定方法。
5. 前記第１の撮像手段により被測定物が高輝度で検出される領域と前記第２の撮像手段により被測定物が高輝度で検出される領域とをパターンマッチングによりそれぞれ認識し、認識された前記領域同士の距離の差より被測定物の高さ方向の座標を算出する請求項３に記載の３次元座標測定方法。
6. 前記第１の撮像手段及び第２の撮像手段の撮像位置パラメータを使用して、前記第１の撮像手段で撮像された画像と前記第２の撮像手段で撮像された画像とで被測定物の画像上での対応をとり、これにより被測定物の３次元座標を得る請求項３又は５に記載の３次元座標測定方法。

Images