JP2004309240A - Three-dimensional shape measuring apparatus - Google Patents
Three-dimensional shape measuring apparatus Download PDFInfo
- Publication number
- JP2004309240A JP2004309240A JP2003101168A JP2003101168A JP2004309240A JP 2004309240 A JP2004309240 A JP 2004309240A JP 2003101168 A JP2003101168 A JP 2003101168A JP 2003101168 A JP2003101168 A JP 2003101168A JP 2004309240 A JP2004309240 A JP 2004309240A
- Authority
- JP
- Japan
- Prior art keywords
- projection optical
- optical system
- pattern
- pattern image
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
Description
【０００１】
【発明の属する技術分野】
本発明は、物体の高さ情報等、物体表面の３次元形状を測定する３次元形状測定装置に関する。
【０００２】
【従来の技術】
従来、物体の表面形状を計測する技術は数多く提案されている。これらの技術のなかでも物体の表面形状を非常に高速に計測できる技術として格子パターン投影法がある。格子パターン投影法は、物体表面上に縞パターンを投影し、その画像から各画素毎の縞の位相を一度に求め、その位相情報から物体表面形状を演算するという技術である。この場合、位相情報の算出には位相シフト法が用いられる。格子パターン投影法では、物体表面の立体形状を一度に求めるため、非常に高速な計測が可能である。
このような格子パターン投影法を高精度化する技術が、例えば、次の特許文献１に開示されている。
【０００３】
【特許文献１】
特開２０００−９４４４号公報
【０００４】
特許文献１に開示された方法では、１つの格子パターン投影光学系を介して測定標本に対して所定の入射角度でもって格子パターンを測定標本上に投影し、その投影された格子パターン像の標本による散乱光を観察系を介して変形格子像として観測する。格子パターン投影光学系内に設けられた格子パターンを走査しながら順次変形格子像を観測し、その像より位相シフト法を用いて測定標本表面の位相情報を算出することによって物体の表面形状を得ている。
【０００５】
【発明が解決しようとする課題】
しかし、格子パターン投影法は、観察光学系に対し角度を付けた照明を行う方法であるため、機械部品やＩＣ接点等の電子部品の表面形状を正確に計測する場合に、計測物体自身が影を作り、計測できない部分を生じさせてしまうという問題点がある。
【０００６】
また、格子パターン投影法では、測定標本の表面形状（例えばボールグリッドアレイのような球面形状標本）によっては、投影した格子パターンが該測定標本の表面で正反射に近い角度で反射して観察系光路に入射し、測定標本の表面のうちその正反射部分の画像が撮像素子での輝度が飽和するほどに極端に明るい画像となってしまう。このため、観察系に設けられた例えばＣＣＤカメラ等の撮像素子での輝度が飽和しないように明るさを落として格子パターンを投影する必要が生じる。しかし、そのように格子パターンの明るさを落として投影すると、測定標本の表面のうち低散乱部分では十分な輝度値が観測されず、ＣＣＤカメラのノイズ成分を多く含む画像となり、高精度な位相測定が行われ難くなってしまうという問題がある。
【０００７】
本発明は、上記問題点に鑑みてなされたものであり、測定標本の計測エリアに影を生じることがなく、測定標本の表面形状に影響されず、輝度が飽和しない状態で、高精度に計測を行うことが可能な３次元形状測定装置を提供することを目的としている。
【０００８】
【課題を解決するための手段】
上記目的を達成するため、本第１の発明による３次元形状測定装置は、光源と、所定のパターンを有する光学変調素子と、前記光源からの光が前記光学変調素子に照射されることによってできたパターン像を被検査物体に投影する投影光学系と、前記被検査物体上に投影されたパターン像を撮像素子に結像する結像光学系を有し、前記撮像素子により検出されたパターン像の変形量から被検査物体の高さ情報を求めるパターン投影法による３次元形状測定装置であって、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値のコントラスト成分の大小を比較する比較部と、前記比較部で該パターン画像の所定画素での輝度値のコントラスト成分の大小を比較した結果、コントラスト成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算する演算部と、を有することを特徴としている。
【０００９】
また、本第２の発明による３次元形状測定装置は、光源と、所定のパターンを有する光学変調素子と、前記光源からの光が前記光学変調素子に照射されることによってできたパターン像を被検査物体に投影する投影光学系と、前記被検査物体上に投影されたパターン像を撮像素子に結像する結像光学系を有し、前記撮像素子により検出されたパターン像の変形量から被検査物体の高さ情報を求めるパターン投影法による３次元形状測定装置であって、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、パターン画像の輝度のしきい値を記憶するメモリ部と、該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値と前記しきい値とを比較する比較部と、前記比較部で該パターン画像の所定画素での輝度値と前記しきい値とを比較した結果、パターン画像の所定画素での輝度値が前記しきい値を超える投影光学系と、パターン画像の所定画素での輝度値が前記しきい値を超えない投影光学系とが存在する場合、前記しきい値を超えないいずれかの投影光学系からの輝度値を基に高さ情報を演算する演算部と、を有することを特徴としている。
【００１０】
また、本第３の発明による３次元形状測定装置は、光源と、所定のパターンを有する光学変調素子と、前記光源からの光が前記光学変調素子に照射されることによってできたパターン像を被検査物体に投影する投影光学系と、前記被検査物体上に投影されたパターン像を撮像素子に結像する結像光学系を有し、前記撮像素子により検出されたパターン像の変形量から被検査物体の高さ情報を求めるパターン投影法による３次元形状測定装置であって、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、パターン画像の輝度のしきい値を記憶するメモリ部と、該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値と前記しきい値とを比較する比較部と、前記比較部での比較結果を基に投影光学系の明るさの調光指示を行う調光指示部と、を有することを特徴としている。
【００１１】
また、本第４の発明による３次元形状測定装置は、光源と、所定のパターンを有する光学変調素子と、前記光源からの光が前記光学変調素子に照射されることによってできたパターン像を被検査物体に投影する投影光学系と、前記被検査物体上に投影されたパターン像を撮像素子に結像する結像光学系を有し、前記撮像素子により検出されたパターン像の変形量から被検査物体の高さ情報を求めるパターン投影法による３次元形状測定装置であって、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値のバイアス成分の大小を比較する比較部と、前記比較部で該パターン画像の所定画素での輝度値のバイアス成分の大小を比較した結果、バイアス成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算する演算部と、を有することを特徴としている。
【００１２】
【発明の実施の形態】
実施形態の説明に先立ち、本発明の作用効果について説明する。
本発明のように、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、投影光学系を複数個有する構成とすれば、投影パターンの死角を無くすことができ、被検査物体の画像全域にわたり高さ情報を得ることができる。
【００１３】
また、本第１の発明のように、該複数の投影光学系を介して得られる夫々のパターン画像の各画素での輝度値のコントラスト成分の大小を比較する比較部と、前記比較部で該パターン画像の所定画素での輝度値のコントラスト成分の大小を比較した結果、コントラスト成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算する演算部とを有して構成すれば、Ｓ／Ｎの良い方の投影光学系による画像の輝度値を用いて高さが計測されるため、高精度な高さ計測が可能になる。
しかも、一般に、死角部分でのコントラストは殆ど発生せず、コントラスト成分が小さくなる。このため、本第１の発明のように、コントラスト成分の大小を比較して最も大きいコントラスト成分となる投影光学系からの輝度値を基に高さ情報を計測すると、それぞれの投影光学系における死角部分を自動的に判断する（すなわち、コントラスト成分の小さい方の投影光学系で死角部分が存在するものと判断する）ことになり、その部分について死角部分となっていない投影光学系からの輝度値を基に高さ情報を計測することができるので、複数の投影光学系による死角部分に影響されることなく、コンピュータ上で標本の表面形状を演算することができる。
【００１４】
また、本第２の発明の３次元形状測定装置のように、パターン画像の輝度のしきい値を記憶するメモリ部と、該複数の投影光学系により得られる夫々のパターン画像の各画素での輝度値と前記しきい値とを比較する比較部と、前記比較部で該パターン画像の所定画素での輝度値と前記しきい値とを比較した結果、パターン画像の所定画素での輝度値が前記しきい値を超える投影光学系と、パターン画像の所定画素での輝度値が前記しきい値を超えない投影光学系とが存在する場合、前記しきい値を超えないいずれかの投影光学系からの輝度値を基に高さ情報を演算する演算部とを有して構成すれば、撮像素子での輝度飽和の影響を受けることなく、測定標本の低散乱部分にも十分な光量が与えられて、Ｓ／Ｎの良い画像から高精度な測定を行うことが可能となる。
【００１５】
例えば、本第２の発明の３次元形状測定装置は、投影光学系を２つ有する構成の場合には、一方の投影光学系により得られる画像において被観察物体の所定部分で撮像素子の所定画素での輝度が飽和し、他方の投影光学系により得られる画像において該部分で撮像素子の所定画素での輝度が飽和しない場合には、その部分については、撮像素子の輝度が飽和しない投影光学系からの輝度情報を基に高さ計測が行われるようにする。
そして、この場合の標本、即ち、被検査物体として、例えば、ホールグリッドアレイのような曲面を有する標本を用いて高さ計測を行う場合には、格子パターンの投影方向と観察方向とで定まる、ある特定の傾斜を有する被測定部分で反射して観察系に入射する散乱光量が極端に大きくなる。しかし、この被測定部分に対する異なる投影方向からのもう一方の格子パターンの投影により得られる画像の輝度は極端に明るくなってしまうことはないので、この輝度値を用いて高さ計測を行うことが可能となる。
【００１６】
すなわち、本第２の発明において、前記演算部は、前記しきい値を超えない投影光学系が１つ存在する場合、該しきい値を超えない投影光学系からの輝度値を基に高さ情報を演算するように構成するのが好ましい。
【００１７】
なお、本第２の発明において、前記比較部は、前記しきい値を超えない投影光学系が複数存在する場合、更に、該複数の投影光学系により得られる夫々のパターン画像の所定画素での輝度値のコントラスト成分の大小を比較し、前記演算部は、前記比較部で該パターン画像の所定画素での輝度値のコントラスト成分の大小を比較した結果、コントラスト成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算するように構成するのが好ましい。
このように構成すれば、撮像素子での輝度飽和に影響されることなく、測定標本の低散乱部分にも最大限の光量を与えることができ、しかも、輝度飽和していない投影光学系の死角部分に影響されることなく、より一層Ｓ／Ｎの良い画像から高精度な測定を行うことが可能となる。
【００１８】
また、本第４の発明の３次元形状測定装置のように、前記比較部での比較結果を基に投影光学系の明るさの調光指示を行う調光指示部を有する構成とすれば、すべての投影光学系の投影光量が明るすぎ、撮像素子で飽和して測定できない被測定部分がある場合に、投影光量を自動的に調整するようにすることにより、測定者が撮像素子での輝度飽和に気付かずに間違った測定結果を算出してしまうことを防止でき、３次元計測装置の取り扱いがより簡単になる。
【００１９】
そのため、本第４の発明において、前記調光指示部は、前記比較部でパターン画像の各画素での輝度値と前記しきい値とを比較した結果、いずれの投影光学系も、得られたパターン画像の所定画素での輝度値が前記しきい値を超える輝度値が存在する場合、夫々の投影光学系の明るさの調光指示を行うように構成するのが好ましい。
【００２０】
なお、本発明における上述の説明において高さ計測に採用する投影光学系を決定するための比較部でコントラスト成分の大小を比較する代わりに、本第４の発明による３次元形状測定装置のように、バイアス成分の大小を比較し、バイアス成分が最も大きい投影光学系からの輝度値を基に高さ情報を算出するようにしてもよい。
また、本第２の発明による３次元形状測定装置において、前記比較部は、前記しきい値を超えない投影光学系が複数存在する場合に、更に、該複数の投影光学系により得られる夫々のパターン画像の各画素での輝度値のバイアス成分の大小を比較し、前記演算部は、前記比較部で該パターン画像の所定画素での輝度値のバイアス成分の大小を比較した結果、バイアス成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算するように構成してもよい。
【００２１】
以下、本発明の実施の形態について図面を用いて説明する。
図１は本発明の３次元形状測定装置の第１実施形態を示す概略構成図である。
本実施形態の３次元形状測定装置は、図１に示すように、２つの投影光学ユニット２０，２１と、結像光学系５と、フィルタ交換装置１０と、撮像素子６と、コンピュータ７と、表示装置８を有して構成されている。
第１の投影光学ユニット２０は、光源１と、照明光学系２と、光学変調素子３−１及び走査手段３−２を有する装置（以下、変調装置という）３と、フィルタ交換及び遮光装置９と、投影光学系４を有している。
第２の投影光学ユニット２１は、光源１１と、照明光学系１２と、格子パターンを有する光学変調素子１３−１及び走査手段１３−２を有する装置（以下、変調装置という）１３と、フィルタ交換及び遮光装置１９と、投影光学系１４を有している。
【００２２】
光源１，１１は、ハロゲンランプ等で構成されている。なお、発光ダイオードを用いてもよい。
光学変調素子３−１，１３−１は、所定のパターンを有する光学素子である。このパターンは、光透過部と光遮光部により形成されている。所定のパターンとしては、例えば光透過部と光遮光部が１次元方向に交互に形成されたパターン（以下、格子パターンという）がある。投影する格子パターンとしては、透過率が矩形状に変化する格子パターンを用いている。
走査手段３−２，１３−２は、光学変調素子３−１，１３−１を光軸と交差する方向に移動させるものである。この走査手段としては、例えば公知のスライド機構を用いることができる。
そして、変調装置３，１３は、例えば、図２に示すように、光学変調素子３−１，１３−１が格子の周期方向に可動な部品Ｄに固定されている。そして、位相シフト法を用いる際に格子の周期方向に移動できるように、パルスモータＭ又はピエゾ（ＰＺＴ）と部品Ｄが接続されている。また、この移動量は、コンピュータ７を介して制御されるようになっている。ここでは、この移動方向を矢印Ｘで示してある。
【００２３】
フィルタ交換及び遮光装置９，１９は、例えば、図３に示すように、ターレットＴに所望のフィルタＲ，Ｇ，Ｂと遮光板Ｆが設けられ、更に開口部Ｏ（空穴）が形成されている。ターレットＴは、図示省略したモータ等の駆動手段を介して、回転軸Ｐを中心として回転することで、フィルタＲ，Ｇ，Ｂ、遮光板Ｆ及び開口部Ｏを光路中に挿脱することができるようになっている。これらの位置は、コンピュータ７を介して制御されるようになっている。
【００２４】
投影光学系４，１４は、夫々変調装置３，１３を介して形成されたパターン像を被検査物体Ｓに投影することができるように構成されている。
そして、２つの投影光学ユニット２０，２１は、結像光学系５の物点位置を支点にして、夫々の投影光学系４，１４の光軸が結像光学系５の光軸に対し角度α，βの値をなすように配置されている。また、投影光学ユニット２０，２１は、上記角度α，βの値を変更することができるように構成されている。
【００２５】
フィルタ交換装置１０及び撮像素子（例えばＣＣＤ）６は、結像光学系５の光路上に設けられている。
コンピュータ７は、メモリ部７１と、演算処理部７２と、比較部７３と、調光指示部７４を有している。メモリ部７１は、所定領域において撮像素子６で受光された画像を格納するように構成されている。また、メモリ部７１の他の領域には、撮像素子６の受光面上で結像されるパターン画像の輝度のしきい値が記憶されている。演算処理部７２は、後述する所定の条件に応じて、メモリ部７１に格納された所定の投影光学系を経て得られたパターン画像の輝度値を基に高さ情報を演算するように構成されている。比較部７３は、後述する所定の条件に応じて、メモリ部７１に格納されたパターン画像の所定画素での輝度値と前記しきい値とを比較したり、投影光学系を経て得られる夫々のパターン画像の所定画素での輝度値のコントラスト成分（あるいはバイアス成分）の大小を比較したりするように構成されている。調光指示部７４は、後述する所定の条件に応じて、光源１，１１の照明光量を下げることができるように構成されている。
表示装置８は、コンピュータ７のメモリ部７１に格納された所定の画像や演算処理部７２での演算結果等の情報を表示するように構成されている。
これら変調装置３，１３、フィルタ交換及び遮光装置９，１９、撮像素子６及び表示装置８は、それぞれケーブルを介してコンピュータ７と電気的に接続されている。
【００２６】
上記の構成において、第１の投影光学ユニット２０内の光源１から発せられた光は、照明光学系２を介して、変調装置３の走査装置３−２に取付けられた所定格子パターンを有する光学変調素子３−１に均一に照射する。光学変調素子３−１を透過した光は、フィルタ交換及び遮光装置９内の所定フィルタを透過又は空穴を通過した後、投影光学系４を介して、被検査物体Ｓに角度αの入射角度で入射し、被検査物体Ｓ上に格子パターン像を投影する。
他方、第２の投影光学ユニット２１内の光源１１から発せられた光は、照明光学系１２を介して、変調装置１３の走査装置１３−２に取付けられた所定格子パターンを有する光学変調素子１３−１に均一に照射する。光学変調素子１３−１を透過した光は、フィルタ交換及び遮光装置１９内の所定フィルタを透過又は空穴を通過した後、投影光学系１４を介して、被検査物体Ｓに角度βの入射角度で入射し、被検査物体Ｓ上に格子パターン像を投影する。
【００２７】
それぞれの投影光学系を経て被検査物体Ｓ上に投影された格子パターン像（第１の像）のうち、明るい部分（光学変調素子の光透過部を透過した光）は、被検査物体上で散乱される。そして、散乱された光の一部が結像光学系５を介してフィルタ交換装置１の所定フィルタ又は空穴を透過又は通過して、撮像素子６の受光面上に結像される。撮像素子６の受光面上に結像される格子パターン像は、被検査物体Ｓ上で散乱されるときに被検査物体Ｓの形状に対応して変形している。
撮像素子６で受光された画像は、コンピュータ７に取込まれ、メモリ部７１の所定領域に格納される。
【００２８】
このような構成の装置において、格子パターンの投影に際しては、フィルタ交換及び遮光装置９，１９のいずれか一方を透過又は通過状態とし、他方を遮光状態として、異なる方向から投影された格子パターン像ごとに撮像できるようにする。
例えば、先ず第２の投影光学ユニット２１のフィルタ交換及び遮光装置１９を遮光状態にし、第１の投影光学ユニット２０のフィルタ交換及び遮光装置９を透過又は通過状態にする。次いで、第１の投影光学ユニット２０の変調装置３の光学変調素子３−１により格子パターンを発生させ、この格子パターンを被検査物体Ｓに投影する。次いで、被検査物体Ｓの表面形状によって変形された格子パターン像を結像光学系５を介して撮像素子６の受光面上に結像し、撮像素子６を介して撮像する。次いで、走査手段３−２を介して光変調素子３−１を所定量移動させて（即ち、走査して）、上記と同様に被検査物体Ｓに格子パターンを投影し、この格子パターン像を撮像素子６を介して撮像する。このように、走査手段３−２を介して位相をシフトした状態での格子パターン像の撮像を３回以上繰り返す。
【００２９】
次に、第１の投影光学ユニット２０のフィルタ交換及び遮光装置９を遮光状態にし、第２の投影光学ユニット２１のフィルタ交換及び遮光装置１９を透過又は通過状態にする。そして、第２の投影光学ユニットを介した撮像においても第１の投影光学ユニット２０を介した撮像と同様に、変調装置１３の変調光学素子１３−１を所定量移動させて位相をシフトした状態での格子パターン像の撮像を３回以上繰り返す。
このようにフィルター交換及び遮光装置９，１９を交互に遮光状態に切替えることで、格子パターンの投影方向が異なる画像、つまり撮像素子上の任意の座標（ｘ，ｙ）での輝度情報Ｉ（ｘ，ｙ）を位相をシフトした複数状態で得ることができる。
【００３０】
ここで、一般に、位相シフト量がδｉのときの輝度値Ｉｉ（ｘ，ｙ）と位相φ（ｘ，ｙ）との関係は、次式（１）のように表現できる。
Ｉｉ（ｘ，ｙ）＝ａ（ｘ，ｙ）＋ｂ（ｘ，ｙ）・ｃｏｓ｛φ（ｘ，ｙ）＋δｉ｝…（１）
但し、ａ（ｘ，ｙ）は輝度のバイアス成分、ｂ（ｘ，ｙ）コントラスト成分、δｉは位相シフト量である。
この式（１）より位相シフト量δｉを３回以上変化させて輝度値Ｉｉ（ｘ，ｙ）を取得すれば、未知量であるバイアス成分ａ（ｘ，ｙ）、コントラスト成分ｂ（ｘ，ｙ）、位相φ（ｘ，ｙ）を求めることができる。
【００３１】
このようにして求めた位相φ（ｘ，ｙ）より、測定標本の高さ情報Ｈ（ｘ，ｙ）は、次式（２）として求めることができる。
（１）式よりφ（ｘ，ｙ）を求めるとφ（ｘ，ｙ）の分布は、０〜２πまでの値に畳み込まれ、２π周期の不連続な分布になる。（２）式のｎは位相分布が連続した値となるように決定される格子の次数である。
【００３２】
そこで、本実施形態の３次元形状測定装置では、上記式（１），（２）を用いて高精度な高さ情報を算出することができるように、コンピュータ７内部のメモリ部７１、演算処理部７２、比較部７３、調光指示部７４を介して以下に述べるような所定の制御を行うようになっている。
図４は本実施形態の３次元形状測定装置における測定標本の高さ情報を算出する処理の流れ及び処理条件のテーブルを示す説明図である。なお、本実施形態では、格子パターンを位相に換算してπ／２ずつ３段階に走査して第１、第２の投影光学系４，１４を経て得られる夫々の格子パターンごとに、それぞれ４枚の画像を取得して、測定標本の高さ情報を得ている。
【００３３】
第１の投影光学ユニット２０での格子パターン走査により撮像素子６で得られた４枚の格子パターン画像の輝度値をＩｌｌ（ｘ，ｙ）、Ｉ１２（ｘ，ｙ）、Ｉ１３（ｘ，ｙ）、Ｉ１４（ｘ，ｙ）とし、第２の投影光学ユニット２１での格子パターン走査により撮像素子６で得られた４枚の格子パターン画像の輝度値をＩ２１（ｘ，ｙ）、Ｉ２２（ｘ，ｙ）、Ｉ２３（ｘ，ｙ）、Ｉ２４（ｘ，ｙ）とする。
これらの輝度値はコンピュータ７内部のメモリ部７１の所定領域に格納される（なお、本明細書では、輝度値は、混同がない場合には単にＩ（ｘ，ｙ）と表記することとする）。
【００３４】
メモリ部７１には、あらかじめ輝度値のしきい値τが設定されている。このしきい値τは、撮像素子６で得られる画像の輝度値が飽和しないような値に設定される。例えば、２５６階調の輝度値データを取得できる撮像系であればしきい値として、τ＝２５０のように設定する。
比較部７３では、得られた輝度値Ｉ（ｘ，ｙ）としきい値τを比較し、演算処理部７２ではその大小により図４のテーブル部に示すような処理を行う。
【００３５】
例えば、輝度値Ｉｌｌ（ｘ，ｙ）、Ｉ１２（ｘ，ｙ）、Ｉ１３（ｘ，ｙ）、Ｉ１４（ｘ，ｙ）、Ｉ２１（ｘ，ｙ）、Ｉ２２（ｘ，ｙ）、Ｉ２３（ｘ，ｙ）、Ｉ２４（ｘ，ｙ）のすべてが、しきい値τを超えていない場合、つまり、第１及び第２の投影光学系を経て撮像素子上の任意の点（画素）（ｘ，ｙ）において得られた全ての画像の輝度値が飽和することなく画像が取り込まれた場合には、式（１）でのコントラスト成分ｂ（ｘ，ｙ）を第１、第２の投影光学系に対してそれぞれ求め、図４のテーブルのＣａｓｅ１に示すように、求めたコントラスト成分の大小を比較部７３で比較し、演算処理部７２ではコントラスト成分ｂ（ｘ，ｙ）の大きい値を持つ投影光学系からの輝度値Ｉ（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
【００３６】
また、第１の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値がいずれのシフト状態においても飽和することなく画像が取り込まれ、第２の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値にはいずれかのシフト状態においてしきい値τを超えるような輝度値が存在するような場合には、図４のテーブルのＣａｓｅ２に示すように、第１の投影光学系からの輝度値Ｉｌｌ（ｘ，ｙ）、Ｉ１２（ｘ，ｙ）、Ｉ１３（ｘ，ｙ）、Ｉ１４（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
【００３７】
また、第２の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値がいずれのシフト状態においても飽和することなく画像が取り込まれ、第１の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値にはいずれかのシフト状態においてしきい値τを超えるような輝度値が存在するような場合には、図４のテーブルのＣａｓｅ３に示すように、第２の投影光学系からの輝度値Ｉ２ｌ（ｘ，ｙ）、Ｉ２２（ｘ，ｙ）、Ｉ２３（ｘ，ｙ）、Ｉ２４（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
【００３８】
また、撮像素子上の任意点（ｘ，ｙ）でのいずれかのシフト状態における輝度値がしきい値τを超えるような輝度値が第１及び第２の投影光学系のいずれから得られる輝度値にも含まれているような場合には、図４のテーブルのＣａｓｅ４に示すように、コンピュータ７内部の調光指示部７４を介して図１の光源１，１１の照明光量を下げるようにする。そして、再度、格子パターンで走査を行って、第１、第２の投影光学系について被検査物体の画像を再取得して、図４に示す一連の処理を再度行う。
【００３９】
これらの処理をすべての画素（ｘ，ｙ）に対して行うことで、画像全体にわたり高さ情報Ｈ（ｘ，ｙ）を求めて、物体の表面形状を得ることができる。
【００４０】
本実施形態の３次元形状測定装置によれば、投影方向の異なる２つの格子パターン投影を行うので、投影パターンに死角がなくなり、画像全域に渡り高さ情報を得ることができる。
このとき、２つの投影光学系での画像から２つの高さ情報が得られるが、輝度値のコントラスト成分を比較してコントラストの大きい方の高さ情報（即ちＳ／Ｎの良い方のデータ）を用いて高さ計測を行うようにしたので、高精度な計測を行うことが可能となる。そして、このことは、それぞれの投影光学系に対する死角部分を自動的に判断している（死角部分のコントラストはほとんど発生しない）ことになるので、２つの投影光学系の死角部分を気にする必要なくコンピュータ上で標本の表面形状を演算することが可能となる。
【００４１】
さらに、一方の投影光学系を経て得られる画像において輝度が飽和する部分が存在する場合には、もう一方の投影光学系を経て得られる画像の輝度情報を用いて高さ計測が行われるようにしたので、例えばボールグリッドアレイのような曲面を有する標本の場合は格子パターンの投影方向と観察方向により決まるある特定の傾斜を有する部分で観察系に入射する散乱光量が極端に大きくなるが、この部分での投影方向の異なるもう一方の格子パターン投影により得られる画像の輝度は極端に明るくなってしまうことはなく、この輝度値より高さ計測を行うことが可能となる。
このため、撮像素子での輝度飽和を気にすることなく、測定標本の低散乱部分にも十分な光量を与えられるのでＳ／Ｎのよい画像から高精度な測定を行うことが可能となる。
【００４２】
また、両方の投影光学系の投影光量が明るすぎて測定できない位置がある場合に自動的に再計測を行うための設定を行うようにしたので、測定者が撮像素子の輝度飽和に気付かずに間違った測走結果を算出してしまうことを防止でき、取り扱いが簡単になる。
【００４３】
なお、本実施形態の３次元形状測定装置では、２つの投影光学系を備えた構成について説明したが、３つ以上の投影光学系を備えた構成についても上記と同様にして物体の表面形状を得ることができる。
図５は本発明の第２実施形態にかかる３次元形状測定装置における測定標本の高さ情報を算出する処理の流れ及び処理条件のテーブルを示す説明図である。
本実施形態の３次元形状測定装置は、図１に示した３次元形状測定装置に、更に、１つ以上の投影光学ユニットが設けられている（図示は省略する。なお、以下の説明において図１と同様の構成部分については、図１と同様の符号を引用することとする。）。
【００４４】
本実施形態の場合も、第１実施形態と同様に、複数の投影光学ユニットの夫々について、一方のみを透過又は通過状態とし、その他を遮光状態として、異なる方向から投影された格子パターン像ごとに撮像できるようにする。そして、夫々の投影光学ユニットにおいて位相をシフトした状態での格子パターン像の撮像を３回以上繰り返して、夫々について輝度情報Ｉ（ｘ，ｙ）を得るようになっている。
【００４５】
そして、本実施形態の３次元形状測定装置では、上記式（１），（２）を用いて高精度な高さ情報を算出することができるように、コンピュータ７内部のメモリ部７１、演算処理部７２、比較部７３、調光指示部７４を介して以下に述べるような所定の制御を行うようになっている。
なお、本実施形態においても、第１実施形態と同様に、格子パターンを位相に換算してπ／２ずつ３段階に走査して第１〜第４の投影光学系を経た夫々の格子パターンごとに、それぞれ４枚の画像を取得して、測定標本の高さ情報を得ている。
【００４６】
第ｎ番目｛ｎ：１，２…ｍ（ｍは本実施形態の３次元形状測定装置に設けられている投影光学ユニットの個数。）｝の投影光学ユニットでの格子パターン走査により撮像素子で得られた４枚の格子パターン画像の輝度値をＩｎ１（ｘ，ｙ）、Ｉｎ２（ｘ，ｙ）、Ｉｎ３（ｘ，ｙ）、Ｉｎ４（ｘ，ｙ）とする。
これらの輝度値は図１の実施形態と同様に、コンピュータ７内部のメモリ部７１の所定領域に格納される（なお便宜上、輝度値は、混同がない場合には単にＩ（ｘ，ｙ）と表記することとする）。
【００４７】
メモリ部７１には、あらかじめ輝度値のしきい値τが設定されている。このしきい値τは、撮像素子６で得られる画像の輝度値が飽和しないような値に設定される。例えば、２５６階調の輝度値データを取得できる撮像系であればτとしてτ＝２５０のように設定する。
比較部７３では得られた輝度値Ｉ（ｘ，ｙ）としきい値τを比較し、演算処理部７２ではその大小により図５のテーブル部に示すような処理を行う。
【００４８】
例えば、輝度値Ｉｌｌ（ｘ，ｙ）、Ｉ１２（ｘ，ｙ）、Ｉ１３（ｘ，ｙ）、Ｉ１４（ｘ，ｙ）、Ｉ２１（ｘ，ｙ）、Ｉ２２（ｘ，ｙ）、Ｉ２３（ｘ，ｙ）、Ｉ２４（ｘ，ｙ）、…、Ｉｍｌ（ｘ，ｙ）、Ｉｍ２（ｘ，ｙ）、Ｉｍ３（ｘ，ｙ）、Ｉｍ４（ｘ，ｙ）のすべてが、しきい値τを超えていない場合、つまり、第１〜第ｍ番目の投影光学系を経て撮像素子上の任意の点（ｘ，ｙ）において得られた全ての画像の輝度値が飽和することなく画像が取り込まれた場合には、式（１）でのコントラスト成分ｂ（ｘ，ｙ）を第１〜第ｍ番目の投影光学系に対してそれぞれ求め、図５のテーブルのＣａｓｅ１に示すように、求めたコントラスト成分の大小を比較部７３で比較し、演算処理部７２ではコントラスト成分ｂ（ｘ，ｙ）の最も大きい値を持つ投影光学系での輝度値Ｉ（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
【００４９】
また、所定の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値がいずれのシフト状態においても飽和することなく画像が取り込まれ、他の投影光学系で得られた撮像素子上の任意の点（ｘ，ｙ）での輝度値にはいずれかのシフト状態においてしきい値τを超えるような輝度値が存在するような場合には、図５のテーブルのＣａｓｅ２に示すように、撮像素子上の任意の点（ｘ，ｙ）での輝度値がすべて飽和することなく画像が取り込まれた投影光学系で得られた輝度値を基に次の処理を行う。
撮像素子上の任意の点（ｘ，ｙ）での輝度値がいずれのシフト状態においても飽和することなく画像が取り込まれた投影光学系が１つのみの場合には、図５のテーブルのＣａｓｅ２に示すように、その投影光学系での輝度値Ｉｎ（ｘ，ｙ）、Ｉｎ２（ｘ，ｙ）、Ｉｎ３（ｘ，ｙ）、Ｉｎ４（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
撮像素子上の任意の点（ｘ，ｙ）での輝度値がいずれのシフト状態においても飽和することなく画像が取り込まれた投影光学系が複数存在する場合には、式（１）でのコントラスト成分ｂ（ｘ，ｙ）を当該複数の投影光学系に対してそれぞれ求め、図５のテーブルのＣａｓｅ３に示すように、求めたコントラスト成分の大小を比較部７３で比較し、演算処理部７２はコントラスト成分ｂ（ｘ，ｙ）の最も大きい値を持つ投影光学系での輝度値Ｉ（ｘ，ｙ）を基に得られる位相情報φ（ｘ，ｙ）を用いて高さ情報Ｈ（ｘ，ｙ）を求める。
【００５０】
また、撮像素子上の任意点（ｘ，ｙ）でのいずれかのシフト状態における輝度値がしきい値τを超えるような輝度値が第１〜第ｍ番目の投影光学系のいずれから得られる輝度値にも含まれているような場合には、図５のテーブルのＣａｓｅ４に示すように、コンピュータ７内部の調光指示部７４を介して光源の照明光量を下げるようにする。そして、再度、格子パターンで走査を行って、第１〜第ｍ番目の投影光学系について被検査物体の画像を再取得して、図５に示す一連の処理を再度行う。
【００５１】
これらの処理をすべての画素（ｘ，ｙ）に対して行うことで、画像全体にわたり高さ情報Ｈ（ｘ，ｙ）を求めて、物体の表面形状を得ることができ、第１実施形態と同様の効果が得られる。
【００５２】
なお、上記各実施形態では、比較部７３でコントラスト成分の大小を比較して、高さ測定に用いる投影光学系を決定するようにしたが、上記各実施形態において、比較部７３でバイアス成分の大小を比較し、バイアス成分が最も大きい投影光学系での画像から高さ情報を算出するようにしても良い。バイアス成分ａ（ｘ，ｙ）は式（１）によりコントラスト成分ｂ（ｘ，ｙ）と同様に算出可能な値である。
このように構成すると、３次元形状測定装置に用いる複数の投影光学系の投影条件（例えば光量や投影角度）が大きく異なる場合には、十分な投影光量、即ち、バイアス成分の大きい方の輝度情報を基に高さ情報を演算する方がＳ／Ｎが良いため、高精度な計測が可能となる。
【００５３】
なお、上記各実施形態における調光指示部により調整された光源の光量は、次の被検査物体の測定時に初期値の光量に自動的に再設定されるようにしても良い。あるいは、調光指示部で調整された光量状態がそのまま保持されるようにするとともに、手動で所望の光量に上げることができるようにしても良い。
【００５４】
また、上記各実施形態において、高さ情報Ｈ（ｘ，ｙ）を求めるための輝度値に下限のしきい値を設け、比較部で、その下限のしきい値と投影光学系からの輝度値との大小を比較するようにし、高さ情報Ｈ（ｘ，ｙ）を求める基となる当該投影光学系の輝度値が下限のしきい値を下回るときには、光量が不足しているものと判断し、コンピュータ内部の調光指示部を介して光源の照明光量を所定量上げるようにし、再度、格子パターンで走査を行って、各投影光学系について被検査物体の画像を再取得して、上述のような一連の処理を再度行うようにしてもよい。
【００５５】
また、上記各実施形態の３次元形状測定装置においては、各投影光学ユニットごとに光源及び変調装置を設けた構成としたが、異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有する構成であれば、どのような構成でも良い。例えば、図６及び図７に示すように１つの光源からの光を光路分割手段を介して、２つの投影光学系の光路に分割し、異なる２つの方向から格子パターンを投影するように構成してもよい。
【００５６】
図６及び図７に示す３次元形状測定装置は、照明側の光路には、ハロゲンランプの光源１と、照明光学系２と、変調装置３と、光路分割素子３４と、ミラー３７（３５，３６）と、フィルタ交換及び遮光装置９（１９）と、投影光学系４（１４）及びハーフミラー３９が配置されている。一方、結像側の光路には、結像光学系５と、フィルタ交換装置１０と、撮像素子６が設けられている。また、ハーフミラー３９と被検査物体Ｓとの間には照明光学系としての機能と結像光学系としての機能を兼ねる対物光学系３８が設けられている。コンピュータ７は、上述した実施形態と同様に、メモリ部７１と、演算処理部７２と、比較部７３と、調光指示部７４を有している。変調装置３、フィルタ交換及び遮光装置９（１９）、撮像素子６、フィルタ交換装置１０、表示装置８は、それぞれケーブルを介してコンピュータ７に電気的に接続されている。
【００５７】
このような構成により、光源１〜変調装置３を経た格子パターンの光は、光路分割素子３４で２つの光路を通るように分割される。一方の光は、ミラー３５を経て、第１のフィルタ交換及び遮光装置９、投影光学系４が配置された光路を通り、他方の光は、ミラー３６，３７を経て、第２のフィルタ交換及び遮光装置１９、投影光学系１４が配置された光路を通る。それぞれの投影光学系４、１４を経た光は、ハーフミラー３９で反射され、対物光学系３８を経て、夫々異なる方向から被検査物体Ｓに格子パターンを投影する。被検査物体Ｓに投影された格子パターンは、対物光学系３８、ハーフミラー３９を透過した後、結像光学系５、フィルタ交換装置１０を経て、撮像素子６の受光面で結像され、受光された画像が、コンピュータ７に取り込まれ、メモリ部７１、処理部７２、比較部７３、調光指示部７４等を介して、上述した実施形態と同様に、高精度な高さ情報が導出される。
【００５８】
以上説明したように、本発明の撮像光学系及びそれを用いた光学装置は、特許請求の範囲に記載された発明の他に、次に示すような特徴も備えている。
【００５９】
（１）前記演算部は、パターン画像の所定画素での輝度値が前記しきい値を超えない投影光学系が１つ存在する場合、該しきい値を超えない投影光学系からの輝度値を基に高さ情報を演算するように構成されていることを特徴とする請求項２に記載の３次元形状測定装置。
【００６０】
（２）前記比較部は、パターン画像の所定画素での輝度値が前記しきい値を超えない投影光学系が複数存在する場合、更に、該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値のコントラスト成分の大小を比較し、前記演算部は、前記比較部で該パターン画像の所定画素での輝度値のコントラスト成分の大小を比較した結果、コントラスト成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算するように構成されていることを特徴とする請求項２に記載の３次元形状測定装置。
【００６１】
（３）前記比較部は、前記しきい値を超えない投影光学系が複数存在する場合、更に、該複数の投影光学系により得られる夫々のパターン画像の各画素での輝度値のバイアス成分の大小を比較し、前記演算部は、前記比較部で該パターン画像の所定画素での輝度値のバイアス成分の大小を比較した結果、バイアス成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算するように構成されていることを特徴とする請求項２に記載の３次元形状測定装置。
【００６２】
（４）前記調光指示部は、前記比較部でパターン画像の各画素での輝度値と前記しきい値とを比較した結果、いずれの投影光学系も、得られたパターン画像の所定画素での輝度値が前記しきい値を超える輝度値が存在する場合、夫々の投影光学系の明るさの調光指示を行うように構成されていることを特徴とする請求項３に記載の３次元形状測定装置。
【００６３】
【発明の効果】
本発明によれば、測定標本の計測エリアに影を生じることがなく、測定標本の表面形状に影響されず、表面での低散乱部分から高散乱部分まで広い範囲におよび高精度に計測を行うことが可能となる。さらに測定者は撮像素子の輝度が飽和してしまうことを気にする必要が無く取り扱いが簡単になる。
【図面の簡単な説明】
【図１】本発明の３次元形状測定装置の第１実施形態を示す概略構成図である。
【図２】本発明の３次元形状測定装置に用いられる変調装置の一構成例を示す説明図である。
【図３】本発明の３次元形状測定装置に用いられるフィルタ交換及び遮光装置の一構成例を示す説明図である。
【図４】第１実施形態の３次元形状測定装置における測定標本の高さ情報を算出する処理の流れ及び処理条件のテーブルを示す説明図である。
【図５】本発明の第２実施形態にかかる３次元形状測定装置における測定標本の高さ情報を算出する処理の流れ及び処理条件のテーブルを示す説明図である。
【図６】本発明の３次元形状測定装の変形例を示す概略構成図である。
【図７】図６の３次元形状測定装置の底面図である。
【符号の説明】
１，１１ 光源
２，１２ 照明光学系
３，１３ 変調装置
３−１，１３−１ 光学変調素子
３−２，１３−２ 走査手段
４，１４ 投影光学系
５ 結像光学系
６ 撮像素子
７ コンピュータ
８ 表示装置
９，１９ フィルタ交換及び遮光装置
１０ フィルタ交換装置
２０，２１ 投影光学ユニット
３４ 光路分割素子
３５，３６，３７ ミラー
３８ 対物光学系
３９ ハーフミラー
７１ メモリ部
７２ 演算処理部
７３ 比較部
７４ 調光指示部
Ｄ 格子の周期方向に可能な部品
Ｆ 遮光板
Ｍ パルスモータ
Ｏ 開口部
Ｐ 回転軸
Ｒ，Ｇ，Ｂ フィルタ
Ｓ 被検査物体
Ｔ ターレット[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to a three-dimensional shape measuring device that measures a three-dimensional shape of an object surface such as height information of the object.
[0002]
[Prior art]
Conventionally, many techniques for measuring the surface shape of an object have been proposed. Among these techniques, there is a grid pattern projection method as a technique capable of measuring the surface shape of an object at a very high speed. The lattice pattern projection method is a technique in which a stripe pattern is projected on the surface of an object, the phase of the stripe for each pixel is obtained at a time from the image, and the shape of the object surface is calculated from the phase information. In this case, a phase shift method is used to calculate the phase information. In the grid pattern projection method, a very high-speed measurement is possible because the three-dimensional shape of the object surface is obtained at one time.
A technique for improving the accuracy of such a grid pattern projection method is disclosed in, for example,
[0003]
[Patent Document 1]
JP-A-2000-9444
[0004]
In the method disclosed in
[0005]
[Problems to be solved by the invention]
However, since the grid pattern projection method is a method of illuminating an observation optical system at an angle, when the surface shape of an electronic component such as a mechanical component or an IC contact is accurately measured, the measurement object itself may be shadowed. And there is a problem that a part that cannot be measured is generated.
[0006]
Also, in the grid pattern projection method, depending on the surface shape of the measurement sample (for example, a spherical sample such as a ball grid array), the projected grid pattern is reflected at an angle close to regular reflection on the surface of the measurement sample, and the observation system is used. The light enters the optical path, and the image of the specular reflection portion of the surface of the measurement sample becomes an extremely bright image so that the luminance of the image sensor is saturated. For this reason, it is necessary to project the grid pattern with reduced brightness so that the brightness of the image sensor such as a CCD camera provided in the observation system is not saturated. However, when the projection is performed with the brightness of the grid pattern lowered in this manner, a sufficient luminance value is not observed in the low scattering portion of the surface of the measurement sample, and an image containing a large amount of noise components of the CCD camera is obtained. There is a problem that the measurement is difficult to be performed.
[0007]
The present invention has been made in view of the above problems, and does not cause a shadow in a measurement area of a measurement sample, is not affected by the surface shape of the measurement sample, and is highly accurate in a state where luminance is not saturated. It is an object of the present invention to provide a three-dimensional shape measuring device capable of performing the following.
[0008]
[Means for Solving the Problems]
In order to achieve the above object, the three-dimensional shape measuring apparatus according to the first aspect of the present invention can be realized by a light source, an optical modulation element having a predetermined pattern, and irradiating the optical modulation element with light from the light source. A projection optical system for projecting the projected pattern image onto the object to be inspected, and an imaging optical system for imaging the pattern image projected on the object to be inspected onto the image sensor, and the pattern image detected by the image sensor A three-dimensional shape measuring apparatus based on a pattern projection method for obtaining height information of an object to be inspected from an amount of deformation of the object, by projecting a pattern on the object to be inspected from different directions, and forming a pattern image projected from the different directions. In order to be able to form an image on the image pickup device via an image forming optical system, each of the pixels of the pattern image obtained through the plurality of projecting optical systems has a plurality of projection optical systems. A comparison unit that compares the magnitude of the contrast component of the luminance value of the pattern image, and a comparison unit that compares the magnitude of the contrast component of the luminance value at a predetermined pixel of the pattern image. A calculation unit for calculating height information based on the value.
[0009]
Further, the three-dimensional shape measuring apparatus according to the second aspect of the present invention covers a light source, an optical modulation element having a predetermined pattern, and a pattern image formed by irradiating the optical modulation element with light from the light source. A projection optical system for projecting onto the inspection object; and an imaging optical system for imaging the pattern image projected onto the inspection object onto the image sensor. A three-dimensional shape measuring apparatus based on a pattern projection method for obtaining height information of an inspection object, wherein a pattern is projected on an inspection object from different directions, and a pattern image projected from the different directions is formed by the imaging optical system. A plurality of projection optical systems, and a memory unit for storing a threshold value of the luminance of the pattern image, so that an image can be formed on the image sensor via the plurality of projection optical systems. A comparison unit that compares the luminance value at each pixel of each pattern image with the threshold value, and a result of comparing the luminance value at a predetermined pixel of the pattern image with the threshold value at the comparison unit, When there are a projection optical system whose luminance value at a predetermined pixel of the pattern image exceeds the threshold value and a projection optical system whose luminance value at a predetermined pixel of the pattern image does not exceed the threshold value, the threshold is set. A calculation unit that calculates height information based on a luminance value from any one of the projection optical systems that does not exceed the value.
[0010]
Further, the three-dimensional shape measuring apparatus according to the third aspect of the present invention covers a light source, an optical modulation element having a predetermined pattern, and a pattern image formed by irradiating the optical modulation element with light from the light source. A projection optical system for projecting onto the inspection object; and an imaging optical system for imaging the pattern image projected onto the inspection object onto the image sensor. A three-dimensional shape measuring apparatus based on a pattern projection method for obtaining height information of an inspection object, wherein a pattern is projected on an inspection object from different directions, and a pattern image projected from the different directions is formed by the imaging optical system. A plurality of projection optical systems, and a memory unit for storing a threshold value of the luminance of the pattern image, so that an image can be formed on the image sensor via the plurality of projection optical systems. A comparing unit that compares the luminance value of each pixel of each pattern image with the threshold value, and a dimming instruction for performing a dimming instruction of the brightness of the projection optical system based on the comparison result of the comparing unit. And a part.
[0011]
Further, the three-dimensional shape measuring apparatus according to the fourth aspect of the present invention covers a light source, an optical modulation element having a predetermined pattern, and a pattern image formed by irradiating the optical modulation element with light from the light source. A projection optical system for projecting onto the inspection object; and an imaging optical system for imaging the pattern image projected onto the inspection object onto the image sensor. A three-dimensional shape measuring apparatus based on a pattern projection method for obtaining height information of an inspection object, wherein a pattern is projected on an inspection object from different directions, and a pattern image projected from the different directions is formed by the imaging optical system. A plurality of projection optical systems so as to be able to form an image on the image pickup device via the imaging device, and a via of a luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems. As a result of comparing the magnitude of the bias component of the luminance value at a predetermined pixel of the pattern image with the comparison unit comparing the magnitude of the component, the comparison unit compares the magnitude of the bias component with the luminance value from the projection optical system having the largest bias component. And a calculating unit for calculating the information.
[0012]
BEST MODE FOR CARRYING OUT THE INVENTION
Prior to the description of the embodiment, the operation and effect of the present invention will be described.
As in the present invention, by projecting a pattern on the object to be inspected from different directions, so that a pattern image projected from the different direction can be formed on the image sensor via the imaging optical system, With a configuration having a plurality of projection optical systems, it is possible to eliminate blind spots in the projection pattern and obtain height information over the entire image of the inspected object.
[0013]
Further, as in the first aspect of the present invention, the comparing unit compares the magnitude of the contrast component of the luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems, and A calculation unit that calculates height information based on a brightness value from a projection optical system having the largest contrast component as a result of comparing the magnitude of the contrast component of the brightness value at a predetermined pixel of the pattern image. , The height is measured using the luminance value of the image by the projection optical system having the better S / N, so that the height can be measured with high accuracy.
In addition, generally, almost no contrast occurs in the blind spot, and the contrast component is reduced. For this reason, when the height information is measured based on the luminance value from the projection optical system that provides the largest contrast component by comparing the magnitudes of the contrast components as in the first invention, the blind spot in each projection optical system is obtained. The portion is automatically determined (that is, it is determined that a blind spot exists in the projection optical system having the smaller contrast component), and the brightness value from the projection optical system that is not a blind spot for the portion is determined. , The height information can be measured on the basis of the above, so that the surface shape of the sample can be calculated on a computer without being affected by the blind spots caused by the plurality of projection optical systems.
[0014]
Further, as in the three-dimensional shape measuring apparatus according to the second aspect of the present invention, a memory unit for storing a threshold value of the luminance of the pattern image, and a pixel unit of each pattern image obtained by the plurality of projection optical systems. A comparison unit that compares the luminance value with the threshold value, and the comparison unit compares the luminance value at a predetermined pixel of the pattern image with the threshold value. When there is a projection optical system that exceeds the threshold value and a projection optical system whose luminance value at a predetermined pixel of the pattern image does not exceed the threshold value, any one of the projection optical systems that does not exceed the threshold value And a calculation unit for calculating height information based on the luminance value from the image sensor, sufficient light intensity can be given to the low scattering portion of the measurement sample without being affected by luminance saturation in the image sensor. High-precision measurement from images with good S / N It becomes possible.
[0015]
For example, in the case where the three-dimensional shape measuring apparatus of the second invention has a configuration having two projection optical systems, a predetermined pixel of the image sensor is used at a predetermined portion of the observed object in an image obtained by one of the projection optical systems. When the luminance at a predetermined pixel of the image sensor is not saturated in the portion obtained in the image obtained by the other projection optical system in the image obtained by the other projection optical system, the projection optical system in which the brightness of the image sensor is not saturated in that portion The height measurement is performed based on the luminance information from.
Then, in this case, the sample, that is, as the object to be inspected, for example, when performing height measurement using a sample having a curved surface such as a hole grid array, is determined by the projection direction and observation direction of the grid pattern, The amount of scattered light that is reflected by the measured portion having a specific inclination and enters the observation system becomes extremely large. However, since the brightness of the image obtained by projecting the other grid pattern from the different projection direction on the measured portion does not become extremely bright, it is possible to perform height measurement using this brightness value. It becomes possible.
[0016]
That is, in the second aspect, when there is one projection optical system that does not exceed the threshold value, the arithmetic unit determines a height based on a luminance value from the projection optical system that does not exceed the threshold value. Preferably, it is configured to operate on information.
[0017]
In the second aspect, when there are a plurality of projection optical systems that do not exceed the threshold value, the comparison unit further includes a predetermined pixel in each pattern image obtained by the plurality of projection optical systems. Comparing the magnitude of the contrast component of the luminance value, the arithmetic unit compares the magnitude of the contrast component of the luminance value at a predetermined pixel of the pattern image with the comparing unit, and as a result, the contrast component from the projection optical system having the largest contrast component is obtained. It is preferable that the height information is calculated based on the luminance value.
With this configuration, the maximum amount of light can be given to the low scattering portion of the measurement sample without being affected by the luminance saturation of the image sensor, and the blind spot of the projection optical system that is not luminance saturated is provided. It is possible to perform high-accuracy measurement from an image with a better S / N without being affected by the portion.
[0018]
Further, as in the three-dimensional shape measuring apparatus according to the fourth aspect of the present invention, if a configuration is provided having a dimming instruction unit for dimming the brightness of the projection optical system based on the comparison result of the comparing unit, If the projection light amount of all the projection optical systems is too bright and there is a part to be measured that cannot be measured because it is saturated by the image pickup device, the operator automatically adjusts the projection light amount so that the measurer can reduce the brightness of the image pickup device. It is possible to prevent an incorrect measurement result from being calculated without noticing the saturation, and the handling of the three-dimensional measuring apparatus becomes easier.
[0019]
Therefore, in the fourth aspect, the dimming instruction unit compares the luminance value of each pixel of the pattern image with the threshold value in the comparison unit, and as a result, any projection optical system is obtained. When there is a luminance value at which the luminance value at a predetermined pixel of the pattern image exceeds the threshold value, it is preferable to perform a dimming instruction of the brightness of each projection optical system.
[0020]
In the above description of the present invention, instead of comparing the magnitude of the contrast component by the comparing unit for determining the projection optical system used for height measurement, as in the three-dimensional shape measuring apparatus according to the fourth invention, Alternatively, the magnitude of the bias component may be compared, and the height information may be calculated based on the luminance value from the projection optical system having the largest bias component.
Further, in the three-dimensional shape measuring apparatus according to the second aspect of the present invention, when there are a plurality of projection optical systems that do not exceed the threshold value, the comparing unit further includes a plurality of projection optical systems obtained by the plurality of projection optical systems. The arithmetic unit compares the magnitude of the bias component of the luminance value at each pixel of the pattern image, and the arithmetic unit compares the magnitude of the bias component of the luminance value at a predetermined pixel of the pattern image with the comparison unit. The height information may be calculated based on the luminance value from the largest projection optical system.
[0021]
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic configuration diagram showing a first embodiment of a three-dimensional shape measuring apparatus of the present invention.
As shown in FIG. 1, the three-dimensional shape measuring apparatus according to the present embodiment includes two projection
The first projection
The second projection
[0022]
The
The optical modulation elements 3-1 and 13-1 are optical elements having a predetermined pattern. This pattern is formed by the light transmitting part and the light shielding part. As the predetermined pattern, for example, there is a pattern (hereinafter, referred to as a lattice pattern) in which light transmitting portions and light blocking portions are alternately formed in a one-dimensional direction. As a grid pattern to be projected, a grid pattern whose transmittance changes in a rectangular shape is used.
The scanning means 3-2 and 13-2 move the optical modulation elements 3-1 and 13-1 in a direction intersecting the optical axis. As the scanning means, for example, a known slide mechanism can be used.
Then, in the
[0023]
For example, as shown in FIG. 3, the filter replacement and
[0024]
The projection
The two projection
[0025]
The
The computer 7 includes a
The display device 8 is configured to display information such as a predetermined image stored in the
The
[0026]
In the above configuration, the light emitted from the
On the other hand, the light emitted from the
[0027]
In the lattice pattern image (first image) projected on the inspection object S via each projection optical system, a bright portion (light transmitted through the light transmitting portion of the optical modulation element) is projected on the inspection object S. Be scattered. Then, a part of the scattered light passes through or passes through a predetermined filter or a hole of the
The image received by the image sensor 6 is captured by the computer 7 and stored in a predetermined area of the
[0028]
In the apparatus having such a configuration, when projecting the grid pattern, one of the filter replacement and
For example, first, the filter replacement and the
[0029]
Next, the filter replacement and the
As described above, the filter replacement and the
[0030]
Here, in general, the relationship between the luminance value Ii (x, y) and the phase φ (x, y) when the phase shift amount is δi can be expressed as the following equation (1).
Ii (x, y) = a (x, y) + b (x, y) · cos {φ (x, y) + δi} (1)
Here, a (x, y) is a luminance bias component, b (x, y) contrast component, and δi is a phase shift amount.
If the luminance value Ii (x, y) is obtained by changing the phase shift amount δi three or more times from the equation (1), the unknown components of the bias component a (x, y) and the contrast component b (x, y) are obtained. ), And the phase φ (x, y) can be obtained.
[0031]
From the phase φ (x, y) obtained in this way, the height information H (x, y) of the measurement sample can be obtained as the following equation (2).
When φ (x, y) is obtained from Expression (1), the distribution of φ (x, y) is convolved with a value from 0 to 2π, and becomes a discontinuous distribution having a period of 2π. N in the expression (2) is the order of the grating determined so that the phase distribution becomes a continuous value.
[0032]
Therefore, in the three-dimensional shape measuring apparatus according to the present embodiment, the
FIG. 4 is an explanatory diagram showing a flow of processing for calculating height information of a measurement sample and a table of processing conditions in the three-dimensional shape measuring apparatus of the present embodiment. In the present embodiment, the grid pattern is converted into a phase and scanned in three steps of π / 2, and each of the grid patterns obtained through the first and second projection
[0033]
The luminance values of the four lattice pattern images obtained by the image sensor 6 by scanning the lattice pattern in the first projection
These luminance values are stored in a predetermined area of the
[0034]
The threshold value τ of the luminance value is set in the
The comparing
[0035]
For example, the luminance value I ll (X, y), I 12 (X, y), I Thirteen (X, y), I 14 (X, y), I 21 (X, y), I 22 (X, y), I 23 (X, y), I 24 When all of (x, y) do not exceed the threshold value τ, that is, at any point (pixel) (x, y) on the image sensor via the first and second projection optical systems. If the images are captured without saturation of the luminance values of all the images, the contrast component b (x, y) in Expression (1) is obtained for the first and second projection optical systems, respectively. As shown in
[0036]
Further, an image is captured without saturation of the luminance value at an arbitrary point (x, y) on the image sensor obtained by the first projection optical system in any shift state, and the second projection optical system If there is a luminance value at any point (x, y) on the image sensor obtained in step (1) that exceeds the threshold value τ in any of the shift states, As shown in
[0037]
Further, an image is captured without saturation of the luminance value at an arbitrary point (x, y) on the imaging device obtained by the second projection optical system in any shift state, and the first projection optical system If there is a luminance value at any point (x, y) on the image sensor obtained in step (1) that exceeds the threshold value τ in any of the shift states, As shown in
[0038]
Further, a luminance value obtained from any of the first and second projection optical systems such that a luminance value in any shift state at an arbitrary point (x, y) on the image sensor exceeds the threshold value τ. In the case where the light amount is included in the value, as shown in
[0039]
By performing these processes on all the pixels (x, y), it is possible to obtain the height information H (x, y) over the entire image and obtain the surface shape of the object.
[0040]
According to the three-dimensional shape measuring apparatus of the present embodiment, since two grid patterns having different projection directions are projected, there is no blind spot in the projection pattern, and height information can be obtained over the entire image.
At this time, two pieces of height information are obtained from the images obtained by the two projection optical systems. By comparing the contrast components of the luminance values, the pieces of height information having the larger contrast (ie, the data having the better S / N) are obtained. Since the height measurement is performed by using, the measurement can be performed with high accuracy. Since this means that the blind spots for the respective projection optical systems are automatically determined (contrast of the blind spots hardly occurs), it is necessary to pay attention to the blind spots of the two projection optical systems. Instead, the surface shape of the sample can be calculated on a computer.
[0041]
Further, when there is a portion where the luminance is saturated in the image obtained through one projection optical system, the height measurement is performed using the luminance information of the image obtained through the other projection optical system. Therefore, in the case of a sample having a curved surface such as a ball grid array, for example, the amount of scattered light incident on the observation system becomes extremely large in a portion having a specific inclination determined by the projection direction and the observation direction of the lattice pattern. The luminance of an image obtained by projecting another lattice pattern having a different projection direction at a portion does not become extremely bright, and height measurement can be performed from this luminance value.
For this reason, a sufficient amount of light can be given to the low scattering portion of the measurement sample without worrying about the luminance saturation in the image sensor, so that high-accuracy measurement can be performed from an image with a good S / N.
[0042]
In addition, since the setting for automatically performing re-measurement is performed when there is a position where the amount of projection light of both projection optical systems is too bright to measure, the measurer does not notice the luminance saturation of the image sensor. Calculation of an incorrect measurement result can be prevented, and handling can be simplified.
[0043]
In the three-dimensional shape measuring apparatus according to the present embodiment, the configuration including two projection optical systems has been described. However, the configuration including three or more projection optical systems can be used to change the surface shape of an object in the same manner as described above. Obtainable.
FIG. 5 is an explanatory diagram showing a flow of processing for calculating height information of a measurement sample and a table of processing conditions in the three-dimensional shape measuring apparatus according to the second embodiment of the present invention.
In the three-dimensional shape measuring apparatus according to the present embodiment, one or more projection optical units are further provided in the three-dimensional shape measuring apparatus shown in FIG. 1 (not shown in the drawings. 1 are referred to by the same reference numerals as those in FIG. 1).
[0044]
In the case of the present embodiment as well, as in the first embodiment, for each of the plurality of projection optical units, only one of them is in a transmissive or transmissive state and the other is in a light-shielding state, and each of the lattice pattern images projected from different directions is provided. Be able to take images. Then, the imaging of the lattice pattern image in a state where the phase is shifted in each projection optical unit is repeated three times or more, and luminance information I (x, y) is obtained for each.
[0045]
In the three-dimensional shape measuring apparatus according to the present embodiment, the
Also in this embodiment, similarly to the first embodiment, the grating pattern is converted into a phase and scanned in three stages by π / 2, and each grating pattern is passed through the first to fourth projection optical systems. First, four images are obtained, and height information of the measurement sample is obtained.
[0046]
The nth {n: 1, 2,..., M (m is the number of projection optical units provided in the three-dimensional shape measuring apparatus of the present embodiment)} is obtained by the image pickup device by scanning the lattice pattern with the projection optical unit. The luminance values of the four grid pattern images n1 (X, y), I n2 (X, y), I n3 (X, y), I n4 (X, y).
These luminance values are stored in a predetermined area of the
[0047]
The threshold value τ of the luminance value is set in the
The comparing
[0048]
For example, the luminance value I ll (X, y), I 12 (X, y), I Thirteen (X, y), I 14 (X, y), I 21 (X, y), I 22 (X, y), I 23 (X, y), I 24 (X, y), ..., I ml (X, y), I m2 (X, y), I m3 (X, y), I m4 If all of (x, y) do not exceed the threshold value τ, that is, all obtained at an arbitrary point (x, y) on the image sensor via the first to m-th projection optical systems If the image is captured without saturation of the luminance value of the image, the contrast component b (x, y) in Expression (1) is obtained for each of the first to m-th projection optical systems, As shown in
[0049]
Further, an image is captured without saturation of the luminance value at an arbitrary point (x, y) on the image sensor obtained by a predetermined projection optical system in any shift state, and obtained by another projection optical system. If there is a luminance value at any point (x, y) on the image sensor that exceeds the threshold value τ in any of the shift states, the table of FIG. As shown in
In the case where the luminance value at an arbitrary point (x, y) on the image sensor is not saturated in any shift state and only one projection optical system captures an image,
In the case where there are a plurality of projection optical systems in which an image is captured without saturating the luminance value at an arbitrary point (x, y) on the image sensor in any shift state, the contrast in Expression (1) is obtained. The component b (x, y) is obtained for each of the plurality of projection optical systems, and as shown in
[0050]
Further, a luminance value such that the luminance value in any shift state at an arbitrary point (x, y) on the image sensor exceeds the threshold value τ is obtained from any of the first to m-th projection optical systems. In the case where it is included in the luminance value, as shown in
[0051]
By performing these processes on all pixels (x, y), height information H (x, y) can be obtained over the entire image to obtain the surface shape of the object. Similar effects can be obtained.
[0052]
In each of the above embodiments, the
With this configuration, when the projection conditions (for example, the light amount and the projection angle) of the plurality of projection optical systems used in the three-dimensional shape measuring apparatus are largely different, the sufficient projection light amount, that is, the luminance information of the larger bias component Since the S / N is better if the height information is calculated based on the above, high-accuracy measurement is possible.
[0053]
The light amount of the light source adjusted by the light control instruction unit in each of the above embodiments may be automatically reset to the initial value light amount at the time of the next measurement of the object to be inspected. Alternatively, the light amount state adjusted by the dimming instruction unit may be maintained as it is, and the desired light amount may be manually increased.
[0054]
In each of the above embodiments, a lower limit threshold value is provided for the luminance value for obtaining the height information H (x, y), and the lower limit threshold value and the luminance value from the projection optical system are set in the comparing unit. When the brightness value of the projection optical system from which the height information H (x, y) is obtained falls below the lower limit threshold value, it is determined that the light quantity is insufficient. The illumination light amount of the light source is increased by a predetermined amount via a dimming instruction unit inside the computer, scanning is performed again with a grid pattern, and an image of the object to be inspected is reacquired for each projection optical system. Such a series of processing may be performed again.
[0055]
Further, in the three-dimensional shape measuring apparatus of each of the above embodiments, the light source and the modulation device are provided for each projection optical unit. Any configuration may be used as long as the configuration has a plurality of the projection optical systems so that the pattern image projected from the optical system can be formed on the imaging device via the imaging optical system. For example, as shown in FIGS. 6 and 7, the light from one light source is split into the optical paths of two projection optical systems via an optical path splitting unit, and a grating pattern is projected from two different directions. You may.
[0056]
The three-dimensional shape measuring apparatus shown in FIGS. 6 and 7 has a
[0057]
With such a configuration, the light of the grating pattern that has passed through the
[0058]
As described above, the imaging optical system of the present invention and the optical device using the same have the following features in addition to the invention described in the claims.
[0059]
(1) When there is one projection optical system whose luminance value at a predetermined pixel of the pattern image does not exceed the threshold value, the arithmetic unit calculates the luminance value from the projection optical system that does not exceed the threshold value. The three-dimensional shape measuring apparatus according to
[0060]
(2) When there are a plurality of projection optical systems in which the luminance value at a predetermined pixel of the pattern image does not exceed the threshold value, the comparison unit may further include a plurality of pattern images obtained through the plurality of projection optical systems. Comparing the magnitude of the contrast component of the luminance value of each pixel of the pattern image, the arithmetic unit compares the magnitude of the contrast component of the luminance value of the predetermined pixel of the pattern image with the comparing unit, and as a result, the contrast component is the largest. The three-dimensional shape measuring apparatus according to
[0061]
(3) When there are a plurality of projection optical systems that do not exceed the threshold value, the comparison unit further includes a bias component of a luminance value at each pixel of each pattern image obtained by the plurality of projection optical systems. The arithmetic unit compares the magnitude of the bias component of the luminance value at a predetermined pixel of the pattern image with the comparison unit, and as a result, based on the luminance value from the projection optical system with the largest bias component, The three-dimensional shape measuring apparatus according to
[0062]
(4) As a result of comparing the luminance value of each pixel of the pattern image with the threshold value by the comparing unit, the dimming instruction unit determines that any of the projection optical systems has a predetermined pixel of the obtained pattern image. 4. The three-dimensional apparatus according to
[0063]
【The invention's effect】
ADVANTAGE OF THE INVENTION According to this invention, it does not produce a shadow in the measurement area of a measurement sample, is not affected by the surface shape of the measurement sample, and performs measurement over a wide range from a low scattering portion to a high scattering portion on the surface with high accuracy. It becomes possible. Further, the measurer does not need to worry that the luminance of the image sensor is saturated, and the handling is simplified.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a first embodiment of a three-dimensional shape measuring apparatus of the present invention.
FIG. 2 is an explanatory diagram showing a configuration example of a modulation device used in the three-dimensional shape measuring apparatus of the present invention.
FIG. 3 is an explanatory diagram showing one configuration example of a filter replacement and light shielding device used in the three-dimensional shape measuring apparatus of the present invention.
FIG. 4 is an explanatory diagram showing a flow of processing for calculating height information of a measurement sample and a table of processing conditions in the three-dimensional shape measuring apparatus of the first embodiment.
FIG. 5 is an explanatory diagram showing a flow of processing for calculating height information of a measurement sample and a table of processing conditions in a three-dimensional shape measuring apparatus according to a second embodiment of the present invention.
FIG. 6 is a schematic configuration diagram showing a modification of the three-dimensional shape measuring apparatus of the present invention.
FIG. 7 is a bottom view of the three-dimensional shape measuring apparatus of FIG. 6;
[Explanation of symbols]
1,11 light source
2,12 Illumination optical system
3,13 Modulation device
3-1 and 13-1 Optical Modulation Element
3-2, 13-2 Scanning means
4,14 Projection optical system
5 Imaging optical system
6 Image sensor
7 Computer
8 Display device
9,19 Filter replacement and shading device
10 Filter exchange device
20,21 Projection optical unit
34 Optical path splitting element
35, 36, 37 mirror
38 Objective optical system
39 Half mirror
71 Memory section
72 arithmetic processing unit
73 Comparison section
74 dimming indicator
D Possible parts in the periodic direction of the lattice
F Shading plate
M pulse motor
O opening
P rotation axis
R, G, B filters
S Object to be inspected
T turret
Claims (4)
異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、
該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値のコントラスト成分の大小を比較する比較部と、
前記比較部で該パターン画像の所定画素での輝度値のコントラスト成分の大小を比較した結果、コントラスト成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算する演算部と、
を有することを特徴とする３次元形状測定装置。A light source, an optical modulation element having a predetermined pattern, a projection optical system that projects a pattern image formed by irradiating the optical modulation element with light from the light source onto the inspection object, and a projection optical system on the inspection object. A three-dimensional shape by a pattern projection method for obtaining height information of an object to be inspected from an amount of deformation of a pattern image detected by the image sensor, the imaging device having an imaging optical system for forming a pattern image projected on the image sensor on the image sensor. A measuring device,
The projection optical system includes a plurality of projection optical systems so that a pattern is projected onto the object to be inspected from different directions, and a pattern image projected from the different directions can be formed on the imaging device via the imaging optical system. Have
A comparing unit that compares the magnitude of the contrast component of the luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems,
A computing unit that computes height information based on a luminance value from a projection optical system having the largest contrast component as a result of comparing the magnitude of the contrast component of the luminance value at a predetermined pixel of the pattern image with the comparing unit;
A three-dimensional shape measuring apparatus comprising:
異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、
パターン画像の輝度のしきい値を記憶するメモリ部と、
該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値と前記しきい値とを比較する比較部と、
前記比較部で該パターン画像の所定画素での輝度値と前記しきい値とを比較した結果、パターン画像の所定画素での輝度値が前記しきい値を超える投影光学系と、パターン画像の所定画素での輝度値が前記しきい値を超えない投影光学系とが存在する場合、前記しきい値を超えないいずれかの投影光学系からの輝度値を基に高さ情報を演算する演算部と、
を有することを特徴とする３次元形状測定装置。A light source, an optical modulation element having a predetermined pattern, a projection optical system that projects a pattern image formed by irradiating the optical modulation element with light from the light source onto the inspection object, and a projection optical system on the inspection object. A three-dimensional shape by a pattern projection method for obtaining height information of an object to be inspected from an amount of deformation of a pattern image detected by the image sensor, the imaging device having an imaging optical system for forming a pattern image projected on the image sensor on the image sensor. A measuring device,
The projection optical system includes a plurality of projection optical systems so that a pattern is projected onto the object to be inspected from different directions, and a pattern image projected from the different directions can be formed on the imaging device via the imaging optical system. Have
A memory unit for storing a luminance threshold value of the pattern image;
A comparing unit that compares the threshold value and the luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems,
As a result of comparing the luminance value at a predetermined pixel of the pattern image with the threshold value by the comparison unit, a projection optical system in which the luminance value at a predetermined pixel of the pattern image exceeds the threshold value, A calculation unit that calculates height information based on a brightness value from any one of the projection optical systems that does not exceed the threshold value, when there is a projection optical system whose brightness value at the pixel does not exceed the threshold value. When,
A three-dimensional shape measuring apparatus comprising:
異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、
パターン画像の輝度のしきい値を記憶するメモリ部と、
該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値と前記しきい値とを比較する比較部と、
前記比較部での比較結果を基に投影光学系の明るさの調光指示を行う調光指示部と、
を有することを特徴とする３次元形状測定装置。A light source, an optical modulation element having a predetermined pattern, a projection optical system that projects a pattern image formed by irradiating the optical modulation element with light from the light source onto the inspection object, and a projection optical system on the inspection object. A three-dimensional shape by a pattern projection method for obtaining height information of an object to be inspected from an amount of deformation of a pattern image detected by the image sensor, the imaging device having an imaging optical system for forming a pattern image projected on the image sensor on the image sensor. A measuring device,
The projection optical system includes a plurality of projection optical systems so that a pattern is projected onto the object to be inspected from different directions, and a pattern image projected from the different directions can be formed on the imaging device via the imaging optical system. Have
A memory unit for storing a luminance threshold value of the pattern image;
A comparing unit that compares the threshold value and the luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems,
A dimming instruction unit that instructs dimming of the brightness of the projection optical system based on the comparison result in the comparing unit;
A three-dimensional shape measuring apparatus comprising:
異なる方向から被検査物体上にパターンを投影して、該異なる方向から投影したパターン像を前記結像光学系を介して前記撮像素子に結像させることができるように、前記投影光学系を複数有するとともに、
該複数の投影光学系を経て得られる夫々のパターン画像の各画素での輝度値のバイアス成分の大小を比較する比較部と、
前記比較部で該パターン画像の所定画素での輝度値のバイアス成分の大小を比較した結果、バイアス成分が最も大きい投影光学系からの輝度値を基に高さ情報を演算する演算部と、
を有することを特徴とする３次元形状測定装置。A light source, an optical modulation element having a predetermined pattern, a projection optical system that projects a pattern image formed by irradiating the optical modulation element with light from the light source onto the inspection object, and a projection optical system on the inspection object. A three-dimensional shape by a pattern projection method for obtaining height information of an object to be inspected from an amount of deformation of a pattern image detected by the image sensor, the imaging device having an imaging optical system for forming a pattern image projected on the image sensor on the image sensor. A measuring device,
The projection optical system includes a plurality of projection optical systems so that a pattern is projected onto the object to be inspected from different directions, and a pattern image projected from the different directions can be formed on the imaging device via the imaging optical system. Have
A comparing unit that compares the magnitude of the bias component of the luminance value at each pixel of each pattern image obtained through the plurality of projection optical systems,
A computing unit that computes height information based on a luminance value from a projection optical system having the largest bias component as a result of comparing the magnitude of the bias component of the luminance value at a predetermined pixel of the pattern image with the comparing unit;
A three-dimensional shape measuring apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101168A JP4077754B2 (en) | 2003-04-04 | 2003-04-04 | 3D shape measuring device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003101168A JP4077754B2 (en) | 2003-04-04 | 2003-04-04 | 3D shape measuring device |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004309240A true JP2004309240A (en) | 2004-11-04 |
| JP2004309240A5 JP2004309240A5 (en) | 2006-05-18 |
| JP4077754B2 JP4077754B2 (en) | 2008-04-23 |
Family
ID=33465053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003101168A Expired - Fee Related JP4077754B2 (en) | 2003-04-04 | 2003-04-04 | 3D shape measuring device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4077754B2 (en) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008157797A (en) * | 2006-12-25 | 2008-07-10 | Matsushita Electric Works Ltd | Three-dimensional measuring method and three-dimensional shape measuring device using it |
| JP2009098044A (en) * | 2007-10-18 | 2009-05-07 | Nikon Corp | Shape measuring device |
| JP2009264862A (en) * | 2008-04-24 | 2009-11-12 | Panasonic Electric Works Co Ltd | Three-dimensional shape measuring method and device |
| JP2010014505A (en) * | 2008-07-03 | 2010-01-21 | Nikon Corp | Three-dimensional shape measuring apparatus and three-dimensional shape measurement method |
| JP2010078619A (en) * | 2005-12-14 | 2010-04-08 | Koh Young Technology Inc | Device and method for measuring three-dimensional shape |
| JP2010243438A (en) * | 2009-04-09 | 2010-10-28 | Nikon Corp | Apparatus and method for three-dimensional shape measurement |
| JP2010243508A (en) * | 2006-01-26 | 2010-10-28 | Koh Young Technology Inc | Method for measuring three-dimensional shape |
| JP2010271316A (en) * | 2009-05-21 | 2010-12-02 | Koh Young Technology Inc | Device and method for measuring shape |
| JP2010276582A (en) * | 2009-06-01 | 2010-12-09 | Kurabo Ind Ltd | Noncontact shape measuring device and noncontact shape measuring method |
| JP2010276607A (en) * | 2009-05-27 | 2010-12-09 | Koh Young Technology Inc | Apparatus and method for measuring three-dimensional shape |
| JP2012112952A (en) * | 2010-11-19 | 2012-06-14 | Koh Young Technology Inc | Method and apparatus of profiling surface |
| KR101164208B1 (en) * | 2010-04-19 | 2012-07-10 | 주식회사 고영테크놀러지 | Board inspection apparatus |
| CN101514893B (en) * | 2005-12-14 | 2012-08-08 | 株式会社高永科技 | Three-dimensional shape measuring instrument and method |
| KR101196219B1 (en) | 2010-02-01 | 2012-11-05 | 주식회사 고영테크놀러지 | Method for measuring height of a measuring target in a three dimensional shape measurment apparatus and three dimensional shape measurment apparatus using the same |
| JP2012255792A (en) * | 2009-07-03 | 2012-12-27 | Koh Young Technology Inc | Three-dimensional shape measuring apparatus |
| JP2013104858A (en) * | 2011-11-17 | 2013-05-30 | Ckd Corp | Three-dimensional measuring device |
| CN103162641A (en) * | 2011-12-15 | 2013-06-19 | Ckd株式会社 | Device for measuring three dimensional shape |
| JP2014055810A (en) * | 2012-09-11 | 2014-03-27 | Keyence Corp | Shape measurement device, program embedded therein, and recording medium with program recorded thereon |
| EP2853855A4 (en) * | 2012-05-22 | 2015-09-16 | Koh Young Tech Inc | Height measuring method for three dimensional shape measuring device |
| US20210041231A1 (en) * | 2019-08-06 | 2021-02-11 | Keyence Corporation | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6420530B2 (en) | 2013-06-26 | 2018-11-07 | キヤノン株式会社 | Information processing apparatus, measurement system, control system, light quantity determination method, program, and storage medium |
| JP6144976B2 (en) | 2013-06-26 | 2017-06-07 | キヤノン株式会社 | Information processing apparatus, assembly apparatus, information processing method, and program |
-
2003
- 2003-04-04 JP JP2003101168A patent/JP4077754B2/en not_active Expired - Fee Related
Cited By (29)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101514893B (en) * | 2005-12-14 | 2012-08-08 | 株式会社高永科技 | Three-dimensional shape measuring instrument and method |
| JP2010078619A (en) * | 2005-12-14 | 2010-04-08 | Koh Young Technology Inc | Device and method for measuring three-dimensional shape |
| JP2013257340A (en) * | 2005-12-14 | 2013-12-26 | Koh Young Technology Inc | Three-dimensional shape measuring apparatus and method |
| DE102006059132B4 (en) * | 2005-12-14 | 2012-12-06 | Koh Young Technology Inc. | Three-dimensional image measuring method |
| US8319977B2 (en) | 2005-12-14 | 2012-11-27 | Koh Young Technology Inc. | 3D image measuring apparatus and method thereof |
| JP2010243508A (en) * | 2006-01-26 | 2010-10-28 | Koh Young Technology Inc | Method for measuring three-dimensional shape |
| JP2008157797A (en) * | 2006-12-25 | 2008-07-10 | Matsushita Electric Works Ltd | Three-dimensional measuring method and three-dimensional shape measuring device using it |
| JP2009098044A (en) * | 2007-10-18 | 2009-05-07 | Nikon Corp | Shape measuring device |
| JP2009264862A (en) * | 2008-04-24 | 2009-11-12 | Panasonic Electric Works Co Ltd | Three-dimensional shape measuring method and device |
| JP2010014505A (en) * | 2008-07-03 | 2010-01-21 | Nikon Corp | Three-dimensional shape measuring apparatus and three-dimensional shape measurement method |
| JP2010243438A (en) * | 2009-04-09 | 2010-10-28 | Nikon Corp | Apparatus and method for three-dimensional shape measurement |
| JP2010271316A (en) * | 2009-05-21 | 2010-12-02 | Koh Young Technology Inc | Device and method for measuring shape |
| US9275292B2 (en) | 2009-05-21 | 2016-03-01 | Koh Young Technology Inc. | Shape measurement apparatus and method |
| JP2010276607A (en) * | 2009-05-27 | 2010-12-09 | Koh Young Technology Inc | Apparatus and method for measuring three-dimensional shape |
| US8878929B2 (en) | 2009-05-27 | 2014-11-04 | Koh Young Technology Inc. | Three dimensional shape measurement apparatus and method |
| JP2010276582A (en) * | 2009-06-01 | 2010-12-09 | Kurabo Ind Ltd | Noncontact shape measuring device and noncontact shape measuring method |
| JP2012255792A (en) * | 2009-07-03 | 2012-12-27 | Koh Young Technology Inc | Three-dimensional shape measuring apparatus |
| KR101196219B1 (en) | 2010-02-01 | 2012-11-05 | 주식회사 고영테크놀러지 | Method for measuring height of a measuring target in a three dimensional shape measurment apparatus and three dimensional shape measurment apparatus using the same |
| KR101164208B1 (en) * | 2010-04-19 | 2012-07-10 | 주식회사 고영테크놀러지 | Board inspection apparatus |
| JP2012112952A (en) * | 2010-11-19 | 2012-06-14 | Koh Young Technology Inc | Method and apparatus of profiling surface |
| US8982330B2 (en) | 2010-11-19 | 2015-03-17 | Koh Young Technology Inc. | Method and apparatus of profiling a surface |
| JP2013104858A (en) * | 2011-11-17 | 2013-05-30 | Ckd Corp | Three-dimensional measuring device |
| CN103162641A (en) * | 2011-12-15 | 2013-06-19 | Ckd株式会社 | Device for measuring three dimensional shape |
| US9243899B2 (en) | 2012-05-22 | 2016-01-26 | Koh Young Technology Inc. | Method of measuring a height of 3-dimensional shape measurement apparatus |
| EP2853855A4 (en) * | 2012-05-22 | 2015-09-16 | Koh Young Tech Inc | Height measuring method for three dimensional shape measuring device |
| JP2014055810A (en) * | 2012-09-11 | 2014-03-27 | Keyence Corp | Shape measurement device, program embedded therein, and recording medium with program recorded thereon |
| US9404739B2 (en) | 2012-09-11 | 2016-08-02 | Keyence Corporation | Shape measuring device, program installed into this device, and recording medium storing this program |
| US20210041231A1 (en) * | 2019-08-06 | 2021-02-11 | Keyence Corporation | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device |
| US11493331B2 (en) * | 2019-08-06 | 2022-11-08 | Keyence Corporation | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4077754B2 (en) | 2008-04-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4077754B2 (en) | 3D shape measuring device | |
| US10706562B2 (en) | Motion-measuring system of a machine and method for operating the motion-measuring system | |
| US8243286B2 (en) | Device and method for the contactless detection of a three-dimensional contour | |
| US9488472B2 (en) | Apparatus and method for measuring a three dimensional shape | |
| US8923603B2 (en) | Non-contact measurement apparatus and method | |
| TWI660212B (en) | Auto-focus system | |
| US7679723B2 (en) | Measuring device and method that operates according to the basic principles of confocal microscopy | |
| KR100729290B1 (en) | Phase profilometry system with telecentric projector | |
| US6549288B1 (en) | Structured-light, triangulation-based three-dimensional digitizer | |
| US20150015701A1 (en) | Triangulation scanner having motorized elements | |
| KR101639227B1 (en) | Three dimensional shape measurment apparatus | |
| JP3855756B2 (en) | 3D color shape detection device and 3D scanner | |
| KR20130140203A (en) | Optical measurement method and measurement system for determining 3d coordinates on a measurement object surface | |
| KR20110119531A (en) | Shape measuring device and calibration method | |
| JPH0616799B2 (en) | Optical probe for three-dimensional survey of teeth in the oral cavity | |
| JP3878165B2 (en) | 3D measuring device | |
| US11493331B2 (en) | Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, three-dimensional shape measuring computer-readable storage medium, and three-dimensional shape measuring computer-readable storage device | |
| JP5770495B2 (en) | Shape measuring device and lattice projection device | |
| JP2009036589A (en) | Target for calibration and device, method and program for supporting calibration | |
| JP4133753B2 (en) | Method of measuring optical interference of detour surface and interferometer device for detour surface measurement | |
| JP2004191240A (en) | Instrument for measuring three-dimensional shape | |
| JP2009025189A (en) | Measuring instrument | |
| JP3921547B2 (en) | Shape measuring method and apparatus using line sensor and line projector | |
| JP2011021970A (en) | Three-dimensional shape measuring device and three-dimensional shape measuring method | |
| JPH08327324A (en) | Registering apparatus |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060316 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060316 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071115 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071120 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071228 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080129 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080201 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4077754 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110208 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120208 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130208 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140208 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |