JP2006003276A

JP2006003276A - ３次元形状計測システム

Info

Publication number: JP2006003276A
Application number: JP2004181563A
Authority: JP
Inventors: Koji Fujiwara; 浩次藤原; Takanobu Oshima; 隆信尾島
Original assignee: Konica Minolta Opto Inc
Current assignee: Konica Minolta Opto Inc
Priority date: 2004-06-18
Filing date: 2004-06-18
Publication date: 2006-01-05

Abstract

【課題】パターン光を投影した試料の画像に、フーリエ変換を施し位相を求め、それをもとに試料の３次元形状を計測する装置において、入力する画像の枚数を削減し、計測時間の短縮を図る。
【解決手段】基準平板１に表示された基準パターンがカメラ５で撮像される。そして、得られた表示画像に対して、フーリエ変換位相シフト法を用いることで表示位相画像が求められる。同様に、基準平板１及び試料にプロジェクタ６から投影された投影パターンが撮像された画像をもとに、それぞれ投影位相画像及び試料位相画像が求められる。このとき、試料画像を撮像する際の位相シフトを、Ｘ方向のみに限定する。そして、得られたＸ方向のみの試料位相画像をもとに、試料の３次元形状が求められる。
【選択図】図７

Description

本発明は、試料の３次元形状を光学的手段を用いて非接触で計測する形状計測システムに関する。さらに詳しくは、パターン光を試料に投影し、その光学像を撮像した画像情報に処理を施して、試料の形状を計測する３次元形状計測システムに関する。

従来、物体の３次元形状を非接触で計測する方法として、物体に投影した格子パターンから得られる位相分布を解析する方法、いわゆる格子投影法がよく知られている。この方法に係る計測装置の基本構成は、３次元物体（試料）、プロジェクタ及びカメラである。このとき、カメラは、プロジェクタ及び試料の略中心を含む水平面上に位置しており、プロジェクタとは異なる場所に置かれている。

この構成において、まず、プロジェクタから試料に格子パターンが投影される。この格子パターンは、通常、正弦波的な照度分布を有している。続いて、格子パターンを投影された試料の像（試料画像）がカメラで撮像される。そして、その試料画像から投影位相値が求められ、続いてその値が解析されることにより、試料の３次元形状が求められる。しかし、この方法では、カメラとプロジェクタのレンズ収差の影響が入るため、計測結果に歪みが生じてしまう。

この問題点を解決し、試料の格子画像を直接３次元座標計算に用いることで、レンズ収差が全く影響しない形状計測方法が、特許文献１に開示されている。この特許文献１に係る方法を説明するにあたり、基準平板（又は試料）、プロジェクタ及びカメラの中心が同一水平面上に載っているものとし、基準平板面に垂直な方向をＺ方向とする。そして、Ｚ方向に垂直でその基準平板内における水平方向をＸ方向、それに垂直な方向（鉛直方向；試料、プロジェクタ及びカメラの中心が載る水平面の法線方向）をＹ方向とする（図１参照）。

この構成において、まず、プロジェクタから試料に格子パターンが投影される。続いて、前記格子パターンを投影された試料画像がカメラで撮像される。このような撮像動作が、格子パターンの位相を少しずつシフトさせつつ、連続的に行われる。こうして得られた試料画像にフーリエ変換を施すことで、試料の位相画像が得られる。このとき、前記位相シフトを、Ｘ方向及びＹ方向の２方向について実行させることで、それぞれＸ位相画像及びＹ位相画像の２枚の位相画像が得られる。特許文献１に係る方法は、これら２枚の位相画像と、予め求めておいた基準平板位置における位相画像とを照合することで、カメラ視線l_C及びプロジェクタ投影線ｌ_Pと基準平板との交点（Ｃ₀，Ｐ₀）を求めるものである。試料の表面上において任意に定められた点Ｓの位置座標は、このカメラ視線とプロジェクタ投影線との交点位置座標として求められる。注目する試料の表面上の点を変え、以上の工程を繰り返すことで、試料表面の３次元形状を求めることができる。
特開平１０−９６６０６号公報

特許文献１に係る方法では、Ｘ及びＹ方向のそれぞれにおける試料画像を撮像し、それを解析することでＸ及びＹ方向のそれぞれにおける試料位相画像を得ている。しかし、１枚の試料位相画像を得るためには、投影される格子パターンの位相を少しずつシフトさせて撮像された、多数枚（この枚数をＮとする）の試料画像が必要である。ここで１回の位相シフト量をΔとすると、試料画像の枚数Ｎは２π／Δとなる（２πがΔの倍数のとき）。精密な位相画像を得ようとすれば、位相シフト量Δを小さく選ぶ必要があるが、その場合、必要な試料画像の枚数Ｎはそれに応じて増大していく。格子投影法においては、最も時間を要するのは、この試料画像を得る過程、つまり試料に投影された格子パターンを撮像する過程である。したがって、精密な位相画像を得ようとすれば、多大な計測時間を要するのみならず、記憶すべき試料画像の枚数が増えるためにメモリの必要量も増大するという問題点があった。

本発明はこのような状況に鑑みてなされたものであり、試料画像を撮像する際の位相シフトをＸ方向のみに限定し、その試料画像から得られたＸ方向のみの試料位相画像から、試料の３次元形状を求めることを目的とする。

請求項１記載の発明は、基準平板に周期的な基準パターンを表示する基準パターン表示手段と、周期的なパターン光を前記基準平板又は試料に投影するパターン光投影手段と、前記基準パターン表示手段により表示された前記基準平板上の前記基準パターンと、前記パターン光投影手段により投影された前記基準平板上の前記パターン光と、前記パターン光投影手段により投影された前記試料上の前記パターン光とを撮像し、それぞれ表示画像、投影画像及び試料画像とを取得する撮像手段と、前記表示画像に基づいて、各画素に対応する視線位置の情報を算出し、画素の位置に対応させて記憶する視線情報記憶手段と、前記表示画像及び投影画像に基づいて、前記パターン光の位置情報と識別情報とを、画素の位置に対応させて記憶するパターン光情報記憶手段と、前記試料画像上の画素に写されている一の方向の前記パターン光の情報に対応する情報を前記パターン光情報記憶手段から抽出し、前記一の方向の前記パターン光のサブセットを特定するサブセット特定手段と、前記視線情報記憶手段及び前記サブセット特定手段からの情報に基づいて、前記試料画像上の画素に写されている試料上の点の３次元座標を算出する第１の３次元座標算出手段とを備えることを特徴とする３次元形状計測システムである。

この構成において、まず、基準パターン表示手段により、基準平板に周期的な基準パターンが表示される。ここで、周期的な基準パターンとは、例えば、三角波や矩形波、又は正弦波などである。その基準平板上の光学像は撮像手段により撮像され、表示画像として記憶される。次に、パターン光投影手段により、周期的なパターン光が基準平板に投影される。ここで、周期的なパターン光とは、例えば、三角波や矩形波、又は正弦波などの照度分布を持つ光線のことである。その基準平板上の光学像は撮像手段により撮像され、投影画像として記憶される。そして、パターン光投影手段により、周期的なパターン光が試料に投影される。その試料上の光学像は撮像手段により撮像され、試料画像として記憶される。

続いて、視線情報記憶手段により、得られた表示画像をもとに、視線が基準平板と交わる３次元座標等の情報が算出され、画素の位置に対応させて記憶される。また、パターン光情報記憶手段により、表示画像及び投影画像をもとに、パターン光の位置情報と識別情報とが、画素の位置に対応させて記憶される。ここで、パターン光の位置情報とは、パターン光が通る空間座標等を表し、該空間座標は、前記表示画像に基づいて求められる。また、パターン光の識別情報とは、パターン光の位相とパターン光の位置情報とを関係付けるものであり、これは表示画像及び投影画像に基づいて求められる。

次に、サブセット特定手段により、試料画像上の画素に対応する一の方向のパターン光のサブセットが特定される。ここで、パターン光のサブセットとは、所定の条件（制約）を満たすようなパターン光の光線の集まりのことである。そして、最後に、第１の３次元座標算出手段により、視線情報記憶手段及びサブセット特定手段からの情報をもとに、試料画像上の画素に写されている試料上の点の３次元座標が算出される。ここでは、例えば、視線を表す直線と、特定されたサブセットにより形成される平面との交点を求めることなどが行われる。この構成により、本発明において試料画像を得る際には、例えばＸ方向についてしか計測を要しない。

従来技術においては、独立な２方向、例えばＸ方向及びＹ方向において試料画像の撮像が行われ、Ｘ、Ｙの異なるサブセットが特定されていた。そして、空間の特定のポイントを通るパターン光をそれらサブセットの交点として求めていた。しかし、計測時に最も時間を要するのは、その試料画像の撮像を行う過程である。したがって、本発明によれば、計測時に入力すべき画像枚数が半分に削減可能となり、１回にかかる計測時間も略半分に短縮され得る。

請求項２記載の発明は、請求項１記載の３次元形状計測システムにおいて、サブセット特定手段は、パターン光情報記憶手段から抽出された情報が、パターン光の識別情報に基づくことを特徴とする。

この構成では、請求項１記載の発明において、試料画像上の画素に写されているパターン光のサブセットを特定する際、表示画像及び投影画像をもとにして求められた識別情報、つまりパターン光の位相と位置とを関係付ける情報を用いている。そのため、これらパターン光群と視線との交点、つまり試料の３次元座標を求める際の探索工程を系統的に行うことが可能となり、処理が容易になり得る。

請求項３記載の発明は、請求項１記載の３次元形状計測システムにおいて、サブセット特定手段は、基準平板、パターン光投影手段及び撮像手段の光学的な配置に課せられる制約に基づくことを特徴とする。

この構成では、請求項１記載の発明において、試料画像上の画素に写されているパターン光のサブセットを特定する際、基準平板、パターン光投影手段及び撮像手段の光学的な配置に課せられる制約に基づいている。この制約を満たすパターン光は所定の平面上に載ることになるので、その平面内でのみ位相探索を行えばよく、処理が容易になり得る。

請求項４記載の発明は、請求項３記載の３次元形状計測システムにおいて、パターン光情報記憶手段は、パターン光の位置情報から識別情報が得られるように構造化して記憶することを特徴とする。

この構成によれば、パターン光情報記憶手段において、表示画像及び投影画像をもとに、パターン光の位置情報と識別情報とが画素の位置に対応させて記憶される。このとき、パターン光の位置情報を与えれば識別情報が得られるように、構造化（マップ化）して記憶される。そのため、計算時間の中で最も時間を要していた位相探索を短時間で遂行し得る。

請求項５記載の発明は、基準平板に周期的な基準パターンを表示する基準パターン表示手段と、周期的なパターン光を前記基準平板又は試料に投影するパターン光投影手段と、前記基準パターン表示手段により表示された前記基準平板上の前記基準パターンと、前記パターン光投影手段により投影された前記基準平板上の前記パターン光と、前記パターン光投影手段により投影された前記試料上の前記パターン光とを撮像し、それぞれ表示画像、投影画像及び試料画像とを取得する撮像手段と、前記表示画像に基づいて、各画素に対応する視線位置の情報を算出し、画素の位置に対応させて記憶する視線情報記憶手段と、前記表示画像及び投影画像に基づいて、前記パターン光の識別情報から位置情報が得られるように構造化して記憶する構造化記憶手段と、前記構造化記憶手段からの情報に基づいて、前記試料画像上の画素に写されている前記パターン光の１本の光線を特定するパターン光特定手段と、前記視線情報記憶手段及び前記パターン光特定手段からの情報をもとに、前記試料画像上の画素に写されている試料上の点の３次元座標を算出する第２の３次元座標算出手段とを備えることを特徴とする３次元形状計測システムである。

この構成において、まず、基準パターン表示手段により、基準平板に周期的な基準パターンが表示される。ここで、周期的な基準パターンとは、例えば、三角波や矩形波、又は正弦波などである。その基準平板上の光学像は撮像手段により画像入力（光学像が撮像され、その撮像された画像が取得される）され、表示画像として記憶される。次に、パターン光投影手段により、周期的なパターン光が基準平板に投影される。ここで、周期的なパターン光とは、例えば、三角波や矩形波、又は正弦波などの照度分布を持つ光線のことである。その基準平板上の光学像は撮像手段により画像入力され、投影画像として記憶される。そして、パターン光投影手段により、周期的なパターン光が試料に投影される。その試料上の光学像は撮像手段により画像入力され、試料画像として記憶される。

続いて、視線情報記憶手段により、得られた表示画像をもとに、視線が基準平板と交わる３次元座標等の情報が算出され、画素の位置に対応させて記憶される。また、構造化記憶手段により、表示画像及び投影画像をもとに、パターン光の位置情報と識別情報とが画素の位置に対応させて記憶される。このとき、識別情報を与えればパターン光の位置情報が得られるように、構造化（マップ化）して記憶される。ここで、パターン光の位置情報とは、パターン光が通る空間座標等を表し、これは表示画像をもとに、それに所定の演算を行うことで求められる。また、パターン光の識別情報とは、パターン光の位相とパターン光の位置情報とを関係付けるものであり、これは表示画像及び投影画像をもとにして求められる。これにより、パターン光を識別し、１つのパターン光を指定することが可能となる。

次に、パターン光特定手段により、試料画像上の画素に写されているパターン光が１本に特定される。これは、構造化記憶手段において、識別情報を与えることで、直接的にパターン光の位置情報が得られるマップを用いているためである。そのため、計算時間の中で最も時間を要していた位相探索を短時間で遂行し得る。

そして、最後に、第２の３次元座標算出手段により、視線情報記憶手段及びパターン光特定手段からの情報をもとに、試料画像上の画素に写されている試料上の点の３次元座標が算出される。

請求項６記載の発明は、請求項１又は５に記載の３次元形状計測システムにおいて、基準パターンは、正弦波に従う輝度分布を有することを特徴とする。

この構成によれば、表示画像から位相値が計算される際の計算が容易になり得る。これは、通常、画像から位相値を求める際にフーリエ変換が用いられるためである。また、基準平板に表示される基準パターンが正弦波に従う輝度分布を有する場合、フーリエ変換後のスペクトルには、理想的な状態ではその正弦波の周波数（基本周波数）位置の成分のみが現れる。しかし、現実のデータには、計測時における様々な雑音（ノイズ）が重畳するために、基本周波数以外の周波数成分も同時に現れる。ここで、基準パターンに対応する基本周波数はわかるので、これら雑音に対応する周波数成分は容易に取り除くことができる。そのため、この構成によれば、雑音の少ない、精度の高い計測を行い得る。

請求項７記載の発明は、請求項１又は５に記載の３次元形状計測システムにおいて、パターン光は、正弦波に従う照度分布を有することを特徴とする。

この構成によれば、投影画像から位相値が計算される際の計算が容易になり得る。これは、通常、画像から位相値を求める際にフーリエ変換が用いられるためである。また、基準平板に投影される周期的なパターンが正弦波に従う照度分布を有する場合、フーリエ変換後のスペクトルには、理想的な状態ではその正弦波の周波数（基本周波数）位置の成分のみが現れる。しかし、現実のデータには、計測時における様々な雑音（ノイズ）が重畳するために、基本周波数以外の周波数成分も同時に現れる。ここで、基準パターンに対応する基本周波数はわかるので、これら雑音に対応する周波数成分は容易に取り除くことができる。そのため、この構成によれば、雑音の少ない、精度の高い計測を行い得る。

請求項１記載の発明によれば、３次元形状計測における計測時間を短縮することが可能となる。校正データを作成する工程は、実際の試料の計測に入る前に一度だけ行っておけばよいので、それほど時間を気にしなくてもよい。それに対して、実際の計測データを得る工程においては、所定のパターン光の位相を順次シフトさせながら投影し、その画像を取り込むということを繰り返して行わなければならない。そのため、この工程が３次元形状計測において最も時間を要する過程となっていた。

本発明においては、例えば、位相シフトはＸ方向についてのみ実行すれば足りるので、試料の計測データを得るのに要する時間を半分に削減することができる。さらに、記憶すべきデータが少なくて済むために、必要なメモリ量を削減することができる。一般に、コンピュータによる計算時間はデータ量の冪に比例して増加するので、必要データ量が少なくて済む本発明では、計算時間の短縮も同時に実現される。

請求項２記載の発明によれば、試料画像上の画素に写されているパターン光のサブセットを特定する際、表示画像及び投影画像をもとにして求められた識別情報、つまりパターン光の位相と位置とを関係付ける情報を用いている。そのため、これらパターン光群と視線との交点、つまり試料の３次元座標を求める際の探索工程を系統的に行うことが可能となる。したがって、探索工程が容易になり、計算時間を削減することができる。

請求項３記載の発明によれば、試料画像上の画素に写されているパターン光のサブセットを特定する際、基準平板、パターン光投影手段及び撮像手段の光学的な配置に課せられる制約に基づいている。この制約を満たすパターン光はある平面上に載ることになるので、その平面内でのみ位相探索を行えばよい。したがって、位相探索の工程が容易になり、計算時間を削減することができる。

請求項４記載の発明によれば、３次元形状計測における計算時間を短縮することが可能となる。本発明においては、例えば、表示画像及び投影画像をもとに、パターン光の位置情報と識別情報とが画素の位置に対応させて記憶される。このとき、パターン光の位置情報を与えれば識別情報が得られるように、構造化（マップ化）して記憶されているので、パターン光の位置情報から位相を特定することができる。これにより、位相探索に要する時間を削減することができる。さらに、表示画像及び投影画像の２枚の画像から１枚のマップを作成しているため、記憶すべきデータが少なくて済む。これにより、必要なメモリ量を削減することができる。

請求項５記載の発明によれば、３次元形状計測における計算時間を短縮することが可能となる。本発明においては、例えば、表示画像及び投影画像をもとに、パターン光の位置情報と識別情報とが画素の位置に対応させて記憶される。このとき、識別情報を与えればパターン光の位置情報が得られるように、構造化（マップ化）して記憶されているので、試料画像上の画素に写されているパターン光を１本に特定することができる。これにより、位相探索に要する時間を削減することができる。さらに、表示画像及び投影画像の２枚の画像から１枚のマップを作成しているため、記憶すべきデータが少なくて済む。これにより、必要なメモリ量を削減することができる。

請求項６記載の発明によれば、基準平板に表示される基準パターンが正弦波に従う輝度分布を有するので、表示画像から位相値を求める際のフーリエ変換の計算、及びその後の処理が容易になる。通常、周期関数であればフーリエ変換を行い、その関数を構成する周波数を取り出すことは可能である。しかし、その関数が複雑になると、フーリエ変換後のスペクトルには多くの周波数成分が現れるため、その後の処理が煩雑になってしまう。

この点、正弦波を用いれば、フーリエ変換後のスペクトルには、理想的な状態ではその正弦波の周波数（基本周波数）しか現れない。そのため、フーリエ変換の計算自体の高速化が可能である。さらに、取り出された１つの周波数のみに注目して以後の処理を行えばよいので、作業効率が上がる。さらには、計測データに重畳した様々な雑音は、フーリエ変換後のスペクトルに基本周波数以外の周波数成分として現れるので、これら雑音に対応する周波数成分は容易に取り除くことができる。そのため、この構成によれば、雑音の少ない、精度の高い計測が可能となる。

請求項７記載の発明によれば、基準平板に投影される周期的なパターンが正弦波に従う照度分布を有するので、投影画像から位相値を求める際のフーリエ変換の計算、及びその後の処理が容易になる。通常、周期関数であればフーリエ変換を行い、その関数を構成する周波数を取り出すことは可能である。しかし、その関数が複雑になると、フーリエ変換後のスペクトルには多くの周波数成分が現れるため、その後の処理が煩雑になってしまう。

本発明の３次元形状計測システムについて、図を用いて説明していく。本システムは、動作モードで大別すると、校正データを作成するための校正モード、試料の光学像を画像入力する計測モード、そして、校正モード及び計測モードで得られた位相画像から試料の３次元座標を求める解析モードに区別される。以下、これら動作モードに関連づけて、実施形態について説明する。

［実施形態１］
図１は、本発明に係る形状計測システムの一実施形態における、校正データ作成時（校正モード）の配置図である。このシステムは、基盤４の上面に設けられた１軸テーブル３に取り付けられた基準平板１と、基準平板１の表示（又は投影）部分側（図の手前側）に配置されたカメラ５及びプロジェクタ６と、基準平板１の基盤４上における前後動、並びにカメラ５及びプロジェクタ６の動作を制御するコンピュータ１０とから構成されている。（図１では、基準平板１は基盤４を介してコンピュータ１０に接続されている。）

基準平板１は、例えばLCD（Liquid Crystal Display）等の表示装置であり、１軸テーブル３の長さ方向に沿って移動させられる。このとき、基準平板１の法線方向と１軸テーブル３の長さ方向が一致していることが望ましい。これにより、基準平板１は、その面に垂直な１軸方向の移動が可能となる。また、基準平板１は、所定の基準パターン２を表示する表示部を備え、該表示部は、コンピュータ１０からの信号により前記基準パターン２を表示したり、その表示を停止したりできるように構成されている。

基準パターン２は、校正データを作成する際に基準平板１に表示される、周期的なパターンである。この基準パターン２は、三角波、矩形波等の周期関数であれば構わないが、撮像された画像から位相を求める際にフーリエ変換を用いているため、正弦波であることがより望ましい。正弦波であれば、フーリエ変換を施して得られる周波数は１つであり、容易に雑音（ノイズ）を取り除くことができるからである。それに対して、三角波や矩形波等の周期関数では、フーリエ変換を施した際に複数の周波数が現れてしまうため、雑音（ノイズ）との識別が困難になる傾向がある。また、図１には、基準パターン２としてＹ方向に伸びた等間隔の直線（輝度の最も高い部分を表している。）が複数本描かれている。本明細書においては、この方向の画像をＸ画像、これに垂直でＸ方向に伸びた直線をＹ画像と表現する。これは、例えばＸ画像であれば、Ｘ方向に沿って基準パターンの位相が変化していくことを表すためである。

１軸テーブル３は、基準平板１が１軸テーブル３の長さ方向に沿って移動する際のガイドとしての役割を果たす。そして、この１軸テーブル３には目盛りが刻まれており、その値を読むことで、基準平板１の基盤４上での位置が計測される。

基盤４は、コンピュータ１０からの信号により、基準平板１を１軸テーブル３の長さ方向に駆動させる。

プロジェクタ６は、基準平板１又は試料に、周期的なパターンの光線を投影する装置である。その周期的なパターンは図略の投影スライドに描かれており、光源から放出された光により投影される。そのため、このプロジェクタ６は、基準平板１の表示部分の略全体に投影できる位置に固定されることが望ましい。また、投影パターンの位置を調節するために、図略の投影スライドは図略の２軸マイクロステージに取り付けられている。さらに、プロジェクタ６にはシャッタ機能が付加されており、コンピュータ１０からの信号により開閉できるように構成されている。

カメラ５は、撮像素子としてCCD （Charge Coupled Devices）やCMOS（Complementary Metal Oxide Semiconductor）等の半導体素子を備えており、撮影された映像を電気信号に変換し、それを画素ごとにデジタルデータとして記憶するものである。このカメラ５により、基準平板１に表示された基準パターン２、及びプロジェクタ６により投影された周期的なパターンが撮像される。さらに試料計測時（計測モード）には、プロジェクタ６により試料に投影された周期的なパターンも撮像される。そのため、カメラ５は、基準平板１の表示部分の略全体を撮影できる位置に固定されることが望ましい。また、カメラ５はコンピュータ１０からの信号により、画像入力を行うように構成されている。

コンピュータ１０は、基準平板１、基盤４、カメラ５及びプロジェクタ６に接続されており、これらの機能を制御している。さらに、このコンピュータ１０においては、カメラ５で撮像された画像が記憶され、それをもとにした位相の算出や、対応する位相の探索のための演算が行なわれる。

以上の基準平板１、カメラ５及びプロジェクタ６の中心は、設定を簡易にするために略同一平面に載っていることが望ましい。本実施形態においては、この平面は基盤４の上面と平行であるとする。以下、本明細書においては、基準平板１の法線方向をＺ方向、それに垂直で基準平板１の面内に、図１のようにＸ方向及びＹ方向を設定する。したがって、
基準平板１、カメラ５及びプロジェクタ６の中心を通る平面内にＸ方向があり、Ｙ方向はこの平面に垂直な方向（法線方向）である。

また、本実施形態においては、基準平板１の位置を変えて、２箇所において校正データを作成する。以下、図１の奥側と手前側の基準平板１の位置を、それぞれＲ₀、Ｒ₁という記号を用いて表現する。

次に、試料の形状計測を行う場合の配置図を図２に示す。基本的な配置は図１と同じであるが、図１の基準平板１及び基盤４等の代わりに、計測対象である試料７が置かれている。このとき、試料７の計測すべき表面は、図１の基準平板１の位置Ｒ₀とＲ₁の間にあることが必要である。

以下に、これら図１及び図２を用いて、校正データ及び計測データを作成する際の流れ（校正モード及び計測モード）を説明する。いずれのモードにおいても、撮像された画像から求められた位相と、それに対応する画素の位置とが共に記憶された「位相画像」を求めることが目的である。

はじめに、図１を用いて、校正モードについて説明する。この校正モードにおける位相画像は、以下に説明するように、基準パターンを撮像した表示画像から求められる表示位相画像と、プロジェクタ６による投影パターンを撮像した投影画像から求められる投影位相画像の２種類から成る。

まず、表示位相画像を求める過程を説明する。基準平板１は、図１の位置Ｒ₀に固定されている。ここで、プロジェクタ６のシャッタは閉じられており、プロジェクタ６からのパターン光は基準平板１には投影されていないとする。また、基準平板１には、図１に示したような基準パターン２としてのＸ方向の表示画像（Ｘ表示画像）が表示される。ここで図上ではただのＹ方向に伸びた直線で表現してあるが、この輝度分布は正弦波に従うものとする。つまり、この図では、もっとも強度の強い部分のみを直線で表現していることになる。この基準パターン２が表示された状態が、カメラ５により撮像される。

続いて、基準パターン２の位相がわずかにシフトさせられ、そのパターンが基準平板１に表示される。そして、その位相シフト後の基準パターンが表示された状態が、カメラ５により撮像される。以下、この処理がＮ−１回繰り返して行われ、Ｎ枚の表示画像が撮像される。ここで、１回の位相シフト量をΔとすると、Ｎは２π／Δとなる（２πがΔの倍数のとき）。つまり、わずかな位相シフトを繰り返し行い、その累積分が１周期（２π）になるまで処理が継続される。なお、精密な位相画像が必要な場合は、位相シフト量Δを小さく選ぶようにする。

このＮ枚の表示画像に対してフーリエ変換を施すことで、１枚の表示位相画像が得られる。この方法は、通常、フーリエ変換位相シフト法と呼ばれる。ここではＸ方向に位相シフトしているので、得られた位相画像を「Ｘ表示位相画像」と呼ぶことにする。

引き続き同様の工程をＹ方向についても行う。つまり、今度は基準平板１にＹ方向の表示画像（Ｙ表示画像）が表示され、位相シフトをさせたＮ枚の表示画像が順次カメラ５により撮像される。そのＮ枚の表示画像に対してフーリエ変換を施すことで、１枚の「Ｙ表示位相画像」が得られる。以上で、位置Ｒ₀における計測は終了する。

続いて、基準平板１が図１の位置Ｒ₁に移動させられ、そこで固定される。そして、この位置でも上記と同様の工程が行われ、位置Ｒ₁におけるＸ表示位相画像及びＹ表示位相画像が得られる。つまり、ここまでの過程では、基準平板の位置Ｒ₀及びＲ₁におけるＸ及びＹ両方向における表示位相画像が合わせて４枚得られることになる。このＸ及びＹ表示位相画像は、カメラ５の画素位置と基準パターン２の位相とを関係付ける役割を果たす。

次に、校正モードにおける、投影位相画像を求める過程を説明する。基準平板１は、図１の位置Ｒ₀に固定されている。今度は、基準平板１の表示はオフになっているが、プロジェクタ６のシャッタは開かれている。そのため、プロジェクタ６からのパターン光が基準平板１に投影される。この場合も前述したＸ及びＹ表示画像からＸ及びＹ表示位相画像を求めたときと同じ手順により、Ｘ及びＹ投影画像から、位置Ｒ₀におけるＸ及びＹ投影位相画像が求められる。

続いて、基準平板１が図１の位置Ｒ₁に移動させられ、そこで固定される。そして、この位置でも同様の工程が行われ、位置Ｒ₁におけるＸ及びＹ投影位相画像が求められる。つまり、この過程では、基準平板の位置Ｒ₀及びＲ₁におけるＸ及びＹ両方向における投影位相画像が合わせて４枚得られることになる。このＸ及びＹ投影位相画像は、カメラ５の画素位置と投影パターンの位相とを関係付ける役割を果たす。以上説明した校正モードは、試料の形状計測に入る前に一度だけ行っておけばよいものである。

次に、図２を用いて、計測モードについて説明する。図1における基準平板１、１軸テーブル３及び基盤４の代わりに、３次元形状を計測する対象である試料７を配置する。この計測モードにおける位相画像は、以下に説明するように、試料７へのプロジェクタ６による投影パターンを撮像した試料画像から求められる試料位相画像である。

まず、プロジェクタ６の光源がオンにされ、そこからのパターン光が試料７に投影される。そして、Ｘ方向に位相シフトをさせたＮ枚の試料画像が順次カメラ５により撮像される。そのＮ枚の試料画像に対してフーリエ変換位相シフト法を用いて、Ｘ試料画像からＸ試料位相画像が求められる。従来は、さらにＹ試料画像からＹ試料位相画像を求めていたが、本発明においてはこの工程を行うことを要しない。つまり、この過程では、Ｘ方向における試料位相画像１枚のみが得られることになる。このＸ試料位相画像は、カメラ５の画素の位置と試料７に投影されたパターン光の位相とを関係付ける役割を果たす。

以下、これら校正モード及び計測モードで得られた位相画像から、試料の３次元座標を求める手順について説明する。図３は、校正モードで得られた表示位相画像及び投影位相画像、さらに計測モードで得られた試料位相画像を模式的に表した図である。ここで、前述したように、表示位相画像及び投影位相画像は、Ｘ方向及びＹ方向の両方向のものがそれぞれ１枚ずつあるが（ただし、図３にはＸ方向の画像のみを示す。）、試料位相画像はＸ方向のもののみである。いずれの位相画像においても、それらは微小な画素によって構成されており、それら画素の１つ１つに対してフーリエ変換後の位相の値が対応させられて表示されている。

まず、試料の上の３次元座標を求めるべき点を指定する。ここでは、図３のＸ試料位相画像における点Ｓの座標を求めるものとする。簡単のために点Ｓの大きさを無視すると、点Ｓが写されている画素が１つ決まる。そして、その画素位置（ｉ_S，ｊ_S）に対応して、Ｘ試料位相画像から位相φ_SXが定まる。本発明においては、Ｙ試料位相画像を求めず、一の方向の投影位相画像（Ｘ試料位相画像）から、３次元座標を求める構成であるので、位相φ_SYは一意には定まらない。

次に、図１におけるカメラ視線ｌ_Cと基準平板との交点Ｃ₀（又はＣ₁）を求める手順について説明する。ここで、カメラ視線ｌ_Cとは、カメラの１つの画素に注目したときに、焦点とこの注目画素とを結んでできる直線のことである。また、基準平板は位置Ｒ₀にあるものとし、図３の各位相図は位置Ｒ₀におけるものとする。つまり、ここで求められる交点は図１におけるＣ₀である。

まず、図３において、点Ｓが写されているＸ試料位相画像上の画素位置（ｉ_S，ｊ_S）と同じ座標が、Ｘ表示位相画像から探索され、その点の位相が読み取られる（図３の矢印（ａ））。このとき、表示位相画像は、Ｘ及びＹ方向のものがそれぞれ１枚ずつあるので、Ｘ表示位相画像からはＸ方向の位相が、Ｙ表示位相画像からはＹ方向の位相がそれぞれ読み取られる。基準平板に表示された基準パターンが周期的、つまり等ピッチであれば、読み取られた位相値を所定の定数倍することで、容易に空間座標（のＸ及びＹ成分）に変換できる。Ｚ成分は、基準平板の位置Ｒ₀である。これでカメラ視線ｌ_Cと基準平板との交点Ｃ₀の３次元座標が求められる。また、同様にして、位置Ｒ₁における表示位相画像を用いれば、交点Ｃ₁を求めることができる。これにより、空間上の２点Ｃ₀及びＣ₁が定まるので、これらを通る直線としてカメラ視線ｌ_Cが決定される。

続いて、図１におけるプロジェクタ投影線と基準平板との交点Ｐ₀（又はＰ₁）を求める手順について説明する。ここで、プロジェクタ投影線とは、プロジェクタの投影中心を通る直線のことである。つまり、パターン光の１本の光線に相当する。したがって、投影されているパターン光の同位相の点をつないだ曲線は、プロジェクタ投影線を用いて離散的に書き表すことができる。また、ここでは、基準平板は位置Ｒ₀にあるものとする。したがって、求められる交点はＰ₀である。

図３において、まず、点Ｓが写されているＸ試料位相画像上の位相値φ_SXが読み取られる。この位相値と同じ値を持つものが、Ｘ投影位相画像から探索される。しかし、φ_SYの値がわからないため、Ｘ方向の位相がφ_SXと同じ値を持つ画素は１つに決まらない。その結果、それらをつなぐと、例えば図３の投影位相画像内に示したような曲線（φ_SX＝一定）となる（図３の矢印（ｂ））。

前述したように、従来技術ではさらに、点ＳのＹ方向の位相値φ_SYが読み取られ、それと同じ値を持つものが図３のＹ投影位相画像から探索されていた。そして、Ｘ方向と同様、Ｙ方向についても投影位相画像内にφ_SY＝一定を満たす曲線が得られ、それら曲線の交点として対応する画素を１つに決めることができた。しかし、試料画像を得る工程は、通常多くの時間を要するものである。例えば、Ｘ及びＹ方向試料画像を得る工程は、計測及び解析モードに要する時間の８割程度を占めている。残りの２割程度が、フーリエ変換、又は位相探索等に要する時間である。そのため、Ｘ又はＹどちらか一方向でも試料画像を得る工程を省略できれば、計測時間の大幅な削減につながる。本発明において、それを実現させている。

続いて、図３のＸ投影位相画像内にφ_SX＝一定となる曲線を抽出した後、その画素位置と同じ位置の位相をＸ表示位相画像から抽出する（図３の矢印（ｃ））。つまり、図３の表示位相画像と投影位相画像には、同じ位置に同じ形の曲線が描かれることになる。基準平板に投影されたパターンが周期的、つまり等ピッチであれば、抽出された位相値を所定の定数倍することで、容易に空間座標（のＸ及びＹ成分）に変換できる。この変換後の曲線は、プロジェクタ投影線群と基準平板との交線である。したがって、この変換後の曲線上に、プロジェクタ投影線と基準平板との交点Ｐ₀が存在することになる。

これを実空間において立体的に表したものが図４である。この図では簡単のために、位置Ｒ₀及びＲ₁における基準平板の中心とカメラ焦点とが、略同一直線状に載るように描いてある。この図４は、前述の図１の斜視図に相当し、さらにカメラ等の要素の大きさを無視して簡略に表現したものである。カメラから基準板（位置Ｒ₀及びＲ₁）に伸びている点線はカメラの視野を表す。したがって、点線で描かれた基準板上の四角は、カメラの画素に写される領域に相当する。そして、これはカメラ焦点において１つに収束する。

そのカメラとは異なる位置にプロジェクタが配置され、プロジェクタ投影中心から基準平板上にパターン光が投影されている。図４の基準平板上の直線群は、図３のＸ表示位相画像上の曲線に対応しており、後の説明のためにそれを離散的に表したものである。この図においてプロジェクタ投影中心と、基準平板上の直線群とを結んだプロジェクタ投影線群（図４の網掛け部分）がパターン光のサブセットである。ここでは、試料画像上の画素位置（ｉ_S，ｊ_S）に投影されている位相φ_SXを元にサブセットを特定している、つまりパターン光の識別情報に基づいてサブセットを特定している。

また、３次元座標を求めるべき点Ｓは、カメラ視線ｌ_C上の点であり、かつあるプロジェクタ投影線上の点である。点Ｓを指定した時点でカメラ視線ｌ_Cは決まるので、これら２直線の交点を求めるためには、カメラ視線と交わるプロジェクタ投影線を、サブセットを構成する直線群の中から探索することが必要となる。

以下において、カメラ視線ｌ_Cとプロジェクタ投影線群を含む平面との交点を探索し、試料の３次元座標を求める手順の一実施形態について説明する。図５は、カメラ視線ｌ_C、プロジェクタ投影線（図では投影線と略す。）、及び基準平板の位置関係を示す模式図である。そして、図６は、カメラ視線ｌ_Cと、プロジェクタ投影線及び基準平板とで作られる近似四角形との交点を探索するアルゴリズムのフローチャートである。

まず、試料の表面上の点Ｓに注目し、基準平板との交点からカメラ視線ｌ_Cを表す直線を求める。基準平板が位置Ｒ₀又はＲ₁にあるときの交点を図１同様、Ｃ₀及びＣ₁とすると、これら２点を通る直線として、カメラ視線ｌ_Cが求まる。次にプロジェクタ投影線を決める処理に移る。

最初に、初期プロジェクタ投影線（投影線ｋ＝ｋ₀とする。ｋ₀；初期探索位置）が指定される（ステップＳ１）。続いて、それと隣り合う投影線ｋ＋１が求められる（Ｓ２）。それをもとに、投影線ｋと基準平板との（位置Ｒ₀及びＲ₁における）交点Ｐ0_k及びＰ1_k、さらに投影線ｋ＋１と基準平板との（位置Ｒ₀及びＲ₁における）交点Ｐ0_k+1及びＰ1_k+1がそれぞれ求められる。これにより、これら４点から成る近似四角形Ｑ_kが定まる（Ｓ３）。続いて、すでに決まっているカメラ視線ｌ_Cと、Ｓ３の近似四角形Ｑ_kとが交点を持つか否かが判断される（Ｓ４）。ここで、交点を持たないと判断されたときは、近似四角形Ｑ_kと隣り合う近似四角形のうち、次の近似四角形として図４におけるＱ_k+1かＱ_k-1かが選択される。そのため、続いて交点を探索する方向が決められる（Ｓ７）。

探索方向を決める方法としては、カメラ視線の方向ベクトルと近似四角形Ｑ_kを構成する４点の位置関係から決める方法等が挙げられる。そして探索の方向が決まれば、ｋ＋１又はｋ−１が新たにｋの値として設定される。

例えば、図４において、カメラ視線ｌ_Cが近似四角形Ｑ_kより水平上側にある場合（＋Ｙ方向）には、投影線を指定するｋの値がｋ＋１に増やされる。つまり、この場合は、図４における投影線ｋ＋１と投影線ｋ＋２とが対辺となる近似四角形Ｑ_k+1が、次の探索用近似四角形として選択されたことになる。これに対して、カメラ視線ｌ_Cが近似四角形Ｑ_kより水平下側にある場合（−Ｙ方向）には、投影線を指定するｋの値がｋ−１に減らされる。つまり、この場合は、図４における投影線ｋと投影線ｋ−１とが対辺となる近似四角形Ｑ_k-1が、次の探索用近似四角形として選択されたことになる。

引き続き、前述のＳ２以降のステップが繰り返され、この処理はＳ４において「カメラ視線が近似四角形と交点を持つ」と後述の演算手法により判断されるまで続けられる。交点を持つと判断された場合には、カメラ視線ｌ_Cと近似四角形との交点の座標が計算される（Ｓ５）。これで、図４における、試料表面上の点Ｓの３次元座標が求まったことになる。言い換えれば、カメラ内の１つの画素に写された部分と３次元座標との対応がつけられたことになる。

そして、最後に、以上の計算に用いたｋの値が、次の画素に対する探索の初期プロジェクタ投影線を指定する値として設定される（Ｓ６）。これは、隣り合う画素においては３次元座標の差が大きくはない、つまりは投影位相画像における位相の差が大きくはない、という前提に基づいている。しかし、初期値の選び方はこれに限定されることなく、すべての画素において同じ値から始めるようにしてもよいし、カメラ視線に関する情報をもとに決められてもよい。以上の処理が、すべての画素に対して順次行われることで、試料の３次元座標がすべて求められる。

図６のＳ４及びＳ５における、カメラ視線ｌ_Cと近似四角形との交点を求める方法としては、例えば次のようなものが一例として挙げられる（図５参照）。カメラ視線ｌ_Cの方向ベクトルをｄ、近似四角形Ｑ_kの法線ベクトルをｎとすると、
ｄ＝ＯＣ₀− ＯＣ₁ ・・・（１）
ｎ＝（ＯＰ0_k+1−ＯＰ0_k）×（ＯＰ1_k− ＯＰ0_k）・・・（２）
と表せる。ここで、点Ｏは、カメラ視線上にも近似四角形Ｑ_k上にもない任意の点とする。また、ＯＣ₀ 、ＯＣ₁、ＯＰ0_k+1 、ＯＰ0_k 及びＯＰ1_k はそれぞれ、点Ｏから点Ｃ₀ 、Ｃ₁、Ｐ0_k+1 、Ｐ0_k 及びＰ1_kに向かう位置ベクトルである。これらを用いると、カメラ視線を表すベクトル方程式ｘ及び近似四角形Ｑ_kを表す方程式は、ｔをスカラ量として次のようになる。
ｘ＝ｔｄ＋ＯＣ₀ ・・・（３）
ｎ・（ｘ−ＯＰ0_k）＝０・・・（４）
（３）及び（４）からｔを求めると、
ｔ＝−｛ｎ・（ＯＣ₀− ＯＰ0_k）｝／ｎ・ｄ・・・（５）
となる。図６のＳ４における判断は、例えば、この（５）のｔの値が実数か否かで判断することができる。また、この（５）を（３）に代入することで、Ｓ５における交点座標の計算が実行される。

図７は、図１及び図２に示したコンピュータ１０の機能ブロック図である。このコンピュータ１０は、主にカメラ５で撮像された画像を記憶しておく画像記憶部２０と主制御部３０とを備えている。また、主制御部３０は、種々の演算を行う演算部３０１とカメラ５及びプロジェクタ６等の計測機器を制御するための計測機器制御部３０２とを備えている。さらに、演算部３０１は、試料画像上の画素に写されているパターン光のサブセットを特定するサブセット特定部（サブセット特定手段）３１１と、試料画像上の画素に写されている試料上の点の３次元座標を算出する３次元座標算出部（第１の３次元座標算出手段及び第２の３次元座標算出手段）３１２と、表示画像、投影画像及び試料画像にフーリエ変換を施し位相を算出するフーリエ変換演算部３１３とを備えている。この演算部３０１は、上記の演算の他に、表示位相から座標を求めたり、位相探索を行ったり、又は後述する位相の離散化などの処理を行うものである。

この図７を用いて、以上説明した形状計測システムにおける処理の流れをより詳細に説明する。ただし、基準平板１の下部に位置する基盤及び１軸テーブル（図１参照）については図を略している。

まず、校正モードにおいて、表示画像が取り込まれる工程について説明する。最初に、主制御部３０内の計測機器制御部３０２から、基準平板１の基盤へ駆動信号が送出される。この駆動信号を受け取った基盤は、１軸テーブルを介して基準平板１を駆動する。これにより、基準平板１は初期位置Ｒ₀に配置される。

続いて、計測機器制御部３０２から基準平板１に表示信号と共に基準パターン信号が送出される。ここで、表示信号は基準平板１に基準パターンの表示を命ずる信号であり、基準パターン信号は表示すべき基準パターンの形状、周期、位相及び表示位置等の情報を含む信号である。これにより、基準平板１の表示部には、所定のＸ方向の基準パターン（Ｘ基準パターン）が表示される（基準パターン表示手段）。このＸ基準パターンの輝度分布は、周期的なものであればよいが、正弦波に従うものであることがより望ましい。また、計測機器制御部３０２から基準平板１に表示信号が送出される際には、同時にプロジェクタ６には停止信号が送出される。このため、この停止信号を受け取ったプロジェクタ６では、図略のシャッタが閉じられるなどするため、パターン光投影が行われない。その結果、基準平板１の表示部には、所定のＸ基準パターンのみが表示される。

この状態で、計測機器制御部３０２からカメラ５に撮像実行信号が送出され、基準平板１上のＸ基準パターンが撮像される（撮像手段）。この撮像された表示画像は、コンピュータ１０内の表示画像記憶部２０１に送られ、カメラ５の画素位置と対応付けられた状態で記憶される。表示画像記憶部２０１に表示画像が記憶されると、計測機器制御部３０２により表示画像が記憶されたことが検出され、基準平板１に表示信号と共に基準パターン信号が送出される。このとき送出される基準パターン信号は前述のものと同じではなく、その位相がΔ₁だけシフトさせられたものである。

以下、最初の基準パターンに対して行われた工程が繰り返される。つまり、位相がΔ₁ずつシフトさせられたＮ₁枚のＸ方向基準パターンの表示画像が、カメラ５により撮像されて、順次、表示画像記憶部２０１に記憶される。ここで、位相は全体として１周期分シフトさせるので、Ｎ₁は２π／Δ₁で与えられる（２πがΔ₁の倍数のとき）。そして、Ｎ₁番目の表示画像が撮像され、表示画像記憶部２０１に記憶されると、位置Ｒ₀におけるＸ方向の工程は終了する。

次に、計測機器制御部３０２により、位置Ｒ₀におけるＸ方向の工程が終了したことが検出されると、基準平板１に表示信号と共に基準パターン信号が送出される。これにより、基準平板１の表示部には、所定のＹ方向の基準パターン（Ｙ基準パターン）が表示される。以下、Ｘ方向について行われたのと同様の工程が繰り返され、Ｎ₁枚のＹ基準パターンの画像が、順次、表示画像記憶部２０１に記憶される。そして、Ｎ₁番目の表示画像が撮像され、表示画像記憶部２０１に記憶されると、位置Ｒ₀における工程は終了する。

続いて、計測機器制御部３０２により、位置Ｒ₀における工程が終了したことが検出されると、基盤に駆動信号が送出される。この駆動信号を受け取った基盤により、１軸テーブルを介して基準平板１が駆動される。これにより、基準平板１は次の計測位置Ｒ₁に配置される。以下、初期位置Ｒ₀において行われたのと同様の工程が、Ｘ及びＹ方向について繰り返される。そして、Ｘ及びＹそれぞれの方向においてＮ₁枚の基準パターンの表示画像が、順次、表示画像記憶部２０１に記憶される。つまり、この表示画像記憶部２０１には、位置Ｒ₀及びＲ₁において、Ｘ及びＹ方向の表示画像がそれぞれＮ₁枚ずつ、計４Ｎ₁枚記憶されていることになる。

次に、校正モードにおいて、投影画像が取り込まれる工程について説明する。まず、主制御部３０内の計測機器制御部３０２から、基盤に駆動信号が送出される。この駆動信号を受け取った基盤により、１軸テーブルを介して基準平板１が駆動される。これにより、基準平板１は初期位置Ｒ₀に配置される。続いて、計測機器制御部３０２からプロジェクタ６に投影信号が送出される。これにより、基準平板１の表示部には、所定のＸ方向投影パターンが投影される。また、計測機器制御部３０２からプロジェクタ６に投影信号が送出される際には、同時に基準平板１には停止信号が送出される。このため、この停止信号を受け取った基準平板１は、基準パターン表示を行わない。その結果、基準平板１の表示部には、プロジェクタ６からの所定のＸ方向の投影パターン（Ｘ投影パターン）のみが投影される（パターン光投影手段）。

この状態で、計測機器制御部３０２からカメラ５に撮像信号が送出され、基準平板１上のＸ投影パターンが撮像される。この撮像された画像は、コンピュータ１０内の画像記憶部２０に送られ、その中の投影画像記憶部２０２に記憶される。投影画像記憶部２０２に画像が記憶されると、計測機器制御部３０２によりそれが検出され、プロジェクタ６にシフト信号が送出される。このシフト信号を受け取ったプロジェクタ６は、図略の２軸マイクロステージを駆動し、投影パターンの位相をΔ₂だけシフトさせる。

以下、最初の投影パターンに対して行われた工程が繰り返される。つまり、位相がΔ₂ずつシフトさせられたＮ₂枚のＸ基準パターンの画像が、カメラ５により撮像されて、順次、投影画像記憶部２０２に記憶される。ここで、位相は全体として１周期分シフトさせなければならないので、Ｎ₂は２π／Δ₂で与えられる（２πがΔ₂の倍数のとき）。そして、Ｎ₂番目の表示画像が撮像され、投影画像記憶部２０２に記憶されると、位置Ｒ₀におけるＸ方向の工程は終了する。前述の表示画像とは異なり、本発明における投影画像はＸ方向のみが必要であるため、これで位置Ｒ₀における工程は終了する。

続いて、計測機器制御部３０２により、位置Ｒ₀における工程が終了したことが検出されると、基盤に駆動信号が送出される。この駆動信号を受け取った基盤により、１軸テーブルを介して基準平板１が駆動される。これにより、基準平板１は次の計測位置Ｒ₁に配置される。以下、初期位置Ｒ₀において行われたのと同様の工程が、Ｘ投影パターンについて繰り返される。そして、Ｘ方向におけるＮ₂枚の投影パターンの画像が、順次、投影画像記憶部２０２に記憶される。この工程が終了すると、投影画像を取り込む工程が終了する。つまり、校正モードにおける画像取り込みの工程が終了することになる。結果として、投影画像記憶部２０２には、位置Ｒ₀及びＲ₁において、Ｘ方向の投影画像がそれぞれＮ₂枚ずつ、計２Ｎ₂枚記憶されている。

次に、計測モードにおいて、試料画像が取り込まれる工程について説明する。校正モード終了後、基準平板１、基盤及び１軸テーブルを取り除き、代わりに試料が配置される。このとき、形状を計測したい面が、基準平板１が置かれていた位置Ｒ₀とＲ₁との間にあることが必要である。この状態で、前述の校正モードにおける投影画像取り込みと同じ手順に従って、試料の画像が撮像される。

本発明においては、この工程においてもＸ方向のみの画像を撮像及び記憶すればよく、Ｙ方向の計測を行う必要はない。この工程で撮像された画像は、試料画像記憶部２０３に記憶される。つまり、試料画像記憶部２０３には、位置Ｒ₀及びＲ₁において、Ｘ方向の試料画像がそれぞれＮ₃枚ずつ、計２Ｎ₃枚が記憶されている。ここでＮ₃は、位相シフトをΔ₃としたとき、２π／Δ₃で与えられる（２πがΔ₃の倍数のとき）。ここまでの説明では、画像枚数をＮ₁、Ｎ₂及びＮ₃と区別して記したが、これらの値はすべて異なっていても、そのうちの２つ又は３つが同じであっても構わない。

以上で、校正モード及び計測モードは終了し、最後の解析モードに移る。まず、表示画像記憶部２０１、投影画像記憶部２０２及び試料画像記憶部２０３に記憶されている画像データにフーリエ変換が施され、それぞれが位相データに変換される。このとき、例えば、表示画像記憶部２０１のＮ₁枚のＸ表示画像が、順次、演算部３０１内のフーリエ変換演算部３１３に読み込まれる。そして、引き続き、フーリエ変換演算部３１３においてフーリエ変換が施され、Ｎ₁枚のＸ表示画像が１枚のＸ表示位相画像に変換される。

このとき、表示パターンとしては正弦波を用いているので、フーリエ変換後に得られる周波数は既知のもの（基本周波数）１つであるはずである。しかし、表示画像計測時にノイズが重畳するため、基本周波数以外にも周波数成分が得られることが多い。そこで、この工程において、基本周波数以外の周波数を取り除く処理を行う。これにより、位相の分解能の低下を一定値以内に抑えることが可能となる。このノイズに対応する周波数の除去は、以下のフーリエ変換により位相を得る工程においては、フーリエ変換に付随して行われるものとする。

こうして得られたＸ表示位相画像は、表示位相画像記憶部２０４に送られ、そこでカメラ５の画素位置と対応付けられた状態で記憶される。以下同様に、画像データが順次フーリエ変換される。そして、表示画像記憶部２０１、投影画像記憶部２０２又は試料画像記憶部２０３の画像データを変換した位相データはそれぞれ、表示位相画像記憶部２０４、投影位相画像記憶部２０５又は試料位相画像記憶部２０６へ送られ、そこでカメラ５の画素位置と対応付けられた状態で記憶される。その結果、表示位相画像記憶部２０４には、位置Ｒ₀及びＲ₁における、Ｘ及びＹ方向の表示位相画像が合わせて４枚記憶されている。同様に、投影位相画像記憶部２０５には、位置Ｒ₀及びＲ₁における、Ｘ投影位相画像が合わせて２枚、試料位相画像記憶部２０６には、位置Ｒ₀及びＲ₁における、Ｘ試料位相画像が合わせて２枚記憶されていることになる。

ここでは、表示画像、投影画像及び試料画像がすべてそろった時点で、まとめてフーリエ変換を施すように説明した。しかし、本発明はこれに限られることなく、必要なデータがそろった時点で順次フーリエ変換を施し、それぞれの位相画像記憶部に記憶されるようにしてもよい。

ここで、表示位相画像記憶部２０４及び投影位相画像記憶部２０５に記憶されている、パターン光の位置情報と識別情報とが、画素の位置に対応させて、パターン光情報記憶部２０８に記憶される（パターン光情報記憶手段）。具体的には、まず演算部３０１からの指令により、試料位相画像記憶部２０６内のＸ方向試料位相画像から、画素位置（ｉ_S，ｊ_S）における試料位相値が探索される。このとき、試料位相画像記憶部２０６内には、基準平板１の位置Ｒ₀及びＲ₁における位相が記憶されているので、２つの位相値φ⁰ _X及びφ¹ _Xがそれぞれ抽出される（φ⁰ _Xは位置Ｒ₀に、φ¹ _Xは位置Ｒ₁における位相値）。そして、それらの値は試料位相画像記憶部２０６から演算部３０１に送出される。

次に、演算部３０１からの指令により、投影位相画像記憶部２０５内のＸ投影位相画像から、前述の２つの位相値φ⁰ _X及びφ¹ _Xの値を持つ画素位置が探索される。このとき、本発明においては、Ｘ方向の位相しか計測・記憶されていないため、画素位置を１つに特定することはできず、Ｘ投影位相画像上で同じ値をつないだ曲線となる（図３参照）。

これら複数の画素位置の座標は、投影位相画像記憶部２０５から演算部３０１に送出される。そして、演算部３０１からの指令により、表示位相画像記憶部２０４内で、それと同じ座標を持つ画素位置からＸ表示位相が読み取られる。これら画素位置と対応付けられたＸ表示位相は、表示位相画像記憶部２０４から演算部３０１に送出される。そして、この演算部３０１において所定の演算が行われ、位相値φ⁰ _Xからは位置Ｒ₀における、φ¹ _XからはＲ₁における基準平板１上のプロジェクタ投影線群が求められる。そして、このパターン光の位置情報と識別情報とが、画素の位置に対応させて、パターン光情報記憶部２０８に記憶される（パターン光情報記憶手段）。

続いて、得られた位相画像を用いて、演算部３０１内の３次元座標算出部３１２において、試料の３次元座標を求める工程について説明する。まず、画素の位置（ｉ_S，ｊ_S）が指定される。これは例えば、Ｘ方向の画素数がｎ_X、Ｙ方向の画素数がｎ_Yであれば、ｉは１からｎ_Xの間の値を、ｊは１からｎ_Yの間の値を順次取り、すべての画素が指定されるように変化させられる。つまり、（ｉ_S，ｊ_S）＝（１，１），（１，２），（１，３）・・・、又は（ｉ_S，ｊ_S）＝（１，１），（２，１），（３，１）・・・のように順次変化させられる。

そして、画素位置（ｉ_S，ｊ_S）が指定されると、演算部３０１からの指令により、位置Ｒ₀及びＲ₁における、表示位相画像記憶部２０４内のＸ及びＹ方向表示位相画像から、画素位置（ｉ_S，ｊ_S）における計４つの表示位相値が探索される。そして、それらの値は表示位相画像記憶部２０４から演算部３０１に送出される。この演算部３０１において、表示位相画像記憶部２０４から受け取った４つの位相値に対して所定の演算が行われ、位置Ｒ₀及びＲ₁における基準平板１上のＸ及びＹ座標値が求められる。

ここで、所定の演算とは、位相値を座標に変換するためのもので、例えば表示画像が等ピッチの場合であれば、位相値を定数倍することに相当する。Ｚ座標は、図１に示した１軸テーブル３の読みから求められる。これにより、位置Ｒ₀及びＲ₁における基準平板１との交点の３次元座標が求められたことになる。そして、この３次元座標は視線情報記憶部（視線情報記憶手段）２０７に送出され、そこに記憶される。

続いて、画素位置（ｉ_S，ｊ_S）が指定されると、サブセット特定部３１１からの指令により、試料位相画像記憶部２０６内のＸ方向試料位相画像から、画素位置（ｉ_S，ｊ_S）における試料位相値が探索される。そして、その値がパターン光情報記憶部２０８において探索される。この値が見つかれば、その識別情報からパターン光の位置情報がすぐに得られるので、位置Ｒ₀及びＲ₁における基準平板１上のプロジェクタ投影線群が求まった、つまりサブセットが特定されたことになる。（サブセット特定手段）。ここで求められたプロジェクタ投影線群の軌跡（図４の網掛け部分）、つまりサブセットは、試料画像の画素位置（ｉ_S，ｊ_S）における試料位相値を持つパターン光の光線が描く軌跡と同じものである。

以下、図５及び図６を用いて説明した工程が行われ、指定された画素位置（ｉ_S，ｊ_S）に写っている試料上の点の３次元座標が求められる。まず、表示位相画像記憶部２０４からサブセット特定部３１１に送出されたプロジェクタ投影線群が、演算部３０１において、図４の基準平板上の折れ線のように離散化される。また、図４からわかるように、１本のプロジェクタ投影線は基準平板の位置Ｒ₀及びＲ₁の同位相の点を通る。そのため、位置Ｒ₀又はＲ₁のいずれか一方の位置で画素の離散化を行っておけば、他方の位置における対応する画素位置は容易に求めることができる。以下においては、位置Ｒ₀において画素の離散化を行ったものとする。そして、この離散化された画素位置が、投影線番号とともに演算部３０１から画素位置記憶部２０９に送出され、そこに記憶される。この投影線番号は、例えば、前述の図５、図６におけるプロジェクタ投影線を指定する番号ｋである。

この状態で、初期プロジェクタ投影線が決められる、つまり投影線番号ｋが指定される（図６のＳ１）と、３次元座標算出部３１２からの指令により、画素位置記憶部２０９からその投影線番号ｋに対応する位置Ｒ₀における画素位置（図５のＰ0_k）が読み出される。続いて、同様にして、投影線番号ｋ＋１に対応する位置Ｒ₀における画素位置（図５のＰ0_k+1）が読み出される（図６のＳ２）。

このようにして、３次元座標算出部３１２からの指令により、画素位置記憶部２０９から位置Ｒ₀における画素位置が２つ読み出されたとする。さらに、３次元座標算出部３１２からの指令により、その画素位置の位相と同じ位相が、表示位相画像記憶部２０４に記憶された位置Ｒ₁における表示位相画像から探索される。そして、その画素位置（図５のＰ1_k及びＰ1_k+1）が、３次元座標算出部３１２に送出される。それを受け取った３次元座標算出部３１２により、受け取った２つの画素位置（Ｐ1_k及びＰ1_k+1）と、そのもとになった位置Ｒ₀における２つの画素位置（Ｐ0_k及びＰ0_k+1）とから近似四角形が作成される（図６のＳ３）。

続いて、視線情報記憶部２０７から、カメラ視線と、位置Ｒ₀及びＲ₁における基準平板１との交点の３次元座標が読み出される。そして、３次元座標算出部３１２において、前述の近似四角形とカメラ視線とが交点を持つか否かが判定される（図６のＳ４）。交点を持たない場合には、３次元座標算出部３１２において、探索の方向、つまり次のｋの値が決定される（図６のＳ７）。そして、その方向に投影線番号ｋの値が変化させられ（図６のＳ８）、３次元座標算出部３１２において、新たなプロジェクタ投影線に基づいた計算が開始される（図６のＳ２以降）。それに対して、前述の近似四角形とカメラ視線とが交点を持つ場合には、３次元座標算出部３１２において、その交点の３次元座標が計算される（図６のＳ５）（第１の３次元座標算出手段）。

以上で、指定された画素位置（ｉ_S，ｊ_S）に写された試料上の点の３次元座標が求められたことになる。続いて、画素位置を順次ずらしていくことで、試料の３次元座標がすべて求まり、３次元形状が決定できることとなる。

本実施形態においては、カメラ視線と近似四角形との交点を求める際、投影線番号ｋが指定されるとその度ごとに、プロジェクタ投影線と基準平板との交点から形成される近似四角形を求めることとした。しかし、本発明はこれに限られることなく、最初にプロジェクタ投影線群の離散化、及び近似四角形の作成をまとめて行い、その値を所定の記憶部に記憶させることにしてもよい。

以上の説明においては、表示位相画像、投影位相画像及び試料位相画像を顕に用いて位相探索を行った。しかし、本発明はこれに限られることなく、後述する実施形態３の位相マップＭ_dpのような、位相画像（又はもとの画像）から作成される対応表を用いることで、より効率的に処理することが可能となる。

［実施形態２］
前述の実施形態１におけるサブセット特定部（サブセット特定手段）３１１は、パターン光情報記憶部（パターン光情報記憶手段）２０８から抽出されたパターン光の識別情報に基づいて、試料画像上の画素に写されているパターン光のサブセットを特定している。そして、カメラ視線と、プロジェクタ投影線と基準平板との交点から形成される近似四角形との交点を求め、それにより試料の３次元座標を決定している。

本実施形態２におけるサブセット特定部３１１（サブセット特定手段）は、基準平板１、プロジェクタ（パターン光投影手段）６及びカメラ（撮像手段）５の光学的な配置に課せられる制約に基づいて、パターン光のサブセットを特定する。この制約とは、各画素について、プロジェクタ投影線は、プロジェクタ投影中心と画素に対応するカメラ視線を含む平面上にあるというものである。つまり、この平面がパターン光のサブセットである。したがって、位相探索は、この平面と基準平板１との交わりである直線上でのみ行えばよい。

図８は、本発明に係る形状計測システムの一実施形態における、カメラ視線ｌ_Cとプロジェクタ投影線ｌ_P及び基準平板との位置関係を示す模式図である。カメラの撮像範囲は図に点線で示した領域であり、これはカメラ焦点において１点に収束する。試料上の計測点Ｓが写されているカメラの１つの画素に注目すると、カメラ焦点とこの注目画素とを結ぶ直線が１つ指定される。これを、これまでと同様、カメラ視線ｌ_Cと呼ぶ。このカメラ視線ｌ_Cは、位置Ｒ₀及びＲ₁において、基準平板とそれぞれ１点で交わる。この点をそれぞれｐ₀及びｐ₁と呼ぶことにする。

つまり、試料上の点Ｓは、カメラ焦点、注目画素、ｐ₀及びｐ₁を通る直線状に載っていることになる。また、位置Ｒ₀における基準平板上の点ｐ₀に注目すると、プロジェクタ投影中心とこの点ｐ₀を結ぶ直線、つまりプロジェクタ投影線ｌ_Pは、位置Ｒ₁における基準平板と１点で交わる。この点をｐ'₁とすると、このｐ'₁と位置Ｒ₀における基準平板上の点ｐ₀には、同位相の光線がプロジェクタから投影されていることになる。

このとき、カメラ焦点、ｐ₀及びｐ₁を通るカメラ視線ｌ_Cと、プロジェクタ中心、ｐ₀及びｐ'₁を通るプロジェクタ投影線ｌ_Pは１つの平面を形成する。そして、試料の計測点Ｓは、この平面上に載っている。したがって、試料の計測点Ｓの３次元座標を求めたければ、この平面（基準平板、パターン光投影手段及び撮像手段の光学的な配置に課せられる制約に基づくパターン光のサブセット）上でのみ、位相探索等の処理を行えばよい。ここで、基準平板とこの平面との交わりは直線となるので、それを図８では探索直線Ｌ₁と表している。結局、位相探索等の処理は、この探索直線Ｌ₁（及び位置Ｒ₀における図略の探索直線Ｌ₀）上でのみ行えばよい。また、この探索直線Ｌ₁（及びＬ₀）上では、プロジェクタ投影線のＸ位相値は単調に変化するので、探索が容易であるという利点もある。

この直線における位相探索により、試料の計測点Ｓを通るプロジェクタ投影線が決定できれば、計測点Ｓの３次元座標は、このプロジェクタ投影線とカメラ視線ｌ_Cとの交点として求めることができる。カメラ視線ｌ_Cは、前述の実施形態１と同様にして決定することができるので、探索直線Ｌ₁（及び位置Ｒ₀における図略の探索直線Ｌ₀）を決定し、それらの直線上で所定の位相を探索することが本実施形態の目的となる。

以下に、位置Ｒ₁における基準平板上の探索直線を求める方法の一例を示す。まず、３次元座標を計測する点として試料上の点Ｓに注目する。そして、その点Ｓが写されている画素位置（ｉ_S，ｊ_S）が、位置Ｒ₀におけるＸ試料位相画像から求められる。続いて、Ｘ及びＹ投影位相画像から、その画素位置（ｉ_S，ｊ_S）のＸ及びＹ位相がそれぞれ読み取られる。これで、図８における点ｐ₀のＸ及びＹ投影位相が求まったことになる。

次に、位置Ｒ₁における投影位相画像から、点ｐ₀と同じ値を持つＸ及びＹ投影位相がそれぞれ探索され、その画素位置が求められる。この画素位置は、Ｘ及びＹ投影位相画像において、それぞれ探索される位相と同じ値を持つ位相をつないで得られる曲線の交点として求められる。これが図８の点ｐ'₁となる。また、位置Ｒ₁における表示位相画像から、試料上の点Ｓが写されている画素の位置ｐ₁が求められる。これらｐ₀、ｐ₁及びｐ'₁の３次元座標は、実施形態１でも説明したように、それぞれの表示位相値から容易に求めることができる。以上で、位置Ｒ₁における基準平板上の点ｐ₁及びｐ'₁が求められたので、これらを結べば探索直線Ｌ₁が得られる。

実際上は、カメラ画角の制限から、すべての画素について（ｐ_i ，ｐ^' _i ）の組が得られるわけではない。しかし、図８の光学的構成を、基準平板を仮想画像面として共用とする２視点の仮想カメラ（１視点目はカメラの焦点、２視点目はプロジェクタの投影中心）として考えると、ステレオカメラ画像中の対応点の問題に帰着させることができる。この場合、対応する点の組（ｐ_i ，ｐ^' _i ）には、エピポーラ幾何と呼ばれる幾何学的な関係が成り立つことが一般に知られている。すなわち、ｑ_i ，ｑ^' _iをそれぞれ基準平板上の点ｐ_i ，ｐ^' _iの２次元座標とすると、次の関係が成り立っている。

ここで、λ_iはスカラ量、Ｈは３×３の行列であり、ホモグラフィー行列と呼ばれる。この場合、４つ以上の対応点があれば、行列Ｈは定数倍の不定性を除き求めることができる。ここで、Ａを２×２の行列、ｂ、ｃを２次元縦ベクトル、ｄをスカラ量、そしてｃ^tをベクトルｃの転置とすると、ホモグラフィー行列Ｈは次の形に表せる。

この表現を用いると、以下の式によりｑ_iからｑ^' _iを求めることができる。

したがって、ホモグラフィー行列Ｈを求めることができれば、対応点が得られない画素についても、式（８）により、仮想的な対応点を算出することができる。また、同様の工程により、位置Ｒ₀における基準平板上の探索直線を求めることも可能である。

以下、本実施形態において、試料上の３次元座標を求める工程を説明する。本実施形態においても、カメラ、プロジェクタ、基準平板及び試料等の配置は実施形態１と同様であり、それらは図１及び図２に示されている。まず図１の配置のもとで、校正モードにおける表示位相画像を得る。この表示位相画像は、実施形態１と同様にして、基準平板に表示された基準パターン２をカメラ５で撮像し、その画像にフーリエ変換を施し求めたものである。ここでも、基準平板１の位置Ｒ₀及びＲ₁における、Ｘ及びＹ方向の表示位相画像が合わせて４枚得られる。ここで、Ｘ（Ｙ）位相画像というのは、これまでと同様、Ｘ方向に位相が変化する光線がプロジェクタ６から投影され、その位相をシフトさせた複数の画像をフーリエ変換して得られた画像のことである。

次に、同じ図１の配置のもとで、校正モードにおける投影位相画像を得る。この投影位相画像も、実施形態１と同様にして、プロジェクタ６から基準平板１に投影された投影パターンをカメラ５で撮像し、その画像にフーリエ変換を施し求めたものである。ここでは、基準平板１の位置Ｒ₀及びＲ₁における、Ｘ方向の投影位相画像が合わせて２枚得られる。続いて、位置Ｒ₀及びＲ₁における表示位相画像上の４つの点を任意に選び、その画素位置とＸ、Ｙ表示位相とから、ホモグラフィー行列Ｈ₀及びＨ₁を求める。ここで、行列Ｈ₀及びＨ₁は、それぞれ位置Ｒ₀及びＲ₁における基準平板上の２点を関係付ける行列である。以上で校正モードを終了して、計測モードに移る。

計測モードにおいては、図２の配置で、Ｘ試料画像からＸ試料位相画像１枚のみが作成される。本実施形態においても、実施形態１同様、Ｙ方向のプロジェクタ投影線については計測を行う必要がない。このＸ試料位相画像から、試料上の計測点Ｓが写されている画素位置ｑ_iのＸ試料位相φ_SXを求める。次に、位置Ｒ₁において、式（８）を用いて、画素位置ｑ_1i（ｑ_1i＝ｑ_i ）に対応する点ｑ'_1iを求める。ここで、下付きの添え字１は、位置Ｒ₁における量であることを示す。表示位相画像上において、このｑ_1iとｑ'_1iを結ぶ直線が、探索直線Ｌ_1iである。その表示位相画像上における探索直線Ｌ_1iと同じ位置の画素を投影位相画像上においてつなげば、それが投影位相画像上における探索直線Ｌ_1iとなる。

続いて、Ｘ投影位相画像上でＸ試料位相φ_SXを探索する。このとき、予め探索直線Ｌ_1i上の一定区間ごとの点の投影位相値を、その周りの投影位相値から求めておく。このことにより、φ_SXと同じ値を持つ点を探索直線Ｌ_1i上で探索し、対応する表示位相を値を得ることにより、容易に座標に変換できる。これにより、プロジェクタ投影線と位置Ｒ₁における基準平板との交点Ｔ_1iの座標が求められる。

以上と同様の工程を位置Ｒ₀においても行うことで、プロジェクタ投影線と位置Ｒ₀における基準平板との交点Ｔ_0iの座標が求められる。カメラ視線は、位置Ｒ₀及びＲ₁における表示位相画像の画素位置ｑ_iからわかるので、それとＴ_0i及びＴ_1iを通るプロジェクタ投影線との交点を求めれば、それが試料上の計測点Ｓの座標となる。以下、計測点、つまり試料画像上の画素位置を順次ずらして計算していけば、試料の３次元形状が求まることになる。

この実施形態２においても、制御系の部分は実施形態１と同様であり、その働きは図７に示したブロック図を用いて理解することができる。

以上の説明においては、表示位相画像、投影位相画像及び試料位相画像を顕に用いて位相探索を行ったが、この過程は後述する実施形態３の位相マップＭ_dpを用いることで、より効率的に処理することが可能となる。ただし、実施形態３では、投影位相画像から表示位相画像へのマップを作成しているが、本実施形態２では、表示位相画像から投影位相画像へのそれが必要である。これは、つまり、パターン光の位置情報から識別情報が得られるように構造化したマップを作成し、記憶しておくことに相当する。

また、上記の実施形態では、探索直線を明示的に求めたが、これはカメラ視線とプロジェクタ投影中心を結ぶ直線（ベースライン）を校正用基準面のＸ軸と平行にすることで、探索直線は位相マップＭ_dpで同一Ｙ表示位相のライン（マップの行方向）とでき、Ｈを使って画素ごとに探索直線を求める必要がなくなる。物理的にベースラインと校正用基準面のＸ軸が平行でない場合にも、ステレオ画像計測でよく知られた「画像の平行化（レクティフィケーション）」という手法を用いて、ベースラインと平行な仮想的な基準面上の位相マップＭ_dpに変換できる。

［実施形態３］
前述の実施形態１及び２においては、いずれも最後の計測モードにおいて、試料のＸ方向の位相のみを求めるように構成しているため、計測時間、特に計測データの取り込み時間を大幅に削減することが可能となっている。これらの構成においては、計測時間をそれ以上削減することは困難であるが、計算に要する時間を削減することは可能である。計算の中で最も時間を要するのは、特定の位相を投影位相画像及び表示位相画像の中から探索する過程である。そこで、本実施形態においては、実施形態１及び２に適用できる、位相探索時間を削減するための位相マップＭ_dpについて説明する。

以下、投影位相画像から表示位相画像への位相マップＭ_dpを作成する工程について説明する。これは、つまり、識別情報からパターン光の位置情報が得られるように構造化したマップを作成し、記憶しておくことに相当する（構造化記憶手段）。言い換えれば、パターン光の識別情報を指定することにより、パターン光の１本の光線を特定することになる。

まず、Ｘ及びＹ投影位相画像において、それぞれの最大位相値（φ_X _max ，φ_Y _max ）及び最小位相値（φ_X _min ，φ_Y _min ）を求める。そして、図９に示したように、その最小位相値（φ_X _min ，φ_Y _min ）を原点として持つような直交座標系を考える。ここで、横軸（φ_X）の目盛り幅Δφ_Xは、φ_X _max及びφ_X _minをもとに決められる。同様に、縦軸（φ_Y）の目盛り幅Δφ_Yは、φ_Y _max及びφ_Y _minをもとに決められる。その結果、図９の直交座標系における任意の位相値φ_X及びφ_Yは、次の式で表すことができる。

つまり、式（９）及び（１０）の（ｉ，ｊ）は、図９の直交座標系における座標（ｉはＸ座標値、ｊはＹ座標値）に相当する。

次に、この（ｉ，ｊ）の値を変えていくことにより、図９の直交座標系における位相値φ_X及びφ_Yが順次指定される。そして、φ_Xと同じ値の位相がＸ投影位相画像において、φ_Yと同じ値の位相がＹ投影位相画像においてそれぞれ探索される（図９の矢印（ａ）））。その結果、φ_X及びφ_Yの値を同時に満足する画素位置の座標が、投影位相画像において決定される。その座標は、言い換えれば、Ｘ投影位相画像においてφ_Xという位相を持つ曲線と、Ｙ投影位相画像においてφ_Yという位相を持つ曲線との交点の座標である。

続いて、表示位相画像において、その画素位置での位相が取り出される（図９の矢印（ｂ））。つまり、Ｘ表示位相画像からはＸ方向の表示位相ψ_Xが、Ｙ表示位相画像からはＹ方向の表示位相ψ_Yが得られる。この表示位相ψ_X及びψ_Yを（ｉ，ｊ）に対応させて保持しておく（図９の矢印（ｃ））。これにより、図９に示したように、投影位相と表示位相が対応させられた位相マップＭ_dpが作成される。

以下に、投影位相画像から表示位相画像への位相マップＭ_dpを用いて、表示位相値を求める方法を示す。まず、前述の式（９）及び（１０）をｉ，ｊについて解くと、位相から位相マップＭ_dp上の座標（ｉ，ｊ）を求める次の式が得られる。

この式（１１）及び（１２）において、Δφ_X（Δφ_Y）及びφ_X _min（φ_Y _min ）は既知なので、試料画像の画素位置（ｉ_S，ｊ_S）における位相値（φ_SX，φ_SY）を、それぞれ（φ_X，φ_Y）に等しいとして与えれば、位相マップ上の座標（ｉ，ｊ）が直接得られる。その座標における位相値ψ_X及びψ_Yを読み取れば、それが求める表示位相値である。つまり、図３において、試料画像の画素位置（ｉ_S，ｊ_S）における位相値（φ_SX，φ_SY）を投影位相画像及び表示位相画像から探索していた工程（図３の矢印（ｂ）及び（ｃ））は、ほとんど計算の必要がない、簡易な工程に置き換えることができる。また、この位相マップＭ_dpは、例えば、図７の画像記憶部２０内に新たな記憶部を設け、そこに記憶されるように構成すればよい（構造化記憶手段）。

本実施形態３においては、投影位相画像から表示位相画像への位相マップＭ_dpを作成した。格子投影法に必要な計算の中では、フーリエ変換等ではなく、位相探索に要する時間が最も長い。したがって、本実施形態に係る位相マップＭ_dpを用いれば、その位相探索をほとんど瞬時に行うことが可能となり、計算時間全体を大幅に削減することができる。特に、この位相マップＭ_dpは、投影位相画像と表示位相画像しか必要としないために、一度作成しておけば、試料を取り替えたときでも新たに作り直す必要はない。さらに、投影位相画像及び表示位相画像という２枚の画像を１枚の位相マップにしているので、データサイズが小さく、記憶に要するメモリ量もそれに応じて少なくて済む。

以上説明したように、本発明は、計測機器制御部３０２からの信号により、基準平板１に基準パターンが表示される（基準パターン表示手段）。そして、周期的なパターン光を投影するプロジェクタ６（パターン光投影手段）と光学像を撮像するカメラ５（撮像手段）とを備える。また、表示位相画像記憶部２０４に記憶された表示位相を用いて、各画素に対応する視線位置の情報が算出され、視線情報記憶部２０７に記憶される（視線情報記憶手段）。

さらに、パターン光情報記憶部２０８には、表示位相画像記憶部２０４及び投影位相画像記憶部２０５に分けて記憶されているパターン光の位置情報と識別情報とが、画素の位置に対応させて記憶されている（パターン光情報記憶手段）。そして、サブセット特定部３１１において、試料画像記憶部２０３に記憶された試料画像の画素に写されているパターン光の位相に基づいて、パターン光情報記憶部２０８に記憶された位置情報及び識別情報から対応するパターン光のサブセットが特定される（サブセット特定手段）。

最後に、これらの情報をもとに、試料画像記憶部２０３に記憶された試料画像の画素に写されている試料上の点の３次元座標が、３次元座標算出部３１２により算出される（第１の３次元座標算出手段）。また、実施形態３において説明した位相マップＭ_dpを用いる場合には、表示位相画像記憶部２０４及び投影位相画像記憶部２０５からの情報をもとに、演算部３０１により、パターン光が１本に特定される（パターン光特定手段）。そして、これらの情報をもとに、試料画像記憶部２０３に記憶された試料画像の画素に写されている試料上の点の３次元座標が、３次元座標算出部３１２により算出される（第２の３次元座標算出手段）。

また、本実施形態１及び２においては、投影パターンとして、プロジェクタの投影スライドに描かれたパターンを用いるように構成している。しかし、本発明はそれに限られることなく、コンピュータからプロジェクタへ所定のパターンを送出し、それを投影パターンとして用いるように構成してもよい。

さらに、本実施形態１及び２においては、計測モードにおいて、Ｘ方向に位相変化するパターンをプロジェクタから投影し、それを撮像した画像をもとにＸ位相を得ている。つまり、投影パターンの位相は、カメラ焦点とプロジェクタ投影中心とを結ぶ直線が水平面上にあるとすれば、その水平直線上において単調に変化している。しかし、本発明はそれに限られることなく、位相変化の方向がＹ方向でないパターンであれば、投影パターンとして用いることができる。言い換えると、投影パターンの位相変化の方向が、カメラ焦点とプロジェクタ投影中心とを結ぶ直線に垂直でなければ、本発明により効率的な計測を行うことができる。

本発明に係る形状計測システムの一実施形態における、校正データ作成時のカメラ、プロジェクタ及び基準平板の位置を示す配置図である。本発明に係る形状計測システムの一実施形態における、計測時のカメラ、プロジェクタ及び試料の位置を示す配置図である。本発明の一実施形態における、試料位相画像、表示位相画像及び投影位相画像を用いて試料の３次元座標を求める手順を示した模式図である。本発明に係る形状計測システムの一実施形態における、カメラ視線とプロジェクタ投影線群及び基準平板との位置関係を示す模式図である。本発明に係る形状計測システムの一実施形態における、カメラ視線とプロジェクタ投影線との関係から試料の３次元座標を求める際の位置関係を示す模式図である。本発明に係る形状計測システムの一実施形態における、カメラ視線とプロジェクタ投影線との関係から試料の３次元座標を求める際の処理の流れを示すフローチャートである。本発明に係る形状計測システムの一実施形態における、コンピュータの機能ブロック図である。本発明に係る形状計測システムの一実施形態における、カメラ視線とプロジェクタ投影線及び基準平板との位置関係を示す模式図である。本発明に係る形状計測システムの一実施形態における、投影位相画像から表示位相画像への位相マップを作成する工程を示した模式図である。

符号の説明

１基準平板
２基準パターン
３１軸テーブル
４基盤
５カメラ
６プロジェクタ
７試料
１０コンピュータ
２０画像記憶部
２０１表示画像記憶部
２０２投影画像記憶部
２０３試料画像記憶部
２０４表示位相画像記憶部
２０５投影位相画像記憶部
２０６試料位相画像記憶部
２０７視線情報記憶部
２０８パターン光情報記憶部
２０９画素位置記憶部
３０主制御部
３０１演算部
３０２計測機器制御部
３１１サブセット特定部
３１２３次元座標算出部
３１３フーリエ変換演算部

Claims

基準平板に周期的な基準パターンを表示する基準パターン表示手段と、
周期的なパターン光を前記基準平板又は試料に投影するパターン光投影手段と、
前記基準パターン表示手段により表示された前記基準平板上の前記基準パターンと、前記パターン光投影手段により投影された前記基準平板上の前記パターン光と、前記パターン光投影手段により投影された前記試料上の前記パターン光とを撮像し、それぞれ表示画像、投影画像及び試料画像とを取得する撮像手段と、
前記表示画像に基づいて、各画素に対応する視線位置の情報を算出し、画素の位置に対応させて記憶する視線情報記憶手段と、
前記表示画像及び前記投影画像に基づいて、前記パターン光の位置情報と識別情報とを、画素の位置に対応させて記憶するパターン光情報記憶手段と、
前記試料画像上の画素に写されている一の方向の前記パターン光の情報に対応する情報を前記パターン光情報記憶手段から抽出し、前記一の方向の前記パターン光のサブセットを特定するサブセット特定手段と、
前記視線情報記憶手段及び前記サブセット特定手段からの情報に基づいて、前記試料画像上の画素に写されている試料上の点の３次元座標を算出する第１の３次元座標算出手段とを備えることを特徴とする３次元形状計測システム。
サブセット特定手段は、パターン光情報記憶手段から抽出された情報が、パターン光の識別情報に基づくことを特徴とする請求項１記載の３次元形状計測システム。
サブセット特定手段は、基準平板、パターン光投影手段及び撮像手段の光学的な配置に課せられる制約に基づくことを特徴とする請求項１記載の３次元形状計測システム。
パターン光情報記憶手段は、パターン光の位置情報から識別情報が得られるように構造化して記憶することを特徴とする請求項３記載の３次元形状計測システム。
基準平板に周期的な基準パターンを表示する基準パターン表示手段と、
周期的なパターン光を前記基準平板又は試料に投影するパターン光投影手段と、
前記基準パターン表示手段により表示された前記基準平板上の前記基準パターンと、前記パターン光投影手段により投影された前記基準平板上の前記パターン光と、前記パターン光投影手段により投影された前記試料上の前記パターン光とを撮像し、それぞれ表示画像、投影画像及び試料画像とを取得する撮像手段と、
前記表示画像に基づいて、各画素に対応する視線位置の情報を算出し、画素の位置に対応させて記憶する視線情報記憶手段と、
前記表示画像及び投影画像に基づいて、前記パターン光の識別情報から位置情報が得られるように構造化して記憶する構造化記憶手段と、
前記構造化記憶手段からの情報に基づいて、前記試料画像上の画素に写されている前記パターン光の１本の光線を特定するパターン光特定手段と、
前記視線情報記憶手段及び前記パターン光特定手段からの情報をもとに、前記試料画像上の画素に写されている試料上の点の３次元座標を算出する第２の３次元座標算出手段とを備えることを特徴とする３次元形状計測システム。
基準パターンは、正弦波に従う輝度分布を有することを特徴とする請求項１又は５に記載の３次元形状計測システム。
パターン光は、正弦波に従う照度分布を有することを特徴とする請求項１又は５に記載の３次元形状計測システム。