以下、本発明の実施の形態を図面に基づいて説明する。ただし、以下に示す実施の形態は、本発明の技術思想を具体化するための三次元形状測定装置を例示するものであって、本発明は三次元形状測定装置を以下のものに特定しない。また、本明細書は特許請求の範囲に示される部材を、実施の形態の部材に特定するものでは決してない。特に実施の形態に記載されている構成部品の寸法、材質、形状、その相対的配置等は特に特定的な記載がない限りは、本発明の範囲をそれのみに限定する趣旨ではなく、単なる説明例にすぎない。なお、各図面が示す部材の大きさや位置関係等は、説明を明確にするため誇張していることがある。さらに以下の説明において、同一の名称、符号については同一もしくは同質の部材を示しており、詳細説明を適宜省略する。さらに、本発明を構成する各要素は、複数の要素を同一の部材で構成して一の部材で複数の要素を兼用する態様としてもよいし、逆に一の部材の機能を複数の部材で分担して実現することもできる。
本明細書において、「テクスチャ画像」とは、光学画像に代表される、テクスチャ情報を有する観察画像である。一方、「高さ画像」とは、距離画像等とも呼ばれるものであり、高さ情報を含む画像の意味で使用する。例えば、高さ情報を輝度や色度等に変換して二次元画像として表示した画像や、高さ情報をZ座標情報として三次元状に表示した画像が挙げられる。またこのような高さ画像にテクスチャ画像をテクスチャ情報として貼り付けた三次元の合成画像も、高さ画像に含む。また、本明細書において高さ画像の表示形態は二次元状に表示されるものに限られず、三次元状に表示されるものも含む。例えば、高さ画像の有する高さ情報を輝度等に変換して二次元画像として表示したものや、高さ情報をZ座標情報として三次元状に表示したものを含む。
さらに本明細書において測定対象物をステージ上に置く「姿勢」とは、測定対象物の回転角度を意味する。なお、測定対象物が円錐のような平面視において点対称の形状の場合は、回転角度に依らず同じ結果が得られるため、姿勢は規定する必要がない。
以下の実施例では、測定対象物の高さ情報を取得するため、所定のパターンの測定光を測定対象物に対して照射して、測定対象物の表面で反射された反射光から得られる信号を用いて、高さ情報を取得している。例えば、所定のパターンの測定光として、構造化照明を用いて、測定対象物に投影し、その反射光から得られる縞投影画像を用いた三角測距を用いた計測方法を用いることができる。ただ、本発明は測定対象物の高さ情報を取得するための原理や構成を、これに限らず、他の方法も適用することができる。
(実施形態1)
三次元形状測定装置は、測定対象画像の三次元の高さ計測を行うことができる。また、三次元計測に加えて、二次元の寸法計測も行うことができる。図1に、本発明の実施例1に係る三次元形状測定装置のブロック図を示す。この図に示す三次元形状測定装置500は、測定部100、台座部600と、コントローラ200、光源部300及び表示部400を備える。この三次元形状測定装置500は、光源部300で構造化照明を行い、縞投影画像を撮像して高さ情報を有する高さ画像を生成し、これに基づいて測定対象物WKの三次元寸法や形状を計測することができる。このような縞投影を用いた測定は、測定対象物WKやレンズ等の光学系をZ方向に移動させることなく高さ測定ができるため、測定時間を短くできるという利点がある。
測定部100は、投光部110と、受光部120と、測定制御部150と、照明光出力部130を備える。投光部110は、載置部140に載置された測定対象物WKに所定のパターンを有する測定光を照射する。受光部120は、載置面142に対して傾斜姿勢で固定されている。この受光部120は、投光部110により照射され、測定対象物WKにて反射された測定光を受光して、受光量を表す受光信号を出力する。受光部120は、載置部140に載置された測定対象物WKを撮像することにより測定対象物WKの全体形状を観察するための観察画像を生成することができる。
台座部600は、載置部140と移動制御部144を備える。この台座部600は、ベースプレート602上に載置部140を支持している。移動制御部144は、載置部140を移動させる部材である。移動制御部144は、台座部600側に設ける他、コントローラ側に配置してもよい。
光源部300は、測定部100と接続される。光源部300は、測定光を生成して測定部100に供給する。コントローラ200は、測定部100の撮像を制御する。表示部400は、コントローラ200と接続され、生成された画像を表示させ、また必要な設定を行うHMIとなる。
(載置部140)
図1に示す台座部600は、載置部140と、移動制御部144を備える。載置部140は、測定対象物WKが載置される載置面142を有する。この載置部140は、載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。
(移動制御部144)
移動制御部144は、測定領域設定部264により設定された測定領域に基づいて、回転ステージ143の回転移動及び並進ステージ141の平行移動を制御する。また移動制御部144は、後述する測定領域設定部264により設定された測定領域に基づいて、載置移動部による載置部140の移動動作を制御する。
コントローラ200は、CPU(中央演算処理装置)210、ROM(リードオンリメモリ)220、作業用メモリ230、記憶装置240及び操作部250を含む。コントローラ200には、PC(パーソナルコンピュータ)等が利用できる。またCPU210は、点群データを生成する部分形状データ生成部260aと、合成形状データ生成部260b等の機能を実現する(詳細は後述)。
(測定部100のブロック図)
図1の三次元形状測定装置500の測定部100の構成を図2のブロック図に示す。測定部100は、例えば顕微鏡であり、投光部110、受光部120、照明光出力部130、測定制御部150、及びこれらを収納する本体ケース101、並びに載置部140を備える。投光部110は、測定光源111、パターン生成部112及び複数のレンズ113、114、115を含む。受光部120は、カメラ121及び複数のレンズ122、123を含む。載置部140上には、測定対象物WKが載置される。本体ケース101は、樹脂や金属製の筐体とする。
(投光部110)
投光部110は、載置部140の斜め上方に配置される。この測定部100は、複数の投光部110を含んでもよい。図2の例においては、測定部100は2つの投光部110を含む。ここでは、第一の方向から測定対象物WKに対して第一測定光ML1を照射可能な第一測定光投光部110A(図2において右側)と、第一の方向とは異なる第二の方向から測定対象物WKに対して第二測定光ML2を照射可能な第二測定光投光部110B(図2において左側)を、それぞれ配置している。第一測定光投光部110A、第二測定光投光部110Bは受光部120の光軸を挟んで対称に配置される。なお投光部を3以上備えたり、あるいは投光部とステージを相対移動させて、共通の投光部を用いつつも、照明の方向を異ならせて投光させることも可能である。また以上の例では投光部110を複数用意し、共通の受光部120で受光する構成としているが、逆に共通の投光部に対して、複数の受光部を用意して受光するように構成してもよい。さらにこの例では投光部が投光する照明光の、垂直方向に対する照射角度を固定としているが、これを可変とすることもできる。
(測定光源111)
各第一測定光投光部110A、第二測定光投光部110Bは、測定光源111としてそれぞれ第一測定光源、第二測定光源を備える。これら測定光源111は、例えば白色光を出射するハロゲンランプである。測定光源111は、単色光を発光する光源、例えば白色光を出射する白色LED(発光ダイオード)や有機EL等の他の光源であってもよい。測定光源111から出射された光(以下、「測定光」と呼ぶ。)は、レンズ113により適切に集光された後、パターン生成部112に入射される。
(パターン生成部112)
パターン生成部112は、測定光を測定対象物WKに対して投光させるよう、測定光源111から出射された光を反射させる。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112により出射された測定光は、複数のレンズ114、115により受光部120の観察・測定可能な視野よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
パターン生成部112は、測定光を測定対象物WKに投光させる投光状態と、測定光を測定対象物WKに投光させない非投光状態とを切り替え可能な部材である。このようなパターン生成部112には、例えばDMD(デジタルマイクロミラーデバイス)が好適に利用できる。DMDを用いたパターン生成部112は、投光状態として測定光を光路上に反射させる反射状態と、非投光状態として測定光を遮光させる遮光状態とを切り替え可能に、測定制御部150により制御できる。
DMDは多数のマイクロミラー(微小鏡面)MMを平面上に配列した素子である。各マイクロミラーは、測定制御部150により個別にON状態、OFF状態を切り替えることができるので、多数のマイクロミラーのON状態、OFF状態を組み合わせて、所望の投影パターンを構成できる。これによって、三角測距に必要なパターンを生成して、測定対象物WKの測定が可能となる。このようにDMDは、測定時には測定用の周期的な投影パターンを測定対象物WKに投光する投影パターン光学系として機能する。またDMDは応答速度にも優れ、シャッターなどに比べ高速に動作させることができる利点も得られる。
なお以上の例では、パターン生成部112にDMDを用いた例を説明したが、本発明はパターン生成部112をDMDに限定するものでなく、他の部材を用いることもできる。例えば、パターン生成部112として、LCOS(Liquid Crystal on Silicon:反射型液晶素子)を用いてもよい。あるいは反射型の部材に代えて透過型の部材を用いて、測定光の透過量を調整してもよい。この場合は、パターン生成部112を測定光の光路上に配置して、測定光を透過させる投光状態と、測定光を遮光させる遮光状態とを切り替える。このようなパターン生成部112には、例えばLCD(液晶ディスプレイ)が利用できる。あるいは、複数ラインLEDを用いた投影方法、複数光路を用いた投影方法、レーザとガルバノミラー等で構成される光スキャナ方式、ビームスプリッタで分割したビームを重ね合わせることによって発生された干渉縞を用いるAFI(Accordion fringe interferometry)方式、ピエゾステージと高分解能エンコーダ等で構成される実体格子と移動機構を用いた投影方法等でパターン生成部112を構成してもよい。
さらに図2等の例では、測定光投光部を2つ備えた例を説明したが、本発明はこれに限らず、測定光投光部を3以上設けることも可能である。あるいは、測定光投光部を一のみとすることもできる。この場合は、測定光投光部の位置を移動可能とすることで、異なる方向から測定光を測定対象物WKに対して投光できる。
(受光部120)
受光部120は、載置部140の上方に配置される。測定対象物WKにより載置部140の上方に反射された測定光は、受光部120の複数のレンズ122、123により集光、結像された後、カメラ121により受光される。
(カメラ121)
カメラ121は、例えば撮像素子121a及びレンズを含むCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。カラーの撮像素子は各画素を赤色用、緑色用、青色用の受光に対応させる必要があるため、モノクロの撮像素子と比較すると計測分解能が低く、また各画素にカラーフィルタを設ける必要があるため感度が低下する。そのため、本実施の形態では、撮像素子としてモノクロのCCDを採用し、後述する照明光出力部130をRGBにそれぞれ対応した照明を時分割で照射して撮像することにより、カラー画像を取得している。このような構成にすることにより、計測精度を低下させずに測定物のカラー画像を取得することができる。
ただ、撮像素子121aとして、カラーの撮像素子を用いても良いことは云うまでもない。この場合、計測精度や感度は低下するが、照明光出力部130からRGBにそれぞれ対応した照明を時分割で照射する必要がなくなり、白色光を照射するだけで、カラー画像を取得できるため、照明光学系をシンプルに構成できる。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、「受光信号」と呼ぶ。)が測定制御部150に出力される。
このようにして撮像された測定対象物WKの画像は、レンズの特性によって、測定対象物WKに対して極めて正確な相似形を成している。またレンズの倍率を用いてキャリブレーションをすることで、画像上の寸法と実際の測定対象物WK上の寸法を正確に関連付けることができる。
(測定制御部150)
測定制御部150には、図示しないA/D変換器(アナログ/デジタル変換器)及びFIFO(First In First Out)メモリが実装される。カメラ121から出力される受光信号は、光源部300による制御に基づいて、測定制御部150のA/D変換器により一定のサンプリング周期でサンプリングされると共にデジタル信号に変換される。A/D変換器から出力されるデジタル信号は、FIFOメモリに順次蓄積される。FIFOメモリに蓄積されたデジタル信号は画素データとして順次コントローラ200に転送される。
(コントローラ200)
図1に示すように、コントローラ200は、CPU210、ROM220、作業用メモリ230、記憶装置240及び操作部250を含む。この操作部250は、キーボードやポインティングデバイスを含むことができる。ポインティングデバイスとしては、マウス又はジョイスティック等が用いられる。
ROM220には、システムプログラムが記憶される。作業用メモリ230は、RAM(ランダムアクセスメモリ)からなり、種々のデータの処理のために用いられる。記憶装置240は、ハードディスク等からなる。記憶装置240には、三次元形状測定装置を操作するための三次元形状測定プログラムが記憶される。また、記憶装置240は、測定制御部150から与えられる画素データ等の種々のデータを保存するために用いられる。さらに記憶装置は、測定画像を構成する画素毎に、輝度情報、高さ情報、属性情報を記憶する。
(CPU210)
CPU210は、与えられた信号やデータを処理して各種の演算を行い、演算結果を出力する制御回路や制御素子である。本明細書においてCPUとは、演算を行う素子や回路を意味し、その名称によらず、汎用PC向けのCPUやMPU、GPU、TPU等のプロセッサに限定するものでなく、FPGA、ASIC、LSI等のプロセッサやマイコン、あるいはSoC等のチップセットを含む意味で使用する。
CPU210は、測定制御部150から与えられる画素データに基づいて画像データを生成する。また、CPU210は、生成した画像データに作業用メモリ230を用いて各種処理を行うと共に、画像データに基づく画像を表示部400に表示させる。CPU210のブロック図を図3に示す。このCPUは、部分形状データ生成部260aと、合成形状データ生成部260bと、トップビューマップ画像生成部261と、測定領域設定部264と、高さ画像取得部228と、点群データ合成部211等の機能を実現する。
(部分形状データ生成部260a)
部分形状データ生成部260aは、受光部120から出力される受光信号に基づいて、載置部140の特定の位置において受光部120の視野内に含まれる測定対象物の少なくとも一部の立体形状を表す形状データを生成する。部分形状データ生成部260aは、例えば受光部120により出力される受光信号に基づいて、測定対象物WKの立体形状を表す三次元位置情報を有する点の集合である点群データを生成する点群データ生成部260で構成できる。
(合成形状データ生成部260b)
合成形状データ生成部260bは、部分形状データ生成部260aで生成された測定対象物の少なくとも一部の形状データに基づいて、この形状データの周囲に位置する測定対象物の他の部位の形状データを取得するように移動制御部144で載置部140を移動させて、当該位置での測定対象物の形状データを部分形状データ生成部260aで生成することを繰り返し、得られた複数の形状データを合成することで測定対象物の全体の形状を含む合成形状データを生成する。移動制御部144は、測定対象物の少なくとも一部の形状データに基づいて、回転ステージ143の回転動作のみを実行するか、回転ステージ143の回転動作と並進ステージ141の平行移動動作の両方を実行するかを決定する。これにより、測定対象物の外形に応じて、撮像範囲をユーザが意識することなく自動判定することにより、三次元計測が容易となる。
移動制御部144は、並進ステージ141をXY方向に移動させた後に、この位置で回転ステージ143を回転させるよう制御できる。
(プレスキャン)
また部分形状データ生成部260aは、測定対象物の形状データを簡易的な生成条件で生成することができる。これにより、測定対象物の測定精度が低い簡易的な生成条件であっても、測定対象物の大凡の位置が判れば、移動制御部144は載置部140の移動方向を決定できるので、処理を簡素化できる利点が得られる。
形状データを生成するための簡易的な生成条件としては、撮像条件や演算条件が挙げられる。例えば、受光部120における露光時間を通常よりも短くする、利得を通常よりも高くする、解像度を間引いて粗く計算する、左右の投光部を両方用いずに片方のみとする、縞投影を空間コード法のみとする、複数のカメラの内単眼のみを使う等である。
(トップビューマップ画像生成部261)
トップビューマップ画像生成部261は、部分形状データ生成部260aにより生成された点群データに基づいて、載置部140に載置された測定対象物WKを真上から見下したときの平面図を示すトップビューマップ画像を生成する。このような測定対象物WKを真上から見たトップビューマップ画像を生成することで、測定対象物WKの全体形状を容易に把握し、ひいては測定領域の設定を容易にすることができる。例えばトップビューマップ画像生成部261は、部分形状データ生成部260aにより生成された点群データに、受光部120で測定対象物WKを撮像した二次元のテクスチャ画像を、該点群データの三次元位置情報毎に貼り付けてトップビューマップ画像を生成する。あるいは、部分形状データ生成部260aにより生成された点群データの各点に、ポリゴンを貼り付けて面状を形成したメッシュ画像を生成してもよい。このメッシュ画像から、トップビューマップ画像を生成する。メッシュ画像は、トップビューマップ画像生成部261により生成してもよいし、あるいはメッシュ画像生成部で生成してもよい。
トップビューマップ画像生成部261は、受光部120で測定対象物WKの複数の異なる領域をそれぞれ取得したトップビューマップ画像を複数枚、合成した合成トップビューマップ画像を生成することもできる。これにより、複数枚のトップビューマップ画像を合成してより広い視野のトップビューマップ画像を取得でき、ユーザに対し測定領域の指定などの作業を行い易い環境を提供できる。
この場合において、トップビューマップ画像生成部261は、トップビューマップ画像表示領域に表示されたトップビューマップ画像に対して、さらにトップビューマップ画像を追加する位置の指定を受け付けることもできる。この指定を受けて、トップビューマップ画像生成部261は、指定された位置でトップビューマップ画像を生成して、合成トップビューマップ画像を更新してトップビューマップ画像表示領域に表示させることができる。このようにして、得られたトップビューマップ画像から、測定対象物WKの不足している部位のトップビューマップ画像を必要に応じてユーザの指示により追加することが可能となり、測定用途や目的に応じた適切なトップビューマップ画像が得られる。
(測定領域設定部264)
測定領域設定部264は、表示部400上に表示された観察画像上で測定領域を設定する。
高さ画像取得部228は、複数の縞投影画像に基づいて高さ情報を有する高さ画像を取得する。また点群データ合成部211は、点群データ生成部260で生成された複数の点群データを合成する。ここで点群は、ポイントクラウド等とも呼ばれ、三次元空間の座標(例えばXYZの直交座標)を有している。このため載置部の異なる位置でそれぞれ生成された測定対象物の点群データを、点群データ生成部211でもって共通の三次元空間の座標上で重ね合わせることで、より詳細で精密な測定対象物の表面形状を表現できる。
(画像検査部216)
画像検査部216は、測定部100で撮像された測定対象物WKの画像に対して、所定の画像検査を実行する。この画像検査部216は、測定対象画像に対して所定の計測を行うための計測部216bを含むことができる。これにより、計測部216bで計測された計測結果に基づいて画像検査を実行できる。例えば、測定対象物WKの所定部位の長さや角度といった計測を行った結果に基づいて、良品や不良などの判定といった検査を行うことが可能となる。計測部216bが行う計測には、テクスチャ画像上で指定したプロファイル線を通り、画面に対して垂直な平面で切断した輪郭線を演算して、プロファイルグラフとして表示部400に表示させたり、プロファイルグラフで示す輪郭線から円や直線などを抽出して、それらの半径や距離を求めることができる。
このようにCPU210は、様々な機能を実現するための異なる手段を兼用している。ただ、一の部材で複数の手段を兼用する構成に限られず、各部や機能を実現する部材を複数、又はそれぞれ別個に設けることも可能であることはいうまでもない。
(表示部400)
表示部400は、測定部100で取得された縞投影画像や、縞投影画像に基づいて高さ画像取得部228で生成した高さ画像、あるいは測定部100で撮像されたテクスチャ画像を表示させるための部材である。表示部400は、例えばLCDパネル又は有機EL(エレクトロルミネッセンス)パネルにより構成される。さらに表示部にタッチパネルを利用することで、操作部と兼用することができる。
また表示部400は、受光部120により生成された観察画像を表示する。
(載置部140)
図2において、測定対象物WKが載置される載置部140上の平面(「載置面」と呼ぶ。)内で互いに直交する2方向をX方向及びY方向と定義し、それぞれ矢印X、Yで示す。載置部140の載置面142に対して直交する方向をZ方向と定義し、矢印Zで示す。Z方向に平行な軸を中心に回転する方向をθ方向と定義し、矢印θで示す。
載置部140は、並進ステージ141及び回転ステージ143を含む。並進ステージ141は、X方向移動機構及びY方向移動機構を有する。回転ステージ143は、θ方向回転機構を有する。並進ステージ141、回転ステージ143により、載置部140が構成される。また、載置部140は、載置面142に測定対象物WKを固定する固定部材(クランプ)を含めてもよい。さらに載置部140は、載置面142に平行な軸を中心に回転可能な機構を有するチルトステージを含んでもよい。
ここで図2に示すように、左右の投光部110の中心軸と受光部120の中心軸は、載置部140上の測定対象物WKの配置と投光部110、受光部120の被写界深度が適切となる位置において交差するように、受光部120、投光部110、載置部140の相対的な位置関係が定められている。また、θ方向の回転軸の中心は、受光部120の中心軸と一致しているため、θ方向に載置部140が回転した際に、測定対象物WKが視野から外れることなく、回転軸を中心に視野内で回転するようになっている。なお、本図において測定部100は紙面におけるX方向を中心に回転した配置を有しており、受光部120の光軸と載置部140の天面法線(Z方向)とは必ずしも一致する必要はない。
(光源部300)
光源部300は、制御基板310及び観察用照明光源320を含む。制御基板310には、図示しないCPUが実装される。制御基板310のCPUは、コントローラ200のCPU210からの指令に基づいて、投光部110、受光部120及び測定制御部150を制御する。なお、この構成は一例であり、他の構成としてもよい。例えば測定制御部150で投光部110や受光部120を制御したり、又はコントローラ200で投光部110や受光部120を制御することとして、制御基板を省略してもよい。あるいはこの光源部300に、測定部100を駆動するための電源回路を設けることもできる。
(観察用照明光源320)
観察用照明光源320は、例えば赤色光、緑色光及び青色光を出射する3色のLEDを含む。各LEDから出射される光の輝度を制御することにより、観察用照明光源320から任意の色の光を発生することができる。観察用照明光源320から発生される照明光ILは、導光部材(ライトガイド)を通して測定部100の照明光出力部130から出力される。なお観察用照明光源には、LEDの他、半導体レーザ(LD)やハロゲンライト、HIDなど、他の光源を適宜利用することもできる。特に撮像素子としてカラーで撮像可能な素子を用いた場合は、観察用照明光源に白色光源を利用できる。
照明光出力部130から出力される照明光ILは、赤色光、緑色光及び青色光を時分割で切り替えて測定対象物WKに照射する。これにより、これらのRGB光でそれぞれ撮像されたテクスチャ画像を合成して、カラーのテクスチャ画像を得て、表示部400に表示させることができる。
図2の照明光出力部130は、円環形状を有し、受光部120を取り囲むように載置部140の上方に配置される。これにより、影が発生しないように照明光出力部130から測定対象物WKにリング状に照明光が照射される。
また照明光出力部130は、このようなリング照明に加えて、透過照明や同軸落射照明を加えることもできる。図2の例では、透過照明部を載置部140に設けている。透過照明部は、載置部140の下方から測定対象物WKを照明する。このため載置部140は、透過照明光源と、反射板と、照明用レンズ系を設けている。
なお、リング照明や透過照明は、適宜省略することも可能である。これらを省略する場合は、三次元測定用の照明すなわち投光部を用いて、二次元画像の撮像を行うこともできる。
図1の例では観察用照明光源320を本体ケース101に含めず、測定部100に対して外付けとして、光源部300に観察用照明光源320を配置している。このようにすることで、観察用照明光源320から供給される照明光の品質を向上し易くできる。例えば観察用照明光源320を構成するRGBの各LEDでは配光特性がそれぞれ異なることから、モノクロの撮像素子121aでRGBのテクスチャ画像をそれぞれ撮像した際、そのままでは視野内に照明色むらが発生する。そこで、それぞれのLEDの配光特性に合わせた専用光学系を個別に用意し、組み合わせることで配光特性の違いを吸収し、色むらのない均一な白色照明を作り出した上で測定部100に導入することができる。
また観察用照明光源320の発熱が、測定部100の光学系に影響を与える事態を回避できる。すなわち、光学系の部材の近傍に熱源があると、熱膨張によって寸法が狂い、測定精度の低下が生じることがあるが、発熱源である観察用照明光源を本体ケース101から排除したことで、このような観察用照明光源の発熱に起因する問題を回避できる。また、この結果として発熱量の大きい高出力の光源を観察用照明光源に利用できる利点も得られる。
各投光部110A,110Bの測定光源111は、例えば青色LED(発光ダイオード)である。測定光源111は、ハロゲンランプ等の他の光源であってもよい。測定光源111から出射された光(以下、測定光と呼ぶ)は、レンズ113により適切に集光された後、パターン生成部112に入射する。
パターン生成部112は、例えばDMD(デジタルマイクロミラーデバイス)である。パターン生成部112は、LCD(液晶ディスプレイ)、LCOS(Liquid Crystal on Silicon:反射型液晶素子)又はマスクであってもよい。パターン生成部112に入射した測定光は、予め設定されたパターン及び予め設定された強度(明るさ)に変換されて出射される。パターン生成部112から出射された測定光は、レンズ114により測定対象物WKの寸法よりも大きい径を有する光に変換された後、載置部140上の測定対象物WKに照射される。
投光部110Aの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。同様に、投光部110Bの測定光源111、レンズ113及びパターン生成部112は、受光部120の光軸と略平行に並ぶように配置される。一方、各投光部110A,110Bのレンズ114は、測定光源111、レンズ113及びパターン生成部112に対してオフセットするように配置される。これにより、投光部110A,110Bの光軸が受光部120の光軸に対して傾斜し、受光部120の両側方からそれぞれ測定対象物WKに向けて測定光が出射される。
本実施形態においては、測定光の照射範囲を広くするため、一定の画角を有するように投光部110A,110Bが構成される。投光部110A,110Bの画角は、例えば、パターン生成部112の寸法及びレンズ114の焦点距離により定まる。測定光の照射範囲を広くする必要がない場合には、画角が略0度となるテレセントリック光学系が投光部110A,110Bの各々に用いられてもよい。
測定対象物WKにより載置部140の上方に反射された測定光は、受光部120のレンズ122により集光及び結像され、カメラ121の撮像素子121aにより受光される。
本実施形態においては、受光部120の撮像視野を広くするため、一定の画角を有するように受光部120が構成される。本実施の形態においては、受光部120の撮像視野とは、受光部120により撮像が可能な空間上の領域を意味する。受光部120の画角は、例えば、撮像素子121aの寸法及びレンズ122の焦点距離により定まる。広い視野を必要としない場合には、テレセントリック光学系が受光部120に用いられてもよい。ここで、測定部100に設けられる2つの受光部120のレンズ122の倍率は互いに異なる。それにより、2つの受光部120を選択的に用いることにより、測定対象物WKを互いに異なる2種類の倍率で撮像することができる。2つの受光部120は、2つの受光部120の光軸が互いに平行となるように配置されることが好ましい。
カメラ121は、例えばCCD(電荷結合素子)カメラである。撮像素子121aは、例えばモノクロCCD(電荷結合素子)である。撮像素子121aは、CMOS(相補性金属酸化膜半導体)イメージセンサ等の他の撮像素子であってもよい。撮像素子121aの各画素からは、受光量に対応するアナログの電気信号(以下、受光信号と呼ぶ)が制御基板150に出力される。
モノクロCCDには、カラーCCDとは異なり、赤色波長の光を受光する画素、緑色波長の光を受光する画素及び青色波長の光を受光する画素を設ける必要がない。ここで、測定光に青色波長等の特定波長を採用した場合、カラーCCDは特定波長の光を受光する画素しか計測に利用できないが、モノクロCCDにはそのような制約がない。そのため、モノクロCCDの計測の分解能はカラーCCDの分解能よりも高くなる。また、モノクロCCDには、カラーCCDとは異なり、各画素にカラーフィルタを設ける必要がない。そのため、モノクロCCDの感度はカラーCCDの感度よりも高くなる。したがって、高い精度で後述する点群データを得ることができる。これらの理由により、本実施形態におけるカメラ121にはモノクロCCDが設けられる。
本実施形態においては、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で出射する。この構成によれば、モノクロCCDを用いた受光部120により測定対象物WKのカラー画像を撮像することができる。
一方、カラーCCDが十分な分解能及び感度を有する場合には、撮像素子121aは、カラーCCDであってもよい。この場合、照明光出力部130は、測定対象物WKに赤色波長の光、緑色波長の光及び青色波長の光を時分割で照射する必要はなく、白色光を測定対象物WKに照射する。そのため、照明光源320の構成を単純にすることができる。
実施形態1に係る三次元形状測定装置500を含む三次元形状測定システム1000を図4に示す。この図に示す三次元形状測定システム1000は、三次元形状測定装置本体500Aと、コントローラ200で構成される三次元形状測定装置500に、制御用のPC1やモニタ2、キーボード3、マウス等の入力デバイス4を接続している。制御用PC1には、三次元形状測定装置500を用いて三次元形状測定を行うための三次元形状測定プログラムがインストールされている。ユーザは三次元形状測定プログラムを用いて、三次元形状測定装置500の設定や、撮像、測定等の実行を指示できる。
なお、図4の例では、コントローラ200を三次元形状測定装置本体500Aと別体に構成しているが、三次元形状測定装置本体側にコントローラを一体化してもよい。あるいは、コントローラの機能を、制御用PCと統合することもできる。
三次元形状測定装置500は、測定部100と、支持部700と、台座部600と、遮光カバー102で構成される。これら測定部100と、支持部700と、台座部600と、遮光カバー102は、図5の分解斜視図に示すように着脱自在なユニット式に構成されている。これにより、各部材のメンテナンス性や可搬性に有利となる。遮光カバー102は、受光部120及び投光部110の前方に延長されて、これらを覆うと共に、載置面142の上方で、載置面142と離間された姿勢に保持され、載置面142上方の測定領域を外光から遮光する。この遮光カバー102は測定対象物に応じて着脱可能とし、測定における基本最小構成は測定部100と台座部600の組合せである。
台座部600は、載置部140を備えている。載置部140は、上述の通り測定対象物が載置される載置面142を回転させる回転ステージ143と、載置面142を平行移動させる並進ステージ141を含む。ここでは、回転ステージ143であるθステージの上面に、並進ステージ141であるXYステージを載せたXYθステージで載置部140を構成している。
台座部600は、支持部700を介して測定部100を垂直姿勢に保持している。また測定部100は、投光部110や受光部120を載置面142に対して光軸が傾斜する姿勢に固定する。このため投光部110は、投光部110や受光部120を固定する固定部125を含んでいる。固定部125は後述する図7に示すように、固定部125は、台座部600から離間した姿勢に支柱部702で支持される。また投光部110及び受光部120を載置面142に対して光軸が傾斜する姿勢に固定している。これにより、載置部140の上方に測定光による測定領域が形成される。また、投光部110や受光部120等の光学系がこの測定領域を斜め下に見下ろす姿勢に保持される。
支持部700は、台座部600と測定部100とを連結する。支持部700を介して、載置部140の上方に測定部100が位置するように保持される。測定部100は、観察光学系として上述の通り投光部110と受光部120を備える。この測定部100は、台座部600に設けられた載置部140の載置面142に対して、垂直上方でなく、斜め方向から見下ろす姿勢に保持される。このような配置によって、測定対象物の上面と側面の形状を、一回の測定で取得し易くなる利点が得られる。特に高さ方向の情報を取得するには、測定対象物の内、高低差のある側面の情報が有益となる。一方で、側面のみでは、測定対象物の全体の形状が把握し難い。そこで、全体の外形を把握し易い上面と、高さ情報を取得しやすい側面の両方を、一度に得ることのできる、斜め上方からの視点で測定対象物を補足できる姿勢となるよう、測定部100を載置面142に対して傾斜させた姿勢に保持することが有益となる。図6の側面図に示す例では、測定部100の投光部110や受光部120の光軸が、XYθステージの載置面142に対して約45°の角度をなすように傾斜姿勢で保持している。このように測定部100は、45°の俯瞰角度を一定に保つ状態に支持部700でもって台座部600と連結されている。これによって、測定部100は常に一定角度、一定位置で載置面142を見込むことが可能となり、載置面142の駆動軸であるXYθの3軸と観察光学系との位置関係が一定に保たれる。
受光部120は、倍率の異なる複数の光学系を備えてもよい。このような例を、図7に示す。この例では、受光部120は、第一倍率を有する第一光学系と、第一倍率よりも高倍率の第二倍率を有する第二光学系を備えている。このように、倍率の異なる光学系を備えたことで、載置面142上に載置した測定対象物WKの大きさに応じて視野を切り替えることができる。この例では、受光素子として、第一光学系と光学的に結合された第一受光素子121bと、第二光学系と光学的に結合された第二受光素子121cを備えている。なお第一光学系と第一受光素子121bをまとめて第一カメラ121B、第二光学系と第二受光素子121cをまとめて第二カメラ121Cと呼ぶことがある。このように複数の受光素子を用意し、光学系毎に個別の受光素子で撮像するよう構成したことで、各光学系で受光した撮像処理を並行して行うことができ、処理の高速化や光学結合の簡素化が実現される。ただ、共通の受光素子で複数の光学系と光学的に連結してもよい。
第一光学系と第二光学系は、光軸が平行になるように配置している。第一光学系の第一光軸LA1と、第二光学系の第二光軸LA2は、それぞれ載置面142に対して約45°に傾斜されている。ここでは、高倍率の第二光学系、すなわち第二カメラ121Cが、第一光学系である第一カメラ121Bの下側となるように、垂直方向に並べて固定部125に配置されている。このような配置により、第一光学系から第二光学系に切り替えた際の視点の移動が、測定対象物WKの手前側となって、ユーザに対し視野の変化を比較的把握し易くできる利点が得られる。より正確には、視野の広い(倍率の低い)第一光学系においては、載置面上に置かれた測定対象物WKが大きい場合でも、一方視野の狭い(倍率の高い)第二光学系においては載置面上に置かれた測定対象物WKが小さい場合でも、いずれも全周回した際の測定対象物WKの全体を視野に収めることが可能となる。
(XYθステージ)
次に、台座部600の構成例を図7〜図9に基づいて説明する。図7の例では、XYθステージは、台座部600上に固定された回転ステージ143であるθステージの上に、並進ステージ141であるXYステージが載置されている。また回転ステージ143の回転軸は、第一光学系及び第二光学系の光軸と、それぞれ45°の角度で交わる形で配置されている。回転ステージ143上に載置された並進ステージ141は、回転ステージ143の回転に伴って図8、図9の平面図に示すように、そのXY駆動軸も共に回転する構成となっている。図8においては、並進ステージ141を移動させるX軸、Y軸を、図9においては回転ステージ143を回転させるθ方向を、それぞれ示している。このように、回転ステージ143の上に並進ステージ141が載置された構成とすることで、測定部100の光軸と回転ステージ143の回転軸とが、機械的に締結された一定関係を保つことが容易となる。また必要に応じて、並進ステージ141の移動方向のキャリブレーションと、ステージ回転軸の回転方向のキャリブレーションを行うことで、測定部100の観察空間中の座標系におけるステージ駆動軸を把握できる。
また、図8に示すように、並進ステージ141の移動の基準位置は、例えば、平行移動の基準となる位置である。典型的には、XY平面の原点D(0,0)である。さらに、図9に示す点Cは、θ回転の中心であって、図9の場合は回転ステージ143の回転軸と一致する。この回転ステージ143の上方に並進ステージ141を、点Cと点Dが一致するように配置することにより、並進ステージ141の移動の制御がしやすくなる。
ここで回転ステージ143を回転させる回転機構の構成例を図10に、並進ステージ141を移動させる移動機構の構成例を図11に、それぞれ示す。これらの例に示す載置部140は、上述の通り回転ステージ143の上に、並進ステージ141を載置した構成を示している。
回転ステージ143の回転機構は、図10に示すように台座部600内に、回転駆動ガイド800、回転パルス指示部810、実回転量読取部820、回転駆動モータ830、減速機構840、原点センサ850、並進ステージ締結部860、移動制御部144を備える。台座部600に回転駆動ガイド800が直接締結されていることで、機械的に回転軸が一意に決まる構成となっている。移動制御部144は、回転パルス指示部810に制御信号を送出する。回転パルス指示部810は、移動制御部144から制御信号を受けて回転パルスを生成し、この回転パルスの分だけ回転駆動モータ830を回転させる。回転駆動モータ830は、減速機構840を介して回転駆動ガイド800に動力を伝達し、この回転駆動ガイド800を通じて回転ステージ143の回転運動を発生させる。図10の例では、減速機構840はタイミングベルトによる減速及び動力伝達を実施している。また回転ステージ143の回転駆動量は、実回転量読取部820によって検知される。回転パルス指示部810からの回転パルス量から換算される想定回転量と、実回転量読取部820で検知された実回転量を比較することで、回転ステージ143の制御状態の良否を判定することが可能となる。例えば、衝突等による想定外の回転停止状態の検知を行うことができる。また原点センサ850は、回転ステージ143の初期座標を決定する。これにより、無限回転可能な回転ステージ143の初期座標を把握できる。
また回転ステージ143は、並進ステージ締結部860を介して並進ステージ141と固定されている。回転駆動ガイド800を通じた回転ステージ143の回転運動は、並進ステージ141にも伝達され、台座部600上の載置面142の回転姿勢を変化させることが可能となる。
並進ステージ141の駆動機構は、図11に示すように台座部600内に、直動ガイド900、直動動力伝達部910、移動パルス指示部920、実移動量読取部930、並進駆動モータ940、無限回転コネクタ950、移動制御部144を備える。このように無限回転コネクタ950によって、回転ステージ143の固定側から送られてきた制御信号、又は駆動電力が回転ステージ143の駆動側、すなわち並進ステージ141の固定側へと伝達可能となり、回転ステージ143の無限回転が実現される。なお無限回転コネクタを有しない場合は、ハーネスの捻じれを伴う駆動となるため回転ストロークが有限となる。無限回転コネクタ950を介して、回転ステージ143の固定側に配された移動制御部144から移動パルス指示部920による移動量の分だけ並進駆動モータ940を回転させ、直動動力伝達部910及び直動ガイド900を通じて並進ステージ141の駆動を実現する。並進ステージ141の移動量は、実移動量読取部930により検知される。移動パルス指示部920からの移動パルスから変換される想定移動量と、実移動量読取部930で検知された実移動量の比較によって、並進ステージ141の制御状態の良否を判定することが可能となる。
また、以上の例では回転ステージ143の上面に並進ステージ141を配置した載置部140の構成例を説明した。このような配置によって、回転ステージ143を回転可能に台座部に固定し、並進ステージ141をその上面の測定対象物と共に回転ステージ143で回転させることができる。このように測定対象物と並進ステージ141が共に回転することにより、測定対象物と並進ステージ141の位置関係は、測定対象物の載置姿勢を変えない範囲では、一定に維持できる。この結果、回転ステージ143を回転させた複数の異なる視点からの三次元測定が、常に同じ測定対象物の範囲で行われることとなり、測定対象物上の同一点を複数視点からのデータで平均化でき、測定対象物全体にわたって安定した測定が行われ、測定精度が向上される。
ただ本発明は載置部140をこのような構成に限定せず、例えば図12に示す実施形態2に係る三次元形状測定装置500Bに示すように、並進ステージ141の上面に回転ステージ143を配置する構成としてもよい。
(トップビューマップ画像)
実施形態に係る三次元形状測定装置は、トップビューマップ画像の生成機能を備えている。トップビューマップ画像とは、載置部140に載置された測定対象物の平面図に当たる、上方から見た画像である。特に図6に示すような、測定対象物を真上からでなく斜め上方から観察する三次元形状測定装置においては、測定対象物の外形などを視覚的に把握が容易でない場合がある。そこで、測定対象物の平面図的な画像をトップビューマップ画像として用意することで、ユーザに対して測定対象物の全体像を示し、現在どの部位を斜め方向から観察しようとしているのか、相対的な位置関係を把握し易くすることができる。
トップビューマップ画像の視点は、載置面142に対して直交する方向を基本とする。ただ、多少傾斜した角度から見た画像としてもよい。例えば載置面142の垂直方向を0°としたとき、±5°程度傾斜した方向から見た画像としてもよい。このように、垂直方向から多少傾いた画像であっても、本明細書においてもトップビューマップ画像と呼ぶ。またトップビューマップ画像は、測定対象物の測定位置の把握など、ナビゲーション的な用途で用いることを企図しているため、撮像素子で撮像した光学画像でなくともよく、測定対象物を擬似的に表した画像で足りる。また、三次元形状測定装置における測定は、別途生成する三次元画像等に対して行い、トップビューマップ画像に対して行うものでないため、トップビューマップ画像自体に高い精度は不要である。
図6に示すような、斜め上方向から俯瞰する非接触式の三次元形状測定装置は、測定対象物の上面だけでなく、外周側面を含めた立体形状を測定する用途を考える。この構成においては、測定対象物の上面と側面を観察視野に含めるように、斜め上方(図6では45°)から測定対象物を見込む配置となっている。このような三次元測定に際して、測定対象物の外形を取得するため、回転ステージ143を回転させて測定対象物の全周を見込むことがある。また、より大きな測定対象物を測定できるように、並進ステージ141を採用することも考えられる。一方で、より大きな測定対象物を測定したいという要求もある。このような場合に、図13に示すように長い測定対象物WK1を載置して載置部140を回転させると、三次元形状測定装置の支柱部702等と衝突する事態が考えられる。この図においては、測定対象物WK1の飛び出し量と支柱部702との距離DT1が、載置面142の最外周と支柱部702との距離DT2よりも大きい場合に衝突が発生する。
(測定対象物の外形検出機能)
そこで本実施形態に係る三次元形状測定装置では、測定対象物の外形を検出する外形検出機能を備えている。測定対象物の外形検出は、測定部100に含まれる撮像光学系を用いて、載置面142上に載置された測定対象物の画像を取得して得られる画像情報に基づいて行う。この測定対象物の外形検出は、例えばCPU210で行う。外形検出のアルゴリズムは、エッジ検出等、既知の方法が適宜利用できる。なお、上述した通り撮像光学系に、低倍率と高倍率の2つの受光素子を有する構成においては、高倍率の受光素子を選択して観察を行う場合であっても、低倍率の受光素子で得られた画像を用いることで、測定対象物に対してより広域な外形情報が得られる。このように、三次元形状測定装置の測定モードとして、低倍率測定モードと高倍率測定モードを有する場合であっても、測定対象物の外形把握のための撮像は、選択中の測定モードによらず低倍率の受光素子で実施するよう構成することが好ましい。
取得した斜め俯瞰の測定対象物の観察画像を図14に、測定可能範囲を重ねた観察画像を図15に、それぞれ示す。一般的に広域の測定を実施する低倍率は、画角を有する広角レンズであることが多く、視野が奥行に伴って変化する構成となっている。載置面142に対して斜めに俯瞰している撮像光学系は、その広角光学系の構成上、取得した画像はパースの掛かった状態であり、輪郭線が必ずしも測定対象物の外形を正確に示さないという問題があった。これは、奥行方向に行くほど倍率が異なり、ピクセル長が異なることに起因する。
また、斜め上方から見た俯瞰画像では、測定対象物の背面側の外形情報が欠落することに加えて、視野内に含まれる測定対象物の前面側の輪郭線が、必ずしも載置面142上に載置された状態での「端部」を正確に表現できないという問題も含んでいる。ここで広角俯瞰による端部検出の問題点を、図16、図17に示す。図16に示すように、測定対象物WK2の底面が正確に載置面142に触れているような載置状態であれば、測定対象物WK2の輪郭線(図16において黒丸で示す。)は測定対象物WK2の外形と一致する。しかしながら、図17に示すように、測定対象物WK3が傾いた姿勢で載置面142上に載置された場合では、画像上で見える輪郭線(図17において白丸で示す。)は、測定対象物WK3の端部とは一致しない。また、図16の場合であっても、仮に上方側に突出部が存在している場合は、輪郭線と端部は一致しない。
このような状態で、載置面142の移動による測定範囲を描画したとしても、ユーザにとっては端部が認識できないため、範囲設定の正確さが認識できないという問題につながる。例えば図15のように測定範囲を重ねた表示画像においても、奥側が測定範囲に含まれているかが不確かなだけでなく、測定対象物が傾いているのか、それとも設置位置が奥にずれているのかの判別が困難なことが判る。
そこで本実施形態に係る三次元形状測定装置は、このような測定対象物の外形検出の困難さに対して、視点を変えて、上面から見た平面図的な上方俯瞰画像であるトップビューマップ画像を生成する。このようなトップビューマップ画像を提示することで、測定範囲をユーザに判り易く示すことが可能となる。また、測定対象物を載置面142に載置する姿勢がどのようになっているのか、さらに測定対象物の外形を把握することで、載置面142を移動させる際に意図せず他の部位に衝突させないように、衝突予防を考慮した移動制御を行える等の利点が得られる。
トップビューマップ画像の生成は、トップビューマップ画像生成部261で行う。具体的なトップビューマップ画像の生成手順を説明すると、まず測定対象物の点群データを生成する。そして生成された点群データを、測定対象物を真上から見下ろしたときの平面図にマッピングして、トップビューマップ画像を生成する。必要に応じて、トップビューマップ画像上で測定領域の設定を促す工程を含めてもよい。また、トップビューマップ画像上で測定領域を自動で設定する工程を含めてもよい。
以上の通り本実施形態に係る三次元形状測定装置によれば、測定対象物を真上からでなく、斜め上から見た光学系を採用しながらも、測定対象物の三次元情報を取得して、真上方向から見たトップビューマップ画像を生成、表示することにより、測定対象物の全体形状をユーザが容易に把握し、測定範囲の設定を正確に行うことが可能となる。
(トップビューマップ画像の生成をユーザが指示する手順)
トップビューマップ画像に基づく測定範囲の設定及び測定は、まずトップビューマップ画像の作成、表示を行い、次にこのトップビューマップ画像に対して測定範囲を設定し、その上で測定を実行する流れとなる。この手順においてユーザが行う一連の操作について、図18のフローチャートに基づいて説明する。まずステップS1801において、測定対象物をステージに載置する。次にステップS1802において、測定対象物を測定するための測定条件を設定する。ここで測定条件としては、画像の明るさ、姿勢、測定範囲などが挙げられる。さらにステップS1803において、トップビューマップ画像の作成を指示する。例えばユーザが三次元形状測定装置操作プログラムから測定範囲設定画像を開いて、「トップビューマップ画像の作成」を選択する。
このようにして、トップビューマップ画像がトップビューマップ画像生成部261で作成されて、表示部400上に表示される(ステップS1804)。ユーザはこの状態で、トップビューマップ画像を確認し(ステップS1805)、トップビューマップ画像の撮影範囲が十分か否かを判定する(ステップS1806)。十分でないと判定した場合は、トップビューマップ画像の追加を指示する(ステップS1807)。これに従い、トップビューマップ画像が追加されて、表示されるので(ステップS1808)、再びユーザはトップビューマップ画像の撮影範囲が十分か否かを判定する(ステップS1806)。
そして、トップビューマップ画像の撮影範囲が十分と判定された場合は、ステップS1809に進み、測定範囲を確定する。そしてステップS1810で測定実行を指示することにより、測定が実行される(ステップS1811)。このようにして、トップビューマップ画像が生成される。
(トップビューマップ画像を生成する処理手順)
トップビューマップ画像は、一枚又は複数枚を合成した上方俯瞰画像である。このトップビューマップ画像は、複数の画像を合成し易い利点がある。逆に斜めから見た広角画像の場合は、パースがかかっているため、複数の画像を正確に合成することは容易でない。複数の上方俯瞰画像を合成し易いことで、既に作成したトップビューマップ画像への画像の追加が容易という利点も得られる。このため、トップビューマップ画像の作成は、三次元測定及び撮影から画像合成するという手順を再帰的に行えるようにすることで、ユーザがもう十分と認識するまで、トップビューマップ画像の大きさ、すなわち視野を広げることができる。ここで、トップビューマップ画像を生成する一連の処理の手順を、以下図19のフローチャートに基づいて説明する。
まず、三次元形状測定装置における処理として、ステップS1901において、載置面142を移動させる。次にステップS1902において、移動された位置で三次元形状の測定を実行する。そしてステップS1903でテクスチャ画像を取得し、ステップS1904で上方俯瞰画像を生成する。さらにステップS1905において、この上方俯瞰画像を、既に取得された他の上方俯瞰画像と合成して、トップビューマップ画像を生成する。
次にステップS1906において、ユーザ側の操作として、生成されたトップビューマップ画像を見て、撮影範囲が十分か否かを判定する。十分でない場合は、ステップS1907に進み、ユーザはトップビューマップ画像の追加を指示する。これに従い、ステップS1901に戻って三次元形状測定装置はトップビューマップ画像の生成処理を繰り返す。そして、ステップS1906においてトップビューマップ画像の撮影範囲が十分と判定された場合は、ステップS1908に進み、トップビューマップ画像の作成処理を終了する。この後、必要に応じて測定範囲設定に移行する。
ここで、載置部140を4つの位置(ステージ位置)に移動させながらトップビューマップ画像を順次追加して、トップビューマップ画像の大きさ、すなわち視野を広げていく場合の、各ステージ位置でのテクスチャ画像、合成前のトップビューマップ画像(上方俯瞰画像)、合成後のトップビューマップ画像を、図20のイメージ図に示す。この図に示す通り、ステージ位置を増やしていくことで、視野が広がり、測定対象物の全体形状が把握できていく様子が把握できる。
このようにステージ位置が多いほど視野は広がるが、その分トップビューマップ画像が作成されるまでの時間も長くなる。また測定対象物の全体形状が把握できるまでの処理として、測定対象物によっては2か所の撮像で十分な場合もあれば、4か所の撮像でも不十分な場合もあり得る。必要十分なステージ位置でトップビューマップ画像を作成する手順として、例えばユーザによって中断されるまで、視野の拡張を繰り返すことが考えられる。あるいは、1か所毎にトップビューマップ画像作成処理を中断し、ユーザに視野拡張が必要か否かを判断させてもよい。あるいはまた、トップビューマップ画像生成部261が、トップビューマップ画像合成後に測定対象物の広がりを認識し、まだ測定対象物が取れていないと判断した場合は、自動で視野を拡張するよう構成してもよい。
(トップビューマップ画像生成処理)
トップビューマップ画像は、上述したトップビューマップ画像の一連の生成処理で説明した通り、各ステージ位置での上方俯瞰画像の作成と、複数作成された上方俯瞰画像の合成に分けられる。
(上方俯瞰画像の作成)
トップビューマップ画像を構成する上方俯瞰画像は、測定対象物から得られた三次元情報とテクスチャ画像から生成される。トップビューマップ画像の作成方法の例として、点群データから二次元画像をマッピングする方法が挙げられる。ここで、点群データから二次元画像をマッピングしてトップビューマップ画像を生成する方法を説明する。
(点群から二次元画像をマッピング)
三次元情報には、点群情報(カメラの画素毎に点の位置を保持している構造化点群)と、この点群情報から生成されたメッシュデータがある。点群情報を使用して、受光素子であるカメラの画素毎の点の位置とテクスチャの輝度値を紐づけることにより、トップビューマップ画像を作成する。具体的には、図21に示すようなテクスチャ画像や、図22に示すような点群画像から、図23に示すようなトップビューマップ画像を作成する。なおトップビューマップ画像は、点を一つ一つマッピングして作成するため、一部の画素が欠けてしまう場合も発生する。この場合、トップビューマップ画像生成部261が欠けている画素を周辺画素から埋めることで、より見栄えの良い画像を作成することが可能となる。このような例として、欠けている画素を含む補完前のトップビューマップ画像の例を図24Aに、この画像を補完した補完後のトップビューマップ画像の例を、図24Bに、それぞれ示す。
(テクスチャ付きメッシュを生成し3D描画)
なお本発明は、トップビューマップ画像の生成方法を、上述した点群データから二次元画像をマッピングする方法に限定するものでなく、他の方法を利用することもできる。一例として、テクスチャ付きメッシュを生成し3D描画することでトップビューマップ画像を生成する方法を説明する。この場合は、点群データをそのまま利用するのではなく、一度メッシュ画像を作成し、そこにテクスチャを張り付けたテクスチャ付きメッシュ画像を作成する。この方法では、作成したメッシュ画像の描画を三次元的に行いつつ、視点や画角を上方俯瞰とすることで、トップビューマップ画像とする。すなわち、メッシュ画像を表示させる視点を測定対象物の真上に設定することで、メッシュ画像の表示態様を平面図のようにして、トップビューマップ画像として利用する。この方法は、点群情報をそのまま利用する場合と比べ、メッシュ画像を生成する処理が必要になる分、処理時間が増えるものの、必要に応じて側面図や背面図など、視点を異ならせた画像も生成できる利点が得られる。
(上方俯瞰画像の合成)
また上方俯瞰画像は、単純に重ね合わせることで合成が可能であり、合成に要する処理が簡単という利点が得られる。したがって、得られたトップビューマップ画像に追加することが容易で、図20に示したように必要に応じてより広域のトップビューマップ画像にすることができる。
(トップビューマップ画像生成の高速化)
トップビューマップ画像は、測定に使用されないため、測定と同様の精度は必要ない。よって、精度が多少悪くなっても、より高速にトップビューマップ画像が得られる方が望ましいといえる。このため、通常の三次元形状の測定に用いる画像の撮像よりも、トップビューマップ画像の撮像時には撮像条件を簡素化する等して、トップビューマップ画像の生成に要する時間を高速化する。本実施形態においては、トップビューマップ画像生成部261が、トップビューマップ画像の生成に際して、通常の三次元形状測定時の測定条件(通常測定条件)よりも、処理負荷の少ない簡易測定条件でトップビューマップ画像を生成する。このように通常の測定よりも負荷の少ない簡易測定条件とすることで、短時間でトップビューマップ画像を生成して表示させることが可能となる。
(簡易測定条件)
簡易測定条件としては、通常測定条件と比べ、画像の解像度を低下させる、露光時間を短くする、投光部110が複数ある場合に、受光部120の各投光部110の投光毎に受光部120で画像を撮像する動作から、一の投光部110の投光による得られた画像のみの動作とする、等が挙げられる。この内、画像の解像度を低下させるとは、受光素子であるカメラからの取得画像の解像度を落とすことが考えられる。これにより、点群数やテクスチャ画素数が減り、計算時間が短縮される。例えば、画像サイズを半分に間引くことで、撮像時間や撮像処理を短縮できる。
また、露光時間を短くするとは、例えばカメラのアナログゲイン機能を利用してアナログゲインを上げることが挙げられる。これによってカメラのノイズは増大するものの、上述の通りトップビューマップ画像には精度が求められていないためデメリットとはならず、むしろカメラの露光時間を減らせるという利点が得られる。
また投光部110が複数ある場合に、一の投光部110の投光による得られた画像のみの動作とするとは、上述した図2のように、投光部110を左右にそれぞれ備える場合、通常の三次元情報を取得する際には左右の計測用投光系を利用するところ、トップビューマップ画像の作成時にはこれら第一投光部110Aと第二投光部110Bのいずれか片側のみしか使わないようにする。これによって投光時間が半分となり、計算時間も短縮される。この場合は、計測可能な領域は左右を利用した場合よりも低下するものの、他のステージ位置でのトップビューマップ画像で補完することが可能となる。また一の投光部と複数の受光部を備える三次元形状測定装置においては、トップビューマップ画像の作成時には一方の受光部のみを用いた撮像とすることで、同様に処理を簡素化できる。
(測定範囲設定)
このようにして作成されたトップビューマップ画像を使用して、測定範囲を設定する。測定範囲の設定方法は、三次元形状測定装置による自動設定や、ユーザによる手動設定が挙げられる。
(測定範囲の自動設定)
ここで測定範囲の自動設定について、図25を用いて説明する。図25は測定対象物の輪郭線と、自動設定された測定範囲を重ねて表示させた例を示している。トップビューマップ画像生成部261は、トップビューマップ画像の作成過程で測定対象物の三次元情報を取得しているため、トップビューマップ画像中のどの部分が測定対象物であるかを判定できる。ここでは、載置部140の載置面142より上にある部分が測定対象物であると判断している。これにより、測定対象物を囲むように、測定範囲を自動で設定できる。図25の例では、太線で示す測定対象物の輪郭線を包含するように、トラック状あるいは面取りした矩形状の測定範囲を設定している。
(測定範囲の手動設定)
次に、ユーザが手動で測定範囲を設定する例を、図26に基づいて説明する。図26は、表示部400上に表示される三次元形状測定プログラムのユーザインターフェース画面の例を示している。この画面は、トップビューマップ画像を用いて測定範囲の手動設定を受け付ける測定領域設定部264の一態様である、測定範囲設定画面1100である。測定範囲設定画面1100は、トップビューマップ画像表示領域1101と、操作領域1102を有している。
(トップビューマップ画像表示領域1101)
トップビューマップ画像表示領域1101には、トップビューマップ画像生成部261で生成されたトップビューマップ画像が表示される。また、載置部140を構成するステージの外縁を白抜きの線(図26の例では円形)で示すと共に、測定領域を茶色の細線で重ねて表示させている。
(操作領域1102)
操作領域1102では、トップビューマップ画像生成部261でトップビューマップ画像を作成するための条件などをユーザに設定させるためのボタンやツール類が配置される。また説明なども併せて表示させてもよい。図26に示す測定範囲設定画面1100の操作領域1102には、トップビューマップ画像を生成するトップビューマップ画像作成ボタン1103の他、トップビューマップ画像を生成するための条件として、測定倍率を設定する倍率設定欄1104、測定範囲を設定する測定範囲設定欄1105、測定範囲を回転させる測定範囲回転欄1106が設けられている。これらは、設定を行う順に番号を付けて上から並べられており、ユーザは順に各設定を行うことで、測定領域を設定できる。このように、操作領域1102はユーザに対し、操作を行うべき項目を順に示すことで、適切に測定領域の設定が行えるように誘導するナビゲーション機能を実現している。さらに、各設定の手順を案内したり、内容や注意点などをテキストや音声、動画などで説明する、ガイダンス機能を付加してもよい。これにより、三次元形状測定装置の操作に詳しくないユーザであっても、設定の手順を案内されることで、操作に迷うことなく所望の測定範囲を設定するように導かれる。もちろん、操作に詳しいユーザであれば、このような案内された手順に必ずしも従う必要はなく、必要な設定項目を適宜選択して、所望の設定を行うことも可能である。またこの場合は、ナビゲーション機能やガイダンス機能をON/OFFできるように切り替え可能としてもよい。このように、ユーザの熟度や嗜好に応じて、設定を柔軟に対応させることが可能となる。
(倍率設定欄1104)
倍率設定欄1104では、トップビューマップ画像の測定倍率を設定する。なおトップビューマップ画像の倍率は、広域が得られるよう所定の低倍率とする。図26の例では、低倍率か高倍率かを選択する低倍ボタン1104aと高倍ボタン1104bが設けられている。低倍ボタン1104aを押下すると、受光部120に含まれる低倍率の第一光学系が選択されて、低倍率の画像が撮像される。図26の例では低倍ボタン1104aが押下された状態を示している。特にトップビューマップ画像は、測定対象物の広い領域、好ましくは全形を含めることがよいことから、より広域な画像が得られる低倍率を選択することが望ましい。特に、実際の測定では高倍率で行う場合でも、トップビューマップ画像の撮像時には低倍率の光学系を選択することで、測定範囲の設定などの作業を行い易い環境を実現できる。このため、倍率設定欄1104では初期値として低倍ボタン1104aが選択されるように構成してもよい。
ただ、トップビューマップ画像は必ずしも測定対象物の全体像を含める必要はない。例えば測定対象物の先端のみの測定といった、一部の領域のみを測定するような用途では、トップビューマップ画像も必要な領域のみを含んでおれば足りる。あるいは、細かな測定領域の指定が必要な用途も考えられる。このような用途にも対応できるよう、トップビューマップ画像の撮像に際しても、低倍率のみならず高倍率での撮像が可能なように、図26に示すような高倍ボタン1104bを準備してもよい。
また、倍率設定欄1104の構成は、高倍と低倍の二択とするのみならず、他の構成としてもよい。例えば、図27に示す変形例に係る測定範囲設定画面1200では、プルダウンメニューから規定の倍率を選択できるようにしている。あるいは、倍率を任意の数値で直接入力できるように構成してもよい。
さらに、より広域のトップビューマップ画像を撮像できるように、載置部140から遠ざかる位置に変更してもよい。例えば移動制御部144で、並進ステージ141を、予め定められた原点位置から支柱部702と反対方向に平行移動させる。このように並進ステージ141を受光部120から離間させた位置に移動させた上で、点群データ生成部260により測定対象物の立体形状を示す点群データを生成させることでより、広い画角を確保して広域な画像を取得でき、大きな測定対象物も視野に入りやすい利点が得られる。
(測定範囲設定欄1105)
測定範囲設定欄1105においては、規定の形状から選択させることで、ユーザに対して範囲指定を行い易くしている。図26の例では、視野を円形で並べたパターンを示したボタンを複数提示することで、ユーザに対して感覚的に測定範囲を把握し易くしている。具体的には、2つの視野を重なるように横に並べた2枚パターンボタン1105a、4つの視野を重なるように四隅に並べた4枚パターンボタン1105b、3つの視野を重なるように横に並べた3枚パターンボタン1105c、一つの視野のみの1枚パターンボタン1105dの4種類のボタンを提示している。各パターンボタンには、視野の配置例を大まかに示した図柄が表示されており、ユーザは感覚的に各パターンボタンに割り振られた視野の配置パターンを理解できる。なお、この例では各視野を判り易くするため円形状に図案化しているが、実際の視野は円形状に限らず、台形状となることもある。円形状に表示させたのは、判り易さのためと、実際に撮像された視野の内で、測定されたデータの信ぴょう性が高い領域に絞って円形状に抽象化したものである。
ユーザは所望のパターンボタンを選択することで、トップビューマップ画像表示領域1101には、選択された測定範囲が重ねて表示される。例えば2枚パターンボタン1105aを選択すると、図26に示す測定範囲設定画面1100が表示される。この図に示すように、選択された2枚パターンに応じた測定領域が、トップビューマップ画像表示領域1101上に茶色の線で重ねて表示される。また測定範囲設定欄1105においては、選択された2枚パターンボタン1105aがハイライトされ、現在選択されている測定領域のテンプレートがいずれであるか視覚的に判別できるようにしている。
また測定領域は、ユーザが自由に調整できる。ユーザがマウス等のポインティングデバイスを用いて、トップビューマップ画像表示領域1101上で測定領域をドラッグして、位置を移動させたり、傾斜あるいは回転させたり、サイズを変更したりすることもできる。このようにして、ユーザは直感的に測定範囲を設定することが可能になる。この際、2枚パターンを構成する円形状に表示された各視野は、中心点を表示させることができる。これによって各視野の現在の位置や相対的な位置関係を把握し易くなり、ユーザが測定領域の微調整を行う際の指針とできる。
同様に、4枚パターンボタン1105bを選択すると、図28に示す測定範囲設定画面1300が表示される。また3枚パターンボタン1105cを選択すると、図29に示す測定範囲設定画面1400が表示される。さらに1枚パターンボタン1105dを選択すると、図30に示す測定範囲設定画面1500が表示される。このように、測定範囲を予めテンプレートのように提供することで、ユーザは測定対象物の外形に応じて適切なテンプレートを選択することができる。また上述したテンプレートは一例であり、他にも菱形状、台形状、多角形状、円環状など、任意のパターンを提供できる。またテンプレートを選択する他、矩形状や円形状などをユーザがトップビューマップ画像表示領域1101で直接描画させたり、あるいは自由曲線で指定した領域を、トップビューマップ画像生成部261が近似的に提携画像に置き換えるように構成してもよい。
(測定範囲回転欄1106)
測定範囲回転欄1106は、現在設定されている測定領域を回転させるためのツールである。図26の例では、回転スライダ1106aを提供しており、回転スライダ1106a上を移動させることで、これに連動してトップビューマップ画像表示欄における測定領域を回転させるようにしている。また回転スライダ1106aの右側に設けられた数値入力欄1106bから、回転角度を数字で直接入力してもよい。
(トップビューマップ画像作成ボタン1103)
以上のようにして測定領域が設定されると、トップビューマップ画像が作成される。操作欄の下部には、トップビューマップ画像の作成を実行させるためのトップビューマップ画像作成ボタン1103を設けている。ユーザが、トップビューマップ画像作成ボタン1103を押下すると、トップビューマップ画像生成部261がトップビューマップ画像を生成し、生成されたトップビューマップ画像をトップビューマップ画像表示領域1101に表示させる。これによりユーザは、得られたトップビューマップ画像を視覚的に確認できる。
トップビューマップ画像生成部261は、各測定位置が、三次元形状測定装置の視野の中心となるように、並進ステージ141を移動させる。設定範囲と、その際測定位置の例を、図31に示す。この例では説明のため並進ステージ141の移動のみを示しているが、回転ステージ143を組み合わせてもよいことはいうまでもない。また並進ステージ141と回転ステージ143を組み合わせる際は、並進ステージ141を移動させた後、載置面142を含めた並進ステージ141全体の回転半径が最も短くなる位置に移動させた状態で回転ステージ143を回転させ、その後並進ステージ141を平行移動させる。
(トップビューマップ画像追加機能)
また得られたトップビューマップ画像に対して、さらに画像を追加してトップビューマップ画像の視野を拡張するトップビューマップ画像追加機能を付加してもよい。これにより、得られたトップビューマップ画像が不十分な場合、例えば測定対象物の左右の領域があいまいな場合は、左右のいずれが切れているような場合は、トップビューマップ画像を左右に追加して大きくし、より広い視野を得ることが可能となる。このような例を図27の変形例に示す。この例では、操作欄の上部に、トップビューマップ画像作成ボタン1103として「自動」ボタン1103Bを配置すると共に、その説明として「1.トップビューマップの作成 上から見た画像を作成することができます。」等の説明文も表示させている。さらに、トップビューマップ画像追加機能を実現する追加ボタン1107として左側ボタン1107aと右側ボタン1107bを設けており、現在表示されているトップビューマップ画像に対して、左側又は右側に視野を追加することが可能となる。また、視野を拡大されたトップビューマップ画像は同様にトップビューマップ画像表示領域1101に表示されるので、ユーザは更新されたトップビューマップ画像を確認して、必要に応じてさらに視野を追加することもできる。例えばトップビューマップ画像をできるだけ広視野で撮像するように、載置部140を測定部100から遠ざけて撮像する場合は、撮像対象物の左右が見えなくなることがあるため、必要に応じて右側や左側の視野を追加することで、このような事態にも対応できる。
なお、図27の例では追加ボタン1107として、現在得られているトップビューマップ画像の左右のいずれかに視野を追加する構成としているが、本発明はこの構成に限られず、例えば上側や下側、あるいは斜め方向への追加などを可能としてもよい。
(測定範囲設定に従った測定動作)
以上のようにして測定領域が設定されると、これに従って測定が実行される。ここでは、各測定位置が、三次元形状測定装置の視野の中心となるように、移動制御部144が並進ステージ141を移動させる。設定範囲と、その際測定位置の例を、図31に示す。この例では説明のため並進ステージ141の移動のみを示しているが、回転ステージ143を組み合わせてもよいことはいうまでもない。並進ステージ141と回転ステージ143を組み合わせる際は、並進ステージ141を移動させた後、一旦回転ステージ143の中心に移動させた状態で回転ステージ143を回転させ、その後並進ステージ141を平行移動させる。
なお、図6等に示したように、載置面142に対して斜め上方から測定を行う構成においては、載置面142の真上にカメラを設けて真下に見下ろす構成と比べると、周囲の外光を受光し易い。これを低減するために、載置面142の上方を覆って遮光する遮光カバー102に加えて、遮光カバー102の下側に遮光カーテンを配置する構成としてもよい。この構成においては、載置面142の奥側に遮光カーテンが配置される構成となるが、遮光カーテンを布のような柔軟性のある部材で構成すれば、載置面142の移動によって測定対象物が遮光カーテンと接触しても、遮光カーテンがこれに応じて無理なく変形できるため、干渉を考慮せずとも足りる。
(オート測定モード)
実施形態1に係る三次元形状測定装置は、載置面142に載置された測定対象物を撮像して生成した形状データから、必要な生成条件を自動で判定し、測定を実行可能なオート測定モードを備えている。オート測定モードを実行することで、ユーザは三次元形状測定装置で必要な生成条件の設定を意識することなく、欲しい測定データを簡便に得ることが可能になる。例えば、測定対象物が大きいため測定視野に収まりきらない場合、オート測定モードを実行することで、測定対象物に対して測定範囲を自動的に設定して、載置部140を移動させて順次形状データを生成し、得られた複数の形状データを合成して、測定対象物の全体を測定することが可能となる。このようなオート測定モードは、例えば移動制御部144で実現できる。またオート測定モードにより自動で設定される生成条件には、測定範囲、測定の向き、光学的測定条件等が挙げられる。
(測定範囲の自動設定)
並進ステージ141を備える三次元形状測定装置では、より大きな測定対象物であっても、載置部140を並進ステージ141で移動させて測定位置を変更させ、異なる測定範囲でそれぞれ測定することができる。このように複数の異なる位置で測定するために、測定範囲の設定が必要となる。このような測定範囲を自動で設定する手順として、プレスキャンによる自動設定や、測定中の自動判定等が挙げられる。以下、これらについて順次説明する。
(プレスキャンによる自動設定)
まず、プレスキャンによる自動設定について説明する。プレスキャンとは、通常の測定よりも簡易的な測定条件として、測定精度を落として高速化した測定を指す。このようなプレスキャンを用いた自動設定では、載置面142に載置された測定対象物が、視野の中央にある状態でプレスキャンを行うことで、測定対象物の範囲を推定し、測定範囲を自動で決定することができる。ここで、プレスキャンにより測定範囲を自動で設定し、測定対象物の全体像の測定データを取得する手順を、図32のフローチャートに基づいて説明する。
まずステップS3201において、測定対象物を載置面142に載置する。ここでユーザが手動で、測定対象物を載置面142に載置する。また必要に応じて三次元形状測定装置が、ユーザに対し測定対象物を載置面142に載置するよう促してもよい。次にステップS3202において、ユーザが三次元形状測定装置に対し、測定実行を指示する。これを受けてステップS3203において、三次元形状測定装置がプレスキャンを実行する。
次にステップS3204において、並進ステージ141を移動させる必要があるか否かを判定する。ここでは移動制御部144が並進ステージ141の移動の要否を判定する。そして移動の必要がない場合はステップS3205に進み、並進ステージ141を移動させず、移動制御部144は回転ステージ143のみを移動させて三次元形状測定を実行し、ステップS3208に進む。一方、ステップS3204において、並進ステージ141を移動させる必要があると判定された場合は、ステップS3206に進み、並進ステージ141を移動させる測定位置を移動制御部144が決定する。そしてステップS3207において、移動制御部144が並進ステージ141を決定された測定位置に移動させ、さらに必要に応じて回転ステージ143を回転させて三次元形状測定を実行し、ステップS3208に進む。
このようにして三次元形状測定が実行されると、ステップS3208において、自動配置された測定データをプレビュー表示する。ここでは、合成形状データ生成部260bが、測定対象物の各位置で生成した形状データを、位置毎に並べて、測定対象物の全体像を表示部に表示させる。この状態で、ステップS3209において測定対象物の全体像を正しく取得できたか否かをユーザに判定させる。そして正しく取得できていないとユーザに判定された場合は、ステップS3202に戻って上記の処理を繰り返す。一方、正しく取得できているとユーザに判定された場合は、ステップS3210に進み、測定データの結合を実行する。ここでは合成形状データ生成部260bが、形状データの位置合わせを行い、合成形状データを生成する。そしてステップS3211において、得られた合成形状データに対して、ユーザは必要に応じて、測定対象物の形状を測定、解析する三次元形状測定プログラムや三次元形状解析プログラムを用いた計測、解析を実行する。
このようにして、ユーザは測定視野に収まりきらない大きなサイズの測定対象物であっても、測定範囲や向き、生成条件等を設定することなく、測定対象物のプレスキャンに基づいて自動で載置部140を移動させて測定対象物の全体像の形状を取得することができる。すなわち移動制御部144は、測定対象物の形状に応じて、測定範囲を自動で判定して、全体像を取得するように載置部140を移動させて、合成形状データ生成部260bで合成形状データを生成する。
ここで、様々な測定対象物に対してプレスキャンを行い、測定データとしてトップビューマップ画像を取得した結果を、図33A〜図33Fに示す。これらの図において、図33Aは測定対象物の一例を示す観察画像、図33Bは図33Aの測定対象物に対して回転ステージ143の回転のみで生成したトップビューマップ画像のイメージ図、図33Cは測定対象物の他の例を示す観察画像、図33Dは図33Cの測定対象物に対して並進ステージ141の移動と回転ステージ143の回転を組み合わせて生成したトップビューマップ画像のイメージ図、図33Eは測定対象物のさらに他の例を示す観察画像、図33Fは図33Eの測定対象物に対して並進ステージ141の移動と回転ステージ143の回転を組み合わせて生成したトップビューマップ画像のイメージ図を、それぞれ示している。
このようなトップビューマップ画像を生成する手順を、図34のフローチャートに基づいて説明する。まずステップS3401において、プレスキャンを実行する。プレスキャンの実行手順は、図32に基づいて上述した通りである。次にステップS3402において、トップビューマップ画像を作成する。トップビューマップ画像は、トップビューマップ画像生成部261で生成する。次にステップS3403において、回転ステージ143の回転のみで対応できる範囲内に測定対象物があるか否かを判定する。この判定は、例えばCPU210や移動制御部144で行う。そして回転ステージ143の回転のみで測定対象物の全体像を取得できると判定された場合は、ステップS3404に進み、回転ステージ143の回転のみで測定データを取得する。ここでは、回転ステージ143を、所定の角度で回転させて第一位置とし、部分形状データを取得する。その後、回転ステージ143をさらに回転させて第二位置とし、部分形状データを取得する。この作業を繰り返して、測定対象物の全体像を得た後、合成形状データ生成部260bで各部分形状データを合成し、合成形状データを生成し、表示部に表示させる。例えば、図33Aに示す測定対象物は、載置面142に全体が収まっており、回転ステージ143の回転のみで全体像を取得できると図33Aの観察画像から判断できる。よって、移動制御部144で回転ステージ143を回転させて部分形状データを順次取得していく。ここでは回転ステージ143で載置面142を所定の角度、例えば60°ピッチで回転させて、各位置で部分形状データを取得する。なお所定の角度は、60°に限定されるものでなく、例えば45°や90°等、任意の角度とすることができる。角度を小さくするほど、精細な形状データが得られる反面、撮像回数が増えて処理時間が長くなる。そこで、要求される精度と速度に応じて、角度ピッチは適宜調整される。
得られた部分形状データは、表示部に表示される。ここでは、トップビューマップ画像を構成するよう、載置面142の平面視を示す画面上に、得られた部分形状データを、載置面142上の対応する位置に重ねて表示させる。そして回転ステージ143を順次回転させて、追加の部分形状データが得られる毎に、既に取得された表示されている部分形状データに追加して表示する。これによりユーザは、測定対象物の形状データが測定値毎に追加されている様子を確認できる。最終的には、図33Aの合成形状データとして、測定対象物のトップビューマップ画像が図33Bに示すように表示される。なお図33Bにおいて、破線で囲んだ円形の枠は、概ね一の視野範囲を示している。すなわち、この範囲内に測定対象物が収まっている場合は、並進ステージ141を移動させずとも測定対象物の全体像を補足できる。いいかえると、回転ステージ143の回転のみで足りると判定できる。移動制御部144は、図34のフローチャートのステップS3403の判定において、破線で示した視野範囲に測定対象物が含まれているか否を判定する。また図33Bの測定範囲は、上述した図30に示した測定範囲設定画面1500のトップビューマップ画像表示領域1101と対応している。すなわち、1枚パターンボタン1105dで測定対象物の全体像の含めることができることが判る。上述した図30の例では、ユーザが手動で測定範囲すなわち視野範囲の分割数を指定していたが、本実施形態においては、最初に取得した部分形状データに基づいて三次元形状測定装置側で自動的に測定範囲を設定することができる。
図34のフローチャートの説明に戻って、ステップS3403において、回転ステージ143の回転のみでは測定対象物の全体像を把握できないと判定された場合、いいかえると並進ステージ141の移動が必要と移動制御部144に判定された場合は、ステップS3405に進み、並進ステージ141の所定の並進移動の範囲内に測定対象物が含まれているか否かを判定する。ここで並進ステージ141の所定の並進移動の範囲内とは、例えばX方向(図33Dにおいて上下方向)を視野範囲に固定し、Y方向(図33Dにおいて横方向)に長くした領域が挙げられる。この範囲内に測定対象物の全体像が収まっておれば、並進ステージ141をY方向(図33Dにおいて左右方向)に移動させるのみで足りる。いいかえると並進ステージ141をX方向(図33Dにおいて上下方向)に移動させる必要がないため、載置部140の移動回数を低減して部分形状データの数を少なくし、効率良く測定対象物の全体を捉えた形状データを取得できるようになる。同様に、測定対象物の載置面142への置き方(例えば縦長、斜めなど)に応じて、測定範囲を適宜回転させて当てはめることで、移動回数を低減させて形状データを取得できる。
そしてステップS3405で、載置部140を移動させて形状データを生成する。ここでは、ステップS3404と同様、回転ステージ143を、所定の角度(例えば60°ピッチ)で回転させて部分形状データを順次取得する。その後、並進ステージ141をY方向に移動させた上で、同様に回転ステージ143を回転させて部分形状データを順次取得する。そして、得られた部分形状データを合成形状データ生成部260bで合成し、合成形状データを生成して表示部に表示させる。このようにして、図33Cの観察画像に示す測定対象物から、形状データとして図33Dに示すトップビューマップ画像が得られる。図33Dでは、トラック状の破線で示すような測定領域、すなわち横方向に2つ並べた1行×2列の横長の測定範囲が設定されている。また図33Dの測定範囲は、上述した図27に示した測定範囲設定画面1200のトップビューマップ画像表示領域1101と対応している。
一方で、図34のフローチャートのステップS3405において、並進ステージ141の所定の並進移動の範囲内に測定対象物が含まれていないと移動制御部144に判定された場合は、ステップS3407に進み、並進ステージ141の並進移動の範囲を拡大させるように載置部140を移動させて、形状データを取得する。並進移動の移動範囲の拡大とは、例えば図33Fにおいて、Y方向(図33Fにおいて横方向)のみならず、X方向(図33Fにおいて上下方向)にも視野範囲にも拡大するものである。この例では、2行×2列の4つの視野範囲を合成した測定領域としている。これにより、図33Eの観察画像に示すような縦横に大きい測定対象物であっても、図33Fに示すように全体像を含めたトップビューマップ画像を合成することができる。ステップS3407では、ステップS3406等と同様に載置部140を移動させて形状データを生成する。ここでは、回転ステージ143を、所定の角度(例えば60°ピッチ)で回転させて部分形状データを順次取得する。その後、並進ステージ141をX方向及びY方向に移動させた上で、同様に回転ステージ143を回転させて部分形状データを順次取得する。このようにして、横2行と縦2列の4つのステージ位置においてそれぞれ回転ステージ143を60°ピッチで6回回転させて生成した部分形状データを取得し、これらを合成形状データ生成部260bで合成して、得られた合成形状データを表示部に表示させる。このようにして、図33Eの観察画像に示す測定対象物から、形状データとして図33Fに示すトップビューマップ画像が得られる。図33Dの例では、図33Bよりも大きな円形状の破線で示す、4つの測定領域を組み合わせた測定範囲が設定されている。また図33Fの測定範囲は、上述した図28に示した測定範囲設定画面1300のトップビューマップ画像表示領域1101と対応している。なお4つの測定領域を組み合わせる際、図28に示したように十字状に並べる他、2行×2列のような行列状に配置してもよい。
(変形例)
また、以上の例では並進ステージ141の移動方向を縦方向と横方向とする構成を示したが、本発明はこの例に限らず、例えば並進ステージ141を斜め方向に移動させてもよい。これによって、載置面142上に長尺の測定対象物を斜め置かれた場合に、その長手方向、すなわち斜め方向に沿って並進ステージ141を移動させて形状データを生成してもよい。さらに載置部140は、並進ステージ141を平行移動させるX軸及びY軸を、載置面142の平面視において、載置部140が支持部700に接近及び離間する奥行方向と、この奥行方向と直交する横方向に対して傾斜して配置させてもよい。
例えば実施形態1では、並進ステージ141の駆動方位がθの回転姿勢によって変化するため、あらゆる方位に対して中心からストローク端までの距離(=全ストローク÷2)が、Lより短くないと、載置面142の端と支柱部702が衝突することになる。そのため、図35Aに示す並進ステージ141のすべてのストロークに対して、衝突を避け得る安全なストロークとは、図35Bにおいて実線で示す円形の領域となる。この結果、載置部140が本来有する、図35Bにおいて破線で示す有効ストローク範囲を減じることとなる。
これに対して、図36A、図36Bに示す変形例に係る三次元形状測定装置のように、矩形状の有効ストローク範囲を図35A、図35Bの姿勢から傾斜させて、矩形状の隅部が上下、左右に位置するように配置してもよい。いいかえると、矩形状の有効ストローク範囲の対角線が、図35BのX軸、Y軸となるように回転させている。このように、並進ステージ141のX軸及びY軸方向を、平面視において斜めにずらした構成とすることで、載置面142を大型化させることなく縦横へのストローク量を大きくして、より大きな測定対象物に対する測定に有利となる。図36Bの例では、並進ステージ141を平行移動させるX軸及びY軸は、載置面142の平面視において、載置部140が支持部700に接近及び離間する奥行方向(図36Bにおいて上下方向)と、この奥行方向と直交する横方向(図36Bにおいて左右方向)に対して45°の角度をなしている。このような配置によって、並進ステージ141を図35Bと同じサイズとしたまま、その横方向へのストローク量を√2倍に拡大させることが可能となる。なお、X軸及びY軸を、奥行方向及び横方向に傾斜させる角度は、45°に限定するものでなく、例えば40°〜50°など、斜め方向であれば同様の効果を達成できる。ただし、傾斜が少ないと、並進ステージ141を横方向へ移動させるストローク範囲の拡大効果が少なくなる。よって、最もストローク範囲の拡大量が大きくなる、45°前後とすることが好ましい。
(測定中の自動判定)
以上の例では、プレスキャンによる自動設定について説明した。また本発明は、プレスキャンによる自動設定に限らず、プレスキャンを行うことなく、測定データの生成中に、未測定範囲を推定して、測定範囲を随時拡張していくこともできる。これにより、本測定前にプレスキャンを行う手間を省くことができる。一方でこの方法によれば、最初の1枚目の測定データは測定部100の初期位置(例えば原点などの基準位置)で行うため、測定範囲の設定の仕方によっては、重複することが起こり得る。例えば載置部140を基準位置(中央)から測定を開始する場合、上述した図33Bの例であれば無駄は生じないものの、図33Dや図33Fの例においては、結果的に中央の測定データは不要となるため、この部分の測定が無駄になり、測定時間に無駄が生じる。
(測定の向きの自動設定)
上述の通り、回転ステージ143を回転させる際の、測定対象物の姿勢、すなわち回転角度は、移動制御部144によって自動で設定できる。ここで回転角度は、上述した例では所定の回転ピッチで固定した。例えば60°の回転ピッチで6回、少しずつ回転させることによって360°一回転させた。あるいは90°の回転ピッチで4回、45°の回転ピッチで8回など、規定値に設定することができる。
また回転角度を決定する別の方法として、プレスキャンで得られた測定データに応じて設定してもよい。例えば、プレスキャンで得た部分形状データから移動制御部144やCPU210で測定対象物の壁面を探し、明確な壁面が検出された場合は90°ピッチに設定し、検出されない場合は60°ピッチにする。これにより、比較的単純な形状は粗く回転させても形状の特定を把握し易い一方、壁面が検出されにくい複雑な形状の測定対象物については、回転ピッチを細かくして精細な形状データを取得することで、測定対象物毎に適切な精度を保ちつつ、処理の簡素化や高速化を図ることができる。
(光学的測定条件の自動設定)
さらに、各測定時に必要な光学的測定条件を自動で設定することもできる。例えば受光部120による露光時間について、各測定位置での測定対象物の領域から、最適な露光時間を自動設定することもできる。
(画像領域)
測定対象物が小さい場合は、撮像領域の全体を使って処理するのでなく、測定対象物が映っている領域のみを画領域として使用するように自動設定することができる。このように画像領域を制限することで、測定時間を短縮することが可能となる。
(オート露光)
(実施形態3)
斜め上方から見下ろす姿勢で測定対象物を観察する三次元形状測定装置において、測定露光の調整を、外界の明るさに依らず、載置面142に設置された測定対象物自体の明るさで最適化することができる。このような露光条件の自動調整をオート露光と呼ぶ。このようなオート露光機能を備える三次元形状測定装置を、実施形態3として、図37に示す。
受光部120をその光軸が載置面142と直交するように正対させるのでなく、図6等で示したとおり、斜め上方から見下ろす姿勢に受光部120を固定した構成においては、高さ方向の測定範囲を確保するために、測定対象物だけでなく、外界も視野内に入ってしまう。また、外界以外に、載置面も広く映ってしまい、測定対象物自体の明るさで露光調整を最適化することが難しい。そこで、実施形態3においては、外界及び載置面を除いて、測定対象物のみを抽出して明るさを最適化するオート露光機能を設けている。すなわち、載置面上の測定対象物のみに着目するよう、測定対象物のみを抽出し、抽出された測定対象物に対して露光調整を行うことで、測定対象物に最適な測定露光調整を行う。具体的には、測定対象物として抽出された領域の平均輝度を計算し、その平均輝度が目標輝度と近しくなるような、露光時間を計算する。この計算は、図37の露光調整部262で行う。
(外界の除去)
実施形態3に係る三次元形状測定装置500Cでは、予め測定部100と載置面142との位置関係をキャリブレーションしておくことにより、測定部100から得られる画像内での載置面142の位置を特定することができる。高さのある測定対象物を測定可能にするために、載置面に測定対象物が未載置の状態では、載置面の外側に多くの外界が映りこむ状態となる。そこで、載置面のみに着目して平均輝度を計算し、露光時間を計算することで、外界の影響を除去する。このように露光調整部262は、外界視野、すなわち載置面142の周囲の領域を除去することで、主に測定対象物に基づいて露光時間を適切に調整できる。一例として、観察画像内の載置面142のみの載置面領域を図38に示す。載置面142の奥側に見えるのは遮光カーテン160である。
(載置面の除去)
外界を除去しても、測定対象物が小さく、測定対象物が載置面の一部しか覆わないような場合は、載置面の明るさに影響されて、測定対象物に対して最適な露光設定とならない場合がある。例えば載置面が暗くて測定対象物が小さい場合、載置面の影響で露光時間が長くなり、測定対象物が明るくなりすぎる。そこで、露光調整部262で載置面142内の測定対象物の領域を抽出し、測定対象物に対してのみ平均輝度を計算し、露光時間を計算することで、載置面142の影響を除去することができる。このような載置面142を除去する手法について、以下説明する。
(1:載置面の明るさから乖離した部分を測定対象物として認識する方法)
まず、載置面の明るさから乖離した部分を測定対象物として認識する方法が挙げられる。この方法では、予め測定対象物を載置していない状態での載置面の明るさを取得し、その情報を三次元形状測定装置に登録しておく。そして測定対象物が載置された際には、露光調整部262が、載置されていない状態との明るさの乖離が大きい部分を、測定対象物と認識して、露光調整を行う。
ここで、載置面の明るさを事前に三次元形状測定装置に登録する際は、画像そのものを登録する方法の他、明るさを二次関数等でフィッティングして、係数のみを登録する方法が利用できる。載置面の明るさ画像として、観察画像そのものを登録する例を図38に、載置面明るさ画像として、二次関数フィッティングを登録する例を図39に、それぞれ示す。
なお、測定対象物と載置面の明るさが同等である場合、測定対象物と載置面を分離して認識することはできないものの、この場合は載置面も含めて露光調整が行われても、測定対象物に対する最適な露光調整となるため、問題とならない。
(2:エッジ抽出を行い、測定対象物を認識する方法)
また、載置面を除去する他の方法として、エッジ抽出を行って測定対象物を認識する方法も利用できる。この方法では、露光調整部262が観察画像からエッジを抽出し、背景と測定対象物を分離する境界を求めることで、測定対象物のみを抽出する。なおこの方法では、上述した載置面の明るさから乖離した部分を測定対象物として認識する方法と比べて、画像処理の量が多く計算時間が多くなり易い傾向にある。
(三次元計測の例)
次に、本実施形態に係る三次元形状測定装置500を用いて、測定対象物として薄く成形された板金を加工した金属に対して測定を行う例を、図40〜図44を参照して説明する。一般に板金は材料をローラに通して圧縮し、厚さを減らすことで板状に成形され、その後にプレス金型を用いて形状変化をさせたり、切断やくりぬきが行われる。この際、成形品の各部位が所定の厚みの範囲内に収まっていないと加工工程で不具合が発生する虞があるため、成形品の厚みを確認したいという要求がある。
(厚さ計測画面1200)
図40は三次元形状測定装置を用いて三次元形状測定を行う三次元形状測定プログラムで、厚さ計測を行う厚さ計測画面1200のGUIの一例を示している。厚さ計測画面1200の左欄には画像を表示させる画像表示領域1210を、右欄には測定対象物の厚みを測定する設定を行う設定パネル1220を、それぞれ配置している。測定対象物の厚みは部位によって異なり、厚みを確認したい部位も測定対象物によって異なる。ユーザは設定パネル1220を使って、測定したい領域、設計厚み、追加探索厚み、表示設定(カラーパレットの設定)等を設定できる。
ユーザは画像表示領域1210に表示された測定対象物WK上の任意の位置をクリックすることにより、厚みを測定したい領域を選択できる。測定対象物上の任意の位置がクリックされると、指定された位置を含む連続する面が自動的に抽出され、厚み測定領域として選択される。
設定パネル1220には、基本計測要素指定ボタン1222、詳細ボタン1224等が設けられる。基本計測要素指定ボタン1222には、複数の基本計測要素(例えば平面、円柱、円錐、球、点)が配置されている。この基本計測要素指定ボタン1222で、基本計測要素のいずれかを選択することにより、選択された基本計測要素に対応する幾何形状の部位のみの厚みを測定することが可能である。選択された基本計測要素に応じて、画像表示領域1210上の測定対象物WKに重ねて、選択された基本計測要素と対応する画像が表示される。
図41は、基本計測要素として「平面」が選択された場合の選択結果を示している。ユーザにより選択された位置を含む平面が最小二乗法により計算され、計算された平面PLに含まれる点が厚み測定を行う面として抽出される。
また図42は、基本計測要素として「円錐」が選択された例を示しており、選択された位置を含む円錐CNが厚み測定を行う面として抽出されている。
上述したように、厚みを測定したい基本計測要素を選択することにより、厚み測定を行う領域を部分的に選択することが可能になる。これにより、ユーザは注目領域に対して適切な設計厚み、追加探索厚み、表示(カラーパレット)の設定が可能になる。また、基本計測要素を選択することなく、測定対象物の全体を厚み測定領域として選択することも可能である。
(設定ウィンドウ1300)
図40の厚さ計測画面1200において、設定パネル1220中から詳細ボタン1224を押すと、図43に示す設計厚みと追加探索厚みを設定するための設定ウィンドウ1300が立ち上がる。ユーザは設計厚み欄1302に厚みの設計値を入力し、追加探索厚み欄1304に設計厚みに対してどの程度の厚みまで探索するかを示す値を入力する。図44の例では、設計厚み1.000mmに対し、追加探索厚み1.000mmが入力されているため、最大厚み2.000mmが自動的に計算されて、最大厚み欄1306に表示される。厚みは表面のある点に対し、裏面の対応する近傍点を探索することで算出できる。ここでいう「探索」とは、ある点の厚みを算出するために、その点の法線とは逆向きの法線に対して所定の角度範囲内に存在する最近傍に位置する点を探索する処理をいう。測定対象点に対し、略逆向きの法線方向に対応点を探索することにより、対応点までの距離がその点の厚みとして算出される。最大厚み2.000mmに設定されている場合、最近傍点2.000mmよりも離れた位置に最近傍点が存在する場合は、当該最近傍点は対応点として見なされず、その点の厚みは測定対象外とされる。
(減少率設定画面1400)
ユーザにより設定された設定厚みに対し、減少率を設定することもできる。減少率とは、設計厚みに対してどの程度の厚み減少率をユーザが許容するかを示す値である。減少率を設定する減少率設定画面1400の例を、図44に示す。減少率設定画面1400では、設計厚み欄1402で設定された設計厚み1.000mmに対し、目標減少率欄1404において減少率25%が設定されているため、0.750mmまでは厚みの減少を許容するように設定されている。
(カラーパレットの設定)
また減少率設定画面1400において、カラーパレット設定ボタン1406を押すと、カラーパレットの設定が可能である。カラーパレットを適切に設定することで、測定対象物の厚みを視覚化することができる。厚みに応じて連続的に変化するカラーパレットを設定すれば、厚い部分と薄い部分を見分けることが容易である。このとき、設計厚みが中間色(例えば緑)となるように自動的に配色すれば、設計値に対して厚い部位が赤、薄い部位が青く配色され、ユーザが想定外の厚みとなっている部位を容易に見つけられる。カラーパレットは連続的なものに限らず、段階的に設定することも可能である。例えば減少率が設定されている場合は、減少率を超えて薄くなっている(または厚くなっている)部分を、それ以外の正常な部位とは異なる色に自動的に設定できる。
本実施形態では、厚み測定領域を特定の領域に限定して設定可能としているため、カラーパレットは選択されている厚み測定領域に限定して適用できる。特に部位によって想定される設計厚みや減少率が異なる場合は、各部位の設定値に適したカラーパレットに基づく表示が可能となり、異常な部位を発見しやすくなる。
またカラーパレットが適用された測定対象物上で、ユーザが指定した位置の厚みを測定対象物上に重畳表示してもよい。さらに、ユーザにより指定された領域に含まれる点の最大厚み、最小厚み、平均厚みなどを自動的に算出し、表示するようにしてもよい。