JP2011133327A

JP2011133327A - ３次元形状計測方法および３次元形状計測装置

Info

Publication number: JP2011133327A
Application number: JP2009292594A
Authority: JP
Inventors: Hiroshi Ichikawa; 拡市川
Original assignee: Roland DG Corp
Current assignee: Roland DG Corp
Priority date: 2009-12-24
Filing date: 2009-12-24
Publication date: 2011-07-07
Anticipated expiration: 2029-12-24
Also published as: JP5391053B2

Abstract

【課題】位相シフト法と空間コード法とを利用し、計測対象物の３次元形状を正確に測定することのできる新たな計測方法および計測装置を提供する。
【解決手段】空間コード法の利用に際して、明暗の境界が縞パターンの各周期の境界からそれぞれ＋π／２、−π／２ずれた第１、第２の空間コードパターンを用いる。位相シフト法で求めた画素の相対位相φが０＜φ＜＋πのときには前記第１の空間コードパターンを使用し、−π＜φ＜０のときには前記第２の空間コードパターンを使用することによって、位相接続を行う。
【選択図】図９

Description

本発明は、位相シフト法および空間コード法を利用して計測対象物の３次元形状を計測する３次元形状計測方法および３次元形状計測装置に関する。

従来から、位相シフト法を用いて計測対象物の３次元形状を計測する技術が知られている（例えば、特許文献１参照）。位相シフト法は、周期的に明度が変化する縞パターンを投影装置から計測対象物に投影し、その計測対象物を投影装置の投影光軸と異なる方向から撮像装置で撮影し、この撮像装置で撮影した濃淡画像を画像処理することで計測対象物の３次元形状を計測する方法である。

位相シフト法では、撮像装置による撮影を、縞パターンの位相を所定量ずつずらしながら、１周期相当分ずれるまで複数回繰り返す。撮影された複数の画像間において、同一画素における絶対的な受光量は計測対象物の表面性状や色などにより変化するが、相対的な受光量差は投影パターンの位相差分だけの変化を示すこととなる。そのため、相対的な受光量差に基づいて、投影された縞パターン上における各点の相対位相φが、対応する画素の位相として求められる。しかし、相対位相φは縞パターンの１周期内の値、例えば−π〜＋πの間の値を示すに過ぎず、その点の絶対位相Φを求めるには、その点の縞次数ｎ（一端から他端に向かって数えてｎ周期目の縞であることを表す値）を特定する処理が別途必要となる。これは一般に、位相接続処理と呼ばれる。

位相接続処理の手法として、空間コード法と呼ばれる手法が知られている（例えば、特許文献２参照）。空間コード法では、縞パターンの周期を２^ｉ倍（ただし、ｉは０または２^ｉ＋１≦Ｎを満たす自然数。Ｎは縞パターンの縞の総数）した周期で明暗が反転する空間コードパターンを投影装置から計測対象物に投影し、その空間コードパターンが投影された計測対象物を撮像装置で撮影する。投影される空間コードパターンの変化（ｉ＝０，１，２，…）に伴って、計測対象物の任意の点における明暗が変化する。ここで、明暗の変化の態様は縞パターンの縞の総数Ｎと同数だけ存在する。そのため、任意の点において、明暗の変化の態様が特定されると、その点の縞次数ｎを一義的に特定することができる。空間コード法によれば、各点における明暗の変化に基づいて、各点の縞次数ｎを特定することができる。

特開２００８−１８５３７０号公報特開２００６−１７７７８１号公報

位相シフト法と空間コード法とを組み合わせた従来の手法では、少なくとも周期が最小となるとき（すなわち、ｉ＝０のとき）の空間コードパターンの明暗の境界と、縞パターンの位相周期の境界とは一致していた。しかし、具体的な位相計算の方法、例えばフーリエ変換や逆正接を用いた位相計算方法に起因して、あるいは、投影装置と撮像装置との間の解像度の違い等に起因して、空間コードパターンの明暗の境界と縞パターンの位相周期の境界との間にずれが生じる場合がある。ところが、そのようなずれが生じると、位相接続が不正確となり、計測対象物の３次元形状を正確に測定することができなくなる。

本発明はかかる点に鑑みてなされたものであり、その目的とするところは、位相シフト法と空間コード法とを利用し、計測対象物の３次元形状を正確に測定することのできる新たな計測方法および計測装置を提供することにある。

本発明に係る３次元形状計測方法は、明度がＮ周期（ただし、Ｎは２以上の自然数）に亘って周期的に変化する縞パターンを計測対象物に投影し、前記縞パターンの投影方向と異なる方向から前記計測対象物を撮影し、前記縞パターンの位相をずらしながら前記投影および前記撮影を順次繰り返す第１ステップと、前記第１ステップで得られた複数の撮影画像間の受光量変化に基づいて、撮影画像の各画素における前記縞パターンの相対位相を得る第２ステップと、前記縞パターンの周期を２^ｉ倍（ただし、ｉは０または２^ｉ＋１≦Ｎを満たす自然数）した周期で明暗が反転する空間コードパターンであって、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からずれた複数種類の空間コードパターンを前記計測対象物に投影し、前記計測対象物を撮影する第３ステップと、前記相対位相に基づいて前記複数種類の空間コードパターンのいずれか一つを選択し、選択された空間コードパターンが投影されたときの撮影画像から、各画素における前記縞パターンの縞次数を演算する第４ステップと、演算された縞次数と前記相対位相とから、各画素における絶対位相を得る第５ステップと、各画素の絶対位相から前記計測対象物の各点の３次元座標を演算することによって、前記計測対象物の３次元形状を特定する第６ステップと、を備えた方法である。

本発明に係る３次元形状計測装置は、明度がＮ周期（ただし、Ｎは２以上の自然数）に亘って周期的に変化する縞パターンを、位相を順次ずらしながら計測対象物に投影する投影装置と、前記縞パターンの投影方向と異なる方向から、前記縞パターンが投影された計測対象物を撮影する撮像装置と、複数の撮影画像間の受光量変化に基づいて、撮影画像の各画素における前記縞パターンの相対位相を演算する演算装置と、を備え、前記投影装置は、前記縞パターンの周期を２^ｉ倍（ただし、ｉは０または２^ｉ＋１≦Ｎを満たす自然数）した周期で明暗が反転する空間コードパターンであって、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からずれた複数種類の空間コードパターンを前記計測対象物に投影し、前記撮像装置は、前記空間コードパターンが投影された前記計測対象物を撮影し、前記演算装置は、前記相対位相に基づいて前記複数種類の空間コードパターンのいずれか一つを選択し、選択された空間コードパターンが投影されたときの撮影画像から各画素における前記縞パターンの縞次数を演算し、当該縞次数と前記相対位相とから各画素における絶対位相を演算し、当該絶対位相から前記計測対象物の各点の３次元座標を演算することによって、前記計測対象物の３次元形状を特定するものである。

本発明によれば、位相シフト法と空間コード法とを利用し、計測対象物の３次元形状を正確に測定することのできる新たな計測方法および計測装置を提供することができる。

３次元形状計測装置の構成図である。縞パターンを説明する概念図である。３次元形状計測方法のフローチャートである。従来の空間コード法の空間コードパターンを説明するための説明図である。第１の空間コードパターンを説明するための説明図である。第２の空間コードパターンを説明するための説明図である。第１の空間コードパターンと縞パターンとの関係を示す概念図である。第２の空間コードパターンと縞パターンとの関係を示す概念図である。縞次数の推定方法のフローチャートである。

図１に示すように、本実施形態に係る３次元形状計測装置１０は、投影装置１６と、撮像装置１８と、演算装置としてのコンピュータ１２とを備えている。投影装置１６および撮像装置１８は、コンピュータ１２によって制御される。投影装置１６は、計測対象物１４に対して、明度がＮ周期（ただし、Ｎは２以上の自然数）に亘って周期的に変化する縞パターンを投影する。投影装置１６は、位相を順次ずらしながら上記縞パターンを投影するように制御される。撮像装置１８は、縞パターンが投影された計測対象物１４を撮影する。撮像装置１８は、投影装置１６の投影方向と異なる方向から計測対象物１４を撮影する。コンピュータ１２は、中央演算処理装置（以下、ＣＰＵという）１２ｂと、ＣＰＵ１２ｂが実行するプログラムなどを格納したＲＯＭ１２ｃと、ＲＡＭ１２ｄとを備えている。なお、コンピュータ１２の具体的構成は何ら限定されるものではない。コンピュータ１２には、キーボードやマウス等からなる入力装置１１と、液晶ディスプレイ等からなる表示装置１３とが接続されている。

次に、３次元形状計測装置１０が行う計測方法について説明する。なお、本明細書において、「点」とは、計測対象物１４の位置を表し、「画素」とは、計測対象物１４の撮影画像上の各点に対応する位置を表す。「明度」とは、各点での明るさを表す。「受光量」とは、画素へ入力された（または、画素から得られる）上記明るさに対応する量を表す。以下の３次元形状計測方法の説明では、撮像装置１８の全画素を利用するものとする。ただし、本発明では必ずしも撮影画像の全画素を利用しなくてもよく、一部の画素を間引くことによって、撮影画像の画素を部分的に利用してもよい。

本実施形態に係る３次元形状計測方法は、位相シフト法と空間コード法とを利用したものである。図２は、投影装置１６が投影する縞パターンの一例を示している。図２に示すように、位相シフト法に際して、投影装置１６は、明度がＮ周期（図２に示す例ではＮ＝８。ただし、Ｎの数値は特に限定されない）に亘って周期的に変化する縞パターンを投影する。ここでは、１周期の相対位相φを便宜上、−π〜＋πとする。したがって、絶対位相Φは、縞次数ｎが１つ増えるたびに２π増えることになる。相対位相φが−π＜φ＜０の部分は、明度が大きな明るい部分（以下、明部という）Ｐ１である。相対位相φが０＜φ＜＋πの部分は、明度が小さな暗い部分（以下、暗部という）Ｐ０である。なお、φ＝０、およびφ＝＋π（これは隣の周期のφ＝−πに相当する）の部分は、明部Ｐ１と見なしてもよく、暗部Ｐ０と見なしてもよい。縞パターンの明度の変化パターンは特に限定されず、例えば、正弦波状に変化していてもよく、矩形波状に変化していてもよい。

図３のフローチャートを参照しながら、本実施形態に係る３次元形状計測方法を説明する。この計測方法は、コンピュータ１２が投影装置１６および撮像装置１８を制御しながら、ＣＰＵ１２ｂが各種演算を実行することによって行われる。

まず、ステップＳ１において、投影装置１６が縞パターンを投影する。次にステップＳ２に進み、撮像装置１８が、縞パターンが投影された計測対象物１４を撮影する。撮像装置１８の撮影画像はコンピュータ１２に送信され、ＲＡＭ１２ｄに記憶される。次にステップＳ３において、ＣＰＵ１２ｂにより、投影された縞パターンの位相のずれ量が２πであるか否かが判定される。判定結果がＮＯの場合にはステップＳ４に進み、縞パターンの位相の設定値が所定量だけずらされる。ここでは、所定量としてπ／１６が設定されているものとする。ステップＳ４の後は、ステップＳ１の投影とステップＳ２の撮影とが繰り返される。一方、ステップＳ３の判定結果がＹＥＳの場合には、１周期相当分の撮影が終了したこととなり、ステップＳ５に進む。

前述の撮影において、計測対象物１４の表面の各点には、撮影された画像の各画素がそれぞれ対応する。ステップＳ５では、撮影された複数の画像から、各画素の相対位相φを演算する。位相シフト法における相対位相φの演算方法は周知の技術であるので、ここではその詳細な説明は省略する。

次にステップＳ６に進み、縞次数ｎの演算を行う。縞次数ｎの演算には、空間コード法を利用する。まず、図４を参照しながら、従来の空間コード法について説明する。空間コード法では、明暗が反転する空間コードパターンを計測対象物１４に投影する。空間コードパターンは、明暗の周期の異なる複数の縞パターンからなる。具体的には、空間コードパターンの周期は、位相シフト法の縞パターンの周期の２^ｉ倍（ただし、ｉは０または２^ｉ＋１＜Ｎを満たす自然数）である。図２に示す例では、Ｎ＝８であるので、ｉ＝０、１、２となる。つまり、空間コードパターンの周期は、位相シフト法の縞パターンの１倍、２倍、４倍となる。図４に示す例では、１回目、２回目、３回目に、それぞれ縞パターンの４倍、２倍、１倍の周期で明暗が変化する空間コードパターンが投影される。ただし、これら空間コードパターンの投影順序は何ら限定されない。

「明部」を“１”、「暗部」を“０”と表記すると、合計３回の明暗の変化は、２進法の３桁の数字で表すことができる。例えば、１回目が「暗部」、２回目が「暗部」、３回目が「明部」となる部分は、“００１”という縞次数コードで表すことができる。この縞次数コードを１０進法で表したものが、当該部分の縞次数ｎとなる。例えば、縞次数コードが“００１”の部分の縞次数ｎは、ｎ＝１となる。このように空間コード法によれば、空間コードパターンの投影による明暗の変化に基づいて、各画素の縞次数を特定することができる。

ところで、図４に示すように、従来の空間コード法の空間コードパターンでは、周期が最小となるときの空間コードパターン、すなわち本例では３回目の空間コードパターンの明暗の境界Ａと、縞パターンの位相周期の境界Ｂとは一致する。しかし、実際には、位相計算の方法や、投影装置１６と撮像装置１８との解像度の違い等に起因して、空間コードパターンの明暗の境界Ａと縞パターンの位相周期の境界Ｂとの間にずれが生じる場合がある。ところが、そのようなずれが生じると、縞パターンの明部または暗部が、空間コードパターンの複数の周期に跨って位置することになる。その結果、境界付近の画素の縞次数が正確に特定することができなくなり、位相接続が不正確となるおそれがある。

そこで本実施形態では、明暗の境界Ａが縞パターンの各周期の境界Ｂからずれた複数種類の空間コードパターンを用いることとした。具体的に、本実施形態では、図５に示す第１の空間コードパターンと、図６に示す第２の空間コードパターンとを用いることとした。第１の空間コードパターンは、最小周期のときの位相Ａが縞パターンの位相周期の境界Ｂから＋π／２ずれたものである。第２の空間コードパターンは、最小周期のときの位相Ａが縞パターンの位相周期Ｂから−π／２ずれたものである。

図７に示すように、第１の空間コードパターンでは、空間コードパターンの明暗の境界Ａが縞パターンの位相周期の境界Ｂから＋側にずれているので、多少のずれが生じたとしても、縞パターンの暗部Ｐ０が複数の周期に跨って位置することが抑制される。そのため、縞パターンの暗部Ｐ０の縞次数を、より正確に特定することができる。一方、図８に示すように、第２の空間コードパターンでは、空間コードパターンの明暗の境界Ａが縞パターンの位相周期の境界Ｂから−側にずれているので、多少のずれが生じたとしても、縞パターンの明部Ｐ１が複数の周期に跨って位置することが抑制される。そのため、縞パターンの明部Ｐ１の縞次数を、より正確に特定することができる。

図９を参照しながら、縞次数の演算方法について説明する。まず、ステップＳ１１において、投影装置１６が第１の空間コードパターンを投影し、この第１の空間コードパターンが投影された計測対象物１４を撮像装置１８が撮影する。次にステップＳ１２に進み、投影装置１６が第２の空間コードパターンを投影し、この第２の空間コードパターンが投影された計測対象物１４を撮像装置１８が撮影する。次に、ステップＳ１３に進み、ＣＰＵ１２ｂにより、前述のステップＳ５で求めた画素の相対位相φが−π≦φ＜０の範囲にあるか否かが判定される。判定結果がＹＥＳであれば、ステップＳ１４に進み、ＣＰＵ１２ｂは、第１の空間コードパターンを用いて当該画素の縞次数ｎを演算する。一方、ステップＳ５の判定結果がＮＯであれば、言い換えると、相対位相φが０≦φ＜πの範囲にあれば、ステップＳ１５に進む。ステップＳ１５では、ＣＰＵ１２ｂは、第２の空間コードパターンを用いて当該画素の縞次数ｎを演算する。

以上が縞次数ｎの演算方法である。なお、本実施形態では、相対位相φ＝０の画素に対しては、第２の空間コードパターンを用いることとした。しかし、相対位相φ＝０の画素に対して第１の空間コードパターンを用いることとしてもよい。言い換えると、ステップＳ１３の判定条件は、−π≦φ≦０であってもよい。

図３に示すように、縞次数ｎを演算した後はステップＳ７に進み、ＣＰＵ１２ｂは各画素の絶対位相Φを演算する。すなわち、絶対位相Φ＝２ｎπ＋φを演算する。続いてステップＳ８に進み、ＣＰＵ１２ｂは、三角測量の原理等を用いて、絶対位相Φから各画素に対応する計測対象物１４の各点の高さ情報を算出する。その結果、計測対象物の３次元形状が求められる。

以上のように、本実施形態によれば、空間コード法を利用して縞次数ｎを演算する際に、明暗の境界Ａが縞パターンの位相周期の境界Ｂからずれた複数種類の空間コードパターンを用いることとした。そのため、縞パターンの明部Ｐ１または暗部Ｐ０が空間コードパターンの複数の周期に跨って位置することが抑制される。したがって、縞パターンの位相周期の境界Ｂ付近の画素に対しても、縞次数を正確に演算することが可能となる。よって、位相接続を正確に行うことができ、ひいては計測対象物１４の３次元形状を正確に計測することが可能となる。

さらに本実施形態では、上記複数種類の空間コードパターンとして、明暗の境界Ａが縞パターンの位相周期の境界Ｂから＋側にずれた第１の空間コードパターンと、−側にずれた第２の空間コードパターンとを用いることとした。そして、少なくとも相対位相φが０＜φ＜＋πの画素に対しては第１の空間コードパターンを選択し、−π＜φ＜０の画素に対しては第２の空間コードパターンを選択することとした。このように画素の相対位相φに応じて空間コードパターンを適宜選択することによって、縞次数をより正確に演算することが可能となる。なお、相対位相φ＝０の画素およびφ＝＋πの画素（これは隣の周期のφ＝−πの画素と同じである）に対しては、第１の空間コードパターンおよび第２の空間コードパターンのいずれを選択してもよい。

また、特に本実施形態では、第１、第２の空間コードパターンとして、それぞれ明暗の境界Ａが縞パターンの位相周期の境界Ｂから＋π／２、−π／２ずれた空間コードパターンを用いることとした。これにより、縞パターンの暗部Ｐ０は、第１の空間コードパターンの最小周期の中間に位置することになり（図７参照）、縞パターンの暗部Ｐ０が複数の周期を跨ぐことが確実に防止される。また、縞パターンの明部Ｐ１は、第２の空間コードパターンの最小周期の中間に位置することになり（図８参照）、縞パターンの明部Ｐ１が複数の周期を跨ぐことが確実に防止される。よって、縞次数をより一層正確に推定することが可能となる。

なお、前述の実施形態では、第１、第２の空間コードパターンは、最小周期のときの位相Ａが縞パターンの位相周期の境界Ｂから、それぞれ＋π／２、−π／２ずれたものであった。しかし、縞パターンの暗部Ｐ０および明部Ｐ１が複数の周期を跨ぐことが防止できる限り、第１、第２の空間コードパターンの最小周期のときの位相Ａのずれ量は、それぞれ＋π／２、−π／２に限定される訳ではない。第１の空間コードパターンの位相Ａが縞パターンの位相周期の境界Ｂからｐ（ただし、０＜ｐ＜＋π）、第２の空間コードパターンの位相Ａが縞パターンの位相周期の境界Ｂからｑ（ただし、−π＜ｑ＜０）ずれていてもよい。

また、複数種類の空間コードパターンは、前述の第１および第２の空間コードパターンに限定されない。それ以外の２種類の空間コードパターンを用いてもよい。また、３種類以上の空間コードパターンを用いることも可能である。

前記実施形態では、縞パターンの１周期の相対位相を−π〜＋πとした。しかし、１周期の相対位相は何ら限定されるものではない。１周期の相対位相を０〜２πとすることもできる。また、１周期の相対位相を０〜πとすることもできる。１周期の相対位相は、適宜に設定することが可能である。

１０３次元形状計測装置
１１入力装置
１２コンピュータ（演算装置）
１３表示装置
１４計測対象物
１６投影装置
１８撮像装置
Ａ空間コードパターンの明暗の境界
Ｂ縞パターンの周期の境界
Ｐ０暗部
Ｐ１明部

Claims

明度がＮ周期（ただし、Ｎは２以上の自然数）に亘って周期的に変化する縞パターンを計測対象物に投影し、前記縞パターンの投影方向と異なる方向から前記計測対象物を撮影し、前記縞パターンの位相をずらしながら前記投影および前記撮影を順次繰り返す第１ステップと、
前記第１ステップで得られた複数の撮影画像間の受光量変化に基づいて、撮影画像の各画素における前記縞パターンの相対位相を得る第２ステップと、
前記縞パターンの周期を２^ｉ倍（ただし、ｉは０または２^ｉ＋１≦Ｎを満たす自然数）した周期で明暗が反転する空間コードパターンであって、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からずれた複数種類の空間コードパターンを前記計測対象物に投影し、前記計測対象物を撮影する第３ステップと、
前記相対位相に基づいて前記複数種類の空間コードパターンのいずれか一つを選択し、選択された空間コードパターンが投影されたときの撮影画像から、各画素における前記縞パターンの縞次数を演算する第４ステップと、
演算された縞次数と前記相対位相とから、各画素における絶対位相を得る第５ステップと、
各画素の絶対位相から前記計測対象物の各点の３次元座標を演算することによって、前記計測対象物の３次元形状を特定する第６ステップと、
を備えた３次元形状計測方法。
前記複数種類の空間コードパターンは、第１および第２の空間コードパターンを含み、
前記縞パターンの１周期の位相を−π〜＋πとしたときに、
前記第１、第２の空間コードパターンは、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からそれぞれｐ、ｑ（ただし、０＜ｐ＜＋π，−π＜ｑ＜０）ずれた空間コードパターンであり、
前記第４ステップにおいて、相対位相φが０＜φ＜＋πのときは、前記第１の空間コードパターンを選択し、−π＜φ＜０のときは、前記第２の空間コードパターンを選択する、請求項１に記載の３次元形状計測方法。
ｐ＝＋π／２、ｑ＝−π／２である、請求項２に記載の３次元形状計測方法。
明度がＮ周期（ただし、Ｎは２以上の自然数）に亘って周期的に変化する縞パターンを、位相を順次ずらしながら計測対象物に投影する投影装置と、
前記縞パターンの投影方向と異なる方向から、前記縞パターンが投影された計測対象物を撮影する撮像装置と、
複数の撮影画像間の受光量変化に基づいて、撮影画像の各画素における前記縞パターンの相対位相を演算する演算装置と、を備え、
前記投影装置は、前記縞パターンの周期を２^ｉ倍（ただし、ｉは０または２^ｉ＋１≦Ｎを満たす自然数）した周期で明暗が反転する空間コードパターンであって、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からずれた複数種類の空間コードパターンを前記計測対象物に投影し、
前記撮像装置は、前記空間コードパターンが投影された前記計測対象物を撮影し、
前記演算装置は、前記相対位相に基づいて前記複数種類の空間コードパターンのいずれか一つを選択し、選択された空間コードパターンが投影されたときの撮影画像から各画素における前記縞パターンの縞次数を演算し、当該縞次数と前記相対位相とから各画素における絶対位相を演算し、当該絶対位相から前記計測対象物の各点の３次元座標を演算することによって、前記計測対象物の３次元形状を特定する、３次元形状計測装置。
前記複数種類の空間コードパターンは、第１および第２の空間コードパターンを含み、
前記縞パターンの１周期の位相を−π〜＋πとしたときに、
前記第１、第２の空間コードパターンは、ｉ＝０のときの明暗の境界が前記縞パターンの各周期の境界からそれぞれｐ、ｑ（ただし、０＜ｐ＜＋π，−π＜ｑ＜０）ずれた空間コードパターンであり、
前記演算装置は、相対位相φが０＜φ＜＋πのときは、前記第１の空間コードパターンを選択し、−π＜φ＜０のときは、前記第２の空間コードパターンを選択する、請求項４に記載の３次元形状計測装置。
ｐ＝＋π／２、ｑ＝−π／２である、請求項５に記載の３次元形状計測装置。