JP2015135294A - 三次元形状計測装置、三次元形状計測方法 - Google Patents

Abstract

【課題】半透明部分を含むような計測対象に対して、膨大な事前準備を要することなく、一般的な計測環境において高精度な三次元計測を安定的に行うための三次元形状計測装置、方法を提供する。
【解決手段】投影部１０１により、明部及び暗部から成る第１のパターンと、第１のパターンにより区分される空間のそれぞれの領域に投影される座標検出パターンと、が投影された空間の第１の画像を撮像部１０２で取得する。また、第１のパターンとは明部と暗部との境界位置が異なる第２のパターンと、第２のパターンにより区分される空間のそれぞれの領域に投影される座標検出パターンと、が投影された空間の第２の画像を撮像部１０２で取得する。第１の画像及び第２の画像のうち一方を選択し、選択画像に基づいて、空間に含まれている物体の三次元形状計測を行う。
【選択図】図１

Description

本発明は、計測対象物の三次元形状を計測するための技術に関するものである。

空間符号化法などに代表される縞パターンをプロジェクタなどの投影部によって計測対象に投影し、その反射光が撮像部で観測された位置をもとに三角測量の原理によって三次元座標を求める三次元計測装置が広く知られている。このような装置では、三次元座標の計測精度が計測対象の材質に大きく依存するという課題があった。

一般的に、プラスチック等の材質で製造された計測対象においては、表面下散乱あるいは内部散乱と呼ばれる現象によって、計測精度の悪化や、そもそも計測自体が不能になる等の問題が発生していた。そのような対象の計測時には、白色のパウダー等を対象表面に事前に塗布するなどの処置が要求され、三次元計測装置の適用範囲を大きく制限する障害となっていた。

特許文献１には、光路上に直線偏光板を設けることによって、表面反射光と内部散乱光とを分離し、半透明を含む被計測物の三次元形状を正確に計測する方法が開示されている。

特許文献２には、計測対象にあらかじめパターンを投影することで参照輝度パターンを取得しておき、計測時にこの観測された輝度パターンと参照輝度パターンとを比較し、物体の反射位置座標を推定する方法が開示されている。この方法は半透明を含む物体に限られるものではなく、物体の反射特性によらない高精度な三次元形状計測が行えるとしている。

非特許文献１では、位相シフト法における正弦波パターンを高周波数の正弦波パターンで変調することによって、内部散乱の影響を受けにくい三次元形状計測方法が提案されている。

非特許文献２では、スリット光を高周波数成分を含むＭ系列によって変調し、内部散乱の影響を受けにくい三次元形状計測方法が提案されている。

特開２００８−２８１３９９号公報 特開２０１２−２５１８９３号公報

Tongbo Chen, Hans-Peter Seidel, Hendrik P. A. Lensch, Modulated phase-shifting for 3D scanning, CVPR 2008 古瀬達彦、日浦慎作、佐藤宏介、スリット光の変調による相互反射と表面下散乱に頑健な三次元形状計測、ＭＩＲＵ２００９ 画像の認識・理解シンポジウム

しかしながら特許文献１に記載の方法では、偏光を用いて表面反射光と内部散乱光を分離するためには、光源と受光部と計測対象面との間の幾何的な関係が一定の条件を満たしている必要があり、この条件を満たすように計測を行うことは必ずしも容易ではない。

また、特許文献２に記載の方法では、輝度パターンの波形は、計測対象物の材質のみならず、対象物の形状や光源、受光部の幾何関係等、数多くのパラメータに依存する。そのため、広範な対象物を計測するためには、多様な組み合わせを網羅するべく事前に膨大な数の参照輝度パターンを取得する必要がある。

非特許文献１、２に記載の方法も同様に、対象物全体を計測するためには、数多くのパターン光を投影して撮影する必要があり、長い計測時間を要する。

本発明は、このような問題に鑑みてなされたものであり、半透明部分を含むような計測対象に対して、膨大な事前準備を要することなく、一般的な計測環境において高精度な三次元計測を安定的に行うための三次元形状計測技術を提供する。

本発明の一様態は、明部及び暗部から成る第１のパターンと、該第１のパターンの投影により区分される空間のそれぞれの領域に投影される座標検出用パターンと、が投影された該空間の第１の撮像画像を取得する手段と、明部及び暗部から成り且つ前記第１のパターンとは明部と暗部との境界位置が異なる第２のパターンと、該第２のパターンの投影により区分される前記空間のそれぞれの領域に投影される座標検出用パターンと、が投影された前記空間の第２の撮像画像を取得する手段と、前記第１の撮像画像中の輝度値と前記第２の撮像画像中の輝度値とに基づいて、該第１の撮像画像及び該第２の撮像画像のうち一方を選択画像として選択する選択手段と、前記選択手段によって選択された選択画像に基づいて、前記空間に含まれている物体の三次元形状計測を行う計測手段とを備えることを特徴とする。

本発明の構成によれば、半透明部分を含むような計測対象に対して、膨大な事前準備を要することなく、一般的な計測環境において高精度な三次元計測を安定的に行うことができる。

システムの構成例を示す図。 システムの機能構成例を示すブロック図。 空間分割パターン画像の一例を示す図。 符号誤りについて説明する図。 空間分割パターン画像の一例を示す図。 座標検出パターン画像の一例を示す図。 制御装置１０３が行う処理のフローチャート。 マスクパターンの一例を示す図。 マスク結果を示す図。 マスク結果を示す図。 座標検出パターンの一例を示す図。 複数の座標検出パターンを生成する処理を説明する図。 制御装置１０３が行う処理のフローチャート。 コンピュータ装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
本実施形態では、符号の誤りを起こしにくい空間分割パターンを投影して、計測対象物を含む計測空間を所定数の領域に区分する。そして、区分されたそれぞれの領域に対して一意となるような座標検出パターン（座標検出用パターン）を投影することによって、計測対象物の三次元形状（計測対象物表面の三次元座標）を精密に算出する。

先ず、本実施形態に係るシステムの構成例について、図１を用いて説明する。本実施形態に係るシステム１００は、計測対象物１０４に対してパターン光を投影する投影部１０１、パターン光が投影された計測対象物１０４を撮像する撮像部１０２、計測対象物１０４の三次元形状計測を行う制御装置１０３、を有する。

次に、三次元形状計測装置として機能する制御装置１０３と、その周辺機器（投影部１０１及び撮像部１０２）の機能構成例について、図２のブロック図を用いて説明する。

投影部１０１は、投影パターン生成部２０２から供給されたパターン画像に基づくパターン光を投影する（以下では単にパターン画像を投影すると表記する場合もある）。本実施形態では、投影部１０１によるパターン光の投影対象は、三次元形状計測の対象となる計測対象物１０４を含む空間である。以下では、投影部１０１は、水平方向に１２８画素の解像度を有するプロジェクタであるものとして説明する。しかし、これはあくまでも具体的な説明を行うために挙げた一例であり、以下の説明の本質がこれに限ることを示唆するものではない。

撮像部１０２は、投影部１０１によりパターン光が投影された計測対象物１０４を含む空間を撮像するものであり、該計測対象物１０４の表面で反射された光は、この撮像部１０２によって撮像される。そして撮像部１０２は、撮像した画像（撮像画像）を、制御装置１０３が有する画像入力部２０４に対して送出する。

後述するように、投影部１０１は、様々なパターン光を計測対象物１０４に対して投影するのであるが、撮像部１０２は、パターン光が投影されるたびに計測対象物１０４を含む空間を撮像する。すなわち、投影部１０１によるパターン光の投影と撮像部１０２による空間の撮像とは同期しており、撮像部１０２は、それぞれのパターン光が投影された撮像画像を撮像することになる。このような制御（パターン光の投影と計測対象物１０４の撮像とが同期するように投影部１０１及び撮像部１０２を制御すること）は、制御装置１０３が有する制御部２１０が行う。すなわち、撮像部１０２は、制御部２１０から送出される撮像制御信号を受信し、該受信したタイミングに基づき、あらかじめ指定されたシャッター速度、絞り、焦点位置で画像を撮像する。制御部２１０は、例えば、投影部１０１と撮像部１０２に制御信号を同時刻に送出することにより、投影と撮像が同期して実行されるように制御する。

投影パターン生成部２０２は、投影部１０１に供給するパターン画像を生成するものであり、本実施形態では、このパターン画像は、空間分割パターン画像と、座標検出パターン画像と、から成る。以下では説明を簡単にするために、空間分割パターン画像と座標検出パターン画像とは同サイズの画像であるものとして説明する。

空間分割パターン画像とは、投影部１０１が投影可能な空間（計測対象物１０４を含む空間）を複数の領域に区分するため、且つ座標検出パターン画像中の個々のパターンを識別して特定するために、投影部１０１によって投影されるパターン画像である。

座標検出パターン画像とは、計測対象物１０４の三次元形状をより詳細に計測するために、空間分割パターン画像と共に投影部１０１によって投影されるパターン画像である。

空間分割パターン画像の一例を図３に示す。図３の左側には、明部と暗部とが交互に配置され且つその配置パターンがそれぞれ異なる（明部と暗部の境界位置がそれぞれ異なる）パターン画像（グレイコード）Ｐ１〜Ｐ４が示されている。パターン画像Ｐ１〜Ｐ４をポジティブパターン（正画像）と呼称する場合もある。

投影部１０１は、パターン画像Ｐ１〜Ｐ４のそれぞれを（座標検出パターン画像と共に）順次計測対象物１０４に対して投影し、撮像部１０２はパターン画像Ｐ１〜Ｐ４のそれぞれが投影されるたびに撮像を行う。これにより、パターン画像Ｐ１が投影された計測対象物１０４の撮像画像、パターン画像Ｐ２が投影された計測対象物１０４の撮像画像が得られる。また、パターン画像Ｐ３が投影された計測対象物１０４の撮像画像、パターン画像Ｐ４が投影された計測対象物１０４の撮像画像が得られる。これら４枚の撮像画像上での明部及び暗部の組み合わせとしては１６通り（２の４乗）が存在し、投影部１０１が投影する空間全体を１６の領域に分割した際、これら撮像画像上の各位置がいずれの領域に属するのかを決定することができる。これは、撮像画像中の各画素が投影部１０１のいずれの箇所から照光されたものであるのかを特定することと等価である。上記の通り、投影部１０１の水平方向の解像度は１２８画素としているので、この場合、これを１６で割った８画素単位で領域が特定される。

上記４枚の撮像画像が得られると画像処理部２０５により、撮像画像（上記４枚の撮像画像の何れでも良い）上の各画素位置に対し、上記４枚の撮像画像それぞれの該画素位置に明部及び暗部の何れが写っているのかを示すコードを並べた符号が割り当てられる。例えば、パターン画像Ｐ１が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）には明部が写っており、パターン画像Ｐ２が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）には暗部が写っているとする。また、パターン画像Ｐ３が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）には明部が写っており、パターン画像Ｐ４が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）には暗部が写っているとする。ここで、明部が写っている画素位置にはコード「１」を割り当て、暗部が写っている画素位置にはコード「０」を割り当てるとする。この場合、パターン画像Ｐ１が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）にはコード「１」が割り当てられ、パターン画像Ｐ２が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）にはコード「０」が割り当てられる。また、パターン画像Ｐ３が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）にはコード「１」が割り当てられ、パターン画像Ｐ４が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）にはコード「０」が割り当てられる。そして、パターン画像の投影順に、該パターン画像が投影された計測対象物１０４の撮像画像中の画素位置（ｘ、ｙ）に対するコードを並べると、二進数の符号「１０１０」が得られる。グレイコードにおいて２進数「１０１０」は１０進数で「１４」と解釈されるので、この画素位置（ｘ、ｙ）は、空間を１６の領域に分割したときの１４番目の領域に属することになる。この１４番目の領域は、投影部１０１の画素において、同一のグレイコードを形成する場所によって定義される。この場合においては、パターン画像Ｐ１において明部、パターン画像Ｐ２において暗部、パターン画像Ｐ３において明部、パターン画像Ｐ４において暗部、を形成する、投影部１０１での画素である。

一方、撮像画像から明部及び暗部の組み合わせを読み取るために、パターン画像Ｐ１〜Ｐ４に加えて、パターン画像Ｐ１〜Ｐ４のそれぞれの明部及び暗部を反転させたパターン画像Ｎ１〜Ｎ４（図３右側）も投影することが、広く行われている。パターン画像Ｎ１〜Ｎ４をネガティブパターン（反転画像）と呼称する場合もある。

例えば、投影部１０１は、パターン画像Ｐ１とパターン画像Ｎ１とを順次投影し、撮像部１０２はそれぞれのパターン画像が投影された画像を撮像する。ここで、パターン画像Ｐ１を投影したときの撮像画像をＩＰ１（ｕ，ｖ）、パターン画像Ｎ１を投影したときの撮像画像をＩＮ１（ｕ，ｖ）とする（ｕ，ｖはそれぞれ撮像画像中のｘ座標値、ｙ座標値）。このとき、画像処理部２０５は、ＩＰ１（ｕ，ｖ）＞ＩＮ１（ｕ，ｖ）を満たす画素位置（ｕ，ｖ）に対してはコード「１」を割り当て、ＩＰ１（ｕ，ｖ）≦ＩＮ１（ｕ，ｖ）を満たす画素位置（ｕ，ｖ）に対してはコード「０」を割り当てる。そして画像処理部２０５は、パターン画像Ｐ２〜Ｐ４及びＮ２〜Ｎ４についても同様にしてコード割り当てを行うので、以降は上記と同様にして、各画素位置に対して符号を割り当てる。

しかしながら、計測対象物１０４の材質がプラスチック等、一部若しくは全部が半透明であるような場合、投影部１０１の投影方向や計測対象物１０４の向きなどよっては、上記のような明暗の判定に誤りが生じることがある。より具体的には、計測対象物１０４表面での反射光に加えて、計測対象物１０４内部で散乱を生じた光が足し合わされることによって、撮像画像で観測されるパターンの波形が大きく歪むことになる。計測対象物１０４の内部で生じる散乱は、計測対象物１０４表面の向きと、計測対象物１０４に入射する光の方向と、に依存するため、ポジティブパターン又はネガティブパターンの何れかのみ投影光が大きく歪み、もう一方は歪みが少ないという現象が発生する。その結果、内部散乱を生じない場合に対して、上記条件を満たすための境界にずれを生じてしまうことになる。あるいは、システム１００やその構成要素である投影部１０１、撮像部１０２が振動などを発生させるような場合にも、類似したずれを生じさせることがある。

この現象を図４を用いて詳しく説明する。図４（ａ）は、不透明物体に対してパターン画像Ｐ１、Ｎ１を投影したときに、撮像画像ＩＰ１、ＩＮ１において水平方向の同一ライン上の明暗境界部付近の輝度変化の例を表す。図４（ｂ）は、半透明物体に対してパターン画像Ｐ１、Ｎ１を投影したときに、撮像画像ＩＰ１、ＩＮ１において水平方向の同一ライン上の明暗境界部付近の輝度変化の例を表す。図４（ａ）、（ｂ）ともに実線は撮像画像ＩＰ１において水平方向ライン上の明暗境界部付近の輝度変化の例を表し、破線は撮像画像ＩＮ１において水平方向の同一ライン上の明暗境界部付近の輝度変化の例を表している。このとき、ＩＰ１（ｕ，ｖ）＝ＩＮ１（ｕ，ｖ）となるｕを境界とし、縦の実線として示している。図４（ａ）において縦の実線より左の領域は暗（コード「０」）、右の領域は明（コード「１」）と判定される。

一方、図４（ｂ）は図４（ａ）と比較すると、実線で示される波形が大きく歪み、実線の波形と破線の波形との交点の位置にずれを生じている。図４（ｂ）中で斜線で示されている領域４００は、本来は暗（コード「０」）と判定されるべき領域であるが、内部散乱に伴う波形の歪みにより、誤って明（コード「１」）と判定されており、符号誤りを生じる領域を示している。

本実施形態では投影パターン生成部２０２は、パターン画像Ｐ１〜Ｐ４、Ｎ１〜Ｎ４のようなパターン画像に加え、これらのパターン画像における明部及び暗部の境界位置を変更したパターン画像を生成する。図３で示している空間分割パターンについて、上述のような符号誤りを生じるのは、明部と暗部の境界付近に限定される。しかるに本実施形態では、投影パターン生成部２０２は、この付近にパターンの明暗の境界を持たないような別の空間分割パターンを更に生成する。この空間分割パターンの例を図５に示す。

図５に示すパターン画像Ｐ１’〜Ｐ４’のそれぞれは、図３のパターン画像Ｐ１〜Ｐ４における明部と暗部の境界位置を変更したものである。すなわち、パターン画像Ｐ１〜Ｐ４における上記境界位置とパターン画像Ｐ１’〜Ｐ４’における上記境界位置とは異なる。より具体的には、パターン画像Ｐ１’〜Ｐ４’のそれぞれは、パターン画像Ｐ１〜Ｐ４における上記境界位置を、最小単位の半分の幅分だけシフトすることによって生成されるものである。例えばパターン画像Ｐ１〜Ｐ４の横幅が３２画素であるとすると、パターン画像Ｐ１’〜Ｐ４’のそれぞれは、パターン画像Ｐ１〜Ｐ４内のパターンを左方向に１画素分シフトすることによって生成される。以下では、図３に示した空間分割パターン画像をグレイコードパターン、図５に示した空間分割パターン画像をシフトグレイコードパターンと呼称する。なお、パターン画像Ｐ１〜Ｐ４とパターン画像Ｐ１’〜Ｐ４’とは互いに上記境界位置が異なっている空間分割パターン画像であればよい。然るに、この条件を満たしていれば、パターン画像Ｐ１〜Ｐ４とパターン画像Ｐ１’〜Ｐ４’とはどのような空間分割パターン画像であっても良い。

なお、図３、図５に示した空間分割パターンについては、計測対象物１０４の実際の散乱の度合いに応じて、明部及び暗部の幅を調整することが望ましい。例えば、図４（ｂ）における領域４００の幅が広い場合には、明部及び暗部の幅を大きくすることにより、符号誤りが生じる確率を減少させることができる。パターン画像の解像度が同一であれば、それに伴いパターンのビット深度が減少し、空間分割数も減少することになるため、許容できる符号誤りの発生確率と、パターンの投影回数（撮影枚数）とに応じて、適切な値を設定する。

投影パターン生成部２０２は、以上説明した空間分割パターン画像に加えて、座標検出パターン画像も投影部１０１に供給する。座標検出パターン画像の一例を図６に示す。図６の座標検出パターン画像には、縦の実線（座標検出パターン）が複数含まれているが、個々の実線によって、計測対象物１０４の三次元座標を精密に計測する。一方、これらの実線は、本実施形態の場合、８画素間隔で引かれ、空間分割パターン画像によって区分された領域内に同時に１つのみ投影されることになる。そのため、図３、図５に示した空間分割パターン画像を投影し、明暗の組み合わせを復号することによって、空間中の領域が識別され、且つ個々の実線が特定されることになる。

なお、上記のような空間分割パターン画像及び座標検出パターン画像は、予め作成して不図示のメモリ内に格納しておき、必要に応じて投影パターン生成部２０２が読み出して投影部１０１に供給しても良い。また、投影パターン生成部２０２が空間分割パターン画像や座標検出パターン画像を適宜生成して投影部１０１に供給するようにしても構わない。

画像入力部２０４は、撮像部１０２から送出された撮像画像を受けると、これを画像処理部２０５に対して転送する。なお、転送形態はこれに限るものではない。例えば、画像入力部２０４は、撮像部１０２から送出された撮像画像を不図示のメモリに格納し、一回の三次元形状計測に必要な枚数分の撮像画像が格納された時点で、このメモリに格納した撮像画像群を画像処理部２０５に転送するようにしてもかまわない。

画像処理部２０５は、画像入力部２０４から転送された撮像画像に対して、該撮像画像に含まれるパターン光の復号処理、投影座標と画像座標の正規化処理などの画像処理を行う。また、画像処理部２０５は、撮像画像中に光学系に由来する歪みがある場合には、その歪みを補正して除去する処理も行う。そして画像処理部２０５は、撮像画像中の明部及び暗部を用いて、撮像画像上の各画素位置に対して上記符号を割り当てることで、撮像画像中の各画素について、パターン画像を投影した空間において対応する領域を復号（特定）する。

以下では、画像処理部２０５が行う処理について、より詳細に説明する。以下では、グレイコードパターンのポジティブパターンとしてパターン画像Ｐ１〜Ｐｎ（ｎは２以上の自然数）、グレイコードパターンのネガティブパターンとしてパターン画像Ｎ１〜Ｎｎを用いるものとする。また、シフトグレイコードパターンのポジティブパターンとしてパターン画像Ｐ１’〜Ｐｎ’、シフトグレイコードパターンのネガティブパターンとしてパターン画像Ｎ１’〜Ｎｎ’を用いるものとする。

そして、パターン画像Ｐ１〜Ｐｎのそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＰ１〜ＩＰｎと表す。また、パターン画像Ｎ１〜Ｎｎのそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＮ１〜ＩＮｎと表す。また、パターン画像Ｐ１’〜Ｐｎ’のそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＰ１’〜ＩＰｎ’と表す。また、パターン画像Ｎ１’〜Ｎｎ’のそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＮ１’〜ＩＮｎ’と表す。

このとき、画像処理部２０５は、１≦ｋ≦ｎを満たす全てのｋについて、以下の（式１）に従って、ｄｐｋ（ｕ，ｖ）、ｄｐｋ’（ｕ，ｖ）を求める。

ＩＰｋ（ｕ，ｖ）は、撮像画像ＩＰｋ中（正画像内）の画素位置（ｕ，ｖ）における画素の輝度値、ＩＮｋ（ｕ，ｖ）は、撮像画像ＩＮｋ中（反転画像内）の画素位置（ｕ，ｖ）における画素の輝度値を表す。また、ｄｐｋ（ｕ，ｖ）は、撮像画像の明度を考慮した、ＩＰｋ（ｕ，ｖ）とＩＮｋ（ｕ，ｖ）との輝度差を示す。

また、ＩＰｋ’（ｕ，ｖ）は、撮像画像ＩＰｋ’中の画素位置（ｕ，ｖ）における画素の輝度値、ＩＮｋ’（ｕ，ｖ）は、撮像画像ＩＮｋ’中の画素位置（ｕ，ｖ）における画素の輝度値を表す。また、ｄｐｋ’（ｕ，ｖ）は、撮像画像の明度を考慮した、ＩＰｋ’（ｕ，ｖ）とＩＮｋ’（ｕ，ｖ）との輝度差を示す。

そして画像処理部２０５は、以下の（式２）に従って、ｄｐ（ｕ，ｖ）、ｄｐ’（ｕ，ｖ）を求める。

ｄｐ（ｕ，ｖ）は、ｄｐ１（ｕ，ｖ）〜ｄｐｎ（ｕ，ｖ）のうちの最小値であり、ｄｐ’（ｕ，ｖ）は、ｄｐ１’（ｕ，ｖ）〜ｄｐｎ’（ｕ，ｖ）のうちの最小値である。このｄｐ、ｄｐ’が小さい場合には、撮像画像中の画素位置（ｕ，ｖ）が明部と暗部の境界位置により近いと考えられる。そこで、画像処理部２０５は、ｄｐ（ｕ，ｖ）とｄｐ’（ｕ，ｖ）との大小比較を行う。ｄｐ（ｕ，ｖ）＞ｄｐ’（ｕ，ｖ）であれば、画素位置（ｕ，ｖ）に対する符号を決定するために用いる撮像画像（選択画像）として、グレイコードパターンを投影した計測対象物１０４の撮像画像、即ち、撮像画像ＩＰ１〜ＩＰｎ及びＩＮ１〜ＩＮｎを選択する。一方、ｄｐ（ｕ，ｖ）≦ｄｐ’（ｕ，ｖ）であれば、画素位置（ｕ，ｖ）に対する符号を決定するために用いる撮像画像（選択画像）として、シフトグレイコードパターンを投影した計測対象物１０４の撮像画像を選択する。即ち、撮像画像ＩＰ１’〜ＩＰｎ’及びＩＮ１’〜ＩＮｎ’を選択する。

いずれにせよ、この場合は、ポジティブパターンを投影したｎ枚の撮像画像とネガティブパターンを投影したｎ枚の撮像画像と、を用いて、上記のように撮像画像中の各画素位置に対する明暗判定を行い、各画素位置に対してコードを割り当てる。これにより、画素位置毎にｎ個のコードから成るｎビットのビット列（＝符号）が得られる。

ここで、上記のように、投影部１０１が空間分割パターン画像を投影する空間は、８画素の領域毎に区分される。然るに、撮像画像ＩＰ１〜ＩＰｎ及びＩＮ１〜ＩＮｎを用いて符号を求めた画素位置に対応するパターン画像上の領域の位置は、該符号を１０進数で表した値に８を乗じた値として求めることができる。例えば、符号を１０進数で表した値が１４の場合、該符号は、パターン画像を水平方向に１６分割した領域のうちの１４番目の領域に対応する。１４番目の領域の位置（１３番目の領域と１４番目の領域との境界位置）は１４×８＝１１２となるので、該符号を求めた画素位置に対応するパターン画像上の領域の位置は１１２となる。

一方、既に説明したように、本実施形態のシフトグレイコードパターンはグレイコードパターンに対して、３２分の１だけシフトしているため、投影部１０１の水平解像度１２８に対して４画素（１２８÷３２＝４）だけずれていることになる。そのため、撮像画像ＩＰ１’〜ＩＰｎ’及びＩＮ１’〜ＩＮｎ’を用いて符号を求めた画素位置に対応するパターン画像上の領域の位置は、該符号を１０進数で表した値に８を乗じた値から４を引いた値として求めることができる。

なお、この乗算や減算の定数については、投影部１０１の解像度や、投影パターンの枚数（領域の分割数）、シフトグレイコードパターンの構成等によって異なるため、実施の形態に合わせて適切な値を設定する必要がある。

上記処理により、撮像画像中の各画素位置に割り当てた符号が、パターン画像上のどの領域の位置に対応しているのかを特定することができた。次に画像処理部２０５は、撮像画像中に写っているそれぞれの座標検出パターンに対応する、座標検出パターン画像中の座標検出パターンを特定することで、撮像画像内の座標検出パターンと座標検出パターン画像内の座標検出パターンとの対応関係を求める。

先ず画像処理部２０５は、撮像画像（以降、符号を求めるために使用した撮像画像）から、計測対象物１０４に投影されているそれぞれの座標検出パターンの画像座標を高精度に計算する。この画像座標の計算には、投影された座標検出パターン（線）の輝度の最大値から線の投影中心を推定する手法など、様々な手法が知られている。計測対象物１０４が半透明物体である場合、先に説明した理由によって線パターンが投影された波形に歪みが生ずるが、これは特許文献２に開示されている手法を適用することによって、線中心の座標を精度よく推定することが可能である。

次に画像処理部２０５は、撮像画像から求めた座標検出パターンＺの画像座標に対応する符号に対応するパターン画像上の位置ｘに、座標検出パターン画像中の各座標検出パターンの位置の下位３ビットが表す値ｙを加えた位置（ｘ＋ｙ）を求める。そして画像処理部２０５は、座標検出パターン画像においてこの位置（ｘ＋ｙ）にある座標検出パターンＺ’を、座標検出パターンＺに対応する座標検出パターン画像上の座標検出パターンとして特定する。このように、撮像画像中に写っているそれぞれの座標検出パターンに対応する、座標検出パターン画像中の座標検出パターンを特定することができる。これにより、撮像画像内の座標検出パターンと座標検出パターン画像内の座標検出パターンとの対応関係を求めることができる。ここで、本実施形態では、座標検出パターンは８画素幅で投影されているため、ｙはすべての実線で共通である（座標検出パターンごとに定義される）。

そして画像処理部２０５は、このようにして求めた、撮像画像内の各座標検出パターンの位置（画像座標）と、該座標検出パターンに対応する座標検出パターン画像内の座標検出パターンの位置（投影座標）との対応関係を、三次元座標算出部２０８に送出する。

パラメータ記憶部２０６には、制御部２１０が撮像部１０２や投影部１０１を制御するために使用する制御パラメータや、三次元座標算出部２０８が三次元座標算出処理を実行するために使用するパラメータなどが格納されている。然るに制御部２１０や三次元座標算出部２０８は、このパラメータ記憶部２０６に格納されているパラメータを適宜読み出して使用する。

三次元座標算出部２０８は、画像処理部２０５から送出された画像座標と投影座標との対応関係と、パラメータ記憶部２０６に格納されている投影部１０１及び撮像部１０２の較正データと、を取得する。そして三次元座標算出部２０８は、取得したこれらの情報を用いて、周知の方法により、計測対象物１０４の三次元形状の計測を行い、その計測結果を結果出力部２０９に対して送出する。

結果出力部２０９は、三次元座標算出部２０８による計測結果を出力する。出力形態については、特定の出力形態に限るものではなく、計測結果を不図示の表示部に表示しても構わないし、本装置内若しくは本装置外に設けられているメモリや装置に対して出力しても構わない。また、計測対象物１０４を操作するロボットなどの機器に対して上記計測結果を出力しても構わない。

次に、以上説明した、制御装置１０３による計測対象物１０４の三次元形状計測処理について、同処理のフローチャートを示す図７を用いて説明する。なお、図７に示した各ステップにおける処理の内容については上述の通りであるので、以下では各ステップにおける処理を簡単に説明する。

制御装置１０３の電源が投入されるなど、制御装置１０３を起動した場合には、ステップＳ１０００において制御部２１０は、システム１００の様々な初期化処理を行う。この初期化処理では、投影部１０１及び撮像部１０２の起動を行ったり、投影部１０１及び撮像部１０２の較正データ等の各種のパラメータをパラメータ記憶部２０６に格納したりする。

ステップＳ１１００では、投影パターン生成部２０２は、空間分割パターン画像及び座標検出パターン画像を生成し、各空間分割パターン画像を、座標検出パターン画像と共に順次投影部１０１に対して送出する。

ステップＳ１２００では、投影部１０１による空間分割パターン画像及び座標検出パターン画像の投影及び撮像部１０２による撮像が行われるので、画像入力部２０４は、撮像部１０２が撮像を行うたびに得られる撮像画像を取得する。

ステップＳ１３００では、画像処理部２０５は、撮像部１０２によるそれぞれの撮像画像を用いて、各画素位置における符号を生成する。ステップＳ１４００では、画像処理部２０５は、それぞれの撮像画像から座標検出パターンの位置を求め、そして上記の処理によって、画像座標と投影座標との対応関係を求める。

ステップＳ１５００で三次元座標算出部２０８は、ステップＳ１４００で求めた画像座標と投影座標との対応関係と、パラメータ記憶部２０６に格納されている上記較正データと、を用いて周知の方法により、計測対象物１０４の三次元形状の計測を行う。そして三次元座標算出部２０８は、その計測結果を結果出力部２０９に対して送出するので、結果出力部２０９は、三次元座標算出部２０８による計測結果を出力する。

ステップＳ１６００では、制御部２１０は、本処理の終了指示が入力されたりするなど、本処理の終了条件が満たされたか否かを判断する。この判断結果、終了条件が満たされた場合には、本処理は終了し、終了条件が満たされていない場合には、処理はステップＳ１１００に戻り、以降の処理を行う。

なお、図７に示したステップＳ１２００〜Ｓ１５００の各処理ステップは、必ずしも図７に示した順序で実行しなくても良く、依存関係を含まない処理ステップについては、並行して実行しても良いし、適宜順序を入れ替えても構わない。

また、ステップＳ１２００では、必ずしも全てのパターン画像の投影及び撮像を前もって行う必要はなく、次の処理に必要な画像が得られた段階で一度ステップＳ１２００の投影及び撮像を中断し、次の処理に移ってもよい。処理完了後に不足するパターンの投影・撮像を再開するように構成することもできる。

このように、本実施形態によれば、符号誤りを抑制するような空間分割パターンを更に投影し、計測対象物を含む計測空間を所定の数の領域に区分する。また投影部は、区分された領域に対して一意となるような座標検出パターンを投影することによって、計測対象物表面の三次元座標を精密に算出することが可能となる。本実施形態では、計測対象物が内部散乱を引き起こす半透明部分を含む場合に特に効果が大きい。
本実施形態をまとめると、明部及び暗部から成る第１のパターンと、該第１のパターンの投影により区分される空間のそれぞれの領域に投影される座標検出用パターンと、が投影された該空間の第１の撮像画像を取得する。また、明部及び暗部から成り且つ第１のパターンとは明部と暗部との境界位置が異なる第２のパターンと、該第２のパターンの投影により区分される空間のそれぞれの領域に投影される座標検出用パターンと、が投影された空間の第２の撮像画像を取得する。そして、第１の撮像画像中の輝度値と第２の撮像画像中の輝度値とを用いて、該第１の撮像画像及び該第２の撮像画像のうち一方を選択画像として選択する。そして、選択画像中の座標検出用パターンと、該選択画像用に投影された座標検出用パターンと、の対応関係を用いて、空間に含まれている物体の三次元形状計測を行う。

［第２の実施形態］
本実施形態では、空間分割パターン画像の投影時に、明部と暗部の境界部分についてはマスクして投影しないようにする。これにより、空間分割時の符号誤りの可能性がさらに減少することとなり、計測対象物表面の三次元座標をより安定的に算出することが可能となる。

以下では、第１の実施形態との差分について重点的に説明し、第１の実施形態と同様の点については説明を省略する。すなわち、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

投影部１０１が、投影するパターン画像をマスクするために使用するマスクパターンの一例を図８に示す。図８（ａ）には、グレイコードパターンをマスクするために使用するマスクパターンの一例を示しており、図８（ｂ）には、シフトグレイコードパターンをマスクするために使用するマスクパターンの一例を示している。

グレイコードパターン（シフトグレイコードパターン）をマスクパターンを用いてマスクして投影すると、マスクパターンの白い部分についてはパターン光が投影され、黒い部分については、パターン光が遮断される。すなわち、投影部１０１は、投影パターン生成部２０２から供給されたグレイコードパターン（シフトグレイコードパターン）を、マスクパターンを用いてマスクしてから投影する。

これらのマスクパターンは、対応するグレイコードパターンあるいはシフトグレイコードパターンの明暗境界付近についてのみ、投影部１０１がパターン光を投影しないように設定されている。すなわち、本実施形態では、計測対象物１０４の材質が半透明であるような場合に符号誤りの原因となっていたパターン明暗の境界付近について、投影部１０１がパターンを投影しないことによって、復号の精度を向上させる。

図３に示したグレイコードパターンを図８（ａ）に示したマスクパターンを用いてマスクした結果を図９に示す。また、図５に示したシフトグレイコードパターンを図８（ｂ）に示したマスクパターンを用いてマスクした結果を図１０に示す。

図９において、ＰＭ１〜ＰＭ４はそれぞれ、図３のＰ１〜Ｐ４を図８（ａ）のマスクパターンを用いてマスクした結果であり、ＮＭ１〜ＮＭ４はそれぞれ、図３のＮ１〜Ｎ４を図８（ａ）のマスクパターンを用いてマスクした結果である。

図１０において、ＰＭ１’〜ＰＭ４’はそれぞれ、図５のＰ１’〜Ｐ４’を図８（ｂ）のマスクパターンを用いてマスクした結果であり、ＮＭ１’〜ＮＭ４’はそれぞれ、図５のＮ１’〜Ｎ４’を図８（ｂ）のマスクパターンを用いてマスクした結果である。

なお、本実施形態では、上記の通り、投影部１０１は、投影パターン生成部２０２から供給されたグレイコードパターン（シフトグレイコードパターン）を、マスクパターンを用いてマスクしてから投影する。しかし、投影パターン生成部２０２が、グレイコードパターン（シフトグレイコードパターン）をマスクパターンを用いてマスクした結果を投影部１０１に供給するようにしても構わない。

本実施形態では、各画素位置に対する符号を決定するために、グレイコードパターンを投影した場合の撮像画像を用いるのか、シフトグレイコードパターンを投影した場合の撮像画像を用いるのかを決定するための処理が、第１の実施形態と異なる。

以下では、グレイコードパターンのポジティブパターンとしてパターン画像ＰＭ１〜ＰＭｎ（例えば図９のＰＭ１〜ＰＭ４）、グレイコードパターンのネガティブパターンとしてパターン画像ＮＭ１〜ＮＭｎ（例えば図９のＮＭ１〜ＮＭ４）を用いるものとする。また、シフトグレイコードパターンのポジティブパターンとして、パターン画像ＰＭ１’〜ＰＭｎ’（例えば図１０のＰＭ１’〜ＰＭ４’）を用いるものとする。また、シフトグレイコードパターンのネガティブパターンとして、パターン画像ＮＭ１’〜ＮＭｎ’（例えば図１０のＮＭ１’〜ＮＭ４’）を用いるものとする。

そして、パターン画像ＰＭ１〜ＰＭｎのそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＰＭ１〜ＩＰＭｎと表す。また、パターン画像ＮＭ１〜ＮＭｎのそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＮＭ１〜ＩＮＭｎと表す。また、パターン画像ＰＭ１’〜ＰＭｎ’のそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＰＭ１’〜ＩＰＭｎ’と表す。また、パターン画像ＮＭ１’〜ＮＭｎ’のそれぞれを（座標検出パターン画像と共に）投影した計測対象物１０４の撮像画像をＩＮＭ１’〜ＩＮＭｎ’と表す。

このとき、画像処理部２０５は、１≦ｋ≦ｎを満たす全てのｋについて、以下の（式３）に従って、ｄｐｍｋ（ｕ，ｖ）、ｄｐｍｋ’（ｕ，ｖ）を求める。

ＩＰＭｋ（ｕ，ｖ）は、撮像画像ＩＰＭｋ中の画素位置（ｕ，ｖ）における画素の輝度値、ＩＮＭｋ（ｕ，ｖ）は、撮像画像ＩＮＭｋ中の画素位置（ｕ，ｖ）における画素の輝度値を表す。また、ｄｐｍｋ（ｕ，ｖ）は、ＩＰＭｋ（ｕ，ｖ）とＩＮＭｋ（ｕ，ｖ）との輝度差を示す。

また、ＩＰＭｋ’（ｕ，ｖ）は、撮像画像ＩＰＭｋ’中の画素位置（ｕ，ｖ）における画素の輝度値、ＩＮＭｋ’（ｕ，ｖ）は、撮像画像ＩＮＭｋ’中の画素位置（ｕ，ｖ）における画素の輝度値を表す。また、ｄｐｍｋ’（ｕ，ｖ）は、ＩＰＭｋ’（ｕ，ｖ）とＩＮＭｋ’（ｕ，ｖ）との輝度差を示す。

本実施形態では、パターン明暗の境界付近についてはマスクされており、投影部１０１からパターン光が投影されることがないため、すべてのｋについて、ｄｐｍｋ、ｄｐｍ’ｋのいずれかが小さい値を持つ。すなわち、すべてのｋについてｄｐｍｋ（ｕ，ｖ）＞ｄｐｍ’ｋ（ｕ，ｖ）またはｄｐｍｋ（ｕ，ｖ）＜ｄｐｍ’ｋ（ｕ，ｖ）が必ず成立する。

然るに、あるｋについて、ｄｐｍｋ（ｕ，ｖ）＞ｄｐｍ’ｋ（ｕ，ｖ）またはｄｐｍｋ（ｕ，ｖ）＜ｄｐｍ’ｋ（ｕ，ｖ）の何れが成立するか否かを判断する。ｄｐｍｋ（ｕ，ｖ）＞ｄｐｍｋ’（ｕ，ｖ）の場合、画素位置（ｕ，ｖ）に対する符号を決定する為に用いる撮像画像として、グレイコードパターンを投影した計測対象物１０４の撮像画像、即ち撮像画像ＩＰＭ１〜ＩＰＭｎ及びＩＮＭ１〜ＩＮＭｎを選択する。一方、ｄｐｍｋ（ｕ，ｖ）≦ｄｐｍｋ’（ｕ，ｖ）の場合、画素位置（ｕ，ｖ）に対する符号を決定するために用いる撮像画像として、シフトグレイコードパターンを投影した計測対象物１０４の撮像画像を選択する。即ち、撮像画像ＩＰＭ１’〜ＩＰＭｎ’及びＩＮＭ１’〜ＩＮＭｎ’を選択する。

このように、本実施形態では、第１の実施形態より確実にグレイコードパターンあるいはシフトグレイコードパターンを選択することが可能となる。また、マスクパターンを適用することにより、すべての空間分割パターンが高い周波数で変調されることになり、非特許文献１に記述されているように、内部散乱の影響そのものを抑制する効果を得ることができる。すなわち、計測対象物１０４が半透明部分を含むような場合に、領域識別時の符号誤りの発生確率を低減させることができ、安定した三次元計測が実現可能となる。

このように、本実施形態によれば、投影する空間分割パターンに対し、明暗の境界部分について、これを投影しないようにマスクパターンを設定し、制御する。これにより、空間分割時の符号誤りの可能性がさらに減少することとなり、計測対象物表面の三次元座標をより安定的に算出することが可能となる。

［第３の実施形態］
第１の実施形態では、図６に示すような複数の線分から成る座標検出パターン画像を用いたが、本実施形態では、図１１に示す如く、複数の破線から成る座標検出パターン画像を用いる。このような座標検出パターン画像を計測対象物１０４に対して投影することで、計測対象物１０４に生じる内部散乱の影響を取り除くことになり、結果として、計測対象物１０４表面上の三次元座標をより正確に算出する。

以下では、第１の実施形態との差分について重点的に説明し、第１の実施形態と同様の点については説明を省略する。すなわち、以下で特に触れない限りは、第１の実施形態と同様であるものとする。

本実施形態では、投影パターン生成部２０２は、図６に示したような複数の線分から成る座標検出パターン画像の代わりに、図１１に示すような複数の破線から成る座標検出パターン画像を投影部１０１に供給する。投影部１０１は、投影パターン生成部２０２から供給された、複数の破線から成る座標検出パターン画像を、計測対象物１０４を含む空間に対して投影する。非特許文献２に記述されているように、本実施形態では、計測対象物１０４に対して破線様のパターンを投影し、計測対象物１０４の内部散乱の影響を取り除くことによって、より精密な投影座標を算出することが可能となる。

投影パターン生成部２０２は、図１１のような破線様のパターンに対し、この破線を長手方向（座標検出パターン画像において垂直方向）に順次シフトさせたパターンを複数生成し、投影部１０１に送出する。図１２は座標検出パターンを構成する破線の一部分のみを切り出して、複数の座標検出パターンを生成する処理を説明している図である。

投影パターン生成部２０２は、破線を縦方向に１画素ずつシフトさせたパターンを生成する。図１２（ａ）では、投影部１０１の画素について、破線の長手方向に２画素分を明、２画素分を暗とした繰り返しパターンの破線である。投影パターン生成部２０２は、図１２（ａ）の破線を１画素分下方向にシフトさせたパターン（図１２（ｂ））を新たに生成し、投影部１０１に送出する。投影部１０１は計測対象物１０４を含む空間に向けてこのパターンを投影し、投影の都度、撮像部１０２は計測対象物１０４を含む空間を撮像する。

次に投影パターン生成部２０２はさらに１画素分下方向にシフトさせたパターン（図１２（ｃ））を生成し、投影部１０１に送出する。投影パターン生成部２０２は、破線の１周期分だけこのシフトを繰り返して、座標検出パターンを生成する。この例の場合、投影パターン生成部２０２は破線を長手方向にシフトさせたパターンを４つ（図１２（ａ）〜（ｄ））生成し、投影部１０１に送出する。

画像処理部２０５は、座標検出パターンが投影された撮像画像から、座標検出パターンが計測対象物１０４上に観測された画像座標を高精度に計算する。本実施形態の場合、撮像部１０２は破線パターンをシフトさせて生成した４種類の座標検出パターンを投影した撮像画像（４枚）取得することになり、この４枚の撮像画像から画像座標を算出する。

画像処理部２０５は、画素位置（ｕ，ｖ）ごとに、４枚の撮像画像のそれぞれの該画素位置における輝度値のうち最大値Ｔ及び最小値Ｓを特定する。計測対象物１０４上の被計測点について、破線パターン投影時の暗部に対応する画素については、パターン光が直接投影されていないことになるため、内部散乱のみが観測される。一方、明部に対応する点については、パターン光が直接投影されているため、反射光と内部散乱の両方が観測されている。破線の周波数が十分に高い条件下では、最小値Ｓが内部散乱成分そのものを表していることになり、最大値Ｔから最小値Ｓを減算した値が計測対象物１０４表面で反射した反射光成分を表していることになる。画像処理部２０５は座標検出パターンが投影された複数の撮像画像から、反射光成分を算出する。即ち、画素位置ごとに、該画素位置について求めた最大値Ｔから最小値Ｓを引いた結果を、該画素位置に対する輝度値（反射光成分）として求める。そして、各画素位置における画素が該求めた反射光成分を有する画像（反射光成分の撮像画像）から、座標検出パターンの位置を検出する。反射光成分は既に内部散乱の影響が取り除かれたものであるから、第１の実施形態における座標検出パターンを投影した撮像画像に代えて、この反射光成分の撮像画像をそのまま用いることによって、高精度な画像座標を取得することができる。

次に、以上説明した、制御装置１０３による計測対象物１０４の三次元形状計測を処理について、同処理のフローチャートを示す図１３を用いて説明する。図１３に示したフローチャートは、図７に示したフローチャートにステップＳ１３５０を加えたものである。

ステップＳ１３５０では、画像処理部２０５は、上記のようにして、反射光成分を算出することで、反射光成分の撮像画像を生成する。然るにステップＳ１４００では、画像処理部２０５は、反射光成分の撮像画像から座標検出パターンの位置を求め、画像座標と投影座標との対応関係を求める。

このように、本実施形態によれば、座標検出パターンとして破線様のパターンを投影し、計測対象物に生じる内部散乱の影響を取り除くことにより、計測対象物表面上の三次元座標をより正確に算出することが可能となる。なお、以上説明した各実施形態はその一部若しくは全部を適宜組み合わせて用いても構わない。

そして何れの実施形態においても、半透明部分を含む計測対象物に対してパターン光を照射したときの散乱等の影響を抑制し、高精度な三次元計測を安定的に行うことが可能となる。

［第４の実施形態］
図２に示した制御装置１０３を構成する各部は何れもハードウェアで構成しても構わない。しかし、画像入力部２０４、投影パターン生成部２０２、三次元座標算出部２０８、画像処理部２０５、結果出力部２０９等はソフトウェア（コンピュータプログラム）で構成しても構わない。この場合、制御部２１０、パラメータ記憶部２０６の機能を有し、且つこのコンピュータプログラムを実行可能な装置は、制御装置１０３に適用可能である。制御装置１０３に適用可能であるコンピュータ装置のハードウェア構成例を図１４に示す。

ＣＰＵ１４０１は、ＲＡＭ１４０２やＲＯＭ１４０３に格納されているコンピュータプログラムやデータを用いて各種の処理を実行することで、本コンピュータ装置全体の動作制御を行うと共に、制御装置１０３が行うものとして上述した各処理を実行する。然るにＣＰＵ１４０１は、制御部２１０としても機能することになる。

ＲＡＭ１４０２は、外部記憶装置１４０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）１４０７を介して外部から受信したコンピュータプログラムやデータを一時的に記憶するためのエリアを有する。更に、ＲＡＭ１４０２は、ＣＰＵ１４０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ１４０２は、各種のエリアを適宜提供することができる。ＲＯＭ１４０３には、本コンピュータ装置の設定データやブートプログラムなどが格納されている。

操作部１４０４は、マウスやキーボードなどにより構成されており、本コンピュータ装置のユーザが操作することで、各種の指示をＣＰＵ１４０１に対して入力することができる。例えば、処理の終了指示や本コンピュータ装置の起動指示などは、この操作部１４０４を操作することで入力することができる。

表示部１４０５は、ＣＲＴや液晶画面などにより構成されており、ＣＰＵ１４０１による処理結果を画像や文字などでもって表示することができる。例えば、結果出力部２０９の出力先として使用することもできる。

外部記憶装置１４０６は、ハードディスクドライブ装置などの大容量情報記憶装置である。外部記憶装置１４０６には、ＯＳ（オペレーティングシステム）や、制御装置１０３が行うものとして上述した各処理をＣＰＵ１４０１に実行させるためのコンピュータプログラムやデータが保存されている。このコンピュータプログラムには、画像入力部２０４、投影パターン生成部２０２、画像処理部２０５、三次元座標算出部２０８、結果出力部２０９が行うものとして上述した各処理をＣＰＵ１４０１に実行させるためのコンピュータプログラムが含まれている。また、このデータには、パラメータ記憶部２０６に保存されているものとして上述した情報や、既知の情報として説明した様々な情報が含まれている。すなわち、外部記憶装置１４０６は、パラメータ記憶部２０６としても機能することになる。

外部記憶装置１４０６に保存されているコンピュータプログラムやデータは、ＣＰＵ１４０１による制御に従って適宜ＲＡＭ１４０２にロードされ、ＣＰＵ１４０１による処理対象となる。

Ｉ／Ｆ１４０７は外部機器を本コンピュータ装置に接続するためのもので、撮像部１０２や投影部１０１を接続することができる。上述した各部は何れも、バス１４０８に接続されている。

（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

Claims (8)

1. 明部及び暗部から成る第１のパターンと、該第１のパターンの投影により区分される空間のそれぞれの領域に投影される座標検出用パターンと、が投影された該空間の第１の撮像画像を取得する手段と、
   明部及び暗部から成り且つ前記第１のパターンとは明部と暗部との境界位置が異なる第２のパターンと、該第２のパターンの投影により区分される前記空間のそれぞれの領域に投影される座標検出用パターンと、が投影された前記空間の第２の撮像画像を取得する手段と、
   前記第１の撮像画像中の輝度値と前記第２の撮像画像中の輝度値とに基づいて、該第１の撮像画像及び該第２の撮像画像のうち一方を選択画像として選択する選択手段と、
   前記選択手段によって選択された選択画像に基づいて、前記空間に含まれている物体の三次元形状計測を行う計測手段と
   を備えることを特徴とする三次元形状計測装置。
2. 前記第１の撮像画像及び前記第２の撮像画像のそれぞれは、明部及び暗部から成るパターンを投影した前記空間の撮像画像である正画像及び該パターンにおける明部及び暗部を反転させたパターンを投影した前記空間の撮像画像である反転画像から成り、
   前記選択手段は、所定の領域毎に
   前記第１の撮像画像としての正画像内の前記所定の領域における輝度値と、前記第１の撮像画像としての反転画像内の前記所定の領域における輝度値と、の差分を第１の差分として取得し、前記第２の撮像画像としての正画像内の前記所定の領域における輝度値と、前記第２の撮像画像としての反転画像内の前記所定の領域における輝度値と、の差分を第２の差分として取得し、
   前記第１の差分と前記第２の差分とに基づいて、前記第１の撮像画像及び前記第２の撮像画像のうち一方を選択画像として選択する
   ことを特徴とする請求項１に記載の三次元形状計測装置。
3. 前記選択手段は、前記第１の差分が前記第２の差分よりも大きい領域に対しては、前記選択画像として前記第１の撮像画像を選択し、前記第１の差分が前記第２の差分よりも小さい領域に対しては、前記選択画像として前記第２の撮像画像を選択することを特徴とする請求項２に記載の三次元形状計測装置。
4. 前記計測手段は、
   前記選択画像中のパターンの投影により区分された前記空間のそれぞれの領域のうち、該選択画像中の座標検出用パターンが投影された領域を特定し、該選択画像用に投影された座標検出用パターンのうち該特定された領域に投影された座標検出用パターンと、該選択画像中の座標検出用パターンと、の対応関係を用いて前記三次元形状計測を行う
   ことを特徴とする請求項１乃至３の何れか１項に記載の三次元形状計測装置。
5. 前記第１のパターン及び前記第２のパターンは、明部と暗部の境界部分がマスクされたパターンであることを特徴とする請求項１乃至４の何れか１項に記載の三次元形状計測装置。
6. 更に、前記選択画像から前記物体に生じる内部散乱の影響を除去した反射光成分の撮像画像を生成する手段を備え、
   前記計測手段は、前記反射光成分の撮像画像を前記選択画像として用いて前記三次元形状計測を行うことを特徴とする請求項１乃至５の何れか１項に記載の三次元形状計測装置。
7. 三次元形状計測装置が行う三次元形状計測方法であって、
   前記三次元形状計測装置の第１の撮像画像の取得手段が、明部及び暗部から成る第１のパターンと、該第１のパターンの投影により区分される空間のそれぞれの領域に投影される座標検出用パターンと、が投影された該空間の第１の撮像画像を取得する工程と、
   前記三次元形状計測装置の第２の撮像画像の取得手段が、明部及び暗部から成り且つ前記第１のパターンとは明部と暗部との境界位置が異なる第２のパターンと、該第２のパターンの投影により区分される前記空間のそれぞれの領域に投影される座標検出用パターンと、が投影された前記空間の第２の撮像画像を取得する工程と、
   前記三次元形状計測装置の選択手段が、前記第１の撮像画像中の輝度値と前記第２の撮像画像中の輝度値とに基づいて、該第１の撮像画像及び該第２の撮像画像のうち一方を選択画像として選択する選択工程と、
   前記三次元形状計測装置の計測手段が、前記選択工程で選択された選択画像に基づいて、前記空間に含まれている物体の三次元形状計測を行う計測工程と
   を備えることを特徴とする三次元形状計測方法。
8. コンピュータを、請求項１乃至６の何れか１項に記載の三次元形状計測装置の各手段として機能させるためのコンピュータプログラム。

Images