JP2008008907A

JP2008008907A - ３次元形状計測方法および装置ならびにプログラム

Info

Publication number: JP2008008907A
Application number: JP2007213539A
Authority: JP
Inventors: Shizuo Sakamoto; 静生坂本; Rui Ishiyama; 塁石山
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2007-08-20
Filing date: 2007-08-20
Publication date: 2008-01-17
Anticipated expiration: 2022-03-12
Also published as: JP4985213B2

Abstract

【課題】複数の形状およびテクスチャデータを合成したときにも段差が目立たず、クオリティの高い統合データを自動的に得る。
【解決手段】対応画素算出手段２２６が第１の位置・方向から計測したある画素における３次元座標点に対応する第２の位置・方向から撮影した画像列上の画素位置を求め、合致画素算出手段２２７が対応画素位置を基準とした部分画像をスキャンし、着目画素の光パターンに最も合致する光パターンを持つ合致画素を求めて３次元座標点を出力し、合致座標記憶手段２２８が合致した３次元座標点を対として保持し、補正量算出手段２２９が３つの手段を繰り返し３次元座標対を生成し、対となる３次元座標位置の差が最も小さくなるように第２の位置・方向から計測された座標点を変換する座標変換量を求め、３次元形状補正手段２３０が第２の位置・方向により計測した３次元形状を座標変換して出力する。
【選択図】図１

Description

本発明は３次元形状計測技術に関し、特に複数方向から計測した形状間や輝度・色情報の差を最小化する３次元形状計測方法，３次元形状計測装置，および該３次元形状計測をデータ処理装置（コンピュータ）で実行させるプログラムに関する。

従来から、物体の３次元形状を計測する様々な手法が提案されている。その中の一つの手法として、正弦波パターンを投影して計測する手法について、非特許文献１に基づいて説明する。

図６は、非特許文献１で記されている３次元形状計測装置の模式図を示す。図６を参照すると、光源１０１から正弦波状に濃淡値が印刷されている格子１０２を通して、物体１００に対して正弦波状の輝度分布を持つ光パターンを投影する。該物体１００上の点Ｐ１０４をカメラ１０３で撮影する。画像上における該点Ｐ１０４の座標値をｘ、該座標ｘにおける輝度値をＩ(ｘ)とし、輝度値Ｉ(ｘ)を数１で表すこととする。

ここで、Ａ０(ｘ)はバイアス成分であり、φおよびα(ｘ)はそれぞれ位相である。

物体１００を静止させたままで格子１０２を軸ｕ方向へと、印刷した正弦波パターンの波長の１／Ｎ（Ｎは正の整数）ずつＮ回ずらしながら画像を撮影してゆく。撮影された画像は、物体１００に投影された正弦波光パターンが２π／Ｎラジアンずつ進行してゆくように見える。これを、位相φが０ラジアンから２π／Ｎラジアンずつ２π(Ｎ−１)／Ｎラジアンまでずれてゆくと解釈すると、ｋ回目（０≦ｋ＜Ｎ）に得られるｘ地点での輝度値Ｉｋ(ｘ)は、数２で表すことができる。

位相α(ｘ)は、ｋ＝０番目に撮影した画像におけるｘ地点での位相値となる。点Ｐ１０４は、カメラスクリーン上の座標ｘからレンズ中心を通過する半直線上に存在する。光源１０１から見たとき、点Ｐ１０４は、正弦波格子１０２上において位相α(ｘ)の直線と光源１０１で決まる平面上に存在する。故に、上記直線と平面との交点を求めれば、該交点の３次元座標値が点Ｐ１０４のものであることがわかる。

上記数２は、次の数３で示す新しい２つの係数Ａ１(ｘ)，Ｂ１(ｘ)を導入することで、続く数４と書き換えることができる。

Ａ１(ｘ)およびＢ１(ｘ)は、それぞれＮ回の撮影で得たｘ地点での輝度値Ｉ０(ｘ)，…，ＩＮ−１(ｘ)を用いて、次の数５で求めることができる。

また、位相α(ｘ)は、次の数６で求まる。

上記した位相計算をカメラ１０３で撮影された画像上の各画素で実行することで、画像上の物体１００の位相値が得られる。

ところで、上記数６から得られる位相α(ｘ)は、逆正接関数ｔａｎ−１()を用いて計算していることからも分かるように、全て−πからπまでの間に折り返されてしまっている。このため、求められた位相α(ｘ)は、２πの整数倍だけ不定性を持ってしまい、このままでは物体１００の３次元形状を求めることができない。

このように、物体１００全体に対して、一周期だけからなる正弦波パターンを投射することで、位相を一意に決められるようにすることができるが、このとき、物体１００全体に、−πからπまでの狭い位相値を割り付けるために、高い計測精度が得られないという問題点がでてくる。

そこで、通常、初期位相の値域を広げ、物体１００に対して複数周期の正弦波パターンを投射することで、位相の一意性を犠牲にして計測精度を向上させる方法がとられている。

図７は、カメラ１０３で撮影された画像上の各画素において、求めた位相の例である位相画像１０５を示す図である。図７では、位相−πからπラジアンを、黒から白へと割り付けて示している。本図７により明らかなように、例えば平面を計測したとしても計測された位相値は不連続となるため、何らかの手法により画像内で相対的な位相値を決定して、連続した値へと変換する必要がある。また、そのままでは位相値の絶対値は得られないため、何らかの手法で別途絶対位相を決定しなければならない。

上記問題点を、異なる位置に置かれたカメラや投光装置を付け加えて利用することにより解決する手法について、特許文献１に基づいて説明する。

図８は、従来の３次元形状計測装置３００のブロック図を示す。この３次元形状計測装置３００は、光投射器Ａ２０１と、光投射器Ｂ２０２と、カメラＡ２０３と、カメラＢ２０４と、光投射器・カメラ制御手段２０５と、画像記憶手段Ａ−Ａ２０６と、画像記憶手段Ａ−Ｂ２０７と、画像記憶手段Ｂ−Ａ２０８と、画像記憶手段Ｂ−Ｂ２０９と、位相計算手段２１０と、位相記憶手段Ａ−Ａ２１１と、位相記憶手段Ａ−Ｂ２１２と、位相記憶手段Ｂ−Ａ２１３と、位相記憶手段Ｂ−Ｂ２１４と、絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５と、絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ２１６と、絶対位相値変換手段２１７と、３次元座標値変換手段２１８と、３次元座標値記憶手段Ａ−Ａ２１９と、３次元座標値記憶手段Ｂ−Ｂ２２０と、３次元座標値合成手段２２１と、光投射器Ａ／カメラＡ相対位置記憶手段２２３と、光投射器Ｂ／カメラＢ相対位置記憶手段２２４と、カメラＡ／Ｂ相対位置記憶手段２２５とを含んで構成されていた。

図９は、３次元形状計測装置３００の模式図を示す。３次元形状計測装置３００は、光投射器Ａ２０１および光投射器Ｂ２０２と、カメラＡ２０３およびカメラＢ２０４とが、図９に示すように配置されており、光投射器Ａ２０１とカメラＡ２０３との対で計測された３次元形状と、光投射器Ｂ２０２とカメラＢ２０４との対で計測された３次元形状とを合成して出力するものであるとする。

図１０は、絶対位相値決定方法のうちの一つの説明図である。

光投射器Ａ２０１により投射された正弦波パターンをカメラＡ２０３により撮影して得た位相画像である画像Ａ（光パターンＡ）１１６を、図１０左上に示す。本画像中の点Ｐ１１２の絶対位相値、すなわち３次元座標位置は、以下のような手順にて得ることができる。まず、点Ｐ１１２位置における画像Ａ（光パターンＡ）１１６上の位相値より、２πの整数倍の不定性を加味すると、３次元空間上における点Ｐの候補位置は、図１０下に示した点Ｐ１１１３，Ｐ２１１４，およびＰ３１１５となる。カメラＢ２０４から上記点Ｐ１１１３，Ｐ２１１４およびＰ３１１５へと向かう視線を求め、光投射器Ａ２０１により投射された正弦波パターンをカメラＢ２０４により撮影して得た位相画像である画像Ｂ（光パターンＡ）１１７上に、図１０右上のようにプロットしたとき、本画像Ｂ（光パターンＡ）１１７上の対応点の位相値から点Ｐ１１１３，Ｐ２１１４，およびＰ３１１５に対応する点を得ることができる。画像Ａ（光パターンＡ）１１６上の点Ｐ１１２の相対位相値と、画像Ｂ（光パターンＡ）１１７上の前記候補点のうちの１点のみが唯一相対位相値が合致したときに正しく３次元座標が計測できたとし、そのときの絶対位相値が決定できるとする。以上の手続きを画像Ａ（光パターンＡ）１１６上の全ての点において繰り返すことにより、絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９を得ることができる。同様にして、絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）２０を得ることができる。さらに、確からしい絶対位相を得るには、画像Ａ（光パターンＡ）１１６上または画像Ｂ（光パターンＡ）１１７上において、絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９および絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）２０が得られた画素位置の積を求めておき、該積が存在する画素位置のみ絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９と絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）２０とが出力されるようにマスクすることで実現できる。

本処理により、必ずしも全ての地点について絶対位相が決定できるとは限らないが、カメラＡ２０３とカメラＢ２０４との双方より視認できる領域については、大部分の点において絶対位相が得られる。これら絶対位相が得られた点群をそれぞれ中心とした周囲の画素について、絶対位相が得られていない場合には位相差ができるだけ小さくなるように２πの整数倍を足し引きしてやることを繰り返すにより、画像全体での絶対位相を得ることができる。

以上の処理によって得られた絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９から３次元座標値変換手段２１８により、光投射器Ａ２０１とカメラＡ２０３との三角測量の原理により３次元形状が計算できる。光投射器Ｂ２０２とカメラＢ２０４との対についても同様に計算でき、最終的に３次元座標値記憶手段Ａ−Ａ２１９および３次元座標値記憶手段Ｂ−Ｂ２２０へと保存された形状データを３次元座標値合成手段２２１により合成することにより、計測対象の物体１００全体の形状を得ることができる。
上記従来手法において、カメラＡ２０３およびカメラＢ２０４として通常のカメラを用いることも可能であるため、別途フラッシュ等の照明を利用してテクスチャ画像を撮影しておくことで、３次元形状物体の外観であるテクスチャデータ（画像）を取得することもできる。このテクスチャデータを、計測した形状データに対して貼り付けて、３次元ＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）におけるテクスチャマッピングの手法により様々な方向から眺めることのできるカタログ等の応用に供することもできる。

「縞走査を導入した格子パターン投影法」（精密工学会誌、Ｖｏｌ.５５，Ｎｏ.１０，ｐｐ.１８１７〜１８２２，１９８９年）特開２００１−０１２９２５

しかしながら、上記特許文献１において述べられている従来手法では、光投射器Ａ２０１および光投射器Ｂ２０２と、カメラＡ２０３およびカメラＢ２０４との位置関係は非常によくわかっており、どのペアで座標値を求めてもほぼ同一の座標地点として求めることができる場合には、３次元座標値合成手段２２１において相補的な合成などによりデータを合成するだけできれいな全体の形状データを得ることができるが、実際には相互位置関係を完全に知ることは不可能であり、それぞれのペアにおいて求めた形状間で、微妙に位置ずれを起こす，大きさが異なってしまうといった問題点がある。そのため単純に各々の形状を合成すると、各形状間において段差が生じてしまう。

図１１を用いて形状の合成の一手法について説明する。物体１００を手前左方向にカメラＡ２０３および光投射器Ａ２０１、同右方向にカメラＢ２０４および光投射器Ｂ２０２を配置して計測すると、それぞれカメラから見える範囲の形状を、図中のカメラＡ（光パターンＡ）計測の物体１０６およびカメラＢ（光パターンＢ）計測の物体１０７として得ることができる。カメラや光投射器の位置関係を完全に知ることは困難であるため、これらカメラおよび光投射器を用いて得られた上記計測物体は、相互に微妙に位置ずれや大きさずれを起こしてしまっている。最も単純な合成方法として、適当な平面にて左右に分割することにより、それぞれカメラＡ（光パターンＡ）計測の半物体１０８およびカメラＢ（光パターンＢ）計測の半物体１０９のように相補的な有効領域を取り出した後に両者を合わせて最終合成物体１１０を生成する。このとき、位置ずれや大きさずれから段差１１１が生じることとなり、結果としてクオリティの低い形状しか得られないこととなる。

文献（３）（特開平０５−３０３６２９）においては、物体の部分形状と部分形状上のテクスチャとを用い、テクスチャを手がかりとして位置合わせを行っているが、物体表面が無地であると本方式は無力である。また、形状における凹凸などの特徴的な位置を基準とした位置合わせも可能ではあるが、文献（３）の手法と同様に、物体表面に位置合わせの手がかりとなる形状がない場合には利用できない。

人手により形状の総体位置等を変更して段差ができるだけ少なくなるように調整することも可能ではあるが、非常に労力がかかる上、基本的に一つ一つの計測に対して個別に対処することとなるために実用的でない。

また、形状だけでなく得られるテクスチャ画像についても、カメラＡ２０３とカメラＢ２０４との特性が一般に異なることから微妙な差違が生じ、結果的にクオリティの低い合成テクスチャデータを得てしまうこととなる。

文献（４）（特開２００１−０８４３９５）では、２つの形状データの境界位置において、形状とテクスチャとをボクセルという表現へと変更した後に一種のなじませ合成を行う手法が述べられている。このように、一般的にデータ境界においてのりしろ領域を設け、この領域内にて徐々にブレンドしてゆく手法がとられるが、根本的な解決ではないために段差はとれず、また上記のりしろ領域は対象毎にアドホックに調整する必要があった。

本発明の目的は、上記２つの問題を解決し、形状やテクスチャの段差を目立たなくし、複数の形状およびテクスチャデータを合成したときにも段差が目立たず、クオリティの高い統合データを自動的に得ることができる３次元形状計測方法を提供することにある。

また、本発明の他の目的は、上記３次元形状計測方法による３次元形状の計測を行うための３次元形状計測装置を提供することにある。

さらに、本発明の別の目的は、上記３次元形状計測方法および３次元形状計測装置をデータ処理装置にて実現するための３次元形状計測プログラムを提供することにある。

前記目的を達成する、第１の発明の３次元形状計測方法は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する方法において、計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれを補正する工程を持つことを特徴とする。

第２の発明の３次元形状計測方法は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する方法において、計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測したテクスチャデータ間の輝度・色ずれを補正する工程を持つことを特徴とする。

第３の発明の３次元形状計測方法は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する方法において、計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれとテクスチャデータ間の輝度・色ずれとをともに補正する工程を持つことを特徴とする。

第４の発明の３次元形状計測方法は、第１の発明の３次元形状計測方法における前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正する工程において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める工程と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める工程と、前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における第２の位置・方向から計測された３次元座標位置とを対にして保持する工程と、前記３つの工程を繰り返して対応リストを生成する工程と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測された３次元形状を補正する工程とを持つことを特徴とする。

第５の発明の３次元形状計測方法は、第２の発明の３次元形状計測方法における前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正する工程において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める工程と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める工程と、前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する工程と、前記３つの工程を繰り返して対応リストを生成する工程と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを補正する工程とを持つことを特徴とする。

第６の発明の３次元形状計測方法は、第３の発明の３次元形状計測方法における前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正する工程において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める工程と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める工程と、前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における第２の位置・方向から計測された３次元座標位置とを対にして保持する工程と、前記３つの工程を繰り返して対応リストを生成する工程と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測された３次元形状を補正する工程とを持ち、前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正する工程において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める工程と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める工程と、前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する工程と、前記３つの工程を繰り返して対応リストを生成する工程と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを補正する工程とを持つことを特徴とする。

第７の発明の３次元形状計測方法は、第１ないし第６の発明の３次元形状計測方法のいずれかにおいて、２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする。

第８の発明の３次元形状計測方法は、第１ないし第７の発明の３次元形状計測方法のいずれかにおいて、３つ以上の位置・方向より画像の撮影を行うことを特徴とする。

第９の発明の３次元形状計測方法は、第１ないし第８の発明の３次元形状計測方法のいずれかにおいて、投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする。

第１０の発明の３次元形状計測方法は、第９の発明の３次元形状計測方法において、投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

第１１の発明の３次元形状計測方法は、第１ないし第８の発明の３次元形状計測方法のいずれかにおいて、投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする。

第１２の発明の３次元形状計測方法は、第１１の発明の３次元形状計測方法において、投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

一方、第１３の発明の３次元形状計測装置は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する３次元形状計測装置において、光パターンが計測物体上へと投影された画像列，前記撮影を行う第１および第２の位置・方向，ならびに第１および第２の位置・方向から計測した３次元形状を入力とし、該第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれを補正して出力するずれ補正手段を持つことを特徴とする。

第１４の発明の３次元形状計測装置は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する３次元形状計測装置において、光パターンが計測物体上へと投影された画像列，前記撮影を行う第１および第２の位置・方向，ならびに第１および第２の位置・方向から計測した３次元形状を入力とし、該第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測したテクスチャデータ間の輝度・色ずれを補正して出力するずれ補正手段を持つことを特徴とする。

第１５の発明の３次元形状計測装置は、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する３次元形状計測装置において、光パターンが計測物体上へと投影された画像列，前記撮影を行う第１および第２の位置・方向，ならびに第１および第２の位置・方向から計測した３次元形状を入力とし、該第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれとテクスチャデータ間の輝度・色ずれとをともに補正して出力するずれ補正手段を持つことを特徴とする。

第１６の発明の３次元形状計測装置は、第１３の発明の３次元形状計測装置における前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正するずれ補正手段において、第１の位置・方向から撮影した画像列，同計測された３次元形状，および前記第１の位置・方向と第２の位置・方向との相対位置関係を入力とし、前記第１の位置・方向から計測したある画素における３次元座標点に着目し、該着目画素の光パターン，該着目３次元座標点，および該着目３次元座標点が対応する第２の位置・方向から撮影した画像列上の画素位置を求めて出力する対応画素算出手段と、前記着目画素の光パターン，前記対応する画素位置，前記第２の位置・方向から撮影した画像列，および同計測した３次元形状を入力とし、該対応画素位置を基準とした部分画像をスキャンし、着目画素の光パターンに最も合致する光パターンを持つ合致画素を求めてその画素に対応する３次元座標点を出力する合致画素算出手段と、前記着目した３次元座標点，および前記合致した３次元座標点を入力とし、両入力を対として保持し随時出力する合致座標記憶手段と、前記３つの手段を繰り返し３次元座標対を生成し前記合致座標記憶手段へと記録されたリストを入力とし、対となる３次元座標位置の差が最も小さくなるように前記第２の位置・方向から計測された座標点を変換する座標変換量を求めて出力する補正量算出手段と、前記座標変換量，および前記第２の位置・方向から計測した３次元形状を入力とし、第２の位置・方向により計測した３次元形状を座標変換して出力する３次元形状補正手段とを持つことを特徴とする。

第１７の発明の３次元形状計測装置は、第１４の発明の３次元形状計測装置における前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正するずれ補正手段において、第１の位置・方向から撮影した画像列，同第１の位置・方向から撮影したテクスチャデータ，同計測された３次元形状，および前記第１の位置・方向と第２の位置・方向との相対位置関係を入力とし、前記第１の位置・方向から計測したある画素における３次元座標点に着目し、該着目画素の光パターン，該着目テクスチャデータ，および該着目３次元座標点が対応する第２の位置・方向から撮影した画像列上の画素位置を求めて出力する対応画素算出手段と、前記着目画素の光パターン，前記対応する画素位置，前記第２の位置・方向から撮影した画像列，同計測した３次元形状，および同撮影したテクスチャデータを入力とし、該対応画素位置を基準とした部分画像をスキャンし、着目画素の光パターンに最も合致する光パターンを持つ合致画素を求めてその画素に対応するテクスチャデータを出力する合致画素算出手段と、前記着目したテクスチャデータ，および前記合致したテクスチャデータを入力とし、両入力を対として保持し随時出力する合致テクスチャ記憶手段と、前記３つの手段を繰り返しテクスチャデータ対を生成し前記合致テクスチャ記憶手段へと記録されたリストを入力とし、対となるテクスチャデータの差が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを変換するテクスチャ変換量を求めて出力する補正量算出手段と、前記テクスチャ変換量，および前記第２の位置・方向から計測したテクスチャデータを入力とし、第２の位置・方向により計測したテクスチャデータを変換して出力するテクスチャ補正手段とを持つことを特徴とする。

第１８の発明の３次元形状計測装置は、第１３の発明の３次元形状計測装置における前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正するずれ補正手段において、第１の位置・方向から撮影した画像列，同計測された３次元形状，および前記第１の位置・方向と第２の位置・方向との相対位置関係を入力とし、前記第１の位置・方向から計測したある画素における３次元座標点に着目し、該着目画素の光パターン，該着目３次元座標点，および該着目３次元座標点が対応する第２の位置・方向から撮影した画像列上の画素位置を求めて出力する対応画素算出手段と、前記着目画素の光パターン，前記対応する画素位置，前記第２の位置・方向から撮影した画像列，および同計測した３次元形状を入力とし、該対応画素位置を基準とした部分画像をスキャンし、着目画素の光パターンに最も合致する光パターンを持つ合致画素を求めてその画素に対応する３次元座標点を出力する合致画素算出手段と、前記着目した３次元座標点，および前記合致した３次元座標点を入力とし、両入力を対として保持し随時出力する合致座標記憶手段と、前記３つの手段を繰り返し３次元座標対を生成し前記合致座標記憶手段へと記録されたリストを入力とし、対となる３次元座標位置の差が最も小さくなるように前記第２の位置・方向から計測された座標点を変換する座標変換量を求めて出力する補正量算出手段と、前記座標変換量，および前記第２の位置・方向から計測した３次元形状を入力とし、第２の位置・方向により計測した３次元形状を座標変換して出力する３次元形状補正手段とを持ち、第１４の発明の３次元形状計測装置における前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正するずれ補正手段において、第１の位置・方向から撮影した画像列，同第１の位置・方向から撮影したテクスチャデータ，同計測された３次元形状，および前記第１の位置・方向と第２の位置・方向との相対位置関係を入力とし、前記第１の位置・方向から計測したある画素における３次元座標点に着目し、該着目画素の光パターン，該着目テクスチャデータ，および該着目３次元座標点が対応する第２の位置・方向から撮影した画像列上の画素位置を求めて出力する対応画素算出手段と、前記着目画素の光パターン，前記対応する画素位置，前記第２の位置・方向から撮影した画像列，同計測した３次元形状，および同撮影したテクスチャデータを入力とし、該対応画素位置を基準とした部分画像をスキャンし、着目画素の光パターンに最も合致する光パターンを持つ合致画素を求めてその画素に対応するテクスチャデータを出力する合致画素算出手段と、前記着目したテクスチャデータ，および前記合致したテクスチャデータを入力とし、両入力を対として保持し随時出力する合致テクスチャ記憶手段と、前記３つの手段を繰り返しテクスチャデータ対を生成し前記合致テクスチャ記憶手段へと記録されたリストを入力とし、対となるテクスチャデータの差が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを変換するテクスチャ変換量を求めて出力する補正量算出手段と、前記テクスチャ変換量，および前記第２の位置・方向から計測したテクスチャデータを入力とし、第２の位置・方向により計測したテクスチャデータを変換して出力するテクスチャ補正手段とを持つことを特徴とする。

第１９の発明の３次元形状計測装置は、第１３ないし第１８の発明の３次元形状計測装置のいずれかにおいて、２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする。

第２０の発明の３次元形状計測装置は、第１３ないし第１９の発明の３次元形状計測装置のいずれかにおいて、３つ以上の位置・方向より画像の撮影を行うことを特徴とする。

第２１の発明の３次元形状計測装置は、第１３ないし第２０の発明の３次元形状計測装置のいずれかにおいて、投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする。

第２２の発明の３次元形状計測装置は、第２１の発明の３次元形状計測装置において、投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

第２３の発明の３次元形状計測装置は、第１３ないし第２０の発明の３次元形状計測装置のいずれかにおいて、投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする。

第２４の発明の３次元形状計測装置は、第２３の発明の３次元形状計測装置において、投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

他方、第２５の発明のプログラムは、コンピュータに、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する処理，ならびに計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれを補正する処理を実行させることを特徴とする。

第２６の発明のプログラムは、コンピュータに、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する処理，ならびに計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測したテクスチャデータ間の輝度・色ずれを補正する処理を実行させることを特徴とする。

第２７の発明のプログラムは、コンピュータに、計測物体へと光パターンを投影しながら第１および第２の位置・方向より撮影した画像列に基づいて該第１および第２の位置・方向からの３次元形状を計測する処理，ならびに計測物体上へと投影された光パターンから第１および第２の位置・方向間の対応を精密に求めることにより、前記第１および第２の位置・方向から計測した３次元形状間の位置ずれとテクスチャデータ間の輝度・色ずれとをともに補正する処理を実行させることを特徴とする。

第２８の発明のプログラムは、第２５の発明のプログラムにおける前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正する処理において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める手順と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める手順と、前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における第２の位置・方向から計測された３次元座標位置とを対にして保持する手順と、前記３つの手順を繰り返して対応リストを生成する手順と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測された３次元形状を補正する手順とを持つことを特徴とする。

第２９の発明のプログラムは、第２６の発明のプログラムにおける前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正する処理において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める手順と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める手順と、前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する手順と、前記３つの手順を繰り返して対応リストを生成する手順と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを補正する手順とを持つことを特徴とする。

第３０の発明のプログラムは、第２７の発明のプログラムにおける前記第１および第２の位置・方向より計測した３次元形状間の位置ずれを補正する処理において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める手順と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める手順と、前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における第２の位置・方向から計測された３次元座標位置とを対にして保持する手順と、前記３つの手順を繰り返して対応リストを生成する手順と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測された３次元形状を補正する手順とを持ち、前記第１および第２の位置・方向より計測したテクスチャデータ間の輝度・色ずれを補正する処理において、第１の位置・方向から撮影した画像列上のある画素における３次元座標点に着目し、該点が対応する第２の位置・方向から撮影した画像列上の画素位置を求める手順と、前記第１の位置・方向から撮影した画像列上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める手順と、前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する手順と、前記３つの手順を繰り返して対応リストを生成する手順と、得られた対応リストの間の差違が最も小さくなるように前記第２の位置・方向から計測されたテクスチャデータを補正する手順とを持つことを特徴とする。

第３１の発明のプログラムは、第２５ないし第３０の発明のプログラムのいずれかにおいて、２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする。

第３２の発明のプログラムは、第２５ないし第３１の発明のプログラムのいずれかにおいて、３つ以上の位置・方向より画像の撮影を行うことを特徴とする。

第３３の発明のプログラムは、第２５ないし第３２の発明のいずれかのプログラムにおいて、投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする。

第３４の発明のプログラムは、第３３の発明のプログラムにおいて、投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

第３５の発明のプログラムは、第２５ないし第３２の発明のいずれかのプログラムにおいて、投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする。

第３６の発明のプログラムは、第３５の発明のプログラムにおいて、投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする。

本発明により、複数方向から計測した３次元形状の間の差違，輝度・色情報のテクスチャ画像の間の差違，またはそれら双方を最小化し、上記複数データを違和感なく合成することを可能とする３次元形状計測方法，３次元形状計測装置，および該３次元形状計測をデータ処理装置で実行させるプログラムを実現することが可能となる。

以下、本発明の実施の形態について図面を参照して詳細に説明する。
［第１の実施の形態］図１は、本発明の第１の実施の形態に係る３次元形状計測装置３０１の構成を示すブロック図である。本実施の形態に係る３次元形状計測装置３０１は、光投射器Ａ２０１と、光投射器Ｂ２０２と、カメラＡ２０３と、カメラＢ２０４と、光投射器・カメラ制御手段２０５と、画像記憶手段Ａ−Ａ２０６と、画像記憶手段Ａ−Ｂ２０７と、画像記憶手段Ｂ−Ａ２０８と、画像記憶手段Ｂ−Ｂ２０９と、位相計算手段２１０と、位相記憶手段Ａ−Ａ２１１と、位相記憶手段Ａ−Ｂ２１２と、位相記憶手段Ｂ−Ａ２１３と、位相記憶手段Ｂ−Ｂ２１４と、絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５と、絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ２１６と、絶対位相値変換手段２１７と、３次元座標値変換手段２１８と、３次元座標値記憶手段Ａ−Ａ２１９と、３次元座標値記憶手段Ｂ−Ｂ２２０と、３次元座標値合成手段２２１と、光投射器Ａ／カメラＡ相対位置記憶手段２２３と、光投射器Ｂ／カメラＢ相対位置記憶手段２２４と、カメラＡ／Ｂ相対位置記憶手段２２５と、３次元形状補正手段３０２とを含んで構成されている。

３次元形状補正手段３０２は、対応画素算出手段２２６と、合致画素算出手段２２７と、合致座標記憶手段２２８と、補正量算出手段２２９と、３次元形状補正手段２３０とから構成されている。

３次元形状計測装置３０１は、光投射器Ａ２０１および光投射器Ｂ２０２と、カメラＡ２０３およびカメラＢ２０４とが、図９に示したような構成をなしており、光投射器Ａ２０１とカメラＡ２０３との対で計測された３次元形状と、光投射器Ｂ２０２とカメラＢ２０４との対で計測された３次元形状とを合成して出力するものであるとする。また、形状計測の原理は、特許文献１において述べられているものであるとする。

次に、このように構成された第１の実施の形態に係る３次元形状計測装置３０１の動作について説明する。

光投射器・カメラ制御手段２０５は、光投射器Ａ制御信号１，光投射器Ｂ制御信号２，カメラＡ制御信号３，カメラＢ制御信号４，カメラＡ出力制御信号７，カメラＢ出力制御信号８，位相計算制御信号１４，および３次元座標値制御信号２２をそれぞれ出力し、光投射器からの光パターン投射やカメラによる画像撮影、また位相計算や３次元形状計算を制御する。

光投射器Ａ２０１および光投射器Ｂ２０２は、それぞれ、光投射器Ａ制御信号１および光投射器Ｂ制御信号２を入力とし、空間的に正弦波状をなす光パターンを１／４周期ずつ位相をずらしながら投射する。

カメラＡ２０３およびカメラＢ２０４は、それぞれ、カメラＡ制御信号３およびカメラＢ制御信号４を入力とし、光投射器Ａ２０１や光投射器Ｂ２０２で投影された光パターンを撮影した画像を、カメラＡ出力信号５およびカメラＢ出力信号６として出力する。

画像記憶手段Ａ−Ａ２０６および画像記憶手段Ａ−Ｂ２０７は、それぞれ、カメラＡ出力信号５を入力とし、光投射器Ａ２０１で光パターンを投射したときに撮影された画像，および光投射器Ｂ２０２で光パターンを投射したときに撮影された画像を記録し、画像信号Ａ−Ａ９および画像信号Ａ−Ｂ１０として出力する。

画像記憶手段Ｂ−Ａ２０８および画像記憶手段Ｂ−Ｂ２０９は、それぞれ同様に、カメラＢ出力信号６を入力とし、光投射器Ａ２０１で光パターンを投射したときに撮影された画像，および光投射器Ｂ２０２で光パターンを投射したときに撮影された画像を記録し、画像信号Ｂ−Ａ１１および画像信号Ｂ−Ｂ１２として出力する。

位相計算手段２１０は、位相計算制御信号１４により切り替えられた画像信号Ａ−Ａ９，画像信号Ａ−Ｂ１０，画像信号Ｂ−Ａ１１，または画像信号Ｂ−Ｂ１２を入力とし、前記数５および数６に基づいて位相値を計算し、位相信号１３として出力する。

位相記憶手段Ａ−Ａ２１１，位相記憶手段Ａ−Ｂ２１２，位相記憶手段Ｂ−Ａ２１３，および位相記憶手段Ｂ−Ｂ２１４は、それぞれ、位相信号１３を入力とし、各カメラと光投射器とのそれぞれの組み合わせにより撮影された画像から得られた位相値を記録し、位相信号Ａ−Ａ１５，位相信号Ａ−Ｂ１６，位相信号Ｂ−Ａ１７，および位相信号Ｂ−Ｂ１８として随時出力する。

光投射器Ａ／カメラＡ相対位置記憶手段２２３および光投射器Ｂ／カメラＢ相対位置記憶手段２２４は、それぞれ、光投射器ＡとカメラＡとの間，および光投射器ＢとカメラＢとの間のそれぞれの組み合わせにより三角測量の原理に基づいて３次元座標値を出すための相対位置関係を記録しており、光投射器Ａ／カメラＡ相対位置・向き信号２７および光投射器Ｂ／カメラＢ相対位置・向き信号２８として出力する。

カメラＡ／Ｂ相対位置記憶手段２２５は、カメラＡ２０３およびカメラＢ２０４において一方のカメラにより計測された３次元座標位置がもう一方のカメラでどの方向に観測されるのかを得るための相対位置関係を記録しており、カメラＡ／Ｂ相対位置・向き信号２９として出力する。

絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５は、位相信号Ａ−Ａ１５，位相信号Ｂ−Ａ１７，光投射器Ａ／カメラＡ相対位置・向き信号２７，およびカメラＡ／Ｂ相対位置・向き信号２９を入力とし、光投射器Ａ２０１が投影し、カメラＡ２０１およびカメラＢ２０２により得られた位相値画像を元にして図１０に示した原理により、絶対位相値を決定し、光投射器Ａ２０１が投影しカメラＡ２０１により得られた絶対位相値と、決定できず残された相対位相値とを、絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９として出力する。

絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ２１６は、位相信号Ａ−Ｂ１６，位相信号Ｂ−Ｂ１８，光投射器Ｂ／カメラＢ相対位置・向き信号２８，およびカメラＡ／Ｂ相対位置・向き信号２９を入力とし、絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５と同様にして、光投射器Ｂ２０２が投影しカメラＢ２０２により得られた絶対位相値と、決定できず残された相対位相値とを、絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）２０として出力する。

絶対位相値変換手段２１７は、絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）１９と絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）２０とを切り替えて入力し、絶対位相が決定できず残された相対位相値について、すでに得られている絶対位相値を中心として全体が滑らかになるように絶対位相値を定めてゆき、絶対位相変換信号２１として出力する。

３次元座標値変換手段２１８は、絶対位相変換信号２１，およびカメラＡ／Ｂ相対位置・向き信号２９を入力するとともに、光投射器Ａ／カメラＡ相対位置・向き信号２７，または光投射器Ｂ／カメラＢ相対位置・向き信号２８のいずれか一方を切り替えて入力とし、絶対位相値から３次元座標値へと変換して、３次元座標信号２３として出力する。

３次元座標値記憶手段Ａ−Ａ２１９および３次元座標値記憶手段Ｂ−Ｂ２２０は、光投射器Ａ２０１とカメラＡ２０３との対，および光投射器Ｂ２０２とカメラＢ２０４との対でそれぞれ計測された３次元座標値を記憶し、３次元座標値信号Ａ−Ａ２４および３次元座標値信号Ｂ−Ｂ２５として出力する。

３次元形状補正手段３０２は、３次元座標値信号Ａ−Ａ２４，３次元座標値信号Ｂ−Ｂ２５，カメラＡ／Ｂ相対位置・向き信号２９，画像信号Ａ−Ａ９，および画像信号Ｂ−Ａ１１を入力とし、光投射器Ｂ２０２とカメラＢ２０４との対で計測された３次元形状を、光投射器Ａ２０１とカメラＡ２０３との対で計測された３次元形状にできるだけ合致するように補正して、３次元座標補正信号Ｂ−Ｂ３６として出力する。

３次元座標値合成手段２２１は、３次元座標値信号Ａ−Ａ２４，および３次元座標補正信号Ｂ−Ｂ３６を入力とし、２つの形状データを合成して合成３次元座標値信号２６として出力する。

ここで、３次元形状補正手段３０２についてさらに詳しく説明する。

対応画素算出手段２２６は、画像信号Ａ−Ａ９，カメラＡ／Ｂ相対位置・向き信号２９，および３次元座標値信号Ａ−Ａ２４を入力とし、カメラＡ２０３におけるある画素に着目してその画像信号Ａ−Ａ９における画素情報を着目画素信号３０として、また該着目画素における計測３次元座標値を着目３次元座標信号３１として、さらに該着目３次元座標値がカメラＢ２０２で撮影された画像上において対応する画素位置を算出し対応画素信号３２として、それぞれ出力する。

合致画素算出手段２２７は、着目画素信号３０，対応画素信号３２，画像信号Ｂ−Ａ１１，および３次元座標値信号Ｂ−Ｂ２５を入力とし、カメラＡ２０３で撮影された画像上において着目した画素の画像情報と、カメラＢ２０４の画像上における対応画素の回りを探索した画像情報とがより合致する画素位置を対応画素として求めた後、該対応画素においてカメラＢ２０４と光投射器Ｂ２０２との対で計測された３次元座標値を、合致３次元座標信号３３として出力する。

図２を用いて上記２つの手段の動作を説明する。カメラＡ２０３に対するもう１台のカメラの真の配置が、カメラＢ２０４の位置であるとする。これらに加えて、光投射器Ａ２０１および光投射器Ｂ２０２についても真の配置がわかっているとき、光投射器Ａ２０１とカメラＡ２０３との対により計測する点Ｐ１１２の３次元座標値と、光投射器Ｂ２０２とカメラＢ２０４との対により計測した３次元座標値とは一致する。しかし、光投射器Ａ２０１と光投射器Ｂ２０２との配置は誤差を伴ってしかわからないとすると、それぞれの３次元座標の計測値は一般に異なる。さらに、カメラＡ２０３とカメラＢ２０４との間の相互位置も正確に知ることは難しい。

対応画素算出手段２２６は、光投射器Ａ２０１とカメラＡ２０３との対により計測された点Ｐ１１２の３次元座標位置を、あらかじめ知り得たカメラＡ／Ｂの相対位置関係からカメラＢへと投射することにより、カメラＢ２０４により同一点Ｐ１１２を観測している画素を算出する。しかし、このとき、実際の位置はカメラＢ'２２２とずれているために、点Ｐ１１２、すなわち点Ｐ２１１４はカメラＢ'２２２からの視線方向Ｃ１２２上には存在しない。そこで、合致画素算出手段２２７は、画像Ｂ（光パターンＡ）１１７上の点Ｐ２１１４の回りの部分画像である探索小領域１２４において、画像Ａ（光パターンＡ）１１６上の点Ｐ１１２位置の画素情報とよりよく合致する画素を探索し、点Ｐ'２１２５を得る。

合致座標記憶手段２２８は、着目３次元座標信号３１，および合致３次元座標信号３３を入力とし、対応する３次元座標値を対として記録し、合致３次元座標リスト信号３４として随時出力する。すなわち、図２において、光投射器Ａ２０１とカメラＡ２０３との対で計測した点Ｐ１１２の３次元座標値と、光投射器Ｂ２０２とカメラＢ２０４との対で計測した対応する点Ｐ'２１２５の３次元座標値とをペアで記憶する。

補正量算出手段２２９は、合致３次元座標リスト信号３４を入力とし、ペアとなる３次元座標値ができるだけ一致するような補正量を算出し、座標補正信号３５として出力する。光投射器Ａ２０１とカメラＡ２０３との対で計測した３次元座標値のリストを次の数７とし、光投射器Ｂ２０２とカメラＢ２０４との対で計測した対応する３次元座標値のリストを続く数８とする。

ここで、ｔ(ｘｉｙｉｚｉ )とｔ(ｘ'ｉｙ'ｉｚ'ｉ )とはｉ番目の３次元座標値のペアであり、１≦ｉ≦ｎ（ｎはペアの数）であるとする。なお、ここでは、表記上の簡便さから、列ベクトルを転置した行ベクトルとして表している（前上に付されたｔが転置行列であることを示す）。

３次元空間中での補正として３行３列の回転行列Ｒと３行１列の平行移動ベクトルＴを考え、上記数７で定義されるコストＥ(Ｒ，Ｔ)が最小となるようにＲおよびＴを決定する。決定には、次の数９のように一般の最小二乗法の技法を利用することができる。

３次元形状補正手段２３０は、座標補正信号３５，および３次元座標値信号Ｂ−Ｂ２５を入力とし、得られた回転行列Ｒ，および平行移動ベクトルＴを用いて、光投射器Ｂ２０２とカメラＢ２０４との対にて計測された座標値群を変換し、３次元座標補正信号Ｂ−Ｂ３６として出力する。

補正量算出手段２２９では、３次元空間中において一般的なアフィン変換を示したが、３次元座標列を変換するものであれば何でもよい。例えば、ｔ(ｘｉｙｉｚｉ )に対し４つめの要素を付け足し、ｔ(ｘｉｙｉｚｉ１)とし、３行４列の変換行列Ｓにより次の数１０で定義されるコストＥ(Ｓ)が最小となるように、Ｓの各要素を決定することも可能である。

上記第１の実施の形態に係る３次元形状計測装置３０１においては、補正のための３次元座標値を一般的なカーテシアン座標系ｘｙｚにより示したが、極座標系など他の座標系を用いても、本発明を同様に構成することが可能である。

上記３次元形状補正手段３０２は、３次元形状を補正するものであるが、テクスチャデータをも撮影する３次元形状計測装置において、ほとんど同様な構成にてテクスチャデータがほとんど合致するような構成をとることが可能である。

［第２の実施の形態］図３は、本発明の第２の実施の形態に係る３次元形状計測装置３０３の構成を示すブロック図である。本実施の形態に係る３次元形状計測装置３０３は、光投射器Ａ２０１と、光投射器Ｂ２０２と、カメラＡ２０３と、カメラＢ２０４と、光投射器・カメラ制御手段２０５と、画像記憶手段Ａ−Ａ２０６と、画像記憶手段Ａ−Ｂ２０７と、画像記憶手段Ｂ−Ａ２０８と、画像記憶手段Ｂ−Ｂ２０９と、位相計算手段２１０と、位相記憶手段Ａ−Ａ２１１と、位相記憶手段Ａ−Ｂ２１２と、位相記憶手段Ｂ−Ａ２１３と、位相記憶手段Ｂ−Ｂ２１４と、絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５と、絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ２１６と、絶対位相値変換手段２１７と、３次元座標値変換手段２１８と、３次元座標値記憶手段Ａ−Ａ２１９と、３次元座標値記憶手段Ｂ−Ｂ２２０と、光投射器Ａ／カメラＡ相対位置記憶手段２２３と、光投射器Ｂ／カメラＢ相対位置記憶手段２２４と、カメラＡ／Ｂ相対位置記憶手段２２５と、３次元座標・テクスチャ画像合成手段２３７と、テクスチャ画像記憶手段Ａ２３８と、テクスチャ画像記憶手段Ｂ２３９と、テクスチャデータ補正手段３０４とを含んで構成されている。

テクスチャデータ補正手段３０４は、対応画素算出手段２３２と、合致画素算出手段２３３と、合致テクスチャ記憶手段２３４と、補正量算出手段２３５と、テクスチャ補正手段２３６とから構成されている。

３次元形状計測装置３０３は、光投射器Ａ２０１および光投射器Ｂ２０２と、カメラＡ２０３およびカメラＢ２０４とが、図９に示したような構成をなしており、光投射器Ａ２０１とカメラＡ２０３との対で計測された３次元形状と、光投射器Ｂ２０２とカメラＢ２０４との対で計測された３次元形状とを合成して出力するものであるとする。また、形状計測の原理は、特許文献１において述べられているものであるとする。本実施の形態に係る３次元形状計測装置３０３は、形状計測と同時に計測用の光パターンを投影しない物体のテクスチャ画像を撮影するものであるとする。

次に、このように構成された第２の実施の形態に係る３次元形状計測装置３０３の動作について説明する。

テクスチャ画像記憶手段Ａ２３８およびテクスチャ画像記憶手段Ｂ２３９は、それぞれ、カメラＡ出力信号５およびカメラＢ出力信号６を入力とし、テクスチャ画像を記憶し、テクスチャ信号Ａ４２およびテクスチャ信号Ｂ４３として随時出力する。

３次元座標値変換手段２１８は、絶対位相変換信号２１，およびカメラＡ／Ｂ相対位置・向き信号２９を入力するとともに、光投射器Ａ／カメラＡ相対位置・向き信号２７または光投射器Ｂ／カメラＢ相対位置・向き信号２８のいずれか一方を切り替えて入力とし、絶対位相値から３次元座標値へと変換して、３次元座標信号２３として出力する。

テクスチャデータ補正手段３０４は、３次元座標値信号Ａ−Ａ２４，３次元座標値信号Ｂ−Ｂ２５，カメラＡ／Ｂ相対位置・向き信号２９，画像信号Ａ−Ａ９，画像信号Ｂ−Ａ１１，テクスチャ信号Ａ４２，およびテクスチャ信号Ｂ４３を入力とし、カメラＢ２０４で撮影されたテクスチャデータを、カメラＡ２０３で撮影されたテクスチャデータにできるだけ合致するように補正して、テクスチャ画像補正信号Ｂ４１として出力する。

３次元座標・テクスチャ画像合成手段２３７は、３次元座標値信号Ａ−Ａ２４，３次元座標値信号Ｂ−Ｂ２５，テクスチャ信号Ａ４２，およびテクスチャ画像補正信号Ｂ４１を入力とし、２つの形状データとテクスチャデータとを合成して合成３次元座標・テクスチャ画像信号４４として出力する。

ここで、テクスチャデータ補正手段３０４についてさらに詳しく説明する。

対応画素算出手段２３２は、画像信号Ａ−Ａ９，カメラＡ／Ｂ相対位置・向き信号２９，３次元座標値信号Ａ−Ａ２４，およびテクスチャ信号Ａ４２を入力とし、カメラＡ２０１におけるある画素に着目してその画像信号Ａ−Ａ９における画素情報を着目画素信号３０として、また該着目画素におけるテクスチャデータを着目テクスチャ信号３７として、さらに該着目画素における３次元座標値がカメラＢ２０２で撮影された画像上において対応する画素位置を算出し対応画素信号３２として、それぞれ出力する。

合致画素算出手段２３３は、着目画素信号３０，対応画素信号３２，画像信号Ｂ−Ａ１１，およびテクスチャ信号Ｂ４３を入力とし、カメラＡ２０３で撮影された画像上において着目した画素の画像情報と、カメラＢ２０４の画像上における対応画素の回りを探索した画像情報とがより合致する画素位置を対応画素として求めた後、該対応画素においてカメラＢ２０４で撮影されたテクスチャデータを、合致テクスチャ信号３８として出力する。

合致テクスチャ記憶手段２３４は、着目テクスチャ信号３７，および合致テクスチャ信号３８を入力とし、対応するテクスチャデータを対として記録し、合致テクスチャリスト信号３９として随時出力する。

補正量算出手段２３５は、合致テクスチャリスト信号３９を入力とし、ペアとなるテクスチャデータができるだけ一致するような補正量を算出し、テクスチャ補正信号４０として出力する。カメラＡ２０３で計測したテクスチャデータのリストを次の数１１、カメラＢ２０４で撮影した対応するテクスチャデータのリストを続く数１２する。

ここで、ｔ(ｒｉｇｉｂｉ )とｔ(ｒ'ｉｇ'ｉｂ'ｉ )とは、ｉ番目のテクスチャデータのペアであり、１≦ｉ≦ｎ（ｎはペアの数）であるとする。テクスチャデータの補正として３行３列の回転行列Ｇを考え、次の数１３で定義されるコストＥ(Ｇ)が最小となるようにＧを決定する。

テクスチャ補正手段２３６は、テクスチャ補正信号４０，およびテクスチャ信号Ｂ４３を入力とし、得られた回転行列Ｇを用いて、カメラＢ２０４にて撮影されたテクスチャデータを変換し、テクスチャ画像補正信号Ｂ４１として出力する。

上記３次元形状計測装置３０３において、テクスチャ画像を撮影する際には光パターンを投射しないとしたが、質の高いテクスチャ画像を得るために別途フラッシュやランプ等を点灯することによっても、本発明を構成することが可能である。上記３次元形状計測装置３０３において、テクスチャデータはＲＧＢ表色系にて補正することを示したが、他のＹＵＶ他の表色系にて補正することによっても、本発明を同様に構成することが可能である。また、輝度だけで構成されるモノクロテクスチャデータであっても、本発明を同様に構成することが可能である。

また、上記第１の実施の形態と第２の実施の形態とを組み合わせることによって、３次元形状とテクスチャデータとの双方を同時に補正することによっても、本発明を構成することが可能である。

上記第１および第２の実施の形態において、絶対位相決定手段Ａ−Ａ／Ｂ−Ａ２１５および絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ２１６において対応点の決定をしていることから、対応画素算出手段２２６および対応画素算出手段２３２や合致画素算出手段２２７および合致画素算出手段２３３の処理を受け持たせる構成とすることでも、本発明を同様に構成することが可能である。

上記対応画素算出手段２２６および合致画素算出手段２２７，または対応画素算出手段２３２および合致画素算出手段２３３においては、光投射器Ａ２０１から投射された光パターンをカメラＡ２０３およびカメラＢ２０４でそれぞれ撮影した画像情報を用いて対応画素探索を行うと説明したが、光投射器Ｂ２０２から投射された光パターンを用いても、また両方を同時に用いても本発明を構成することが可能である。また、画像を直接用いるのではなく、画像パターンから計算した位相値を用いることでも、本発明を構成することができる。

上記各実施の形態においては、特許文献１に準じた３次元形状計測装置について示したが、第１の実施の形態における３次元形状補正手段３０２は、他の３次元形状計測装置についても同様に組み込んで、本発明を構成することが可能である。

また、上記各実施の形態では、光投射器を２つ、カメラを２つ備える３次元形状計測装置について述べてきたが、光投射器は１つ以上であればいくつであっても、またカメラは２つ以上であればいくつであっても、本発明を構成することが可能である。

［第３の実施の形態］図４は、本発明の第３の実施の形態に係る３次元形状計測装置３０１の構成を示すブロック図である。図４を参照すると、本発明の第３の実施の形態に係る３次元形状計測装置３０１は、図１に示した第１の実施の形態に係る３次元形状計測装置３０１に対して３次元形状計測プログラム３１１を備える点だけが異なっている。

３次元形状計測プログラム３１１は、データ処理装置に読み込まれ、該データ処理装置の動作を、第１の実施の形態に係る３次元形状計測装置３０１として制御する。３次元形状計測プログラム３１１の制御による３次元形状計測装置３０１の動作は、第１の実施の形態における３次元形状計測装置３０１の動作と全く同様になるので、その詳しい説明を割愛する。

［第４の実施の形態］図５は、本発明の第４の実施の形態に係る３次元形状計測装置３０３の構成を示すブロック図である。図５を参照すると、本発明の第４の実施の形態に係る３次元形状計測装置３０３は、図３に示した第２の実施の形態に係る３次元形状計測装置３０３に対して３次元形状計測プログラム３１３を備える点だけが異なっている。

３次元形状計測プログラム３１３は、データ処理装置に読み込まれ、該データ処理装置の動作を、第１の実施の形態に係る３次元形状計測装置３０３として制御する。３次元形状計測プログラム３１１の制御による３次元形状計測装置３０３の動作は、第２の実施の形態における３次元形状計測装置３０３の動作と全く同様になるので、その詳しい説明を割愛する。

本発明の第１の実施の形態に係る３次元形状計測装置の構成を示すブロック図である。２方向から観測した同一点の探索方法の説明図である。本発明の第２の実施の形態に係る３次元形状計測装置の構成を示すブロック図である。本発明の第３の実施の形態に係る３次元形状計測装置の構成を示すブロック図である。本発明の第４の実施の形態に係る３次元形状計測装置の構成を示すブロック図である。３次元形状計測装置の説明図である。計測物体へと投射された位相画像の説明図である。従来技術である３次元形状計測装置の説明図である。３次元形状計測装置の説明図である。従来技術である位相値の絶対値決定方法の説明図である。２方向から計測した形状の合成方法の説明図である。

符号の説明

１光投射器Ａ制御信号
２光投射器Ｂ制御信号
３カメラＡ制御信号
４カメラＢ制御信号
５カメラＡ出力信号
６カメラＢ出力信号
７カメラＡ出力制御信号
８カメラＢ出力制御信号
９画像信号Ａ−Ａ
１０画像信号Ａ−Ｂ
１１画像信号Ｂ−Ａ
１２画像信号Ｂ−Ｂ
１３位相信号
１４位相計算制御信号
１５位相信号Ａ−Ａ
１６位相信号Ａ−Ｂ
１７位相信号Ｂ−Ａ
１８位相信号Ｂ−Ｂ
１９絶対位相信号Ａ−Ａ（Ａ−Ａ／Ｂ−Ａ）
２０絶対位相信号Ｂ−Ｂ（Ａ−Ｂ／Ｂ−Ｂ）
２１絶対位相変換信号
２２３次元座標値制御信号
２３３次元座標信号
２４３次元座標値信号Ａ−Ａ
２５３次元座標値信号Ｂ−Ｂ
２６合成３次元座標値信号
２７光投射器Ａ／カメラＡ相対位置・向き信号
２８光投射器Ｂ／カメラＢ相対位置・向き信号
２９カメラＡ／Ｂ相対位置・向き信号
３０着目画素信号
３１着目３次元座標信号
３２対応画素信号
３３合致３次元座標信号
３４合致３次元座標リスト信号
３５座標補正信号
３６３次元座標補正信号Ｂ−Ｂ
３７着目テクスチャ信号
３８合致テクスチャ信号
３９合致テクスチャリスト信号
４０テクスチャ補正信号
４１テクスチャ画像補正信号
４２テクスチャ信号Ａ
４３テクスチャ信号Ｂ
４４合成３次元座標・テクスチャ画像信号
１００物体
１０１光源
１０２格子
１０３カメラ
１０４点Ｐ
１０５位相画像
１０６カメラＡ（光パターンＡ）計測の物体
１０７カメラＢ（光パターンＢ）計測の物体
１０８カメラＡ（光パターンＡ）計測の半物体
１０９カメラＢ（光パターンＢ）計測の半物体
１１０最終合成物体
１１１段差
１１２点Ｐ
１１３点Ｐ１
１１４点Ｐ２
１１５点Ｐ３
１１６画像Ａ（光パターンＡ）
１１７画像Ｂ（光パターンＡ）
１１８画像Ａ（光パターンＡ）上の物体
１１９画像Ｂ（光パターンＡ）上の物体
１２０視線方向Ａ
１２１視線方向Ｂ
１２２視線方向Ｃ
１２４探索小領域
１２５点Ｐ'２
２０１光投射器Ａ
２０２光投射器Ｂ
２０３カメラＡ
２０４カメラＢ
２０５光投射器・カメラ制御手段
２０６画像記憶手段Ａ−Ａ
２０７画像記憶手段Ａ−Ｂ
２０８画像記憶手段Ｂ−Ａ
２０９画像記憶手段Ｂ−Ｂ
２１０位相計算手段
２１１位相記憶手段Ａ−Ａ
２１２位相記憶手段Ａ−Ｂ
２１３位相記憶手段Ｂ−Ａ
２１４位相記憶手段Ｂ−Ｂ
２１５絶対位相決定手段Ａ−Ａ／Ｂ−Ａ
２１６絶対位相決定手段Ａ−Ｂ／Ｂ−Ｂ
２１７絶対位相値変換手段
２１８３次元座標値変換手段
２１９３次元座標値記憶手段Ａ−Ａ
２２０３次元座標値記憶手段Ｂ−Ｂ
２２１３次元座標値合成手段
２２２カメラＢ'
２２３光投射器Ａ／カメラＡ相対位置記憶手段
２２４光投射器Ｂ／カメラＢ相対位置記憶手段
２２５カメラＡ／Ｂ相対位置記憶手段
２２６対応画素算出手段
２２７合致画素算出手段
２２８合致座標記憶手段
２２９補正量算出手段
２３０３次元形状補正手段
２３２対応画素算出手段
２３３合致画素算出手段
２３４合致テクスチャ記憶手段
２３５補正量算出手段
２３６テクスチャ補正手段
２３７３次元座標・テクスチャ画像合成手段
２３８テクスチャ画像記憶手段Ａ
２３９テクスチャ画像記憶手段Ｂ
３０１，３０３３次元形状計測装置
３０２３次元形状補正手段
３０４テクスチャデータ補正手段
３１１，３１３３次元形状計測プログラム

Claims

光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する工程と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する工程と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する工程と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する工程とを含むことを特徴とする３次元形状計測方法。
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する工程と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する工程と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する工程と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する工程とを含むことを特徴とする３次元形状計測方法。
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する工程と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する工程と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する工程と、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する工程と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する工程と
前記光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する工程と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する工程と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する工程と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する工程と、
前記合成された３次元形状と前記合成されたテクスチャデータとを合成する工程とを含むことを特徴とする３次元形状計測方法。
前記第２の３次元形状を修正する工程において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める工程と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める工程と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する工程と、
前記３つの工程を繰り返して対応リストを生成する工程と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状を修正する工程とを含むことを特徴とする請求項１記載の３次元形状計測方法。
前記第２のテクスチャデータを修正する工程において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める工程と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める工程と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する工程と、
前記３つの工程を繰り返して対応リストを生成する工程と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する工程とを含むことを特徴とする請求項２記載の３次元形状計測方法。
前記第２の３次元形状の位置・方向を修正する工程において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める工程と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める工程と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する工程と、
前記３つの工程を繰り返して対応リストを生成する工程と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状の位置・方向を修正する工程とを含み、
前記第２のテクスチャデータを修正する工程において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める工程と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める工程と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する工程と、前記３つの工程を繰り返して対応リストを生成する工程と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する工程とを含むことを特徴とする請求項３記載の３次元形状計測方法。
２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする請求項１ないし請求項６のいずれかに記載の３次元形状計測方法。
３つ以上の位置・方向より画像の撮影を行うことを特徴とする請求項１ないし請求項７のいずれかに記載の３次元形状計測方法。
投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする請求項１ないし請求項８のいずれかに記載の３次元形状計測方法。
投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項９記載の３次元形状計測方法。
投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする請求項１ないし請求項８のいずれかに記載の３次元形状計測方法。
投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項１１記載の３次元形状計測方法。
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する手段と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する手段と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する手段と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する手段とを含むことを特徴とする３次元形状計測装置。
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する手段と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する手段と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する手段と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する手段とを含むことを特徴とする３次元形状計測装置。
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する手段と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する手段と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する手段と、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する手段と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する手段と
前記光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する手段と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する手段と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する手段と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する手段と、
前記合成された３次元形状と前記合成されたテクスチャデータとを合成する手段とを含むことを特徴とする３次元形状計測装置。
前記第２の３次元形状を修正する手段において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める手段と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める手段と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する手段と、
前記３つの手段に基づいて対応リストを生成する手段と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状を修正する手段とを含むことを特徴とする請求項１３記載の３次元形状計測装置。
前記第２のテクスチャデータを修正する手段において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める手段と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める手段と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する手段と、
前記３つの手段に基づいて対応リストを生成する手段と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する手段とを含むことを特徴とする請求項１４記載の３次元形状計測装置。
前記第２の３次元形状の位置・方向を修正する手段において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める手段と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める手段と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する手段と、
前記３つの手段に基づいて対応リストを生成する手段と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状の位置・方向を修正する手段とを含み、
前記第２のテクスチャデータを修正する手段において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める手段と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める手段と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する手段と、
前記３つの手段に基づいて対応リストを生成する手段と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する手段とを含むことを特徴とする請求項１５記載の３次元形状計測方法。
２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする請求項１３ないし請求項１８のいずれかに記載の３次元形状計測装置。
３つ以上の位置・方向より画像の撮影を行うことを特徴とする請求項１３ないし請求項１９のいずれかに記載の３次元形状計測装置。
投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする請求項１３ないし請求項２０のいずれかに記載の３次元形状計測装置。
投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項２１記載の３次元形状計測装置。
投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする請求項１３ないし請求項２０のいずれかに記載の３次元形状計測装置。
投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項２３記載の３次元形状計測装置。
コンピュータに、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する処理と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する処理と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する処理と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する処理とを実行させるためのプログラム。
コンピュータに、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する処理と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する処理と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する処理と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する処理とを実行させるためのプログラム。
コンピュータに、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１の３次元形状を計測する処理と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２の３次元形状を計測する処理と、
前記光パターン上の点の前記第１の３次元形状上における位置と前記第２の３次元形状上のおける位置とのずれを小さくするように前記第２の３次元形状を修正する処理と、
光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する処理と、
前記第１の３次元形状と前記修正された第２の３次元形状とを合成する処理と、
前記光パターンが投影された計測物体を第１の位置・方向より撮影した画像に基づいて第１のテクスチャデータを計測する処理と、
前記計測物体を第２の位置・方向より撮影した画像に基づいて第２のテクスチャデータを計測する処理と、
前記光パターン上の点の前記第１のテクスチャデータ上における位置と前記第２のテクスチャデータ上のおける位置とのずれを小さくするように前記第２のテクスチャデータを修正する処理と、
前記第１のテクスチャデータと前記修正された第２のテクスチャデータとを合成する処理と
前記合成された３次元形状と前記合成されたテクスチャデータとを合成する処理とを実行させるためのプログラム。
前記第２の３次元形状を修正する処理において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める処理と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める処理と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する処理と、
前記３つの処理を繰り返して対応リストを生成する処理と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状を修正する処理とを含むことを特徴とする請求項２５記載のプログラム。
前記第２のテクスチャデータを修正する処理において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める処理と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める処理と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する処理と、
前記３つの処理を繰り返して対応リストを生成する処理と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する処理とを含むことを特徴とする請求項２６記載のプログラム。
前記第２の３次元形状の位置・方向を修正する処理において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める処理と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較して最も合致する画素位置を求める処理と、
前記第１の位置・方向から計測された着目３次元座標位置と前記合致する画素位置における前記第２の位置・方向から計測された３次元座標位置とを対にして保持する処理と、
前記３つの処理を繰り返して対応リストを生成する処理と、
得られた対応リストの間の差違が最も小さくなるように前記第２の３次元形状の位置・方向を修正する処理とを含み、
前記第２のテクスチャデータを修正する処理において、
前記第１の位置・方向から撮影した画像上のある画素における３次元座標点に着目し、該点が対応する前記第２の位置・方向から撮影した画像上の画素位置を求める処理と、
前記第１の位置・方向から撮影した画像上の着目画素の光パターンと前記第２の位置・方向から撮影した画素位置を基準とした部分画像上における光パターンとを随時比較し、最も合致する画素位置を求める処理と、
前記第１の位置・方向から撮影された着目画素のテクスチャデータと前記合致する画素位置における前記第２の位置・方向から撮影された着目画素のテクスチャデータとを対にして保持する処理と、
前記３つの処理を繰り返して対応リストを生成する処理と、
得られた対応リストの間の差違が最も小さくなるように前記第２のテクスチャデータを修正する処理とを含むことを特徴とする請求項２７記載のプログラム。
２つ以上の位置よりそれぞれ光パターンを投影することを特徴とする請求項２５ないし請求項３０のいずれかに記載のプログラム。
３つ以上の位置・方向より画像の撮影を行うことを特徴とする請求項２５ないし請求項３１のいずれかに記載のプログラム。
投影する光パターンの空間的な強度分布が正弦波状をなしていることを特徴とする請求項２５ないし請求項３２のいずれかに記載のプログラム。
投影する正弦波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項３３記載のプログラム。
投影する光パターンの空間的な強度分布が三角波状をなしていることを特徴とする請求項２５ないし請求項３２のいずれかに記載のプログラム。
投影する三角波状の光パターンの位相をシフトしながら複数回撮影した後に画素毎に位相値を求めた画像を対応点の決定に用いることを特徴とする請求項３５記載のプログラム。