JP2004110804A - ３次元画像撮影装置及び方法 - Google Patents

Abstract

　【課題】　パターン投影装置とモニタ用の撮像装置との間の介在物に起因する明度の差，汚れ，埃などによる写り込みなどの問題を解消する。
　【解決手段】　パターン投影装置１０，１１をストライプパターン方向にいわゆるスタック方式で二台重ねるように配置し，同じパターンを投影する。撮像装置（カメラ１）１２をパターン投影装置１０，１１の間に配置する。パターン投影装置１０，１１，撮像装置１２の光軸はストライプパターン方向に平行な同一平面に揃えられる。また，その面において主点も同一となる。ストライプパターンは，ハーフミラー等を介在させることなく直接に撮像装置１２に撮像され，再符号化される。再符号化されたストライプパターンは撮像装置１３に撮像され復号され画像の対応点に基づいて三角測量により物体の距離が測定される。
【選択図】　図２

Description

　本発明は，測定対象に対してパターン光を照射することによって得られるパターン投影像を，一つないしは複数の撮像手段で異なる方向から撮像し，パターンの変化に基づいて距離を得る三角測量法に基づく３次元画像撮像技術に関する。

　３次元形状を取得する手法には，アクティブ法（Ａｃｔｉｖｅ　Ｖｉｓｉｏｎ）とパッシブ手法（Ｐａｓｓｉｖｅ　Ｖｉｓｉｏｎ）がある。アクティブ手法には，（１）レーザ光や超音波などを発して，対象物からの反射光量や到達時間を計測し，奥行き情報を抽出する手法や，（２）ストライプ光などの特殊なパターン光源を用いて，対象表面パターンの幾何学的変形などの画像情報より対象形状を推定するパターン投影法や，（３）光学的処理によってモアレ縞により等高線を形成させて，３次元情報を得る方法などがある。一方，パッシブ手法には，対象物の見え方，光源，照明，影情報などに関する知識を利用して，一枚の画像から３次元情報を推定する単眼立体視，三角測量原理で各画素の奥行き情報を推定する二眼立体視などがある。

　一般的にアクティブ手法のほうが計測精度は高いが，投光手段の限界などにより，測定できるレンジが小さい場合が多い。一方，パッシブ手法は汎用的であり，対象に対する制約が少ない。本発明は，このアクティブ手法の３次元計測装置であるパターン投影法に関するものである。

　パターン投影法では，対象物とする物体に基準となるパターン光を投影し，基準となるパターン光が投影された方向とは異なる方向から撮影を行う。撮影されたパターンは，物体の形状によって変形を受けたものとなる。観測された変形パターンと投影したパターンとの対応付けを行うことで，物体の３次元計測を行える。パターン投影法では，変形パターンと投影したパターンの対応付けにおいていかに誤対応を少なくし，かつ簡便に行うかが課題となる。そこで，様々なパターン投影の手法（空間パターンコード化法，モアレ，色符号化）が提案されている。

　代表的な空間コード化の一例として特許文献１に開示されている提案について説明する。この例では，レーザ光源とレーザ光をスリット形に整形するレンズ系と整形されたレーザ光を対象物に走査して照射するスキャニング装置と対象物からの反射光を検出するカメラとこれらを制御する装置からなる。

　スキャニング装置から走査されるレーザ光によって対象物上に，レーザ光が照射をされた部分と照射されていない部分とで縞模様が形成される。レーザ光の照射に異なるパターンによって行うことで対象物上はＮ個の識別可能な部分に分割される。対象物を異なる位置からカメラで撮影した画像上の各画素が分割されたどの部分に含まれるかを判別することで対象物の形状を算出できる。

　本例では，解像度を高くするためには複数回のレーザによるスキャンを行い，複数回のカメラによる撮影が必要となる。例えば，画面を２５６の領域に分割するためには８回の撮影が必要となる。そのため動きの早い物体の撮影は困難となり，更にスキャンを行う間は撮影系を確実に固定しておく必要があるので装置自体は簡便となっても手軽に撮影を行うことは難しい。

　パターンの投光回数を減らす手段として，特許文献２に開示されている色符号化法がある。色符号化においては，ｑ，ｋを２以上の所定の自然数としたとき，ｑ色以上の色を用いて隣接する２本のストライプ光が同色にならず，隣接するｋ本のストライプ光による色の並びが一度しか現れないように符号化されたパターンを統制し，観測された画像からストライプの色を検出し，該当のストライプの色並びからストライプ番号を取得する。ストライプ番号から，ストライプの照射方向を算出し空間コード化の例と同様に距離を算出することが出来る。

　しかしながら，色符号化では，コード列の並びからコードを復元するために，コードの復元の計算量が大きいという問題点がある。更に，Ｒ，Ｇ，Ｂの３色を用いて２５６の領域に分割する場合には，コードを知りたいストライプの周囲８本のストライプ光の並びを知る必要があり，連続してストライプが長く観測できるような形状の計測にしか適さない。

　ストライプの復元を容易に行い，更に１回でコード化されたパターンを投影する手段として特許文献３で公開されている空間パターンコード化法がある。この特許では，３値以上の濃淡，又は３色以上の色，又は濃淡と色の組み合わせによって３種類以上の階調領域を有し，該階調領域の境界線の交点において少なくとも３種類の階調領域が互いに接しているように配置した多値格子板パターンを具備し，該パターンを被測定対象物に投影して生じる投影像の交点に該交点で接する階調の種類と順序に応じた主コードとを組み合わせた組み合わせコードを，交点の識別用の特徴コードとして付与したことを特徴とする。

　しかし，上述の方式では測定対象によってはコード化が崩れてしまい正しくコードの対応付けが出来なくなる場合がある。投光されたパターン列が撮影対象の構造によってはカメラで撮影されるパターン列が，欠落して認識されたり，反転したパターン列が得られることもある。また，対象物の形状や反射率などによっても投光したパターンと撮影されたパターン列の変化により対応付けは困難となる。

　色符号化においては，復号化時にストライプのグループ化を行う際，ストライプの欠落，反転の可能性があるパターンについては復号を行わない手法を用いてこの問題を回避している。空間パターンコード化法では２次元パターンを用いることで，前述の誤りの可能性を低減してはいるが，原理的には対象物によっては同じ誤りが生じる。従って，前述の方式では，実験室内の特殊な状況や対象物体を限定した状況での撮影では優れた精度が得られるものの，対象を限定しない一般的な撮影状況では精度の劣化は否めない。

　そこで，本出願人は，投光されたパターンをフィードバックし新たなコードを生成することで対象物に依存しない３次元画像撮影装置を提案した（特許文献４，特許文献５）。以下，この提案を説明する。

　図２０は，特許文献５の３次元画像撮像装置の全体構成を示し，図２１は，その光源と撮像素子の位置関係を示す。

　図２１に示す構成では，３次元形状測定装置は，３台のカメラ１０１〜１０３及び投光器１０４を備える。各カメラの距離関係が揃うように，図示の距離Ｉ１，Ｉ２，Ｉ３は等しくされている。第１のカメラ１０１と投光器１０４は，ビームスプリッタとしてのハーフミラー１０５を用いて光軸が一致するように配置される。第２のカメラ１０２，第３のカメラ１０３は，第１のカメラ１０１と投光器１０４の両側に，それらと光軸が異なるように配置される。中央の光軸と両側の光軸との距離が基線長Ｌである。

　投光器１０４は，光源１０６と，マスクパターン１０７と，強度パターン１０８と，プリズム１０９とを有する。ここで光源１０６は，赤外もしくは紫外光を用いた不可視領域の光源を用いることができる。この場合，各カメラは図２２に示すように構成される。すなわち，入射してきた光３１０は，プリズム３０１で２方向に分割され，一方は不可視領域（赤外あるいは紫外）透過フィルター３０２を通って撮像装置（例えばＣＣＤカメラ）３０３に入射し，他方は不可視領域（赤外と紫外）遮断フィルター３０４を通って撮像装置３０５に入射する。

　また図２１に示す光源１０６は，可視領域あるいは不可視領域に限定せず，撮像可能な波長帯の光源を用いてもよい。この場合，第１のカメラ１０１においては，プログレッシブスキャンタイプのＣＣＤカメラを用い，第２のカメラ１０２，第３のカメラ１０３に関しては，特に構成はこだわらない。ただし，第１のカメラ１０１との対応を考慮すれば，同じ構成のＣＣＤカメラが望ましい。光源１０６からパターンが投影され，３台のカメラ（１０１〜１０３）が同時に撮影を行う。そして各カメラは，フィルター３０２，３０４（図２２参照）を通過した光を撮像装置３０３，３０５で得ることにより，画像の一括取得を行う。

　図２０を用いて３次元形状測定装置の構成を説明する。図示のように，第２のカメラ１０２は，撮影して得た輝度情報を輝度値メモリ１２１に記憶し，撮影パターンをパターン画像メモリ１２２に記憶する。第３のカメラ１０３は，同様に，輝度情報を輝度値メモリ１２３に記憶し，撮影パターンをパターン画像メモリ１２４に記憶する。第１のカメラ１０１は，輝度情報を輝度値メモリ１２５に記憶し，撮影パターンをパターン画像メモリ１２６に記憶する。投光器１０４は，事前に作成したコード化されたパターンを後に参照する為に，各スリットを正方格子上のセルに分割してフレームメモリ１２７に格納している。

　この記憶保持された撮影パターン及び輝度情報を用いて，次のようにして３次元画像を得る。以下の操作は，第２のカメラ１０２と第１のカメラ１０１の組み合わせ，第３のカメラ１０３と第１のカメラ１０１の組み合わせの双方に共通なので，ここでは第２のカメラ１０２と第１のカメラ１０１の組み合わせを例にとって説明する。

　図２０において，領域分割部１２８は，第１のカメラ１０１で撮影された撮影パターンの領域分割を行う。そして，隣り合うスリットパターン間の強度差が閾値以下である領域については投光器からの光が届いてない領域１として抽出し，スリットパターン間の強度差が閾値以上である領域については領域２として抽出する。再コード化部１２９は，抽出された領域２について，パターン画像メモリ１２６に記憶された撮影パターンとフレームメモリ１２７に格納された投影パターンを用いて再コード化を行う。

　図２３は，再コード化を行う際のフローチャートである。まず，各スリットパターンをスリット幅毎に縦方向に分割し（ステップＳ１１），正方形のセルを生成する。生成された各セルについて強度の平均値をとり，平均値を各セルの強度とする（ステップＳ１２）。画像の中心から順に，投影パターン及び撮影パターンの対応する各セル間の強度を比較し，対象物の反射率，対象物までの距離などの要因によってパターンが変化したためにセル間の強度が閾値以上異なるかどうかを判断する（ステップＳ１３）。閾値以上異ならない場合は，撮影されたすべてのセルについて再コード化を終了する（ステップＳ１７）。

　閾値以上異なる場合は，新たな強度のセルかどうか判断する（ステップＳ１４）。そして，新たな強度のセルのときは，新たなコードの生成，割り付けを行う（ステップＳ１５）。また，新たな強度のセルでないときは，他の部位のスリットパターンの並びを用いてコード化する（ステップＳ１６）。これで，再コード化を終了する（ステップＳ１７）。

　図２４はスリットパターンのコード化の例を示すもので，同図（ａ）はスリットの並びによってコード化された投影パターンであり，強度としてそれぞれ３（強），２（中），１（弱）が割り当てられている。同図（ｂ）においては，左から３つめのセルで強度が変化して新たなコードが出現したので，新たに０というコードを割り当てている。同図（ｃ）においては，左から３つめ上から２つめのセルに既存のコードが出現しているので，セルの並びから新たなコードとして，縦の並びを［２３２］，横の並びを［１３１］という具合に再コード化する。この再コード化は，対象の形状が変化に富む部位には２次元パターンなどの複雑なパターンを投光し，変化の少ない部位には簡単なパターンを投光しているのに等しい。この過程を繰り返し，全てのセルに対して一意なコードを割り付けることで再コード化を行う。

　図２５は，カメラ６０１〜６０３及び投光器６０４を用いて，壁６０５の前に配置された板６０６にコード化されたパターンを投光する例を示す。ここでコード化されたパターンは，図２６に示すスリットパターンである。このとき，カメラ６０１，カメラ６０２で得られる画像は，図２７及び図２８に示すように，それぞれ板６０６の影となる領域８０１，９０１が生ずる。本例では，板６０６の表面には新たにコード化されたパターンとして，図２９に示すようなスリットパターンが得られる。

　次に図２０に戻って説明する。第２のカメラ１０２側のコード復号部１３０は，パターン画像メモリ１２２から投影パターンを抽出し，上述と同様にしてセルに分割する。そして，先に再コード化部１２９で再コード化されたコードを用いて各セルのコードを検出し，この検出したコードに基づいて光源からのスリット角θを算出する。図３０は空間コード化における距離の算出方法を示す図であり，各画素の属するセルのスリット角θと第２のカメラで撮影された画像上のｘ座標とカメラパラメータである焦点距離Ｆと基線長Ｌとから，次の式（１）によって距離Ｚを算出する。

　Ｚ＝（Ｆ×Ｌ）／（ｘ＋Ｆ×ｔａｎθ）　…（１）

　この距離Ｚの算出は，第３のカメラ１０３側のコード復号部１３１においても，同様に行われる。

　また，上述の領域１については次のようにして距離を算出する。領域１では，投光されたパターンによるパターン検出は行うことができないので，対応点探索部１３２において，カメラ１〜３の輝度値メモリ１２１，１２３，１２５から読み出された輝度情報を用いて視差を検出し，これに基づいて距離を算出する。領域１を除く領域に対しては，前述の操作により距離が算出されているので，領域１の距離の最小値が得られ，また対応づけ可能な画素も限定される。これらの制限を用いて，画素間の対応づけを行い視差ｄを検出し，カメラパラメータである画素サイズλを用いて，次の式（２）によって距離Ｚを算出する。

　Ｚ＝（Ｌ×Ｆ）／（λ×ｄ）…（２）

　前述の手法で第１のカメラ１０１と第３のカメラ１０３の組み合わせによって得られた距離情報では，図２７に示す板の影となる領域８０１の距離情報が検出できない。一方，第１のカメラ１０１と第２のカメラ１０２の組み合わせによって得られた距離情報では，図２８に示す板の影となる領域９０１の距離情報が検出できない。すなわち，これらの影領域は，板に遮られて光が届かない領域であり，本方式では計測できない。従って影以外の領域について，距離情報を求める。すなわち，図２０の距離情報統合部１３３において，第１のカメラ１０１と第２のカメラ１０２の組で算出された距離情報及び第１のカメラ１０１と第３のカメラ１０３で算出された距離情報から，第１のカメラ１０１の画像（図３１）のすべての画素，すなわち影以外の画素に対する距離情報を取得する。以上の操作によって得られた距離情報を，例えば第１のカメラ１０１の輝度画像に対応づけて３次元画像メモリに記憶することで３次元画像撮像を行う。なお，オクルージョン等の問題がなければ，第２のカメラ１０２，第３のカメラ１０３の一方のみを用いても良い。

　以上が従来技術（特許文献５）に示された内容である。
特開平５−３３２７３７５号公報 特開平３−１９２４７４号公報 特許第２５６５８８５号 特開２０００−９４４２公報 特開２０００−６５５４２公報

　上記の特許文献４や，特許文献５における３次元画像撮影装置は，投光パターンを複数の強度や複数の波長によって符号化されたものを投影して実現する。その際に，投光パターンが被写体の輝度情報，素材などの影響によって変化し，３次元形状を算出する際に，エラーとなって適切な３次元形状が計測できない。そのために，上記３次元撮像装置は，投光素子と同主点にモニタ用の撮像素子を配置し，被写体情報による投光パターンの変化分をモニタし，再符号化を実施し，３次元形状を計測している。

　しかしながら，上記構成において，投光素子及び撮像素子を同主点にすることが再符号化をするための必須条件であるが，それを実現するために，ハーフミラーのようなビームスプリッタを用いて，投光素子，撮像素子の主点を一致させている。

　ハーフミラーなどを使用し，主点を合わせ込んだ場合，投光素子から投影される投影光はハーフミラーを通して減衰される。また，被写体に投光されたパターンは，ハーフミラーを通して明るさを減衰されて撮像素子に入力される。仮に，ハーフミラーが理想的に，４５度の角度で５０：５０で振り分けられると仮定した場合，投光素子を直接被写体に投光し，撮像素子で観測した時と比較すると２５％減衰して観測される。また，上述の従来の３次元画像撮影装置では，図２１にも示されるように，再符号を目的とした撮像素子と，形状計測用の撮像素子との間には，ハーフミラーが介在し，このハーフミラーの影響により形状計測用の撮像素子で観測される被写体と再符号を目的とした撮像素子で観測される被写体では，原理的には倍の明るさの差が発生する。

　更に，投光素子による投光パターンには，スプリットされる前後での光路差やハーフミラーの塗布材料の膜厚むらなどに起因して，パターンムラも発生する。又、ハーフミラーの汚れ，埃などによる写り込みが同軸画像に発生する。

　そのため，投光パターンが被写体情報によって変化させられた情報を，モニタ用の撮像素子において再符号を実施した場合に，形状算出用撮像素子で観測する画像とは厳密に同じ条件の画像でないために，形状計測の精度低下の原因になっている。

　更に，撮像素子のダイナミックレンジに関しても，モニタ用と計測用の撮像素子の間では，同じ特性の素子を使ったとしても，同条件で駆動することは難しく，再符号化による計測の精度を低下させる。

　本発明によれば，上記目的を解決するために，コード化されたパターンを投影する投光器と，モニタ用の撮像素子との組み合わせを，ビームスプリッタないしはハーフミラーを使わずに構成するようにしている。

　上記投光器と，撮像素子の組み合わせを投光系と呼ぶことにする。コード化されたパターンは，投光系と形状計測用撮像素子とのエピポーラ線に理想的に直交するストライプパターンを投影する。特許文献４や，特許文献５における３次元画像撮影装置は，投光系の投光器と撮像素子の主点を合わせる事によって，再コード化を実施している。再コード化を実施するためには，ストライプと直交する方向に対して光学的一致が必要である。すなわち，投光系の投光器の主点と投光系の撮像素子の主点とが，ストライプと直交する方向では一致している必要がある。

　本発明では，上記点に注目し，投光素子の投影するストライプパターンのストライプと同じ方向に，好ましくは，二つ以上複数の投光器を重ね合わせ同じパターンを投影する。この際，被写体によってストライプ像がずれる事がないように投光器を配置する。そして，投光器の間で，ストライプ方向と直交する方向に対する主点位置を合わせ，再符号化用撮像素子を配置する。以上の投光系の構成によって，再符号化用撮像素子と投光器の主点合わせに，ハーフミラーやビームスプリッタなどの光学装置を介在させる必要がなく主点を合わせる事が可能になったので，ハーフミラーやビームスプリッタを配置する事により影響される画像の劣化などの影響のない３次元画像撮影装置が得られる。

　上記複数の投光器のストライプ像をストライプのエッジを一致させるために，重ね合わせた投光器の各々の光学系をレンズシフトさせて，所定の被写体距離において像が重なる様にする。

　投光系の投光器と撮像素子とは，ストライプ方向と直行する方向に主点があっていればよいので，投光器を１つだけにしてもよい。

　上記投光器が１つだけの場合においては，所定の被写体距離において投影するストライプ画像と撮影する画角が重なる様に投光器あるいは第１のカメラ，もしくはその両方の光学系をレンズシフトさせる様にする。

　あるいは上記投光器の投影レンズと第１のカメラの撮像レンズを直近に配列し，近似的に同軸になるように構成してもよい。

　さらに本発明を説明する。

　本発明の一側面によれば，上述の目的を達成するために，３次元画像撮影装置に：符号化されたストライプパターンを投影する投光器と；上記投光器によって投光されるストライプパターンを撮影する第１のカメラであって，その主点と上記投光器の主点とが上記ストライプパターンの長さ方向に沿うように配置された第１のカメラと；上記投光器によって投光されるストライプパターンを撮影する第２のカメラであって，その主点と上記第１のカメラの主点とが上記ストライプパターンの長さ方向と直角な方向に離間されるように配置される第２のカメラとを設け；上記投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの変化量が所定値以上の領域を判別し，その領域に新たな符号を割り当て，上記新たな符号を割り当てた後に上記投光器により投光された再符号化ストライプパターンを上記第２のカメラで撮影し，上記第２のカメラにより撮影した上記再符号化ストライプパターンの画像に基づいて上記ストライプパターンの投影される３次元物体の距離情報を生成するようにしている。

　第２のカメラの主点と第１のカメラの主点とはストライプパターンの長さ方向と直角な方向に沿う同一直線上に配置されることが好ましいが，ストライプパターンの長さ方向と直角以外の所定の角度をなす同一直線上に配置されていてもよい。

　この構成においては，上述したように投光系の投光器と投光系の撮像素子（第１のカメラ）の間にハーフミラーやビームスプリッターを配置させる必要がないので画像の劣化を回避できる。なお，ストライプパターンを再符号化せずに，第１のカメラ及び第２のカメラの撮像画像から距離画像を三角測量により計算するようにしても良い。

　本発明の上述の側面及び本発明の他の側面は特許請求の範囲に記載され，以下，実施例を用いて詳細に説明される。

　本発明によれば，従来の計測装置で使用していたハーフミラ，ビームスプリッタが不必要になり，撮像装置の間の介在物に起因する明度の差，汚れ，埃などによる写り込みなどの問題が原理的に発生しないので，より精度の高い計測が可能となる。

　以下，本発明の実施例について詳細に説明する。

　図１は本発明の実施例の３次元画像撮影装置を上面から見た図であり，図２はその３次元画像撮影装置を斜め上から見た図である。この実施例では，パターン投影装置（投光器。プロジェクタとも呼ぶ）を２台用いている。パターン投影装置は例えばスクリーンに画像を投影する市販のプロジェクタを用いることができる。

　なお，この実施例において，符号化ストライプパターンの生成，符号化ストライプパターンのモニタ，モニタに基づく再符号化，三角測量等は，図２０〜図３１を用いて説明した上述従来技術と同様であり，これらの点について説明は繰り返さない。

　図１及び図２において，３次元画像撮影装置は，２台のパターン投影装置（プロジェクタ）１０，１１，プロジェクタ１０，１１に対して同一光軸でパターンモニタする撮像装置（カメラ１）１２，三角測量用の撮像装置（カメラ２）１３等により構成される。ここで，同一光軸とは，パターンのストライプに沿う同一の平面内にパターン投影装置１０，１１，モニタ用の撮像装置１２の光軸が配置されることを意味する。

　基本的には，上述の従来例と同様にパターン投影装置１０，１１によって投影されたストライプパターンを同主点の撮像装置（カメラ１）１２から観測し再符号化を実施し，測定用撮像装置（カメラ２）１３で観測された画像を利用して距離画像を算出する。再符号化を実施する事によって，エラーのない精度の高い計測が可能になる。投影装置は，プロジェクタもしくはレーザストライプ投影系を用いる。もちろん，これらに限定されない。

　この実施例においては，図２に明確に示されるように，パターン投影装置１０，１１をストライプパターン方向に二台重ねて，同じパターンを投影し，撮像装置（カメラ１）１２をパターン投影装置１０，１１の間に配置し，この結果，図３に示すように，ストライプ画像の広がり方向に対するレンズの主点を合わせて再符号化を実施するようにしている。

　具体的に解説する。図４に側面から見た図を示す。上下に配置されるものがパターン投影装置１０，１１であり，中間にあるのが撮像装置（カメラ１）１２である。パターン投影装置１０，１１は，一般的にプロジェクタのスタック方式と呼ばれる配置で，スクリーン（０の位置）上で，上下の投影装置が同じパターンを投影し，歪みやずれのない画像を投影している。上下投影装置の投影画像が重なる様にするために，投射レンズシフトを各々用いている。ストライプパターンとして，図５のようなパターンを投影し，上下に重ねて同じストライプパターンを投影している。また，仮にスクリーンが前後にずれた場合を考える。（＋）方向すなわち前面にずれた場合，上下投影装置の画像はずれを生じる。図６に示すように，上下のプロジェクタの光路が重なっているところは，図５と同様なパターンになるが，上下光路が重なっていないところは，明るさが一台の投影装置分となるために，図６のような画像が（＋）の位置では投影される。（−）方向すなわち後面にずれた場合も同様で図７のような画像になる。再符号化の場合は，被写体などの情報によって，ストライプパターンが変化する事によるご認識をなくすことを目的にしており，図６，図７の様にストライプ形状が維持されていて，かつ，ストライプ方向の濃度分布が変化することは，再符号化を実施している限り問題がない。

　具体的な被写体を元に解説する。図８の本発明の３次元形状計測装置の前面に，二つの平板を並べた計測を実施する概略図を示す。図９に側面図を示す。この構成から観測される撮像装置（カメラ１）１２の画像は図１０に示すようになる。すなわち，手前の平板の影になる部分には，投影装置のどちらか一つの投光パターンのみが投影される。図１１及び図１３に示すようにパターン投影装置１０，１１が仮に一台である構成を仮定すれば，図１２及び図１４に示すとおり，手前の平板の影が後ろの平板に映りストライプパターンが存在しないエリアが発生する。図１０に示すように，物体の影によって投影装置のどちらか一台が投影出来なくても，撮像装置（カメラ１）１２で観測される画像においては，どちらか一台の投影装置のストライプパターンは撮像され，再符号化も実施することが可能になる。

　以上の構成で，撮像装置（カメラ１）１２で再符号化し，撮像装置（カメラ２）１３で確認された画像を用いて，三角測量の原理の基づいて距離画像が算出される。

　なお，上述の例では，パターン投影装置を２台設けたが，３台以上設けてもよい。また，パターン投影装置を１台としてもよい。この場合，上述の図１２及び図１４に示すようにパターンが形成されない部分ができ，その部分に関してコードによる対応づけができなくなり，その部分の距離計算ができなくなる。この場合，近傍の距離を用いて補間する等の処理を行えばよい。あるいは，対象物と３次元画像撮影装置とを相対的に移動させて実測できない部分を実測可能なようにすればよい。

　パターン投影装置1台の場合（符号１０で表す），図１５及び図１６に示すように投影装置１０の投射レンズシフトを使わずに，撮像装置１２，１３であるカメラ１，２のレンズシフトを行うことによって，図１１及び図１３と同じ効果を得ることが出来る。一般的に，投影装置１０と撮像装置１２，１３を比べた場合，装置及びレンズの大きさ・重量は撮像装置１０の方が小型・軽量であり，レンズシフトによる位置合わせの調整コストや固定治具コストなどの装置全体のコストが安くなることが期待できる。

　更に，パターン投影装置２台（もしくはそれ以上）の場合，あるいは，パターン撮影装置１台の場合，図１７，図１８及び図１９に示すように投影装置１０等及び撮影装置１２の光学レンズシフトを使わずに，各々のレンズ間隔を近接させることによって図９，図１１及び図１３と同じ効果を得ることが出来る。一例として，各々のレンズの中心の間隔が35mmとし，投影・撮像距離が1,000mmであった場合，約2度の角度差しか発生しない為，近似的に同軸であると考えられる。各々のレンズのシフト機能を使用せずに装置全体の固定のみで構成できるために，コスト削減にメリットがある。

　また，パターン投影装置１０を用いた形状測定とパターン投影装置１１を用いた形状測定を別々に行い，測定結果を補完するようにしてもよい。すなわち，上述実施例のように２つの上下のパターン投影装置１０，１１のストライプパターンを完全に重なるように調整するには，かなりの精度と工数が要求される。これに対してパターン投影装置と撮像装置との間の主点あわせの調整の工数は少ない。そこでパターン投影装置１０及びパターン投影装置１１の投影を別々に行い，それぞれの投影で撮像装置（カメラ１）１２及び撮像装置（カメラ２）１３を用いた形状測定を行う。パターン投影装置１０，１１のそれぞれでは影ができ，一部の形状測定ができない。しかしながら，影の部分はパターン投影装置１０，１１で異なるため，両方の形状測定の結果をあわせれば完全な形状測定結果を得ることができる。このように一回の撮影・形状測定に拘泥しなければ，簡易に完全な形状測定を行える。

　なお，上述実施例において，形状測定（距離画像の取得）にあわせて物体の表面テクスチャ（輝度情報。グレースケール及びカラー）も簡易に取得できる。

　例えば，撮像装置１２（カメラ１）及び撮像装置（カメラ２）により得られたストライプパターンの画像からストライプパターンが投影される３次元物体の表面のテクスチャ情報を生成することができる。

　また，パターン投影装置１０，１１からストライプパターンが照射されていない時に撮像装置１２（カメラ１），撮像装置（カメラ２）あるいはこれ以外の撮像装置によって撮影された撮像画像から，テクスチャ情報を取得する。

　また，三次元画像情報とテクスチャ情報とを同時に取得する構成も採用できる。すなわち，撮像装置１２（カメラ１）及び撮像装置（カメラ２）により得られた上記ストライプパターンの画像から得られる三次元画像情報と同時に，上記表面テクスチャ情報を取得するために，テクスチャ撮影用のカメラ３を用いる。そして，上記ストライプパターンが投影される３次元物体の表面テクスチャ情報を取得するために，上記投光器から照射されるストライプパターンは赤外もしくは紫外領域で構成する。撮像装置１２（カメラ１）及び撮像装置（カメラ２）の分光感度は，投影されるストライプパターンの分光に対応して構成され，テクスチャ撮影用のカメラ３の分光は，赤外もしくは紫外のストライプパターンの分光感度を持たない可視領域のみとする。これにより，カメラ１及びカメラ２で赤外光等により三次元画像情報（距離画像）を取得し，同時に，カメラ３で可視光によりテクスチャ情報を取得する。

本実施例の３次元画像撮影装置を示す平面図である。 本実施例の３次元画像撮影装置を示す斜視図である。 上述実施例のパターン投影装置の主点とモニタ用の撮像装置の主点との関係を説明する図である。 上述実施例のパターン画像の投影，撮像を説明するための側面図である。 図４の位置０にスクリーンがある場合の撮像装置（カメラ１）の観測画像を説明する図である。 図４の位置（＋）にスクリーンがある場合の撮像装置（カメラ１）の観測画像を説明する図である。 図４の位置（−）にスクリーンがある場合の撮像装置（カメラ１）の観測画像を説明する図である。 上述実施例の３次元画像撮影装置と被写体（二つの平板）との関係を説明する図である。 図８を側面から見た図である。 図９の例における撮像装置（カメラ１）の観測画像を説明する図である。 図８においてパターン撮像装置（プロジェクタ２）のみを設けた，上述実施例の変形例を説明する側面図である。 図１１の例における撮像装置（カメラ１）の観測画像を説明する図である。 図８においてパターン撮像装置（プロジェクタ１）のみを設けた，上述実施例の変形例を説明する側面図である。 図１３の例における撮像装置（カメラ１）の観測画像を説明する図である。 カメラを図の上方にレンズシフトさせた，上述実施例の変形例を説明する側面図である。 カメラを図の下方にレンズシフトさせた，上述実施例の変形例を説明する側面図である。 カメラ及び２つのプロジェクタを近接配置した，上述実施例の変形例を説明する側面図である。 カメラ及び下方配置のプロジェクタを近接配置した，上述実施例の変形例を説明する側面図である。 カメラ及び上方配置のプロジェクタを近接配置した，上述実施例の変形例を説明する側面図である。 従来技術の３次元画像撮像装置の構成例を示すブロック図である。 上述従来技術の３次元画像撮像装置のカメラ構成例を示す図である。 上述従来技術の３次元画像撮像装置の撮像構成を説明する図である。 上述従来技術の３次元画像撮像装置の処理フローを示す図である。 上述従来技術の３次元画像撮像装置の投影パターンのコード化の例を示す図である。 上述従来技術の３次元画像撮像装置の撮影構成例を示す図である。 上述従来技術の３次元画像撮像装置の投影パターン例を示す図である。 上述従来技術の３次元画像撮像装置の第３のカメラ１０３で撮影されるスリットパターンの例を示す図である。 上述従来技術の３次元画像撮像装置の第２のカメラ１０２で撮影されるスリットパターンの例を示す図である。 上述従来技術の３次元画像撮像装置において新たにコード化されたスリットパターンの例を示す図である。 上述従来技術の３次元画像撮像装置の空間コード化法による距離算出法を示す図である。 上述従来技術の３次元画像撮像装置の第1のカメラ１０１で撮影されるスリットパターンの例を示す図である。

符号の説明

１０　　　パターン投影装置（プロジェクタ１）
１１　　　パターン投影装置（プロジェクタ２）
１２　　　撮像装置（カメラ１）
１３　　　撮像装置（カメラ２）

Claims (15)

1. 　符号化されたストライプパターンを投影する投光器と，
   　上記投光器によって投光されるストライプパターンを撮影する第１のカメラであって，その主点と上記投光器の主点とが上記ストライプパターンの長さ方向に沿うように配置された第１のカメラと，
   　上記投光器によって投光されるストライプパターンを撮影する第２のカメラであって，その主点と上記第１のカメラの主点とが上記ストライプパターンの長さ方向と直角な方向に離間されるように配置される第２のカメラとを有し，
   　上記投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの変化量が所定値以上の領域を判別し，その領域に新たな符号を割り当て，上記新たな符号を割り当てた後に上記投光器により投光された再符号化ストライプパターンを上記第２のカメラで撮影し，上記第２のカメラにより撮影した上記再符号化ストライプパターンの画像に基づいて上記ストライプパターンの投影される３次元物体の距離情報を生成することを特徴とする３次元画像撮影装置。
2. 　所定の撮影距離での投影画像及び撮像画像を一致させる為に，上記投光器の光学系をレンズシフトさせる請求項１記載の３次元画像撮影装置。
3. 　所定の撮影距離での投影画像及び撮像画像を一致させる為に，上記第１のカメラの光学系もしくは第１のカメラ及び第２のカメラ双方の光学系をレンズシフトさせる請求項１記載の３次元画像撮影装置。
4. 　所定の撮影距離での投影画像及び撮像画像を一致させる為に，上記投光器と上記第１のカメラのレンズを近接させて近似的に同軸となる様に配置する請求項１記載の３次元画像撮影装置。
5. 　上記投光器の他に，１以上の投光器を設け，すべての投光器の主点と上記第１のカメラの主点とが，上記ストライプパターンの長さ方向に沿うようにし，かつ，上記すべての投光器から投光される符号化ストライプパターンが一致するようにした請求項２記載の３次元画像撮影装置。
6. 　上記投光器の他に，１以上の投光器を設け，すべての投光器の主点と上記第１のカメラの主点とが，上記ストライプパターンの長さ方向に沿い，かつ，近似的に合致する様に，各々を近接的に配置するようにした請求項４記載の３次元画像撮影装置。
7. 　設けられた上記投光器は全部で２つであり，２つの上記投光器は上記第１のカメラを挟むように配置される請求項５又は６記載の３次元画像撮影装置。
8. 　上記第１のカメラ及び上記第２のカメラにより得られた上記ストライプパターンの画像から上記ストライプパターンが投影される３次元物体の表面のテクスチャ情報を生成する請求項１，２，３，４，５，６又は７記載の３次元画像撮影装置。
9. 　上記表面テクスチャ情報は，上記投光器からのストライプパターンが照射されていない時に上記第１のカメラによって撮影された撮像画像から取得する請求項１，２，３，４，５，６又は７記載の３次元画像撮影装置。
10. 　上記表面テクスチャ情報は，上記投光器からのストライプパターンが照射されていない時に上記第２のカメラによって撮影された撮像画像から取得する請求項１，２，３，４，５，６又は７記載の３次元画像撮影装置。
11. 　上記表面テクスチャ情報は，上記投光器からのストライプパターンが照射されていない時に上記第１のカメラや上記第２のカメラ以外の第３のカメラによって撮影された撮像画像から取得する請求項１，２，３，４，５，６又は７記載の３次元画像撮影装置。
12. 　上記第１のカメラ及び上記第２のカメラにより得られた上記ストライプパターンの画像から得られる三次元画像情報と同時に，上記表面テクスチャ情報を取得するために，テクスチャ撮影用の第３のカメラを用い，上記ストライプパターンが投影される３次元物体の表面テクスチャ情報を取得するために，上記投光器から照射されるストライプパターンは赤外もしくは紫外領域で構成され，上記第１のカメラ及び上記第２のカメラの分光感度は，投影されるストライプパターンの分光に対応して構成され，テクスチャ撮影用の上記第３のカメラの分光は，赤外もしくは紫外のストライプパターンの分光感度を持たない可視領域のみである請求項１，２，３，４，５，６又は７記載の３次元画像撮影装置。
13. 　符号化されたストライプパターンを投影する投光器と，
    　上記投光器によって投光されるストライプパターンを撮影する第１のカメラであって，その主点と上記投光器の主点とが上記ストライプパターンの長さ方向に沿うように配置された第１のカメラと，
    　上記投光器によって投光されるストライプパターンを撮影する第２のカメラであって，その主点と上記第１のカメラの主点とが上記ストライプパターンの長さ方向と直角な方向に離間されるように配置される第２のカメラとを有し，
    　上記投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの撮像画像と，上記第２のカメラにより撮影したストライプパターンの撮像画像とに基づいて上記ストライプパターンの投影される３次元物体の距離情報を生成することを特徴とする３次元画像撮影装置。
14. 　符号化されたストライプパターンを投影する投光器と，上記投光器によって投光されるストライプパターンを撮影する第１のカメラ及び第２のカメラとを用意し，上記投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの変化量が所定値以上の領域を判別し，その領域に新たな符号を割り当て，上記新たな符号を割り当てた後に上記投光器により投光された再符号化ストライプパターンを上記第２のカメラで撮影し，上記第２のカメラにより撮影した上記再符号化ストライプパターンの画像に基づいて上記ストライプパターンの投影される３次元物体の距離情報を生成する３次元画像撮影方法において，上記第１のカメラの主点と上記投光器の主点とを上記ストライプパターンの長さ方向に沿うようにし，上記第１のカメラの主点と上記第２のカメラの主点とを上記ストライプパターンの長さ方向と直角な方向に離間させることを特徴とする３次元画像撮影方法。
15. 　符号化されたストライプパターンを投影する第１の投光器及び第２の投光器と，上記第１の投光器及び上記第２の投光器によって投光されるストライプパターンを撮影する第１のカメラ及び第２のカメラとを用意し，上記第１のカメラの主点と上記第１の投光器及び上記第２の投光器の各主点とを上記ストライプパターンの長さ方向に沿うようにし，かつ，上記２つの投光器を上記第１のカメラを挟むように配置し，上記第１のカメラの主点と上記第２のカメラの主点とを上記ストライプパターンの長さ方向と直角な方向に離間させ，
    　上記第１の投光器及び上記第２の投光器を異なる期間でそれぞれ投影駆動し，
    　上記第１の投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの変化量が所定値以上の領域を判別し，その領域に新たな符号を割り当て，上記新たな符号を割り当てた後に上記第１の投光器により投光された再符号化ストライプパターンを上記第２のカメラで撮影し，上記第２のカメラにより撮影した上記再符号化ストライプパターンの画像に基づいて上記ストライプパターンの投影される３次元物体の第１の距離情報を生成し，
    　上記第２の投光器により投光されたストライプパターンに対する，上記第１のカメラにより撮影したストライプパターンの変化量が所定値以上の領域を判別し，その領域に新たな符号を割り当て，上記新たな符号を割り当てた後に上記第２の投光器により投光された再符号化ストライプパターンを上記第２のカメラで撮影し，上記第２のカメラにより撮影した上記再符号化ストライプパターンの画像に基づいて上記ストライプパターンの投影される３次元物体の第２の距離情報を生成し，
    　上記第１の距離情報及び上記第２の距離情報をあわせて全体の距離情報とすることを特徴とする３次元画像撮影方法。

Images