JP2005308597A - 三次元画像取得装置および方法 - Google Patents

Abstract

【課題】 パターン光のエッジを確実に抽出でき，物体の形状，テクスチャ等に左右されずに距離情報を安定して取得できるようにする。
【解決手段】 投影装置１０は２値パターン光を物体２０に投影し，撮像装置１４がその光学像を撮像する。エッジ抽出部３２が２値パターン光からエッジを抽出する。また投影装置１０は多値パターン光を物体２０に投影し，撮像装置１４がその光学像を撮像する。２値パターン光から抽出したエッジ情報から多値パターンのストライプを同定し，同定したストライプ像と多値パターン光のストライプ光を対応させることにより距離を取得する。
【選択図】 図１

Description

本発明は投射系と一乃至複数のカメラによる三角測量法により距離情報を取得する三次元画像取得装置およびに方法に係り，対象物体によらず安定して三次元画像を取得できる装置および方法に関する。なお，距離情報に加えて物体の輝度情報を取得しても良い。

物体の形状を計測する手法は，パッシブ手法とアクティブ手法に大別される。パッシブ手法とアクティブ手法の違いは，物体に対し何らかなエネルギーを照射するか否かの差である。一般的にアクティブ手法は，計測のあいまいさを除去できるためパッシブ手法に比べてノイズに強い計測手法と言える。このアクティブ手法の中で多値のパターン光を物体に投射する多値パターン投射法は，物体の距離情報を一括にて取得できるなどの優れた特徴を持つ計測手法である。Ｃｈｕ−Ｓｏｎｇ Ｃｈｅｎはこの多値パターン投射法を提案している（非特許文献１）。この方式の構成図を図２５に示す。図２５に示すように，投光系（１００）はコード化された多値のパターン光を対象物（２００）に投射する。撮像系１（３００）および撮像系２（４００）が対象物上のパターン光の光学像を撮影し，対応するパターンを探索して対応点から三角測量により距離を計算する。計測は以下に示す手順にて行われる。

［ステップ１］：光の色の違いによりコード化された複数のストライプ光を物体に投射する。
［ステップ２］：ストライプ光が投射された物体を二つの撮像系にて撮像する。
［ステップ３］：撮像された画像にてエッジを抽出する。エッジとエッジの間の領域を１つのストライプ像として抽出する。
［ステップ４］：二つの撮像系の各々にて抽出されたストライプ像の対応を取り，三角法の原理により物体の距離情報を取得する。

ここでエッジ抽出を精度よく行わないとストライプ像を抽出できなくなり，結果として距離画像を取得できない。そこで，この先行技術では，例えば，投射するストライプ光に比較的明るい色を使用し，かつ隣接するストライプ間に黒のストライプを必ず挿入し，エッジ抽出の精度を高めている。しかしながら物体に様々なテクスチャがある場合（色や模様が多くある場合やコントラストが激しい場合）このような対策を行っていても物体のテクスチャによるエッジが抽出され，本来抽出して欲しいストライプ間のエッジがうまく抽出されないという問題が発生する。よって距離情報を安定して取得できないのが現状である。

別の先行例として特許文献１では，投射系により光の色にてコード化された複数のストライプ光を物体に投射し，一つの撮像系により物体上のストライプ光を観測する。投射されたストライプ光と撮像されたストライプ像の輝度値を比較し，同一ストライプを見つけ三角原理にて距離を算出する。この先行例では隣接するストライプ間に境界を際立たせるための黒のストライプを挿入していないためエッジの抽出精度はさらに低下する。また物体上のストライプ光は物体が持つテクスチャにより，その色が変化するので投射されたストライプ光と撮像されたストライプ像の対応が取れない場合がある。よって取得できる物体の距離情報は大幅に減少する。
特開平３−１９２４７４号公報 Ｃｈｕ−Ｓｏｎｇ Ｃｈｅｎ， "Ｒａｎｇｅ ｄａｔａ ａｃｑｕｉｓｉｔｉｏｎ ｕｓｉｎｇ ｃｏｌｏｒ ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔｉｎｇ ａｎｄ ｓｔｅｒｅｏ ｖｉｓｉｏｎ"，Ｉｍａｇｅ ａｎｄ Ｖｉｓｉｏｎ Ｃｏｍｐｕｔｉｎｇ １５，ｐｐ．４４５−４５６，１９９７

本発明は、以上の事情を考慮してなされたものであり、物体に様々なテクスチャがある場合でもエッジ情報を確実に獲得して距離情報を安定して取得できる三次元画像取得技術を提供することを目的としている。

本発明の原理的な構成例によれば，予め高精度にストライプエッジを抽出しておいて，このストライプエッジ情報を保存しておく。ストライプエッジの抽出は，ストライプエッジ抽出専用の光学パターンを物体に投射し，撮像して，撮像画像からストライプエッジを抽出する。ストライプエッジ抽出専用の光学パターンは，多値のストライプパターンとエッジに関して等価な２値のストライプパターンである。エッジに沿う黒の線分からなるパターンでも良い。次に距離算出用のストライプパターンを物体に投射し撮像する。予め抽出しておいたストライプエッジ情報を用いて距離算出用のストライプを同定する。一つ目と同様に物体の表面性状に左右されずにストライプを精度よく同定できる。

この構成においては，物体の表面性状に左右されずにストライプのエッジを高精度に抽出することができるので，ストライプパターンの確実な同定ができ，取得できる距離情報が大幅に向上する。

なお，距離算出用のパターンの光学像の同定に，エッジ抽出専用の光学パターンに基づいて取得したエッジ情報を利用できれば良いので，先に距離算出用のパターンを投射し撮影し，これを一時記憶し，後にエッジ抽出用の光学パターンを投射し撮影しエッジを抽出したときに，距離算出用に一時記憶した画像を読み出して処理するようにしても良い。

また，波長分離により，エッジ抽出専用のパターン光と距離算出用のパターン光とを個別に処理できれば，同時に投射し，撮影しても良い。

また，本発明の原理的な他の例では，予め高精度にストライプエッジを抽出しておいて，物体にマーキングしておく。ストライプエッジの抽出は，専用の光学パターンを物体に投射，撮像して，撮像画像からストライプエッジを抽出してもよい。マーキングの方法は，物体の光学情報に高精度に抽出されたストライプエッジ情報を付加しておくといった手段を用いてもよい。ストライプエッジがマーキングされた物体に距離算出用のストライプパターンを投射し，この状態で物体を撮像する。物体には予めストライプエッジがマーキングされているので，距離算出用のストライプパターンを用いて不安定なストライプエッジを抽出する必要はない。高精度に抽出されたストライプエッジを用いて距離算出用のストライプの同定を行う。よって物体の表面性状に左右されないロバストなストライプの同定法を実現できる。

このような考え方に基づくストライプ同定方法，あるいはストライプエッジ抽出の専用光学パターンを用いそこからストライプのエッジ情報だけを使用するといった方法を本発明は包含する。またこのような方法を実現するための装置構成を本発明は包含する。

さらに，本発明を説明する。

本発明の一側面によれば、上述の目的を達成するために、三次元画像取得装置に：コード化された第１パターンを持つ第１パターン光を形成する第１パターン光形成手段と；上記第１パターンとエッジが対応し光学属性分布が異なるエッジ抽出専用の第２パターンを持つ第２パターン光を形成する第２パターン光形成手段と；上記第１パターン光および上記第２パターン光を物体に投射する投射手段と；上記投射手段に対し主点を異なる位置に配置され，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像する非同主点撮像手段と；上記非同主点撮像手段により取得された上記第２パターン光の光学像のエッジを抽出するエッジ抽出手段と；上記第１パターン光と上記エッジ抽出手段により抽出したエッジと上記非同主点撮像手段により取得された上記第１パターン光の光学像とに基づいて対応するパターンを探索することにより距離値を算出する距離算出手段とを設けるようにしている。

距離の算出は，投射系と非同主点撮像手段との間の三角測量で行なう。非同主点撮像手段を複数も受けて複数の見込み角から距離測定を行ってもよい。この場合，オクルージョンの問題を抑制できる。対応するパターンの探索は，典型的には，投射系のパターンおよび非同主点撮像手段で撮像した光学像の間で行なう。パターンの光学属性分布は，例えば光の強弱，色の違いである。コード化は，例えば，光の強弱や色尾違い等の光学属性における複数レベルで行なってもよいし，ストライプの幅，矩形の面積等で行なっても良い。

この構成においては，パターンのエッジ抽出専用の第２パターン光を用いてエッジを安定して抽出し，このエッジの情報と距離算出用の第２パターン光の光学像に基づいて対応するパターンを探索するようにしているので，物体の形状，テキスチャにかかわらず安定して対応点を決定して確実に距離を算出できる。

この発明の他の側面によれば，上述の目的を達成するために，三次元画像取得装置に：コード化された第１パターンを持つ第１パターン光を形成する第１パターン光形成手段と；上記第１パターンとエッジが対応し光学属性分布が異なるエッジ抽出専用の第２パターンを持つ第２パターン光を形成する第２パターン光形成手段と；上記第１パターン光および上記第２パターン光を物体に投射する投射手段と；上記投射手段に対し主点を異なる位置に配置され，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像する複数の非同主点撮像手段と；上記複数の非同主点撮像手段により取得された上記第２パターン光の光学像のエッジを抽出するエッジ抽出手段と；上記複数の同主点撮像手段により取得された上記第２パターン光の光学像から上記エッジ抽出手段手段により抽出した複数組のエッジと，上記複数の非同主点撮像手段により取得された複数の上記第１パターン光の光学像とに基づいて対応するパターンを探索することにより距離値を算出する距離算出手段とを設けるようにしている。

この構成では，複数の非同主点撮像手段を設け，距離の算出を非同主点撮像手段の間の三角測量で行なっている。対応するパターンの探索は，複数の非同主点撮像手段で撮像された光学像の間で行なわれる。複数の見込み角から距離測定を行なえば，オクルージョンの問題を解消できる。パターンの光学属性分布は，例えば光の強弱，色の違いである。コード化は，例えば，光の強弱や色尾違い等の光学属性における複数レベルで行なってもよいし，ストライプの幅，矩形の面積等で行なっても良い。

この構成においても，パターンのエッジ抽出専用の第２パターン光を用いてエッジを安定して抽出し，このエッジの情報と距離算出用の第２パターン光の光学像に基づいて対応するパターンを探索するようにしているので，物体の形状，テキスチャにかかわらず安定して対応点を決定して確実に距離を算出できる。

これらの構成において，第１パターン光形成手段および第２パターン光形成手段は例えば液晶パネル，透過フィルム等に光源からの光を投射してパターン光を形成するものである。液晶パネル等のパターンを切り替えることにより単一のパターン光形成手段で済ませることができるが，個別に用意してもかまわない。後述するように，第１パターン光および第２パターン光を時間をずらして投射しても良いし，同時に投射しても良い。同時にに投射する場合には波長分離を行なう。

この構成において，特許第３４８２９９０号の同主点カメラを用いた再符号化手法を採用しても良い。すなわち，上記投射手段の主点位置に対し略同主点に配置された同主点撮像手段をさらに設け，上記同主点撮像手段により撮像された上記第１パターン光の光学像と上記非同主点撮像手段により取得された上記第１パターン光の光学像とに基づいて両光学像のエッジの対応点を探索することにより距離値を算出するようにしてもよい。

上記同主点撮像手段は，分波素子例えばビームスプリッタにより上記投射手段に対して略同主点に配置されるてもよいし，上記投射手段に対して上記エッジの長さ方向に，無視できる間隔を置いて配置することにより上記投射手段に対して略同主点に配置されるようにしてもよい。

上記第１パターン光すなわち距離算出用のパターン光は多値のパターン光であり，上記第２パターン光すなわちエッジ抽出専用のパターン光は２値のパターン光である。２値のパターンは，典型的には，黒のストライプと白のストライプとを交互に配置したものであるが，これに限定されない。要するにエッジを抽出しやすいものであればどのようなものでもよい。

上記多値のパターン光および上記２値のパターン光は，例えば，光の強弱あるいは色の違いを利用して形成される。

上記多値のパターン光および上記２値のパターン光は，例えば，ストライプ状あるいは矩形状に整形された光から構成される。

上記多値のパターン光および上記２値のパターン光は，例えば，それぞれのパターンの形状が同じである。

具体例では，上記非同主点撮像手段および上記同主点撮像手段は，時間を前後して上記物体に投射された上記第１パターン光および上記第２パターン光のそれぞれの光学像を別個に撮像する。

この場合，上記エッジ抽出手段はエッジ抽出の精度を評価するエッジ評価手段を具備し，上記第１パターン光を先に投射して上記第１パターン光に基づいてエッジを抽出し，上記エッジの抽出精度を上記エッジ評価手段で評価し，評価が所定の評価値に満たない場合に上記第２パターン光を投射して上記第２パターン光に基づいてエッジを抽出するようにしてもよい。

エッジの評価は，エッジ自体に対して例えばエッジの欠落の程度を利用して行なってもよく，エッジを用いて算出した距離情報例えば距離情報の欠落の程度を用いて行なっても良い。

また，上記投射手段は，波長領域が重ならない第１投射素子と第２投射素子とを具備し，上記第１投射素子と第２投射素子とを略同主点に配置し，上記第１投射素子が上記第１パターン光を投射し，上記第２投射素子が上記第２パターン光を投射し，上記非同主点撮像手段および上記同主点撮像装置は，上記第１投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第１撮像素子と，上記第２投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第２撮像素子とを具備し，上記第１撮像素子と上記第２撮像素子とを略同主点に配置するようにしてもよい。

上記第１投射素子および上記第２投射素子は，合波素子，例えば，ビームスプリッタにより略同主点に配置されるようにしてもよいし，上記エッジの長さ方向に無視できる間隔を置いて配置することにより略同主点に配置されるようにしてもよい。

上記第１撮像素子および上記第２撮像素子も，上記第１投射素子および上記第２投射素子と同様にして，略同主点に配置されるようにしてもよい。

上記によれば，上記第１パターン光および上記第２パターン光を同時に物体に投射し，上記撮像手段により同時刻に物体を撮像することができる。該第１パターン光および該第２パターン光の一方が，典型的には，可視領域の波長を有し，他方が不可視領域の波長を有する。

上記投射手段に偏光光を形成する偏光形成光学系を設け，該撮像手段に偏光方位を選択するための偏光選択光学系をさらに設けてもよい。このようにすると物体表面の反射に起因するエッジ抽出エラーを抑制できる。

以上の説明は三次元画像取得装置またはシステムに関して行なったが，三次元画像取得方法として実装してもよく，少なくともその一部をコンピュータプログラムとして実現しても良い。

また，本発明のさらに他の側面によれば，三次元画像取得方法において，２値のパターン光を投射し，該２値のパターン光による物体上の光学像を取得し，エッジ抽出手段により該光学像のエッジを抽出し，抽出した上記光学像のエッジを上記物体に付加し，上記光学像のエッジが付加された物体に上記２値のパターンに対応する多値のパターンパターン光を投射し，上記２値のパターンの光学像のエッジが付加された物体上に投影された上記多値のパターン光の光学像を取得し，該光学像に基づいて物体の三次元情報を取得するようにしている。

この構成においても，確実にエッジ情報を取得して安定して距離算出を行なうことができる。

本発明の上述の側面および他の側面は特許請求の範囲に記載され以下実施例を用いて詳述される。

本発明によれば、パターン光のエッジを確実に抽出でき，物体の形状，テクスチャ等に左右されずに距離情報を安定して取得できる。

以下、本発明の実施例について説明する。

図１は、本発明の三次元画像取得装置の実施例１の構成を全体として示している。実施例１では，投影装置１０とこの投影装置に対して非同主点に配置された撮像装置１４との間で三角測量を行なう。

図１において，実施例１の三次元画像取得装置は，投影装置１０と，非同主点の撮像装置１４と，パーソナルコンピュータ等の計算機３０等を含んで構成される。投影装置１０は，光源１１，パターン光形成部１２，投射レンズ１３等を含んで構成される。計算機３０は，慣用的な計算機リソースを含み，計測物体２０の外形（距離）を計算するための種々の機能部を実現する。計算機３０により実現される機能部は，例えば，多値パターン記憶部３１，エッジ抽出部３２，エッジ記憶部３３，エッジ評価部３４，パターン切替制御部３５，２値パターン記憶部３６，距離計算部３７である。計測物体２０の表面の輝度情報を記憶する輝度情報記憶部を含んでも良い。

投影装置１０は，計測物体２０に所定の投射光を投射する役割を有する。パターン光形成部１２には光の透過率の違うストライプやドット（例えば矩形）が複数形成されており，物体に投射する光の強度を制御する役割を有する。パターン切替制御部３５はパターン光形成部１２に形成されたストライプやドットの形状や透過率の制御や配列の制御を行い所定の順番で配列されたストライプを必要に応じて切り替える役割を有する。エッジ抽出部３２は撮像装置１４にて撮像した画像のエッジを抽出する役割を有する。エッジ評価部３４はエッジ抽出部３２にて抽出されたエッジ画像の良否を判断する役割を有する。

本実施例の構成例では，パターン光形成部１２には液晶素子を用いた。液晶素子に印加する電圧などをパターン切替制御部３５にて制御することにより，パターンの形状や配列，透過率を制御した。パターン光形成部１２には液晶素子の他に透過率の違う複数のストライプやドットが形成されたフィルムやガラス板を用いてもよい。その場合ストライプやドットの組み合わせが違う複数のフィルムやガラス板を予め用意しておき必要に応じて切り替える。この場合，パターン切替制御部３５としては手動あるいは自動切換えできる機構をセットしておく。撮像装置は特に指定はなくＣＣＤセンサやＣＭＯＳセンサを使用した撮像カメラを用いた。但し，撮像した画像を計算機３０（ＰＣ）に取り込みエッジ抽出などの画像処理をする点からＰＣへの取り込みが容易である撮像カメラが望ましい。本実施例ではＩＥＥＥ１３９４出力のビデオカメラを用いた。ＰＣにＩＥＥＥ１３９４用の取り込みボードを装着し計測物体の画像をリアルタイムに取り込んだ。その他としてＵＳＢ出力やＮＴＳＣ出力のビデオカメラを用いてもよい。ＰＣへの画像の取り込みは，それぞれのＩ／Ｆに合わせた取り込みボードを装着してボード経由にて行う。エッジ抽出部３２には，輝度値の変化が大きい箇所をエッジと判断する，つぎのような手法を用いた。

（１）Ｃａｎｎｙの手法：
Ｊ．Ｆ．Ｃａｎｎｙ，Ａ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ａｐｐｒｏａｃｈ ｔｏ ｅｄｇｅ ｄｅｔｅｃｔｉｏｎ，ＩＥＥＥ Ｔｒａｎｓ．ＰＡＭＩ Ｖｏｌ．８ Ｎｏ．６，ｐｐ．６７９−６９８，１９８６．

（２）Ｓｕｓａｎの手法：
Ｓ．Ｍ．Ｓｍｉｔｈ ａｎｄ Ｊ．Ｍ． Ｂｒａｄｙ．ＳＵＳＡＮ−ａ ｎｅｗ ａｐｐｒｏａｃｈ ｔｏ ｌｏｗ ｌｅｖｅｌ ｉｍａｇｅ，Ｐｒｏｃｅｓｓｉｎｇ，Ｉｎｔ．Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ，２３（１），ｐｐ．４５−７８，Ｍａｙ，１９９７．

（３）Ｒｏｔｈｗｅｌｌの手法
Ｃ．Ｒｏｔｈｗｅｌｌ，Ｊ．Ｍｕｎｄｙ，Ｗ．Ｈｏｆｆｍａｎ ａｎｄ Ｖ．−Ｄ．Ｎｇｕｙｅｎ，Ｄｒｉｖｉｎｇ Ｖｉｓｉｏｎ ｂｙ Ｔｏｐｏｌｏｇｙ，Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ Ｎｏ．２４４４，ＩＮＲＩＡ，１９９４．

エッジ評価部３４としては，ある閾値を設けエッジ抽出結果がその閾値に対して超えるか超えないかにより判断した。これについては後で詳しく示す。

図２に本実施例で使用した多値のパターン光を図３に２値のパターン光を示す。多値のパターン光には５種類の輝度値の異なるストライプ光を用いた。配列はストライプの並ぶ順番が同じにならないように工夫して行った。２値パターン光は二つのストライプの輝度差を最大限に広げコントラストが最も高くなるように白黒２値のパターンを用いた。また多値パターンと２値パターンを構成するストライプの幅，形状は全く同じになるように設定した。

以上示した三次元画像取得装置を用いて様々なテクスチャがある物体の形状計測を行った。以下にその手順を示す。

［ステップ１］：投影装置１０を用いて多値パターン光を物体２０に投射する（図２，投射光参照）。
［ステップ２］：撮像装置１４により多値パターン光が投射された物体２０を撮像し光学像を取得する（図２，光学像参照）。
［ステップ３］：パターン切替制御部３５により投影装置１０のパターン光形成部１２を制御して多値パターン光を２値パターン光に切り替える。
［ステップ４］：投影装置１０を用いて２値パターン光を物体に投射する（図３，投射光参照）。
［ステップ５］：撮像装置１４により２値パターン光が投射された物体２０を撮像し光学像を取得する（図３，光学像参照）。
［ステップ６］：多値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図４，多値パターン光学像参照）。
［ステップ７］：２値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図４，２値パターン光学像参照）。
［ステップ８］：２値パターンのエッジ情報を多値パターンのエッジ情報に付加，あるいは多値パターンのエッジ情報を２値パターンのエッジ情報に入れ替えた合成エッジ光学像を作成する（図５参照）
［ステップ９］：合成エッジ情報のエッジとエッジの間の領域を１つのストライプ像として抽出する。
［ステップ１０］：多値パターン光における個々のストライプ光（図２，投射光参照）と，ステップ９にて抽出した個々のストライプ像のうち，対応するストライプを距離計算部３７により抽出し物体の三次元形状を取得する。

従来では図４の多値パターンのエッジ抽出画像に見られるような途切れが発生しているストライプエッジに基づいてストライプを抽出して距離を算出していたので，非常に抜けの多い形状計測データしか算出できなかった。これに対して本実施例によれば物体のテクスチャに影響されずにストライプエッジを精度よく抽出できる。このストライプエッジを利用することにより，密度の高い形状計測データを算出できるようになる。またステップ６の多値パターンの光学像のエッジ抽出は省略してもよい。この場合，ステップ８において２値パターンのエッジ情報単独で合成エッジ光学像を作成する。その後の手順は同様である。

以上の説明では，便宜上，エッジ評価部３４の動作を省略した。以下では，エッジ評価部３４を用いた処理について図６を参照して説明する。

図６の構成では，初めに，多値パターンの処理を行い，エッジ抽出精度が悪いと判別されたときに，多値パターンを用いてパターンのエッジを抽出する。

図６の処理は以下のとおりである。

［ステップＳ１１］：投影装置１０により物体２０に多値パターンを投射する。
［ステップＳ１２］：多値パターンが投影された物体２０を撮像装置１４で撮影する（第１の光学像）。
［ステップＳ１３］：エッジ抽出部３２により，撮影した第１の光学像のエッジを抽出する（第１のエッジ情報）。
［ステップＳ１４］：ストライプのエッジが精度よく抽出されているかどうかを判別する。精度よく抽出されていればステップＳ１５へ進む。精度よく抽出されていなければステップＳ１７へ進む。
［ステップＳ１５］：第１の光学像を基に対応点を抽出する。
［ステップＳ１６］：距離計算部３７が対応点に基づいて距離情報を算出する。処理を終了する。
［ステップＳ１７］：エッジが精度よく抽出されていない場合には，投影装置１０が物体２０に２値パターンを投射する。
［ステップＳ１８］：２値パターンが投影された物体２０を撮像装置１４で撮影する（第２の光学像）。
［ステップＳ１９］：第２の光学像のエッジを抽出する（第２のエッジ情報）。
［ステップＳ２０］：第１のエッジ情報に第２のエッジ情報を付加し，または第１のエッジ情報を第２のエッジ情報に置き換えて，合成エッジ光学像を作成する。
［ステップＳ２１］：合成エッジ光学像を基に対応点を抽出する。
［ステップＳ２２］：距離計算部３７が，抽出した対応点に基づいて距離情報を算出して処理を終了する。

つぎにエッジ評価部３４の他の構成例を説明する。この例は距離画像の抜けに基づいてエッジ抽出精度を判別するものである。図７は，この構成例のエッジ評価部３４を伴う処理を示す。図７の処理は以下のとおりである。

［ステップＳ３１］：投影装置１０により物体２０に多値パターンを投射する。
［ステップＳ３２］：多値パターンが投影された物体２０を撮像装置１４で撮影する（第１の光学像）。
［ステップＳ３３］：エッジ抽出部３２により，撮影した第１の光学像のエッジを抽出する（第１のエッジ情報）。
［ステップＳ３４］：第１の光学像を基に対応点を抽出する。
［ステップＳ３５］：距離計算部３７が対応点に基づいて距離情報を算出する。
［ステップＳ３６］：距離画像の抜けが許容範囲かどうか判別する。許容範囲であれば処理を終了し，許容範囲でなければ，ステップＳ３７へ進む。
［ステップＳ３７］：投影装置１０が物体２０に２値パターンを投射する。
［ステップＳ３８］：２値パターンが投影された物体２０を撮像装置１４で撮影する（第２の光学像）。
［ステップＳ３９］：第２の光学像のエッジを抽出する（第２のエッジ情報）。
［ステップＳ４０］：第１のエッジ情報に第２のエッジ情報を付加し，または第１のエッジ情報を第２のエッジ情報に置き換えて，合成エッジ光学像を作成する。
［ステップＳ４１］：合成エッジ光学像を基に対応点を抽出する。
［ステップＳ４２］：距離計算部３７が，抽出した対応点に基づいて距離情報を算出して処理を終了する。

つぎの本発明の実施例２の三次元画像取得装置について説明する。

図８は，実施例２の三次元画像取得装置の構成を示す。なお，図１６において図１と対応する箇所には対応する符号を付した。

先の実施例１では，投射光と撮像画像の比較による距離算出を行う構成であるのに対し，実施例２では撮像画像同士の比較により距離算出を行う構成である。本実施例では実施例１で示した構成に投影装置１０と主点が異なる位置に配置された撮像装置を撮像装置１４の他に一つ加えた。追加した撮像装置を符号１５で示す。その他の構成や各種コンポーネントの詳細，エッジ抽出方法，ストライプの形状，配列などは実施例１の構成と同じである。この実施例にて様々なテクスチャがある物体の形状計測を行う手順を以下に示す。

［ステップ１］：投影装置１０を用いて多値パターン光を物体２０に投射する（図２，投射光参照）。
［ステップ２］：２つの撮像装置１４，１５により多値パターン光が投射された物体２０を撮像し光学像を取得する（図２，光学像参照）。
［ステップ３］：パターン切替制御部３５により投影装置１０のパターン光形成部１２を制御し投影装置１０の多値パターン光を２値パターン光に切り替える。
［ステップ４］：投影装置１０を用いて２値パターン光を物体に投射する（図３，投射光参照）。
［ステップ５］：２つの撮像装置１４，１５により２値パターン光が投射された物体２０を撮像し光学像を取得する（図３，光学像参照）。
［ステップ６］：多値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図４，多値パターン光学像参照）。
［ステップ７］：２値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図４，２値パターン光学像参照）。
［ステップ８］：２値パターンのエッジ情報を多値パターンのエッジ情報に付加，あるいは多値パターンのエッジ情報を２値パターンのエッジ情報に入れ替え，これを２つの撮像装置１４，１５にて実施し，２つの合成エッジ光学像を作成する（図５参照）。
［ステップ９］：合成エッジ光学像のエッジとエッジの間の領域を１つのストライプ像として抽出する。
［ステップ１０］：１つの合成エッジ光学像における個々のストライプ像ともう１つの合成エッジ光学像における個々のストライプ像（図５参照）のうち，対応するストライプ像を距離計算部３７により抽出して物体の三次元形状を取得する。

本実施例によれば実施例１と同様に物体のテクスチャに影響されずにストライプエッジを精度よく抽出できるので密度の高い形状計測データを算出できるようになる。また本実施例では，撮像された光学像同士の比較により距離算出を行うので，実施例１や特開平３−１９２４７４号公報の先行例にて見られた物体のテクスチャによるストライプの誤対応を防ぐことができ，さらに高密度な形状計測データを算出できるようになる。本実施例では２つの撮像装置を示したが，３つ以上の複数の撮像装置を具備していても構わない。この場合は，ストライプ比較用の合成エッジ光学像を適宜選択して距離算出を行う。またステップ６は実施例１と同様に省略しても構わなく，その場合のステップ８の対応とその後のステップも同様である。

なお，撮像画像同士の比較により距離算出を行うのでなく，実施例１と同様に，投射光と撮像画像の比較による距離算出を行うようにしてもよい。この場合，撮像装置ごとに三次元画像を取得でき，複数の三次元画像を組み合わせる構成としても良い。この場合，オクルージョン等に対処しやすい。撮像画像同士の比較により距離算出と，投射光と撮像画像の比較による距離算出とを複合的に採用しても良い。

つぎの本発明の実施例３の三次元画像取得装置について説明する。

図９は，実施例３の三次元画像取得装置の構成を示す。なお，図９において図１または図８と対応する箇所には対応する符号を付した。

本実施例は撮像装置が特殊な位置にレイアウトされた構成である。すなわち投影装置１０の主点位置に対し略同主点に配置された同主点撮像装置１６と，投影装置１０の主点位置に対し同主点でない位置に配置された非同主点撮像装置１４を構成要素に持つ。投影装置１０と同主点撮像装置１６は同主点配置手段１７により，略同主点位置に配置される。同主点配置手段１７にはハーフミラーを用いた。その他の構成や各種コンポーネントの詳細，エッジ抽出方法，ストライプの形状，配列などは実施例１の構成と同じである。

距離算出は同主点撮像装置１６と非同主点撮像装置１４により取得された光学像を比較することにより行う。この実施例にて様々なテクスチャがある物体の形状計測を行う手順を以下に示す。

なお，この構成では，同主点撮像装置１６の光学像に基づいてパターンの再コード化を行い，ストライプの対応づけを確実に行なうことができる。すなわち，図１０に示すように物体表面のテクスチャ等によりストライプの光学像が著しく変化したがどうかを同主点撮像装置１６によりモニタして変化の著しい部分については再コード化を行なう。すなわち，図１０の左側に示すように「３」，「２」，「１」の濃度でコード化されたストライプについて右上に示すように左から３番めの，本来「２」の濃度であるべき正四角形（セル）の領域については「０」という新たな符号を割り当てる。同様に，右下の例では，左から３番め上から２番めのセルが「３」に変更されている。この再コード化によりテクスチャの影響を反映した形で同主点撮像装置１６と非同主点撮像装置１４との光学像の対応づけを行なえる。再コード化の詳細については特許第３４８２９９０号を参照されたい。

以下，本実施例の手順を説明する。

［ステップ１］：投影装置１０を用いて多値パターン光を物体２０に投射する（図１１，投射光参照）。
［ステップ２］：同主点撮像装置１６と非同主点撮像装置１４により多値パターン光が投射された物体２０を撮像し光学像を取得（図１２，光学像参照）。
［ステップ３］：パターン切替制御部３５により投影装置１０のパターン光形成部１２を制御し投影装置１０の多値パターン光を２値パターン光に切り替える。
［ステップ４］：投影装置１０を用いて２値パターン光を物体２０に投射する（図１２，投射光参照）。
［ステップ５］：同主点撮像装置１６と非同主点撮像装置１４により２値パターン光が投射された物体２０を撮像し光学像を取得する（図１２，光学像参照）
［ステップ６］：同主点撮像装置１６により取得した多値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図１３，多値パターン光学像参照）。
［ステップ７］：同主点撮像装置１６により取得した２値パターンの光学像のエッジを抽出し，エッジ情報を取得（図１３，２値パターン光学像参照）。
［ステップ８］：２値パターンのエッジ情報を多値パターンのエッジ情報に付加，あるいは多値パターンのエッジ情報を２値パターンのエッジ情報に入れ替えた合成エッジ光学像を作成する（図１４参照）。
［ステップ９］：非同主点撮像装置１４により取得した多値パターンの光学像のエッジを抽出し，エッジ情報を取得（図４，多値パターン光学像参照）
［ステップ１０］：非同主点撮像装置１４により取得した２値パターンの光学像のエッジを抽出し，エッジ情報を取得する（図４，２値パターン光学像参照）。
［ステップ１１］：２値パターンのエッジ情報を多値パターンのエッジ情報に付加，あるいは多値パターンのエッジ情報を２値パターンのエッジ情報に入れ替えた合成エッジ光学像を作成する（図５参照）。
［ステップ１２］：同主点撮像装置１６および非同主点撮像装置１４それぞれの合成エッジ光学像のエッジとエッジの間の領域を１つのストライプ像として抽出する。
［ステップ１３］：同主点撮像装置１６の合成エッジ光学像における個々のストライプ像と非同主点撮像装置１４の合成エッジ光学像における個々のストライプ像（図１１，１３参照）のうち，対応するストライプ像を距離計算部３７により抽出し物体２０の三次元形状を取得する。

本実施例によれば実施例１や実施例２と同様に物体のテクスチャに影響されずにストライプエッジを精度よく抽出できるので密度の高い形状計測データを算出できるようになる。また本実施例では，撮像された光学像同士の比較により距離算出を行うので，実施例１や特開平３−１９２４７４の先行例にて見られた物体のテクスチャによるストライプの誤対応を防ぐことができ，さらに高密度な形状計測データを算出できるようになる。実施例２に対しては，投影装置１０と同主点撮像装置１６の間には光学レイアウト上オクルージョンが発生しないので距離を算出できるエリアが実施例２に比べて広がるといった利点がある。ここでオクルージョンとは以下に示す領域を言う。物体に凹凸があると凹凸により見えない領域が発生する。この見えない領域は視点により違うので，その領域は原理的に距離を算出できない。この領域をオクルージョンと言う。視点が同じ（同主点）であればオクルージョンは発生しない。また本実施例では非同主点撮像装置１４は１つの場合を示したが，複数であっても構わない。この場合は，同主点撮像装置１６による合成エッジ光学像と比較する非同主点撮像装置１４による合成エッジ光学像を適宜選択して距離算出を行う。またステップ手順６，９は省略しても構わない。この場合，ステップ８，１１において２値パターンのエッジ情報を多値パターンの光学像に付加した合成エッジ光学像を作成する。その後の手順は同様である。

つぎの本発明の実施例４の三次元画像取得装置について説明する。

図１５は，実施例４の三次元画像取得装置の構成を示す。なお，図１５において図９と対応する箇所には対応する符号を付した。

本実施例は，実施例３に示した投影装置１０の主点位置に対し略同主点に配置された同主点撮像装置１６と，投影装置１０の主点位置に対し同主点でない位置に配置された非同主点撮像装置１４の構成を基にしている。本実施例では，先の実施例３における投影装置１０に偏光光を形成する偏光形成光学系１０ａ（図１５の場合は図示していない）を設け，撮像装置１４，１６に偏光方位を選択するための偏光選択光学系１４a，１６ａをさらに設けている。

パターン光形成部１２に液晶素子を用いる場合は，液晶素子が使用する偏光形成光学系を本実施例の偏光形成光学系とする。液晶素子を使用するには光源から射出した偏向方位がランダムな自然光を偏光方位が一様な偏光光に形成するための光学系が必要となり，これは本実施例で使用する偏光形成光学系と同じであるからである。偏光形成光学系としては偏向フィルタ単体であってもよいし，偏光効率と均一な照度分布が得られる櫛形のＰＢＳプリズムと１／２λ板を張り合わせた部材とフライアイレンズを組み合わせた光学系を用いてもよい。

パターン光形成部１２に透過率の違う複数のストライプが形成されたフィルムやガラス板を用いる場合には，偏光形成光学系を新たに設ける必要がある。偏光形成光学系としては偏向フィルタ単体であってもよいし，偏光効率と均一な照度分布が得られる櫛形のＰＢＳプリズムと１／２λ板を張り合わせた部材とフライアイレンズを組み合わせた光学系を用いてもよい。

またストライプの組み合わせが違う複数のフィルムやガラス板を予め用意しておき必要に応じて切り替える。切り替え手段としては手動あるいは自動切換えできる機構をセットしておく。撮像装置１４，１６に設けた偏光方位を選択するための偏光選択光学系１４a，１６ａには偏光フィルタを用いた。その他の構成や各種コンポーネントの詳細，エッジ抽出方法，ストライプの形状，配列などは実施例３の構成と同じである。

ここで偏光形成光学系により形成した偏光光の偏光方位と偏光選択光学系である偏光フィルタの光の透過軸を略垂直になるように設定しておく。これは光沢物の計測を精度よく行うための重要な設定である。

精度よく計測できる理由を以下に示す。まず光沢物において計測劣化が発生するメカニズムについて説明する。光沢面に光を投射すると正反射方向に反射強度の強い鏡面反射光が観察される。正反射方向以外では鏡面反射光は観察されず比較的反射強度の弱い完全拡散反射光が観察される。よって光沢物にパターン光を投射した場合，異なる撮像位置からパターン光学像を撮像すると，同じパターン光学像にも拘らず，その強度が異なる。したがってパターン間の対応が取れずに距離が算出できない。次に偏光光学系により計測劣化を防止できる理由を説明する。光沢物の表面は完全拡散面と鏡面が重畳された面である。光沢物に偏光光を投射すると鏡面にて反射（正反射方向のみに反射）した光は偏光方位を維持する。完全拡散面にて反射（全方向に均一に反射）した光は偏光方位がランダムな完全拡散反射光になる。そこで偏光形成光学系により形成した偏光光の偏光方位と偏光選択光学系である偏光フィルタの光の透過軸を略垂直になるように設定しておけば，鏡面にて反射した偏光光をカットでき，また完全拡散面にて反射した完全拡散反射光のうち偏光フィルタの透過軸と同一方向である偏光方位を有する光のみを撮像手段にて観察できる。完全拡散反射光は全方向に均一に反射するので撮像手段の視点を変えても撮像手段にて観察される光は，完全拡散反射光のうち偏光フィルタの透過軸と同一方向である偏光方位を有する光のみである。よって視点の違いによるパターン光学像の強度差は生じないので，パターン間の誤対応は発生しない。

距離算出は同主点撮像装置１６と非同主点撮像装置１４により取得された光学像を比較することにより行う。この実施例にて様々なテクスチャがある物体の形状計測を行う手順は，第３の実施例にて示した手順と全く同様であるので省略する。

本実施例によれば実施例３におけるメリットに光沢物も精度よく計測できるといったメリットがさらに加わる。

以上説明した偏光形成光学系と偏光選択光学系は，実施例１，実施例２の構成に具備しても構わない。偏光光学系の設定は実施例４と同様であり，また計測手順はそれぞれの実施例の手順に準ずる。

また以上すべての実施例では，投射パターンにはストライプを使用したが，これはドット状（短径的には矩形）であっても構わない。多値のドット状のパターンでは光の強弱あるいは色の違いを利用して同じ並びにならないようにドットを配列し，２値のドット状のパターンでは，多値のドット状のパターンと形は同じで，コントラストが最大になるように光の強弱あるいは色の違いを利用して配列する。一例として本実施例で使用したストライプの長さ方向に所定の間隔で光の強弱や色を変え，これをドット状のパターンとして使用する。

つぎに実施例４の変形例について説明する。この変形例では，実施例１と同様の構成において偏光形成光学系１０ａおよび偏光選択光学系１４ａを用いている。

図１６はこの変形例を示しており，この図において図１または図１５と対応する箇所には対応する符号を付した。

図１６の変形例においては，投影装置１０に偏光形成光学系１０ａを設け，投射光を偏光に変換する。偏光形成光学系１０ａは典型的には偏光板である。他方，撮像装置１４には偏光選択光学系１４ａを設け，偏光面の角度を調整できるようになっている。具体的には偏光板を撮像装置１４のレンズ側で回転できるように取り付ける。偏光面の角度を調整することにより，計測物体２０の表面による鏡面反射光を除去して多値パターンの光学像を確実に取得できると共に，パターンのエッジを安定して取得できる。両者が相まって対応点を確実に誤ることなく取得でき，安定した距離測定を実現する。

最後に，エッジ抽出の評価（図６，図７）について補足説明を行なう。

上述したように，上述の実施例では典型的には図６または図７に説明するようにエッジ抽出の評価を行なう。すなわち，物体２０に多値パターンを投射した際に撮像した光学像のエッジ抽出精度をエッジ評価部３４にて判断し，所定の精度が得られた場合には多値パターンにて得られた光学像を基に距離算出を行い，所定の精度が得られなかった場合には，２値パターンを投射し，２値パターンにて得られたストライプエッジを利用して距離算出を行うといった手順にて計測を行う。もちろん，直ちに２値パターンを利用してエッジ情報を取得する構成を採用しても良い。エッジ抽出評価は以下のようなものである。

実施例３の構成では，同主点撮像装置１６にて得られた多値パターン光学像（図１３，多値パターン光学像参照）は投射パターン光（図１２，投射光参照）の形状を再現するので，この場合抽出されるべきストライプのエッジ画素は直線状に抜けなく並ぶはずである。この状態を理想状態とし，欠落しているエッジ画素がある閾値より大きい場合には，エッジ抽出不良とし，所定のエッジ抽出精度が得られないと判断する。

実施例１，２の構成では撮像されるストライプは物体の形状により曲がる（図２，多値パターン光学像）。そこでストライプの幅方向にある幅で許容画素幅を設定し，その画素幅にエッジ画素があれば，エッジが抽出されたと判断する。このエッジ画素数を算出する。また物体が置かれた位置とほぼ同じ位置に撮像手段と正対する平面を仮定し，その平面状に仮想的に投射されたストライプのエッジ画素数を算出する。このエッジ画素数を理想的に抽出できる最大数として，先に求めたエッジ画素数と比較し，先に求めたエッジ画素数がある閾値以下ならエッジ抽出不良とし，所定のエッジ抽出精度が得られないと判断する。

当然のことながらエッジ抽出の良否を人間の見た目で判断しても構わない。

図６にて示した処理では，エッジ評価部３４により，２値パターンの投射を行うかどうかの判断を行うのに対し，図７は最終的に得られた距離画像の抜けの有無によって２値パターンの投射を行うかどうかの判断を行う。距離画像の抜けがないかの判断は人間の見た目の判断で行ってもよいが，形状取得率に従って判断しても構わない。この形状取得率は先の実施例にて示した理想的に抽出されたエッジ画素から全て距離画像が算出できるとして，このエッジ画素数を分母にし，実際に得られた距離画像の画素数を分子にした際の値である。形状取得率がある閾値以下なら２値のパターンを投射し，２値パターンにて得られたストライプエッジを利用して距離算出を行う。

本発明によれば，すべての実施例において距離画像に加え輝度画像も取得できる。輝度画像を取得する場合は，パターンの投射をしないで，各実施例にて具備された撮像装置を用いて状態で物体を撮像する。

なお、本発明は上述の実施例に限定されるものではなくその趣旨を逸脱しない範囲で種々変更が可能である。例えば、上述実施例３や実施例４では，ハーフミラーやＰＢS（偏光ビームスプリッタ）等の同主点配置手段１７を用いたが，図１７に示すように，投影装置１０および同主点撮像装置１６を，パターンのストライプ（エッジ）の方向に無視できる程度に離間して配置し，実質的に同主点としてもよい。この場合ハーフミラー等の同主点配置手段１７によるパターン光のロスや配分に伴うパワーの低下やバラツキを回避できる。また，周知のＤＭＤ（デジタル・マイクロミラー・デバイス）を用いて，同主点に受光部を設けて投光系と撮像系とを同主点にしてもよい。

また，上述の実施例では，２値パターン等のエッジ抽出専用のパターンと多値パターン等の距離算出用のパターンとを時間をずらして投射して撮像するようにしているが，両者の波長を異なるものとして同時に撮像するようにしても良い。例えば，２値パターンを赤外光とし，多値パターンを可視光とする。この場合，投影装置および撮像装置としては波長に対応したものを採用する。この場合，例えば，図１８に示すように，投影装置１０１，１０２（例えば，一方が赤外光用，他方が可視光用）からの投射パターン光をハーフミラー等の合波器１８で合波して計測物体２０に照射する。また図１９に示すように，撮像装置１４１，１４２（撮像装置１６１，１６２の場合もある。例えば，一方が赤外光用，他方が可視光用）を設け，計測物体２０からのパターン光をハーフミラー等の分波器１９で分派した後，撮像する。合波器１８や分波器１９を用いずに，図２０や図２１に示すように，ストライプ（エッジ）の長さ方向に無視できる間隔だけ離間して配置された投影装置１０１，１０２や撮像装置１４１，１４２（１６１，１６２）を用いても良い。

また，上述の実施例では合成エッジ光学像を用いてエッジを確定して距離を算出したが，エッジを抽出してこれを物体にマーキングし，マーキングした物体を多値パターンその他の距離算出用のパターンを投射してこれを撮像し，この光学像からエッジを抽出して距離を算出するようにしても良い。

すなわち，図２２に手順の例を示すように，物体に２値パターンを投射してエッジを抽出しエッジを物体２０の表面にマーキングする（Ｓ５１〜Ｓ５４）。マーキング結果は例えば図２３に破線で示すようなものである（実際には実線，例えば黒の実線でマーキングする）。

この後，マーキングした物体２０に多値パターンを投影してこれを撮像し，図２４に示すような光学像を得，この光学像からエッジを抽出して距離を算出する（Ｓ５５〜Ｓ５８）。

この例でも，エッジを確実に抽出した後に，それを強調して物体２０の表面にプリントしているので，以降の処理で確実にエッジを抽出でき，安定して距離を算出できる。

なお，マーキングは，多値光学像に行なうようにしても良い。

本発明の実施例１の三次元画像撮像装置の構成図である。 実施例１等における多値パターンの投射光，光学像を示した図である。 実施例１等における２値パターンの投射光，光学像を示した図である。 実施例１等におけるエッジ抽出画像を示した図である。 実施例１等における合成エッジ光学像を示した図である。 実施例１等におけるエッジ抽出評価を伴う処理例（その１）を説明するフローチャートである。 実施例１等におけるエッジ抽出評価を伴う処理例（その２）を説明するフローチャートである。 本発明の実施例２の三次元画像撮像装置の構成図である。 本発明の実施例３の三次元画像撮像装置の構成図である。 実施例３のパターンの再コード化を説明する図である。 実施例３における多値パターンの投射光，光学像を示した図である。 実施例３における２値パターンの投射光，光学像を示した図である。 実施例３における同主点撮像装置のエッジ抽出画像を示した図である。 実施例３における同主点撮像装置の合成エッジ光学像を示した図である。 本発明の実施例４の三次元画像撮像装置の構成図である。 実施例４の変形例を説明する図である。 実施例の変形例（同主点撮像装置に関する）を説明する図である。 実施例の変形例（投影装置の波長分離その１）を説明する図である。 実施例の変形例（撮像装置の波長分離その１）を説明する図である。 実施例の変形例（投影装置の波長分離その２）を説明する図である。 実施例の変形例（撮像装置の波長分離その２）を説明する図である。 実施例の変形例（マーキングをするもの）を説明する図である。 マーキングされた物体を説明する図である。 マーキングされた物体の投影光学像を説明する図である。 従来の三次元画像撮像装置の構成図である。

符号の説明

１０ 投影装置
１０ａ 偏光形成光学系
１１ 光源
１２ パターン光形成部
１３ 投射レンズ
１４，１５ 撮像装置（非同主点撮像装置）
１４ａ，１６ａ 偏光選択光学系
１６ 同主点撮像装置
１７ 同主点配置手段
１８ 合波器
１９ 分波器
２０ 計測物体
１０１，１０２ 投影装置
２０ 物体
１４１，１４２，１６１，１６２ 撮像装置
３０ 計算機
３１ 多値パターン記憶部
３２ エッジ抽出部
３３ エッジ記憶部
３４ エッジ評価部
３５ パターン切替制御部
３６ ２値パターン記憶部
３７ 距離計算部

Claims (40)

1. コード化された第１パターンを持つ第１パターン光を形成する第１パターン光形成手段と，
   上記第１パターンとエッジが対応し光学属性分布が異なるエッジ抽出専用の第２パターンを持つ第２パターン光を形成する第２パターン光形成手段と，
   上記第１パターン光および上記第２パターン光を物体に投射する投射手段と，
   上記投射手段に対し主点を異なる位置に配置され，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像する非同主点撮像手段と，
   上記非同主点撮像手段により取得された上記第２パターン光の光学像のエッジを抽出するエッジ抽出手段と，
   上記第１パターン光と上記エッジ抽出手段により抽出したエッジと上記非同主点撮像手段により取得された上記第１パターン光の光学像とに基づいて対応するパターンを探索することにより距離値を算出する距離算出手段と，
   を有することを特徴とする三次元画像取得装置。
2. コード化された第１パターンを持つ第１パターン光を形成する第１パターン光形成手段と，
   上記第１パターンとエッジが対応し光学属性分布が異なるエッジ抽出専用の第２パターンを持つ第２パターン光を形成する第２パターン光形成手段と，
   上記第１パターン光および上記第２パターン光を物体に投射する投射手段と，
   上記投射手段に対し主点を異なる位置に配置され，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像する複数の非同主点撮像手段と，
   上記複数の非同主点撮像手段により取得された上記第２パターン光の光学像のエッジを抽出するエッジ抽出手段と，
   上記複数の同主点撮像手段により取得された上記第２パターン光の光学像から上記エッジ抽出手段により抽出した複数組のエッジと，上記複数の非同主点撮像手段により取得された複数の上記第１パターン光の光学像とに基づいて対応するパターンを探索することにより距離値を算出する距離算出手段と，
   を有することを特徴とする三次元画像取得装置。
3. 上記投射手段の主点位置に対し略同主点に配置された同主点撮像手段をさらに有し，上記同主点撮像手段により撮像された上記第１パターン光の光学像と上記非同主点撮像手段により取得された上記第１パターン光の光学像とに基づいて対応するパターンを探索することにより距離値を算出する請求項１または２記載の三次元画像取得装置。
4. 上記同主点撮像手段は，分波素子により上記投射手段に対して略同主点に配置される請求項３記載の三次元画像取得装置。
5. 上記分波素子はビームスプリッタである請求項４記載の三次元画像取得装置。
6. 上記同主点撮像手段は，上記投射手段に対して上記第１パターン光の長さ方向に間隔を置いて配置することにより上記投射手段に対して略同主点に配置される請求項２記載の三次元画像取得装置。
7. 上記第１パターン光は多値のパターン光であり，上記第２パターン光は２値のパターン光である請求項１〜６のいずれかに記載の三次元画像取得装置。
8. 上記多値のパターン光および上記２値のパターン光は，光の強弱あるいは色の違いを利用して形成される請求項７記載の三次元画像取得装置。
9. 上記多値のパターン光および上記２値のパターン光は，ストライプ状あるいは矩形状に整形された光から構成される請求項７または８記載の三次元画像取得装置。
10. 上記多値のパターン光および上記２値のパターン光は，それぞれのパターンの形状が同じである請求項７，８または９記載の三次元画像取得装置。
11. 上記非同主点撮像手段および上記同主点撮像手段は，時間を前後して上記物体に投射された上記第１パターン光および上記第２パターン光のそれぞれの光学像を別個に撮像する請求項１〜１０のいずれかに記載の三次元画像取得装置。
12. 上記エッジ抽出手段はエッジ抽出の精度を評価するエッジ評価手段を具備し，上記第１パターン光を先に投射して上記第１パターン光に基づいてエッジを抽出し，上記エッジの抽出精度を上記エッジ評価手段で評価し，評価が所定の評価値に満たない場合に上記第２パターン光を投射して上記第２パターン光に基づいてエッジを抽出する請求項１１記載の三次元画像取得装置。
13. 上記投射手段は，波長領域が重ならない第１投射素子と第２投射素子とを具備し，上記第１投射素子と第２投射素子とを略同主点に配置し，上記第１投射素子が上記第１パターン光を投射し，上記第２投射素子が上記第２パターン光を投射し，上記非同主点撮像手段および上記同主点撮像手段は，上記第１投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第１撮像素子と，上記第２投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第２撮像素子とを具備し，上記第１撮像素子と上記第２撮像素子とを略同主点に配置する請求項１〜１２のいずれかに記載の三次元画像取得装置。
14. 上記第１投射素子および上記第２投射素子は，合波素子により略同主点に配置される請求項１３記載の三次元画像取得装置。
15. 上記合波素子はビームスプリッタである請求項１４記載の三次元画像取得装置。
16. 上記第１投射素子および上記第２投射素子は，上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項１４記載の三次元画像取得装置。
17. 上記第１撮像素子および上記第２撮像素子は，分波素子により略同主点に配置される請求項１３〜１６のいずれかに記載の三次元画像取得装置。
18. 上記分波素子はビームスプリッタである請求項１７記載の三次元画像取得装置。
19. 上記第１撮像素子および上記第２撮像素子は，上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項１３〜１６のいずれかに記載の三次元画像取得装置。
20. 上記第１投射素子および上記第２投射素子と，上記同主点撮像装置は上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項１３〜１９のいずれかに記載の三次元画像取得装置。
21. 上記第１パターン光および上記第２パターン光を同時に物体に投射し，上記撮像手段により同時刻に物体を撮像する１３〜２０のいずれかに記載の三次元画像取得装置。
22. 該第１パターン光および該第２パターン光の一方が可視領域の波長を有し，他方が不可視領域の波長を有する請求項１３〜２１のいずれかに記載の三次元画像取得装置。
23. 上記投射手段に偏光光を形成する偏光形成光学系を設け，該撮像手段に偏光方位を選択するための偏光選択光学系をさらに設けた請求項１〜２２のいずれかに記載の三次元画像取得装置。
24. 第１パターン光形成手段により，コード化された第１パターンを持つ第１パターン光を形成するステップと，
    第２パターン光形成手段により，上記第１パターンとエッジが対応し光学属性分布が異なる第２パターンを持つエッジ抽出用の第２パターン光を形成するステップと，
    投射手段により，上記第１パターン光および上記第２パターン光を物体に投射するステップと，
    上記投射手段に対し主点を異なる位置に配置された，少なくとも１つの撮像手段により，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像するステップと，
    エッジ抽出手段により，上記撮像手段により取得された上記第１パターン光の光学像のエッジおよび上記第２パターン光の光学像のエッジを抽出するステップと，
    上記エッジ抽出手段により抽出した上記第１パターンの光学像のエッジに，上記エッジ抽出手段により抽出した上記第２パターンの光学像のエッジを付加して構成した合成エッジ，または，上記エッジ抽出手段により抽出した上記第１パターンの光学像のエッジを，上記エッジ抽出手段により抽出した上記第２パターンの光学像のエッジに置き換えて構成した合成エッジと，上記撮像手段により取得された上記第１パターン光の光学像とに基づいて，距離算出手段により，対応するパターンを探索することにより距離値を算出するステップと，
    を有することを特徴とする三次元画像取得方法。
25. 第１パターン光形成手段により，コード化された第１パターンを持つ第１パターン光を形成するステップと，
    第２パターン光形成手段により，上記第１パターンとエッジが対応し光学属性分布が異なるエッジ抽出用の第２パターンを持つ第２パターン光を形成するステップと，
    投射手段により，上記第１パターン光および上記第２パターン光を物体に投射するステップと，
    上記投射手段に対し主点を異なる位置に配置された，少なくとも１つの撮像手段により，上記物体に投射された上記第１パターン光の光学像および上記第２パターン光の光学像を，それぞれの光学像が他の光学像から実質的に影響を受けることなく，撮像するステップと，
    エッジ抽出手段により，上記撮像手段により取得された上記第２パターン光の光学像のエッジを抽出するステップと，
    距離算出手段により，上記エッジ抽出手段により抽出した上記第２パターンの光学像のエッジと，上記撮像手段により取得された上記第１パターン光の光学像とに基づいて，対応するパターンを探索することにより距離値を算出するステップと，
    を有することを特徴とする三次元画像取得方法。
26. 上記投射手段の主点位置に対し略同主点に配置された同主点撮像手段を設け，上記同主点撮像手段により取得された上記第１パターン光の光学像と上記同主点撮像手段および上記非同主点撮像手段により取得された上記第１パターン光の光学像とに基づいて，対応するパターンを探索することにより距離値を算出する請求項２４または２５記載の三次元画像取得方法。
27. 上記非同主点撮像手段および上記同主点撮像手段は，時間を前後して上記物体に投射された上記第１パターン光および上記第２パターン光のそれぞれの光学像を別個に撮像する請求項２４，２５または２６記載の三次元画像取得方法。
28. 上記エッジ抽出手段のエッジ抽出の精度を評価するエッジ評価手段を設け，上記第１パターン光を先に投射して上記第１パターン光に基づいてエッジを抽出し，上記エッジの抽出精度を上記エッジ評価手段で評価し，評価が所定の評価値に満たない場合に上記第２パターン光を投射して上記第２パターン光に基づいてエッジを抽出する請求項２７記載の三次元画像取得方法。
29. 上記投射手段は，波長領域が重ならない第１投射素子と第２投射素子とを具備し，上記第１投射素子と第２投射素子とを略同主点に配置し，上記第１投射素子が上記第１パターン光を投射し，上記第２投射素子が上記第２パターン光を投射し，上記非同主点撮像手段および上記同主点撮像装置は，上記第１投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第１撮像素子と，上記第２投射素子の波長領域に感度を有し，上記第２投射素子の波長領域に感度を有さない第２撮像素子とを具備し，上記第１撮像素子と上記第２撮像素子とを略同主点に配置する請求項２４〜２８のいずれかに記載の三次元画像取得方法。
30. 上記第１投射素子および上記第２投射素子は，合波素子により略同主点に配置される請求項２９記載の三次元画像取得方法。
31. 上記合波素子はビームスプリッタである請求項３０記載の三次元画像取得方法。
32. 上記第１投射素子および上記第２投射素子は，上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項３１記載の三次元画像取得方法。
33. 上記第１撮像素子および上記第２撮像素子は，分波素子により略同主点に配置される請求項２４〜３２のいずれかに記載の三次元画像取得方法。
34. 上記分波素子はビームスプリッタである請求項３３記載の三次元画像取得方法。
35. 上記第１撮像素子および上記第２撮像素子は，上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項２４〜３２のいずれかに記載の三次元画像取得方法。
36. 上記第１投射素子および上記第２投射素子と，上記同主点撮像装置は上記第１パターン光の長さ方向に間隔を置いて配置することにより略同主点に配置される請求項２９〜３５のいずれかに記載の三次元画像取得装置。
    
37. 上記第１パターン光および上記第２パターン光を同時に物体に投射し，上記撮像手段により同時刻に物体を撮像する２４〜３６のいずれかに記載の三次元画像取得方法。
38. 該第１パターン光および該第２パターン光の一方が可視領域の波長を有し，他方が不可視領域の波長を有する請求項２４〜３７のいずれかに記載の三次元画像取得方法。
39. 上記投射手段に偏光光を形成する偏光形成光学系を設け，該撮像手段に偏光方位を選択するための偏光選択光学系をさらに設けた請求項２４〜３８のいずれかに記載の三次元画像取得方法。
40. ２値のパターン光を投射し，該２値のパターン光による物体上の光学像を取得し，エッジ抽出手段により該光学像のエッジを抽出し，抽出した上記光学像のエッジを上記物体に付加し，上記光学像のエッジが付加された物体に上記２値のパターンに対応する多値のパターンパターン光を投射し，上記２値のパターンの光学像のエッジが付加された物体上に投影された上記多値のパターン光の光学像を取得し，該光学像に基づいて物体の三次元情報を取得する三次元画像取得方法。