JP2010078339A - ３次元形状計測装置および方法並びにプログラム - Google Patents

Abstract

【課題】被写体にパターン光を照射することにより取得した画像を用いて、被写体の３次元形状を正確に計測する。
【解決手段】プロジェクタ４から所定方向に偏光されたパターン光を出射して被写体に照射する。被写体におけるパターン光の反射光は、フィルタ部１４，１５により所定方向に直交する方向に偏光されて、第１および第２のカメラ２，３に入射する。これにより、第１および第２のカメラ２，３が基準画像および参照画像を取得し、演算部５が画素の対応付けを行うことにより、被写体の３次元形状を計測する。
【選択図】図１

Description

本発明は、被写体の３次元形状を計測する３次元形状計測装置および方法並びに３次元形状計測方法をコンピュータに実行させるためのプログラムに関するものである。

一般にステレオ法またはステレオ３次元画像計測法等と称される距離測定方法は、異なる位置に設けられた少なくとも２台以上のカメラ（１台の基準カメラおよびその他の参照カメラ）を用いて被写体を撮影し、これにより取得された複数の計測用画像（基準カメラによる基準画像および参照カメラによる参照画像）の間で画素を対応付け、対応付けられた基準画像上の画素と、参照画像上の画素との位置の差（視差）に三角測量の原理を適用することにより、基準カメラまたは参照カメラから当該画素に対応する被写体上の点までの距離を計測するものである。

したがって、被写体の表面全体に対応するすべての画素までの距離を測定すれば、被写体の形状や奥行きという３次元形状を計測することが可能となる。なお、１台のカメラのみを使用して異なる位置において撮影を行うことにより複数の画像を取得して、被写体の３次元形状を計測することも可能である。

また、光の反射を用いて被写体までの距離を測定するＴＯＦ（Time Of Flight）方式の距離測定方法を用いて、撮影装置から被写体までの距離を測定して、被写体の３次元形状を計測することが行われている（特許文献１参照）。ＴＯＦ方式を用いた測距は、具体的には強度変調された測距光を被写体に向けて照射し、この変調周期における０、π／２、π、３π／２の４つの位相において反射光を受光して受光光量に応じた受光信号を得、受光信号に基づいて測距光と反射光との位相の遅れ（位相差）を、撮影装置に設けられた撮像素子の受光素子毎に検出して距離情報を算出し、この距離情報を各画素の画素値とする被写体の３次元形状を計測するものである。

また、プロジェクタから明暗のピッチが倍々に変化するパターン光を被写体に照射して撮影を行うことにより、測定対象空間の各点を２進数コードによって符号化して距離を測定する空間コード化法も提案されている。空間コード化法においては、パターン光を照射した対象物は、カメラによりパターンが異なる複数の濃淡画像として撮影され、濃淡画像上の各画素は、０，１の２進数コードにより表されることとなる。空間コード化法は、この２進数コードに基づいて測定対象上の点におけるパターン光の投影方向を求め、三角測量の原理により測定対象点における３次元位置を算出することにより、被写体の３次元形状を計測する手法である。

ここで、ステレオ法においては、図８に示すように、基準画像Ｇ１上のある点Ｐａに写像される実空間上の点は、点Ｐ１，Ｐ２，Ｐ３というように点Ｃからの視線上に複数存在するため、実空間上の点Ｐ1 ，Ｐ２ ，Ｐ３ 等の写像である直線（エピポーラ線）上に、点Ｐａに対応する参照画像Ｇ２Ｒ上の点Ｐａ′が存在することに基づいて画素の対応付けが行われる。なお、図８において点Ｃは基準カメラの視点、点Ｃ′は参照カメラの視点である。

しかしながら、ステレオ法においては、被写体が人物の顔のように濃淡、形状および色等の局所的な特徴がない場合には、画素の対応付けを行うことにより対応点を求めることができないという問題がある。このような問題を解決するために、被写体にランダムドットパターン、格子状パターン、バーコード状パターン等のパターン光を照射し、パターン光の位置に基づいて対応点を求める手法が提案されている（特許文献２，３参照）。

一方、被写体に光を照射し、その反射光を受光する場合において、反射光には正反射光と拡散反射光とが含まれる。ここで、正反射と拡散反射は光学的に特性が異なるため、分離して一方を選択的に利用することがある。このため、照射光を所定方向に偏光し、受光光を所定方向に直交する方向に偏光することにより、反射光における正反射光の成分を除去して被写体を撮影する手法が提案されている（特許文献４参照）。
特開２００６−８４４２９号公報 特開２００４−２１２３８５号公報 特開２０００−２８３７５２号公報 特開平１１−３２６０５７号公報

上述したステレオ法等により、照射したパターン光による被写体での拡散反射の強度を取得して被写体の３次元形状の計測を行う際に、被写体にパターン光を照射する場合においては、被写体におけるパターン光の反射光にも正反射光および拡散反射光が含まれる。しかしながら、パターン光の反射光に正反射光が含まれると、被写体を撮影する位置によって、画像に含まれるパターンの輝度に違いが生じるため、被写体までの距離を正確に測定できなくなってしまうという問題がある。

本発明は上記事情に鑑みなされたものであり、被写体にパターン光を照射することにより取得した画像を用いて、被写体の３次元形状を正確に計測することを目的とする。

本発明による３次元形状計測装置は、被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段と、
所定方向に偏光されたパターン光を前記被写体に照射する照射手段と、
前記画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光する偏光手段と、
前記計測用画像に含まれる前記パターン光に基づいて、前記被写体の３次元形状を計測する計測手段とを備えたことを特徴とするものである。

所定方向と異なる方向としては、偏光方向が異なることにより、入射されるパターン光の反射光の光量を低減できる方向であればよいが、所定方向と直交する方向であることが好ましい。

なお、本発明による３次元形状計測装置においては、前記照射手段を、前記パターン光および通常光を切り替え可能に発光する手段とし、
前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時および前記通常光の発光時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段をさらに備えるものとしてもよい。

通常光とは、パターンを有さず、また偏光もされていない光をいう。

また、本発明による３次元形状計測装置においては、前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段をさらに備えるものとしてもよい。

また、本発明による３次元形状計測装置においては、前記照射手段を、光を発光する光源、該光を分割するに際し、該分割により得られる一方の光を前記所定方向に偏光して分割する分割手段、該分割された光のうちの他方の光の偏光方向を前記所定方向に回転する回転手段、該偏光方向が回転された後の前記他方の光を前記一方の光と合成する合成手段、および前記合成後の光を前記パターン光に変換する変換手段とを備えるようにしてもよい。

また、本発明による３次元形状計測装置においては、前記画像取得手段を、前記被写体を撮影することにより複数の前記計測用画像を取得する少なくとも１つの撮影手段を有するものとし、
前記計測手段を、前記計測用画像に含まれる前記パターン光の位置に基づいて、前記複数の計測用画像における画素の対応付けを行って、前記被写体までの距離を算出する手段としてもよい。

また、本発明による３次元形状計測装置においては、前記照射手段を、所定周期にて強度が時間的に変化するように変調された前記パターン光を前記被写体に照射する手段とし、
前記画像取得手段を、前記反射光の光量に応じた受光信号を出力する１以上の受光素子を有する撮影手段を有するものとし、
前記計測手段を、前記受光信号から得られる前記計測用画像に基づいて、前記被写体までの距離を算出する手段としてもよい。

本発明による３次元形状計測方法は、所定方向に偏光されたパターン光を被写体に照射し、
前記被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光し、
前記計測用画像に含まれる前記パターン光に基づいて、前記被写体の３次元形状を計測することを特徴とするものである。

なお、本発明による３次元形状計測方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明による３次元形状計測用撮影装置は、被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段と、
所定方向に偏光されたパターン光を前記被写体に照射する照射手段と、
前記画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光する偏光手段と、
前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段を備えたことを特徴とするものである。

本発明によれば、所定方向に偏光されたパターン光が被写体に照射され、被写体によるパターン光の反射光が所定方向と異なる方向に偏光され、この偏光光に基づいて取得された計測用画像に含まれるパターン光に基づいて、被写体の３次元形状が計測される。これにより、画像取得手段に入射される光から、被写体におけるパターン光の正反射光の成分を低減することができるため、計測用画像におけるパターン光の輝度の相違を低減でき、その結果、被写体の３次元形状を精度よく計測することができる。

とくに、被写体を撮影することにより複数の計測用画像を取得し、複数の計測用画像に含まれるパターン光の位置に基づいて、複数の計測用画像における画素の対応付けを行って被写体の３次元形状を計測する場合において、複数の計測用画像における対応するパターン光の輝度の相違を低減できるため、ステレオ法を用いての被写体の３次元形状の計測を精度よく行うことができる。

ここで、被写体の３次元形状は、被写体上の各点までの距離情報のみしか有さない。このため、被写体の輝度情報および／または色情報が必要な場合、別途被写体を撮影して、被写体の２次元画像を取得する必要がある。この場合、本発明においては、照射手段からのパターン光の発光を停止したり、明るさを補うために照射手段から通常光を発光して被写体を撮影することが可能である。しかしながら、画像取得手段に入射される光は偏光手段により偏光されたものとなるため光量が少なくなり、その結果、露光時間が長くなったり、照射手段から照射する通常光の明るさを大きくしたりする必要がある。

このため、パターン光の発光を停止したり、通常光を発光したりして２次元画像を取得するための撮影を行う場合には、偏光手段を被写体の反射光の光路上から退避させることにより、画像取得手段に入射される光量を大きくすることができるため、露光時間を長くしたり、通常光の発光量を大きくしたりする必要がなくなり、その結果、容易に２次元画像を取得することができる。

また、光源から発光された光を分割し、分割された光の偏光方向を所定方向に揃えた後に合成し、合成後の光をパターン光に変換することにより、偏光されているにも拘わらずパターン光の光量を大きくすることができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による３次元形状計測装置の外観斜視図である。図１に示すように本実施形態による３次元形状計測装置１は、第１のカメラ２、第２のカメラ３、プロジェクタ４、演算部５、モニタ６および入力部７を備える。

第１および第２のカメラ２，３は、所定間隔を空けかつ所定の輻輳角を持って配置されており、演算部５からの指示に応じて、被写体をそれぞれ異なる位置から撮影することにより、被写体の３次元形状の計測に使用する基準画像Ｇ１および参照画像Ｇ２をそれぞれ取得する。なお、取得した基準画像Ｇ１および参照画像Ｇ２は演算部５に入力されて、被写体の３次元形状の計測に用いられる。ここで、３次元形状計測用の基準画像Ｇ１および参照画像Ｇ２のみならず、色情報を有する２次元画像を取得する指示がなされる場合もある。この場合は第１のカメラ２のみにより撮影を行うことにより２次元画像を取得するものとする。なお、第１および第２のカメラ２，３が画像取得手段に相当する。

プロジェクタ４は、演算部５からの指示により、ランダムドットパターン等の所定のパターンからなるパターン光を被写体に向けて照射するためのものであり、ＬＥＤ等の白色光を発する光源１１、光源１１から発せられた光をパターン光に変換する第１のフィルタ部１２、およびパターン光を偏光するための第２のフィルタ部１３を備える。なお、プロジェクタ４および後述する照射制御部２１が照射手段に相当する。

第１のフィルタ部１２は、円盤１２Ａ上においてその中心を挟んだ対向する位置に、透過する光が所定パターンを有するものとなるようにパターンが印刷されたパターンフィルタ１２Ｂおよび透明フィルタ１２Ｃが取付けられることにより構成されている。円盤１２Ａは、モータ１２Ｄにより、その中心を通り光源１１から発せられた光の光路Ｘ０に平行な回転軸の周囲に回転可能とされている。これにより、演算部５からの指示によって、パターンフィルタ１２Ｂおよび透明フィルタ１２Ｃを、光路Ｘ０上に切り替えて配置することが可能とされている。

第２のフィルタ部１３は、円盤１３Ａ上においてその中心を挟んだ対向する位置に、パターン光を図中ｘ方向に偏光するための偏光フィルタ１３Ｂおよび透明フィルタ１３Ｃが取付けられることにより構成されている。円盤１３Ａは、モータ１３Ｄにより光路Ｘ０に平行な回転軸の周囲に回転可能とされている。これにより、演算部５からの指示によって、偏光フィルタ１３Ｂおよび透明フィルタ１３Ｃを光路Ｘ０上に切り替えて配置することが可能とされている。

そして、パターンフィルタ１２Ｂおよび偏光フィルタ１３Ｂを光路Ｘ０上に位置せしめることにより、プロジェクタ４から出射される光は、ｘ方向に偏光されたパターン光となる。なお、第１および第２のフィルタ部１２，１３の配置を逆にし、光源１１から発せられた光を偏光した後にパターン光に変換してもよい。

第１のカメラ２の前面にはフィルタ部１４が配設されている。フィルタ部１４は、円盤１４Ａ上においてその中心を挟んだ対向する位置に、被写体により反射されたパターン光を図中ｙ方向に偏光するための偏光フィルタ１４Ｂおよび透明フィルタ１４Ｃが取付けられることにより構成されている。円盤１４Ａは、モータ１４Ｄにより、その中心を通り第１のカメラ２に入射する光の光路Ｘ１に平行な回転軸の周囲に回転可能とされている。これにより、演算部５からの指示によって、偏光フィルタ１４Ｂおよび透明フィルタ１４Ｃを光路Ｘ１上に切り替えて配置することが可能とされている。

第２のカメラ３の前面にはフィルタ部１５が配設されている。フィルタ部１５は、円盤１５Ａ上においてその中心を挟んだ対向する位置に、被写体により反射されたパターン光を図中ｙ方向に偏光するための偏光フィルタ１５Ｂおよび透明フィルタ１５Ｃが取付けられることにより構成されている。円盤１５Ａは、モータ１５Ｄにより、その中心を通り第２のカメラ３に入射する光の光路Ｘ２に平行な回転軸の周囲に回転可能とされている。これにより、演算部５からの指示によって、偏光フィルタ１５Ｂおよび透明フィルタ１５Ｃを光路Ｘ２上に切り替えて配置することが可能とされている。なお、フィルタ部１４，１５、および後述する第２のフィルタ制御部２５が偏光手段および偏光制御手段に相当する。

演算部５は、被写体の３次元形状の計測のために必要な演算を行うとともに、第１のカメラ２、第２のカメラ３およびプロジェクタ４の駆動を制御する。

図２は演算部５の構成を示す概略ブロック図である。図２に示すように演算部５は、プロジェクタ４における光源１１の駆動を制御する照射制御部２１、第１のフィルタ部１２の駆動を制御する第１のフィルタ制御部２２、第２のフィルタ部１３の駆動を制御する第２のフィルタ制御部２３、第１および第２のカメラ２，３の動作を制御する撮影制御部２４、フィルタ部１４，１５の駆動を制御する第３のフィルタ制御部２５、パターン光が照射された被写体を撮影することにより取得された基準画像Ｇ１および参照画像Ｇ２を用いて被写体の３次元形状を計測する計測部２６、および演算部５の全体の動作を制御する全体制御部２７を備え、照射制御部２１、第１のフィルタ制御部２２、第２のフィルタ制御部２３、撮影制御部２４、第３のフィルタ制御部２５、計測部２６および全体制御部２７が、モニタ６および入力部７とともにバス２８により接続されている。

全体制御部２７は、ＣＰＵ２７Ａ、作業領域となるＲＡＭ２７Ｂおよび操作／制御プログラムを含む各種情報が記憶されているＲＯＭ２７Ｃからなる。

照射制御部２１は、入力部７への指示に基づく全体制御部２７からの指示により、光源１１のオン、オフを制御する。

第１のフィルタ制御部２２は、操作者が行った入力部７への指示に基づく全体制御部２７からの指示に応じて、第１のフィルタ部１２のパターンフィルタ１２Ｂおよび透明フィルタ１２Ｃのいずれかを光路Ｘ０上に位置せしめるために、モータ１２Ｄを回転する指示を行う。

第２のフィルタ制御部２２は、操作者が行った入力部７への指示に基づく全体制御部２７からの指示に応じて、第２のフィルタ部１３の偏光フィルタ１３Ｂおよび透明フィルタ１３Ｃのいずれかを光路Ｘ０上に位置せしめるために、モータ１３Ｄを回転する指示を行う。

撮影制御部２４は、入力部７から３次元形状計測の指示がなされている場合、被写体を撮影して基準画像Ｇ１および参照画像Ｇ２を取得する指示を第１および第２のカメラ２，３に対して行う。また、入力部７から２次元画像取得の指示がなされている場合、被写体を撮影して２次元画像を取得する指示を第１のカメラ２に対して行う。

第３のフィルタ制御部２５は、操作者が行った入力部７への指示に基づく全体制御部２７からの指示に応じて、フィルタ部１４，１５の偏光フィルタ１４Ｂ，１５Ｂおよび透明フィルタ１４Ｃ，１５Ｃのいずれかを光路Ｘ１，Ｘ２上に位置せしめるために、モータ１４Ｄ，１５Ｄを回転する指示を行う。

計測部２６は、パターン光が照射された被写体を撮影することにより第１および第２のカメラ２，３が取得した基準画像Ｇ１および参照画像Ｇ２に基づいて、被写体の３次元形状を計測する。すなわち、基準画像Ｇ１および参照画像Ｇ２上にマッチングウィンドウを設定し、エピポーラ線の情報を用いて、基準画像Ｇ１および参照画像Ｇ２上の画素の対応付けを行って対応点を求める。ここで、計測部２６は、第１および第２のカメラ２，３のレンズの光路と撮像面との位置関係を表す内部パラメータ、並びに第１および第２のカメラ２，３の位置関係を表す外部パラメータをＲＯＭ２７Ｃに記憶しており、内部パラメータおよび外部パラメータを参照して画素の対応付けを行って対応点を求める。なお、内部パラメータおよび外部パラメータは、あらかじめカメラキャリブレーションにより求められ、ＲＯＭ２７Ｃに記憶されている。そして、計測部２６は、画素の対応付けが終了すると、対応点に基づいて被写体の３次元形状を算出し、算出結果を距離画像としてモニタ６に出力する。

次いで、第１の実施形態において行われる処理について説明する。図３および図４は第１の実施形態において行われる処理を示すフローチャートである。まず、全体制御部２７が、被写体に光を照射して撮影を行う指示が入力部７からなされているか否かを判定する（ステップＳＴ１）。ステップＳＴ１が肯定されると、照射制御部２１が光源１１をオンとし（ステップＳＴ２）、さらに全体制御部２７が、パターン光を照射する指示が入力部７からなされているか否かを判定する（ステップＳＴ３）。

ステップＳＴ３が肯定されると、被写体にパターン光を照射して３次元形状計測用の画像を取得する指示がなされていることから、全体制御部２７がプロジェクタ４に対するパターン光発光の設定を行い（ステップＳＴ４）、第１および第２のカメラ２，３に対する偏光光を受光する設定を行う（ステップＳＴ５）。

すなわち、全体制御部２７からの指示により、第１のフィルタ制御部２２が、パターンフィルタ１２Ｂが光源１１から発せられる光の光路Ｘ０上に位置するように第１のフィルタ部１２を回転させる指示を、モータ１２Ｄに対して行う。また、第２のフィルタ制御部２３が、偏光フィルタ１３Ｂが光路Ｘ０上に位置するように第２のフィルタ部１３を回転させる指示を、モータ１３Ｄに対して行う。また、第３のフィルタ制御部２５が、偏光フィルタ１４Ｂ，１５Ｂが第１および第２のカメラ２，３に入射する光の光路Ｘ１，Ｘ２上にそれぞれ位置するようにフィルタ部１４，１５を同期させて回転させる指示を、モータ１４Ｄ，１５Ｄに対して行う。

これにより、光源１１から発せられた光は、パターンフィルタ１２Ｂによりパターン光に変換され、さらに偏光フィルタ１３Ｂによりｘ方向に偏光されて被写体に照射される。一方、被写体において反射されたパターン光は、偏光フィルタ１４Ｂ，１５Ｂによりｙ方向に偏光され、第１および第２のカメラ２，３に入射する。偏光フィルタ１３Ｂの偏光方向と偏光フィルタ１４Ｂ，１５Ｂの偏光方向とは９０度異なるため、被写体において反射したパターン光のうちの拡散光および環境光は第１および第２のカメラ２，３に入射するが、パターン光の正反射光は第１および第２のカメラ２，３には入射しないこととなる。

次いで撮影制御部２４が第１および第２のカメラ２，３により撮影を行い（ステップＳＴ６）、計測部２６が基準画像Ｇ１および参照画像Ｇ２の画素の対応付けを行って対応点を求める（ステップＳＴ７）。そして、計測部２６は対応点に基づいて被写体の３次元形状を算出し（ステップＳＴ８）、算出結果である距離画像をモニタ６に表示し（ステップＳＴ９）、処理を終了する。

一方、ステップＳＴ３が否定されると、全体制御部２７は、３次元形状計測の指示が入力部７からなされているか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が肯定されると、被写体を明るくするためにパターン光ではない通常光を被写体に照射して３次元形状計測用の画像を取得する指示がなされていることから、プロジェクタ４に対する通常光発光の設定を行い（ステップＳＴ１１）、第１および第２のカメラ２，３に対する通常光を受光する設定を行う（ステップＳＴ１２）。

すなわち、全体制御部２７からの指示により、第１のフィルタ制御部２２が、透明フィルタ１２Ｃが光路Ｘ０上に位置するように第１のフィルタ部１２を回転させる指示をモータ１２Ｄに対して行う。また、第２のフィルタ制御部２３が、透明フィルタ１３Ｃが光路Ｘ０上に位置するように第２のフィルタ部１３を回転させる指示を、モータ１３Ｄに対して行う。また、第３のフィルタ制御部２５が、透明フィルタ１４Ｃ，１５Ｃが光路Ｘ１，Ｘ２上にそれぞれ位置するようにフィルタ部１４，１５を同期させて回転させる指示をモータ１４Ｄ，１５Ｄに対して行う。

これにより、光源１１から発せられた光は、透明フィルタ１２Ｃ，１３Ｃを透過して被写体に照射される。一方、被写体において反射された光は、透明フィルタ１４Ｃ，１５Ｃを透過して第１および第２のカメラ２，３に入射する。この後、ステップＳＴ６の処理に進む。

ステップＳＴ１０が否定されると、被写体を明るくするためにパターン光ではない通常光を被写体に照射して２次元画像を取得する指示がなされていることから、全体制御部２７は、プロジェクタ４に対する通常光発光の設定を行い（ステップＳＴ１３）、第１のカメラ２に対する通常光を受光する設定を行う（ステップＳＴ１４）。

すなわち、全体制御部２７からの指示により、第１のフィルタ制御部２２が、透明フィルタ１２Ｃが光路Ｘ０上に位置するように第１のフィルタ部１２を回転させる指示をモータ１２Ｄに対して行う。また、第２のフィルタ制御部２３が、透明フィルタ１３Ｃが光路Ｘ０上に位置するように第２のフィルタ部１３を回転させる指示をモータ１３Ｄに対して行う。また、第３のフィルタ制御部２５が、透明フィルタ１４Ｃが第１のカメラ２に入射する光の光路Ｘ１上に位置するようにフィルタ部１４を回転させる指示を、モータ１４Ｄに対して行う。

これにより、光源１１から発せられた光は、透明フィルタ１２Ｃ，１３Ｃを透過して被写体に照射される。一方、被写体により反射された光は、透明フィルタ１４Ｃを透過して第１のカメラ２に入射する。

次いで撮影制御部２４が第１のカメラ２により撮影を行い（ステップＳＴ１５）、２次元画像をモニタ６に表示し（ステップＳＴ１６）、処理を終了する。

一方、ステップＳＴ１が否定されると、何ら光を照射することなく被写体を撮影して３次元形状計測用の画像を取得する指示がなされていることから、照射制御部２１が光源をオフとし（ステップＳＴ１７）、全体制御部２７が３次元形状計測の指示がなされているか否かを判定する（ステップＳＴ１８）。ステップＳＴ１８が肯定されると、何ら光を照射することなく３次元形状計測用の画像を取得する指示がなされていることから、全体制御部２７は、第１および第２のカメラ２，３に対する通常光を受光する設定を行う（ステップＳＴ１９）。

すなわち、全体制御部２７からの指示により、第３のフィルタ制御部２５が、透明フィルタ１４Ｃ，１５Ｃが光路Ｘ１，Ｘ２上にそれぞれ位置するようにフィルタ部１４，１５を同期させて回転させる指示をモータ１４Ｄ，１５Ｄに対して行う。これにより、被写体により反射された光は、透明フィルタ１４Ｃ，１５Ｃを透過して第１および第２のカメラ２，３に入射する。この後、ステップＳＴ６の処理に進む。なお、この場合、第１および第２のフィルタ１２，１３に対しては何ら制御を行っていないが、いずれかのフィルタを光路Ｘ０上に位置させるようにしてもよい。

ステップＳＴ１８が否定されると、何ら光を照射することなく２次元画像を取得する指示がなされていることから、全体制御部２７は、第１のカメラ２に対する通常光を受光する設定を行う（ステップＳＴ２０）。すなわち、全体制御部２７からの指示により、第３のフィルタ制御部２５が、透明フィルタ１４Ｃが光路Ｘ１上に位置するようにフィルタ部１４を同期させて回転させる指示を、モータ１４Ｄに対して行う。これにより、被写体からの光は、透明フィルタ１４Ｃを透過して第１のカメラ２に入射する。この後、ステップＳＴ１５の処理に進む。

このように、本実施形態によれば、ｘ方向に偏光されたパターン光が被写体に照射され、被写体によるパターン光の反射光がｙ方向に偏光され、この偏光光に基づいて取得された基準画像Ｇ１および参照画像Ｇ２に含まれるパターン光に基づいて、被写体の３次元形状が計測される。これにより、第１および第２のカメラ２，３に入射される光から、被写体におけるパターン光の正反射光の成分を除去することができるため、基準画像Ｇ１および参照画像Ｇ２におけるパターン光の輝度の相違を低減でき、その結果、被写体の３次元形状を精度よく測定することができる。

とくに、基準画像Ｇ１および参照画像Ｇ２に含まれるパターン光の位置に基づいて、基準画像Ｇ１および参照画像Ｇ２における画素の対応付けを行って被写体の３次元形状を計測する場合においては、基準画像Ｇ１および参照画像Ｇ２における対応するパターン光の輝度の相違を低減できるため、ステレオ法を用いての被写体の３次元形状の計測を精度よく行うことができる。

また、パターン光の発光を停止したり、通常光を発光したりして２次元画像を取得するための撮影を行う場合には、フィルタ部１４の偏光フィルタ１４Ａを第１のカメラ２に入射する光の光路Ｘ１から退避させるようにしたため、第１のカメラ２に入射される光量を大きくすることができる。したがって、露光時間を長くしたり、通常光の発光量を大きくしたりする必要がなくなり、その結果、容易に２次元画像を取得することができる。

なお、上記第１の実施形態においては、２台のカメラを使用しているが、３台以上のカメラを使用し、複数の画像を用いて被写体の３次元形状を計測してもよい。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態においてはプロジェクタの構成のみが第１の実施形態と異なるため、ここではプロジェクタの構成についてのみ説明する。図５は本発明の第２の実施形態による３次元形状計測装置におけるプロジェクタの構成を示す図である。図５に示すように第２の実施形態による３次元形状計測装置のプロジェクタ４Ａは、ＬＥＤ等の光を発する光源４１、光源４１から発せられた光Ｌ０を偏光方向が直交する２つの光Ｌ１，Ｌ２に分割するための偏光ビームスプリッタ４２、光Ｌ２の光路を光Ｌ１と平行にするためのミラー４３、ミラー４３により反射された光Ｌ２の偏光方向を光Ｌ１と一致させるための回転子４４、回転子４４により偏光方向が回転された光Ｌ２′の光路を光Ｌ１に向けて９０度変更するためのミラー４５、光Ｌ２′と光Ｌ１とを合成するハーフミラー４６、および第１の実施形態と同様の第１のフィルタ部１２を備える。

また、プロジェクタ４Ａは、光源４１と偏光ビームスプリッタ４２との間における、光源４１から発せられた光の光路Ｘ０上に出し入れ自在に配置されたミラー４７、ミラー４７により反射された光Ｌ０の光路を変更するためのミラー４８，４９および光路Ｘ０上に配置されたハーフミラー５０を備える。

第２の実施形態によるプロジェクタ４Ａにおいては、パターン光を出射する場合には、ミラー４７を光Ｌ０の光路から退避させる。これにより、光源４１から発せられた光Ｌ０は、偏光ビームスプリッタ４２により光Ｌ１，Ｌ２に分割される。なお、光Ｌ１の偏光方向はｘ方向、光Ｌ２の偏光方向はｙ方向となる。光Ｌ２はミラー４３により光路が変更され、回転子４４により偏光方向が光Ｌ１と一致するｘ方向となるように回転される。そして、偏光方向がｘ方向となった光Ｌ２′はミラー４５により光路が変更され、ハーフミラー４６により光Ｌ１と合成され、第１のフィルタ部１２およびハーフミラー５０を透過して、プロジェクタ４Ａから出射される。

一方、通常光を出射する場合には、図６に示すようにミラー４７を光Ｌ０の光路Ｘ０上に位置せしめる。これにより、光源４１から発せられた光Ｌ０は、ミラー４７により反射され、さらにミラー４８，４９により反射され、最後にハーフミラー５０により光路Ｘ０上に光路が変更されて、プロジェクタ４Ａから出射される。

このようにプロジェクタ４Ａを構成することにより、プロジェクタ４Ａから発せられるパターン光の光量を第１の実施形態の２倍とすることができるため、より正確に被写体の３次元形状を計測することができる。

次いで、本発明の第３の実施形態について説明する。図７は本発明の第３の実施形態によるによる３次元形状計測装置の外観斜視図である。なお、図７において第１の実施形態と同一の構成については同一の参照番号を付与し、詳細な説明は省略する。

第３の実施形態による３次元形状計測装置１Ａは、ＴＯＦ方式の距離測定法により被写体の３次元形状を計測するためのものであり、光源１１に代えて、光を発する光源５１を有するプロジェクタ４Ｂを備えるとともに、第１のカメラ２およびフィルタ部１４のみを備えてなる。なお、演算部５は、光源５１から発せられる光を所定周期により変調する変調制御部、および上述したＴＯＦ方式の距離測定方法によりカメラ２に設けられた撮像素子の受光素子毎に距離情報を算出することにより被写体の３次元形状を計測する計測部を備えてなる。

このようにＴＯＦ方式の距離測定法を用いる場合においても、光源５１から出射される光を第１のフィルタ１２によりパターン光に変換するとともに、第２のフィルタ１３により偏光して、偏光されたパターン光を被写体に照射することが可能である。また、パターン光の照射時において、第１のカメラ２に入射される光を、パターン光の偏光方向と直交する方向に偏光することにより、変調されたパターン光の被写体による正反射光が第１のカメラ２に入射することを防止できる。このため、ＴＯＦ方式により距離測定法を用いた場合においても、被写体における正反射光の第１のカメラ２への入射を防止することができるため、被写体の３次元形状を精度よく計測することができる。

なお、上記第３の実施形態においては、プロジェクタ４Ｂとして、第２の実施形態におけるプロジェクタ４Ａを用いることも可能である。これにより、変調されたパターン光の光量をより大きくすることができる。

また、上記第３の実施形態において、２次元画像を取得する場合には、フィルタ部１４の透明フィルタ１４Ｃを光軸Ｘ１上に位置せしめればよい。

また、上記第３の実施形態においては、ＴＯＦ方式の距離測定法により被写体の３次元形状を計測しているが、上述した空間コード化法を用いて距離を測定する場合にも適用できる。この場合、光源５１に代えて、第１および第２の実施形態と同様の光源１１，４１を使用し、第１のフィルタ１２に用いるパターンフィルタ１２Ａとして、明暗のピッチが倍々に変化する多数のフィルタを用意しておき、明暗のピッチが異なるパターン光を順次被写体に照射して、被写体の３次元形状を計測するようにすればよい。

以上、本発明の実施形態に係る装置１について説明したが、コンピュータを、上記の第１のフィルタ制御部２２、第２のフィルタ制御部２３、撮影制御部２４、第３のフィルタ制御部２５および計測部２６に対応する手段として機能させ、図３，４に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による３次元形状計測装置の外観斜視図 演算部の構成を示す概略ブロック図 第１の実施形態において行われる処理を示すフローチャート（その１） 第１の実施形態において行われる処理を示すフローチャート（その２） 本発明の第２の実施形態による３次元形状計測装置におけるプロジェクタの構成を示す図（その１） 本発明の第２の実施形態による３次元形状計測装置におけるプロジェクタの構成を示す図（その２） 本発明の第３の実施形態による３次元形状計測装置の外観斜視図 画素の対応付けを説明するための図

符号の説明

１，１Ａ ３次元形状計測装置
２，３ カメラ
４，４Ａ，４Ｂ プロジェクタ
５ 演算部
６ モニタ
７ 入力部
１１，４１，５１ 光源
１２ 第１のフィルタ部
１３ 第２のフィルタ部
１４，１５ フィルタ部
２１ 照射制御部
２２ 第１のフィルタ制御部
２３ 第２のフィルタ制御部
２４ 撮影制御部
２５ 第３のフィルタ制御部
２６ 計測部
２７ 全体制御部

Claims (9)

1. 被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段と、
   所定方向に偏光されたパターン光を前記被写体に照射する照射手段と、
   前記画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光する偏光手段と、
   前記計測用画像に含まれる前記パターン光に基づいて、前記被写体の３次元形状を計測する計測手段とを備えたことを特徴とする３次元形状計測装置。
2. 前記照射手段が、前記パターン光および通常光を切り替え可能に発光する手段であり、
   前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時および前記通常光の発光時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段をさらに備えたことを特徴とする請求項１記載の３次元形状計測装置。
3. 前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段をさらに備えたことを特徴とする請求項１記載の３次元形状計測装置。
4. 前記照射手段は、光を発光する光源、該光を分割するに際し、該分割により得られる一方の光を前記所定方向に偏光して分割する分割手段、該分割された光のうちの他方の光の偏光方向を前記所定方向に回転する回転手段、該偏光方向が回転された後の前記他方の光を前記一方の光と合成する合成手段、および前記合成後の光を前記パターン光に変換する変換手段とを備えたことを特徴とする請求項１から３のいずれか１項記載の３次元形状計測装置。
5. 前記画像取得手段は、前記被写体を撮影することにより複数の前記計測用画像を取得する少なくとも１つの撮影手段を有し、
   前記計測手段は、前記計測用画像に含まれる前記パターン光の位置に基づいて、前記複数の計測用画像における画素の対応付けを行って、前記被写体までの距離を算出する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元形状計測装置。
6. 前記照射手段は、所定周期にて強度が時間的に変化するように変調された前記パターン光を前記被写体に照射する手段であり、
   前記画像取得手段は、前記反射光の光量に応じた受光信号を出力する１以上の受光素子を有する撮影手段を有し、
   前記計測手段は、前記受光信号から得られる前記計測用画像に基づいて、前記被写体までの距離を算出する手段であることを特徴とする請求項１から４のいずれか１項記載の３次元形状計測装置。
7. 所定方向に偏光されたパターン光を被写体に照射し、
   前記被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光し、
   前記計測用画像に含まれる前記パターン光に基づいて、前記被写体の３次元形状を計測することを特徴とする３次元形状計測方法。
8. 所定方向に偏光されたパターン光を被写体に照射する手順と、
   前記被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光する手順と、
   前記計測用画像に含まれる前記パターン光に基づいて、前記被写体の３次元形状を計測する手順とを有することを特徴とする３次元形状計測方法をコンピュータに実行させるためのプログラム。
9. 被写体を撮影することにより、該被写体の３次元形状を計測するための計測用画像を取得する画像取得手段と、
   所定方向に偏光されたパターン光を前記被写体に照射する照射手段と、
   前記画像取得手段に入射される、前記被写体による前記パターン光の反射光を前記所定方向と異なる方向に偏光する偏光手段と、
   前記画像取得手段に入射される前記反射光の光路上に、前記偏光手段を出し入れ可能に移動する偏光制御手段であって、前記照射手段による前記パターン光の発光時に前記偏光手段を前記反射光の光路上に位置せしめ、前記照射手段による前記パターン光の発光停止時に前記偏光手段を前記反射光の光路上から退避させる偏光制御手段を備えたことを特徴とする３次元形状計測用撮影装置。

Images