JP2016125917A - 三次元形状計測装置、方法およびプログラム - Google Patents

Abstract

【課題】小型化および低価格化を可能にする三次元形状計測装置を提供する。【解決手段】遮光部と透光部を交互に配置した螺旋を２本以上形成すると共に、全体の４分の１に相当する部位に透明なテクスチャ取得窓を形成したマスク８を、携帯端末ＭＴの背面に装着する。そして、先ずこのマスク８のテクスチャ取得窓を通して観測対象物のテクスチャ画像を取得する。次に、マスク８を携帯端末ＭＴのバイブレーション通知用モータ４により回転させながら、携帯端末ＭＴのライト３の光をマスク８を介して照射することで観測対象物に対しグレイコードパターンを投影させる。この状態で携帯端末ＭＴのカメラ２を用いて観測対象物を撮影し、その画像データと事前に作成されたルックアップテーブルを用いて観測対象物の三次元座標を得、この三次元座標とテクスチャ画像の色情報を計測結果として出力する。【選択図】図５

Description

この発明は、物体をカメラで撮影して当該物体の三次元形状を計測する三次元形状計測装置、方法およびプログラムに関する。

近年、人の顔や物体をカメラで撮影してその撮像画像から顔や物体の三次元形状を求める技術が提案されている。この技術は、例えばグレイコードパターン光投影法を用い、プロジェクタをカメラの上に配置して当該プロジェクタからグレイコードパターン光を観測対象物に投影し、この状態で観測対象物をカメラにより撮像してその撮像画像をもとに観測対象の三次元形状を求めるものである（例えば、非特許文献１を参照）。

堀 磨伊也ほか、「３次元形状計測による正面顔の生成」、情報処理学会研究報告 2005-CVIM-149 (18) pp.127-134、2005/5/2.

ところが、非特許文献１に記載された技術は、グレイコードパターンを観測対象物に投影するためにプロジェクタを用いる。このため、装置の構成が大がかりになると共に高価になるという課題がある。

この発明は上記事情に着目してなされたもので、その目的とするところは、装置の小型化および低価格化を可能にした三次元形状計測装置、方法およびプログラムを提供することにある。

上記目的を達成するためにこの発明の第１の態様は、観測対象物の三次元形状を計測する三次元形状計測装置にあって、暗部と明部による縞紋様を形成する螺旋状パターンを生成するための第１の領域と、透明なテクスチャ取得窓を形成した第２の領域とを備えた螺旋状パターン生成光学系を新たに備える。そして、発光部から上記観測対象物に対し上記螺旋状パターン生成光学系のテクスチャ取得窓を通して照明している状態で、当該観測対象物を撮像部により撮像して第１の画像データを取得すると共に、上記螺旋状パターン生成光学系をその螺旋中心を軸として回転駆動部により回転させ、かつ上記観測対象物に対し上記縞紋様が動的に変化する螺旋状パターンが投影されている状態で、当該観測対象物を上記撮像部により撮像して第２の画像データを取得する。そして、制御部により、上記撮像部により取得された第２の画像データをもとに上記観測対象物の三次元形状を表す三次元座標情報を求めると共に、上記取得された第１の画像データから上記画素ごとの色情報を求め、当該求められた三次元座標および色情報を上記観測対象物の三次元形状の計測結果を表す情報として出力するようにしたものである。

この発明の第２の態様は、上記螺旋状パターン生成光学系を、遮光部と透光部を交互に配置したパターンを螺旋状に形成したマスクにより構成したものである。

この発明の第３の態様は、上記回転駆動部を携帯端末が備えるバイブレーション用モータと兼用するようにしたものである。

この発明の第４の態様は、上記制御部に、上記螺旋状パターン生成光学系の回転角、上記螺旋の位置、上記撮像部の光軸方向の位置、上記撮像部の撮像素子上の画素の位置座標のすべての組み合わせに対応付けて三次元座標を記憶したルックアップテーブルと、画像処理手段とを備える。そして画像処理手段により、上記撮像部により得られた画像データからその画素ごとに輝度が最大となる螺旋状パターン生成光学系の回転角を求め、当該回転角と、上記画素の位置座標と、上記螺旋の位置との組み合わせに対応する三次元座標を上記ルックアップテーブルから検索し、当該検索された三次元座標を上記観測対象物の三次元形状を表す情報として出力するようにしたものである。

この発明の第５の態様は、上記制御部により、上記撮像部の撮像素子上で見たときの上記螺旋状パターン生成光学系により投影される縞紋様の間隔をｘpixel、螺旋の本数をｎ本とした場合に、上記螺旋状パターン生成光学系を３６０÷ｘ÷ｎ度ずつ回転させてｘ枚の静止画像を撮影するべく、上記回転駆動部および撮像部を制御するようにしたものである。

この発明の第１の態様によれば、観測対象物の三次元形状を計測するために、螺旋状パターン生成光学系を使用して、暗部と明部による縞紋様が動的に変化する螺旋状パターンを観測対象物に投影するようにしている。このため、プロジェクタなどの大掛かりな装置を使用することなく、観測対象物の三次元形状を計測することが可能となり、これにより小型で安価な装置を提供できる。

また、上記螺旋状パターン生成光学系に透明なテクスチャ取得窓を形成した領域を設け、このテクスチャ取得窓を通して観測対象物のテクスチャ画像データを得るようにしたことによって、螺旋状パターン生成光学系を着脱することなく、または新たにカメラを設けることなく、テクスチャ画像を得ることができる。

この発明の第２の態様によれば、螺旋状パターン生成光学系を、遮光部と透光部を交互に配置した縞紋様のパターンを螺旋状に形成したマスクにより構成したことにより、螺旋状パターン生成光学系を安価に作成できる利点がある。

この発明の第３の態様によれば、回転駆動部を携帯端末が備えるバイブレーション用モータと兼用するようにしたことで、螺旋状パターン生成光学系を回転させるために新たな回転駆動系を設ける必要がなく、これにより装置のさらなる小型化および低価格化を図ることができる。

この発明の第４の態様によれば、事前に作成したルックアップテーブルを用いて三次元座標を求めるようにしているので、すべて計算処理により三次元座標を求める場合に比べ、少ない計算量で短時間に三次元座標を求めることができる。

この発明の第５の態様によれば、螺旋状パターン生成光学系を３６０÷ｘ÷ｎずつ回転させてｘ枚の静止画像を撮影するべく、回転駆動系およびカメラを制御するようにしたことによって、縞の紋様がカメラの撮像素子上で見て１画素移動するごとに１枚の画像を撮影することができ、これにより観測対象物の全域の奥行き情報をもれなく得ることができる。

すなわちこの発明によれば、装置の小型化および低価格化を可能にした三次元形状計測装置、方法およびプログラムを提供することができる。

この発明の一実施形態に係る、携帯端末を用いた三次元形状計測装置の概要と用途の一例を示す図。 図１に示した携帯端末の背面側の構成を示す図。 図１に示した携帯端末に設けられる、グレイコードパターン生成用のマスクの構成を示す図。 図３に示したマスクに当該マスクと中心を同じくする円を重畳させた場合の画像を示す図。 図１に示した携帯端末の機能構成を示すブロック図。 図５に示した携帯端末の処理手順と処理内容を示すフローチャート。 図６に示したフローチャートのうち、ルックアップテーブルの作成処理の手順と処理内容を示すフローチャート。 図６に示したフローチャートのうち、画像処理の手順と処理内容を示すフローチャート。

以下、図面を参照してこの発明に係わる実施形態を説明する。
［一実施形態］
（構成）
図１は、この発明の一実施形態に係る三次元形状計測装置の概要と用途の一例を示す図である。
この実施形態は、三次元形状計測装置として携帯端末ＭＴを用いる。そして、当該携帯端末ＭＴにより、観測対象物ＢＬに対しマスクを用いてグレイコードパターン光を投影し、この状態で観測対象物ＢＬを撮像してその撮像画像をもとに観測対象物ＢＬの三次元形状を算出する。

携帯端末ＭＴには、図２に示すようにその背面に、図２に示すようにその背面に、撮像部としてのカメラ２と、発光部としてのライト３と、回転駆動部としてのモータ４と、螺旋状パターン生成光学系としてのマスク８が配設されている。

このうちカメラ２は、携帯端末ＭＴに設けられた既存のもので、本実施形態では観測対象物ＢＬを撮像するために使用される。ライト３は、上記カメラ２のフラッシュライトとして携帯端末ＭＴが既に備えているもので、本実施形態ではマスク８のマスクパターン（グレイコードパターン）光を観測対象物ＢＬに投影するために使用される。モータ４は、上記マスク８をその螺旋中央部を中心として回転させるもので、例えばバイブレーション通知用として携帯端末ＭＴに設けられているバイブレーション通知用の小型モータが用いられる。

マスク８は、図３に示すように遮光部８１と透光部８２を交互に配置したアルキメデス螺旋を２本以上形成すると共に、全体の４分の１に相当する部位に透明なテクスチャ取得窓８３を形成したものとなっている。上記アルキメデス螺旋は、上記ライト３の発光を遮光部８１と透光部８２でそれぞれ遮光および透過させることにより、観測対象物ＢＬ上にマスクパターン（グレイコードパターン）を投影するもので、マスク８が１回転する間に、観測対象物ＢＬのすべての場所で少なくとも１回は遮光された状態と照明された状態が出現するように構成される。

また携帯端末ＭＴは、上記カメラ２、ライト３、モータ４およびマスク８の他に、図５に示すように、入出力インタフェースユニット５と、制御ユニット６と、記憶ユニット７を備えている。なお、携帯端末ＭＴは無線インタフェースユニットを備えているが、この発明には直接関係しないので図示を省略している。

入出力インタフェースユニット５は、キーパッドおよび表示器を備えた入出力部１との間で操作信号の入力と表示データの出力を行うと共に、上記カメラ２、ライト３およびモータ４に対し制御信号を供給して駆動させると共に、カメラ２により撮像された画像データを取り込む機能を有する。

記憶ユニット７は、記憶媒体としてＳＳＤ（Solid State Drive）等の書き込みおよび読み出しが可能な不揮発性メモリを有し、この発明に係る記憶機能として、ルックアップテーブル記憶部７１と、テクスチャ情報記憶部７２と、撮像画像記憶部７３と、三次元画像情報記憶部７４を備えている。

ルックアップテーブル記憶部７１は、ｔ，θ，ｉｘ，ｉｙのすべての組み合わせとその時の三次元座標（ｘ，ｙ，ｚ）との対応関係を表すルックアップテーブルを記憶するために用いられる。なお、ｔはマスク８の回転角、θはマスク８の回転中心から半径方向への角度（螺旋の位置）、ｉｘおよびｉｙはカメラ２の撮像素子上における座標位置をそれぞれ示す。

テクスチャ情報記憶部７２は、上記マスク８に形成された透明なテクスチャ取得用の窓８３を通して撮像した観測対象物ＢＬのテクスチャ情報を記憶するために用いられる。撮像画像記憶部７３は、観測対象物ＢＬに上記マスク８によるマスクパターンが投影された状態で撮像して得られる当該観測対象物ＢＬの画像データを記憶するために用いられる。三次元画像情報記憶部７４は、後述する画像処理部６４によりピクセルごとに求められる三次元座標データとテクスチャの色を表す情報を記憶するために使用される。

制御ユニット６は、中央処理ユニット（Central Processing Unit：ＣＰＵ）を有し、この発明に係る制御機能として、ルックアップテーブル作成部６１と、テクスチャ撮影制御部６２と、三次元画像撮影制御部６３と、画像処理部６４を備えている。これらの制御部は、いずれも図示しないプログラムメモリに格納されたプログラムを上記ＣＰＵに実行させることにより実現される。

ルックアップテーブル作成部６１は、観測対象物ＢＬの三次元形状の計測に先立ちルックアップテーブルを作成する処理を行う。具体的には、マスク８の回転角ｔを所定量Δｔずつ変化させ、かつ螺旋の位置θを所定量Δθずつ変化させ、さらに観測対象物ＢＬに対するカメラ２の光軸方向の位置ｙを所定量Δｙずつ変化させながら、投影される光線上の１点の撮像素子上の位置座標ｉｘ，ｉｙを求める。そして、上記回転角ｔ、螺旋の位置θ、光軸方向の位置ｙおよび撮像素子上の位置座標ｉｘ，ｉｙのすべての組み合わせについて、それぞれ三次元座標値（ｘ，ｙ，ｚ）をルークアップテーブル記憶部７１に格納する。なお、ｘはカメラ２の光軸に対し直交しマスク８と並行する軸、ｙはカメラの光軸と平行する軸、ｚはｘおよびｙと直交する軸とそれぞれ定義する。

テクスチャ撮影制御部６２は、上記カメラ２、ライト３およびモータ４を駆動制御することにより、上記マスク８に形成された透明なテクスチャ取得窓８３を通して観測対象物ＢＬを撮像する。そして、これにより得られた観測対象物ＢＬのテクスチャ情報をテクスチャ情報記憶部７２に格納する処理を行う。

三次元画像撮影制御部６３は、上記ライト３およびモータ４を駆動制御することにより、上記マスク８によるマスクパターンを動的に変化されながら観測対象物ＢＬの表面に投影し、この状態でカメラ２により観測対象物ＢＬを複数回撮像して得られた画像データを撮影画像記憶部７３に格納する処理を行う。

画像処理部６４は、上記撮影画像記憶部７３に記憶された複数の画像データ中の任意のピクセル（ｉｘ，ｉｙ）に着目し、輝度が最大となるマスクパターンの回転角ｔを求めると共に、すべての螺旋の位置θに対してこのときのｔ，θ，ｉｘ，ｉｙを引数として上記ルックアップテーブル記憶部７１から対応する三次元座標（ｘ，ｙ，ｚ）の候補を求め、この求められた三次元座標の候補と隣接するピクセルの三次元座標の候補との間の距離に応じて上記ピクセルにラベル付けをする処理を、すべてのピクセルに対し実行する。そして、ピクセルごとに、ラベルごとのピクセル数をカウントしてそのカウント値が最大となるラベルに対応する三次元座標の候補を選択し、この選択した三次元座標を上記テクスチャ情報記憶部７２に記憶されたテクスチャの色を表す情報と共に三次元画像情報記憶部７４に格納する処理を行う。

（動作）
次に、以上のように構成された携帯端末ＭＴによる三次元形状計測動作について説明する。図６はその処理手順と処理内容の全体の流れを示すフローチャートである。

（１）ルックアップテーブルの作成
観測対象物ＢＬの形状の三次元計測を行う前に、先ずステップＳ１においてルックアップ作成部６１の制御の下、ルックアップテーブルの作成が以下のように行われる。図７はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ１１、Ｓ１２、Ｓ１３により、それぞれマスク８の回転角ｔ、螺旋の位置θおよびカメラ２の光軸上の位置ｙを初期値に設定する。そして、この状態でライト３を点灯させる。次にステップＳ１４において、投影される光線上の１点をＳ＝（θcos(θ+t)，ｙ，θsin(θ+t) ）とする。これをカメラ２から見ると、（ｐｘ，ｐｙ，ｐｚ）＝Ｒ・（Ｓ−Ｃ）となる。また、カメラ２の撮像素子上の位置は、（ｉｘ，ｉｙ）＝（ｐｘ／ｐｚ＊width，ｐｙ，ｐｚ＊height）となる。そして、ルックアップテーブルには、LOOKUPTABLE [t][ θ][ix][iy]＝（ｘ，ｙ，ｚ）と代入する。

但し、各パラメータは以下の通り定義する。
螺旋の本数をｎとする。
撮像素子上で見た螺旋の間隔をｘ pixelとする。
マスクパターンは、ｔ＝０〜２π／ｎの範囲で２π／ｘ／ｎずつ回転するものとする。
観測対象物ＢＬのｙ座標は、ｙmin〜ｙmaxの範囲とする。
マスクパターンの螺旋は、ｘ＝θcos(θ+t)，ｙ＝0，ｚ＝θsin(θ+t)であるとする。
三次元空間上のカメラ２の座標はＣ＝（ｃｘ，ｃｙ，ｃｚ）とする。
カメラ２の姿勢行列をＲとする。
撮像する画像のサイズを（width，height）pixelとする。

ルックアップテーブル作成部６１は、上記ステップＳ１４による処理を、ステップＳ１６で光軸上の位置ｙの値を予め設定したΔｙずつ増加させるごとに繰り返す。そして、ステップＳ１５において光軸上の位置ｙがその最大値ｙmaxを超えたと判定されると、ｔ＝０、θ＝０における処理を終了する。

次にステップＳ１８で螺旋の位置θの値を予め設定されたΔθ増加させ、光軸上の位置ｙ＝０からｙmaxまでΔｙ間隔で上記ステップＳ１４による処理を繰り返す。そして、ステップＳ１７において螺旋の位置θの値がその最大値θmaxを超えたと判定されると、ｔ＝０でかつ０≦θ≦θmaxにおける処理を終了する。

続いてステップＳ２０で、マスク８の回転角ｔを予め設定した値（２π／ｘ／ｎ）増加させ、この状態でθが０≦θ≦θmaxの範囲でΔθ増加するごとに、ｙ＝０からｙmaxまでΔｙ間隔で上記ステップＳ１４による処理を繰り返す。そして、ステップＳ１９においてマスク８の回転角ｔの値がその最大値２π／ｎを超えたと判定されると、ルックアップテーブルの作成処理を終了する。

なお、ルックアップテーブルにおいてデータの抜けが生じないようにするために、上記Δｙは（θcos(θ+t)，ｙ，θsin(θ+t)）と（θcos(θ+t)，ｙ＋Δｙ，θsin(θ+t)）をカメラ２の撮像素子に投影したときに、隣接ピクセルになるように設定される。また同様に、Δθは（θcos(θ+t)，ｙ，θsin(θ+t)）と（(θ＋Δθ)cos(θ+Δθ+t)，ｙ，(θ＋Δθ)sin(θ+Δθ+t)）をカメラ２の撮像素子に投影したときに、隣接ピクセルになるように設定される。

（２）テクスチャの撮影
上記ルックアップテーブルの作成終了後に、ユーザがシャッタボタンを押下したとする。携帯端末ＭＴは、上記シャッタボタンの押下をステップＳ２で検出すると、ステップＳ３によりテクスチャ撮影制御部６２の制御の下、テクスチャの撮影を行う。この撮影は、マスク８に設けられた透明なテクスチャ撮影窓８３を通してカメラ２により行われる。そして、この撮影により得られた画像データはテクスチャ情報記憶部７２に格納される。したがって、マスク８を取り外すことなくテクスチャの撮影を行うことができる。

（３）三次元形状の計測のための撮影
上記テクスチャの撮影が終了すると、携帯端末ＭＴは次に三次元画像撮影制御部６３の制御の下、マスク８を回転させながら観測対象物ＢＬの撮影を行う。先ずステップＳ４によりモータ４を駆動制御してマスク８を一定量回転させるごとに、ステップＳ５によりカメラ２を動作させて観測対象物ＢＬを撮影する。そして、カメラ２により撮影された静止画データを撮影画像記憶部７３に格納する。この撮影動作は、ステップＳ６でマスク８が１／ｎ回転したことが検出されるまで、繰り返し行われる。

ところで、観測対象物ＢＬの全域にわたって三次元形状の計測をするには、十分な数の静止画を撮影する必要がある。例えば、カメラ２の撮像素子上で見てマスク８により投影される縞の間隔（明るい部分および暗い部分の双方）がｘpixelであり、螺旋がｎ本である場合、マスク８を３６０÷ｘ÷ｎずつ回転させてｘ枚の静止画像を撮影する。すなわち、マスク８により投影される縞紋様がカメラ２の撮像素子上で見て１pixel移動するごとに１枚の画像を撮影する。

中心がマスク８と一致する円を上書きした図を図４に示す。螺旋の形状は（ｘ，ｚ）＝（θcos(θ/n)，θsin(θ/n)）で表され、螺旋の本数ｎはｎ≧２に設定される。図４はｎ＝２の場合を示している。このように構成されたマスク８を、その中心を軸として１回転させることで、観測対象物ＢＬ上の如何なる場所にも最低１回は透光部分と遮光部分が通過する。マスク８が１回転する間に、観測対象物ＢＬ上のどの点でも螺旋の間隔Ｄ＝πの２倍以上（図４の例では２倍）の回数だけ縞が通過する。

なお、携帯端末ＭＴは軽量であるため、実際に撮影する際は手振れが発生しやすい。従って本実施形態では携帯端末ＭＴをスタンドで固定した状態で撮影する。また、経緯端末ＭＴが備えるライト３は発光強度がそれほど強くないため、観測対象物ＢＬに対する携帯端末ＭＴの距離を１０〜２０cm程度に設定して計測を行う。この範囲であれば、近似的に焦点が合っており、マスクパターンを用いても十分なコントラストが得られる。

（４）三次元座標を求めるための画像処理
上記マスク８が１／ｎ回転すると、携帯端末ＭＴはステップＳ７において、画像処理部補６４の制御の下で三次元座標を求めるための画像処理を以下のように行う。図８はその処理手順と処理内容を示すフローチャートである。

すなわち、先ずステップＳ７１において、撮影画像記憶部７３から撮影された複数の画像データを読み出し、当該画像データのあるピクセル（ｉｘ，ｉｙ）に着目し、輝度が最大となるときのマスクパターンの回転角ｔを求める。続いてステップＳ７２により螺旋位置θを１つ選択し、ステップＳ７３において、この選択された螺旋位置θを含むｔ，θ，ｉｘ，ｉｙを引数として上記ルックアップテーブル記憶部７１から対応する三次元座標（ｘ，ｙ，ｚ）の候補を検索する。この三次元座標候補を検索処理は、螺旋位置θをΔθずつ変化させるごとに繰り返し行われる。

上記θが最大値θmaxを超えたことがステップＳ７４で検出されると、画像処理部６４はステップＳ７５において、上記検索された三次元座標候補と隣接するピクセルの三次元座標候補との間の距離を計算する。そして、当該計算された距離が予め設定したしきい値以下であるか否かを判定する。この判定の結果、上記ピクセル間の三次元座標候補の距離が閾値以下であれば、ステップＳ７６において当該ピクセルに対し隣接するピクセルと同じラベルを貼る。これに対し上記ピクセル間の三次元座標候補の距離が閾値を超えていれば、ステップＳ７７において当該ピクセルに対し新しいラベルを貼る。以上述べたステップＳ７１〜Ｓ７７における処理は、ピクセルを１つ選択するごとに繰り返し行われる。

すべてのピクセルに対する処理が終了したことがステップＳ７８で検出されると、画像処理部６４は次にステップＳ７９に移行し、ラベルごとにピクセル数をカウントする。そしてステップＳ８０により、上記カウント値が最大となるラベルに対応する三次元座標候補を選択し、この選択した三次元座標と、上記テクスチャ情報記憶部７２に記憶されたテクスチャの色を表す情報を、ピクセルごとに三次元画像情報記憶部７４に格納する。

そうして三次元座標を求めるための画像処理が終了すると、最後にステップＳ８により三次元画像撮影制御部６３がモータ４の回転を停止させる。

なお、上記三次元画像情報記憶部７４に記憶された、ピクセルごとの三次元座標およびテクスチャの色を表す情報は、ユーザの操作に応じて三次元画像情報記憶部７４から読み出され、これらの情報をもとに観測対象物ＢＬの三次元画像が生成されて、入出力部１の表示器に表示される。また、上記三次元画像情報記憶部７４に記憶されたピクセルごとの三次元座標およびテクスチャの色を表す情報を、通信ネットワークまたは記録媒体を使用してオブジェクト作成者に提供することで、上記監視対象物ＢＬの三次元オブジェを制作することも可能である。

（用途）
以上述べた三次元形状計測装置を用いて例えば人の顔の三次元形状を計測し、その計測データを事前に登録した三次元形状の情報と比較することで、例えば建物や部屋へ入る際のセキュリティチェックを行うことが可能となる。また、前記三次元形状計測装置を複数台使用するか、または１台の三次元形状計測装置を観測対象物の周囲の異なる位置に移動させることで、観測対象物の側面や背面など多面的な三次元形状を取得することができる。

（実施形態の効果）
以上詳述したように本実施形態では、遮光部８１と透光部８２を交互に配置したアルキメデス螺旋を２本以上形成すると共に、全体の４分の１に相当する部位に透明なテクスチャ取得窓８３を形成したマスク８を、携帯端末ＭＴの背面に配置している。そして、このマスク８を携帯端末ＭＴのバイブレーション通知用のモータ４により回転させながら、携帯端末ＭＴのライト３の光を当該マスク８を介して照射することで、観測対象物ＢＬにグレイコードパターンを投影させる。そして、この状態で携帯端末ＭＴのカメラ２を用いて上記観測対象物ＢＬを撮影し、その画像データと事前に作成されたルックアップテーブルを用いて上記間作対象物ＢＬの三次元座標を得るようにしている。

したがって、携帯端末ＭＴに既に設けられているカメラ２とそのフラッシュライト３、およびバイブレーション通知用のモータ４を利用することで、プロジェクタなどの大掛かりな装置を使用することなく、携帯端末ＭＴのみで簡単に観測対象物ＢＬの三次元形状を表す座標情報を計測することが可能となる。

また、マスク８に設けられた透明なテクスチャ取得窓８３を通してカメラ２で観測対象物ＢＬを撮影することにより、観測対象物ＢＬの表面のテクスチャ情報を取得することができる。すなわち、マスク８を着脱することなく、三次元形状の計測のための撮影と、色などのテクスチャ情報を取得するための撮影を連続して行うことができる。

さらに、マスク８として、遮光部８１と透光部８２を交互に配置したアルキメデス螺旋を２本以上形成し、マスク８により投影される縞紋様がカメラ２の撮像素子上で見て１pixel移動するごとに１枚の画像を撮影するようにしている。このため、撮影範囲の全域にわたって、少なくとも一度ずつは明るい部分と暗い部分が投影される。これにより、撮影範囲の全域にわたって奥行き情報を得ることが可能となり、観測対象物ＢＬの全面についてもれなく三次元座標を得ることが可能となる。

［他の実施形態］
前記実施形態では、マスク８の１／４の領域に透明なテクスチャ取得窓８３を形成したが、テクスチャ取得窓８３のサイズはテクスチャ撮影と三次元画像取得用の撮影を両立できる範囲で、如何なるサイズに設定してもよい。

また、マスク８の代わりに、同様の渦巻き状の縞パターンからなるグレイコードパターンを生成することが可能なレンチキュラーレンズや磨りガラスを用いることも可能である。

さらに、三次元形状計測装置として使用する携帯端末としては、携帯電話機の他にスマートフォンやタブレット型端末を用いてもよく、また携帯端末以外にカメラ、ライトおよびモータを備えたゲーム機やコンパクトカメラ、音楽・映像プレーヤ等を利用してもよい。その他、グレイコードパターンを生成する部材の構成、三次元形状計測処理の手順と処理内容等についても、この発明の要旨を逸脱しない範囲で種々変形して実施可能である。

要するにこの発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態に亘る構成要素を適宜組み合せてもよい。

ＭＴ…携帯端末、ＢＬ…観測対象物、１…入出力部、２…カメラ、３…ライト、４…モータ、５…入出力インタフェースユニット、６…制御ユニット、７…記憶ユニット、８…マスク、６１…ルックアップテーブル作成部、６２…テクスチャ撮影制御部、６３…三次元画像撮影制御部、６４…画像処理部、７１…ルックアップテーブル記憶部、７２…テクスチャ情報記憶部、７３…撮影画像記憶部、７４…三次元画像情報記憶部、８１…遮光部、８２…透光部、８３…テクスチャ取得窓。

Claims (7)

1. 観測対象物の三次元形状を計測する三次元形状計測装置であって、
   暗部と明部による縞紋様を形成する螺旋状パターンを生成するための第１の領域と、透明なテクスチャ取得窓を形成した第２の領域とを備えた螺旋状パターン生成光学系と、
   前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させる回転駆動部と、
   前記観測対象物に対し、前記回転中の螺旋状パターン生成光学系を通して前記縞紋様が動的に変化する螺旋状パターンを投影する発光部と、
   前記発光部から前記観測対象物に対し前記螺旋状パターン生成光学系のテクスチャ取得窓を通して照明している状態で当該観測対象物を撮像して第１の画像データを出力すると共に、前記観測対象物に対し前記縞紋様が動的に変化する螺旋状パターンが投影されている状態で当該観測対象物を撮像して第２の画像データを出力する撮像部と、
   前記撮像部から出力された第２の画像データをもとに前記観測対象物の三次元形状を表す三次元座標情報を求めると共に、前記出力された第１の画像データから前記画素ごとの色情報を求め、当該求められた三次元座標および色情報を前記観測対象物の三次元形状の計測結果を表す情報として出力する制御部と
   を具備することを特徴とする三次元形状計測装置。
2. 前記螺旋状パターン生成光学系は、遮光部と透光部を交互に配置したパターンを螺旋状に形成したマスクにより構成されることを特徴とする請求項１記載の三次元形状計測装置。
3. 前記回転駆動部は、携帯端末が備えるバイブレーション用モータと兼用することを特徴とする請求項１または２記載の三次元形状計測装置。
4. 前記制御部は、
   前記螺旋状パターン生成光学系の回転角、前記螺旋の位置、前記撮像部の光軸方向の位置、前記撮像部の撮像素子上の画素の位置座標のすべての組み合わせに対応付けて三次元座標を記憶したルックアップテーブルと、
   前記撮像部から出力された画像データからその画素ごとに輝度が最大となる前記螺旋状パターン生成光学系の回転角を求め、当該回転角と、前記画素の位置座標と、前記螺旋の位置との組み合わせに対応する三次元座標を前記ルックアップテーブルから検索し、当該検索された三次元座標を前記観測対象物の三次元形状を表す情報として出力する手段と
   を備えることを特徴とする請求項１乃至３のいずれかに記載の三次元形状計測装置。
5. 前記制御部は、前記撮像部の撮像素子上で見たときの前記螺旋状パターン生成光学系により投影される縞紋様の間隔をｘ pixel、螺旋の本数をｎ本とした場合に、前記螺旋状パターン生成光学系を３６０÷ｘ÷ｎ度ずつ回転させてｘ枚の静止画像を撮影するべく、前記回転駆動部および撮像部を制御することを特徴とする請求項１乃至４のいずれかに記載の三次元形状計測装置。
6. 暗部と明部による縞紋様を形成する螺旋状パターンを生成するための第１の領域と、透明なテクスチャ取得窓を形成した第２の領域とを備えた螺旋状パターン生成光学系を備えた三次元形状計測装置により、観測対象物の三次元形状を計測する三次元形状計測方法であって、
   発光部により前記観測対象物に対し前記螺旋状パターン生成光学系の第２の領域に形成されたテクスチャ取得窓を通して照明し、この状態で当該観測対象物を撮像部により撮像して第１の画像データを取得する過程と、
   回転駆動部により前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させると共に、前記発光部により前記観測対象物に対し前記回転中の螺旋状パターン生成光学系の第２の領域を通して前記縞紋様が動的に変化する螺旋状パターンを投影し、この状態で前記観測対象物を撮像部により撮像して第２の画像データを取得する過程と、
   制御部により、前記取得された第２の画像データをもとに前記観測対象物の三次元形状を表す三次元座標情報を求めると共に、前記取得された第１の画像データから前記画素ごとの色情報を求め、当該求められた三次元座標および色情報を前記観測対象物の三次元形状の計測結果を表す情報として出力する過程と
   を具備することを特徴とする三次元形状計測方法。
7. 暗部と明部による縞紋様を形成する螺旋状パターンを生成するための第１の領域と、透明なテクスチャ取得窓を形成した第２の領域とを備えた螺旋状パターン生成光学系を備えた三次元形状計測装置において、観測対象物の三次元形状を計測するために使用するプログラムであって、
   発光部により前記観測対象物に対し前記螺旋状パターン生成光学系の第２の領域に形成されたテクスチャ取得窓を通して照明し、この状態で当該観測対象物を撮像部により撮像して第１の画像データを取得する処理と、
   回転駆動部により前記螺旋状パターン生成光学系をその螺旋中心を軸として回転させると共に、前記発光部により前記観測対象物に対し前記回転中の螺旋状パターン生成光学系の第２の領域を通して前記縞紋様が動的に変化する螺旋状パターンを投影し、この状態で前記観測対象物を撮像部により撮像して第２の画像データを取得する処理と、
   制御部により、前記取得された第２の画像データをもとに前記観測対象物の三次元形状を表す三次元座標情報を求めると共に、前記取得された第１の画像データから前記画素ごとの色情報を求め、当該求められた三次元座標および色情報を前記観測対象物の三次元形状の計測結果を表す情報として出力する処理と
   を、前記三次元形状計測装置が備えるコンピュータに実行させるプログラム。

Images