JP2016045120A - ３次元計測システム及び３次元計測方法 - Google Patents

Abstract

【課題】障害物があっても計測が可能で、かつ、計測範囲を広くする。
【解決手段】プロジェクタ１は、光源１０及び投影光学系１３を有し、光源１０と投影光学系１３との間に投影光学系１３の光軸方向に間隔を置いて並ぶ複数の異なるパターン１２Ａ〜１２Ｅを配置し、光源１０から発せられ複数の異なるパターン１２Ａ〜１２Ｅを介した光を、投影光学系１３を介して計測対象５に投影する。カメラ３は、プロジェクタ１から計測対象５へ投影された光による投影像を撮像する。コンピュータ４は、カメラ３で撮像された投影像の画像データに基づいて、計測対象５の３次元形状を計測する。
【選択図】図１

Description

この発明は、３次元計測システム及び３次元計測方法に関する。

計測対象に投影光を照射して、その光によるパターン像に基づいて物体の３次元形状を計測するアクティブ３次元計測手法が、実用性の面から注目されている。アクティブ３次元計測手法では、広い計測範囲を実現するため、レーザ光が用いられるのが一般的である。しかしながら、レーザ光の直進性は、被写界深度を深くして広い計測範囲をもたらす反面、光路上に障害物があると、安定した計測を行うのが困難になる。

一方、光源としてビデオプロジェクタを用いる手法も多く提案されている（例えば、非特許文献１参照）。ビデオプロジェクタは広いアパーチャを有する。このため、光路上に障害物があったとしても、光の一部は障害物で遮られることなく回り込んで計測対象まで到達するので、障害物が計測に与える影響を少なくすることができる。しかし、その反面、ビデオプロジェクタを用いると、被写界深度が浅くなり計測範囲が狭くなるという不都合がある。

被写界深度の浅さを解消する手法として、パターンのボケから奥行きを推定するＤｆＤ（Depth from Defocus）手法が提案されている（例えば、非特許文献２参照）。この手法は、投影パターンとして符号化開口を付けた点光源群を用いて、計測対象に投影されるパターン像のボケを撮影・解析することで奥行きを推定する。しかし、この手法では、パターンのボケ量から奥行き値を推定するので、ボケが大きくなりすぎると計測を行えなくなり、計測範囲の拡張は限定的である。

ＤｆＤは、一般的にはカメラのボケに基づく手法として知られており、１枚の画像から奥行きを推定することが可能である（例えば、非特許文献３参照）。しかし、ＤｆＤで良い計測結果を得るためには、計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できるケースは限定的である。

点群パターンを投影し、その投影結果のボケからＤｆＤを行う方法も提案されている（例えば、非特許文献４参照）。この方法によれば、計測対象にテクスチャがなくても計測が可能である。しかしながら、この方法は、奥行きを求めること自体が目的ではなく、撮影画像からの合成（Refocusing）をする際の参照用にＤｆＤの結果を用いているだけである。その目的のために、輝点は疎に配置されており、輝点同士の距離が十分離れているので、３次元形状を詳細に計測することは困難である。

また、プロジェクタのレンズによる投影像のボケを解析し、投影面の奥行き情報を計測できる手法が提案されている（例えば、非特許文献５参照）。この手法によれば、ハーフミラーを用いてプロジェクタとカメラを同軸上に設置することで、奥行き情報を良好に計測することができる。プロジェクタとカメラを同軸上に設置することで、カメラの画素すべてにおいて、欠損部分なく計測対象の奥行きを計算することができる。しかし、この手法では、シーン全体で照明パターンをずらしながら２４枚の画像を用いて復元を行うため、手間がかかるほか、動物体の撮影ができないという不都合がある。

Ryusuke Sagawa, Nozomu Kasuya, Kazuhiro Sakashita, Ryo Furukawa, Hiroshi Kawasaki, Yasushi Yagi, "Grid-based Active Stereo with Single-colored Wave Pattern for Dense One-shot 3D Scan", Proc. 2012 Second Joint 3DIM/3DPVT Conference, e, Zurich, Switzerland, pp. 363-370 (2012) H. Kawasaki, Y. Horita, H. Masuyama, S. Ono, M. Kimura, Y. Takane, "Optimized Aperture for Estimating Depth from Projector's Defocus", International Conference on 3D Vision (3DV), Jun. 2013 (Seattle, USA) Pentland, A. "A New Sense for Depth of Field", PAMI, Vol. 9, No. 4, pp. 423-430 (1987) Nayar, S., Watanabe, M., and Noguchi, M., "Real-Time Focus Range Sensor", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 18, No. 12, pp. 1186-1198 (1996) Zhang, L. and Nayar, S.K., "Projection Defocus Analysis for Scene Capture and Image Display", ACM Trans. on Graphics (also Proc. of ACM SIGGRAPH) (2006).

上述のように、レーザ光を用いて３次元計測を行う場合には、被写界深度が広くなるので計測範囲を広くとることができるが、光路上に障害物がある場合には計測が困難になる。これに対して、プロジェクタを用いて３次元計測を行うには、障害物があっても光の回り込み効果により計測が可能になるが、被写界深度が狭いので計測範囲を広くとるのが困難になる。

この発明は、上記のような問題点を解決するためになされたものであり、障害物があっても計測が可能で、かつ、計測範囲を広くすることができる３次元計測システム及び３次元計測方法を提供することを目的とする。

上記目的を達成するため、この発明の第１の観点に係る３次元計測システムは、
光源及び投影光学系を有し、前記光源と前記投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影する投影部と、
前記投影部から前記計測対象へ投影された光による投影像を撮像する撮像部と、
前記撮像部で撮像された前記投影像の画像データに基づいて、前記計測対象の３次元形状を計測する計測部と、
を備える。

前記複数の異なるパターンでは、その投影像の空間周波数成分とその方向の両方あるいはいずれか一方と奥行きとの関係が既知であり、
前記計測部は、
周波数解析により求められた前記投影像の空間周波数成分とその方向の両方あるいはいずれか一方に基づいて、前記計測対象の３次元形状を計測する、
こととしてもよい。

前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第１のピークに対する２番目に大きい第２のピークの割合が、閾値以上である場合に、
前記第１のピークの大きさと前記第２のピークの大きさとの割合に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。

前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第１のピークに対する２番目に大きい第２のピークの割合が、閾値を下回る場合に、
前記第１のピークに基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。

前記投影部の光軸と前記撮像部の光軸は同軸ではなく、
前記計測部は、
前記計測対象の奥行きが前記各パターンの結像位置であるときに得られる前記各パターンの像に対する、前記画像データに含まれる前記各パターン像の位置ずれ量に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。

前記各パターンは、
それぞれ複数の平行なラインパターンから成り、
前記パターン間で、前記ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっている、
こととしてもよい。

この発明の第２の観点に係る３次元計測方法は、
光源と投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、
前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影し、
前記計測対象へ投影された光による投影像を撮像し、
撮像された前記投影像の画像データに基づいて、前記計測対象の３次元形状を計測する。

この発明によれば、絞りの広い投影光学系を介した投影光を用いて投影光学系の光軸方向に並ぶ複数のパターンの像を計測対象上に結像させ、その投影像の画像データに基づいて計測対象の３次元形状を計測する。このようにすれば、光路上に障害物があったとしても、一部の光は障害物を回り込んで計測対象に到達し、計測対象上に投影像を結像させることができるので、計測対象の３次元計測が可能となる。

また、投影光学系の光軸方向に並ぶ複数の異なるパターンは、各パターンの光軸方向の位置に関して異なった位置に結像する。したがって、計測対象上にどのパターンの投影像が結像しているのかを検出することにより、計測対象の奥行きを計測することができる。複数の異なるパターンの設置範囲を広くすればするほど、計測対象の奥行きの計測範囲を広げることが可能となる。

上述のように、この発明によれば、障害物があっても計測が可能で、かつ、計測範囲を広くすることができる。

この発明の実施の形態１に係る３次元計測システムの概略的な構成を示す斜視図である。 パターン群の５つのパターンの並び順を示す図である。 １つのパターンの投影像の結像位置（その１）を示す図である。 １つのパターンの投影像の結像位置（その２）を示す図である。 １つのパターンの投影像の結像位置（その３）を示す図である。 パターンの傾斜角度と奥行きとの関係を示す図である。 計測用データの一例を示す図である。 コンピュータのハードウエア構成を示すブロック図である。 コンピュータの機能構成を示すブロック図である。 図１０（Ａ）は、生画像データの一例を示す図である。図１０（Ｂ）は、背景画像データの一例を示す図である。図１０（Ｃ）は、計測用データの一例を示す図である。 フーリエ変換の処理を示す図である。 図１２（Ａ）及び図１２（Ｂ）は、フーリエ変換により得られた角度のスペクトラムの一例を示す図である。 ３次元計測処理のフローチャートである。 この発明の実施の形態１に係る３次元計測システムの概略的な構成を示す斜視図である。 カメラの視差を示す図である。 パターン像の位置ずれを示す図である。

以下、この発明の実施の形態について図面を参照して詳細に説明する。

実施の形態１．
まず、この発明の実施の形態１について説明する。

図１には、３次元計測システム１００の概略的な構成が示されている。図１に示すように、３次元計測システム１００は、プロジェクタ１と、ハーフミラー２と、カメラ３と、コンピュータ４と、ブロックアウトカーテン７とを備える。

プロジェクタ１は、投影光を計測対象５に投影する投影部である。ハーフミラー２は、プロジェクタ１からの投影光を計測対象５に向けて反射する。カメラ３は、ハーフミラー２を介して計測対象５に投影されたプロジェクタ１からの光による投影像を撮像する撮像部である。

カメラ３とコンピュータ４との間は、通信ネットワークで接続されている。この通信ネットワークにより、カメラ３とコンピュータ４との間で画像データの送受信が可能となる。コンピュータ４は、カメラ３での撮像により得られた画像データに基づいて、計測対象５の３次元形状（プロジェクタ１から見た計測対象５の奥行き）を計測する計測部である。

ハーフミラー２と計測対象５の間には、障害物６が存在する。障害物６の種類に特に制限はないが、熱を持った剛体や、熱せられた地上からの上昇気流による大気の揺らぎ、ここでは半透明で、透過する光を散乱させるような物体となっている。例えば、泡だった液体などである。

プロジェクタ１は、光源１０と、拡散板１１と、パターン群１２と、投影光学系１３とを備える。

光源１０は、映像を投影するためのインコヒーレントな光を出射する光源である。拡散板１１は、透過型である。拡散板１１は、光源１０から発せられた光を入射して拡散し、強度が均一な光に変換して出力する。すなわち、拡散板１１は、光源１０の強度むらを消すために設けられている。光源１０と拡散板１１とを合わせて照明光学系とも呼ぶ。拡散板１１はなくてもよい。

パターン群１２は、拡散板１１と投影光学系１３との間に配置されている。パターン群１２には、複数の異なるパターン１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ、１２Ｅを有している。パターン１２Ａ〜１２Ｅは、複数のラインパターンが周期的に平行に並んだパターンであるが、ラインパターンの傾斜角度がそれぞれ異なっている。

パターン１２Ａ〜１２Ｅは、光源１０と投影光学系１３との間に、投影光学系１３の光軸ＡＸの方向に間隔を置いて並んでいる。図２に示すように、各パターン１２Ａ〜１２Ｅは、光源１０側から投影光学系１３側に向かって、パターン１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ、１２Ｅの順で並んでいる。光源１０から発せられた光は、拡散板１１を経て、パターン１２Ａ〜１２Ｅを透過して、投影光学系１３に入射する。これにより、投影光学系１３に入射する光は、パターン１２Ａ〜１２Ｅの情報を含んだ光となる。

投影光学系１３は、屈折光学系である。投影光学系１３は、入射レンズ１３Ａ、開口絞り１３Ｂ、出射レンズ１３Ｃを備えている。入射レンズ１３Ａ及び出射レンズ１３Ｃの開口数は、大きい方が望ましい。開口数が大きければ大きいほど、投影光が障害物６を回り込んで計測対象５に到達しやすくなるからである。この実施の形態では、開口絞り１３Ｂの大きさは最大に設定されている。絞りが大きい方が、投影光が障害物６を回り込んで計測対象５に到達しやすくなるからである。投影光学系１３は、パターン１２Ａ〜１２Ｅを通過した光を、外部に出射する。

ハーフミラー２は、プロジェクタ１から出射した光の半分を反射し、残りを透過する。ハーフミラー２を透過した光は、ブロックアウトカーテン７で吸収され、ハーフミラー２への反射光がほぼ０となるように設定されている。ハーフミラー２へ反射した光が、カメラ３に入射し、画像データのノイズとなるのを避けるためである。

計測対象５には、ハーフミラー２で反射した光が入射する。計測対象５は、パターン群１２のパターン１２Ａ〜１２Ｅの投影像のいずれかが結像する計測範囲内に置かれている。これにより、計測対象５には、パターン群１２のパターン１２Ａ〜１２Ｅの投影像が結像する。しかしながら、ハーフミラー２と計測対象５との間には、障害物６がある。この障害物６により、プロジェクタ１からの投影光の一部が遮られるようになる。

計測対象５に入射した光の一部は、計測対象５で反射し、ハーフミラー２を介してカメラ３に至る。カメラ３は、計測対象５に投影された投影像を撮像する。

コンピュータ４は、カメラ３での撮像により得られた画像データに基づいて、計測対象５の奥行き、すなわち３次元形状を計測する。

図３から図５には、パターン１２Ａ、１２Ｃ、１２Ｅの投影像が結像する様子が示されている。図３に示すように、パターン１２Ａの投影像は、投影光学系１３を基準として奥行きｄ１の位置に結像する。図４に示すように、パターン１２Ｃの投影像は、投影光学系１３を基準として奥行きｄ３の位置に結像する。図５に示すように、パターン１２Ｅの投影像は、投影光学系１３を基準として奥行きｄ５の位置に結像する。このように、パターン１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ、１２Ｅの投影像は、投影光学系１３の光軸方向に関して異なる位置に結像する。以下では、この奥行きをｄ１、ｄ２、ｄ３、ｄ４、ｄ５とする。

パターン１２Ａ〜１２Ｅのラインパターンの傾斜角度と、結像位置（奥行き）との間については、例えば図６に示すような関係がある。図６では、パターン１２Ａの投影像の結像位置が２００ｍｍ（ｄ１）、パターン１２Ｂの投影像の結像位置が２５０ｍｍ（ｄ２）、パターン１２Ｃの投影像の結像位置が３００ｍｍ（ｄ３）、パターン１２Ｄの投影像の結像位置が３５０ｍｍ（ｄ４）、パターン１２Ｅの投影像の結像位置が４００ｍｍ（ｄ５）となっている。隣接するパターンの投影像におけるラインパターンの傾斜角度は、できるだけ異なるように設定されている。計測対象５の奥行きが、それぞれの結像位置の中間にある場合には、隣接する２つのパターンの像が同時に現れるようになり、それぞれの投影像の成分を抽出しやすくするためである。このように、パターン１２Ａ〜１２Ｅの傾斜角度と、計測対象５の奥行きとの関係は、既知となっている。パターン１２Ａ〜１２Ｅは、周期ラインパターンであるので、その傾斜角度により、そのパターンの空間周波数成分は一意に決まる。したがって、パターン１２Ａ〜１２Ｅの投影像の空間周波数成分と、計測対象５の奥行きとの関係は、既知となっている。

計測対象５のパターン１２Ａ〜１２Ｅの像の結像位置は、投影光学系１３の光軸方向に関して異なるため、計測対象５に形成されたパターン像を画像解析することにより、計測対象５の奥行きを求めることができる。例えば、図７に示すような画像データが得られたとする。この画像データは主として領域Ａ、Ｂ、Ｃの部分に分かれているが、領域Ａ、Ｂ、Ｃに形成された投影像のラインパターンの傾斜角度はそれぞれ異なっている。この投影像のラインパターンの傾斜角度を求めることにより、その場所での計測対象５の奥行きを求めることができる。

図１のコンピュータ４のハードウエア構成を示す図８に示すように、コンピュータ４は、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び通信部３６を備える。主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び通信部３６はいずれも内部バス３０を介して制御部３１に接続されている。

制御部３１は、ＣＰＵ（Central Processing Unit）等から構成されている。このＣＰＵが、外部記憶部３３に記憶されているプログラム３９を実行することにより、図１に示すコンピュータ４の各構成要素が実現される。

主記憶部３２は、ＲＡＭ（Random-Access Memory）等から構成されている。主記憶部３２には、外部記憶部３３に記憶されているプログラム３９がロードされる。この他、主記憶部３２は、制御部３１の作業領域（データの一時記憶領域）として用いられる。

外部記憶部３３は、フラッシュメモリ、ハードディスク、ＤＶＤ−ＲＡＭ（Digital Versatile Disc Random-Access Memory）、ＤＶＤ−ＲＷ（Digital Versatile Disc ReWritable）等の不揮発性メモリから構成される。外部記憶部３３には、制御部３１に実行させるためのプログラム３９があらかじめ記憶されている。また、外部記憶部３３は、制御部３１の指示に従って、このプログラム３９の実行の際に用いられるデータを制御部３１に供給し、制御部３１から供給されたデータを記憶する。

操作部３４は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス３０に接続するインターフェイス装置から構成されている。操作部３４を介して、操作者が操作した内容に関する情報が制御部３１に入力される。

表示部３５は、ＣＲＴ（Cathode Ray Tube）またはＬＣＤ（Liquid Crystal Display）などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。

通信部３６は、シリアルインターフェイスまたはパラレルインターフェイスから構成されている。通信部３６は、通信ネットワークを介してカメラ３と接続されており、カメラ３から画像データを受信する。

図１に示すコンピュータ４の各種構成要素は、図８に示すプログラム３９が、制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び通信部３６などをハードウエア資源として用いて実行されることによってその機能を発揮する。

図８に示すようなハードウエア構成を有するコンピュータ４は、その機能構成として、図９に示すように、記憶部４０、データ取得部４１と、計測用データ生成部４２と、フーリエ変換部４３と、奥行き計測部４４と、データ出力部４５とを備える。

記憶部４０は、図８の外部記憶部３３の動作によって実現される。記憶部４０は、各種データを記憶する。

データ取得部４１は、図８の制御部３１、操作部３４、通信部３６の動作によって実現される。データ取得部４１は、カメラ３から送信された画像データを、背景画像データ５０、生画像データ５１として、記憶部４０に記憶する。操作部３４の操作入力により、カメラ２から送信された画像データを、背景画像データ５０、生画像データ５１のいずれかとして記憶部４０に記憶する。

計測対象５が光路上に配置されていない画像データを撮像する場合に、データ取得部４１は、カメラ２で撮像された画像データを背景画像データ５０として記憶部４０に記憶する。背景画像データ５０は、計測対象５が配置されていない場合に得られる画像データである。

一方、計測対象５の３次元形状を計測する場合に、データ取得部４１は、操作部３４の操作入力により、カメラ３で撮像された画像データを、生画像データ５１として記憶部１０に記憶する。生画像データ５１は、計測対象５が光路上に配置されたときに得られる画像データである。

計測用データ生成部４２は、生画像データ５１と背景画像データ５０とに基づいて、計測用データを生成し、計測用データ５２として記憶部４０に記憶する。図１０（Ａ）には生画像データ５１の一例が示され、図１０（Ｂ）には、背景画像データ５０の一例が示され、図１０（Ｃ）には、計測用データ５２の一例が示されている。計測用データ生成部４２は、生画像データ５１の各画素の輝度値から背景画像データ５０の対応する各画素の輝度値を差し引いて、計測用データ５２を生成する。

図１０（Ｂ）に示す背景画像データ５０は、計測対象５で反射していない光の成分を表している。計測対象５を置いたときにカメラ３で計測された図１０（Ａ）の生画像データ５１から、図１０（Ｂ）の背景画像データ５０を差し引くことにより、図１０（Ｃ）の計測用データ５２が得られる。この計測用データ５２は、計測対象５上に投影される投影像を正確に再現する画像データとなる。

フーリエ変換部４３は、計測用データ５２に対してフーリエ変換を行い、計測対象５上に投影される投影像の空間周波数成分を算出する。図１１には、このフーリエ変換の処理の流れが示されている。図１１に示すように、フーリエ変換部４３は、計測用データ５２内の探索エリア内で探索窓を走査しながら、探索エリア内の各場所で、探索窓内の画像に対してＦＦＴを行い、探索窓内の２次元のスペクトラムを求める。コンピュータ４は、フーリエ解析により求められた投影像の空間周波数成分に基づいて、計測対象５の３次元形状を計測する。

フーリエ変換部４３は、この２次元のスペクトラムを、角度のスペクトラムに変換する。角度のスペクトラムに変換する方法としては、直線上の窓を用意し、それを所定の角度で回転させ、その中に含まれるパワースペクトルの総和を取ることが考えられる。あるいはハフ変換により、直線検出し、それぞれの直線の角度に対する投票値を用いても良い。図１２（Ａ）及び図１２（Ｂ）には、このようにして得られた角度のスペクトラムの一例が示されている。

フーリエ変換部４３は、探索エリア内の各場所で、図１２（Ａ）又は図１２（Ｂ）に示すようなラインパターンの傾斜角度（回転角）に対するスペクトラムを求める。

奥行き計測部４４は、図１２（Ａ）及び図１２（Ｂ）に示すような角度のスペクトラムに基づいて、探索エリア内の各場所の奥行きｄｅｐｔｈを求める。奥行き計測部４４は、そのスペクトラムにおいて、最も高い第１のピークの角度に対応する奥行きｄｅｐｔｈをｄ_firstとし、その次に高い第２のピークの角度に対応する奥行きｄｅｐｔｈをｄ_secondとする。奥行き計測部４４は、ｄ_firstにおけるスペクトラムの高さを１００％とした場合に、ｄ_secondにおけるスペクトラムの高さが何％であるかを求める。ｄ_secondにおけるスペクトラムの高さの割合をｎ％とする。

奥行き計測部４４は、図１２（Ａ）に示すように、ｎが閾値Ｔを下回る場合には、最も高い第１のピークの角度に対応する奥行きｄ_firstをその探索窓内の奥行きｄｅｐｔｈとする。

一方、奥行き計測部４４は、図１２（Ｂ）に示すように、ｎが閾値Ｔ以上となる場合には、次式を用いて奥行きｄｅｐｔｈを求める。

すなわち、１番目のピークの大きさと２番目のピークの大きさとの割合に基づいて、計測対象５の奥行きが算出される。

奥行き計測部４４は、このようにして、探索エリア内の各場所の奥行きｄｅｐｔｈを求め、その集合を計測対象５の３次元形状データ５４として記憶部４０に記憶する。

データ出力部４５は、図８に示す制御部３１、表示部３５によって実現される。データ出力部４５は、３次元形状データ５４を表示出力する。

次に、３次元計測システム１００の動作について説明する。図１３には、３次元計測システム１００で実行される３次元計測処理が示されている。

図１３に示すように、データ取得部４１は、背景画像データ５０を取得する（ステップＳ１）。続いて、データ取得部４１は、生画像データ５１を取得する（ステップＳ２）。計測用データ生成部４２は、生画像データ５１から背景画像データ５０を差し引いて、計測用データ５２を生成する（ステップＳ３）。

続いて、フーリエ変換部４３は、高速フーリエ変換（ＦＴＴ）を行う（ステップＳ４）。さらに、奥行き計測部４４は、奥行き計測を行う（ステップＳ５）。続いて、データ出力部４５は、３次元形状を表示出力する（ステップＳ６）。

この３次元計測システム１００の利用方法としては様々なものがあるが、障害物の多い場所での計測対象５の３次元形状の計測に好適である。例えば、砂漠地帯や原子炉内の計測対象５の３次元形状の計測、軍事目的の計測対象５の３次元形状の計測等に適用することができる。この実施の形態では、１回の撮像により、計測対象の３次元形状を計測することができるので、動く物体の形状計測にも適用することができる。

以上詳細に説明したように、この実施の形態によれば、絞りの広い投影光学系１３を介した投影光を用いて投影光学系１３の光軸方向に並ぶ複数のパターン１２Ａ〜１２Ｅの像を計測対象５上に結像させ、その投影像の画像データに基づいて計測対象５の３次元形状を計測する。このようにすれば、光路上に障害物６があったとしても、一部の光は障害物６を回り込んで計測対象５に到達し、計測対象５上に投影像を結像させることができるので、計測対象５の３次元計測が可能となる。

さらに、投影光学系１３の光軸方向に並ぶ複数の異なるパターン１２Ａ〜１２Ｅは、各パターン１２Ａ〜１２Ｅの光軸方向の位置に関して異なった位置に結像する。したがって、計測対象５上にどのパターンの投影像が結像しているのかを検出することにより、計測対象５の奥行きｄｅｐｔｈを計測することができる。この方法では、複数の異なるパターン１２Ａ〜１２Ｅの設置範囲を広くすればするほど、計測対象５の奥行きｄｅｐｔｈの計測範囲を広げることが可能となる。

上述のように、この実施の形態によれば、障害物６があっても計測が可能で、かつ、計測範囲を広くすることができる。

実施の形態２．
次に、この発明の実施の形態２について説明する。

図１４には、この実施の形態に係る３次元計測システム１００の構成が示されている。図１４に示すように、この３次元計測システム１００では、ハーフミラー２が設けられておらず、カメラ３の光軸が、プロジェクタ１の光軸と一致しておらず、同軸でない点が、上記実施の形態に係る３次元計測システム１００と異なる。

カメラ３の光軸が、プロジェクタ１の光軸と一致していないため、カメラ３で撮像される投影像には視差が生じる。この実施の形態では、この視差を利用して、奥行きｄｅｐｔｈを正確に求める。図１５に示すように、プロジェクタ１の光軸とカメラ３の光軸とのなす角度をθとする。投影光学系１３の光軸方向の奥行きがΔｄだけ変化した場合の、カメラ３で計測される投影像の位置ずれ量は、ｄ’となる。Δｄとｄ’との間には、以下の関係がある。
ｄ’＝Δｄ・ｓｉｎθ （２）

奥行き計測部４４は、この関係を利用して、奥行きｄｅｐｔｈをより正確に求めることができる。例えば、図１６に示すように、あるパターンの投影像の結像位置である場合におけるパターンの像（黒ライン）の本来の位置に対して画像データで得られたパターンの像（白ライン）の位置ずれをｄ’とすると、奥行きｄｅｐｔｈのシフト量は、上記式（２）より、Δｄとなる。例えば、画像データに含まれるパターン像が、パターン１２Ａの像である場合（空間周波数成分の最大ピークが、パターン１２Ａの傾斜角度にある場合）、奥行き計測部４４は、パターンの像の位置ずれｄ’を、奥行きｄｅｐｔｈの基準位置であるｄ１に加算し、ｄ１＋ｄ’をその場所における計測対象５の奥行きとして算出すればよい。

フーリエ変換により観測された空間周波数成分が、図１２（Ｂ）に示すように、２番目のピークの割合が大きい場合には、最大のピークと２番目のピークとのバランスで、２つのパターンの間の奥行きを正確に求めることできるが、図１２（Ａ）に示すように、１番目のピークだけが大きい場合には、そのピークに対応するパターン像の結像位置前後の奥行きを精度良く求めるのが困難になる。そのため、ステレオ法、すなわち視差を利用して奥行きを補正することにより、パターン像の結像位置の前後の奥行きを精度良く求めることができる。

以上詳細に説明したように、この実施の形態によれば、プロジェクタ１とカメラ３との視差を利用して、奥行きｄｅｐｔｈをより正確に求めることができる。

なお、上記実施の形態のように、パターン像の位置ずれに基づいて、計測対象５の奥行きを正確に求めるには、パターン像のシフト量ｄ’の最大値が、ラインパターンの周期の半分以下である必要がある。

パターン群１２の各パターンでは、平行に並ぶラインパターンの周期を、不規則にするようにしてもよい。例えば、ラインパターンの配列周期を、だんだん長くするようにしてもよい。このようにすれば、パターン像のシフト量ｄ’の最大値が、ラインパターンの周期の半分以下である必要がなくなる。すなわち、パターン群１２の各パターンは、それぞれ複数の平行なラインパターンから成り、パターン間で、ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっているようにすることができる。

また、ラインパターンを破線にするなど１本ずつ違うパターンにするようにしてもよい。このようにしても、パターン像のシフト量ｄ’の最大値が、ラインパターンの周期の半分以下である必要がなくなる。

また、それぞれ複数の異なるパターンが設けられたプロジェクタを複数備え、各プロジェクタの複数の異なるパターンを介した投影光をハーフミラー等で合成し、合成された光を計測対象５に投影するようにしてもよい。このようにすれば、投影光学系の光軸方向に並べるパターンの数を増やして、計測対象５の計測範囲をより広くしたり、パターンの配置間隔を短くしたりして、奥行きの計測精度を高めることができる。

上記各実施の形態では、各パターン１２Ａ〜１２Ｂをそれぞれ傾斜角度が異なるラインパターンとした。しかしながら、複数のパターンは、それぞれ空間周波数成分が異なっていればよい。コンピュータ４では、フーリエ変換部４３によって行われる投影像の空間周波数成分に基づいて、複数のパターンのうち、どのパターンの結像位置に計測対象５の奥行きを推定し、計測対象５の３次元形状を計測すればよい。このように、複数の異なるパターンでは、その投影像の空間周波数成分とその方向（空間周波数成分が表れる傾斜角度等）の両方あるいはいずれか一方と奥行きとの関係が既知となっていればよい。空間周波数成分とその方向の両方あるいはいずれか一方の特徴量（スペクトルの大きさのピークやスペクトルのプロフィール等）に基づいて、奥行きを算出するようにすればよい。

また、上記各実施の形態では、フーリエ変換による空間周波数成分により、計測対象５の奥行きｄｅｐｔｈを推定したが、これには限られない。周波数解析方法に特に制限はなく、他の方法により、空間周波数成分を算出するようにしてもよい。例えば、画像データのテンプレートマッチングにより、計測対象５の奥行きを推定するようにしてもよい。

また、上記各実施の形態では、複数パターンを一つの光軸上に配置する実装を説明したが、複数プロジェクタを用意し、それらから投光せられるパターンをプリズムなどで合成する投影系でも同じ効果が得られる。あるいは、複数プロジェクタを２次元上に配置し、それら全てにより合成開口を構成する、ライトフィールドプロジェクタを用いることでも同じ効果が得られる。

その他、コンピュータ４のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。

制御部３１、主記憶部３２、外部記憶部３３、操作部３４、表示部３５及び通信部３６、内部バス３０などから構成されるコンピュータ４の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等）に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するコンピュータ４を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでコンピュータ４を構成してもよい。

コンピュータ４の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板（BBS, Bulletin Board System）にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。

１ プロジェクタ、２ ハーフミラー、３ カメラ、４ コンピュータ、５ 計測対象、６ 障害物、７ ブロックアウトカーテン、１０ 光源、１１ 拡散板、１２ パターン群、１２Ａ、１２Ｂ、１２Ｃ、１２Ｄ、１２Ｅ パターン、１３ 投影光学系、１３Ａ 入射レンズ、１３Ｂ 開口絞り、１３Ｃ 出射レンズ、３０ 内部バス、３１ 制御部、３２ 主記憶部、３３ 外部記憶部、３４ 操作部、３５ 表示部、３６ 通信部、３９ プログラム、４０ 記憶部、４１ データ取得部、４２ 計測用データ生成部、４３ フーリエ変換部、４４ 奥行き計測部、４５ データ出力部、５０ 背景画像データ、５１ 生画像データ、５２ 計測用データ、５３ ヒストグラムデータ、５４ ３次元形状データ、１００ ３次元計測システム。

Claims (7)

1. 光源及び投影光学系を有し、前記光源と前記投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影する投影部と、
   前記投影部から前記計測対象へ投影された光による投影像を撮像する撮像部と、
   前記撮像部で撮像された前記投影像の画像データに基づいて、前記計測対象の３次元形状を計測する計測部と、
   を備える３次元計測システム。
2. 前記複数の異なるパターンでは、その投影像の空間周波数成分とその方向の両方あるいはいずれか一方と奥行きとの関係が既知であり、
   前記計測部は、
   周波数解析により求められた前記投影像の空間周波数成分とその方向の両方あるいはいずれか一方に基づいて、前記計測対象の３次元形状を計測する、
   請求項１に記載の３次元計測システム。
3. 前記計測部は、
   前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第１のピークに対する２番目に大きい第２のピークの割合が、閾値以上である場合に、
   前記第１のピークの大きさと前記第２のピークの大きさとの割合に基づいて、前記計測対象の奥行きを算出する、
   請求項２に記載の３次元計測システム。
4. 前記計測部は、
   前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第１のピークに対する２番目に大きい第２のピークの割合が、閾値を下回る場合に、
   前記第１のピークに基づいて、前記計測対象の奥行きを算出する、
   請求項２に記載の３次元計測システム。
5. 前記投影部の光軸と前記撮像部の光軸は同軸ではなく、
   前記計測部は、
   前記計測対象の奥行きが前記各パターンの結像位置であるときに得られる前記各パターンの像に対する、前記画像データに含まれる前記各パターン像の位置ずれ量に基づいて、前記計測対象の奥行きを算出する、
   請求項４に記載の３次元計測システム。
6. 前記各パターンは、
   それぞれ複数の平行なラインパターンから成り、
   前記パターン間で、前記ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっている、
   請求項１から５のいずれか一項に記載の３次元計測システム。
7. 光源と投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、
   前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影し、
   前記計測対象へ投影された光による投影像を撮像し、
   撮像された前記投影像の画像データに基づいて、前記計測対象の３次元形状を計測する、
   ３次元計測方法。

Images