JP2016045120A - 3次元計測システム及び3次元計測方法 - Google Patents
3次元計測システム及び3次元計測方法 Download PDFInfo
- Publication number
- JP2016045120A JP2016045120A JP2014170479A JP2014170479A JP2016045120A JP 2016045120 A JP2016045120 A JP 2016045120A JP 2014170479 A JP2014170479 A JP 2014170479A JP 2014170479 A JP2014170479 A JP 2014170479A JP 2016045120 A JP2016045120 A JP 2016045120A
- Authority
- JP
- Japan
- Prior art keywords
- measurement
- depth
- projection
- unit
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
Abstract
【課題】障害物があっても計測が可能で、かつ、計測範囲を広くする。
【解決手段】プロジェクタ1は、光源10及び投影光学系13を有し、光源10と投影光学系13との間に投影光学系13の光軸方向に間隔を置いて並ぶ複数の異なるパターン12A〜12Eを配置し、光源10から発せられ複数の異なるパターン12A〜12Eを介した光を、投影光学系13を介して計測対象5に投影する。カメラ3は、プロジェクタ1から計測対象5へ投影された光による投影像を撮像する。コンピュータ4は、カメラ3で撮像された投影像の画像データに基づいて、計測対象5の3次元形状を計測する。
【選択図】図1
【解決手段】プロジェクタ1は、光源10及び投影光学系13を有し、光源10と投影光学系13との間に投影光学系13の光軸方向に間隔を置いて並ぶ複数の異なるパターン12A〜12Eを配置し、光源10から発せられ複数の異なるパターン12A〜12Eを介した光を、投影光学系13を介して計測対象5に投影する。カメラ3は、プロジェクタ1から計測対象5へ投影された光による投影像を撮像する。コンピュータ4は、カメラ3で撮像された投影像の画像データに基づいて、計測対象5の3次元形状を計測する。
【選択図】図1
Description
この発明は、3次元計測システム及び3次元計測方法に関する。
計測対象に投影光を照射して、その光によるパターン像に基づいて物体の3次元形状を計測するアクティブ3次元計測手法が、実用性の面から注目されている。アクティブ3次元計測手法では、広い計測範囲を実現するため、レーザ光が用いられるのが一般的である。しかしながら、レーザ光の直進性は、被写界深度を深くして広い計測範囲をもたらす反面、光路上に障害物があると、安定した計測を行うのが困難になる。
一方、光源としてビデオプロジェクタを用いる手法も多く提案されている(例えば、非特許文献1参照)。ビデオプロジェクタは広いアパーチャを有する。このため、光路上に障害物があったとしても、光の一部は障害物で遮られることなく回り込んで計測対象まで到達するので、障害物が計測に与える影響を少なくすることができる。しかし、その反面、ビデオプロジェクタを用いると、被写界深度が浅くなり計測範囲が狭くなるという不都合がある。
被写界深度の浅さを解消する手法として、パターンのボケから奥行きを推定するDfD(Depth from Defocus)手法が提案されている(例えば、非特許文献2参照)。この手法は、投影パターンとして符号化開口を付けた点光源群を用いて、計測対象に投影されるパターン像のボケを撮影・解析することで奥行きを推定する。しかし、この手法では、パターンのボケ量から奥行き値を推定するので、ボケが大きくなりすぎると計測を行えなくなり、計測範囲の拡張は限定的である。
DfDは、一般的にはカメラのボケに基づく手法として知られており、1枚の画像から奥行きを推定することが可能である(例えば、非特許文献3参照)。しかし、DfDで良い計測結果を得るためには、計測対象に高周波なテクスチャが存在することが前提となるため、現実に適用できるケースは限定的である。
点群パターンを投影し、その投影結果のボケからDfDを行う方法も提案されている(例えば、非特許文献4参照)。この方法によれば、計測対象にテクスチャがなくても計測が可能である。しかしながら、この方法は、奥行きを求めること自体が目的ではなく、撮影画像からの合成(Refocusing)をする際の参照用にDfDの結果を用いているだけである。その目的のために、輝点は疎に配置されており、輝点同士の距離が十分離れているので、3次元形状を詳細に計測することは困難である。
また、プロジェクタのレンズによる投影像のボケを解析し、投影面の奥行き情報を計測できる手法が提案されている(例えば、非特許文献5参照)。この手法によれば、ハーフミラーを用いてプロジェクタとカメラを同軸上に設置することで、奥行き情報を良好に計測することができる。プロジェクタとカメラを同軸上に設置することで、カメラの画素すべてにおいて、欠損部分なく計測対象の奥行きを計算することができる。しかし、この手法では、シーン全体で照明パターンをずらしながら24枚の画像を用いて復元を行うため、手間がかかるほか、動物体の撮影ができないという不都合がある。
Ryusuke Sagawa, Nozomu Kasuya, Kazuhiro Sakashita, Ryo Furukawa, Hiroshi Kawasaki, Yasushi Yagi, "Grid-based Active Stereo with Single-colored Wave Pattern for Dense One-shot 3D Scan", Proc. 2012 Second Joint 3DIM/3DPVT Conference, e, Zurich, Switzerland, pp. 363-370 (2012)
H. Kawasaki, Y. Horita, H. Masuyama, S. Ono, M. Kimura, Y. Takane, "Optimized Aperture for Estimating Depth from Projector's Defocus", International Conference on 3D Vision (3DV), Jun. 2013 (Seattle, USA)
Pentland, A. "A New Sense for Depth of Field", PAMI, Vol. 9, No. 4, pp. 423-430 (1987)
Nayar, S., Watanabe, M., and Noguchi, M., "Real-Time Focus Range Sensor", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 18, No. 12, pp. 1186-1198 (1996)
Zhang, L. and Nayar, S.K., "Projection Defocus Analysis for Scene Capture and Image Display", ACM Trans. on Graphics (also Proc. of ACM SIGGRAPH) (2006).
上述のように、レーザ光を用いて3次元計測を行う場合には、被写界深度が広くなるので計測範囲を広くとることができるが、光路上に障害物がある場合には計測が困難になる。これに対して、プロジェクタを用いて3次元計測を行うには、障害物があっても光の回り込み効果により計測が可能になるが、被写界深度が狭いので計測範囲を広くとるのが困難になる。
この発明は、上記のような問題点を解決するためになされたものであり、障害物があっても計測が可能で、かつ、計測範囲を広くすることができる3次元計測システム及び3次元計測方法を提供することを目的とする。
上記目的を達成するため、この発明の第1の観点に係る3次元計測システムは、
光源及び投影光学系を有し、前記光源と前記投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影する投影部と、
前記投影部から前記計測対象へ投影された光による投影像を撮像する撮像部と、
前記撮像部で撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する計測部と、
を備える。
光源及び投影光学系を有し、前記光源と前記投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影する投影部と、
前記投影部から前記計測対象へ投影された光による投影像を撮像する撮像部と、
前記撮像部で撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する計測部と、
を備える。
前記複数の異なるパターンでは、その投影像の空間周波数成分とその方向の両方あるいはいずれか一方と奥行きとの関係が既知であり、
前記計測部は、
周波数解析により求められた前記投影像の空間周波数成分とその方向の両方あるいはいずれか一方に基づいて、前記計測対象の3次元形状を計測する、
こととしてもよい。
前記計測部は、
周波数解析により求められた前記投影像の空間周波数成分とその方向の両方あるいはいずれか一方に基づいて、前記計測対象の3次元形状を計測する、
こととしてもよい。
前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値以上である場合に、
前記第1のピークの大きさと前記第2のピークの大きさとの割合に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値以上である場合に、
前記第1のピークの大きさと前記第2のピークの大きさとの割合に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値を下回る場合に、
前記第1のピークに基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値を下回る場合に、
前記第1のピークに基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記投影部の光軸と前記撮像部の光軸は同軸ではなく、
前記計測部は、
前記計測対象の奥行きが前記各パターンの結像位置であるときに得られる前記各パターンの像に対する、前記画像データに含まれる前記各パターン像の位置ずれ量に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記計測部は、
前記計測対象の奥行きが前記各パターンの結像位置であるときに得られる前記各パターンの像に対する、前記画像データに含まれる前記各パターン像の位置ずれ量に基づいて、前記計測対象の奥行きを算出する、
こととしてもよい。
前記各パターンは、
それぞれ複数の平行なラインパターンから成り、
前記パターン間で、前記ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっている、
こととしてもよい。
それぞれ複数の平行なラインパターンから成り、
前記パターン間で、前記ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっている、
こととしてもよい。
この発明の第2の観点に係る3次元計測方法は、
光源と投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、
前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影し、
前記計測対象へ投影された光による投影像を撮像し、
撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する。
光源と投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、
前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影し、
前記計測対象へ投影された光による投影像を撮像し、
撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する。
この発明によれば、絞りの広い投影光学系を介した投影光を用いて投影光学系の光軸方向に並ぶ複数のパターンの像を計測対象上に結像させ、その投影像の画像データに基づいて計測対象の3次元形状を計測する。このようにすれば、光路上に障害物があったとしても、一部の光は障害物を回り込んで計測対象に到達し、計測対象上に投影像を結像させることができるので、計測対象の3次元計測が可能となる。
また、投影光学系の光軸方向に並ぶ複数の異なるパターンは、各パターンの光軸方向の位置に関して異なった位置に結像する。したがって、計測対象上にどのパターンの投影像が結像しているのかを検出することにより、計測対象の奥行きを計測することができる。複数の異なるパターンの設置範囲を広くすればするほど、計測対象の奥行きの計測範囲を広げることが可能となる。
上述のように、この発明によれば、障害物があっても計測が可能で、かつ、計測範囲を広くすることができる。
以下、この発明の実施の形態について図面を参照して詳細に説明する。
実施の形態1.
まず、この発明の実施の形態1について説明する。
まず、この発明の実施の形態1について説明する。
図1には、3次元計測システム100の概略的な構成が示されている。図1に示すように、3次元計測システム100は、プロジェクタ1と、ハーフミラー2と、カメラ3と、コンピュータ4と、ブロックアウトカーテン7とを備える。
プロジェクタ1は、投影光を計測対象5に投影する投影部である。ハーフミラー2は、プロジェクタ1からの投影光を計測対象5に向けて反射する。カメラ3は、ハーフミラー2を介して計測対象5に投影されたプロジェクタ1からの光による投影像を撮像する撮像部である。
カメラ3とコンピュータ4との間は、通信ネットワークで接続されている。この通信ネットワークにより、カメラ3とコンピュータ4との間で画像データの送受信が可能となる。コンピュータ4は、カメラ3での撮像により得られた画像データに基づいて、計測対象5の3次元形状(プロジェクタ1から見た計測対象5の奥行き)を計測する計測部である。
ハーフミラー2と計測対象5の間には、障害物6が存在する。障害物6の種類に特に制限はないが、熱を持った剛体や、熱せられた地上からの上昇気流による大気の揺らぎ、ここでは半透明で、透過する光を散乱させるような物体となっている。例えば、泡だった液体などである。
プロジェクタ1は、光源10と、拡散板11と、パターン群12と、投影光学系13とを備える。
光源10は、映像を投影するためのインコヒーレントな光を出射する光源である。拡散板11は、透過型である。拡散板11は、光源10から発せられた光を入射して拡散し、強度が均一な光に変換して出力する。すなわち、拡散板11は、光源10の強度むらを消すために設けられている。光源10と拡散板11とを合わせて照明光学系とも呼ぶ。拡散板11はなくてもよい。
パターン群12は、拡散板11と投影光学系13との間に配置されている。パターン群12には、複数の異なるパターン12A、12B、12C、12D、12Eを有している。パターン12A〜12Eは、複数のラインパターンが周期的に平行に並んだパターンであるが、ラインパターンの傾斜角度がそれぞれ異なっている。
パターン12A〜12Eは、光源10と投影光学系13との間に、投影光学系13の光軸AXの方向に間隔を置いて並んでいる。図2に示すように、各パターン12A〜12Eは、光源10側から投影光学系13側に向かって、パターン12A、12B、12C、12D、12Eの順で並んでいる。光源10から発せられた光は、拡散板11を経て、パターン12A〜12Eを透過して、投影光学系13に入射する。これにより、投影光学系13に入射する光は、パターン12A〜12Eの情報を含んだ光となる。
投影光学系13は、屈折光学系である。投影光学系13は、入射レンズ13A、開口絞り13B、出射レンズ13Cを備えている。入射レンズ13A及び出射レンズ13Cの開口数は、大きい方が望ましい。開口数が大きければ大きいほど、投影光が障害物6を回り込んで計測対象5に到達しやすくなるからである。この実施の形態では、開口絞り13Bの大きさは最大に設定されている。絞りが大きい方が、投影光が障害物6を回り込んで計測対象5に到達しやすくなるからである。投影光学系13は、パターン12A〜12Eを通過した光を、外部に出射する。
ハーフミラー2は、プロジェクタ1から出射した光の半分を反射し、残りを透過する。ハーフミラー2を透過した光は、ブロックアウトカーテン7で吸収され、ハーフミラー2への反射光がほぼ0となるように設定されている。ハーフミラー2へ反射した光が、カメラ3に入射し、画像データのノイズとなるのを避けるためである。
計測対象5には、ハーフミラー2で反射した光が入射する。計測対象5は、パターン群12のパターン12A〜12Eの投影像のいずれかが結像する計測範囲内に置かれている。これにより、計測対象5には、パターン群12のパターン12A〜12Eの投影像が結像する。しかしながら、ハーフミラー2と計測対象5との間には、障害物6がある。この障害物6により、プロジェクタ1からの投影光の一部が遮られるようになる。
計測対象5に入射した光の一部は、計測対象5で反射し、ハーフミラー2を介してカメラ3に至る。カメラ3は、計測対象5に投影された投影像を撮像する。
コンピュータ4は、カメラ3での撮像により得られた画像データに基づいて、計測対象5の奥行き、すなわち3次元形状を計測する。
図3から図5には、パターン12A、12C、12Eの投影像が結像する様子が示されている。図3に示すように、パターン12Aの投影像は、投影光学系13を基準として奥行きd1の位置に結像する。図4に示すように、パターン12Cの投影像は、投影光学系13を基準として奥行きd3の位置に結像する。図5に示すように、パターン12Eの投影像は、投影光学系13を基準として奥行きd5の位置に結像する。このように、パターン12A、12B、12C、12D、12Eの投影像は、投影光学系13の光軸方向に関して異なる位置に結像する。以下では、この奥行きをd1、d2、d3、d4、d5とする。
パターン12A〜12Eのラインパターンの傾斜角度と、結像位置(奥行き)との間については、例えば図6に示すような関係がある。図6では、パターン12Aの投影像の結像位置が200mm(d1)、パターン12Bの投影像の結像位置が250mm(d2)、パターン12Cの投影像の結像位置が300mm(d3)、パターン12Dの投影像の結像位置が350mm(d4)、パターン12Eの投影像の結像位置が400mm(d5)となっている。隣接するパターンの投影像におけるラインパターンの傾斜角度は、できるだけ異なるように設定されている。計測対象5の奥行きが、それぞれの結像位置の中間にある場合には、隣接する2つのパターンの像が同時に現れるようになり、それぞれの投影像の成分を抽出しやすくするためである。このように、パターン12A〜12Eの傾斜角度と、計測対象5の奥行きとの関係は、既知となっている。パターン12A〜12Eは、周期ラインパターンであるので、その傾斜角度により、そのパターンの空間周波数成分は一意に決まる。したがって、パターン12A〜12Eの投影像の空間周波数成分と、計測対象5の奥行きとの関係は、既知となっている。
計測対象5のパターン12A〜12Eの像の結像位置は、投影光学系13の光軸方向に関して異なるため、計測対象5に形成されたパターン像を画像解析することにより、計測対象5の奥行きを求めることができる。例えば、図7に示すような画像データが得られたとする。この画像データは主として領域A、B、Cの部分に分かれているが、領域A、B、Cに形成された投影像のラインパターンの傾斜角度はそれぞれ異なっている。この投影像のラインパターンの傾斜角度を求めることにより、その場所での計測対象5の奥行きを求めることができる。
図1のコンピュータ4のハードウエア構成を示す図8に示すように、コンピュータ4は、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36を備える。主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36はいずれも内部バス30を介して制御部31に接続されている。
制御部31は、CPU(Central Processing Unit)等から構成されている。このCPUが、外部記憶部33に記憶されているプログラム39を実行することにより、図1に示すコンピュータ4の各構成要素が実現される。
主記憶部32は、RAM(Random-Access Memory)等から構成されている。主記憶部32には、外部記憶部33に記憶されているプログラム39がロードされる。この他、主記憶部32は、制御部31の作業領域(データの一時記憶領域)として用いられる。
外部記憶部33は、フラッシュメモリ、ハードディスク、DVD−RAM(Digital Versatile Disc Random-Access Memory)、DVD−RW(Digital Versatile Disc ReWritable)等の不揮発性メモリから構成される。外部記憶部33には、制御部31に実行させるためのプログラム39があらかじめ記憶されている。また、外部記憶部33は、制御部31の指示に従って、このプログラム39の実行の際に用いられるデータを制御部31に供給し、制御部31から供給されたデータを記憶する。
操作部34は、キーボード及びマウスなどのポインティングデバイス等と、キーボードおよびポインティングデバイス等を内部バス30に接続するインターフェイス装置から構成されている。操作部34を介して、操作者が操作した内容に関する情報が制御部31に入力される。
表示部35は、CRT(Cathode Ray Tube)またはLCD(Liquid Crystal Display)などから構成され、操作者が操作情報を入力する場合は、操作用の画面が表示される。
通信部36は、シリアルインターフェイスまたはパラレルインターフェイスから構成されている。通信部36は、通信ネットワークを介してカメラ3と接続されており、カメラ3から画像データを受信する。
図1に示すコンピュータ4の各種構成要素は、図8に示すプログラム39が、制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36などをハードウエア資源として用いて実行されることによってその機能を発揮する。
図8に示すようなハードウエア構成を有するコンピュータ4は、その機能構成として、図9に示すように、記憶部40、データ取得部41と、計測用データ生成部42と、フーリエ変換部43と、奥行き計測部44と、データ出力部45とを備える。
記憶部40は、図8の外部記憶部33の動作によって実現される。記憶部40は、各種データを記憶する。
データ取得部41は、図8の制御部31、操作部34、通信部36の動作によって実現される。データ取得部41は、カメラ3から送信された画像データを、背景画像データ50、生画像データ51として、記憶部40に記憶する。操作部34の操作入力により、カメラ2から送信された画像データを、背景画像データ50、生画像データ51のいずれかとして記憶部40に記憶する。
計測対象5が光路上に配置されていない画像データを撮像する場合に、データ取得部41は、カメラ2で撮像された画像データを背景画像データ50として記憶部40に記憶する。背景画像データ50は、計測対象5が配置されていない場合に得られる画像データである。
一方、計測対象5の3次元形状を計測する場合に、データ取得部41は、操作部34の操作入力により、カメラ3で撮像された画像データを、生画像データ51として記憶部10に記憶する。生画像データ51は、計測対象5が光路上に配置されたときに得られる画像データである。
計測用データ生成部42は、生画像データ51と背景画像データ50とに基づいて、計測用データを生成し、計測用データ52として記憶部40に記憶する。図10(A)には生画像データ51の一例が示され、図10(B)には、背景画像データ50の一例が示され、図10(C)には、計測用データ52の一例が示されている。計測用データ生成部42は、生画像データ51の各画素の輝度値から背景画像データ50の対応する各画素の輝度値を差し引いて、計測用データ52を生成する。
図10(B)に示す背景画像データ50は、計測対象5で反射していない光の成分を表している。計測対象5を置いたときにカメラ3で計測された図10(A)の生画像データ51から、図10(B)の背景画像データ50を差し引くことにより、図10(C)の計測用データ52が得られる。この計測用データ52は、計測対象5上に投影される投影像を正確に再現する画像データとなる。
フーリエ変換部43は、計測用データ52に対してフーリエ変換を行い、計測対象5上に投影される投影像の空間周波数成分を算出する。図11には、このフーリエ変換の処理の流れが示されている。図11に示すように、フーリエ変換部43は、計測用データ52内の探索エリア内で探索窓を走査しながら、探索エリア内の各場所で、探索窓内の画像に対してFFTを行い、探索窓内の2次元のスペクトラムを求める。コンピュータ4は、フーリエ解析により求められた投影像の空間周波数成分に基づいて、計測対象5の3次元形状を計測する。
フーリエ変換部43は、この2次元のスペクトラムを、角度のスペクトラムに変換する。角度のスペクトラムに変換する方法としては、直線上の窓を用意し、それを所定の角度で回転させ、その中に含まれるパワースペクトルの総和を取ることが考えられる。あるいはハフ変換により、直線検出し、それぞれの直線の角度に対する投票値を用いても良い。図12(A)及び図12(B)には、このようにして得られた角度のスペクトラムの一例が示されている。
フーリエ変換部43は、探索エリア内の各場所で、図12(A)又は図12(B)に示すようなラインパターンの傾斜角度(回転角)に対するスペクトラムを求める。
奥行き計測部44は、図12(A)及び図12(B)に示すような角度のスペクトラムに基づいて、探索エリア内の各場所の奥行きdepthを求める。奥行き計測部44は、そのスペクトラムにおいて、最も高い第1のピークの角度に対応する奥行きdepthをdfirstとし、その次に高い第2のピークの角度に対応する奥行きdepthをdsecondとする。奥行き計測部44は、dfirstにおけるスペクトラムの高さを100%とした場合に、dsecondにおけるスペクトラムの高さが何%であるかを求める。dsecondにおけるスペクトラムの高さの割合をn%とする。
奥行き計測部44は、図12(A)に示すように、nが閾値Tを下回る場合には、最も高い第1のピークの角度に対応する奥行きdfirstをその探索窓内の奥行きdepthとする。
一方、奥行き計測部44は、図12(B)に示すように、nが閾値T以上となる場合には、次式を用いて奥行きdepthを求める。
すなわち、1番目のピークの大きさと2番目のピークの大きさとの割合に基づいて、計測対象5の奥行きが算出される。
すなわち、1番目のピークの大きさと2番目のピークの大きさとの割合に基づいて、計測対象5の奥行きが算出される。
奥行き計測部44は、このようにして、探索エリア内の各場所の奥行きdepthを求め、その集合を計測対象5の3次元形状データ54として記憶部40に記憶する。
データ出力部45は、図8に示す制御部31、表示部35によって実現される。データ出力部45は、3次元形状データ54を表示出力する。
次に、3次元計測システム100の動作について説明する。図13には、3次元計測システム100で実行される3次元計測処理が示されている。
図13に示すように、データ取得部41は、背景画像データ50を取得する(ステップS1)。続いて、データ取得部41は、生画像データ51を取得する(ステップS2)。計測用データ生成部42は、生画像データ51から背景画像データ50を差し引いて、計測用データ52を生成する(ステップS3)。
続いて、フーリエ変換部43は、高速フーリエ変換(FTT)を行う(ステップS4)。さらに、奥行き計測部44は、奥行き計測を行う(ステップS5)。続いて、データ出力部45は、3次元形状を表示出力する(ステップS6)。
この3次元計測システム100の利用方法としては様々なものがあるが、障害物の多い場所での計測対象5の3次元形状の計測に好適である。例えば、砂漠地帯や原子炉内の計測対象5の3次元形状の計測、軍事目的の計測対象5の3次元形状の計測等に適用することができる。この実施の形態では、1回の撮像により、計測対象の3次元形状を計測することができるので、動く物体の形状計測にも適用することができる。
以上詳細に説明したように、この実施の形態によれば、絞りの広い投影光学系13を介した投影光を用いて投影光学系13の光軸方向に並ぶ複数のパターン12A〜12Eの像を計測対象5上に結像させ、その投影像の画像データに基づいて計測対象5の3次元形状を計測する。このようにすれば、光路上に障害物6があったとしても、一部の光は障害物6を回り込んで計測対象5に到達し、計測対象5上に投影像を結像させることができるので、計測対象5の3次元計測が可能となる。
さらに、投影光学系13の光軸方向に並ぶ複数の異なるパターン12A〜12Eは、各パターン12A〜12Eの光軸方向の位置に関して異なった位置に結像する。したがって、計測対象5上にどのパターンの投影像が結像しているのかを検出することにより、計測対象5の奥行きdepthを計測することができる。この方法では、複数の異なるパターン12A〜12Eの設置範囲を広くすればするほど、計測対象5の奥行きdepthの計測範囲を広げることが可能となる。
上述のように、この実施の形態によれば、障害物6があっても計測が可能で、かつ、計測範囲を広くすることができる。
実施の形態2.
次に、この発明の実施の形態2について説明する。
次に、この発明の実施の形態2について説明する。
図14には、この実施の形態に係る3次元計測システム100の構成が示されている。図14に示すように、この3次元計測システム100では、ハーフミラー2が設けられておらず、カメラ3の光軸が、プロジェクタ1の光軸と一致しておらず、同軸でない点が、上記実施の形態に係る3次元計測システム100と異なる。
カメラ3の光軸が、プロジェクタ1の光軸と一致していないため、カメラ3で撮像される投影像には視差が生じる。この実施の形態では、この視差を利用して、奥行きdepthを正確に求める。図15に示すように、プロジェクタ1の光軸とカメラ3の光軸とのなす角度をθとする。投影光学系13の光軸方向の奥行きがΔdだけ変化した場合の、カメラ3で計測される投影像の位置ずれ量は、d’となる。Δdとd’との間には、以下の関係がある。
d’=Δd・sinθ (2)
d’=Δd・sinθ (2)
奥行き計測部44は、この関係を利用して、奥行きdepthをより正確に求めることができる。例えば、図16に示すように、あるパターンの投影像の結像位置である場合におけるパターンの像(黒ライン)の本来の位置に対して画像データで得られたパターンの像(白ライン)の位置ずれをd’とすると、奥行きdepthのシフト量は、上記式(2)より、Δdとなる。例えば、画像データに含まれるパターン像が、パターン12Aの像である場合(空間周波数成分の最大ピークが、パターン12Aの傾斜角度にある場合)、奥行き計測部44は、パターンの像の位置ずれd’を、奥行きdepthの基準位置であるd1に加算し、d1+d’をその場所における計測対象5の奥行きとして算出すればよい。
フーリエ変換により観測された空間周波数成分が、図12(B)に示すように、2番目のピークの割合が大きい場合には、最大のピークと2番目のピークとのバランスで、2つのパターンの間の奥行きを正確に求めることできるが、図12(A)に示すように、1番目のピークだけが大きい場合には、そのピークに対応するパターン像の結像位置前後の奥行きを精度良く求めるのが困難になる。そのため、ステレオ法、すなわち視差を利用して奥行きを補正することにより、パターン像の結像位置の前後の奥行きを精度良く求めることができる。
以上詳細に説明したように、この実施の形態によれば、プロジェクタ1とカメラ3との視差を利用して、奥行きdepthをより正確に求めることができる。
なお、上記実施の形態のように、パターン像の位置ずれに基づいて、計測対象5の奥行きを正確に求めるには、パターン像のシフト量d’の最大値が、ラインパターンの周期の半分以下である必要がある。
パターン群12の各パターンでは、平行に並ぶラインパターンの周期を、不規則にするようにしてもよい。例えば、ラインパターンの配列周期を、だんだん長くするようにしてもよい。このようにすれば、パターン像のシフト量d’の最大値が、ラインパターンの周期の半分以下である必要がなくなる。すなわち、パターン群12の各パターンは、それぞれ複数の平行なラインパターンから成り、パターン間で、ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっているようにすることができる。
また、ラインパターンを破線にするなど1本ずつ違うパターンにするようにしてもよい。このようにしても、パターン像のシフト量d’の最大値が、ラインパターンの周期の半分以下である必要がなくなる。
また、それぞれ複数の異なるパターンが設けられたプロジェクタを複数備え、各プロジェクタの複数の異なるパターンを介した投影光をハーフミラー等で合成し、合成された光を計測対象5に投影するようにしてもよい。このようにすれば、投影光学系の光軸方向に並べるパターンの数を増やして、計測対象5の計測範囲をより広くしたり、パターンの配置間隔を短くしたりして、奥行きの計測精度を高めることができる。
上記各実施の形態では、各パターン12A〜12Bをそれぞれ傾斜角度が異なるラインパターンとした。しかしながら、複数のパターンは、それぞれ空間周波数成分が異なっていればよい。コンピュータ4では、フーリエ変換部43によって行われる投影像の空間周波数成分に基づいて、複数のパターンのうち、どのパターンの結像位置に計測対象5の奥行きを推定し、計測対象5の3次元形状を計測すればよい。このように、複数の異なるパターンでは、その投影像の空間周波数成分とその方向(空間周波数成分が表れる傾斜角度等)の両方あるいはいずれか一方と奥行きとの関係が既知となっていればよい。空間周波数成分とその方向の両方あるいはいずれか一方の特徴量(スペクトルの大きさのピークやスペクトルのプロフィール等)に基づいて、奥行きを算出するようにすればよい。
また、上記各実施の形態では、フーリエ変換による空間周波数成分により、計測対象5の奥行きdepthを推定したが、これには限られない。周波数解析方法に特に制限はなく、他の方法により、空間周波数成分を算出するようにしてもよい。例えば、画像データのテンプレートマッチングにより、計測対象5の奥行きを推定するようにしてもよい。
また、上記各実施の形態では、複数パターンを一つの光軸上に配置する実装を説明したが、複数プロジェクタを用意し、それらから投光せられるパターンをプリズムなどで合成する投影系でも同じ効果が得られる。あるいは、複数プロジェクタを2次元上に配置し、それら全てにより合成開口を構成する、ライトフィールドプロジェクタを用いることでも同じ効果が得られる。
その他、コンピュータ4のハードウエア構成やソフトウエア構成は一例であり、任意に変更および修正が可能である。
制御部31、主記憶部32、外部記憶部33、操作部34、表示部35及び通信部36、内部バス30などから構成されるコンピュータ4の処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。例えば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体(フレキシブルディスク、CD−ROM、DVD−ROM等)に格納して配布し、当該コンピュータプログラムをコンピュータにインストールすることにより、前記の処理を実行するコンピュータ4を構成してもよい。また、インターネット等の通信ネットワーク上のサーバ装置が有する記憶装置に当該コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロード等することでコンピュータ4を構成してもよい。
コンピュータ4の機能を、OS(オペレーティングシステム)とアプリケーションプログラムの分担、またはOSとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。
搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS, Bulletin Board System)にコンピュータプログラムを掲示し、ネットワークを介してコンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、OSの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。
この発明は、この発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、この発明の範囲を限定するものではない。すなわち、この発明の範囲は、実施の形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。
1 プロジェクタ、2 ハーフミラー、3 カメラ、4 コンピュータ、5 計測対象、6 障害物、7 ブロックアウトカーテン、10 光源、11 拡散板、12 パターン群、12A、12B、12C、12D、12E パターン、13 投影光学系、13A 入射レンズ、13B 開口絞り、13C 出射レンズ、30 内部バス、31 制御部、32 主記憶部、33 外部記憶部、34 操作部、35 表示部、36 通信部、39 プログラム、40 記憶部、41 データ取得部、42 計測用データ生成部、43 フーリエ変換部、44 奥行き計測部、45 データ出力部、50 背景画像データ、51 生画像データ、52 計測用データ、53 ヒストグラムデータ、54 3次元形状データ、100 3次元計測システム。
Claims (7)
- 光源及び投影光学系を有し、前記光源と前記投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影する投影部と、
前記投影部から前記計測対象へ投影された光による投影像を撮像する撮像部と、
前記撮像部で撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する計測部と、
を備える3次元計測システム。 - 前記複数の異なるパターンでは、その投影像の空間周波数成分とその方向の両方あるいはいずれか一方と奥行きとの関係が既知であり、
前記計測部は、
周波数解析により求められた前記投影像の空間周波数成分とその方向の両方あるいはいずれか一方に基づいて、前記計測対象の3次元形状を計測する、
請求項1に記載の3次元計測システム。 - 前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値以上である場合に、
前記第1のピークの大きさと前記第2のピークの大きさとの割合に基づいて、前記計測対象の奥行きを算出する、
請求項2に記載の3次元計測システム。 - 前記計測部は、
前記空間周波数成分とその方向の両方あるいはいずれか一方の特徴量における最大の第1のピークに対する2番目に大きい第2のピークの割合が、閾値を下回る場合に、
前記第1のピークに基づいて、前記計測対象の奥行きを算出する、
請求項2に記載の3次元計測システム。 - 前記投影部の光軸と前記撮像部の光軸は同軸ではなく、
前記計測部は、
前記計測対象の奥行きが前記各パターンの結像位置であるときに得られる前記各パターンの像に対する、前記画像データに含まれる前記各パターン像の位置ずれ量に基づいて、前記計測対象の奥行きを算出する、
請求項4に記載の3次元計測システム。 - 前記各パターンは、
それぞれ複数の平行なラインパターンから成り、
前記パターン間で、前記ラインパターンの間隔と傾斜角度の両方あるいはいずれか一方が異なっている、
請求項1から5のいずれか一項に記載の3次元計測システム。 - 光源と投影光学系との間に前記投影光学系の光軸方向に間隔を置いて並ぶ複数の異なるパターンを配置し、
前記光源から発せられ前記複数の異なるパターンを介した光を、前記投影光学系を介して計測対象に投影し、
前記計測対象へ投影された光による投影像を撮像し、
撮像された前記投影像の画像データに基づいて、前記計測対象の3次元形状を計測する、
3次元計測方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170479A JP2016045120A (ja) | 2014-08-25 | 2014-08-25 | 3次元計測システム及び3次元計測方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014170479A JP2016045120A (ja) | 2014-08-25 | 2014-08-25 | 3次元計測システム及び3次元計測方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2016045120A true JP2016045120A (ja) | 2016-04-04 |
Family
ID=55635805
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014170479A Pending JP2016045120A (ja) | 2014-08-25 | 2014-08-25 | 3次元計測システム及び3次元計測方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2016045120A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104457614A (zh) * | 2014-11-11 | 2015-03-25 | 南昌航空大学 | 基于二进制条纹离焦的条纹反射三维测量方法 |
CN105890547A (zh) * | 2016-06-03 | 2016-08-24 | 杭州汉振科技有限公司 | 三维轮廓测量仪 |
CN112930468A (zh) * | 2018-11-08 | 2021-06-08 | 成都频泰鼎丰企业管理中心(有限合伙) | 三维测量设备 |
WO2023007891A1 (ja) * | 2021-07-29 | 2023-02-02 | ミツミ電機株式会社 | 投影デバイスおよび測距システム |
-
2014
- 2014-08-25 JP JP2014170479A patent/JP2016045120A/ja active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN104457614A (zh) * | 2014-11-11 | 2015-03-25 | 南昌航空大学 | 基于二进制条纹离焦的条纹反射三维测量方法 |
CN105890547A (zh) * | 2016-06-03 | 2016-08-24 | 杭州汉振科技有限公司 | 三维轮廓测量仪 |
CN112930468A (zh) * | 2018-11-08 | 2021-06-08 | 成都频泰鼎丰企业管理中心(有限合伙) | 三维测量设备 |
US11953313B2 (en) | 2018-11-08 | 2024-04-09 | Chengdu Pin Tai Ding Feng Business Administration | Three-dimensional measurement device |
WO2023007891A1 (ja) * | 2021-07-29 | 2023-02-02 | ミツミ電機株式会社 | 投影デバイスおよび測距システム |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102096806B1 (ko) | 3차원 센서 시스템 및 3차원 데이터 획득방법 | |
US20170059305A1 (en) | Active illumination for enhanced depth map generation | |
US20120281087A1 (en) | Three-dimensional scanner for hand-held phones | |
JP5633058B1 (ja) | 3次元計測装置及び3次元計測方法 | |
JP6800597B2 (ja) | 制御装置、制御方法およびプログラム | |
KR20100134403A (ko) | 깊이 정보를 생성하기 위한 장치 및 방법 | |
US20160245641A1 (en) | Projection transformations for depth estimation | |
JP2016024052A (ja) | 3次元計測システム、3次元計測方法及びプログラム | |
CN105306922A (zh) | 一种深度相机参考图的获取方法和装置 | |
US20170024890A1 (en) | Apparatus and method for measuring quality of holographic image | |
US11803982B2 (en) | Image processing device and three-dimensional measuring system | |
JP2016045120A (ja) | 3次元計測システム及び3次元計測方法 | |
US11060853B2 (en) | Three-dimensional sensor system and three-dimensional data acquisition method | |
JP2015184056A (ja) | 計測装置、方法及びプログラム | |
JP2013113696A (ja) | 変位測定方法および変位測定装置 | |
US20150092049A1 (en) | Image processing method and device | |
CN102595178A (zh) | 视场拼接三维显示图像校正系统及校正方法 | |
US11348271B2 (en) | Image processing device and three-dimensional measuring system | |
JP2018009927A (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP6456084B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP2009236696A (ja) | 被写体の3次元画像計測方法、計測システム、並びに計測プログラム | |
JP6671589B2 (ja) | 3次元計測システム、3次元計測方法及び3次元計測プログラム | |
JP6882266B2 (ja) | ピクセルビームを表すデータを生成する装置及び方法 | |
CN117128892A (zh) | 一种三维信息测量装置、测量方法和电子设备 | |
JP2014160405A (ja) | 撮影位置決定装置、プログラム、および方法 |