JP2010175435A - 三次元情報検出装置及び三次元情報検出方法 - Google Patents

Abstract

【課題】本発明は、高速に動く測定対象物に対しても、カメラから測定対象物までの距離を高精度な画像としてリアルタイムに検出する三次元情報検出装置及び三次元情報検出方法を提供することを目的とする。
【解決手段】強度変調光１１を測定対象物２００に照射する光源１０と、
前記強度変調光の反射光１２を受光し、該反射光の1周期の変調波に対して、又は所定の複数周期の変調波に対して、異なるタイミングでゲートを開放することにより撮像タイミングの異なる複数の画像６１、６２を取得する複数のゲート撮像素子４１、４２と、
前記複数の画像から、前記測定対象物の距離画像を算出する演算処理装置７０と、を含むことを特徴とする。
【選択図】図１

Description

本発明は、三次元情報検出装置及び三次元情報検出方法に関し、特に、強度変調光を測定対象物に照射し、測定対象物の距離画像を算出する三次元情報検出装置及び三次元情報検出方法に関する。

距離検出技術は、産業分野において広く活用されている要素技術である。近年のデジタル技術の進展とともに、距離検出技術は、「点」計測から「線」計測へと進展し、現在では更に「面」計測の技術が開発されつつある。「面」単位計測の進展により、瞬時に距離画像（センサから測定対象物までの奥行き距離を画像の輝度などで表現した距離分布画像）が計測できる高速三次元画像センサ技術が確立できれば、移動しながらの形状計測や、高速に動く測定対象物の形状計測など、これまで困難であった計測が可能となり、距離検出技術の応用範囲は大きく広がる。

このような、距離画像検出カメラとして、位相がπ／４ずつシフトする４種類の強度変調光をフレーム毎に順次切り替えて被写体に照射し、反射光を、高速シャッター機能を有する光学素子を通して固体撮像素子で撮像し、水平走査ライン毎に光蓄積と転送のタイミングがシフトする方法で得られた４種類の２次元画像を撮影し、位相がπ／２だけ異なる２種類の２次元画像の差である２種類の差画像の和と２種類の差画像の差との比に基づいて、距離画像を算出する３次元情報検出装置が知られている（例えば、特許文献１参照）。

また、所定周波数で強度変調され、出射光を測定対象物に照射するレーザ光源と、測定対象物からの反射光を受光して像増強するイメージレーザレーダ装置が知られている（例えば、特許文献２参照）。特許文献２に記載のイメージレーザレーダ装置は、所定周波数でゲイン変調されるイメージインテンシファイア管と、このゲイン変調周期の略１／４以下の周期であって、ゲインが単調に増加又は減少する期間においてのみ、イメージインテンシファイア管の出力をオンとするゲート手段とを備え、ゲイン変調周期とゲート手段の周期が同期することにより、距離に応じて濃淡が周期的に繰り返して変化する情報を得ることができ、測定距離結果を濃淡イメージで得るようにしている。

更に、所定の輝度を有する光で照明された測定対象物を光学像として結像し、この光学像を所定の撮像利得で撮像した映像から、測定対象物の各点の距離を検出する三次元情報検出方法であって、所定の輝度及び撮像利得の少なくとも一方が時間とともに変化し、これにより測定対象物の各点の距離を映像信号のフレーム時間に実時間で追随する速度で検出できるものが知られている（例えば、特許文献３参照）。時間とともに変化する輝度又は撮像利得を利用することで、撮像された測定対象物の映像の二次元的な輝度分布が得られ、この輝度分布には測定対象物の各点までの距離情報が含まれるため、測定対象物の立体情報を検出することができる。

特開２００８−２４９４３０号公報 特開平６−２９４８６８号公報 特開２０００−１２１３３９号公報

しかしながら、上述の特許文献１に記載の構成では、距離検出に複数の画像が必要であるため、短時間に距離画像を得ることはできない。つまり、距離画像を得るには４ビデオフレーム必要であるため、フレームレートを１２０〔Ｈｚ〕としても、約３３〔ｍｓ〕の撮影時間が必要である。この撮影時間内に、センサや測定対象物が大きく動けば、測定対象物の画像は動きぼけとなり、距離検出に誤差が生じてしまうという問題があった。そのため、本技術を高精度な形状計測へ応用するには、短時間で距離検出を行い、動きぼけの影響を無くす必要がある。

また、上述の特許文献２に記載の構成では、レーザ光の２次元走査と照明光の変調位相の変化があるため、測定対象物の立体情報を、映像信号のフレーム時間の速度で取り込むことが困難であるという問題があった。

更に、特許文献３に記載された発明は、測定対象物の立体情報を映像信号のフレーム内で検出することを目的とする。よって、フレーム時間に実時間で追随して立体情報を得ることができるが、フレーム時間より高速に動く測定対象物に対しては、映像信号自体が測定対象物の動きに対して追随できないという問題があった。

従来、一般的に放送や映像コンテンツに使用されるＣＣＤ（Charge Coupled Device）では、テレビ映像並の画質転送レートは３０〔Ｈｚ〕や６０〔Ｈｚ〕程度に制限され、更に、複数の画像から距離画像を算出するとなると、距離画像の実質的更新速度は、（ＣＣＤ転送レート）／（距離算出に必要な画像枚数）となる。上述の特許文献３に記載の発明では、１台の高速なゲート変調撮像素子のあとに、ＣＣＤやＣＭＯＳ（Complementary Metal Oxide Semiconductor）を使用している。そのため、得られる映像は、３０〔Ｈｚ〕又は６０〔Ｈｚ〕といったビデオフレームレートであるため、ビデオフレームレートよりも高速に動く測定対象物に対して、撮像時に動きボケが生じ、正しい距離画像を得ることができないという問題があった。

そこで、本発明は、高速に動く測定対象物に対しても、カメラから測定対象物までの距離を高精度な画像としてリアルタイムに検出する三次元情報検出装置及び三次元情報検出方法を提供することを目的とする。

上記目的を達成するため、第１の発明に係る三次元情報検出装置は、強度変調光を測定対象物に照射する光源と、
前記強度変調光の反射光を受光し、該反射光の1周期の変調波に対して、又は所定の複数周期の変調波に対して、異なるタイミングでゲートを開放することにより撮像タイミングの異なる複数の画像を取得する複数のゲート撮像素子と、
前記複数の画像から、前記測定対象物の距離画像を算出する演算処理装置と、を含むことを特徴とする。

これにより、ビデオフレームレートより遙かに短時間の反射光の１周期の変調波から、もしくは所定の複数周期の変調波から、フレームレートオーダーで見ればほぼ同時で、かつ極めて短時間だけ撮像タイミングの異なる複数の画像を取得することができるので、距離画像に必要な複数の画像をフレームレートオーダーで時分割で取得する従来技術と比較して、距離画像検出の大幅な高速化が実現できる。

第２の発明は、第１の発明に係る三次元情報検出装置において、
前記撮像タイミングは、外部から入力された同期信号に基づいて生成された制御信号により前記光源の強度変調、及び前記複数のゲート撮像素子のゲートタイミングの同期がとられ、前記制御信号に基づいて前記複数のゲート撮像素子間の位相差の調整が行われて定められることを特徴とする請求項１に記載の三次元情報検出装置。

これにより、外部から入力される同期信号に基づいて撮像タイミングの調整がなされ、同期を取って正確なタイミングで撮像を行うことができる。

第３の発明は、第１又は第２の発明に係る三次元情報検出装置において、
前記強度変調光の変調は、増加と減少の周期的な変化であり、
前記複数のゲート撮像素子の各々の撮像時間幅は、前記強度変調光の変調周期より短いことを特徴とする。

これにより、複数のゲート撮像素子を用いて強度変調光の１周期内で撮像が複数回行われ、比較的長い変調周期の強度変調光を用いて、測定可能な奥行き距離範囲（測定レンジ）が大きな距離画像の取得ができる。

また、第３の発明に係る三次元情報検出装置において、他の実施態様は、
前記複数のゲート撮像素子は、Ｎ台（Ｎは２以上の自然数）のゲート撮像素子を含み、
該Ｎ台のゲート撮像素子の各々の撮像タイミングは、互いに前記強度変調光の前記変調周期の略１／Ｎの位相差を有することを特徴とする。

これにより、複数台のゲート撮像素子の撮像タイミングを、１周期の変調波に対して均等かつ効率的に設定することができ、高精細な距離画像を取得することができる。

第４の発明は、第１又は第２の発明に係る三次元情報検出装置において、
前記強度変調光の変調は、短時間のパルス状の変調であり、
前記複数のゲート撮像素子は、撮像ゲインを所定の撮像ゲイン変調周期で変化させて撮像を行うことができ、該撮像ゲイン変調周期は、前記強度変調光のパルス変調の幅よりも大きいことを特徴とする。

これにより、撮像ゲインを変化させ、撮像ゲインの異なるタイミングで撮像を行うことにより、短い周期の強度変調光を用いても、１周期の反射光から複数の画像を取得することができ、高精度な距離画像を取得することができる。例えば、数ナノ秒のゲート機能を有するゲート撮像素子を用い、数１０ピコ秒の周期の光源を使用した場合にも、高精度な距離画像を取得することができる。

また、第４の発明に係る三次元情報検出装置において、他の実施態様は、
前記複数のゲート撮像素子は、Ｎ台（Ｎは２以上の自然数）のゲート撮像素子を含み、
該Ｎ台のゲート撮像素子の各々の撮像タイミングは、互いに前記撮像ゲイン変調周期の略１／Ｎの時間差を有することを特徴とする。

これにより、複数台のゲート撮像素子の撮像タイミングを、１周期のパルスに対して均等かつ効率的に設定することができ、短い周期の強度変調光を用いた場合にも、効率よく高精度な距離画像を取得することができる。

第５の発明は、第１〜４のいずれかの発明に係る三次元情報検出装置において、
少なくとも１台の、前記強度変調光以外の環境光のもとで撮像を行い、環境光画像を取得する環境光撮像用ゲート撮像素子を更に有し、
前記演算処理装置は、前記複数のゲート撮像素子で取得された各画像と、前記環境光画像との差分画像を求め、該差分画像から前記距離画像を算出することを特徴とする。

これにより、環境光下で撮像を行うにおいても、環境光の影響を排除することができ、例えば、日差しが強い環境下での撮像であっても、高精度な距離画像を取得することができる。

第６の発明は、第１〜５のいずれかの発明に係る三次元情報検出装置において、
前記ゲート撮像素子が画像を取得し出力する画像フレーム時間内において、
前記強度変調光の変調及び／又は前記撮像ゲイン変調が実施されている期間は、画像の１フレーム時間内の所定のタイミングと所定の時間幅のみとなるように制限されたことを特徴とする。

これにより、距離検出のための光照射と撮像時間とを、動いている測定対象物の速度に応じて、１ビデオフレーム内のある限られた時間に設定することで、動きボケを防ぐことができ、瞬時に精度のよい形状測定が可能となる。

第７の発明は、第１〜６のいずれかの発明に係る三次元情報検出装置において、
前記複数のゲート撮像素子が撮像する画像が同じ画角となるように、同一光軸で撮像する撮像光学系を有することを特徴とする。

これにより、各ゲート撮像素子の撮像条件を同一とすることができ、画像のレジストレーションズレの無い高精度な距離画像を取得することができる。

また、本発明の一実施態様に係る三次元情報検出装置は、前記ゲート撮像素子と同じ画角の測定対象物のカラー画像を撮像するカラーカメラを更に有することを特徴とする。

これにより、高精度な距離画像を取得するとともにカラーカメラでカラー情報も取得でき、測定対象物の表面のテクスチャも付加して三次元形状モデルを生成することができる。

第８の発明は、第１〜７のいずれかの発明に係る三次元情報検出装置において、
移動体に搭載され、
前記光源は、該移動体の移動に伴って前記測定対象物の異なる位置に前記強度変調光を照射し、
前記複数のゲート撮像素子は、前記測定対象物の前記異なる位置の前記撮像タイミングの異なる複数の画像を取得し、
前記演算処理装置は、前記距離画像を移動しながら連続的に取得することを特徴とする。

これにより、例えば、車両等の移動体から路面形状やトンネル形状の三次元情報を取得したりするような、移動体を用いて広範囲の測定対象物の三次元情報を検出することができ、種々の応用的な撮像を行うことができる。

第９の発明は、第８の発明に係る三次元情報検出装置において、
連続的に取得された前記距離画像間の前後の画像間で、前記測定対象物の同じ領域が撮像されており、
前記演算処理装置は、前記同じ領域の画像に基づいて前記距離画像を貼り合わせ、前記測定対象物の全体の三次元形状情報を取得することを特徴とする。

これにより、広範囲の測定対象物の連続的な三次元情報を検出することができ、例えば、路面やトンネル等の形状を、広範囲に亘る連続画像として取得することが可能となる。

第１０の発明に係る三次元情報検出方法は、強度変調光を測定対象物に照射するステップと、
前記強度変調光の反射光を受光し、該反射光の1周期の変調波に対して、又は所定の複数周期の変調波に対して、異なるタイミングで複数のゲート撮像素子の各ゲートを開放することにより、撮像タイミングの異なる複数の画像を取得するステップと、
前記複数の画像から、前記測定対象物の距離画像を算出する演算処理ステップと、を含むことを特徴とする。

本発明によれば、高速に高精度な距離画像を取得することができ、高速に移動しながらの形状計測や、高速に移動している測定対象物の測定も瞬時に行うことが可能となる。

実施形態１に係る三次元情報検出装置１５０の全体構成の一例を示した図である。 実施形態１に係る三次元情報検出方法の説明図である。 実施形態２に係る三次元情報検出装置１５０の撮像ゲイン変調波形と強度変調光１１の変調波形の一例を示した図である。 三角波の強度変調光１１ａを用いた距離算出の説明図である。図４（Ａ）は、実施形態３の三次元情報検出装置１５０の設置状態例を示した図である。図４（Ｂ）は、強度変調光１１ａ及び反射光１２ａとゲート撮像時間５１ａ、５２ａとの関係図である。 実施形態４の強度変調光１１ｂと撮像ゲイン変調波形５１ｂ、５２ｂの関係図である。 実施形態５の強度変調光１１ｃとゲート撮像時間５１ｃ〜５４ｃの関係図である。 強度変調光１１ｄと撮像ゲイン変調波５１ｄ、５２ｄと第３の撮像ゲイン変調波５３ｄとの関係図である。 実施形態７の１ビデオフレーム期間中の撮像方法の一例を示した図である。 実施形態８に係る三次元情報検出装置１５０ａの全体構成図の一例である。 実施形態８の変形例１の三次元情報検出装置１５０ｂの全体構成図である。 実施形態８の変形例２の三次元情報検出装置１５０ｃの全体構成図である。 実施形態９に係る三次元情報検出装置１５０ｄの応用例を示した図である。 実施形態９に係る三次元情報検出装置１５０ｄの応用例を示した図である。図１３（Ａ）は、三次元情報検出装置１５０ｄを車両に搭載した応用例を示した図である。図１３（Ｂ）は、三次元情報検出装置１５０ｄの製造ラインへの応用例を示した図である。 図１４は、本実施形態の変形例の変調波と撮像タイミングの図の一例である。図１４（Ａ）は、実施形態１乃至９の変調波と撮像タイミングの一例を示した図である。図１４（Ｂ）は、本実施形態の変形例の変調波と撮像タイミングの一例を示した図である。

以下、図面を参照して、本発明を実施するための最良の形態の説明を行う。

〔実施形態１〕
図１は、本発明を適用した実施形態１に係る三次元情報検出装置１５０の全体構成の一例を示した図である。図１において、実施形態１に係る三次元情報検出装置１５０は、光源１０と、ゲート撮像素子４０と、演算処理装置７０とを備える。ゲート撮像素子４０は、複数のゲート撮像素子４１、４２を含み、図１においては、２台のゲート撮像素子４１、４２を備えた例が示されている。演算処理装置７０からは、距離画像８０が算出され、出力される。

また、実施形態１に係る三次元情報検出装置１５０は、必要に応じて、カメラレンズ２０と、分割光学系３０とを備えてよい。更に、本実施形態に係る三次元情報検出装置１５０の関連構成要素として、測定対象物２００が、図１において示されている。

光源１０は、強度変調光１１を発生させて測定対象物２００に照射する手段である。光源１０は、光を発生させるとともに、光を強度変調することができ、強度変調光を発生させる。光源１０は、例えば、カメラレンズ２０の撮像光軸の近傍に配置されてよい。光源１０は、１個であってもよいし、カメラレンズ２０の周辺に複数個の小さな光源がアレイ状に配置され、同期変調されて全体として１個の光源１０を構成していてもよい。光源１０は、撮影光軸に近接配置することで、測定対象物面上で照明光が照射されない影の部分の発生を防ぐことができる。光源１０の前には、レンズは拡散板等が配置され、撮影される測定対象物２００の全体に強度変調光１１が照射されるように調整されていてよい。

光源１０から発射された強度変調光１１は、測定対象物２００の表面で反射し、反射光１２は、三次元情報検出装置１５０側のカメラレンズ２０と、分割光学系３０で各ゲート撮像素子４１、４２に結像される。

カメラレンズ２０は、強度変調光１１が測定対象物２００に照射して反射した反射光１２を受光し、受光した反射光１２を調整して各ゲート撮像素子４１、４２に画像を結像する手段である。カメラレンズ２０は、ズーム機能、フォーカス機能、アイリス機能等、一般的なカメラと同じ機能を備えていてよく、これらの操作に連動して、ゲート撮像素子４１、４２に等しい画角の画像が結像される。

分割光学系３０は、カメラレンズ２０で調整された反射光１２を、２つの各ゲート撮像素子４１、４２に分割して導くための光学手段である。分割光学系３０により、各ゲート撮像素子４１、４２に同じ反射光１２が導かれ、画像が結像される。分割光学系３０は、例えば、プリズムが適用されてもよい。

ゲート撮像素子４０は、複数のゲート撮像素子４１、４２を含む。図１においては、２台のゲート撮像素子４１、４２を備えている例を挙げているが、２台以上、つまり複数であれば、更に多くのゲート撮像素子４１、４２を備えていてよい。詳細は後述するが、本実施形態に係る三次元情報検出装置１５０においては、複数のゲート撮像素子４１、４２を備えることにより、ほぼ同時のタイミングで複数の画像を取得することが可能となり、高精度な距離画像を高速で取得することが可能となる。

ゲート撮像素子４１、４２は、反射光を取り込み電気に変化する時間、つまり光を取り込むゲート開閉時間を短時間に制限し、撮像を行う撮像手段である。これは、一般的なカメラのシャッターの開閉に相当する機能と同じ効果であるが、ゲート撮像素子４１、４２によるゲートの開閉速度は、一般的なカメラに付属の機械的なシャッターや電気的シャッターなどのいわゆる高速シャッターと呼ばれるものより桁違いに早く、１〜２〔ｎｓ〕、数〔ｎｓ〕程度でゲート開閉を行い、撮像を行うことができる。ゲート撮像素子４１、４２における撮像時間の数ｎ秒オーダーは、一般的な高速シャッターと比較して、５桁から６桁程度高速であることから、本実施形態においては、そのようなｎ秒オーダーレベルの撮像を行う素子を、ゲート撮像素子４１、４２と呼んでいる。

ゲート撮像素子４１、４２には、例えば、イメージインテンシファイア（Image Intensifier）のような電子管を適用してもよい。イメージインテンシファイアは、光電面やマイクロチャンネルプレート、蛍光面から構成されたイメージ電子管である。イメージインテンシファイアは、マイクロチャンネルプレートや蛍光面による光の増倍機能、又は光電面とマイクロチャンネルプレート間に印加するバイアス電圧のゲート幅を制御することで、ある一定期間内のみの画像撮影ができる。この撮影機能は、マイクロチャンネルプレートに印加する電圧の振幅や時間幅、波形を制御することで、各種ゲイン変調が実現できる。このときの撮像ゲイン変調は、短時間の矩形波状のパルス光でもよいし、正弦波状や三角波状に、単調に増加と減少を繰り返すものであってもよい。一般に、本実施形態においては、光の往復時間を検出することにより、距離画像を検出する手法を用いるため、変調時間も数１０ナノ秒からサブナノ秒の超短時間の撮像ゲイン変調機能が必要である。なお、イメージインテンシファイアの蛍光面の光画像を、レンズやファイバープレートを用いて、ＣＣＤやＣＭＯＳなど現在広く一般に使用されている撮像素子に入力することにより、映像信号として出力することができる。

また、ゲート撮像素子４１、４２には、イメージインテンシファイアの他に、高速で撮像を行うことができるＣＣＤやＣＭＯＳが適用されてもよい。近年、ｎ秒オーダーの撮像機能を実現できるＣＣＤやＣＭＯＳが入手可能であるので、このような高速撮像が可能なＣＣＤやＣＭＯＳをゲート撮像素子４１、４２に適用してもよい。この場合、上述のイメージインテンシファイア等の電子管と異なり、ゲート撮像素子４１、４２の背後にＣＣＤやＣＭＯＳを設ける必要が無いので、ゲート撮像素子４１、４２から直接的に光画像から電気信号である映像信号を出力することができる。

このように、ゲート撮像素子４１、４２は、ｎ秒オーダーレベルでの撮像が可能な素子が適用されるが、ｎ秒オーダーレベルに限定するものではなく、それより更に高速であっても、当然に本実施形態に適用することができる。将来的に、更に高速のゲート撮像素子４１、４２が実現されれば、そのようなゲート撮像素子４１、４２も好適に本発明に適用することができる。

なお、詳細は後述するが、各ゲート撮像素子４１、４２のゲートを開放するゲートタイミングと、強度変調光１１の変調タイミングは同期駆動されている。また、強度変調光１１の出力時間幅及び各ゲート撮像素子４１、４２の撮像ゲインの駆動時間幅は、外部から制御可能に構成されてもよい。

各ゲート撮像素子４１、４２から出力される各画像は、同期して距離画像８０の演算処理装置７０に入力され、演算処理装置７０からは、距離画像８０が演算・出力される。各ゲート撮像素子４１、４２からの出力信号は、映像信号でもよく、そのフレームレートは、３０〔Ｈｚ〕、６０〔Ｈｚ〕又は１２０〔Ｈｚ〕が一般的である。

演算処理装置７０は、ゲート撮像素子４１、４２から入力された複数の画像に基づいて、距離画像を算出する演算処理手段である。演算処理装置７０は、例えば、ＣＰＵ（Central Processing Unit、中央処理装置）を搭載したコンピュータやマイクロコンピュータが適用されてもよいし、所定の演算処理回路が搭載されたＡＳＩＣ（Application Specific Integrated Circuit）が適用されてもよい。また、演算処理装置７０は、各ゲート撮像素子４１、４２のフレームレートに追従して距離画像の算出演算を行う。例えば、上述の例を適用すれば、各ゲート撮像素子４１、４２のフレームレートに追従して、３０〔Ｈｚ〕、６０〔Ｈｚ〕又は１２０〔Ｈｚ〕の更新速度で距離画像の算出演算を行う。

なお、以後の説明において、ゲート撮像素子を総称的に、又は特に区別をせずに単体のゲート撮像素子を指す場合はゲート撮像素子４０と参照符号を付し、個々の各ゲート撮像素子を指す場合は、ゲート撮像素子４１、４２を付すものとする。

次に、図２を用いて、図１において説明した構成を有する実施形態１の係る三次元情報検出装置１５０の、概略動作について説明する。図２は、実施形態１に係る三次元情報検出装置１５０を用いた三次元情報検出方法について説明するための図である。

図２において、実施形態１に係る三次元情報検出装置１５０は、光源１０と、ゲート撮像素子４０と、演算処理装置７０とを備える。図２においては、本実施形態に係る三次元情報検出方法を実行するために必要な、三次元情報検出装置１５０の演算処理を行う構成要素のみが示されている。また、本実施形態に係る三次元情報検出装置１５０の関連構成要素として、測定対象物２００である被写体が示されている。

本実施形態に係る三次元情報検出装置１５０及び三次元情報検出方法は、カメラから測定対象物２００までの距離情報を画像として表した距離画像を取得する。距離検出の基本原理は、照射光の往復時間から、カメラと測定対象物２００との距離を求める光飛行時間計測法に基づいている。

図２において示されるように、時間とともに光強度が変化する強度変調光１１を光源１０により出力し、測定対象物２００に照射する。図２においては、強度変調光１１は、三角波形状の光パルスとなっている。測定対象物２００は、円柱の被写体２０１と、直方体の被写体２０２を含み、円柱の被写体２０１の方が、直方体の被写体２０２よりも、光源１０との距離が接近している。

測定対象物２００からの反射光１２は、光源１０との距離に応じて、位相が異なる。つまり、光源１０に接近して距離の短い円柱の被写体２０１からは、短時間で反射光１２Ａが反射し、円柱の被写体２０２よりも光源１０からの距離が遠い直方体の被写体２０２からは、反射光１２Ａよりも長時間かかって反射光１２Ｂが反射する。

次に、反射光１２Ａ、１２Ｂを、ある一定の時間内のみ画像を撮像する機能を有する複数台のゲート撮像素子４１、４２で撮像する。ここで、ある一定の時間とは、図２に示すように、ゲート撮像時間幅５１、５２が、１つの反射光１２Ａ、１２Ｂの変調波の波形パルスから、複数の画像を異なるタイミングで撮像できる程の短時間を意味する。例えば、反射光１２の周期が１０〔ｎｓ〕のときに、ゲート撮像時間５１、５２の時間幅が１〜２〔ｎｓ〕であれば、図２に示すように、複数のゲート撮像素子４１、４２を用いて、１変調波から複数画像を異なる撮像タイミングで撮像できることになる。図２においては、ゲート撮像素子４１は、反射光１２Ａからは、変調波が終了する直前の反射光１２Ａを撮像し、反射光１２Ｂからは、波形値の減少が開始する頂点に近い部分を撮像している。同様に、ゲート撮像素子４２は、反射光１２Ａからは、波形値が増加している頂点に近い部分を撮像し、反射光１２Ｂからは、増加が開始した直後の小さい波形部分から撮像を行っている。

図２において、画像６０として、ゲート撮像素子４１で撮像した画像６１と、ゲート撮像素子４２で撮像した画像６２が示されている。画像６１においては、ゲート撮像素子４１で円柱の被写体２０１と直方体の被写体２０２を撮像した画像が示されているが、輝度の高いタイミンで反射光１２Ｂを受光及び撮像した直方体の被写体２０２の画像が白くなり（高輝度）、輝度の低いタイミングで反射光１２Ａを受光及び撮像した円柱の被写体２０２の画像が黒くなっている（低輝度）。一方、画像６２においては、ゲート撮像素子４２で同様の測定対象物２００を撮像した画像が示されているが、反射光１２Ａを輝度の高いタイミングで受光及び撮像した円柱の被写体２０１の画像が白くなり、反射光１２Ｂを輝度の低いタイミングで受光及び撮像した直方体の被写体２０２の画像が黒くなっている。

このような、画像６１、６２の各々に表れた同じゲート撮像素子４１、４２における反射光１２Ａと反射光１２Ｂとの輝度差は、円柱の被写体２０１と直方体の被写体２０２との奥行きの差を示している。一方で、同一の反射光１２Ａにおけるゲート撮像素子４１とゲート撮像素子４２の撮像画像は、反射光１２Ａの同一の波形から取得された円柱の被写体２０１についての画像である。よって、ゲート撮像素子４１とゲート撮像素子４２のゲート開放のタイミング、つまり撮像タイミングの時間差を考慮すれば、同一の波形から２つの撮像画像６１、６２を取得できていることになる。そして、この２つの撮像画像６１、６２を用いて、反射光１２Ａの距離画像を算出する演算処理を行うようにすれば、１つの波形に対するデータ数が２つあるので、複数の画像データを用いて演算処理を行うことができる。そして、複数の画像データを用いた演算処理により、照射光の強度分布のムラや反射率の補正、バックグラウンド光の補正等を行うことができ、距離の情報のみを求めて距離画像を算出することができる。

また、反射光１２Ａ、１２Ｂは、同一の周期で連続的な波形を有して反射するので、図２に示したような撮像タイミングで、反射光１２Ａ、１２Ｂの輝度データを１周期の変調波毎に蓄積でき、高分解能かつ高Ｓ／Ｎ比の距離画像を取得することができる。つまり、図２においては、１周期の変調波から複数の撮像画像６１、６２を取得する状態が、紙面の都合上、１周期の波形に対してしか示されていないが、光源１０から出力される強度変調光１１が、複数周期が連続した波形であれば、反射光１２Ａ、１２Ｂは、強度変調光に対応して複数周期が連続した波形となるので、各周期の波形に対して、１周期毎に複数の撮像画像６１、６２を取得できることになる。これにより、短時間の強度変調光１１の照射であっても、十分な撮像画像６１、６２の画像データを蓄積することができ、短時間で高分解能と高Ｓ／Ｎを実現することができる。

このような、撮像タイミングと強度変調光１１の反射光１２の関係を考慮した演算を、演算処理手段７０において行うようにすれば、高精度の輝度画像８０を取得することができる。図２において、上述のような演算処理を演算処理手段７０で行った結果、近い距離にある円柱の被写体２０１が明るく、遠い距離にある直方体の被写体２０２が暗い距離画像８０が得られる。つまり、距離の情報が、輝度に反映された高精度の距離画像８０が得られる。

このように、本実施形態に係る三次元情報検出装置１５０及び三次元情報検出方法においては、反射光１２の１つのパルス周期から、複数のゲート撮像素子４１、４２を用いて複数の画像６１、６２を取得することにより、高速に高精度の距離画像を取得できる。

なお、このような本実施形態において説明した高速かつ高精度の距離画像の取得は、ゲート撮像素子４１、４２の撮像ゲインを変化させて行うこともできるが、この内容については後述する。

次に、今まで説明した実施形態１に係る三次元情報検出装置１５０の構成を基本及び前提として、種々の強度変調光１１と撮像ゲインの波形及びタイミング設定について、以下の実施形態において更に詳細に説明する。なお、以下の実施形態において、三次元情報検出装置１５０が、３台以上のゲート撮像素子４０を備えている場合についても説明するが、そのような構成の三次元情報検出装置１５０も、実施形態１に含まれるものとする。例えば、図１の分割光学系３０が更に多方向に分割が可能なものを用い、ゲート撮像素子４１と同様の配置で光軸の周囲を取り囲むようにすれば、更に多くのゲート撮像素子４０を配置することが可能となる。また、図２においても、各ゲート撮像素子４１、４２の数を増加させ、取得される画像６１、６２を増加させれば、同様の処理内容を適用することができる。よって、以下の実施形態において、構成に特別な相違が無い限り、三次元情報検出装置１５０の全体構成の図は省略し、各構成要素に付された参照符号も、同一の構成要素には同一の参照符号を付すものとする。

〔実施形態２〕
図３は、本発明を適用した実施形態２に係る三次元情報検出装置１５０及び三次元情報検出方法におけるゲート撮像素子４０の撮像ゲイン変調波形と、強度変調光１１の変調波形の一例を示した図である。

図３において、強度変調波形１１は、増加と減少を繰り返す周期的な変調をしている。強度変調波形１１は、正弦波であってもよいし、直線的に増加及び減少する三角波であってもよい。また、周期的に増加と減少を繰り返す既知の非線形関数の波形であってもよい。ゲート撮像素子がＮ台（Ｎは２以上の自然数）の場合、第１ゲート撮像素子４１、第２ゲート撮像素子４２、・・・第Ｎゲート撮像素子４３の各ゲート開放のタイミングを図のように、時間をずらして設定する。図３において、第１ゲート撮像時間５１、第２ゲート撮像時間５２、・・・第Ｎゲート撮像時間５３が、各ゲート撮像素子４１、４２、４３のゲート開放タイミングに対応して設定されている。また、強度変調光１１の変調周期は、Ｔである。なお、実施形態１において、反射光１２のパルスを取り上げて説明を行ったが、反射光１２は、強度変調光１１と同一の周期の波形が反射されるので、光源１０から照射される強度変調光１１の周期Ｔを調整することにより、反射光１２の周期Ｔも同様に調整できる。よって、以下の実施形態においても、強度変調光１１の周期Ｔが示されている場合と、反射光１２の周期が示されている場合があるが、それらは同一の意味と考えてよい。

図３に示すように、ゲート撮像素子４０がＮ台の場合、Ｎ台のゲート撮像素子４０の個々の変調位相差は、略Ｔ／Ｎと設定するのがよい。これにより、１周期の強度変調光１１のパルスから、最も均等かつ効率的に三次元情報を取得することができ、Ｎ台のゲート撮像素子４０を効率的に用いて高精度の距離画像８０を取得することができる。

なお、図３に示す場合には、強度変調光１１の１周期の時間Ｔ内で、Ｎ台のゲート撮像素子４０による撮像が、各々異なるタイミングで１回ずつ行われ、合計でＮ回の撮像が行われるので、当然に強度変調光１１の周期Ｔよりも、各ゲート撮像時間５１、５２、５３の時間幅は、周期Ｔよりも短時間となる。例えば、強度変調光１１の周期は、１０〔ｎｓ〕〜１００〔ｎｓ〕の範囲で用途に応じて設定し、各ゲート撮像素子４０のゲート撮像時間５１、５２、５３の時間幅は、１〜２〔ｎｓ〕、又は数〔ｎｓ〕程度に設定してもよい。強度変調光１１とＮ台のゲート撮像素子４０のゲート撮像時間５１、５２、５３の時間幅は、強度変調光の周期Ｔ内に異なるタイミングで複数のゲート撮像時間５１、５２、５３を設定できる限り、種々の設定とすることができる。

実施形態２に係る三次元情報検出装置１５０及び三次元情報検出方法によれば、Ｎ台のゲート撮像素子４０と、各ゲート撮像素子４０のゲート撮像時間５１、５２、５３の２倍以上ある長い波長を有する強度変調光１１を用いることにより、効率的に高精度の距離画像を検出することができる。

〔実施形態３〕
本発明を適用した実施形態３に係る三次元情報検出装置１５０及び三次元情報検出方法においては、直線的に光強度が増加及び減少する強度変調光１１ａを用いた場合の距離算出の原理について説明する。

図４は、三角波の強度変調光１１ａを用いた場合の距離算出を説明する図である。図４（Ａ）は、実施形態３に係る三次元情報検出装置１５０の設置状態の一例を示した図であり、図４（Ｂ）は、強度変調光１１ａ及び反射光１２ａと、複数のゲート撮像素子４０のゲート撮像時間５１ａ、５２ａとの関係の一例を示した図である。

図４（Ａ）において、測定対象物２００に対して、距離ｄ離れて三次元情報検出装置１５０が設置され、強度変調光１１ａが測定対象物２００に照射され、反射光１２ａが反射して三次元情報検出装置１５０に受光された状態が示されている。例えば、このような状態で、実施形態３に係る三次元情報検出装置１５０による測定対象物２００の撮像は行われる。

図４（Ｂ）において、強度変調光１１ａ及び反射光１２ａと、第１ゲート撮像時間５１ａ及び第２ゲート撮像時間５２ａが横軸を時間軸として示されている。本実施形態においては、簡単のため、第１のゲート撮像素子４１と第２のゲート撮像素子４２の２台のゲート撮像素子４１、４２が使用された場合を例に挙げて説明する。図４（Ｂ）において、第１のゲート撮像素子４１と第２のゲート撮像素子４２のゲート開放タイミングの間隔、つまり第１のゲート撮像時間５１と第２のゲート撮像時間５２の間隔は、強度変調光１１ａの周期ＴのＴ／２に設定している。

距離ｄ離れた測定対象物２００に、時間とともに係数ｓで光強度が増加及び減少する強度変調光１１ａを照明し、測定対象物２００からの反射光１２ａを時刻ｔ_ｓに短時間撮像すると、第１のゲート撮像素子４１で第１のゲート撮像時間５１に検出される信号量Ｅ_＋（ｄ，ｔ_ｓ）は、（１）式のように表される。

ここで、ρは測定対象物表面の反射特性係数、Ｔ_Ｌは撮像レンズ光学系の透過率、Ｆ_０は照射光の最大輝度、ｃは光速度、Δｔは撮像時間幅である。

一方、第２のゲート撮像素子４２で第２のゲート撮像時間５２に検出される信号量Ｅ₋（ｄ，ｔ_ｓ）は、（２）式のように表される。

（１）式と（２）式より、撮像ゲインの異なる２枚の画像間での強度比をＲ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（３）式のようになる。

（３）式で示されるように、増加ゲイン時と減少ゲイン時に撮像した２つの画像間の比を計算することで、測定対象分２００の反射率や、光の拡散による光の減衰効果等の影響をキャンセルし、距離を求めることができる。演算処理装置７０では、第１のゲート撮像素子４１と第２のゲート撮像素子４２からの信号を同時に取り込み、（３）式の演算処理を行い、距離画像を算出して出力する。

〔実施形態４〕
次に、図５を用いて、図１乃至図４とは異なるゲート撮像素子４０の撮像ゲイン変調と強度変調光１１ｂの形態について説明する。図５は、本発明を適用した実施形態４に係る三次元情報検出装置１５０及び三次元情報検出方法の、強度変調光１１ｂと、第１の撮像ゲイン変調波形５１ｂ及び第２の撮像ゲイン変調波形５２ｂとの関係を示した図である。

実施形態４に係る三次元情報検出装置１５０及び三次元情報検出方法においては、強度変調光１１ｂは、矩形波状のパルス変調が行われたパルス変調波形である。一方、第１のゲート撮像素子４１及び第２のゲート撮像素子４２の撮像ゲイン変調波形５１ｂ、５２ｂは、増加及び減少する三角波の形状を有する。このように、強度変調光１１ｂをパルス波にするとともに、ゲート撮像素子４１とゲート撮像素子４２の撮像ゲインを変調して時間の経過とともに変化させ、撮像を行うようにしてもよい。その際、撮像ゲインの変調波形５１ｂ、５２ｂは、所定の周期を有するように変調が行われてよい。図５においては、強度変調光１１ｂに対して、第１の撮像ゲイン変調波形５１ｂと、第２の撮像ゲイン変調波形５２ｂとは、その変調位相を、撮像ゲイン変調周期Ｔｇの約半分だけずらし、変調位相差が撮像ゲイン変調周期Ｔｇの約半分のＴｇ／２となっている。

図４（Ａ）に示したのと同様に、距離ｄの位置の測定対象物２００に、光強度Ｆ_０のパルス光を時刻ｔ_ｐに照射し、測定対象物２００からの反射光を、時間とともに係数ｇで増加する撮像ゲインをもつイメージセンサで撮像する。このとき、三次元情報検出装置１５０のカメラで検出される信号量Ｅ₋（ｄ，ｔ_ｐ）は、（４）式で表される。

ここで、τは光のパルス幅である。次に、撮像ゲインが時間とともに係数ｇで減少する場合に、同様に撮像した時のカメラで検出される信号量Ｅ₋（ｄ，ｔ_ｐ）は、（５）式で表される。

ここで、Ｔｇは撮像ゲインの周期である。（４）式と（５）式より、撮像ゲインの異なる２枚の画像間での強度比をＲ＝Ｅ_＋／Ｅ₋をとり、距離ｄを求めると、（６）式のようになる。

（６）式で示されるように、増加ゲイン時と減少ゲイン時に撮像した２つの画像間の比を計算することで、測定対象物２００の反射率や、光の拡散による光の減衰効果等の影響をキャンセルし、距離ｄを算出して求めることができる。

このように、パルス状の強度変調光１１ｂと、時間とともに変化する撮像ゲインの組み合わせでは、パルスレーザーを用いることができ、Ｑスイッチパルスレーザー光、モード同期パルス光など、ピコ秒からフェムト秒（１０^−１５秒）のパルスレーザー光が使用できるため、高分解能な距離検出が可能となる。

この場合、測定できる範囲（測定レンジ）Ｄは、（７）式で表される。

このパルス光を用いる三次元情報検出方法では、パルス幅を狭くすることで、測定レンジを短くできるため、相対的に、絶対的分解能を高めることができる。そのため、高速かつ数〔ｍｍ〕以下の高分解能な距離の検出も可能となる。

〔実施形態５〕
図６は、本発明を適用した実施形態５に係る三次元情報検出装置１５０及び三次元情報検出方法における強度変調光１１ｃとゲート撮像時間５１ｃ〜５４ｃとの関係を示した図である。実施形態５に係る三次元情報検出装置１５０及び三次元情報検出方法においては、ゲート撮像素子４０が４台ある場合について説明する。特に、実施形態５においては、距離画像の算出の方法を、具体的に説明する。

図６において、強度変調光１１ｃの位相を略π／２毎にシフトさせ、１〜４フレームまでの画像を順次撮像すると、４種類のゲート撮像素子４０に撮像される各画像強度Ｖ_１〜Ｖ_４は、（８）〜（１２）式で表される。

但し、φは変調位相、ｅは光源以外の外光成分（環境光成分）、ｔ_０はシャッタータイミング、ｃは光速度、ｆは強度変調周波数である。

（８）〜（１２）の４式より、位相φは（１３）式で求められる。

ここで、（１２）式よりφを消去すると、カメラから測定対象物２００までの距離ｄは、（１４）式のように求められる。

このように、測定対象物２００の反射率ρの影響や、外光ｅの影響などをキャンセルして、カメラと測定対象物２００間の距離ｄを求めることができる。また、本実施形態においては、４台のゲート撮像素子４０を用いた例を挙げたが、少なくとも、異なる３位相以上の画像があれば、本実施形態と同様の方式を適用できるので、ゲート撮像素子４０が３台以上存在すれば、本実施形態に係る三次元情報検出装置１５０及び三次元情報検出方法を好適に適用することができる。

〔実施形態６〕
本発明の実施形態６に係る三次元情報検出装置１５０及び三次元情報検出方法においては、測定対象物２００からの反射光１２、１２ａ、１２ｂを撮像する複数のゲート撮像素子４０の他に、強度変調光１１ｄが照射されていない時間帯にゲート変調撮影を行い、距離検出光以外の環境光の下で画像を検出する環境光撮像用ゲート撮像素子を少なくとも１台更に備える。例えば、本実施形態に係る三次元情報検出装置１５０が、距離検出用の第１のゲート撮像素子４１及び第２のゲート撮像素子４２の他に、環境光撮像用ゲート撮像素子４３を１台備えるような構成としてもよい。これにより、第１のゲート撮像素子４１及び第２のゲート撮像素子４３で撮像した画像に基づいて、距離画像の演算算出を行っているときに、環境光撮像用ゲート撮像素子４３で撮像した環境光下での画像の差分をとることで、屋外のような外乱光成分が多い環境下でも、三次元計測が可能となる。

以下、図７を用いて、具体的な内容の一例について説明する。図７は、強度変調光１１ｄと、第１のゲート撮像素子４１の第１の撮像ゲイン変調波５１ｄ及び第２のゲート撮像素子４２の第２の撮像ゲイン変調波５２ｄと、環境光撮像用ゲート撮像素子４３の第３の撮像ゲイン変調波５３ｄとの関係の一例を示した図である。

図７において、パルス状の強度変調光１１ｄに対して、第１のゲート撮像素子４１と第２のゲート撮像素子４２は、第１の撮像ゲイン変調波５１ｄと第２の撮像ゲイン変調波５２ｄの変調位相をずらして撮像し、それぞれ画像Ｖ_１、Ｖ_２を得るものとする。更に、環境光撮像用ゲート撮像素子４３は、強度変調光１１ｄを照射しないタイミングの時間帯に、第１の撮像ゲイン変調波５１ｄ及び第２の撮像ゲイン変調波５２ｄと同じ波形の第３の撮像ゲイン変調波５３ｄを用いて撮像を行い、画像Ｖ_３を得るものとする。

ここで、第３の撮像ゲイン変調波５３で撮像された画像Ｖ_３は、距離検出以外の画像信号である。図７において、第１の撮像ゲイン変調波５１ｄ及び第２の撮像ゲイン変調波５２ｄは、ともに強度変調光１１ｄと異なる位相で交わっており、第３の撮像ゲイン変調波５３ｄは、強度変調光１１ｄと交わっていないことから、環境光撮像用ゲート撮像素子４３により撮像された画像Ｖ_３は、環境光下で撮像された画像であることが示されている。

画像Ｖ_１、Ｖ_２及びＶ_３より、（１５）式で強度比Ｒが求められ、更に（１６）式から距離画像が求められる。

このように、測定対象物２００との距離測定用の複数のゲート撮像素子４１、４２の他に、環境光用ゲート撮像素子４３を設け、環境用ゲート撮像素子４３においては、光源１０から発射された強度変調光１１ｄを用いない状態で画像を取得することにより、環境光の影響を排除し、環境光の影響が強い屋外でも高精度の三次元画像を取得することができる。

なお、本実施形態においては、２台の距離測定用のゲート撮像素子４１、４２と、１台の環境光撮像用ゲート撮像素子４３を用いた例を挙げて説明したが、少なくとも１台の環境光撮像用ゲート撮像素子４３と、強度変調光１１ｄの１周期のパルスから複数の画像を撮像できる複数の距離測定用のゲート撮像素子４１、４２を有していれば、ゲート撮像素子４０の設定は用途に応じて種々の組み合わせとすることができる。

〔実施形態７〕
図８は、本発明を適用した実施形態７に係る三次元情報検出装置１５０における１ビデオフレーム期間中の撮像方法の一例を示した図である。図８において、１ビデオフレーム期間が示され、ビデオフレームの前半において強度変調光１１ｅの照射及び撮像が行われ、後半においては強度変調光１１ｅの照射も行われず、撮像ゲインも０となり、撮像が行われていない状態が示されている。

通常のビデオカメラで映像を撮影する場合、電子シャッター機能等を用いなければ、ほぼ１ビデオフレーム期間中（例えば、３３〔ｍｓ〕や１６．６〔ｍｓ〕）の総ての期間において、画像は撮像されて蓄積される。そのため、１ビデオフレーム期間中（例えば、フレームレート６０〔Ｈｚ〕の場合、時間は約１６．６〔ｍｓ〕）に撮影画面内で測定対象物２００が動いた分だけ画像がぼけることになる。この状態で距離画像を撮像した場合、検出する距離画像もぼけ、正しい距離演算ができないことになってしまう。

そこで、本実施形態においては、上述の点を改善するため、強度変調光１１ｅの出力時間と撮像時間を、１ビデオフレーム内のある一部の期間にのみ行うように制御する。強度変調光１１ｅの照射時間と、撮像ゲインの変調時間を所定の時間に制限すれば、動いている測定対象物２００でも動きぶれを低減し、瞬時に画像の撮影と距離画像の検出ができる。図８においては、１ビデオフレーム期間の前半に、強度変調光１１ｅを測定対象物２００に照射するとともに、複数のゲート撮像素子４１、４２の各々が、強度変調光１１ｅの１パルスの周期内にゲート撮像時間５１ｅ、５２ｅにおいて撮像を行っており、強度変調光１１ｅの周期毎に、同様の撮像タイミングで撮像を行っている。

本発明でも基本原理として利用されている光飛行時間計測法では、一般的に、光の変調及び撮像変調は、数１０〔ＭＨｚ〕近辺の比較的高速な強度変調を行う。そのため、距離検出に必要な反射光１２、１２ａ、１２ｂの撮影は、数１０ナノ秒に１回程度の割合で可能である。但し、撮影時間が短いため、１回の撮影で得られる光の量はわずかであり、複数回行い、信号を蓄積する必要がある。この点、例えば、図８における光／撮像変調期間を数１０〜数１００μ秒とし、数１０〜数１００〔μｓ〕間、撮影を繰り返し、信号を増幅及び蓄積することで、信号対ノイズ比のよい画像取得に十分な光量が得られる。そして、撮像期間は、１ビデオフレームよりも桁違いに短い期間となっているので、動きの速い測定対象物２００についても、動きぼけのない距離画像を取得することができる。

〔実施形態８〕
次に、図９を用いて、本発明を適用した実施形態８に係る三次元情報検出装置１５０ａ及び三次元情報検出方法について説明する。図９は、実施形態８に係る三次元情報検出装置１５０ａの全体構成の一例を示した図である。

実施形態８に係る三次元情報検出装置１５０は、光源１０と、カメラレンズ２０と、分割光学系３０と、複数のゲート撮像素子４０と、演算処理装置７０とを備え、演算処理装置７０から距離画像８０が出力される点で、実施形態１に係る三次元情報検出装置１５０と共通する。なお、複数のゲート撮像素子４０は、具体的には、ゲート撮像素子４１、４２を含んでいる。

一方、実施形態８に係る三次元情報検出装置１５０ａは、信号発生器９０と、位相差調整手段１００と、光源駆動部１１０と、撮像駆動装置１２０とを更に備える点で、実施形態１に係る三次元情報検出装置１５０と異なっている。

実施形態８に係る三次元情報検出装置１５０ａにおいては、複数台のゲート撮像素子４１、４２を、同期駆動して撮像を行う。ここで、複数台のゲート撮像素子４１、４２で撮像する際には、撮像素子の面内補正と、一括制御、信号のアルゴリズム・系統と、光軸・画角調整機構、ズーム連動機構とが重要となる。以下、これらの点について詳細に説明する。

＜撮像素子の面内補正について＞
複数のゲート撮像素子４１、４２は、撮像面内に撮像感度のムラがあるため、不均一性を補正処理することが好ましい。撮像面内の不均一性の補正は、例えば、全体が白一色の基準パターンなどを、各ゲート撮像素子４１、４２で撮影することにより行う。このような基準パターンを撮像して各ゲート撮像素子４１、４２で得られる画像パターンには、ゲート撮像素子４１、４２の感度ムラや、撮像光学系２０、３０の輝度ムラにより、異なったシェーディング特性の画像が得られる。得られた画像間の輝度ムラによる不均一性を補正するため、各画像間の輝度比を求め、求めた輝度比の比率に応じて係数を画像に乗算することで、不均一性の補正を行うことができる。

具体的には、補正方法の一例として、全画像の平均画像を用いて、このような輝度ムラの補正を行う例について説明する。Ｎ個のゲート撮像素子４０を用い、所定の基準パターンを撮影した画像を、それぞれＶ_１（ｘ，ｙ）、Ｖ_２（ｘ，ｙ）・・・Ｖ_Ｎ（ｘ，ｙ）とすると、全画像の平均画像は、（１７）式のように求まる。

次に、平均画像に対する各画像の比α_Ｎ（ｘ，ｙ）は、（１８）式のように求められる。

Ｎ個のゲート撮像素子４０で得られた画像に、（１８）式で算出された各係数α_１、α_２・・・α_Ｎを乗算し、今までの実施形態で説明した距離演算を行なうことにより、Ｎ個のゲート撮像素子４０の面内の感度の不均一性を低減させることができる。

＜信号の制御方法について＞
次に、図９を用いて、本実施形態に係る三次元情報検出装置１５０ａ及び三次元情報検出方法における信号の制御方法の一例について説明する。

映像同期信号９５は、総ての部品のマスターとなる、画像フレーム（又はビデオフレーム）期間の起点を定めるクロックパルスのような信号である。映像同期信号９５により、各部品は、画像フレーム毎に同期がとられることになる。

信号発生器９０は、入力された映像同期信号９５に基づいて、光源１０と、各ゲート撮像素子４１、４２をオンとして同期駆動するための基準となる制御信号を発生させる基準信号発生手段である。信号発生器９０は、外部から入力された映像同期信号９５に基づいて生成した制御信号を、光源１０と、各ゲート撮像素子４１、４２に分配出力し、画像フレーム期間内で各部品がオンとなって駆動動作を開始するタイミングの同期を取る。これにより、オン時間の同期がとられることになる。

位相差調整器１００は、光源１０、第１のゲート撮像素子４１及び第２のゲート撮像素子４２について、同一周期内で位相差を発生させ、光源１０及び撮像の変調タイミングを調整する手段である。本実施形態における強度変調光１１ｅと各ゲート撮像素子４１、４２との撮像タイミングの関係は、位相差調整器１００で調整されることになる。

光源駆動部１１０は、光源１０を駆動させる駆動手段であり、撮像駆動手段１２１、１２２は、ゲート撮像素子４１、４２を駆動させる駆動手段である。ゲート撮像素子４１には撮像駆動手段１２１、ゲート撮像素子４２には撮像駆動手段１２２が各々対応して設けられている。

図９に示した三次元情報検出装置１５０ａにおいて、各ゲート撮像素子４１、４２による撮影映像は、マスターとなる映像同期信号９５で、各フレームが同期駆動される。同時に、光源１０及びゲート撮像素子４１、４２の信号発生器９０にも映像同期信号９５が入力され、図９及び図８に示すように、１ビデオフレーム間のあるタイミングに任意の期間だけ、変調信号が出力されるように制御されている。

このように、実施形態８に係る三次元情報検出装置１５０ａのように、信号発生器９０及び位相差調整器１００を用いて、外部から入力される映像同期信号９５に基づいて、信号の制御を行うようにしてもよい。これにより、外部の映像同期信号９５を用途に応じた設定とすることにより、種々の用途に三次元情報検出装置１５０ａを適用することができる。

なお、実施形態８に係る三次元検出装置１５０ａの図９において説明した信号制御の構成及び方法は、必要に応じて、実施形態１乃至７に係る三次元情報検出装置１５０及び三次元情報検出方法に適用してもよい。実施形態１乃至７に係る三次元情報検出装置１５０及び三次元情報検出方法は、撮像タイミングが予め設定されていてもよいし、他の方法により設定されてもよいし、実施形態８に係る三次元検出装置１５０ａのように外部からの同期信号に基づいて設定が行われてもよい。

＜画角と画像サイズ調整機構＞
複数のゲート撮像素子４１、４２で撮影される画像は総て、等しい大きさ、画角及び焦点距離となるように配置されている。また、画像の撮影においては、カメラレンズ２０のズーム機能が使用できるような光学配置になっている。例えば、ゲート撮像素子４０ａを３枚使用する例を図１０に示す。

図１０は、本発明を適用した実施形態８の変形例１に係る三次元情報検出装置１５０ｂの全体構成の一例を示した図である。実施形態８の変形例に係る三次元情報検出装置１５０ｂは、光源１０と、レンズカメラ２０と、演算処理装置７０とを備え、演算処理装置７０から距離画像８０が出力される点は、実施形態１に係る三次元情報検出装置１５０の図１と同様である。実施形態８の変形例１に係る三次元情報検出装置１５０ｂは、ゲート撮像素子４０ａが３台のゲート撮像素子４１、４２、４３を有する点と、分割結像光学素子３０ａが、３方向に反射光１２を分割し、３つのゲート撮像素子４１、４２、４３に対して画像を結像させる構成となっている点で、図１に係る三次元情報検出装置１５０の構成と異なっている。

図１０において、カメラレンズ２０は、ズーム機能とアイリス、フォーカス調整機能を有し、カメラレンズ２０の後には、プリズムのような分割結像光学素子３０ａを有する。そして、分割結像光学素子３０ａのフォーカス面に、各ゲート撮像素子４１、４２、４３が配置されている。ここで、カメラレンズ２０及び分割結像光学素子３０ａは、距離検出を行う光の波長で最適な特性となるような撮像光学系として設計されていることが好ましい。距離検出用の波長としては、赤外〜近赤外領域の光が利用できる。特に、近赤外領域では、可視光領域に近いため、一般的な可視画像撮像用のカメラレンズ２０が利用できる利点がある。更に、近赤外領域では、レーザやＬＥＤ（Light Emitting Diode、発光ダイオード）等、高速変調可能な光源のバリエーションも広い。各ゲート撮像素子４１、４２、４３は、分割結像光学素子３０ａに直接貼り合わせるか、又は、機械的な位置調整を可能とする調整機構を備えてもよい。

このように、実施形態８の変形例１に係る三次元情報検出装置１５０ｂによれば、分割結像光学素子３０ａを用いることにより、同じ光軸から各ゲート撮像素子４１、４２、４３に等しい画角で画像を結像させることができ、カメラレンズ２０の機能を最大限に発揮させることができる。

次に、図１１を用いて、実施形態８の変形例２に係る三次元情報検出装置１５０ｃの説明を行う。図１１は、実施形態８の変形例２に係る三次元情報検出装置１５０ｃの全体構成の一例を示した図である。

実施形態８の変形例２に係る三次元情報検出装置１５０ｃは、光源１０と、カメラレンズ２０と、３台のゲート撮像素子４１、４２、４３を含むゲート撮像素子４０ｂと、演算処理装置７０を備え、演算処理装置７０から、距離画像８０を出力する点は、実施形態８の変形例１の係る三次元情報検出装置１５０ｂと同様である。一方、実施形態８の変形例２に係る三次元情報検出装置１５０ｃは、分割結像光学素子３０ｂが、３つの分割結像光学素子３１、３２、３３を含む点と、カラーカメラ１３０を更に備える点と、３台のゲート撮像素子４１、４２、４３の配置が、カラーカメラ１３０も交えた配置となっている点と、三次元形状生成装置１４０を更に備える点で、変形例１に係る三次元情報検出装置１５０ｂと異なっている。

変形例２係る三次元情報検出装置１５０ｃにおいては、複数のゲート撮像素子４１、４２、４３で撮影された画像と同じ画角のカラー画像が取得できるように、カラーカメラ１３０が配置される。つまり、各ゲート撮像素子４１、４２、４３及びカラーカメラ１３０で撮像される画像の画角は、総て等しいことになり、カラーカメラ１３０で得た画像を、そのまま各ゲート撮像素子４１、４２、４３で撮影された画像に貼り付けることが可能になる。これにより、測定対象物２００のテクスチャ情報を得ることができ、得られた距離画像より、撮影測定対象物２００の三次元形状生成時に、テクスチャマッピング等に使用することができる。三次元形状生成装置１４０は、そのようなテクスチャマッピングを行うことにより、三次元形状を生成する装置である。

ところで、測定対象物２００が高速で動いている場合には、通常のカラーカメラを設置しただけでは、動きボケが生じてしまう。よって、距離検出用のゲート撮像素子４０ｂと同様に、カラー画像撮像素子にも、高速なゲートシャッタ機能を用いることで、動きボケのないカラー画像を取得することができる。

なお、実施形態８の図９において説明した三次元情報検出装置１５０ａの信号制御の構成は、変形例１に係る三次元情報検出装置１５０ｂ及び／又は変形例２の係る三次元情報検出装置１５０ｃにも適用してよい。これにより、変形例１に係る三次元情報検出装置１５０ｂ及び／又は変形例２の係る三次元情報検出装置１５０ｃにおいても、外部からのタイミング制御が可能となる。

〔実施形態９〕
図１２は、本発明を適用した実施形態９に係る三次元情報検出装置１５０ｄの応用例を示した図である。実施形態９においては、実施形態１乃至８の三次元情報検出装置１５０、１５０ａ〜１５０ｃを、高速に移動する測定対象物２０５に対して適用した例を示している。よって、実施形態９に係る三次元情報検出装置１５０ｄは、構成としては、実施形態１乃至８に係る総ての実施形態を適用することができる。

図１２に示すように、測定対象物２０５の三次元測定の形態としては、静止した対象物２００だけでなく、高速に移動する測定対象物２０５に対しても、形状計測が可能である。この場合、測定対象物２０５の動く速度に応じて、光の照射と撮像時間幅を適宜調整することで対応できる。今まで説明したように、本実施形態１乃至８に係る三次元情報検出装置１５０、１５０ａ〜１５０ｃによれば、距離画像算出に必要な画像が短時間で取得できるため、高速移動する測定対象物２０５に対しても、また自らが高速移動しながらの測定対象物２０５の形状の計測が可能となる。

例えば、時速１００〔ｋｍ〕で走行する自動車に本実施形態に係る三次元情報検出装置１５０ｄを搭載し、路面の形状を動画で計測することを想定する。図１２に示すように、光源１０及びカメラレンズ２０を鉛直方向下向きに設置し、測定対象物２０５である路面に光源１０から強度変調光１１ｆを照射する。強度変調光１１ｆは、例えば、周期Ｔが約１００〔ｐｓ〕のパルス変調波であってもよい。複数のゲート撮像素子４１、４２を含むゲート撮像素子４０により、測定対象物２０５である路面の撮像が行われる。ここで、距離検出のために、前記図８に示した光／撮像変調期間を１００〔μｓ〕に設定したとすると、この時間内に自動車は、２．７〔ｍｍ〕進むことになる。仮に、撮影画像がハイビジョン画像（１０８０×１９２０画素）で、撮影路面の幅が４〔ｍ〕とすると、画像は１．３画素程度ぼけるだけであり、路面のひび割れや凹凸の測定は十分可能である。

そして、演算処理装置７０を用いて、距離画像８１〜８４・・・を含む距離画像群８０ａを出力する。ここで、距離画像８１〜８４間で、重なり部分８５を有していれば、この重なり部分から各距離画像を貼り合わせ、連続した測定対象物２０５の距離画像を取得することが可能になる。図１２において、距離画像８１と距離画像８２は重なり部分８６、距離画像８２と距離画像８３は重なり部分８７、距離画像８３と距離画像８４は重なり部分８８を各々有しており、重なり部分８６、８７、８８を用いて、前後の距離画像８１〜８４同士を距離値が一致するように互いに貼り合せれば、移動時の車の振動や、横方向へのぶれが補正され、連続距離画像を取得することができる。これにより、一度では撮像できない大きい面積を有する測定対象物２０５に対しても、移動しながらの撮像により、全体を連続距離画像として三次元情報を連続的に取得することができる。

図１３は、実施形態９に係る三次元情報検出装置１５０ｄ及び三次元情報検出方法の応用用途の一例を示した図である。図１３（Ａ）は、実施形態９に係る三次元情報検出装置１５０ｄを、車両に搭載した応用例を示した図である。図１３（Ｂ）は、実施形態９に係る三次元情報検出装置１５０ｄを、製造ラインに用いた応用例を示した図である。

図１３（Ａ）において、車両１６０の屋根には三次元情報検出装置１５１を搭載してトンネル２０６の壁面形状を検査できるように構成し、背面には三次元情報検出装置１５２を搭載して路面２０７の形状を検査できるように構成している。本実施形態に係る三次元情報検出装置１５０ｄ、１５１、１５２は、高速での撮像が可能であるため、高速に移動する車両１６０に搭載し、道路面２０７やトンネル２０６の壁面形状を高精度に検出することができる。

図１３（Ｂ）においては、本実施形態に係る三次元情報検出装置１５３が製造ラインの部品検査に利用されている。高速に流れる製造ラインベルト１７０上に載置され、高速移動する部品２０８の形状を検出し、部品２０８が適切に加工されているか否かを検出することができる。

また、その他の応用例として、飛行機の翼等の大型の測定対象物２０５の測定や、動きのある人体内部等の検出への可能性もあり、医療分野における検査や治療等への広範囲の応用が考えられる。本実施形態において説明した高速形状計測機能は、形状計測の効率化や人物の動き検出等、あらゆる産業分野において大きなインパクトを与えることができる。

以上、本発明の好ましい実施形態について詳説したが、本発明は、上述した実施形態に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。特に、各実施形態同士は、全体又は部分的に組み合わせることが可能であり、説明した種々の構成及び機能同士を組み合わせることができる。

また、今までの実施形態においては、１周期の変調波に対して、複数のゲート撮像素子４０のゲート開放タイミングを異ならせて撮像を行う三次元情報検出方法について説明したが、同様の考え方を、所定の複数周期の変調波に対して適用することも可能である。

図１４は、本実施形態の変形例について説明するための変調波と撮像タイミングの一例を示した図である。図１４（Ａ）は、今までの実施形態１乃至９において説明した変調波と撮像タイミングの一例を示した図である。図１４（Ｂ）は、本実施形態の変形例の変調波と撮像タイミングの一例を示した図である。

図１４（Ａ）においては、反射光１２ａの１周期の変調波に対して、ゲート撮像時間５１ａ、５２ａが設定されている。図１４（Ａ）は、撮像タイミングは異なるが、実施形態３の図４（Ｂ）に対応した図であり、反射光１２ａの１周期毎に、異なるゲート撮像時間５１ａ、５２ａで複数の撮像画像６１、６２を取得している。これに対して、図１４（Ｂ）においては、反射光１１ｇの２周期毎に、異なるゲート撮像時間５１ｆ、５２ｆで撮像を行っている。このように、所定の複数周期毎に、異なるゲート撮像時間５１ｆ、５２ｆを設定し、複数の撮像画像６１、６２を取得するようにしてもよい。これにより、Ｓ／Ｎ比は、図１４（Ａ）に場合と比較してやや低下するものの、演算処理等に時間的余裕を持たせることができる。なお、図１４（Ｂ）においては、所定の複数周期と２周期としたが、用途に応じて、３周期、４周期というように、任意に設定できることは言うまでもない。

このように、本実施形態に係る三次元情報検出装置１５０、１５０ａ〜１５０ｄ及び三次元情報検出方法を、図１４（Ｂ）に示すように、反射光１２ａの所定の複数周期の変調波に対して、複数のゲート撮像素子４０のゲート開放を異なるタイミングで行い、所定の複数周期毎に複数の画像６１、６２を取得するようにしてもよい。

本発明は、種々の三次元情報検出に利用することができ、測定対象物が静止している場合は言うまでもなく、高速に移動している場合にも利用することができる。例えば、路面、トンネル壁面、製造ラインの部品、大型部品の形状検査に利用することができ、また、医療分野における形状検査にも利用できる。

１０ 光源
１１、１１ａ、１１ｂ、１１ｃ、１１ｄ、１１ｅ、１１ｆ 強度変調光
１２、１２Ａ、１２Ｂ、１２ａ、１２ｂ 反射光
２０ カメラレンズ
３０、３０ａ、３０ｂ、３１、３２、３３ 分割光学系
４０、４０ａ、４１、４２、４３ ゲート撮像素子
５１〜５３、５１ａ、５２ａ、５１ｃ〜５４ｃ、５１ｅ、５２ｅ、５１ｆ、５２ｆ ゲート撮像時間
５１ｂ、５２ｂ、５１ｄ〜５３ｄ 撮像ゲイン変調波
６０、６１、６２ 画像
７０ 演算処理装置
８０、８０ａ、８１、８２、８３、８４ 距離画像
８５、８６、８７、８８ 距離画像の重なり部分
９０ 信号発生器
９５ 映像同期信号
１００、１０１、１０２、１０３ 位相調整器
１１０ 光源駆動部
１２０、１２１、１２２ 撮像駆動装置
１３０ カラーカメラ
１４０ ３次元形状生成装置
１５０、１５０ａ、１５０ｂ、１５０ｃ、１５０ｄ 三次元情報検出装置
１６０ 車両
１７０ 製造ラインベルト
２００、２０１、２０２、２０５、２０６、２０７、２０８ 測定対象物

Claims (10)

1. 強度変調光を測定対象物に照射する光源と、
   前記強度変調光の反射光を受光し、該反射光の1周期の変調波に対して、又は所定の複数周期の変調波に対して、異なるタイミングでゲートを開放することにより撮像タイミングの異なる複数の画像を取得する複数のゲート撮像素子と、
   前記複数の画像から、前記測定対象物の距離画像を算出する演算処理装置と、を含むことを特徴とする三次元情報検出装置。
2. 前記撮像タイミングは、外部から入力された同期信号に基づいて生成された制御信号により前記光源の強度変調、及び前記複数のゲート撮像素子のゲートタイミングの同期がとられ、前記制御信号に基づいて前記複数のゲート撮像素子間の位相差の調整が行われて定められることを特徴とする請求項１に記載の三次元情報検出装置。
3. 前記強度変調光の変調は、増加と減少の周期的な変化であり、
   前記複数のゲート撮像素子の各々の撮像時間幅は、前記強度変調光の変調周期より短いことを特徴とする請求項１又は２に記載の三次元情報検出装置。
4. 前記強度変調光の変調は、短時間のパルス状の変調であり、
   前記複数のゲート撮像素子は、撮像ゲインを所定の撮像ゲイン変調周期で変化させて撮像を行うことができ、該撮像ゲイン変調周期は、前記強度変調光のパルス変調の幅よりも大きいことを特徴とする請求項１又は２に記載の三次元情報検出装置。
5. 少なくとも１台の、前記強度変調光以外の環境光のもとで撮像を行い、環境光画像を取得する環境光撮像用ゲート撮像素子を更に有し、
   前記演算処理装置は、前記複数のゲート撮像素子で取得された各画像と、前記環境光画像との差分画像を求め、該差分画像から前記距離画像を算出することを特徴とする請求項１乃至４のいずれか一項に記載の三次元情報検出装置。
6. 前記ゲート撮像素子が画像を取得し出力する画像フレーム時間内において、
   前記強度変調光の変調及び／又は前記撮像ゲイン変調が実施されている期間は、画像の１フレーム時間内の所定のタイミングと所定の時間幅のみとなるように制限されたことを特徴とする請求項１乃至５のいずれか一項に記載の三次元情報検出装置。
7. 前記複数のゲート撮像素子が撮像する画像が同じ画角となるように、同一光軸で撮像する撮像光学系を有することを特徴とする請求項１乃至６のいずれか一項に記載の三次元情報検出装置。
8. 移動体に搭載され、
   前記光源は、該移動体の移動に伴って前記測定対象物の異なる位置に前記強度変調光を照射し、
   前記複数のゲート撮像素子は、前記測定対象物の前記異なる位置の複数の画像を、前記撮像タイミングの異なる取得し、
   前記演算処理装置は、前記距離画像を移動しながら連続的に取得することを特徴とする請求項１乃至７のいずれか一項に記載三次元情報検出装置。
9. 連続的に取得された前記距離画像間の前後の画像間で、前記測定対象物の同じ領域が撮像されており、
   前記演算処理装置は、前記同じ領域の画像に基づいて前記距離画像を貼り合わせ、前記測定対象物の全体の三次元形状情報を取得することを特徴とする請求項８に記載の三次元情報検出装置。
10. 強度変調光を測定対象物に照射するステップと、
    前記強度変調光の反射光を受光し、該反射光の1周期の変調波に対して、又は所定の複数周期の変調波に対して、異なるタイミングで複数のゲート撮像素子の各ゲートを開放することにより、撮像タイミングの異なる複数の画像を取得するステップと、
    前記複数の画像から、前記測定対象物の距離画像を算出する演算処理ステップと、を含むことを特徴とする三次元情報検出方法。