JP2013174446A - ３次元情報検出装置および３次元情報検出方法 - Google Patents

Abstract

【課題】移動体に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となる３次元情報検出装置および３次元情報検出方法を提供することである。
【解決手段】実施形態に係る３次元情報検出装置は、対象物に対し光を断続的に照射する照明手段と、前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の撮像動作を行なうことで複数の画像を取得する撮像手段と、この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段とを具備する。
【選択図】図１

Description

本発明の実施形態は、対象物までの距離画像を取得する３次元情報検出装置および３次元情報検出方法に関する。

一般に、３次元情報検出装置は、光の速度が既知であることを利用し、光を対象物に照射し、対象物からの反射光を受光し、その反射光の時間遅れを算出することにより対象物までの距離画像を取得するようになっている。

このような３次元情報検出装置の第１の例として、ポリゴンミラーを回転することにより、対象物に対しレーザー光をスキャンさせ、光の飛行時間を測定することにより複数方向の距離画像を求めるものが公知である。

また、第２の例として、対象物に対し変調した投射光を与え、２つの異なる露光タイミングで撮像を行なうことにより、光の飛行時間を距離画像として計測するものが公知である。

しかしながら、上記第１の例では、レーザー光のスキャン時間のため、対象物が移動体の場合、移動体に対する同時計測の精度が確保できないという原理的な問題点がある。
また、上記第２の例では、連続した変調光を与えるため、対象物が変調光の１周期（最大測定距離）に対応する距離よりも遠いと、誤検出してしまうという問題点がある。

特開２０００−３３９５８６号公報 特開２００４−２９４４２０号公報

本発明が解決しようとする課題は、移動体に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となる３次元情報検出装置および３次元情報検出方法を提供することである。

実施形態に係る３次元情報検出装置は、対象物に対し光を断続的に照射する照明手段と、前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の撮像動作を行なうことで複数の画像を取得する撮像手段と、この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段とを具備する。

第１の実施形態に係る３次元情報検出装置の構成を概略的に示すブロック図。 第１の実施形態に係る照明部および撮像部を説明する模式図。 第１の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。 第１の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。 第１の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。 第１の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。 第１の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。 第１の実施形態に係る撮像部の撮像範囲に対する対象物の設置例を説明する図。 第１の実施形態に係る撮像画像の一例を示す模式図。 第１の実施形態に係る撮像画像を用いた画素ごとの演算について説明する模式図。 第１の実施形態に係る求めた距離画像の一例を示す模式図。 第２の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。 第２の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。 第２の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。 第２の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。 第２の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。 第２の実施形態に係る撮像画像の一例を示す模式図。 第３の実施形態に係る撮像部の構成を概略的に示す模式図。 第３の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。 第３の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。 第３の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。 第３の実施形態に係るタイミング発生部のさらに別の構成を概略的に示すブロック図。 第３の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。 第３の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。 第４の実施形態に係る撮像部の構成を概略的に示す模式図。 第４の実施形態に係るタイミング発生部の構成を概略的に示すブロック図。 第４の実施形態に係るタイミング発生部による照明部の発光タイミングおよび撮像部の撮像タイミングの制御について説明する図。 第４の実施形態に係るタイミング発生部の別の構成を概略的に示すブロック図。 第４の実施形態に係るタイミング発生部のさらに別の構成を概略的に示すブロック図。 第４の実施形態に係る３次元情報検出装置の動作を説明するフローチャート。 第４の実施形態に係るタイミング発生部が作成する各部のタイミングを説明する図。

以下、実施形態に係る３次元情報検出装置について図面を参照して説明する。
まず、第１の実施形態について説明する。
図１は、第１の実施形態に係る３次元情報検出装置の構成を概略的に示すものである。第１の実施形態に係る３次元情報検出装置は、対象物１０に対し光を断続的に照射する照明部１１、対象物１０からの反射光を受光する撮像部１２、照明部１１の発光タイミングや撮像部１２の撮像タイミング（シャッタ動作）を制御するタイミング発生部１３、距離画像の演算処理等を行なう距離演算部１４、全体的な制御を司るＣＰＵ（セントラル・プロセッシング・ユニット）１５、および、これらを通信可能に接続するデータバスおよびアドレスバス１６により構成されている。

以下、各部について詳細に説明する。
照明部１１は、たとえば、図２に示すように、支持基板２１上に複数のＬＥＤ（発光ダイオード）２２，…を所定間隔で配列してなり、これら複数のＬＥＤ２２，…を外部からの所定のタイミング（パルス光）にて点灯・消灯制御するようになっている。

撮像部１２は、たとえば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサもしくはＣＣＤ（電荷結合素子）イメージセンサからなるカメラを備えており、当該カメラは、全画素を同タイミングにて露光するシャッタ機能（ＣＭＯＳセンサの場合はグローバルシャッタと呼ばれる機能）と、外部からのタイミングにあわせてシャッタ動作を行なう、一般にランダムシャッタと呼ばれるシャッタ機能とを合わせて備えているものとする。

撮像部１２は、たとえば、図２に示すように、照明部１１と一体的に配設されている。すなわち、図２の例では、支持基板２１上のほぼ中央部に撮像部１２を配設するとともに、撮像部１２の上下位置にそれぞれ複数のＬＥＤ２２，…を列状に配列している。

タイミング発生部１３は、たとえば、図３に示すように、所定周期のクロック信号を出力する発振器３１、クロック信号を所定時間（Ｔｍ）遅延する遅延回路３２、出力選択回路３３、および、出力バッファ３４ａ，３４ｂによって構成されている。

ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図４を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。

作成した遅延無し信号Ｐは、そのまま出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延無し信号Ｐと遅延あり信号Ｓは、選択回路３３を用いて交互に選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。

撮像部１２のシャッタ制御部１２ａは、遅延無し信号Ｐで１回目のシャッタ動作（以降、これをシャッタＡの動作という）を行ない、遅延あり信号Ｓで２回目のシャッタ動作（以降、これをシャッタＢの動作という）を行なうようカメラのシャッタを制御する。

なお、タイミング発生部１３の別の構成例として、たとえば、図５に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。

すなわち、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。作成した遅延無し信号Ｐと遅延あり信号Ｓは、選択回路３３を用いて交互に選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。

距離演算部１４は、たとえば、当該距離演算部１４内にあらかじめ設定されたプログラムをＣＰＵ１５で実行することにより実現され、撮像部１２で撮像された複数の画像を用いて、後述するような画素毎に距離の演算処理を行なう。

次に、上記のような構成において、第１の実施形態に係る３次元情報検出装置の動作を図６に示すフローチャートおよび図７に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。なお、図７において、斜線部ａは反射光による信号が存在しないプランクレベル部分を示している。

以下の説明では、たとえば、図８に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。

まず、照明部１１から１番目の発光として発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくるので、その反射光を当該１番目の発光タイミングと同時に動作するシャッタＡの間、露光し撮像することにより画像を取得する（ステップＳ１）。

次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光として発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射し、Ｔｄだけ遅れた時間の反射光を当該２番目の発光タイミングから遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢの間、露光し撮像することにより画像を取得する（ステップＳ２）。

シャッタＡの動作で取得された画像のイメージを図９（ａ）に示し、シャッタＢの動作で取得された画像のイメージを図９（ｂ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡの画像の方がシャッタＢの画像よりも明るく撮像される。

こうして得られた２つの画像は距離算出部１４に送られる。距離算出部１４では、２つの画像の同一画素（たとえば、図１０で模式的に示す２つの画像のＩ行、Ｊ列の画素）の各輝度値Ｖａ、Ｖｂを用いて、距離Ｄを求める（ステップＳ３）。

以下、距離Ｄの求め方を説明する。照明光の単位時間当たりのパワーをＩｐとすると、輝度値は以下のように表わされる。
Ｖａ＝β・α・（Ｉｐ（Ｔ−Ｔｄ）） ……（式１）
Ｖｂ＝β・α・（Ｉｐ（Ｔ−（Ｔｍ−Ｔｄ）））……（式２）
ただし、αは光パワー（ｗ）を電圧（Ｖ）に変換する係数で、撮像部１２における撮像素子の変換効率などで決まる定数であり、βは距離や対象物１０の反射率で決まる値である。

上記（式１）、（式２）から距離分の遅れ時間Ｔｄは以下のように求められる。
Ｔｄ＝（（Ｖｂ−Ｖａ）Ｔ＋Ｖａ・Ｔｍ）／（Ｖａ＋Ｖｂ）
被写体との距離Ｄを以下の演算で求める。
Ｄ＝Ｔｄ・ｃ／２（ただし、ｃは光速３．０×１０^８ｍ／ｓ）
求めた演算結果Ｄを距離画像として演算部４内の図示しない画像メモリに書き込む（ステップＳ４）。これらの距離演算を全画素に亘って行ない（ステップＳ５）、当該処理を終了する。

こうして得られた画像メモリ内の距離画像のイメージを図１１に示す。この例は図８に対応していて、奥に行くほど画像の濃淡値が小さくなる（暗くなる）形式の距離画像を示している。すなわち、距離が近いほど明るさを大きくして画像化を行なったもので、対象物１０の存在する箇所は明るく、それ以外は暗く表現される。

次に、第２の実施形態について説明する。
第２の実施形態に係る３次元情報検出装置の全体的な構成は、前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なるタイミング発生部１３について以下に説明する。なお、図３と同一部分には同一符号を付して詳細な説明は省略する。

タイミング発生部１３は、たとえば、図１２に示すように、発振器３１、クロック信号を所定時間（Ｔｍ）遅延する遅延回路３２ａ、クロック信号を所定時間（Ｔｃ（＞Ｔｍ））遅延する遅延回路３２ｂ、出力選択回路３３、および、出力バッファ３４ａ，３４ｂによって構成されている。

ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図１３を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐ、遅延回路３２ａを介して時間Ｔｍ遅延した遅延あり信号Ｓ、遅延回路３２ｂを介して時間Ｔｃ遅延した遅延あり信号Ｒを作成する。
なお、遅延あり信号Ｒは、図１３に示すように、遅延あり信号Ｓが出力され終わった後に出力されるように遅延回路３２ｂの遅延時間Ｔｃが設定される。

作成した遅延無し信号Ｐは、そのまま出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延無し信号Ｐと遅延あり信号Ｓ，Ｒは、選択回路３３を用いてＰ→Ｓ→Ｒ→Ｐ→のように循環させて選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。

撮像部１２のシャッタ制御部１２ａは、遅延無し信号Ｐで１回目のシャッタ動作（以降、これをシャッタＡの動作という）を行ない、遅延あり信号Ｓで２回目のシャッタ動作（以降、これをシャッタＢの動作という）を行ない、遅延あり信号Ｒで３回目のシャッタ動作（以降、これをシャッタＣの動作という）を行なうようカメラのシャッタを制御する。このように、第２の実施形態の第１の実施形態と異なる点は、シャッタＣの動作が追加されている点にある。

なお、タイミング発生部１３の別の構成例として、たとえば、図１４に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。

すなわち、前述した第１の実施形態における図５の場合と同様、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと、遅延回路３２ａを介しての遅延あり信号Ｓ、および、遅延回路３２ｂを介しての遅延あり信号Ｒを作成する。作成した遅延無し信号Ｐと遅延あり信号Ｓ，Ｒは、選択回路３３を用いてＰ→Ｓ→Ｒ→Ｐ→のように循環させて選択し、出力バッファ３４ｂを介して撮像部１２のシャッタ制御部１２ａに出力する。

次に、上記のような構成において、第２の実施形態に係る３次元情報検出装置の動作を図１５に示すフローチャートおよび図１６に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。なお、図１６において、符号ｂは太陽光などの定常的な外乱光による信号部を示している。

以下の説明では、前述した第１の実施形態と同様、たとえば、図８に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。

まず、照明部１１から１番目の発光として発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくるので、その反射光を当該１番目の発光タイミングと同時に動作するシャッタＡの間、露光し撮像することにより画像を取得する（ステップＳ１１）。

次に、１番目の発光タイミングから１ｍｓ程度後に、照明部１１から２番目の発光として発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射し、Ｔｄだけ遅れた時間の反射光を当該２番目の発光タイミングから遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢの間、露光し撮像することにより画像を取得する（ステップＳ１２）。

次に、２番目の発光タイミングから１ｍｓ程度後に、照明部１１から３番目の発光として発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射するが、当該２番目の発光タイミングから遅延時間Ｔｃだけ遅れたタイミング（２番目の発光終了後）で動作するシャッタＣの間、露光し撮像することにより画像を取得する（ステップＳ１３）。

シャッタＡの動作で取得された画像のイメージを図１７（ａ）に示し、シャッタＢの動作で取得された画像のイメージを図１７（ｂ）に示し、シャッタＣの動作で取得された画像のイメージを図１７（ｃ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡの画像の方がシャッタＢの画像よりも明るく撮像され、シャッタＣの画像は外乱光のみの画像となる。

こうして得られた３つの画像は距離算出部１４に送られる。距離算出部１４では、３つの画像の同一画素（たとえば、図１０で模式的に示す３つの画像のＩ行、Ｊ列の画素）の各輝度値Ｖａ、Ｖｂ，Ｖｃを用いて、距離Ｄを求める（ステップＳ１４）。

以下、距離Ｄの求め方を説明する。照明光の単位時間当たりのパワーをＩｐとし、外乱光のパワーをＩｓとすると、輝度値は以下のように表わされる。
Ｖａ＝β・α（Ｉｓ・Ｔ＋Ｉｐ（Ｔ−Ｔｄ）） ……（式１）
Ｖｂ＝β・α（Ｉｓ・Ｔ＋Ｉｐ（Ｔ−（Ｔｍ−Ｔｄ）））……（式２）
Ｖｃ＝β・α（Ｉｓ・Ｔ） ……（式３）
ただし、αは光パワー（ｗ）を電圧（Ｖ）に変換する係数で、撮像部１２における撮像素子の変換効率などで決まる定数であり、βは距離や対象物１０の反射率で決まる値である。

上記（式１）、（式２）、（式３）から距離分の遅れ時間Ｔｄは以下のように求められる。
Ｔｄ＝（（Ｖｂ−Ｖａ）Ｔ＋（Ｖａ―Ｖｃ）Ｔｍ）／（Ｖａ＋Ｖｂ−２Ｖｃ）
被写体との距離Ｄを以下の演算で求める。
Ｄ＝Ｔｄ・ｃ／２（ただし、ｃは光速３．０×１０^８ｍ／ｓ）
求めた演算結果Ｄを距離画像として演算部４内の図示しない画像メモリに書き込む（ステップＳ１５）。これらの距離演算を全画素に亘って行ない（ステップＳ１６）、当該処理を終了する。

こうして得られた画像メモリ内の距離画像のイメージを図１１に示す。この例は図８に対応していて、奥に行くほど画像の濃淡値が小さくなる（暗くなる）形式の距離画像を示している。すなわち、距離が近いほど明るさを大きくして画像化を行なったもので、対象物１０の存在する箇所は明るく、それ以外は暗く表現される。また、上記距離演算を行なうことにより、外乱光の影響を除去できる。

このように、第２の実施形態は、第１の実施形態に対してシャッタＣの動作を追加することで、外乱光の影響を除するようにしたものである。

次に、第３の実施形態について説明する。
第３の実施形態に係る３次元情報検出装置の全体的な構成は、前述した第１の実施形態と同様であるので説明は省略し、第１の実施形態と異なる撮像部１２およびタイミング発生部１３について以下に説明する。なお、図３と同一部分には同一符号を付して詳細な説明は省略する。

撮像部１２は、たとえば、いわゆる２板式カメラと呼ばれるもので、図１８に示すように、レンズ４１、ハーフミラー４２、シャッタＡ用カメラ４３、および、シャッタＢ用カメラ４４から構成されており、第１の実施形態で述べたシャッタＡ，Ｂの動作による画像取得をそれぞれ独立して行なうことができる。

シャッタＡ用カメラ４３、および、シャッタＢ用カメラ４４は、たとえば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサもしくはＣＣＤ（電荷結合素子）イメージセンサからなり、当該カメラは、全画素を同タイミングにて露光するシャッタ機能（ＣＭＯＳセンサの場合はグローバルシャッタと呼ばれる機能）と、外部からのタイミングにあわせてシャッタ動作を行なう、一般にランダムシャッタと呼ばれるシャッタ機能とを合わせて備えているものとする。

タイミング発生部１３は、たとえば、図１９に示すように、発振器３１、遅延回路３２、および、出力バッファ３４ａ，３４ｂによって構成されている。

ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図２０を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａおよびシャッタＡ用カメラ４３のシャッタ制御部４３ａに出力する。また、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに出力する。

シャッタＡ用カメラ４３のシャッタ制御部４３ａは、遅延無し信号Ｐでシャッタ動作（シャッタＡの動作）を行ない、シャッタＢ用カメラ４４のシャッタ制御部４４ａは、遅延あり信号Ｓでシャッタ動作（シャッタＢの動作）を行なうようカメラのシャッタを制御する。

なお、タイミング発生部１３の別の構成例として、たとえば、図２１に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。

すなわち、前述した第１の実施形態における図５の場合と同様、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介してシャッタＡ用カメラ４３のシャッタ制御部４３ａに出力する。また、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに出力する。

また、タイミング発生部１３の更に別の構成例として、たとえば、図２２に示すように、シャッタＡ用カメラ４３のシャッタ動作タイミングは内部のシャッタ制御部４３ａにより制御し、そのシャッタ動作タイミングを基に、シャッタＢ用カメラ４４の撮像タイミングおよび照明部１１の発光タイミングを作成することも可能である。

すなわち、シャッタＡ用カメラ４３のシャッタ制御部４３ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２を介しての遅延あり信号Ｓを作成する。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに出力する。また、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに出力する。

次に、上記のような構成において、第３の実施形態に係る３次元情報検出装置の動作を図２３に示すフローチャートおよび図２４に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。
以下の説明では、たとえば、図８に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。

まず、照明部１１から発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくるので、その反射光を当該発光タイミングと同時に動作するシャッタＡ（シャッタＡ用カメラ４３）の間、露光し撮像することにより画像を取得する（ステップＳ２１）。

また、ほぼ同時に、Ｔｄだけ遅れた時間の反射光を、当該発光タイミング（シャッタＡ用カメラ４３の動作）から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッターＡと同じ露光時間のシャッタＢ（シャッタＢ用カメラ４４）の間、露光し撮像することにより画像を取得する（ステップＳ２２）。

シャッタＡ用カメラ４３で取得された画像のイメージを図９（ａ）に示し、シャッタＢ用カメラ４４で取得された画像のイメージを図９（ｂ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡ用カメラ４３の画像の方がシャッタＢ用カメラ４４の画像よりも明るく撮像される。

こうして２つのカメラ４３，４４から得られた２つの画像は距離算出部１４に送られる。これ以降の処理（ステップＳ２３〜Ｓ２５）は、前述した第１の実施形態における図６のステップＳ３〜Ｓ５と同様のため説明は省略する。

次に、第４の実施形態について説明する。
第４の実施形態に係る３次元情報検出装置の全体的な構成は、前述した第３の実施形態と同様であるので説明は省略し、第３の実施形態と異なる撮像部１２およびタイミング発生部１３について以下に説明する。なお、図１８、図１９および図２１と同一部分には同一符号を付して詳細な説明は省略する。

撮像部１２は、たとえば、いわゆる３板式カメラと呼ばれるもので、図２５に示すように、レンズ４１、ビームスプリッタ４６、ハーフミラー４２、シャッタＡ用カメラ４３、シャッタＢ用カメラ４４、および、シャッタＣ用カメラ４５から構成されており、第２の実施形態で述べたシャッタＡ，Ｂ，Ｃの動作による画像取得をそれぞれ独立して行なうことができる。

シャッタＡ用カメラ４３、シャッタＢ用カメラ４４、および、シャッタＣ用カメラ４５は、たとえば、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサもしくはＣＣＤ（電荷結合素子）イメージセンサからなり、当該カメラは、全画素を同タイミングにて露光するシャッタ機能（ＣＭＯＳセンサの場合はグローバルシャッタと呼ばれる機能）と、外部からのタイミングにあわせてシャッタ動作を行なう、一般にランダムシャッタと呼ばれるシャッタ機能とを合わせて備えているものとする。

図２５において、レンズ４１から入射した光Ｌ１は、ビームスプリッタ４６にて１：２の割合で反射光Ｌ２と透過光Ｌ３とに分けられ、反射光Ｌ２はシャッタＢ用カメラ４４に導かれる。透過光Ｌ３は、ハーフミラー４２により更に１：１の割合で反射光Ｌ４と透過光Ｌ５とに分けられ、反射光Ｌ４はシャッタＣ用カメラ４５に導かれ、透過光Ｌ５はシャッタＡ用カメラ４３に導かれる。これにより、各カメラ（シャッタＡ用カメラ４３、シャッタＢ用カメラ４４、シャッタＣ用カメラ４５）には、入射光の１／３ずつの光が分配されるようになっている。

タイミング発生部１３は、たとえば、図２６に示すように、発振器３１、クロック信号を所定時間（Ｔｍ）遅延する遅延回路３２ａ、クロック信号を所定時間（Ｔｃ（＞Ｔｍ））遅延する遅延回路３２ｂ、出力選択回路３３、および、出力バッファ３４ａ，３４ｂ，３４ｃによって構成されている。

ここで、タイミング発生部１３による照明部１１の発光タイミングおよび撮像部１２の撮像タイミングの制御について図２７を用いて説明する。発振器１１から出力されるクロック信号から遅延無し信号Ｐ、遅延回路３２ａを介して時間Ｔｍ遅延した遅延あり信号Ｓ、遅延回路３２ｂを介して時間Ｔｃ遅延した遅延あり信号Ｒを作成する。
なお、遅延あり信号Ｒは、図２７に示すように、遅延あり信号Ｓが出力され終わった後に出力されるように遅延回路３２ｂの遅延時間Ｔｃが設定される。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａおよびシャッタＡ用カメラ４３のシャッタ制御部４３ａに出力する。また、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに、遅延あり信号Ｒは、出力バッファ３４ｃを介してシャッタＣ用カメラ４５のシャッタ制御部４５ａにそれぞれ出力する。

なお、タイミング発生部１３の別の構成例として、たとえば、図２８に示すように、照明部１１の発光タイミングは内部の発光タイミング制御部１１ａにより制御し、その発光タイミングを基に、撮像部１２の撮像タイミングを作成することも可能である。

すなわち、前述した第３の実施形態における図２１の場合と同様、照明部１１の発光タイミング制御部１１ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２ａ，３２ｂを介しての遅延あり信号Ｓ，Ｒを作成する。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介してシャッタＡ用カメラ４３のシャッタ制御部４３ａに、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに、遅延あり信号Ｒは、出力バッファ３４ｃを介してシャッタＣ用カメラ４５のシャッタ制御部４５ａにそれぞれ出力する。

また、タイミング発生部１３の更に別の構成例として、たとえば、図２９に示すように、シャッタＡ用カメラ４３のシャッタ動作タイミングは内部のシャッタ制御部４３ａにより制御し、そのシャッタ動作タイミングを基に、シャッタＢ用カメラ４４の撮像タイミングおよびシャッタＣ用カメラ４５の撮像タイミングを作成することも可能である。

すなわち、シャッタＡ用カメラ４３のシャッタ制御部４３ａから出力されるクロック信号を入力バッファ３５を介して入力し、そのクロック信号から遅延無し信号Ｐと遅延回路３２ａ，３２ｂを介しての遅延あり信号Ｓ，Ｒを作成する。

作成した遅延無し信号Ｐは、出力バッファ３４ａを介して照明部１１の発光タイミング制御部１１ａに、作成した遅延あり信号Ｓは、出力バッファ３４ｂを介してシャッタＢ用カメラ４４のシャッタ制御部４４ａに、遅延あり信号Ｒは、出力バッファ３４ｃを介してシャッタＣ用カメラ４５のシャッタ制御部４５ａにそれぞれ出力する。

次に、上記のような構成において、第４の実施形態に係る３次元情報検出装置の動作を図３０に示すフローチャートおよび図３１に示すタイミング発生部１３が作成する各部のタイミングを参照して説明する。なお、図３１において、符号ｂは太陽光などの定常的な外乱光による信号部を示している。

以下の説明では、たとえば、図８に示すように、撮像部１２の撮像範囲１２ｅの中央部に対象物１０を置き、その対象物１０までの距離画像を取得する場合について説明する。

まず、照明部１１から発光時間が１μｓ程度幅（Ｔ）のパルス状の光を対象物１０に対して照射する。対象物１０からの反射光は対象物１０までの距離Ｄに対応し、Ｔｄだけ遅れた時間に撮像部１２に戻ってくるので、その反射光を当該発光タイミングと同時に動作するシャッタＡ（シャッタＡ用カメラ４３）の間、露光し撮像することにより画像を取得する（ステップＳ３１）。

また、ほぼ同時に、Ｔｄだけ遅れた時間の反射光を、当該発光タイミング（シャッタＡ用カメラ４３の動作）から遅延時間Ｔｍだけ遅れたタイミングで動作するシャッタＢ（シャッタＢ用カメラ４４）の間、露光し撮像することにより画像を取得する（ステップＳ３２）。

さらに、当該発光タイミング（シャッタＡ用カメラ４３の動作）から遅延時間Ｔｃだけ遅れたタイミング（照明部１１の発光終了後）で動作するシャッタＡ，Ｂと同じ露光時間のシャッタＣ（シャッタＣ用カメラ４５）の間、露光し撮像することにより画像を取得する（ステップＳ３３）。

シャッタＡ用カメラ４３で取得された画像のイメージを図１７（ａ）に示し、シャッタＢ用カメラ４４で取得された画像のイメージを図１７（ｂ）に示し、シャッタＣ用カメラ４５で取得された画像のイメージを図１７（ｃ）に示す。反射光と露光タイミングの重複時間が長いシャッタＡ用カメラ４３の画像の方がシャッタＢ用カメラ４４の画像よりも明るく撮像され、シャッタＣ用カメラ４５の画像は外乱光のみの画像となる。

こうして３つのカメラ４３，４４，４５から得られた３つの画像は距離算出部１４に送られる。これ以降の処理（ステップＳ３４〜Ｓ３６）は、前述した第２の実施形態における図１５のステップＳ１４〜Ｓ１６と同様のため説明は省略する。

このように、第４の実施形態は、第３の実施形態に対してシャッタＣ（シャッタＣ用カメラ４５）を追加することで、外乱光の影響を除するようにしたものである。

以上述べた少なくとも１つの実施形態の３次元情報検出装置によれば、パルス照明した対象物物を複数の異なるシャッタタイミングで撮像して得られた複数の画像を用いて、各画像の画素ごとの信号値の差を検出して対象物までの距離画像に変換することにより、移動体に対する同時計測の精度を確保しつつ、測距範囲と分解能の両立が可能となる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行なうことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…対象物、１１…照明部、１１ａ…照明部１１の発光タイミング制御部、１２…撮像部、１２ａ…撮像部１２のシャッタ制御部、１３…タイミング発生部、１４…距離演算部、１５…ＣＰＵ、３１…発振器、３２，３２ａ，３２ｂ…遅延回路、３３…出力選択回路、３４ａ，３４ｂ，３４ｃ…出力バッファ。

Claims (6)

1. 対象物に対し光を断続的に照射する照明手段と、
   前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の撮像動作を行なうことで複数の画像を取得する撮像手段と、
   この撮像手段で取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する演算手段と、
   を具備する３次元情報検出装置。
2. 前記撮像手段は、前記照明手段における光の断続タイミングに同期した異なるタイミングで少なくとも２回の撮像動作を行なうことで少なくとも２つの画像を取得する請求項１記載の３次元情報検出装置。
3. 前記撮像手段は、１つのカメラを有し、このカメラのシャッタを前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回動作させることで複数の画像を取得する請求項１記載の３次元情報検出装置。
4. 前記撮像手段は、複数のカメラを有し、この複数のカメラの各シャッタを前記照明手段における光の断続タイミングに同期した異なるタイミングでそれぞれ動作させることで複数の画像を取得する請求項１記載の３次元情報検出装置。
5. 前記撮像手段は、前記照明手段における光の断続タイミングに同期した異なるタイミングで３回の撮像動作を行なうことで３つの画像を取得し、
   前記演算手段は、前記撮像手段で取得された３つの画像を用いて、当該画像に含まれる外乱光の影響を除去しつつ、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する請求項１記載の３次元情報検出装置。
6. 対象物に対し照明手段により光を断続的に照射する第１のステップと、
   撮像手段により前記対象物からの反射光を受光し、前記照明手段における光の断続タイミングに同期した異なるタイミングで複数回の撮像動作を行なうことで複数の画像を取得する第２のステップと、
   演算手段により前記第２のステップで取得された複数の画像を用いて、前記対象物からの反射光の時間遅れを算出することにより前記対象物までの距離画像を取得する第３のステップと、
   を具備する３次元情報検出方法。

Images