JP2008145386A - 距離画像取得装置及び方法 - Google Patents

Abstract

【課題】外光の影響を除去し、精度良く測距を行う。
【解決手段】対象物に向けて赤外光を照射する発光素子と、前記対象物からの反射光を受光する受光素子と、前記受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部とを備え、前記受光素子は、波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが、画素毎に所定の配置で配列されたカラーフィルタを有し、前記発光素子は、波長λ２の赤外光を照射し、前記受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得する。
【選択図】図１

Description

本発明は、対象物を撮影するとともに対象物までの距離を測定し、各画素毎の距離情報を取得する距離画像取得装置及び方法に関する。

従来、対象物（被写体）を撮影する際、対象物までの距離を測定し、距離画像を取得してこれを様々な分野に利用することが提案されている。ここで、距離画像とは、２次元撮像素子の各画素が対象物の色や濃淡画像の代わりに、対象物の３次元形状に対応した距離情報を、各画素における電荷の濃淡画像として有している画像である。

対象物の距離を測定する基本原理としてＴＯＦ（Time Of Flight)方式が知られている。これは、対象物に光を照射し、その反射光をセンサで受光するまでの時間を測定する事によって対象物までの距離を求める方式である。具体的には、例えば対象物にパルス光を入射して、その反射光を複数画素を有する撮像素子により受光する。このとき各画素にて受けた受光強度は、対象物までの距離が近いほど大きくなるため、各画素毎の受光強度から対象物の距離を測定することができる。

この方式を利用したものとして、赤外光パルスを照射し、対象物での反射光の、ある時間での受光量から対象物の距離を測定するようにしたものが知られている（例えば、特許文献１等参照）。しかし、このように赤外光パルスを照射し、対象物での反射光のある時間における受光量から距離を求める方式では、外光が入るとその影響により誤測距を起こしてしまうため、外光の影響を除去する必要がある。

このような外光の影響を除去する方法として、例えば、被写体に向けて光を照射する発光素子を発光した状態で、被写体からの反射光を受光するＣＣＤ素子で構成された受光センサにより検出した被写体の第１の受光データと、発光素子の発光を停止した状態で受光センサにより検出した被写体の第２の受光データとから演算することにより、外光分を相殺して発光素子の発光光のみのデータを求め、この求めたデータに基づいてアクティブ測距を実行するアクティブ測距装置が知られている（例えば、特許文献２等参照）。

また、外光の影響を排除する他の方法として、光源の点灯期間に感光部で生成された目的キャリアと光源の消灯期間に感光部で生成された非目的キャリアとを再結合部で再結合し、再結合後に残留している目的キャリアを外部に取り出すことにより、感光部で受光した信号光成分に対応する目的キャリアから環境光成分に相当する目的キャリアを除去するようにした光検出素子が知られている(例えば、特許文献３等参照）。

また、カラーＩＲフィルタを介して入射された光に基づいて、ＣＣＤイメージセンサで、ＲＧＢの各色信号と近赤外輝度信号Ｉｒ（赤外光）の２種類を生成し、１画素毎に各々のレベル値を比較して可視領域か赤外領域かを判定し、画像を生成する撮像装置であって、可視光輝度信号のレベル値が高い領域（可視領域）については、各色信号に基づいてカラー画像を生成し、少なくとも１つの赤外線輝度信号のレベル値が高い領域（赤外領域）については、各赤外線輝度信号に基づいてカラー画像を生成するようにしたものが知られている（例えば、特許文献４等参照）。
ＵＳ６０５７９０９号公報 特開２０００−１２１３５１号公報 特開２００５−３０３２６８号公報 特開２００６−１４８６９０号公報

しかしながら、測距に対する外光の影響を除去する方法として、例えば上記特許文献２に記載された方法では、パルス照射、非照射のフレームを設けているが、フレームを新たに使用しているので、距離出力のフレームレートが下がってしまうという問題がある。

また、上記特許文献３に記載されたような、特殊な素子の特殊な制御方法によって外光の影響を除去する方法では、特殊な素子を作成しなければならず、また素子に多くの機能を持たせているため、受光部が小さくなったり、素子が大きくなったりするという問題がある。

本発明は、このような事情に鑑みてなされたもので、従来の撮像素子を用いながら、外光の影響を除去し、精度良く測距を行うことのできる距離画像取得装置及び方法を提供することを目的とする。

前記目的を達成するために、請求項１に記載の発明は、対象物に向けて赤外光を照射する発光素子と、前記対象物からの反射光を受光する受光素子と、前記受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部とを備え、前記受光素子は、波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが、画素毎に所定の配置で配列されたカラーフィルタを有し、前記発光素子は、波長λ２の赤外光を照射し、前記受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得することを特徴とする距離画像取得装置を提供する。

これにより、一つの撮像素子で対応可能であり、外光の影響を除去して距離画像を取得することができる。

また、請求項２に示すように、前記所定の配置は、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタとが交互に配置された列と、前記第１のバンドパスフィルタのみが配置された列とが交互に並べられた配置であることを特徴とする。

また、請求項３に示すように、前記所定の配置は、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタとが画素毎に交互に千鳥状に配列された配置であることを特徴とする。

また、同様に前記目的を達成するために、請求項４に記載の発明は、対象物に向けて赤外光を照射する発光素子と、前記対象物からの反射光を受光する受光素子と、前記受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、画像生成部を備え、前記受光素子は、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが、画素毎に所定の配置で配列されたカラーフィルタを有し、前記発光素子は、波長λ２の赤外光を照射し、前記受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記受光素子に前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置を提供する。

これにより、外光の影響を除去して距離画像を取得することができるとともに、カラー画像をも撮影することができる。

また、請求項５に示すように、前記所定の配置は、前記Ｒフィルタと前記Ｇフィルタを交互に並べた列と、前記Ｇフィルタと前記Ｂフィルタを交互に並べた列と、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタを交互に並べた列を交互に並べた配置であることを特徴とする。

また、請求項６に示すように、前記所定の配置は、前記Ｒフィルタと前記Ｂフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第１のバンドパスフィルタと前記第２のバンドパスフィルタを交互に配置した列を並べた配置であることを特徴とする。

また、同様に前記目的を達成するために、請求項７に記載の発明は、対象物に向けて赤外光を照射する発光素子と、前記対象物からの反射光を２つの光に分ける分光手段と、前記分光された２つの光をそれぞれ受光する２つの受光素子と、前記各受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、画像生成部を備え、前記２つの受光素子の一方は、波長λ１の赤外光を中心とする第１のバンドパスフィルタが全画素に配置されたカラーフィルタを有し、他方は、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが画素毎に所定の配置で配列されたカラーフィルタを有し、前記発光素子は、波長λ２の赤外光を照射し、前記一方の受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記他方の受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記他方の受光素子に前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置を提供する。

これにより、外光の影響を除去するとともに、画素数を増加させた距離画像を取得することができる。

また、請求項８に示すように、前記所定の配置は、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第２のバンドパスフィルタを配置した列とを並べた配置であることを特徴とする。

また、同様に前記目的を達成するために、請求項９に記載の発明は、対象物に向けて赤外光を照射する発光素子と、前記対象物からの反射光を少なくとも２つの光に分ける分光手段と、前記分光された光をそれぞれ受光する少なくとも２つの受光素子と、前記各受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、画像生成部を備え、前記少なくとも２つの受光素子のうち一つは、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタのうち少なくとも１種類と波長λ１の赤外光を中心とする第１のバンドパスフィルタが画素毎に所定の配置で配列されたカラーフィルタを有し、前記少なくとも２つの受光素子のうち他の一つは、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタのうち少なくとも１種類と、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが画素毎に所定の配置で配列されたカラーフィルタを有し、前記少なくとも２つの受光素子の中にＲ、Ｇ、Ｂ及び波長λ１、波長λ２の５種類の画素構成を有し、前記発光素子は、波長λ２の赤外光を照射し、前記第１のバンドパスフィルタから入射した第１の受光量と、前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置を提供する。

これにより、外光の影響を除去するとともに、カラー画像を生成することができる。

また、請求項１０に示すように、前記一つの受光素子のカラーフィルタにおける前記所定の配置は、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第１のバンドパスフィルタを配置した列とを並べた配置であり、前記他の一つの受光素子のカラーフィルタにおける前記所定の配置は、前記一つの受光素子のカラーフィルタにおける前記所定の配置において前記第１のバンドパスフィルタを前記第２のバンドパスフィルタに置き換えたものであることを特徴とする。

また、請求項１１に示すように、前記一つの受光素子のカラーフィルタにおける前記所定の配置は、Ｇフィルタと前記第１のバンドパスフィルタとが画素毎に交互に千鳥状に配列された配置であり、前記他の一つの受光素子のカラーフィルタにおける前記所定の配置は、前記第２のバンドパスフィルタを千鳥状に配置した間に ＢフィルタとＲフィルタを交互に配置したものであることを特徴とする。

また、同様に前記目的を達成するために、請求項１２に記載の発明は、対象物に向けて波長λ２の赤外光を照射し、前記波長λ２より小さい波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタが画素毎に所定の配置で配列されたフィルタを通して、前記対象物からの反射光を受光し、前記第１のバンドパスフィルタから入射した受光量と、前記第２のバンドパスフィルタから入射した受光量とを比較することにより外光の影響を除去して距離画像を取得することを特徴とする距離画像取得方法を提供する。

これにより、外光の影響を除去して距離画像を取得することができる。

また、同様に前記目的を達成するために、請求項１３に記載の発明は、対象物に向けて波長λ２の赤外光を照射し、前記対象物の反射光を２つの光に分光し、前記分光された２つの光のうち一つを、波長λ１の赤外光を中心とする第１のバンドパスフィルタが各画素毎に配置されたカラーフィルタを通して受光し、前記分光された２つの光のうち他の一つを、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、前記波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが各画素毎に所定の配置で配列されたカラーフィルタを通して受光し、前記第１のバンドパスフィルタから入射した受光量と、前記第２のバンドパスフィルタから入射した受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記３原色フィルタを通して受光した受光データからカラー画像を生成することを特徴とする距離画像取得方法を提供する。

これにより、外光の影響を除去して距離画像を取得することができるとともに、カラー画像をも撮影することができる。

以上説明したように、本発明によれば、外光の影響を除去して距離画像を取得することができる。

以下、添付図面を参照して、本発明に係る距離画像取得装置及び方法について詳細に説明する。

図１は、本発明に係る距離画像取得装置の第１実施形態の主要構成を示すブロック図である。

図１に示す距離画像取得装置１０は、撮影装置（電子カメラ、スチルカメラ）等に備えられるものであり、距離画像取得装置１０全体の動作は中央処理装置（ＣＰＵ）１２によって統括制御される。ＣＰＵ１２は、所定のプログラムに従って距離画像取得装置１０を制御する制御手段として機能する。画像生成部１４は、ＣＰＵ１２が処理するプログラム及び制御に必要な各種データ等を格納するＲＯＭと、ＣＰＵ１２が各種の演算処理等を行うための作業用領域を有するＲＡＭ等のメモリを備えている。

図１に示すように、本実施形態の距離画像取得装置１０は、発光素子１６、ドライバ１８等を含む発光部と、シャッタ２０、受光素子２２、アナログ信号処理部２４、Ａ／Ｄ変換部２６及び距離演算部２８等を含む受光部とを備えている。

また、図１に示すように、本実施形態では、画像生成部１４、ドライバ１８、アナログ信号処理部２４、Ａ／Ｄ変換部２６及び距離演算部２８は、ＣＰＵ１２内に備えられる構成となっているが、このような構成に限定されるものではなく、ＣＰＵ１２とは別の構成としても良い。

発光素子１６は、発光ダイオード（ＬＥＤ）により構成され、測距対象物に対して赤外光のパルス光を発光（投光）する。ＣＰＵ１２は、ドライバ１８を介して発光制御信号を発光素子１６に出力し、発光素子１６の発光時間や発光強度を制御する。

受光素子２２は、特には限定されず、例えばＣＣＤ固体撮像素子やＣＭＯＳにより構成される。受光素子２２は、シャッタ２０の開放時に、レンズ（図示省略）を介して入射した光を受光する。受光素子２２に入射した光は、受光素子２２により光電変換されて、受光した光の強度を示す電気信号に変換される。

この電気信号は、Ａ／Ｄ変換部２６によりデジタルの受光信号に変換されて画像生成部１４に入力される。ＣＰＵ１２は、距離演算部２８を備えており、画像生成部１４に蓄積された受光信号に基づいて測距対象物までの距離を演算する。算出された各画素毎の距離情報は、画像生成部１４に送られ、距離画像が取得される。

なお、発光素子１６は、測距専用のものを設けてもよいし、距離画像取得装置１０が撮影装置等に搭載される場合にはストロボ発光手段（例えば、放電管またはＬＥＤ）と兼用し、測距時には赤外光を発光するようにしてもよい。また、受光素子２２は、測距専用のものを設けてもよいし、距離画像取得装置１０が電子カメラ等の撮影装置に搭載される場合には、画像撮影用の撮像素子と兼用してもよい。また、受光素子２２は、測距時に外光の影響を除去するためのフィルタを備えているが、これについて詳しくは後述する。

なお、図１に示すように、シャッタ２０の方式は、メカニカルシャッタや電気光学シャッタのような外部シャッタでも良いし、あるいは図２のように、外部シャッタは設けずに、受光素子２２（ＣＣＤ）が有する電子シャッター機能を用いてもよい。

次に測距対象物までの距離の算出方法（測距原理）について説明する。

基本原理は、ＴＯＦ（Time Of Flight)方式である。ＴＯＦ方式とは、測距対象物に対して光を照射して、受光センサで受け取るまでの時間を測定する事によって測距対象物までの距離を求める方式である。

図３に示すように、撮像素子（カメラ）３０から測距対象物３２に対してパルス光を入射して、その反射光を複数画素を持つ撮像素子３０によって受光する。ここで、撮像素子３０から測距対象物３２までの距離をＤ、測距対象物３２の幅をＷ、光速をｃとし、パルス発光開始をｔ＝０とし、時間にして２Ｄ／ｃから２（Ｄ＋Ｗ）／ｃまで受光するとすれば、各画素（ｉ，ｊ）にて受けた受光強度Ｒｌ（ｉ，ｊ）は、次の式（１）で表される。

Ｒｌ（ｉ，ｊ）＝Ｉ・（２／ｃ）・（Ｄ＋Ｗ−ｄ） ・・・（１）
ここで、Ｉは、秒毎の各画素での受光量、ｄは、撮像素子３０から測距対象物３２の各部分までの距離ｄである。

従って距離ｄは、Ｄ≦ｄ≦Ｄ＋Ｗの範囲にある。また、各測距対象物３２の各部分に対応する各画素の受光強度Ｒｌ（ｉ，ｊ）は、この距離ｄがＤからＤ＋Ｗの間で撮像素子３０までの距離が近い程大きくなる。

よって、画素毎の受光強度Ｒｌ（ｉ，ｊ）により、距離Ｄからの幅Ｗの間にある測距対象物３２の各部分における距離ｄを知る事ができる。

図４に、このときの撮像素子３０の受光タイミングを示す。また、図５に、撮像素子３０（カメラ）からの距離ｄと受光量との関係を示す。

図４に示すように、撮像素子３０は、撮像素子３０から発射した光が、測距対象物３２の撮像素子３０に最も近い点で反射して撮像素子３０に戻るまでの時間２（Ｄ／ｃ）から、同じく測距対象物３２の撮像素子３０に最も遠い点で反射して撮像素子３０に戻るまでの時間２（Ｄ／ｃ）＋２（Ｗ／ｃ）の間で受光する。

また、図５に示すように、距離ｄがＤに等しいときは式（１）より、受光強度Ｒｌ（ｉ，ｊ）はＩ・（２Ｗ／ｃ）で最大となる。また、距離ｄがＤ＋Ｗに等しいときは、受光強度Ｒｌ（ｉ，ｊ）は０となる。このように距離ｄがＤとＤ＋Ｗの間で受光強度Ｒｌ（ｉ，ｊ）から距離ｄを求めることができる。

なお、上記式（１）には、測距対象物３２の反射率の影響が反映されていない。受光強度は距離だけでなく、反射率の影響をも受けるので、反射率を考慮すると受光強度Ｒｌ（ｉ，ｊ）を表す式は、各画素毎の測距対象物３２（被写体）の反射率をα（ｉ，ｊ）とすると、次の式（２）のようになる。

Ｒｌ（ｉ，ｊ）＝Ｉ・α（ｉ，ｊ）・（２／ｃ）・（Ｄ＋Ｗ−ｄ） ・・・（２）
このように式（２）中には、反射率の係数α（ｉ，ｊ）が入っているので、複数の反射率の測距対象物が混在した場合には、正確に測距することはできない。そこで、反射率の影響を除去する必要がある。

上記の場合に、さらにパルス幅をＩ_Ｗとおき、このときの各画素の受光量（受光強度）をＲ２（ｉ，ｊ）とする。図６に、このときの受光タイミングを上記の場合と比較して示す。図６に示すように、この場合の受光時間はパルス幅Ｉ_Ｗの分だけ多く、２（Ｗ／ｃ）＋Ｉ_Ｗとなっている。

このとき、２（Ｄ／ｃ）から２（Ｄ＋Ｗ）／ｃ＋Ｉ_Ｗまで受光すれば、全反射光量を受光することとなる。このときの各画素の受光量Ｒ２（ｉ，ｊ）は、次の式（３）で表される。

Ｒ２（ｉ，ｊ）＝Ｉ・α（ｉ，ｊ）・｛（２Ｗ／ｃ）＋Ｉ_Ｗ｝ ・・・（３）
ここで、式（２）を式（３）で割れば、反射率の影響が除去された式（４）が得らる。

Ｒｌ（ｉ，ｊ）／Ｒ２（ｉ，ｊ）＝２（Ｄ＋Ｗ−ｄ）／ｃ｛（２Ｗ／ｃ）＋Ｉ_Ｗ｝
・・・（４）
これより次の式（５）のように距離ｄの情報を得ることができる。
ｄ＝Ｄ＋Ｗ−（１／２）・Ｒｌ（ｉ，ｊ）／Ｒ２（ｉ，ｊ）・ｃ｛（２Ｗ／ｃ）＋Ｉ_Ｗ｝
・・・（５）
以上、測距原理について説明したが、実際には、照射光（反射光）に外光の影響があるため、このままでは誤測距を引き起こす。そこで、外光を除去する工夫をする必要がある。

本実施形態では、受光素子２２は、異なる２つの赤外領域のカラーフィルタＩＲ１、ＩＲ２を備えている。図７に、これら２つのフィルタＩＲ１及びＩＲ２の分光特性の例を示す。図７において、横軸は波長λ、縦軸は透過率であり、Ｒは赤色光であり、破線で示したものが照射光である。フィルタＩＲ１は、波長λ１の赤外光を中心とするバンドパスフィルタ、フィルタＩＲ２は、波長λ２の赤外光を中心とするバンドパスフィルタである。

図７に示すように、ＩＲ１とＩＲ２及びＲ光はそれぞれ重ならず、なおかつＩＲ１とＩＲ２はできるだけ近い事が望ましい。しかし、このようにＩＲ１とＩＲ２とは完全に離れている必要はなく、また同じ波長幅でなくとも良く、さらに透過率も等しくなくとも良い。ＩＲ１とＩＲ２の特性が把握できていれば良い。また、照射光の分光特性は、長波長側（図７ではＩＲ２側）の方が、太陽光の分光特性が長波長程小さいのでＳ／Ｎ比が良くなるため好ましい。

しかし、照射光の分光特性は、ＩＲ１側（短波長側）でも良い。また、ＩＲ２に対して、照射光の分光特性が広範囲であることがＳ／Ｎ比を良くする点で好ましい。

図８及び図９に、受光素子２２に対するこれら２つのフィルタＩＲ１とＩＲ２の配置の例を示す。図８に示す例では、フィルタＩＲ１とフィルタＩＲ２とが交互に並んでいる列とフィルタＩＲ１のみが並んでいる列が交互に配列されている。また、図９に示す例では、フィルタＩＲ１とフィルタＩＲ２とが各画素毎に交互に千鳥状（市松状）に配列されている。

このように受光素子２２には、各画素毎にフィルタＩＲ１あるいはフィルタＩＲ２が配置されているが、フィルタＩＲ１とフィルタＩＲ２の配置の例はこれらの２つに限定されるものではない。また、フィルタＩＲ１とフィルタＩＲ２の配置配分は同数の１：１でなくともよく、何画素かに１個フィルタＩＲ１が配置されているような割合でも良い。

ここで、発光素子１６が波長λ２の赤外線のパルス光を測距対象物に向けて発光する場合、受光素子２２には、フィルタＩＲ１からは外光のみが入射し、フィルタＩＲ２からは外光と反射光が入射する。

従って、フィルタＩＲ２から入射した光の強度からフィルタＩＲ１から入射した光の強度を引き算すれば、反射光成分のみを求めることができ、これにより外光を除去して、正確に測距を行うことが可能となる。

この各画素毎の距離の演算は、距離演算部２８で行われ、算出された各画素毎の距離情報は画像生成部１４に送られ、距離画像データとして保存される。

このとき、ある画素における距離ｄを算出する際、周辺画素からの算出値を用いても良い。また、上でフィルタＩＲ１とフィルタＩＲ２とは、その透過赤外光の領域が重ならず、かつできるだけ近い事が望ましいとしたのは、これらの領域が重なると、両方のフィルタに反射光が入ってしまうからであり、逆にこの領域が離れると、外光の分光特性が異なっていた場合に外光成分の演算がずれたり、複雑になったりするためである。

なお、デジタルカメラ等で光源種が太陽光であるか蛍光灯であるか等に応じてホワイトバランス補正が行われているが、測距においても光源種が反射光に影響するため光源種を判定してその影響を考慮して測距を行うことが望ましい。

例えば、上記距離の演算において、外光を除去するためにフィルタＩＲ２から入射した光の強度（ＩＲ２）からフィルタＩＲ１から入射した光の強度（ＩＲ１）を引き算、（ＩＲ２）−（ＩＲ１）する際、光源種を判別してその光源種に応じた係数ｋを（ＩＲ１）に乗じて、（ＩＲ２）−ｋ（ＩＲ１）とするようにしてもよい。この係数ｋは事前に、例えば光源が太陽光なら０．８、蛍光灯なら０．６等と設定しておけばよい。

上記実施形態に対して、ＲＧＢ３原色のカラーフィルタ（Ｒフィルタ、Ｇフィルタ、Ｂフィルタ）も加えてＩＲ１やＩＲ２と一緒に配置したフィルタを用いることによってカラー画像も撮ることが可能となる。

図１０及び図１１にこのようなフィルタの配置の例を示す。

図１０に示すフィルタの例では、ＲフィルタとＧフィルタを交互に並べた列と、ＧフィルタとＢフィルタを交互に並べた列と、ＩＲ１とＩＲ２とを交互に並べた列を並べた配置となっている。

図１１に示すフィルタの例では、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間にＩＲ１とＩＲ２を交互に配置した列とを（各列の中での順番を変えて）並べた配置となっている。

もちろん、このようにＲＧＢのフィルタとフィルタＩＲ１、ＩＲ２を組み合わせるものはこれら２つの例に限定されるものではない。

ＲＧＢフィルタから入力されたデータを用いて画像生成部１４においてカラー画像が生成される。

次に、本発明の第２実施形態に係る測距装置について説明する。

図１２は、第２実施形態に係る距離画像取得装置の主要構成を示すブロック図である。

図１２に示す距離画像取得装置１００は、受光素子を２つ備えている点で前述した第１実施形態の距離画像取得装置１０と異なっている。

図１２に示すように、本実施形態の距離画像取得装置１００は、発光素子１１６、ドライバ１１８等を含む発光部と、ビームスプリッタ（分光手段）１４０によって分けられた２つの光をそれぞれ受光するための、シャッタ１２０ａ及び１２０ｂと、受光素子１２２ａ及び１２２ｂを有し、アナログ信号処理部１２４、Ａ／Ｄ変換部１２６、距離演算部１２８等を含む受光部とを備えている。

また、ドライバ１１８、アナログ信号処理部１２４、Ａ／Ｄ変換部１２６及び距離演算部１３０は、ＣＰＵ１１２内に備えられている。

発光素子１１６は、例えば発光ダイオード（ＬＥＤ）により構成され、測距対象物に対して赤外光のパルス光を発光する。ＣＰＵ１１２は、ドライバ１１８を介して発光制御信号を発光素子１１６に出力し、発光素子１１６の発光時間や発光強度を制御する。

受光素子１２２ａ、１２２ｂは、それぞれシャッタ１２０ａ及び１２０ｂの開放時に、入射した光を受光する。受光素子１２２ａ、１２２ｂに入射した光は、それぞれ受光素子１２２ａ、１２２ｂによって光電変換されて、受光した光の強度を示す電気信号に変換される。

この電気信号は、Ａ／Ｄ変換部１２６によりデジタルの受光信号に変換されて画像生成部１１４に入力される。ＣＰＵ１１２は、距離演算部１２８を備えており、画像生成部１１４に蓄積された受光信号に基づいて測距対象物までの距離を演算する。算出された各画素毎の距離情報は、画像生成部１１４に送られ、距離画像が生成される。

また、発光素子１１６は、測距専用のものでもよいが、撮影用の発光手段と兼用してもよいし、受光素子１２２ａ、１２２ｂは、測距専用のものでもよいが、撮影用の撮像素子と兼用してもよいのは、前述した第１実施形態と同様である。

２つの受光素子１２２ａ及び１２２ｂは、一方は例えば図１３（ａ）に示すようにＲフィルタとＢフィルタとを交互に並べた列と、Ｇフィルタを一つおきに並べた間にＩＲ２を配置した列とを並べてＲＧＢフィルタとＩＲ２が配列されたフィルタを備え、他方は例えば図１３（ｂ）に示すように全画素にＩＲ１が配置されたフィルタを備えている。ここで、フィルタＩＲ１及びフィルタＩＲ２は、それぞれ図７に示したような波長λ１及びλ２を中心とするバンドパスフィルタである。なお、フィルタの画素配置は図１３に示したものに限定されるものではない。

本実施形態においては、受光素子１２２ａは、図１３（ａ）に示すようにＲＧＢフィルタとＩＲ２が配列されたフィルタを備え、受光素子１２２ｂは、図１３（ｂ）に示すようなＩＲ１のフィルタを備えているものとする。そこで、発光素子１１６から波長λ２の赤外線パルスを測距対象物に向けて発光し、反射光をビームスプリッタ１４０で２つに分け、それぞれを受光素子１２２ａ及び受光素子１２２ｂで受光する。

今、発光素子１１６の波長はλ２であるので、第１実施形態で述べたように、フィルタＩＲ２は外光と反射光を通すが、フィルタＩＲ１は外光しか通さないので、フィルタＩＲ２から入射した光の強度から、それに対応する画素のフィルタＩＲ１から入射した光の強度を引き算することにより外光の影響を除去することができる。このように、本実施形態では、フィルタＩＲ１に入った受光量と、それに対応する画素のフィルタＩＲ２に入った受光量を比較することで、外光の影響を除去して、距離画像を出力することが可能となる。本実施形態によれば、距離画像の画素数を増加させることができる。

なお、複数のフィルタＩＲ２の画素から外光成分を計算によって算出するようにしても良い。

また、ＲＧＢのフィルタから入射した光成分を用いることにより、画像生成部１１４においてカラー画像を生成することができる。

受光素子１２２ａ及び受光素子１２２ｂのフィルタの画素配置の他の例を図１４及び図１５に示す。

図１４に示す例は、四角形に並んだ４画素をＲＧＢフィルタとＩＲ１あるいはＩＲ２とで構成し、それを繰り返し配列したものである。具体的には、図１４（ａ）に示すものは、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間にＩＲ１を配置した列とを並べた配置で構成したものであり、図１４（ｂ）に示すものは、図１４（ａ）と同じようにＲＧＢフィルタを並べ、図１４（ａ）のＩＲ１の画素に対応する位置にＩＲ２を配置したものである。

また、図１５に示すものは、図１５（ａ）は、ＩＲ１とＧフィルタとを同数互い違いに千鳥状（市松状）に配列したものであり、図１５（ｂ）は、図１５（ａ）のＩＲ１と同じ位置にＩＲ２を配置し、他の部分にＢとＲとを同数交互に配置したものである。

これらの図１４あるいは図１５に示す例によれば、前述した図１３に示すものよりもカラー画像を重視したものとなっている。

なお、本実施形態においては、図１２に示すように２つの受光素子を備えた場合について説明したが、受光素子は少なくとも２つあればよく、２つに限定されるものではない。その場合、分光手段（ビームスプリッタ）も受光素子の数分の光に反射光を分光するものが用いられる。また、各受光素子が有するカラーフィルタも、３原色ＲＧＢフィルタのうち少なくとも１種類とＩＲ１あるいはＩＲ２とが所定の配置で配列されたもので、各受光素子の中に、Ｒ、Ｇ、ＢとＩＲ１及びＩＲ２の５種類の画素が配置されているものであれば良い。

以上、本発明の距離画像取得装置及び方法について詳細に説明したが、本発明は、以上の例には限定されず、本発明の要旨を逸脱しない範囲において、各種の改良や変形を行ってもよいのはもちろんである。

本発明に係る距離画像取得装置の第１実施形態の主要構成を示すブロック図である。 同じく本発明の第１実施形態の距離画像取得装置の他の例の主要構成を示すブロック図である。 測距原理を示す装置の構成図である。 図３の装置における測距時の受光タイミングを示す線図である。 図３の装置における測距時の距離と受光量の関係を示す線図である。 同じく測距時の受光タイミングを示す線図である。 ＩＲフィルタの分光特性を示す線図である。 本発明の第１実施形態の距離画像取得装置で用いられるフィルタの画素配置を示す説明図である。 同じくフィルタの他の画素配置を示す説明図である。 同様のフィルタの画素配置を示す説明図である。 同様のフィルタの他の画素配置を示す説明図である。 本発明に係る距離画像取得装置の第２実施形態の主要構成を示すブロック図である。 （ａ）、（ｂ）は、第２実施形態の距離画像取得装置で用いられるフィルタの画素配置を示す説明図である。 （ａ）、（ｂ）は同様のフィルタの画素配置を示す説明図である。 （ａ）、（ｂ）は同様のフィルタの他の画素配置を示す説明図である。

符号の説明

１０…距離画像取得装置、１２…ＣＰＵ、１４…画像生成部、１６…発光素子、１８…ドライバ、２０…シャッタ、２２…受光素子、２４…アナログ信号処理部、２６…Ａ／Ｄ変換部、２８…距離演算部、３０…撮像素子、３２…測距対象物

Claims (13)

1. 対象物に向けて赤外光を照射する発光素子と、
   前記対象物からの反射光を受光する受光素子と、
   前記受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部とを備え、
   前記受光素子は、波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが、画素毎に所定の配置で配列されたカラーフィルタを有し、
   前記発光素子は、波長λ２の赤外光を照射し、
   前記受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得することを特徴とする距離画像取得装置。
2. 前記所定の配置は、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタとが交互に配置された列と、前記第１のバンドパスフィルタのみが配置された列とが交互に並べられた配置であることを特徴とする請求項１に記載の距離画像取得装置。
3. 前記所定の配置は、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタとが画素毎に交互に千鳥状に配列された配置であることを特徴とする請求項１に記載の距離画像取得装置。
4. 対象物に向けて赤外光を照射する発光素子と、
   前記対象物からの反射光を受光する受光素子と、
   前記受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、
   画像生成部を備え、
   前記受光素子は、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが、画素毎に所定の配置で配列されたカラーフィルタを有し、
   前記発光素子は、波長λ２の赤外光を照射し、
   前記受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記受光素子に前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置。
5. 前記所定の配置は、前記Ｒフィルタと前記Ｇフィルタを交互に並べた列と、前記Ｇフィルタと前記Ｂフィルタを交互に並べた列と、前記第１のバンドパスフィルタと前記第２のバンドパスフィルタを交互に並べた列を交互に並べた配置であることを特徴とする請求項４に記載の距離画像取得装置。
6. 前記所定の配置は、前記Ｒフィルタと前記Ｂフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第１のバンドパスフィルタと前記第２のバンドパスフィルタを交互に配置した列を並べた配置であることを特徴とする請求項４に記載の距離画像取得装置。
7. 対象物に向けて赤外光を照射する発光素子と、
   前記対象物からの反射光を２つの光に分ける分光手段と、
   前記分光された２つの光をそれぞれ受光する２つの受光素子と、
   前記各受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、
   画像生成部を備え、
   前記２つの受光素子の一方は、波長λ１の赤外光を中心とする第１のバンドパスフィルタが全画素に配置されたカラーフィルタを有し、他方は、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが画素毎に所定の配置で配列されたカラーフィルタを有し、
   前記発光素子は、波長λ２の赤外光を照射し、
   前記一方の受光素子に前記第１のバンドパスフィルタから入射した第１の受光量と、前記他方の受光素子に前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記他方の受光素子に前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置。
8. 前記所定の配置は、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第２のバンドパスフィルタを配置した列とを並べた配置であることを特徴とする請求項７に記載の距離画像取得装置。
9. 対象物に向けて赤外光を照射する発光素子と、
   前記対象物からの反射光を少なくとも２つの光に分ける分光手段と、
   前記分光された光をそれぞれ受光する少なくとも２つの受光素子と、
   前記各受光素子で受光した受光データに基づいて前記対象物までの距離を演算する距離演算部と、
   画像生成部を備え、
   前記少なくとも２つの受光素子のうち一つは、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタのうち少なくとも１種類と波長λ１の赤外光を中心とする第１のバンドパスフィルタが画素毎に所定の配置で配列されたカラーフィルタを有し、前記少なくとも２つの受光素子のうち他の一つは、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタのうち少なくとも１種類と、波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが画素毎に所定の配置で配列されたカラーフィルタを有し、前記少なくとも２つの受光素子の中にＲ、Ｇ、Ｂ及び波長λ１、波長λ２の５種類の画素構成を有し、
   前記発光素子は、波長λ２の赤外光を照射し、
   前記第１のバンドパスフィルタから入射した第１の受光量と、前記第２のバンドパスフィルタから入射した第２の受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記３原色フィルタから入射した受光データから画像生成部においてカラー画像を生成することを特徴とする距離画像取得装置。
10. 前記一つの受光素子のカラーフィルタにおける前記所定の配置は、ＲフィルタとＢフィルタを交互に並べた列と、Ｇフィルタを一つおきに並べた間に前記第１のバンドパスフィルタを配置した列とを並べた配置であり、前記他の一つの受光素子のカラーフィルタにおける前記所定の配置は、前記一つの受光素子のカラーフィルタにおける前記所定の配置において前記第１のバンドパスフィルタを前記第２のバンドパスフィルタに置き換えたものであることを特徴とする請求項９に記載の距離画像取得装置。
11. 前記一つの受光素子のカラーフィルタにおける前記所定の配置は、Ｇフィルタと前記第１のバンドパスフィルタとが画素毎に交互に千鳥状に配列された配置であり、前記他の一つの受光素子のカラーフィルタにおける前記所定の配置は、前記第２のバンドパスフィルタを千鳥状に配置した間にＢフィルタとＲフィルタを交互に配置したものであることを特徴とする請求項９に記載の距離画像取得装置。
12. 対象物に向けて波長λ２の赤外光を照射し、
    前記波長λ２より小さい波長λ１の赤外光を中心とする第１のバンドパスフィルタと、波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタが画素毎に所定の配置で配列されたフィルタを通して、前記対象物からの反射光を受光し、
    前記第１のバンドパスフィルタから入射した受光量と、前記第２のバンドパスフィルタから入射した受光量とを比較することにより外光の影響を除去して距離画像を取得することを特徴とする距離画像取得方法。
13. 対象物に向けて波長λ２の赤外光を照射し、
    前記対象物の反射光を２つの光に分光し、
    前記分光された２つの光のうち一つを、波長λ１の赤外光を中心とする第１のバンドパスフィルタが各画素毎に配置されたカラーフィルタを通して受光し、前記分光された２つの光のうち他の一つを、３原色フィルタであるＲフィルタ、Ｇフィルタ、Ｂフィルタと、前記波長λ１より大きな波長λ２の赤外光を中心とし前記第１のバンドパスフィルタとは光透過領域が重複しない第２のバンドパスフィルタとが各画素毎に所定の配置で配列されたカラーフィルタを通して受光し、
    前記第１のバンドパスフィルタから入射した受光量と、前記第２のバンドパスフィルタから入射した受光量とを比較することにより外光の影響を除去して距離画像を取得するとともに前記３原色フィルタを通して受光した受光データからカラー画像を生成することを特徴とする距離画像取得方法。

Images