JP2007170856A - 距離データ生成方法、距離画像生成装置、光電センサ - Google Patents

Abstract

【課題】距離データをリアルタイムで得ることが可能な距離データ生成方法、その方法を用いて得られる距離データを画素値とした距離画像を生成する距離画像生成装置、及び距離画像の生成に好適な光電センサを提供する。
【解決手段】光電変換素子の出力を蓄積する二つのコンデンサを初期電圧に充電後（時刻ｔ３）、第１補正期間（時刻ｔ５〜ｔ６）及び第２補正期間（時刻ｔ６〜ｔ７）の間、二つのコンデンサから背景光に応じた電荷を放電させる。その後、パルス光を１回照射し（時刻ｔ８〜ｔ１０）、その反射光に応じた電荷を第１露光期間（時刻ｔ８〜ｔ１０）及び第２露光期間（時刻ｔ１０〜ｔ１２）に分けて二つのコンデンサに別々に蓄積し、この二つのコンデンサに蓄積された電荷を画素出力値Ｖ１，Ｖ２とし、この画素出力値Ｖ１，Ｖ２から算出される強度比Ｒ（＝Ｖ２／（Ｖ１＋Ｖ２））に基づいて距離データＬafを生成する。
【選択図】図６

Description

本発明は、パルス光を用いて物体までの距離を表す距離データを生成する距離データ生成方法、その距離データを画素値とする距離画像を生成する距離画像生成装置、及び距離画像の生成に好適な光電センサに関する。

従来より、パルス光を照射し、予め設定された測定範囲内に存在する測定対象物からの反射光を、複数の画素を有する光電センサにて受光し、その光電センサの出力から距離画像を生成する装置が知られている（例えば、特許文献１参照。）。

なお、距離画像とは、撮像された物体までの距離を、画像の濃淡（画素値）にて表したものであり、距離画像を用いることで、広い範囲に存在する複数の物体までの距離を一度に測定することが可能となる。

この特許文献１に開示された装置では、図１１に示すように、パルス光を照射し、その照射タイミングから所定の遅延時間Ｔｖ（＝ｎ×ΔＴｖ、ｎ＝０，１，２，３，…）後に、照射パルス光のパルス幅と同じ期間だけ積分窓を開けて（即ち露光して）反射光を受光する操作を、遅延時間ＴｖをΔＴｖずつ変化させて多数回繰り返すように構成されている。そして、受光量（積分電圧Ｕ）が最大となる遅延時間Ｔｖを、パルス光を反射した測定対象物までの距離を往復するのに要した伝搬時間Ｔｏとして検出し、この伝搬時間Ｔｏと光の速度ｃとに基づいて、測定対象物までの距離ｄ（＝ｃ×Ｔｏ／２）を求めている。
特表２００４-５３８４９１号公報

この特許文献１に記載の従来装置では、例えば、距離分解能を数十ｃｍ〜数ｍ、測定範囲を１００ｍ程度とした場合、遅延の変化幅ΔＴｖが０．１ｎｓ〜１ｎｓオーダ、測定の繰り返し回数は、数百〜数千回オーダとなる。

つまり、従来装置では、０．１ｎｓオーダで積分窓を制御する非常に高精度な制御回路が必要であると共に、膨大な測定結果を処理する大規模な制御回路が必要となり、装置規模が増大するという問題があった。

しかも、距離分解能を向上させるために遅延時間Ｔｖの変化幅ΔＴｖを小さくしたり、測定範囲を広げる等して高性能化を図ろうとすると、測定の繰り返し回数が更に増大してしまうという問題もあった。

また、従来装置では、１回の測定にパルス光の照射を多数回繰り返す必要があるため、高いリアルタイム性が必要とされる用途には用いることができず、また、測定対象の物体が移動している場合には、パルス光の照射毎に物体との距離が変化してしまい、測定結果の精度が低下してしまうという問題もあった。

本発明は、上記問題点を解決するために、距離データをリアルタイムで得ることが可能な距離データ生成方法、その方法を用いて得られる距離データを画素値とした距離画像を生成する距離画像生成装置、及び距離画像の生成に好適な光電センサを提供することを目的とする。

上記目的を達成するための発明である請求項１に記載の距離データ生成方法は、予め設定された最大計測距離をパルス光が往復するのに要する時間と同じ長さに設定された照射期間だけパルス光を照射する第１の手順と、前記照射期間と同じ開始タイミングで同じ長さに設定された第１露光期間、及び該第１露光期間の終了タイミングを開始タイミングとし、前記照射期間以上の長さに設定された第２露光期間の間、前記パルス光の反射光を受光する第２の手順と、前記第１露光期間での受光量である第１受光量と、前記第２露光期間での受光量である第２受光量との和に対する前記第１受光量又は第２受光量の比に基づいて、前記パルス光を反射した物体までの距離を表す距離データを生成する第３の手順とからなる。

つまり、最大計測距離以内にある物体からの反射光であれば、第１露光期間及び第２露光期間の間に反射光が受光され、しかも、各露光期間での受光量は、物体までの距離、及び物体の反射係数等に応じて異なったものとなる。

そして、第１露光期間での受光量をＱ１、第２露光期間での受光量をＱ２、強度比をＲ＝Ｑ２／（Ｑ１＋Ｑ２）とすると、パルス光（及び反射光）が理想的な方形波（立ち上がり時間及び立ち下がり時間がゼロ）であるとした場合、物体までの距離が０ｍであればＲ＝０、物体までの距離が最大計測距離であればＲ＝１、物体までの距離が最大距離までのａ（０＜ａ＜１）倍であれば、Ｒ＝ａとなる。また、強度比をＲ＝Ｑ１／（Ｑ１＋Ｑ２）とした場合には、物体までの距離が０ｍであればＲ＝１、物体までの距離が最大計測距離であればＲ＝０、物体までの距離が最大計測距離までのａ（０＜ａ＜１）倍であれば、Ｒ＝１−ａとなる。なお、物体までの距離が同じであっても、受光強度の違いによって受光量Ｑ１，Ｑ２は変化するが、強度比Ｒが変化することはない。つまり、強度比Ｒは、受光強度（物体の反射係数）によらず、パルス光を反射した物体までの距離のみに応じて変化するため、この強度比Ｒに基づいて距離データを生成することができる。

このように、本発明の距離データ生成方法によれば、パルス光を１回照射し、その反射光を第１露光期間及び第２露光期間に分けて２回受光を行うだけで、簡単かつ短時間（リアルタイム）で距離データを生成することができる。その結果、測定対象の物体が移動体であっても、その移動体についての距離データを精度良く生成することができる。

なお、受光強度が微弱である場合には、上述の照射，露光（以下、測距ともいう）をｎ（ｎは２以上の整数）回繰り返すことによって積算した受光量Ｑ１，Ｑ２を用いて距離データを求めてもよい。このｎ回の測距は、従来装置が分解能を得るために行うｍ（ｍは数十〜数百オーダの整数）回の測距とは異なるものであり、従来装置において同様の積算を行うことを考えるとｎ×ｍ回もの測距が必要となる。つまり、同じ条件であれば、本発明は、従来装置と比較して１／ｍの時間で距離データを生成することができる。

また、本発明の距離データ生成方法によれば、照射期間ひいては第１及び第２露光期間の長さを延長するだけで、簡単に最大計測距離を拡大することができ、また、受光量の検出精度を高めるだけで、リアルタイム性を犠牲にすることなく距離分解能を向上させることができる。

次に、請求項２に記載の距離画像生成装置では、予め設定された測定範囲内にパルス光を照射する発光手段と、電荷蓄積型の光電変換素子、及び該光電変換素子の出力を個別に蓄積可能な第１及び第２蓄積素子を有する単位センサを２次元的に複数配列した光電センサからなる撮像手段とを備えている。

そして、撮像制御手段は、第１及び第２蓄積素子の両端電圧を予め設定された初期電圧に設定する初期化制御、この初期化制御後に予め設定された最大計測距離をパルス光が往復するのに要する時間と同じ長さに設定された照射期間だけ発光手段にパルス光を照射させる照射制御、照射期間と同じ開始タイミングで同じ長さに設定された第１露光期間の間、第１蓄積手段に光電変換素子の出力を蓄積させる第１のパルス光蓄積制御、第１露光期間の終了タイミングを開始タイミングとし、照射期間以上の長さに設定された第２露光期間の間、第２蓄積手段に前記光電変換素子の出力を蓄積させる第２のパルス光蓄積制御を少なくとも実行する。

また、距離データ生成手段は、単位センサ毎に、第１蓄積手段に蓄積された第１画素値と、第２蓄積手段に蓄積された第２画素値との和に対する第１画素値又は第２画素値の比である強度比に基づいて、パルス光を反射した物体までの距離を表す距離データを生成する。これにより、距離データを画素値とする距離画像が生成される。

このように構成された本発明の距離画像生成装置は、請求項１に記載の距離データ生成方法を実現するものであり、従って、この方法による効果と同様の効果を得ることができる。

また、本発明の距離画像生成装置によれば、従来装置のような非常に高精度な時間制御を必要としないため、撮像手段や撮像制御手段の構成をより簡易なものとすることができる。

なお、強度比として、特に、第１画素値と第２画素値との和に対する第２画素値の比を用いている場合、距離データ生成手段は、請求項３に記載のように、強度比に前記最大計測距離を乗じることにより距離データを生成するようにしてもよい。この場合、距離データをそのまま、物体までの距離として扱うことができる。

ところで、パルス光の光源として使用される発光素子（発光ダイオードやレーザダイオード等）が持つ寄生容量の影響や、発光素子を駆動する駆動素子（トランジスタ，ＦＥＴ等）の駆動能力等の制約により、実際のパルス光（反射光）の波形は、立ち上がり期間及び立ち下がり期間が存在し、理想的な方形波から外れたものとなる。このため、第１及び第２受光量をそのまま用いて算出した強度比（ひいては距離データ）と物体までの距離とは非線形な関係を有する。

そこで、請求項４に記載のように、距離画像生成手段は、予め測定された前記パルス光の受光波形に基づく波形情報に基づいて、パルス光の立ち上がり時及び立ち下がり時の波形なまりによる誤差が補償されるように、第１及び第２画素値、強度比、或いは距離データのいずれかを補正する補正手段を備えていることが望ましい。

このように構成された本発明の距離画像生成装置によれば、距離データと物体までの距離とが線形な対応関係を有するように補正されるため、この距離データに基づいて、物体までの距離を精度よく簡単に求めることができる。

また、第１及び第２蓄積手段には、パルス光を反射した物体からの反射光に基づく電荷のみが蓄積されるのではなく、背景光に基づく電荷も蓄積され、この背景光に基づく電荷が、第１及び第２画素値の誤差となり、ひいては強度比の精度を劣化させてしまう。

これに対して、ＡＣカップリングコンデンサを用いて光電変換素子の出力からＤＣ成分をカットすることにより、背景光の影響を除去する手法が知られているが、このＡＣカップリングコンデンサは容量が大きい（数百pＦ〜数ｎＦ相当）ため、単位センサ、ひいては光電センサを肥大化させてしまうという問題がある。

そこで、請求項５に記載のように、撮像制御手段は、第１及び第２露光期間外、且つ、第１及び第２露光期間と同じ長さに設定された第１及び第２補正期間の間だけ、第１及び第２の蓄積素子のそれぞれに、光電変換素子の出力を第１及び第２のパルス光蓄積制御とは逆極性で蓄積する背景光蓄積制御を実行することが望ましい。

このように構成された本発明の距離画像生成装置によれば、第１及び第２露光期間の間に蓄積されるパルス光及び背景光に基づく電荷から、第１及び第２補正期間の間に蓄積される背景光に基づく電荷が除去されるため、背景光に基づく誤差分を含まない第１及び第２画素値を得ることができ、ひいては精度の高い距離画像を得ることができる。

また、本発明の距離画像生成装置では、撮像手段にＡＣカップリングコンデンサを設けることなく背景光の影響を除去しているため、この撮像手段を用いて、距離画像だけでなく、通常の画像データを取得することも可能である。

なお、撮像制御手段は、請求項６に記載のように、単位センサ毎又は複数の単位センサからなるセンサグループ毎に、照射期間の長さが異なっていてもよい。
次に、請求項７に記載の光電センサは、単位センサを２次元的に複数配列してなり、その単位センサは、電荷蓄積型の光電変換素子と、電荷を蓄積する第１及び第２蓄積素子と、
前記光電変換素子からの出力が流れる電流経路に、前記第１又は第２蓄積素子のうち少なくとも一方を接続する蓄積素子接続手段と、前記電流経路に流れる電流の方向が反転するように、前記電流経路と前記光電変換素子との間の接続状態を切り替える充放電切替手段とを備えている。

つまり、第１及び第２蓄積素子のいずれか一方を選択して、光電変換素子の出力による充電又は放電を行ったり、第１及び第２蓄積素子の両方を選択して、光電変換素子の出力による充電又は放電を行うことができるように構成されている。

このように構成された本発明の光電センサによれば、請求項２ないし請求項６のいずれかに記載の距離画像生成装置の撮像手段として好適に用いることができる。
更に、露光時間を長くして通常の画像データを取得する際には、第１及び第２蓄積素子を同時に選択して一つの蓄積素子として使用してもよい。

なお、光電変換素子は、請求項８に記載のように、ＰＩＮ型構造を持つフォトダイオードからなることが望ましい。
ＰＩＮ型構造を持つフォトダイオードは、一般的なＣＭＯＳプロセスで製造でき、安価であるというメリットがある他、受光領域に当たるＩ層が厚いため感度が高いという点で好適である。

以下に本発明の実施形態を図面と共に説明する。
図１に、本実施形態における距離画像生成装置１の全体構成を表すブロック図を示す。
同図に示すように、距離画像生成装置１は、発光信号ＦＬに従ってパルス光を発生させる発光部２と、露光信号ＳＨ１，ＳＨ２，リセット信号ＲＥＳ，切替信号ＳＷ１，ＳＷ２に従って予め設定された測定エリア内を撮像する撮像部３と、発光部２及び撮像部３を制御する各種信号を生成する制御信号生成部４と、制御信号生成部４が生成する各種信号のタイミングや期間を制御することで撮像部３から得られる画像データに基づいて距離画像を生成する距離画像生成部５とを備えている。

このうち、発光部２は、近赤外光を発生させる発光ダイオード（ＬＥＤ）又はレーザダイオード（ＬＤ）からなり、発光信号ＦＬに従って駆動される発光素子６と、発光素子６の放射光を予め設定された測定エリア全体に拡散する拡散レンズ７とを備えている。

また、撮像部３は、入射された光を電気信号に変換する光電センサ８と、測定エリア内から到来する光を集光して光電センサ８に入射する集光レンズ９とを備えている。
そして、光電センサ８は、図２に示すように、後述する光電変換素子８１（図３参照）の受光面が二次元アレイ状に配置されるように設けられた複数の単位センサ８０と、これら単位センサ８０を駆動する駆動電圧を発生させる駆動電圧発生回路９０と、これら単位センサ８０を初期化する際に使用する初期電圧（本実施形態では駆動電圧の１／２）を発生させる初期電圧発生回路９１と、制御信号生成部４にて生成された露光信号ＳＨ１，ＳＨ２、リセット信号ＲＥＳ、切替信号ＳＷ１，ＳＷ２を各単位センサ８０に分配する信号分配回路９２と、各単位センサ８０の出力を順番に読み出して、距離画像生成部５に供給する読出制御回路９３とからなる。

ここで、図３は、単位センサ８０の構成を示す回路図である。図３に示すように、単位センサ８０は、駆動電圧発生回路９０にカソードが接続されると共に、リセット信号ＲＥＳに従ってオンオフ動作するリセットスイッチ８２を介してアノードが接地され、受光強度に応じた電荷を発生させるフォトダイオードからなる光電変換素子８１を備えている。

また、単位センサ８０は、初期電圧発生回路９１に接続されると共に、切替信号ＳＷ１に従ってオンオフ動作する切替スイッチ８８を介して光電変換素子８１のカソード、及び切替信号ＳＷ２に従ってオンオフ動作する切替スイッチ８９を介して光電変換素子８１のアノードに接続された電流経路Ｌを備えている。

更に、単位センサ８０は、一端が露光信号ＳＨ１に従ってオンオフ動作するシャッタスイッチ８３を介して電流経路Ｌに接続され他端が接地されたコンデンサ８５と、一端が露光信号ＳＨ２に従ってオンオフ動作するシャッタスイッチ８４を介して電流経路に接続され、他端が接地されたコンデンサ８６と、入力が電流経路Ｌに接続され、出力が読出制御回路９３に接続された増幅回路８７とを備えている。

なお、光電変換素子８１を構成するフォトダイオードとして、ＰＩＮ構造を有するものが用いられている。このようなＰＩＮ構造のフォトダイオードは、ウェル−拡散層で構成される通常のフォトダイオードと比較して、受光領域に当たるＩ層が厚いため感度が高く、特にＩ層に深く進入する近赤外光の受光に好適である。また、Ｉ層が広く単位面積あたりの容量が小さいため、応答性に優れている。

リセットスイッチ８２，シャッタスイッチ８３，８４、切替スイッチ８８，８９は、いずれもＮＭＯＳ電界効果トランジスタにより構成されている。また、以下では、いずれのスイッチも信号がアクティブレベルの時にオンし、非アクティブレベルの時にオフするものとする。

コンデンサ８５，８６は、光電変換素子８１が持つ接合容量とは別に形成されるものであり、半導体材料または金属材料を用いて半導体基板上に形成された平行平板からなる。つまり、光電変換素子８１で発生した電荷は、その接合容量だけでなく、２対のコンデンサ８５、８６にも蓄積されるように構成されている。しかも、２対のコンデンサ８５、８６の容量は、電圧依存性を有する光電変換素子８１の接合容量より十分に大きな値、即ち、２対のコンデンサ８５、８６及び接合容量に蓄積される蓄積電荷と、単位センサ８０の出力電圧（画素値）とがリニアな特性を有すると見なせる程度に大きな値に設定されている。

増幅回路８７は、構造が単純で入力インピーダンスが高いソースフォロア回路を用いてもよいし、それと同等の効果を有する別の増幅手段を用いてもよい。
このように構成された単位センサ８０では、切替信号ＳＷ１，ＳＷ２が非アクティブレベル、且つ初期電圧発生回路９１がオン（初期電圧を発生）の時に、露光信号ＳＨ１，ＳＨ２をアクティブレベルにすると、シャッタスイッチ８３，８４を介してコンデンサ８５，８６に初期電圧が印加され、コンデンサ８５，８６が充電される。また、この時、リセット信号ＲＥＳをアクティブレベルにすると、光電変換素子８１にて発生した電荷は、そのまま放電される。

また、切替信号ＳＷ１，ＳＷ２が非アクティブレベル、且つ初期電圧発生回路９１がオフの時に、露光信号ＳＨ１，ＳＨ２の少なくとも一方をアクティブレベルにすると、オンしたシャッタスイッチ８３，８４に接続されたコンデンサ８５，８６の両端電圧が、増幅回路８７によって増幅され、読出制御回路９３に供給される。

また、駆動電圧発生回路９０をオン，初期電圧発生回路９１をオフし、且つ、切替信号ＳＷ２と露光信号ＳＨ１，ＳＨ２の少なくとも一方とをアクティブレベル、それ以外の信号を非アクティブレベルにすると、オンしたシャッタスイッチ８３，８４に接続されたコンデンサ８５，８６が、切替スイッチ８９を介して流れる光電変換素子８１の出力電流によって充電される。

一方、駆動電圧発生回路９０及び初期電圧発生回路９１をオフし、且つ、切替信号ＳＷ１とリセット信号ＲＥＳと露光信号ＳＨ１，ＳＨ２の少なくとも一方とをアクティブレベル、それ以外の信号を非アクティブレベルにすると、オンしたシャッタスイッチ８３，８４に接続されたコンデンサ８５，８６が、切替スイッチ８８を介して流れる光電変換素子８１の出力電流によって放電される。

つまり、単位センサ８０は、光電変換素子８１の出力電流によって、コンデンサ８５，８６を個別に又は一括して充放電可能に構成されていると共に、コンデンサ８５，８６の両端電圧を個別に又は一括して読み出し可能に構成されている。

次に、距離画像生成部５は、ＣＰＵ，ＲＯＭ，ＲＡＭからなる周知のマイクロコンピュータを中心に構成され、以下に説明する計測処理及び距離画像生成処理を実行する。
まず、制御信号生成部４に各種信号を送信させて単位センサ８０（即ち画素）毎に画素出力値Ｖ１，Ｖ２を得る計測処理を、図４に示すフローチャート、及び図６に示すタイミング図に沿って説明する。

図４及び図６に示すように、計測処理では、まず、リセット信号ＲＥＳをアクティブレベル、他の信号を非アクティブレベルにするリセット指令を制御信号生成部４に出すことにより（時刻ｔ１〜ｔ２）、光電変換素子８１の蓄積電荷をリセットする（Ｓ１１０）。

次に、初期電圧発生回路９１をオンして初期電圧を発生させると共に、リセット信号ＲＥＳを非アクティブレベル、露光信号ＳＨ１，ＳＨ２をアクティブレベルにする初期化指令を制御信号生成部４に出すことにより（時刻ｔ３〜ｔ４）、コンデンサ８５，８６を初期電圧で充電する（Ｓ１２０）。これによりコンデンサ８５，８６の両端電圧はＶini1，Ｖini2に設定される。なお、本実施形態では初期電圧を駆動電圧の１／２としているが、これに限るものではなく、例えば０Ｖ等に設定してもよい。

次に、全ての信号を非アクティブレベルに一旦戻すと共に、初期電圧発生回路９１をオフした後、予め設定された第１補正期間Ｔsh1 の間（時刻ｔ５〜ｔ６）だけ、露光信号ＳＨ１，切替信号ＳＷ１，リセット信号ＲＥＳをアクティブレベルにし、続けて、予め設定された第２補正期間Ｔsh2 の間（時刻ｔ６〜ｔ７）だけ、露光信号ＳＨ２，切替信号ＳＷ２，リセット信号ＲＥＳをアクティブレベルにする背景光放電指令を制御信号生成部４に出すことにより、背景光に基づく光電変換素子８１の出力電流により、コンデンサ８５，８６の充電電荷を順次放電する（Ｓ１３０）。この放電により、コンデンサ８５，８６の両端電圧は、それぞれ初期電圧Ｖini1，Ｖini2から背景光成分Ｖback1 ，Ｖback2 だけ低下した大きさとなる。

次に、全ての信号を非アクティブレベルに一旦戻した後、駆動電圧発生回路９０をオンして駆動電圧を発生させ、予め設定された照射期間Ｔflの間（時刻ｔ８〜ｔ１０）だけ発光信号ＦＬをアクティブレベルにすると同時に、予め設定された第１露光期間Ｔsh1 （＝Ｔfl）の間（時刻ｔ８〜ｔ１０）だけ、露光信号ＳＨ１，切替信号ＳＷ２をアクティブレベル、他の信号を非アクティブレベルにし、続けて、予め設定された第２露光期間Ｔsh2（＝Ｔfl）の間（時刻ｔ１０〜ｔ１２）だけ、露光信号ＳＨ２，切替信号ＳＷ２をアクティブレベル、他の信号を非アクティブレベルにする計測指令を制御信号生成部４に出すことにより、背景光を含んだ反射光に基づく光電変換素子８１の出力電流により、コンデンサ８５，８６を充電し（Ｓ１４０）、本処理を終了する。

この計測指令により発光部２から照射されたパルス光は物体で反射し、その反射光が撮像部３の光電センサ８にて受光される（時刻ｔ９〜ｔ１１）。ここでパルス光を反射した物体までの距離をＬbf、光の速度をＶｃとすると、反射光は、照射されたパルス光に対して（１）式で表される遅延時間（物体までの往復時間）Ｔだけ遅延して受信される。

Ｔ＝２×Ｌbf／Ｖｃ （１）
また、本実施形態では、最大計測距離をＬmax として、この最大計測距離Ｌmax の往復に要する最大往復時間Ｔmax （＝２×Ｌmax ／Ｖｃ）と、照射期間Ｔfl，第１露光期間（第１補正期間）Ｔsh1 ，第２露光期間（第２補正期間）Ｔsh2 とが等しくなるように設定されている。これは、パルス光を反射する物体までの距離が最大計測距離Ｌmax 以内であれば、第１露光期間及び第２露光期間（時刻ｔ８〜ｔ１２）内に、全ての反射光成分がコンデンサ８５，８６のいずれかに蓄積されるようにするためである。

つまり、反射光の強度をＶrev 、光電変換素子８１での変換効率をαとすると、第１露光期間の間（時刻ｔ８〜ｔ１０）に、コンデンサ８５の両端電圧は（２）式に示す増加分Ｖu1だけ、また、第２露光期間の間（時刻ｔ１０〜ｔ１２）に、コンデンサ８６の両端電圧は（３）に示す増加分Ｖu2だけ増加する。

Ｖu1＝Ｖback1 ＋α×Ｖrev ×（Ｔsh1 −Ｔ）／Ｔsh1 （２）
Ｖu2＝Ｖback2 ＋α×Ｖrev ×Ｔ／Ｔsh2 （３）
そして、増加分Ｖu1、Ｖu2のうち、背景光成分Ｖback1 ，Ｖback2 を除く反射光成分をＶpl1 ，Ｖpl2 とすると、第２露光期間の終了時点（時刻ｔ８）で得られるコンデンサ８５の両端電圧、即ち画素出力値Ｖ１は（４）式、コンデンサ８６の両端電圧、即ち画素出力値Ｖ２は（５）式で表される。

Ｖ１＝Ｖini1＋Ｖpl1 （４）
Ｖ２＝Ｖini2＋Ｖpl2 （５）
（４）（５）式からわかるように、コンデンサ８５，８６には、背景光成分Ｖback1 ，Ｖback2 が相殺され、反射光成分Ｖpl1 ，Ｖpl2 のみが蓄積されることになる。

次に、この画素出力値Ｖ１，Ｖ２を用いて距離画像を生成する距離画像生成処理を、図５に示すフローチャートに沿って説明する。
本処理は、先に説明した計測処理が終了する毎に起動される。

そして、本処理が起動すると、図５に示すように、まず、光電センサ８を構成する複数の画素（即ち、単位センサ８０）のうち、いずれか一つを選択し（Ｓ２１０）、その選択した画素から読出制御回路９３を介して画素出力値Ｖ１，Ｖ２を取得する（Ｓ２２０）。

この取得した画素出力値Ｖ１，Ｖ２から初期電圧Ｖini1，Ｖini2をそれぞれ減じることにより、反射光成分Ｖpl1 ，Ｖpl2 を算出し（Ｓ２３０）、その反射光成分Ｖpl1 ，Ｖpl2 に基づいて、（６）式を用いて強度比Ｒを算出する（Ｓ２４０）。

Ｒ＝Ｖpl2 ／（Ｖpl1 ＋Ｖpl2 ） （６）
この強度比Ｒに基づき、最大往復時間Ｔmax に対する反射光の遅延時間Ｔの比を正しく表した補正強度比ＲＲ（＝Ｔ／Ｔmax ）を、予め設定された変換テーブルを用いて算出し（Ｓ２５０）、最大計測距離Ｌmax に、この補正強度比ＲＲを乗じることで距離データＬaf（＝Ｌmax ×ＲＲ）を算出し、この距離データＬafを、Ｓ２１０にて選択された画素の画素値とする（Ｓ２６０）。

そして、全ての画素について上記Ｓ２１０〜Ｓ２６０の処理を実行したか否かを判断し（Ｓ２７０）、未処理の画素があればＳ２１０に戻って、上述の処理を繰り返し、全ての画素について処理が終了していれば、本処理を終了する。これにより、距離データＬafを各画素の画素値とする距離画像が得られることになる。

なお、Ｓ２４０にて（６）式を用いて算出される強度比Ｒは、（２）（３）式に示された反射光成分Ｖpl1 ，Ｖpl2 を表す部分の式を代入することでわかるように、最大往復時間Ｔmax に対する反射光の遅延時間Ｔの比（Ｔ／Ｔmax ）を表すものであり、最大計測距離Ｌmax に、この強度比Ｒを乗じることでパルス光を反射した物体までの距離Ｌbf（＝Ｌmax ×Ｒ）を簡単に求めることができる。

しかし、（６）式では、反射光が、立ち上がり期間Ｔup，立ち下がり期間Ｔdwのない理想的な方形波であることを前提とするものである。実際の反射光の波形は、発光素子６の寄生容量や、発光素子６を駆動するパワーＭＯＳＦＥＴの電流駆動能力などの制約により、図７に示すように、十〜百ｎｓオーダの立ち上がり期間Ｔup、立ち下がり期間Ｔdwを有している。この立ち上がり期間Ｔupによる誤差（本来値からの不足分）をΔＶ１、立ち下がり期間Ｔdwによる誤差（不要な付加分）をΔＶ２とすると、これら誤差ΔＶ１，ΔＶ２を考慮した補正強度比ＲＲは、（７）式で表される。但し、立ち下がり期間Ｔｄｗの全体が第２露光期間に含まれている場合を示す。

ＲＲ＝（Ｖpl2 −ΔＶ２）／（Ｖpl1 ＋Ｖpl2 ＋ΔＶ１−ΔＶ２） （７）
つまり、強度比Ｒと補正強度比ＲＲとを対応づけた変換テーブルを、実測値などに基づいて予め作成しておき、Ｓ２５０では、この変換テーブルを用いて補正強度比ＲＲを求めることになる。

なお、本実施形態では、発光部２が発光手段、撮像部３が撮像手段、制御信号生成部及び計測処理が撮像制御手段、距離画像生成処理が距離データ生成手段、Ｓ２５０が補正手段、光電変換素子８１が光電変換素子、コンデンサ８５，８６が第１及び第２蓄積素子、シャッタスイッチ８３，８４が蓄積素子接続手段、リセットスイッチ８２及び切替スイッチ８８，８９が充放電切替手段に相当する。

また、Ｓ１２０が初期化制御、Ｓ１３０が背景光蓄積制御、Ｓ１４０で発光信号ＦＬを出力する処理が照射制御、Ｓ１４０で露光信号ＳＨ１を出力する処理が第１のパルス光蓄積制御、Ｓ１４０で露光信号ＳＨ２を出力する処理が第２のパルス光蓄積制御に相当する。

以上説明したように、距離画像生成装置１では、パルス光を１回照射し、その反射光を第１露光期間及び第２露光期間に分けて２回受光を行うことで、距離データＬafの生成に必要な両露光期間での受光量（画素出力値）Ｖ１，Ｖ２を得るようにされている。

従って、距離画像生成装置１によれば、距離データを簡単かつ短時間（リアルタイム）で得ることができると共に、従来装置のような非常に高精度な時間制御を必要としないため、撮像部３の構成を簡易なものとすることができ、当該装置１（特に光電センサ８）の小型軽量化を図ることができる。

また、画素出力値Ｖ１，Ｖ２を短時間で得られることから、高速移動体の距離計測のような高いフレームレートを要する距離画像の生成にも問題なく適用することができる。
更に、距離画像生成装置１では、パルス光を照射することなく第１及び第２露光期間と同じ長さの第１及び第２補正期間だけ露光を行い、コンデンサ８５，８６に背景光に基づく電荷を、第１及び第２露光期間に蓄積される電荷とは逆極性で蓄積（放電）することにより、画素出力値Ｖ１，Ｖ２から背景光成分Ｖback1 ，Ｖback2 を除去するようにされている。

従って、距離画像生成装置１によれば、背景光に依存しない高精度な画素出力値Ｖ１，Ｖ２を得ることができる。
また、距離画像生成装置１では、画素出力値Ｖ１，Ｖ２から強度比Ｒを算出し、その強度比Ｒを、パルス光の立ち上がり時及び立ち下がり時の波形なまりによる誤差ΔＶ１，ΔＶ２が補償されるように補正することで、補正強度比ＲＲと物体までの距離とが線形な対応関係を有するようにされていると共に、補正強度比ＲＲが最大往復時間Ｔmax に対する反射光の遅延時間Ｔの比（ＲＲ＝Ｔ／Ｔmax ）を表すように設定されている。

従って、距離画像生成装置１によれば、反射光の強度に依存せず、パルス光を反射した物体までの距離のみに依存して線形的に変化する補正強度比ＲＲを得ることができ、この補正強度比ＲＲを最大計測距離Ｌmax に乗じるだけで得られる距離データＬafは、そのまま物体までの距離として扱うことができる。

また、距離画像生成装置１によれば、照射期間Ｔflひいては第１及び第２露光期間Ｔsh1 ，Ｔsh2 の長さを延長するだけで、簡単に最大計測距離Ｌmax を拡大することができ、また、画素出力値Ｖ１，Ｖ２の検出精度を高めるだけで、リアルタイム性を犠牲にすることなく距離分解能を向上させることができる。

なお、距離画像生成装置１は、例えば、図８に示すように、侵入者検知等のために設置される監視用カメラとして用いることができる。
この場合、距離画像生成装置１が生成した距離画像（距離データＬaf）を処理する画像処理部１１０では、距離データＬafを用いて、距離画像の距離によるグルーピング処理を行い、グループ化された領域の形状や大きさをもとに、侵入者を特定する処理などを実行する。

また、監視用カメラ（距離画像生成装置１）が屋内に設置される場合、壁，天井，床などによって、検知すべき物体が存在する空間が規定されるため、その空間に応じて、個別の画素毎または複数の画素（ライン，領域）毎に異なった最大計測距離Ｌmax を設定するように構成してもよい。

但し、この場合、信号分配回路９２を、単位センサ８０又は単位センサ８０のグループ毎に、異なった信号を供給できるように構成する必要がある。
また、距離画像生成装置１は、例えば、図９に示すように、進行方向に存在する障害物などを検知する車載カメラとして用いてもよい。

この場合、距離画像生成装置１が生成した距離画像（距離データＬaf）を処理する画像処理部１２０では、距離データＬafを用いて、距離画像の距離によるグルーピング処理を行い、グループ化された領域の形状や大きさをもとに、認識すべきオブジェクト（先行車，歩行者、障害物など）を特定する処理などを実行する。

但し、車載カメラでは、最大計測距離Ｌmax 内にパルス光を反射するオブジェクトが存在するとは限らないため、反射光を受光できない場合がある。従って、このような場合、即ち、画素出力値Ｖ１，Ｖ２が初期電圧Ｖini1，Ｖini2と等しい場合には、最大計測距離Ｌmax 内に、オブジェクトが存在しないと解釈するようにすればよい。

また、パルス光の照射法としては、図に示すように、画素の１ラインごとに最大計測距離Ｌｉmax （ｉ＝１，２，…，ｎ）を設定してもよい。また、パルス光の出射角は特に制限されることはなく、一点にビームを絞って、各画素ごとにビームを照射してもよいし、水平方向にビームを広げて一度に照射してもよい。
［他の実施形態］
以上、本発明の一実施形態について説明したが、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、様々な態様にて実施することが可能である。

例えば、上記実施形態では、背景光成分Ｖback1、Ｖback2を、第１及び第２露光期間の前に放電させているが、第１及び第２露光期間の後で放電させるように構成してもよい。
また、上記実施形態では、第１及び第２補正期間では放電を行い、第１及び第２露光期間では充電を行うようにされているが、逆に、第１及び第２補正期間では充電を行い、第１及び第２露光期間では放電を行うように構成してもよい。

この場合、単位センサ８０は、例えば、図１０に示すように、コンデンサ８５，８６をグランドラインではなく電源９４に接続するように構成すればよい。
また、上記実施形態では、強度比Ｒから補正強度比ＲＲを求めているが、立ち上がり期間，立ち下がり期間が無視できる程度に小さい場合や、距離データＬafの精度が比較的低くてもよい場合には、補正強度比ＲＲを求めることなく、強度比Ｒから直接距離データＬafを算出するように構成してもよい。

更に、上記実施形態では、強度比Ｒから補正強度比ＲＲを求める際に、予め用意された変換テーブルを用いるように構成したが、例えば、反射光のパルス波形を、立ち上がり期間Ｔup、定常期間Ｔfl、立ち下がり期間Ｔdwからなる３つの波形領域に分割し、その各波形領域毎に波形をそれぞれ直線または曲線（多項式，指数，対数など）で近似して記憶しておき、画素出力値Ｖ１，Ｖ２から算出された強度比Ｒと、記憶した３つの波形領域を含んだ強度比の計算により合致する反射光の遅延時間Ｔを求め、その求めた遅延時間Ｔを用いて距離データＬafを求めるように構成してもよい。

また、上記実施形態では、距離画像のみを生成しているが、露光信号ＳＨ１，ＳＨ２のパルス幅を、第１及び第２補正期間や第１及び第２露光期間より十分に長く設定し、パルス光の照射を行うことなく、背景光の受光のみを行うように制御することにより、通常の画像データも取得できるように構成してもよい。

この場合、コンデンサ８５，８６は、１枚の画像データを取得するために同時に使用してもよい。つまり、二つのコンデンサ８５，８６を２倍の容量を有する一つのコンデンサとして使用することにより、コンデンサの飽和蓄積量が上がるため、より輝度の大きなシーンの撮像を可能とすることができる。また、二つのコンデンサ８５，８６を２枚の画像データを取得するために別々に使用した場合は、微小時間差をもった連続した画像データの取得が可能となる。

また、上記実施形態では、１回の照射に対して第１及び第２露光期間で得られる受光量Ｑ１，Ｑ２に基づいて距離データＬafを求めるように構成されているが、受光強度が微弱である場合には、複数回の照射のそれぞれで得られる受光量Ｑ１，Ｑ２をそれぞれ積算した結果を用いて距離データＬafを求めるように構成してもよい。

距離画像生成装置の全体構成を示すブロック図。 撮像部の構成を示すブロック図。 単位センサの構成を示す回路図。 計測処理の内容を示すフローチャート。 距離画像生成処理の内容を示すフローチャート。 制御信号生成部の動作等を示すタイミング図。 パルス光の波形なまりに基づく誤差を示す説明図。 距離画像生成装置の適用例（監視用カメラ）を示す説明図。 距離画像生成装置の適用例（車載カメラ）を示す説明図。 単位センサの他の構成例を示す回路図。 従来装置の動作等を示すタイミング図。

符号の説明

１…距離画像生成装置、２…発光部、３…撮像部、４…制御信号生成部、５…距離画像生成部、６…発光素子、７…拡散レンズ、８…光電センサ、９…集光レンズ、８０…単位センサ、８１…光電変換素子、８２…リセットスイッチ、８３，８４…シャッタスイッチ、８５，８６…コンデンサ、８７…増幅回路、８８，８９…切替スイッチ、９０…駆動電圧発生回路、９１…初期電圧発生回路、９２…信号分配回路、９３…読出制御回路、９４…電源、１１０，１２０…画像処理部。

Claims (8)

1. 予め設定された最大計測距離をパルス光が往復するのに要する時間と同じ長さに設定された照射期間だけパルス光を照射する第１の手順と、
   前記照射期間と同じ開始タイミングで同じ長さに設定された第１露光期間、及び該第１露光期間の終了タイミングを開始タイミングとし、前記照射期間以上の長さに設定された第２露光期間の間、前記パルス光の反射光を受光する第２の手順と、
   前記第１露光期間での受光量である第１受光量と、前記第２露光期間での受光量である第２受光量との和に対する前記第１受光量又は第２受光量の比に基づいて、前記パルス光を反射した物体までの距離を表す距離データを生成する第３の手順と、
   からなることを特徴とする距離データ生成方法。
2. 予め設定された測定範囲内にパルス光を照射する発光手段と、
   電荷蓄積型の光電変換素子、及び該光電変換素子の出力を個別に蓄積可能な第１及び第２蓄積素子を有する単位センサを２次元的に複数配列した光電センサからなる撮像手段と、
   前記第１及び第２蓄積素子の両端電圧を予め設定された初期電圧に設定する初期化制御、該初期化制御後に予め設定された最大計測距離をパルス光が往復するのに要する時間と同じ長さに設定された照射期間だけ前記発光手段にパルス光を照射させる照射制御、前記照射期間と同じ開始タイミングで同じ長さに設定された第１露光期間の間、前記第１蓄積手段に前記光電変換素子の出力を蓄積させる第１のパルス光蓄積制御、前記第１露光期間の終了タイミングを開始タイミングとし、前記照射期間以上の長さに設定された第２露光期間の間、前記第２蓄積手段に前記光電変換素子の出力を蓄積させる第２のパルス光蓄積制御を少なくとも実行する撮像制御手段と、
   前記単位センサ毎に、前記第１蓄積手段に蓄積された第１画素値と、前記第２蓄積手段に蓄積された第２画素値との和に対する前記第１画素値又は第２画素値の比である強度比に基づいて、前記パルス光を反射した物体までの距離を表す距離データを生成する距離データ生成手段と、
   を備え、該距離データ生成手段にて生成された距離データを画素値とする距離画像を生成することを特徴とする距離画像生成装置。
3. 前記距離データ生成手段は、
   前記強度比に前記最大計測距離を乗じることにより前記距離データを生成することを特徴とする請求項２に記載の距離画像生成装置。
4. 前記距離画像生成手段は、
   予め測定された前記パルス光の受光波形に基づく波形情報に基づいて、前記パルス光の立ち上がり時及び立ち下がり時の波形なまりによる誤差が補償されるように、前記第１及び第２画素値、前記強度比、或いは前記距離データのいずれかを補正する補正手段を備えることを特徴とする請求項２又は請求項３に記載の距離画像生成装置。
5. 前記撮像制御手段は、
   前記第１及び第２露光期間外に、且つ、前記第１及び第２露光期間と同じ長さに設定された第１及び第２補正期間の間だけ、前記第１及び第２の蓄積素子のそれぞれに、前記光電変換素子の出力を前記第１及び第２のパルス光蓄積制御とは逆極性で蓄積する背景光蓄積制御を実行することを特徴とする請求項２ないし請求項４のいずれかに記載の距離画像生成装置。
6. 前記撮像制御手段は、前記単位センサ毎又は複数の単位センサからなるセンサグループ毎に、前記照射期間の長さが異なっていることを特徴とする請求項２ないし請求項５のいずれかに記載の距離画像生成装置。
7. 電荷蓄積型の光電変換素子と、
   電荷を蓄積する第１及び第２蓄積素子と、
   前記光電変換素子からの出力が流れる電流経路に、前記第１又は第２蓄積素子のうち少なくとも一方を接続する蓄積素子接続手段と、
   前記電流経路に流れる電流の方向が反転するように、前記電流経路と前記光電変換素子との間の接続状態を切り替える充放電切替手段と、
   を備えた単位センサを、２次元的に複数配列してなることを特徴とする光電センサ。
8. 前記光電変換素子は、ＰＩＮ型構造を持つフォトダイオードからなることを特徴とする請求項７に記載の光電センサ。

Images