JP2008209162A - 距離画像センサ - Google Patents

Abstract

【課題】対象空間の各領域ごとの受光光量を適正化し、物体の遠近や反射率にかかわらず距離を計測することができる距離画像センサを提供する。
【解決手段】対象空間に光を照射する発光源２と、対象空間からの光を受光して受光光量に応じた電荷を生成する複数個の感光部１１を有し対象空間を撮像する光検出素子１とが設けられる。距離計測期間において、発光源２は所定周期の強度変調光を対象空間に照射し、画像生成部３は各感光部１１で生成された電荷を用いて距離画像を生成する。フィルタ要素６は、各感光部１１に対象空間から入射する光の透過率を個別に調節可能であり、距離計測期間には透過率を一定に保つ。画像生成部３は、距離計測期間の前に設定した環境計測期間において発光源２から対象空間に光を照射させ、各感光部１１で得られた電荷量の差が小さくなる方向に各感光部１１に対応する領域の透過率を調節する。
【選択図】図１

Description

本発明は、発光源から対象空間に強度変調光を照射するとともに、対象空間からの光を複数個の感光部で受光することにより、各感光部ごとに強度変調光の投受光の位相差を求め、位相差を距離に換算して対象空間に関する距離画像を生成する距離画像センサに関するものである。

従来から、所定周期の変調信号で強度変調した光を発光源から対象空間に照射し、対象空間に存在する物体により反射された反射光を光検出素子で受光し、発光源から対象空間に照射した光と光検出素子で受光した光との位相差に基づいて対象空間に関する物体までの距離を検出する測距技術が知られている。光検出素子には複数個の感光部を設けてあり、変調信号の複数の位相区間に対応する受光光量を各感光部ごとに求め、受光光量の関係を投受光の位相差に換算することにより、対象空間において当該感光部に対応付けた領域に存在する物体までの距離を求めることができる。つまり、光検出素子として多数個の感光部を配列した撮像素子を用いて対象空間を撮像すれば、対象空間について濃淡情報や色情報を画素値に持つ濃淡画像やカラー画像ではなく、距離情報を画素値に持つ距離画像を生成することができる（たとえば、特許文献１、特許文献２）。

感光部ごとに距離を求めるには、たとえば、変調信号の１周期について位相が９０度ずつ異なる４つの位相区間を設定し、各位相区間ごとの受光光量を求める。変調信号の位相が０度、９０度、１８０度、２７０度である４つの位相区間の受光光量をそれぞれＡ０，Ａ１，Ａ２，Ａ３とすれば、投受光の位相差φは次式で求めることができる。
φ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝
各位相区間ごとの受光光量を求めるには、変調信号の特定の位相区間に入射する光により生成された電荷を他の位相区間に生成された電荷とは区別して取り出すことが必要であるから、各感光部にカメラのシャッタに相当する構成が必要である。この種の構成については、種々提案されている。
特開２００４−３０９３１０号公報 特開２００６−８４４３０号公報

ところで、光検出素子は、感光部の面積や体積などによって飽和電荷量が決まり、分解能の高い距離画像を生成しようとすれば、感光部の面積を小さくする必要があるから、飽和電荷量も小さくなる。すなわち、飽和電荷量を大きくとることができないから、光検出素子のダイナミックレンジは小さい。その結果、発光源から投光した信号光のほかに対象空間に環境光が存在し、その環境光の強度が大きくなると、感光部で生成される電荷量が飽和電荷量に達して距離を求めることができないという問題が生じる。

飽和電荷量に達するのを防止するには、対象空間から光検出素子への光の入射経路に減光フィルタを配置するなどして光検出素子の感度を調節することが考えられる。しかしながら、遠距離に存在する物体と近距離に存在する物体とでは受光強度が大幅に異なるから、遠距離と近距離との物体との両方について光検出素子から適正な出力を得ることは困難である。

つまり、遠距離の物体に対する光検出素子の出力を適正化すれば近距離の物体に対しては飽和電荷量を超えることになり、近距離の物体に対する光検出素子の出力を適正化すれば遠距離の物体に対しては出力が微小になるという問題が生じる。減光フィルタを用いる場合には減衰率を変更することにより、適正な出力が得られる距離を変化させることができるが、計測可能な距離範囲を広げることはできない。

また、各位相区間ごとの受光光量を変調信号の複数周期で積算することにより求めることも考えられている。つまり、変調信号の１周期における位相区間の時間幅を短くすることにより、１周期当たりの受光光量を少なくし、複数周期について同じ位相区間に得られる電荷を積算するのである。電荷を積算する回数を調節すれば、減光フィルタを用いる場合と同様に、光検出素子の感度を調節することになる。この場合も適正な出力が得られる距離を変化させることはできるが、計測可能な距離範囲を広げることはできない。

この技術を応用し、電荷を積算する回数を異ならせて複数回の撮像を行い、積算回数の異なる各出力について適正値が得られている感光部の出力を組み合わせて用いることにより距離画像を生成することも考えられる。

ただし、この技術を採用すると、積算回数の異なる複数回の撮像が必要であるから、距離画像が得られるまでに長い時間を要するという問題がある。

本発明は上記事由に鑑みて為されたものであり、その目的は、対象空間の各領域ごとの受光光量を適正化することにより、物体までの遠近にかかわらず光検出素子から適正な出力が得られるようにした距離画像センサを提供することにある。

請求項１の発明は、対象空間に光を照射する発光源と、対象空間からの光を受光して受光光量に応じた電荷を生成する複数個の感光部を有し対象空間を撮像する光検出素子と、距離計測期間において発光源から対象空間に照射する光を所定周期の変調信号で強度変調し変調信号の規定の複数の位相区間においてそれぞれ感光部で生成された電荷を用いて物体までの距離を求めこの距離を画素値とする距離画像を生成する画像生成手段と、各感光部ごとに個別に感度を調節可能である感度調節手段と、距離計測期間の前に設定した環境計測期間において発光源から対象空間に光を照射させかつ各感光部で得られた電荷量の差が小さくなる方向に感度調節手段による各感光部の感度を調節し、距離計測期間には各感光部の感度を環境計測期間に調節した感度に保つ利得制御手段とを備えることを特徴とする。

請求項２の発明では、請求項１の発明において、前記利得制御手段は、前記環境計測期間において前記発光源から対象空間に照射する光の強度を一定にすることを特徴とする。

請求項３の発明では、請求項１または請求項２の発明において、前記感度調節手段は、各感光部ごとの電荷の蓄積時間を変化させることにより各感光部の感度を個別に調節する蓄積時間調節手段であることを特徴とする。

請求項４の発明では、請求項１ないし請求項３のいずれかの発明において、前記感度調節手段は、前記感光部ごとに対象空間からの光の入射経路に配置され各感光部への光の入射率を個別に調節する入射率調節手段であることを特徴とする。

請求項５の発明では、請求項４の発明において、前記入射率調節手段は、対象空間から前記感光部に入射させる光の減衰量を調節するフィルタ要素であることを特徴とする。

請求項６の発明では、請求項４の発明において、前記入射率調節手段は、対象空間から前記感光部に光を入射させる露光時間を調節するシャッタ要素であることを特徴とする。

請求項７の発明では、請求項１ないし請求項６のいずれかの発明において、前記画像生成手段は前記距離計測期間を繰り返して距離画像を更新しており、利得制御手段は、１回前の距離計測期間において各感光部で各位相区間ごとに得られた電荷量のうち最大値の差が小さくなる方向に前記感度調節手段による各感光部の感度を調節することを特徴とする。

請求項８の発明では、請求項１ないし請求項６のいずれかの発明において、前記感度調節手段は、対象空間から前記感光部への光の入射経路に配置され感光部に入射させる光の偏光方向を調節する偏光制御手段であり、前記利得制御手段は、前記環境計測期間において各感光部に入射する光の偏光方向を検出し各感光部で得られた電荷量の差が小さくなる方向に偏光制御手段による偏光方向を調節することを特徴とする。

請求項９の発明では、請求項１ないし請求項８のいずれかの発明において、前記環境計測期間において対象空間のうちの着目領域に対応付けた前記感光部で得られた電荷量が飽和電荷量より小さくなるように前記発光源の発光強度を調節する発光制御手段が付加されていることを特徴とする。

請求項１の発明の構成によれば、距離計測の前に発光源から対象空間に光を照射するとともに光検出素子の各感光部で生成された電荷量の差が小さくなるように各感光部ごとの感度を調節するから、対象空間において各感光部に対応付けられている領域から受光する受光強度の差を小さくすることができる。つまり、物体までの遠近にかかわらず光検出素子の出力が飽和電荷量に達したり微小になったりするのを防止して、光検出素子の出力を適正範囲に保つことが可能になる。また、各感光部の飽和電荷量が大きくなくとも感度調節手段により感度を適正化することができるから、感光部を小型化することが可能であり、結果的に分解能を高めることが可能になる。さらに、光検出素子から適正な出力を得るために環境計測期間に１回投光するだけでよいから、最大でも２回の撮像だけで短時間のうちに距離画像を生成することができる。要するに、高分解能かつ高フレームレートである距離画像を得ることができる。

請求項２の発明の構成によれば、環境計測期間において発光源から照射する光の強度を一定にして時間変化させないから、各感光部で生成された電荷量の比較が容易であり、感度調節手段での処理が簡単になる。

請求項３の発明の構成によれば、感光部ごとの感度を調節するために蓄積時間を変化させているから、別途に感度を調節する部材を必要とせず、光検出素子の制御のみで対応することができて構成が簡単である。

請求項４の発明の構成によれば、各感光部への光の入射経路で入射率を個別に調節するから、光検出素子とは別に設けたフィルタやミラーのような光学要素を制御することになり、光検出素子と光学要素とを個別に制御すればよく制御が容易である。

請求項５の発明の構成によれば、入射率調節手段としてフィルタ要素を用いており、光検出素子の受光面の前方に配置することができるから小型に構成することができる。

請求項６の発明の構成によれば、入射率調節手段としてシャッタ要素を用いており、フィルタ要素のように透過率を制御しないから、光の損失が少ないという利点がある。

請求項７の発明の構成によれば、環境計測期間を１回前の距離計測期間としているから、距離の計測を繰り返している間に別の環境計測期間を設けることなく各感光部の感度を調節することができる。ただし、発光源から対象空間に照射されている光は強度変調されているから、各感光部で生成される電荷量は、距離による変化分だけではなく強度変調による変化分によっても異なっているから、１つの位相区間について電荷量を比較しても強度変調による変化の影響を除去することができない。これに対して、各感光部で各位相区間ごとに得られた電荷量のうちの最大値に着目していることにより、強度変調による電荷量の変化の影響を緩和することができる。つまり、環境計測期間として１回前の距離計測期間を採用し、環境計測期間に各感光部で生成された電荷量を用いて各感光部の感度を調節することが可能になる。

請求項８の発明の構成によれば、偏光方向を調節するから、偏光を生じる物体に着目して距離を求めることができる。たとえば、天井から下方を監視することにより床上の人を抽出する目的で距離画像センサを用いる場合に、髪で生じる偏光に着目すれば、頭部を確実に検出し頭部までの距離を抽出することができる。

請求項９の発明の構成によれば、感光部で得られる電荷量が飽和電荷量より小さくなるように発光源の発光強度を調節するから、感光部の飽和を防止することができる。

（基本構成）
実施形態を説明する前に、各実施形態で共通する部分の構成および動作について説明する。図１に示すように、対象空間に光を照射する発光源２と、対象空間からの光を受光し受光光量を反映した出力値の電気出力（以下、単に出力という）が得られる光検出素子１とを備えるアクティブ型の検出装置であり、光検出素子１には複数個の感光部１１を２次元配列した撮像素子を用いる。具体的には、平面格子の格子点上に感光部１１を配列してあり、たとえば垂直方向（縦方向）と水平方向（横方向）とにそれぞれ等間隔で複数個ずつ並べたマトリクス状に配列される。ただし、ＣＣＤイメージセンサのように１枚の半導体基板に多数個の感光部１１を備えるもののほか、独立した感光部１１を２次元配列した構成であっても本発明の技術思想は適用可能である。

対象空間に存在する物体７までの距離は、発光源２から対象空間に光が照射されてから物体７での反射光が各感光部１１に入射するまでの時間（「飛行時間」と呼ぶ）によって求める。ただし、１０ｍ程度の距離に対して飛行時間は数十ｎｓ程度の非常に短い時間であるから、投受光の時間を直接計測するのではなく、一定周期の変調信号で強度変調した強度変調光を対象空間に投光し、強度変調光の投受光の位相差を飛行時間に換算する技術を採用している。

対象空間に存在する物体７までの距離は、光検出素子１の出力を画像生成部（画像生成手段）３に与えて後述する演算を行うことにより求めることができる。また、光検出素子１と発光源２との動作のタイミングは制御回路部４が制御する。制御回路部４は画像生成部３にも演算のタイミングを指示する。

発光源２は、複数個の赤外線発光ダイオードを並設した構成、半導体レーザと発散レンズとを組み合わせた構成、半導体レーザと拡散板とを組み合わせ構成などを採用することができる。発光源２に赤外線を用いる場合には、光検出素子１へは赤外線透過フィルタを通して対象空間からの光を入射させる。この構成では、距離の計測に用いる光として赤外線を用いることにより、光検出素子１に可視光領域の光が入射するのを抑制することができる。画像生成部３および制御回路部４は、適宜のプログラムを実行するマイクロコンピュータによって構成する。

距離の計測には、発光源２から強度を変調した光（強度変調光）を対象空間に照射し、対象空間に存在する物体７で反射され光検出素子１に入射した光の強度変化の位相と発光源２からの光の強度変化の位相との位相差を求め、この位相差を距離に換算する技術を用いている。

強度変調光を対象空間に照射するために、発光源２は制御回路部４から出力される所定周期の変調信号によって駆動され、発光源２から対象空間に照射される光は変調信号により強度が変調される。制御回路部４では、たとえば２０ＭＨｚの正弦波で発光源２から照射する光の強度を変調する。なお、発光源２から照射する光の強度は正弦波で変調する以外に、三角波、鋸歯状波、矩形波などで変調してもよい。要するに、一定周期で強度を変調するのであれば、どのような構成を採用してもよい。

発光源２から図２（ａ）のように強度変調光を対象空間に照射し、光検出素子１の１つの感光部１１に入射する光の強度が図２（ｂ）のように変化しているとすると、同位相の時間差Δｔは対象空間において当該感光部１１に対応付けた領域に存在する物体７までの距離Ｌを反映しているから、光速をｃ［ｍ／ｓ］として、時間差Δｔ［ｓ］を用いると、物体７までの距離Ｌは、Ｌ＝ｃ・Δｔ／２で表される。光の強度を変調する変調信号の周波数をｆ［Ｈｚ］とし、位相差をφ［ｒａｄ］とすれば、時間差Δｔは、Δｔ＝φ／２πｆであるから、位相差φを求めることにより距離Ｌを求めることができる。

この位相差φは、発光源２を駆動する変調信号と光検出素子１の各感光部１１への入射光との位相差とみなしてよい。そこで、光検出素子１への入射光の受光強度を変調信号の複数の異なる位相について求め、求めた位相の関係と受光強度とから入射光と変調信号との位相差φを求めることが考えられている。実際には、光検出素子１において所定の位相幅（時間幅）を有する位相区間ごとの受光光量を検出し、この受光光量に相当する受光出力を位相差φの演算に用いる。

各位相区間を９０度間隔とすれば、変調信号の１周期について等位相間隔の４つの位相区間が周期的に得られ、各位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３を用いることによって、位相差φは、φ＝ｔａｎ−１｛（Ａ２−Ａ０）／（Ａ１−Ａ３）｝と表すことができる。なお、受光光量Ａ０、Ａ１、Ａ２、Ａ３を変調信号のどの位相に対応させるかによって、位相差φの符号は変化する。また、図２に示す例では、各位相区間を９０度の位相幅に設定しているが、位相幅は適宜に設定することができる。

光検出素子１において感光部１１への光の入射経路には受光光学系５が配置される。受光光学系５により、各感光部１１に対象空間の特定領域が対応付けられる。つまり、各感光部１１から受光光学系５を通して対象空間を撮像することができる。

上述のように、物体７までの距離を求めるために、発光源２から対象空間に照射される光の強度変化に同期する４つの位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３を求めている。したがって、目的の位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３が得られるように光検出素子を制御する必要がある。ここに、発光源２から対象空間に照射される光の強度変化の１周期において信号光に対応して感光部１１で発生する電荷量は少ないから、複数周期に亘って電荷を集積することが望ましい。要するに、目的の位相区間に対応するタイミングで電荷を生成するとともに、生成した電荷を変調信号の複数周期に亘って蓄積する機能が光検出素子１に要求される。

光検出素子１には、図１のように、各感光部１１が対象空間からの光を受光する期間が制御回路部４からの信号によって制御される期間制御部１２と、制御回路部４からの信号により指定された位相区間に感光部１１で生成された電荷を変調信号の複数周期に亘って集積することができる電荷集積部１３とを設けている。期間制御部１２および電荷集積部１３としての機能を実現するために、後述するように、半導体層２１の主表面に絶縁膜２２を介して制御電極２３を配置したＭＩＳ構造の光電変換素子を感光部１１に用い（図３参照）、１個の感光部１１に複数個（図示例では５個）の制御電極２３を配列した構成を採用している。

この構成では、制御電極２３に電圧を印加することにより、半導体層１２にポテンシャル井戸２４を形成し、ポテンシャル井戸２４を電荷の集積に用いる。つまり、目的とする位相区間に電圧を印加する制御電極２３の個数を、他の位相区間に電圧を印加する制御電極２３の個数よりも多くすることにより、半導体層２１の主表面に占めるポテンシャル井戸２４の開口面積を目的とする位相区間において他の位相区間よりも大きくすることができる。その結果、光照射により生成された電荷を集積する領域を、目的とする位相区間において他の位相区間よりも大きくすることができ、目的とする位相区間の電荷を主として集積することができ、期間制御部１２として機能させることができる。

また、目的の位相区間において電圧を印加していた制御電極２３のうちのいずれか（図示例では中央の１個）には、他の位相区間においても電圧を印加し続けることにより、この制御電極２３に対応して形成されるポテンシャル井戸２４に電荷を保持しておくことができる。したがって、変調信号の複数周期に亘って電荷の集積と保持とを繰り返すことにより、複数周期に亘って生成した電荷を集積することができ、電荷集積部１３として機能させることができる。

この動作によって、目的とする位相区間に感光部１１で生成された電荷を電荷集積部１３に集積することができ、目的とする位相区間ごとの電荷が電荷集積部１３に集積されるたびに、当該電荷を光検出素子１から出力として取り出すことができる。したがって、上述した４つの位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷を光検出素子１から取り出すには、上述の動作を４回繰り返すことになる。

なお、期間制御部１２は感光部１１において利用できる電荷を生成する領域の面積（実質的な受光面積）を変化させることにより各期間の電荷の生成量を変化させるから、電荷集積部１３には目的の位相区間に生成された電荷だけではなく、他の期間に生成された電荷も混入している。ただし、位相差φを求める演算にあたっては、２つの位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３を減算するから、この減算によって他の期間に生成された電荷の影響を除去することができる。

光検出素子１は、上述した感光部１１と期間制御部１２と電荷集積部１３とのほかに、電荷集積部１３から電荷を取り出すための電荷取出部１４を備える。電荷取出部１４はＣＣＤイメージセンサにおける垂直転送部および水平転送部と同様の構成を有する。

電荷取出部１４から取り出された電荷は、光検出素子１の出力として画像生成部３に与えられ、画像生成部３では各感光部１１ごとに得られた電荷を用いて、上述した数式の演算の原理で対象空間内の物体７までの距離を求める。各感光部１１は、対象空間の特定の方向の領域（各感光部１１から受光光学系５を通して対象空間を見込む方向の小領域）に対応付けられているから、画像生成部３において当該領域における距離を算出することにより、対象空間の三次元情報が算出される。この三次元情報を用いると、対象空間において各感光部１１に対応付けた領域に関する距離を画素値とする距離画像を生成することができる。

以下に光検出素子１の構造例を説明する。例示する光検出素子１は、感光部１１が垂直転送部と兼用された構造であって、フレーム・トランスファ（ＦＴ）方式のＣＣＤイメージセンサと類似した構造を有している。また、ＦＴ方式のＣＣＤイメージセンサと同様に、感光部１１を配列した撮像領域に隣接して遮光された蓄積領域を設けてあり、蓄積領域に蓄積した電荷を水平転送部に転送する。撮像領域から蓄積領域への電荷の転送は垂直ブランキング期間に一気に行い、水平転送部では１水平期間に１水平ライン分の電荷を転送する。図１に示した電荷集積部１３は蓄積領域の意味ではなく感光部１１が電荷を保持する機能を表し、電荷取出部１４は蓄積領域を含めて垂直転送部と水平転送部との機能を表している。

光検出素子１は、図示しない半導体基板を有し、感光部１１では、図３に示すように、半導体基板の主表面にウェルとして不純物を添加した半導体層２１が形成され、半導体層２１の主表面が酸化膜からなる絶縁膜２２により覆われ、さらに、半導体層２１に絶縁膜２２を介して複数個の制御電極２３が配置された構造を有する。絶縁膜２２および制御電極２３は発光源２から対象空間に照射される光と同波長の光が透過するように材料が選択され、制御電極２３および絶縁膜２２を通して半導体層２１に光が入射すると、半導体層２１の内部に電荷が生成される。

図示例では、半導体層２１の導電形をｎ形とし、光の照射により生成される電荷として電子を利用する場合を想定している。図３は１個の感光部１１に相当する領域のみを示したものであり、半導体基板（図示せず）には上述したように図３の構造を持つ領域が複数個配列されるとともに電荷取出部１４となる構造が設けられる。電荷取出部１４として設ける垂直転送部は、図３の左右方向に電荷を転送することを想定しているが、図３の面に直交する方向に電荷を転送する構成を採用することも可能である。また、電荷を図の左右方向に転送する場合には、制御電極２３の左右方向の幅寸法を１μｍ程度に設計するのが望ましい。

この構造の光検出素子１では、制御電極２３に正の制御電圧＋Ｖを印加すると、半導体層２１には制御電極２３に対応する部位に電子（丸内に−を記載して電子を表している）を集積するポテンシャル井戸（空乏層）２４が形成される。つまり、半導体層２１にポテンシャル井戸２４を形成するように制御電極２３に制御電圧を印加した状態で光が半導体層２１に照射されると、ポテンシャル井戸２４の近傍で生成された電子の一部はポテンシャル井戸２４に捕獲されてポテンシャル井戸２４に集積され、残りの電子は半導体層２１の深部での再結合により消滅する。また、ポテンシャル井戸２４から離れた場所で生成された電子も半導体層２１の深部での再結合により消滅する。

ポテンシャル井戸２４は制御電圧を印加した制御電極２３に対応する部位に形成されるから、制御電圧を印加する制御電極２３の個数を変化させることによって、半導体層２１の主表面に沿ったポテンシャル井戸２４の開口面積（言い換えると、受光面において利用できる電荷を生成する領域の面積）を変化させることができる。つまり、制御電圧を印加する制御電極２３の個数を変化させることは、感光部１１を期間制御部１２として利用すると同時に電荷集積部１３として利用することを意味する。

たとえば、１個の感光部１１に対応付けた５個の制御電極２３のうち、図３（ａ）のように３個の制御電極２３に制御電圧＋Ｖを印加する場合と、図３（ｂ）のように１個の制御電極２３に制御電圧＋Ｖを印加する場合とでは、ポテンシャル井戸２４が受光面に占める開口面積（半導体層２１に示る体積）が変化する。図３（ａ）の状態のほうがポテンシャル井戸２４の開口面積が大きいから、図３（ｂ）の状態に比較して同光量に対して集積される電荷の割合が多くなる。図３（ｂ）のようにポテンシャル井戸２４の開口面積を小さくしている期間には、ポテンシャル井戸２４への電荷の集積量は少なくなるから、ポテンシャル井戸２４を主として電荷の保持に利用することができ電荷集積部１３として機能させることができる。

ポテンシャル井戸２４から電荷を取り出すには、ＦＴ方式のＣＣＤイメージセンサと同様の技術を採用すればよく、ポテンシャル井戸２４に電子が集積された後に、集積時とは異なる印加パターンの電圧を制御電極２３に印加することによってポテンシャル井戸２４に集積された電子を一方向（たとえば、図の右方向）に転送することができる。つまり、半導体層２１をＣＣＤの垂直転送部と同様に電荷の転送経路に用いることができる。さらに、電荷は水平転送部を転送され、半導体基板に設けた図示しない電極から光検出素子１の外部に取り出される。

上述したように、感光部１１に形成されるポテンシャル井戸２４の開口面積を大小２段階に切り換えることにより、感光部１１を期間制御部１２および電荷集積部１３として兼用する構成であり、ポテンシャル井戸２４の開口面積を大きくするタイミングを目的の位相区間に合わせることにより、受光光量Ａ０、Ａ１、Ａ２、Ａ３のいずれかに相当する電荷を感光部１１で生成し、変調信号の複数周期に亘って蓄積することが可能になる。つまり、目的の位相区間に対応する期間を受光期間とし、他の位相区間に対応する期間を保持期間とし、受光期間には保持期間よりも多くの制御電極２３に電圧を印加する。変調信号の周期の規定周期分の期間で受光期間と保持期間とを繰り返すことにより、１つの位相区間の受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応する電荷が蓄積され、蓄積された電荷が出力になる。受光期間と保持期間とを繰り返す期間を、以下では蓄積期間と呼ぶ。

なお、複数個の感光部１１で１画素を構成し、１画素に含まれる各感光部１１においてそれぞれ異なる位相区間の電荷の生成および保持を行い、複数の位相区間における受光光量Ａ０、Ａ１、Ａ２、Ａ３に対応した電荷の集積が完了した後に、光検出素子１から出力を取り出すようにしてもよい。たとえば、位相が１８０度異なる２つの位相区間の電荷を集積してから読み出したり、位相が９０度ずつ異なる４つの位相区間の電荷を集積してから読み出したりすることが可能である。このような動作を行えば、空間分解能は低下するが、電荷を取り出す回数が少なくなってフレームレートの向上につながる。また、１画素を複数個の感光部１１で構成する場合に、隣接する感光部１１で制御電極２３の一部を共用することも可能である。この構成については、特開２００６−８４４３０号公報に記載されており、本発明の要旨ではないから詳述しない。

以上説明したように、各感光部１１は、ポテンシャル井戸２４の開口面積を大きくする受光期間と、受光期間よりもポテンシャル井戸２４の開口面積を小さくする保持期間とを選択し、また受光期間と保持期間とを繰り返す回数（つまり、蓄積時間）を選択することができる。

なお、上述した構成例ではＦＴ方式のＣＣＤイメージセンサと類似した構成を採用しているが、ＩＴ（インターライン）方式のＣＣＤイメージセンサと類似した構成やＦＩＴ（フレームインターライン）方式のイメージセンサと類似した構成を採用することも可能である。また、感光部１１に設ける制御電極２３の個数や位相区間の設定条件などについては一例であって同様の動作が可能な範囲において適宜に選択できる。

ところで、上述した構成では、各位相区間における受光光量Ａ０、Ａ１、Ａ２、Ａ３が適正であれば飽和を生じることがないが、光検出素子１が対象空間から受光する光には、ほとんどの場合に、発光源２から投光した信号光だけではなく、信号光以外の環境光も含まれているから飽和を生じる可能性がある。また、物体７までの距離の遠近によっても受光光量が大きく変化するから、遠距離に存在する物体７までの距離計測を可能にしている場合に近距離の物体７からの反射光を受光すると光検出素子１に飽和を生じる可能性がある。なお、環境光には信号光と同様に変動する成分が含まれることがあるが、通常の環境光は自然光や照明光などであるから、１枚の距離画像を生成する期間程度の短時間では変化を無視することができる。

以下では、環境光の存在や物体７までの遠近や反射率によらず飽和の発生を抑制する技術について説明する。以下の各実施形態では、発光源２から強度変調光を対象空間に照射し光検出素子１で受光した光に基づいて距離画像を生成するまでの期間を距離計測期間とし、距離計測期間に先だって各感光部１１に入射する光の強度を計測する環境計測期間を設けている点を共通にしている。環境計測期間と距離計測期間とは制御回路部４が指示する。

（実施形態１）
本実施形態では、図１に示すように、対象空間から光検出素子１の各感光部１１への光の入射経路に入射率調節手段としてフィルタ要素６を配置している。フィルタ要素６は、光検出素子１の受光面に重ねて配置され、光検出素子１と受光光学系５との間に挿入してある。フィルタ要素６は、図４に示すように、各感光部１１に対応付けたフィルタ領域６ａを備え、フィルタ領域６ａの透過率を個別に変化させることが可能になっている。この種のフィルタ要素６としては、たとえば、印加電圧に応じて透過率が変化する透過型の液晶パネルを用いることができる。フィルタ要素６を設けていることにより、対象空間から各感光部１１に入射する光の減衰量を個別かつ連続的に調節することが可能になっている。各フィルタ領域６ａの透過率は、画像生成部３に設けた利得制御手段３ａが指示する。

環境計測期間には、まず発光源２から対象空間に光を照射し、各感光部１１で生成された電荷量を求める。環境計測期間において発光源２から投光する光は強度を変化させずに一定強度に保つ。この状態で各感光部１１において生成された電荷量の差が小さくなる方向にフィルタ要素６の各フィルタ領域６ａの透過率を調節すると、対象空間から各感光部１１に入射する光量はほぼ等しくなり、物体７までの遠近や反射率によらず、どの感光部１１にも同程度の強度の光を入射させることが可能になる。

ここで、減衰量は入射強度がもっとも小さい感光部１１について最小に設定し、この入射強度を基準に用いて他の感光部１１への入射強度が同程度になるように他の感光部１１に対応するフィルタ領域６ａの減衰量を調節する。ただし、入射強度が小さい感光部１１に対してフィルタ要素６で調節可能な最小の減衰量に設定しても、適正な入射強度が得られない場合があるから、その場合は、最小の減衰量で適正な入射強度が得られている感光部１１を基準に用いればよい。

上述の動作例は、環境計測期間においてフィルタ要素６における各フィルタ領域６ａの透過率を等しくしている場合を想定しているが、各フィルタ領域６ａの透過率がすでに調節されている場合には、飽和しない範囲で電荷量が最大である感光部１１への入射強度を基準に用いるか、あるいは電荷量に対する基準値を決めておき、各感光部１１の電荷量と当該基準値との差を小さくするように各フィルタ領域６ａの透過率を決定する。

各フィルタ領域６ａの透過率は、１回の距離計測期間においては一定に保つ。したがって、位相差φを求めるための各位相区間の受光光量の関係は維持され、各感光部１１ごとに対象空間から入射する光の透過率が異なっていても対象空間における物体７までの距離を求めることができる。

対象空間から各感光部１１に入射させる光の減衰量を変化させるフィルタ要素６としては、ＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍｓ）技術により作製したアレイ状の開口絞りを用いてもよい。開口絞りとしては、各感光部１１に対応する部位にそれぞれ受光面に平行な回転軸の周りで回転角が調節可能となった遮光板を備え、遮光板の回転角に応じて光の減衰量を変化させることができるものを用いる。この開口絞りを用いることにより、液晶パネルと同様の動作が可能になる。

上述した入射率調節手段は、対象空間から各感光部１１に入射する光の減衰量を調節することにより感光部１１に入射する光の強度を変化させるフィルタ要素６として機能するものであるが、感光部１１の受光光量は入射する光の強度だけではなく露光時間によっても調節することができる。露光時間を調節する場合には、フィルタ要素６に代えてシャッタ要素を用いる。

露光時間を調節するシャッタ要素としては、たとえば、各感光部１１ごとにシャッタ領域を備える液晶パネルを用いることができる。つまり、フィルタ要素６のようにフィルタ領域６ａごとの透過率を変化させるのではなく、各感光部１１に対応付けたシャッタ領域ごとに光を透過させるか遮断するかを選択する。各シャッタ領域について光を透過させる露光時間を調節すれば、各感光部１１の受光光量を調節することができる。

露光時間は、変調信号の１周期内で変化させるのではなく、１回の露光における変調信号の周期数を調節することにより行う。つまり、環境計測期間において生成した電荷量の少ない感光部１１ほど受光期間と保持期間との繰り返し回数を多くすることにより露光時間を長くする。露光時間は電荷を集積する時間と同時間であるから、以下では、電荷を集積する時間である蓄積時間を露光時間と同じ意味で用いる。蓄積時間には上限を設けておき、各感光部１１ごとに上限以下で適正な電荷量になるように蓄積時間を設定する。フィルタ要素６を用いる場合と同様に、シャッタ要素を用いる場合も、受光強度の小さい感光部１１を基準に用い、各感光部１１で生成される電荷量の差が小さくなるように各シャッタ要素の露光時間を決定する。

シャッタ要素としては、液晶パネルのほか、ＭＥＭＳ技術により作製したアレイ状のミラーであるＤＭＤ（Ｄｉｇｉｔａｌ Ｍｉｃｒｏｍｉｒｒｏｒ Ｄｅｖｉｃｅ）（商標）を用いてもよい。この素子は、受光光学系５を通過した光を、各感光部１１に反射させる状態と、各感光部１１とは異なる方向に反射させる状態とを選択するように配置され、上述した液晶パネルと同様に機能させることができる。また、アレイ状の開口絞りと同様の構造を持つ装置を用い、遮光板の開閉によって液晶パネルと同様に機能させてもよい。

フィルタ要素６は、対象空間から各感光部１１に入射する光の減衰量を調節するものであり、シャッタ要素は、対象空間から各感光部１１に入射する光の露光時間を調節するものであって、いずれも光の入射強度に対して各感光部１１で電荷を生成する割合を調節する機能を有するから、フィルタ要素６とシャッタ要素とはともに入射率調節手段（感度調節手段）として機能する。また、フィルタ要素６とシャッタ要素とは組み合わせて用いることも可能であり、両者を組み合わせて用いれば、感度の調節範囲を広くとることが可能になる。

上述の構成例では、フィルタ要素６のフィルタ領域６ａあるいはシャッタ要素のシャッタ領域を各感光部１１に個別に対応付けて配置しているが、１画素を複数個の感光部１１で構成している場合には、画素単位でフィルタ領域６ａあるいはシャッタ領域を対応付けてもよい。このような構成を採用すれば、感光部１１の個数に対してフィルタ領域６ａあるいはシャッタ領域の個数が少なくなりコストの低減につながる。

上述した構成では、受光側において光検出素子１の感度を調節しているから、感光部１１に入射する信号光が微弱である場合に、蓄積時間を長くする以外には感度を高めることはできない。ただし、フレームレートを確保するために蓄積時間の長さには限界があり、また信号光が微弱であれば信号光に含まれる情報量が少なくなるから蓄積時間を延長しても正しい距離を計測できるとは限らない。

そこで、各感光部１１の感度を調節することに加えて、環境計測期間において各感光部１１で生成した電荷量に応じて発光源２から対象空間に照射する光の強度を調節する発光制御手段４ａを制御回路部４に設けるのが望ましい。発光制御手段４ａでは、環境計測期間に各感光部１１が生成した電荷量のうちもっとも少なかった電荷量が、規定した適正値になるように発光源２の発光強度を調節する。電荷量の適正値は、飽和電荷量よりは小さい範囲内の値であることはもちろんであるが、できるだけ大きいほうがショットノイズの影響を抑制して距離の検出精度を高めることができる。したがって、感光部１１において入射光量と生成電荷量の関係の直線性のよい領域で電荷量の適正値を規定する。

上述のように発光源２の発光強度を調節することにより、遠方に存在する物体７や反射率の小さい物体７でも距離を精度よく計測することが可能になる。発光源２の発光強度を調節する技術は、以下に説明する各実施形態の技術と適宜に組み合わせて用いることができる。

（実施形態２）
実施形態１では、環境計測期間において発光源２から一定強度の光を対象空間に照射する例を示したが、対象空間に存在する物体７の位置が変化したり、対象空間の環境光の状態（環境光の強度や環境光が入射する方向）が変化した場合には、環境計測期間に得られた情報で調節した各感光部１１ごとの感度では対応できなくなる。したがって、適宜の時間間隔で環境計測期間を繰り返し設ける必要がある。

本実施形態では、距離画像を繰り返し更新していることを利用し、距離計測期間で得られた電荷量を用いて感度調節手段による各感光部１１の感度の調節を行う。つまり、距離計測期間を環境計測期間として兼用させる。ただし、距離計測期間では各感光部１１において強度変調光を受光しているから、各感光部１１で生成される電荷量は、物体７の反射率が変わらない場合でも物体７までの距離が遠いほど少なくなるとは限らず、感光部１１において受光した位相区間が強度の大きい期間であるか強度の小さい期間であるかによっても変化する。

そこで、距離計測期間における各位相区間のうち電荷量が最大になった位相区間の電荷量（つまり、各位相区間ごとに得られた電荷量のうちの最大値）を用いる。あるいはまた、距離計測期間における全位相区間に得られた電荷量の総和、平均値、位相が１８０度異なる位相区間の電荷量の差分を用いてもよい。これらの値を用いることにより、強度変調光を受光することによって生じる位相区間ごとの電荷量の変化を抑制し、物体７までの距離および反射率に応じた受光強度を検出することが可能になる。これらの値は画像生成部３において求め、実施形態１において説明した感度調節手段に反映させる。

上述した動作により、動作開始時に１回だけ環境計測期間を設けて感度調節手段により各感光部１１の感度を調節した後には、距離計測期間を繰り返すだけで、感度調節手段による感光部１１ごとの感度を更新することができる。言い換えると、対象空間に存在する物体７の位置が時間経過に伴って変化したり、対象空間の環境光の状態が時間経過に伴って変化した場合でも、感度調節手段による各感光部１１の感度を追従させて調節することが可能になる。他の構成および動作は実施形態１と同様である。

（実施形態３）
実施形態１では、対象空間から光検出素子１の各感光部１１への光の入射経路に感度調節手段を配置しているが、感度調節手段としてシャッタ要素を用いる場合について説明したように、各感光部１１で生成される電荷量は蓄積時間（つまり、露光時間）を変化させることによって調節することが可能である。

本実施形態では、各感光部１１の蓄積時間を調節する技術として、シャッタ要素のように光検出素子１に入射する光を調節するのではなく、蓄積期間における受光期間の回数を調節する構成を採用する。つまり、感光部１１が対象空間からの光を受光する期間を決める期間制御部１２を制御することにより、１回の距離計測期間における受光期間の回数を制御し、光検出素子１の出力とする電荷量を調節するのである。受光期間の回数は画像生成部３において決定し、利得制御手段３ａが制御回路部４を通して期間制御部１２を制御する。つまり、本実施形態では、制御回路部４が蓄積時間調節手段として機能する。

この構成では、光検出素子１とは別にフィルタ要素やシャッタ要素のような光学要素を設けることなく各感光部１１の感度を調節することができるから、構成要素数を削減することが可能になる。また、制御回路部４で各感光部１１ごとに対応付けた期間制御部１２を個別に制御することによって蓄積時間調節手段として機能させているから、実施形態１において説明した他の感度制御手段と組み合わせることが可能であり、組み合わせによって感度の調節範囲を広くすることが可能である。他の構成および動作は実施形態１と同様である。また、実施形態２のように、１回前の距離計測期間において得られた電荷量を用いて感度を調節する技術と組み合わせることが可能である。

（実施形態４）
本実施形態は、実施形態１において説明したフィルタ要素と同様に、光検出素子１に入射する光の透過率を調節する感度調節手段を設けたものである。ただし、本実施形態では偏光方向に着目し、感光部１１に入射させる光の偏光方向を調節することにより各感光部１１の感度を調節している。すなわち、光検出素子１の受光面の前方に偏光方向が可変である偏光フィルタを配置した偏光制御手段を感度調節手段として設けてある（図１のフィルタ要素６に代えて偏光フィルタを配置する）。偏光フィルタは、各感光部１１に対応する領域ごとに偏光方向を変化させることができる。この種の偏光フィルタとしては、たとえば、液晶パネルを用いて印加電圧に応じて偏光方向を変化させる構造のもの、あるいはＭＥＭＳ技術を用いて各感光部１１に対応付けた微小な偏光フィルタを回転させる構造のものを採用することができる。

本実施形態では、実施形態１と同様に、環境計測期間において発光源２から時間経過に伴う変化のない一定強度の光を対象空間に照射する。環境計測期間において、画像生成部３に設けた利得制御手段３ａは、隣接する複数個（たとえば、４個）の感光部１１を組にし、偏光フィルタについて組内の各感光部１１に対応する領域の偏光方向をそれぞれ異ならせ（４個の感光部１１を組にするときには４５度間隔で偏光方向を異ならせ）、組内の感光部１１で生成された電荷量を取得する。

ここで、組内の感光部１１のうち生成した電荷量が最大である感光部１１に対応する偏光方向が、対象空間のうち当該組に対応付けられる領域から入射する光の偏光方向に近いと考えられる。したがって、利得制御手段３ａでは、組内の各感光部１１で生成した電荷量に基づいて対象空間の特定の領域から入射する光の偏光方向を推定することができる。

また、利得制御手段３ａは、感光部１１の各組のうち生成した電荷量が最大であった感光部１１を抽出し、対象空間から光検出素子１への入射光のおよその強度分布を求める。さらに、利得制御手段３ａは、強度分布において電荷量が最小である感光部１１に対応する偏光方向に合致するように、すべての感光部１１に対応する偏光方向を調節する。

つまり、偏光フィルタにおいて各感光部１１に対応する領域の偏光方向は、環境計測期間では個々に設定され、距離計測期間ではすべて同じ方向に設定される。距離計測期間では、各感光部１１のうち受光強度の小さい感光部１１の偏光方向に合わせて偏光フィルタの偏光方向が調節されるから、少なくとも光検出素子１への光の入射強度の小さい領域で偏光性を有する光が入射している領域については感度を高くすることができ、各感光部１１での感度差が緩和される。

とくに、人を上方から撮像し、頭部位置を検出するために髪の有無を利用する場合には、髪により生じる偏光性を利用し、かつ髪は反射率が小さいという特性に着目すると、上述した技術によって人の頭部を抽出するのが容易になる。

（実施形態５）
実施形態４では偏光フィルタを１枚だけ用いているが、本実施形態は、図５に示すように、２枚の偏光フィルタ８ａ，８ｂを重ねて用いる。偏光フィルタ８ａは全体の偏光方向が可変である可変偏光フィルタであり、４５度間隔で偏光方向の異なる４種類の偏光領域８ｃを備える固定偏光フィルタである。可変偏光フィルタ８ａは、偏光方向を変化させるほか偏光させない状態も選択可能になっている。図６に示すように、固定偏光フィルタ８ｂの各偏光領域８ｃは個々の感光部１１に重複し、隣接する４個（たとえば、垂直方向または水平方向に並ぶ４個、あるいは２×２個の正方領域の４個）の感光部１１に対応する４個の偏光領域８ｃの偏光方向が４５度ずつ異ならせてある。

環境計測期間には、可変偏光フィルタ８ａを偏光なしの状態として各感光部１１で生成された電荷量を求める。距離計測期間では、環境計測期間に生成された電荷量のもっとも少ない感光部１１に対応した固定偏光フィルタ８ｂの偏光方向に合わせて可変偏光フィルタ８ａの偏光方向を調節すれば、各感光部１１から取り出す電荷量のばらつきを抑制することができる。ここに、感光部１１は４個を組にしているから、距離計測期間には、各組の４個の感光部１１のうちで生成した電荷量がもっとも多い感光部１１をそれぞれ利用する。

本実施形態は、実施形態４の構成と同様の原理で各感光部１１で生成される電荷量の差を小さくしているから、髪により生じる偏光性を利用して人の頭部を抽出する場合などに利用することができる。しかも、感光部１１に対応する領域を個々に制御する必要がなく、可変偏光フィルタ８ａは全体の偏光方向を制御するだけであるから実現が容易である。

なお、実施形態４、５において偏光方向を４５度ずつ異ならせているが、偏光方向をさらに小さい角度間隔で異ならせることも可能である。

また、実施形態５のように、２枚の偏光フィルタを重ねて用いることは写真撮影において偏光性を有する光を除去するために採用されている技術と類似しており、上述のような人の頭部を抽出する技術とは逆に、髪の情報を除去するのに用いることも可能である。このように偏光フィルタを用いることにより、着目領域を強調したり不要領域を除去したりすることが可能になる。実施形態４、５の構成は他の各実施形態の構成と組み合わせることが可能である。

実施形態１、２に共通するブロック図である。 同上の動作説明図である。 同上に用いる光検出素子の要部の動作説明図である。 実施形態１の要部分解斜視図である。 実施形態５を示すブロック図である。 同上の要部分解斜視図である。

符号の説明

１ 光検出素子
２ 発光源
３ 画像生成部
３ａ 利得制御手段
４ 制御回路部
４ａ 発光制御手段
５ 受光光学系
６ フィルタ要素
７ 物体
８ａ 可変偏光フィルタ
８ｂ 固定偏光フィルタ
１１ 感光部
１２ 期間制御部
１３ 電荷集積部
１４ 電荷取出部

Claims (9)

1. 対象空間に光を照射する発光源と、対象空間からの光を受光して受光光量に応じた電荷を生成する複数個の感光部を有し対象空間を撮像する光検出素子と、距離計測期間において発光源から対象空間に照射する光を所定周期の変調信号で強度変調し変調信号の規定の複数の位相区間においてそれぞれ感光部で生成された電荷を用いて物体までの距離を求めこの距離を画素値とする距離画像を生成する画像生成手段と、各感光部ごとに個別に感度を調節可能である感度調節手段と、距離計測期間の前に設定した環境計測期間において発光源から対象空間に光を照射させかつ各感光部で得られた電荷量の差が小さくなる方向に感度調節手段による各感光部の感度を調節し、距離計測期間には各感光部の感度を環境計測期間に調節した感度に保つ利得制御手段とを備えることを特徴とする距離画像センサ。
2. 前記利得制御手段は、前記環境計測期間において前記発光源から対象空間に照射する光の強度を一定にすることを特徴とする請求項１記載の距離画像センサ。
3. 前記感度調節手段は、各感光部ごとの電荷の蓄積時間を変化させることにより各感光部の感度を個別に調節する蓄積時間調節手段であることを特徴とする請求項１または請求項２記載の距離画像センサ。
4. 前記感度調節手段は、前記感光部ごとに対象空間からの光の入射経路に配置され各感光部への光の入射率を個別に調節する入射率調節手段であることを特徴とする請求項１ないし請求項３のいずれか１項に記載の距離画像センサ。
5. 前記入射率調節手段は、対象空間から前記感光部に入射させる光の減衰量を調節するフィルタ要素であることを特徴とする請求項４記載の距離画像センサ。
6. 前記入射率調節手段は、対象空間から前記感光部に光を入射させる露光時間を調節するシャッタ要素であることを特徴とする請求項４記載の距離画像センサ。
7. 前記画像生成手段は前記距離計測期間を繰り返して距離画像を更新しており、利得制御手段は、１回前の距離計測期間において各感光部で各位相区間ごとに得られた電荷量のうち最大値の差が小さくなる方向に前記感度調節手段による各感光部の感度を調節することを特徴とする請求項１ないし請求項６のいずれか１項に記載の距離画像センサ。
8. 前記感度調節手段は、対象空間から前記感光部への光の入射経路に配置され感光部に入射させる光の偏光方向を調節する偏光制御手段であり、前記利得制御手段は、前記環境計測期間において各感光部に入射する光の偏光方向を検出し各感光部で得られた電荷量の差が小さくなる方向に偏光制御手段による偏光方向を調節することを特徴とする請求項１ないし請求項６のいずれか１項に記載の距離画像センサ。
9. 前記環境計測期間において対象空間のうちの着目領域に対応付けた前記感光部で得られた電荷量が飽和電荷量より小さくなるように前記発光源の発光強度を調節する発光制御手段が付加されていることを特徴とする請求項１ないし請求項８のいずれか１項に記載の距離画像センサ。

Images