JP2010071832A

JP2010071832A - 光飛行時間型距離画像センサの制御方法およびそのシステム

Info

Publication number: JP2010071832A
Application number: JP2008240240A
Authority: JP
Inventors: Ryohei Ikeno; 良平池野; Michinori Ichikawa; 道教市川
Original assignee: Stanley Electric Co Ltd
Current assignee: Stanley Electric Co Ltd
Priority date: 2008-09-19
Filing date: 2008-09-19
Publication date: 2010-04-02
Anticipated expiration: 2028-09-19
Also published as: JP5271643B2

Abstract

【課題】明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響が及ばないようにする。
【解決手段】光電変換素子と、光電変換素子ごとに設けられて電荷を蓄積可能な複数の電荷蓄積部と、変調光に同期して電荷を複数の電荷蓄積部に振り分けて蓄積させる振り分け手段と、複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、複数の電荷蓄積部と複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、振り分け手段により複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で制御手段により制御される導通状態を切り替えることにより、変調光による電荷を複数の電荷蓄積部に蓄積させたまま、変調光以外の光による電荷を複数の電荷蓄積部から除去する。
【選択図】図３

Description

本発明は、光飛行時間型距離画像センサの制御方法およびそのシステムに関し、さらに詳細には、１個の固体撮像素子を１画素として構成した光飛行時間型距離画像センサの制御方法およびそのシステムであって、対象物体へ照射した光の反射光を受光することにより光飛行時間計測法（ＴＯＦ：Ｔｉｍｅｏｆｆｌｉｇｈｔ）を用いて光飛行時間を測定し、当該光飛行時間に基づいて当該対象物体までの距離を測定することにより距離画像を生成する光飛行時間型距離画像センサの制御方法およびそのシステムの改良に関し、特に、未知の背景光照明下で使用することのできる電荷振り分け方式を採用した固体撮像素子により画素を構成した光飛行時間型距離画像センサの制御方法およびそのシステムに関する。

ここで、電荷振り分け方式とは、後述するように、２つ以上の電荷蓄積容量を１つの光電変換素子に接続し、高周波で変調した光あるいはパルス発光する光（本明細書においては、「高周波で変調した光」や「パルス発光する光」を総称して「変調光」と称することとする。）をその変調や発光時間に同期して上記２つ以上の電荷蓄積容量に分離蓄積し、一定時間毎に分離蓄積した電荷を読み出して平均化することにより信号雑音比を高め、この分離蓄積した電荷に基づいて得られた信号を用いて距離を算出するという原理を意味するものとする。

一般に、光飛行時間計測法を用いた従来の光飛行時間型距離画像センサとしては、例えば、特許文献１として提示する特開２００１−２８１３３６号公報に開示された距離画像撮像装置、特許文献２として提示する特開２００３−５１９８８号公報に開示された固体撮像素子、特許文献３として提示する特開２００４−２９４４２０号公報に開示された距離画像センサあるいは特許文献４として提示する特開２００５−２３５８９３号公報に開示された光飛行時間型距離センサなどが知られている。

ここで、図１には、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図が示されており、この図１を参照しながら、光飛行時間計測法の原理について説明する。

この図１に示す光飛行時間型距離画像センサ１００は、光源１０２と、同期制御部１０４と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子１０６と、距離画像生成部１０８とを有して構成されている。

なお、図１に示す光飛行時間型距離画像センサ１００においては、説明を簡易化して理解を容易にするために、１個の固体撮像素子１０６を備えるように図示したが、実際の光飛行時間型距離画像センサは、１個の固体撮像素子を１画素として、複数の固体撮像素子が２次元平面上にアレイ状に配置されて構成されている。

また、固体撮像素子１０６のように、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して固体撮像素子を構成する技術は周知であるので、その詳細な説明は省略する。

図１において、符号２００は、光源１０２の発光に伴う光を照射される、光飛行時間型距離画像センサ１００による測定の対象たる対象物体である。

上記した光飛行時間型距離画像センサ１００の光源１０２は、信号光として高周波、例えば、１０ＭＨｚの正弦波もしくは矩形波などで高速に変調された赤外光もしくは可視光などの光である変調光Ｌ１を対象物体２００に照射するものである。

なお、こうした光源１０２としては、例えば、ＬＥＤなどの高速変調が可能なデバイスを用いることができる。

光飛行時間型距離画像センサ１００において、光源１０２によって照射された変調光Ｌ１が対象物体２００に照射されると、対象物体２００に照射された変調光Ｌ１は、対象物体２００の反射率に応じて反射されて、固体撮像素子１０６に入射されることになる。

ここで、固体撮像素子１０６に入射される光たる入射光Ｌ２は、変調光Ｌ１が対象物体２００により反射されることに由来する光（以下、「変調光由来の反射光」を「変調光成分」と適宜に称する。）と、自然光などの外部光源からの光たる背景光が対象物体２００により反射されることに由来する光（以下、「背景光由来の反射光」を「背景光成分」と適宜に称する。）との総和になる。

こうした変調光成分と背景光成分との総和である入射光Ｌ２が固体撮像素子１０６に入射されると、固体撮像素子１０６は入射光Ｌ２を撮像する。

ここで、同期制御部１０４は、光源１０２と固体撮像素子１０６とを同期制御しており、固体撮像素子１０６は同期制御部１０４の同期信号に従って、光源１０２によって照射された変調光Ｌ１の変調と同期させて、入射光Ｌ２による電荷を振り分け手段により光電変換素子ごとに設けられた複数の電荷蓄積部に高速に振り分ける処理などを行う。

そして、距離画像生成部１０８は、固体撮像素子１０６の光電変換素子ごとに設けられた複数の電荷蓄積部に振り分けられた電荷を読み出して、その読み出した結果に基づいて変調光Ｌ１と入射光Ｌ２との位相差を算出し、その算出結果に基づいて距離画像を生成する。

次に、図２には、上記した光飛行時間型距離画像センサ１００の動作原理を説明するためのタイミングチャートとして、変調光Ｌ１と入射光Ｌ２との関係をあらわすタイミングチャートが示されている。

なお、図２に示すタイミングチャートにおいて、縦軸は光源１０２の発光強度ならびに固体撮像素子１０６の受光強度を示し、横軸は時間の経過を示している。

ここで、図２に示すタイミングチャートの符号Ｐ１で示す曲線は、光源１０２における変調光Ｌ１の発光パターンを示しており、変調光Ｌ１が正弦波を用いて変調された例を示している。

また、図２に示すタイミングチャートの符号Ｐ２で示す曲線は、固体撮像素子１０６における入射光Ｌ２の受光パターンを示している。

そして、発光パターンＰ１と受光パターンＰ２との位相差が、変調光Ｌ１が光源１０２から出射されて対象物体２００により反射され、そして固体撮像素子１０６で受光されるまでの飛行時間によって生じる遅延である。

ここで、固体撮像素子１０６は、上記したように、光源１０２から出射される変調光Ｌ１の変調に同期して、複数の電荷蓄積部に電荷を振り分ける動作を行うが、図２に示す例は、光源１０２から出射される変調光Ｌ１の変調の１周期を４期間に分けて、４つの電荷蓄積部に電荷を振り分ける場合をしている。

上記４期間のそれぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４（図２を参照する。）とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、これにより求められる位相差φ（図２を参照する。）は、下記の数式１により求められる。

また、一般的な画像データとして用いる電荷量平均Ａ（図２を参照する。）は、下記の数式２により求められる。

さらに、対象物体２００で反射された変調光Ｌ１に由来する光たる変調光成分の振幅量Ｂ（図２を参照する。）は、下記の数式３により求められる。

なお、一般的に光源１０２として用いる発光源の変調周波数は数十ＭＨｚであり、従って、変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要することとなる。

上記した光飛行時間型距離画像センサ１００のような光飛行時間型距離画像センサにおいては、距離画像と一般的な輝度画像とを同時に得ることができる。

しかしながら、対象物体を撮像する際における背景の明るさは、ほとんどの場合において変化するものであり、蛍光灯などの他光源による背景光や、特に、屋外などで使用する場合は太陽光などの明るい背景光が存在することになる。

距離画像を求めるために発光源（図１における例では、光源１０２である。）から出射される変調光は、これらの明るい背景光に重畳しているが、光飛行時間型距離画像センサの画素を構成する固体撮像素子で変換できる光の量には限界があるため、これらの明るい背景光を受光した電荷蓄積部は飽和を起こし、電荷の振り分け動作が無効になってしまい、変調光と入射光との位相差を算出することができなくなるという問題点があった。

このため、こうした問題点を解決するための手法として、特許文献５として提示する特開２００６−０６７５０３号公報に開示された発明や、特許文献６として提示する特開２００６−０８４４３０号公報に開示された発明が提案されている。

これら特開２００６−０６７５０３号公報に開示された発明や、特開２００６−０８４４３０号公報に開示された発明は、光飛行時間型距離画像センサにより撮像した輝度画像に応じて、露光を制御したり、あるいは、受光時間を制御したりすることにより、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止している。

しかしながら、上記した特開２００６−０６７５０３号公報に開示された発明や、特開２００６−０８４４３０号公報に開示された発明による手法では、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することは可能であるが、蓄積する電荷の量自体を少なくしているため、距離画像を求めるために発光源から出射される変調光による電荷の量も比例して少なくなってしまい、同時に算出する距離画像の距離精度に悪影響を及ぼすことになるという新たな問題点があった。

また、上記した特開２００６−０６７５０３号公報に開示された発明や特開２００６−０８４４３０号公報に開示された発明のように、複数の蓄積時間で撮像した電荷を画素ごとに選択するための構造は非常に複雑であり、製造コストの上昇をもたらすという問題点もあった。

特開２００１−２８１３３６号公報特開２００３−５１９８８号公報特開２００４−２９４４２０号公報特開２００５−２３５８９３号公報特開２００６−０６７５０３号公報特開２００６−０８４４３０号公報

本発明は、従来の技術の有する上記したような種々の問題点に鑑みてなされたものであり、その目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響が及ばないようにした光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。

また、本発明の目的とするところは、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することが可能な光飛行時間型距離画像センサの制御方法およびそのシステムを提供しようとするものである。

上記目的を達成するために、本発明は、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。

また、上記目的を達成するために、本発明は、ある時間に撮像した画像のなかに所定の輝度値の画素があれば、その画素の数に基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。

また、上記目的を達成するために、本発明は、ある時間に撮影した距離画像のヒストグラムを作成し、このヒストグラムに基づいて、固体撮像素子の電荷蓄積部に蓄積される背景光による電荷の割合を制御するようにしたものである。

従って、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光による画素の受光の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがない。

また、こうした本発明によれば、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になる。

即ち、本発明のうち請求項１に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去するようにしたものである。

また、本発明のうち請求項２に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、該カウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。

また、本発明のうち請求項３に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、ある時間に撮像された画像からヒストグラムを作成し、該作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定し、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、上記制御手段により制御される導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を該決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。

また、本発明のうち請求項４に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、上記カウント手段がカウントした画素の数に基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。

また、本発明のうち請求項５に記載の発明は、変調光を含む光を電荷に変換する光電変換素子と、上記光電変換素子ごとに設けられるとともに、上記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、上記変調光に同期して、上記光電変換素子により変換された電荷を上記複数の電荷蓄積部に振り分けて、上記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、上記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、上記複数の電荷蓄積部と上記複数の容量との導通状態を制御する制御手段とを有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、上記ヒストグラム作成手段が作成したヒストグラムに基づいて、上記変調光以外の光による電荷を上記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段とを有し、上記制御手段が、上記振り分け手段により上記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、上記ゲイン調整手段が決定した割合に基づいて、上記導通状態を切り替えることにより、上記変調光による電荷を上記複数の電荷蓄積部に蓄積させたまま、上記変調光以外の光による電荷を上記ゲイン調整手段が決定した割合で上記複数の電荷蓄積部から除去するようにしたものである。

本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、明るい背景光の受光による固体撮像素子の電荷蓄積部の飽和を防止することができるとともに、取得される距離画像の距離精度に悪影響を及ぼすことがないという優れた効果を奏する。

また、本発明は、以上説明したように構成されているので、光飛行時間計測法に用いる電荷振り分け方式の固体撮像素子により画素を構成した光飛行時間型距離画像センサにおいて、製造コストの上昇をもたらすことなく、明るい背景光による画素の受光の飽和を防止することが可能になるという優れた効果を奏する。

以下、添付の図面を参照しながら、本発明による光飛行時間型距離画像センサの制御方法およびそのシステムの実施の形態の一例を詳細に説明するものとする。

なお、以下の説明においては、図１に示す従来の光飛行時間型距離画像センサの構成と同一または相当する構成については、図１において用いた符号と同一の符号を付して示すことにより、その構成ならびに作用の詳細な説明は適宜に省略する。

まず、図３には、本発明の第１の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。

この図３に示す光飛行時間型距離画像センサ１０は、光源１０２と、同期制御部１０４と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子１２と、距離画像生成部１０８と、距離画像生成部１０８により生成された距離画像を構成する画素の中で所定の閾値以上の輝度値をもつ画素をカウント（計数）する画素カウント部１４と、画素カウント部１４の計数結果に基づいて固体撮像素子１２の電荷蓄積部に蓄積される背景光成分による電荷の割合（以下、「固体撮像素子の電荷蓄積部に蓄積される背景光成分による電荷の割合」を「ゲイン」と適宜に称する。）を制御するゲイン制御部１６とを有して構成されている。

なお、図３に示す光飛行時間型距離画像センサ１０においては、図１に示す従来の光飛行時間型距離画像センサ１００と同様に、説明を簡易化して理解を容易にするために、１個の固体撮像素子１２を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、１個の固体撮像素子を１画素として、複数の固体撮像素子が２次元平面上にアレイ状に配置されて構成されている。

ここで、図４には、光飛行時間型距離画像センサ１０の画素として用いる固体撮像素子１２の基本回路の回路図が示されている。

この図４に示す固体撮像素子１２は、本願出願人と同一の出願人により出願された特開２００８−８９３４６号公報に開示された発明と同一の構成を備えている。

即ち、図４に示す固体撮像素子は、特開２００８−８９３４６号公報の図６に開示された固体撮像素子と同一の構成を備えた公知の技術であるので、その詳細な説明については特開２００８−８９３４６号公報の記載をここに援用することとし、本明細書においてはその概要について説明する。

図４に示す固体撮像素子１２において、符号ＰＤは光電変換素子であり、固体撮像素子１０に入射した光は、光電変換素子ＰＤで電荷に変換される。

また、符号Ｍ１、Ｍ２は、それぞれ符号Ｔｘ１、Ｔｘ２で示すゲート信号により電荷を振り分けるゲートたるＦＥＴスイッチであり、ＦＥＴスイッチＭ１、Ｍ２の駆動により、電荷蓄積部Ｆｄ１、Ｆｄ２に、変調光に同期して電荷を振り分ける。

さらに、符号Ｍ３、Ｍ４、Ｍ５、Ｍ６、Ｍ７、Ｍ８、Ｍ９、Ｍ１０は、ゲート信号Ｇ１、Ｇ２により駆動され、電荷蓄積部Ｆｄ１、Ｆｄ２の電荷を、符号Ｃ１、Ｃ２で示す電荷を蓄積する容量に振り分ける。

図５には、上記した図４に示す固体撮像素子１２を制御するタイミングをあらわすタイミングチャートが示されている。

ゲート信号Ｔｘ１、Ｔｘ２は、同期制御部１０４の同期信号に従ってオン（ＯＮ）／オフ（ＯＦＦ）制御され、光源１０２によって照射された変調光Ｌ１の変調と同期させて、入射光Ｌ２による電荷を振り分ける。

この際に、入射光Ｌ２のなかの変調光Ｌ１由来の反射光たる変調光成分の電荷は、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とへ位相に応じた量が振り分けられるため、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とでは蓄積する電荷の量が異なるが、入射光Ｌ２のなかの背景光由来の反射光たる背景光成分の電荷は、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とへ均等に振り分けられ、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とでは蓄積する電荷の量は一致する。

なお、本明細書においては、上記した「電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに電荷を振り分けて蓄積する時間」を「光蓄積時間」と適宜に称する。

さらに、ゲート信号Ｇ１をオンするとともにゲート信号Ｇ２をオフした状態を正接続期間とすると、光蓄積時間における正接続期間では、電荷蓄積部Ｆｄ１の電荷は、図４における容量Ｃ１の左端へ、また、電荷蓄積部Ｆｄ２の電荷は、図４における容量Ｃ２の右端に移動する。

ここで、ゲート信号Ｇ１をオフするとともにゲート信号Ｇ２をオンさせる。この状態を反転接続期間とすると、この光蓄積時間における反転接続期間では、電荷蓄積部Ｆｄ１の電荷は、図４における容量Ｃ２の左端へ、また、電荷蓄積部Ｆｄ２の電荷は、図４における容量Ｃ１の右端に蓄積し、正接続期間にたまった電荷を打ち消す働きをする。

より詳細には、最初に、ゲート信号Ｔｘ１、Ｔｘ２、Ｇ１、Ｇ２の全てをオンにする。この最初に全てのゲート信号Ｔｘ１、Ｔｘ２、Ｇ１、Ｇ２をオンする時間を、リセット期間Ｒと称することとする。

このリセット期間Ｒにおいては、ＦＥＴスイッチＭ１〜Ｍ１０の全てが接続されるので、電荷蓄積部Ｆｄ１、Ｆｄ２の端子はＶｄｄ電位と等しくなる。また、光電変換素子ＰＤの電位は、ゲート信号Ｔｘ１、Ｔｘ２の電圧に従ったポテンシャルにリセットされ、容量Ｃ１、Ｃ２は、放電した状態にリセットされる。

なお、上記した各リセットは、光飛行時間型センサ１０の各画素の属するラインの画面の読み出しの最初に行うものである。

上記したリセットを終了すると、次回にリセットするまで、光電変換素子ＰＤが光を受光することにより発生した光電子の電荷を変調光Ｌ１に同期して振り分け蓄積するため、高速なパルス信号たるゲート信号Ｔｘ１、Ｔｘ２を印加し、また、正接続期間と反転接続期間とが交互に存在するようにゲート信号Ｇ１、Ｇ２を印加する。

なお、正接続期間および反転接続期間は等しい時間であり、ゲート信号Ｔｘ１、Ｔｘ２による高速パルスの整数倍の時間とする。

図６には、上記した操作で変調光成分を残したまま、背景光を除去する様子をあらわした図が示されている。

なお、図６におけるΔＱＦＤ１は、正接続期間に電荷蓄積部Ｆｄ１に対して流入した電荷を表し、また、図６におけるΔＱＦＤ２は、正接続期間に電荷蓄積部Ｆｄ２に流入した電荷を表す。

正接続期間と反転接続期間とを等しい時間にすると、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに等しく蓄積した背景光成分は相殺されるが、変調光成分は電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに位相に応じた比率で蓄積しているため、容量Ｃ１と容量Ｃ２とには電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２との差分成分だけが残ることになる。

本発明による光飛行時間型距離画像センサの制御方法は、上記したように、固体撮像素子１２の容量Ｃ１と容量Ｃ２とには電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２との差分成分だけが残ることに鑑みて、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに蓄積される背景光成分の割合たるゲインを任意の値に設定することにより、変調光成分は残したままで、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに蓄積される背景光成分を任意の割合で削減することを可能にしたものである。

次に、本発明による光飛行時間型距離画像センサの制御方法について、図７を参照しながら説明する。

図７において、符号Ｔ１で示す期間は正接続期間であり、符号Ｔ２で示す期間は反転接続期間であるが、正接続期間Ｔ１と反転接続期間Ｔ２との時間間隔が図７に示すものとなるようにゲート信号Ｇ１、Ｇ２を印加することにより、図５に示す場合におけると比較すると、電荷蓄積部Ｆｄ１と電荷蓄積部Ｆｄ２とに蓄積される背景光成分による電荷を１／２、即ち、半分に削減することができる。

具体的には、図７に場合においては、最初の正接続期間Ｔ１と最初の正接続期間Ｔ１に続く反転接続期間Ｔ２とは等しい時間間隔であるが、当該反転接続期間Ｔ２に続く正接続期間Ｔ１は、当該反転接続期間Ｔ２の２倍の時間間隔であり、反転接続期間を設けない時のゲインを１とすると、そのゲインを「０．５」にすることができる。

つまり、図７に示す例は、背景光成分のゲインを０．５としたときのゲート信号Ｇ１、Ｇ２の駆動の様子を示すものであり、最初の正接続期間Ｔ１の期間に蓄積した背景光成分の電荷は、反転接続期間Ｔ２の期間で相殺され、２回目の正接続期間Ｔ１の期間に蓄積された背景光成分の電荷のみが残ることになる。このとき、「Ｔ１：Ｔ２＝３：１」である。

このようにすると、蓄積する背景光成分の電荷は２分の１になるが、上記したように、変調光成分の電荷は相殺されずにそのまま残る。

これにより、距離画像の距離精度に関係する変調光成分の電荷を減らすことなく、背景光成分のダイナミックレンジを上げることができるものである。

また、図８には、他のゲインの例として、背景光成分のゲインを０．２５としたときのゲート信号Ｇ１、Ｇ２の駆動の様子が示されている。このとき、「Ｔ１：Ｔ２＝５：３」である。

ここで、あるゲインｇに設定するときの正接続期間Ｔ１と反転接続期間Ｔ２との比は、下記の数式４で求められる。

なお、上記した図７や図８に示す駆動方法はあくまで一例であり、Ｔ１：Ｔ２の比が変わらなければ、電荷蓄積部Ｆｄ１、Ｆｄ２が飽和しない限り、どのようなタイミングでゲート信号Ｇ１、Ｇ２を制御してもよい。

上記したようにゲート信号Ｇ１、Ｇ２を任意の時間比で切り替え制御することにより、変調光成分の電荷は電荷蓄積部Ｆｄ１、Ｆｄ２に残したままで、背景光成分の電荷のみを電荷蓄積部Ｆｄ１、Ｆｄ２から減少させることができることになる。

そして、図３に示す光飛行時間型距離画像センサ１０は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部１０８によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。

なお、この図３に示す光飛行時間型距離画像センサ１０において、距離画像生成部１０８によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ１００と同様であるので、その詳細な説明は省略する。

ここで、図９には、光飛行時間型距離画像センサ１０においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。

このゲイン制御ルーチンは、光飛行時間型距離画像センサ１０により距離画像を取得する動作が起動されると、その動作中においては所定の時間間隔（例えば、３０分の１秒毎である。）で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。

即ち、光飛行時間型距離画像センサ１０により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、画素カウント部１４は、距離画像生成部１０８が生成した距離画像を取得し（ステップＳ９０２）、取得した距離画像の画素の中から第１の閾値として設定された所定の輝度値（例えば、輝度値が０〜２５５の時、２４０である。）以上の画素の数を計数（カウント）する（ステップＳ９０４）。

上記したステップＳ９０４の処理を終了すると、ステップＳ９０６の処理へ進み、ゲイン制御部１６は、ステップＳ９０４の処理でカウントした画素の数が第１の所定値以上（例えば、全画素の１０％以上である。）であるか否かを判断する。

このステップＳ９０６の判断処理において、ステップＳ９０４の処理でカウントした画素の数が第１の所定値以上ではないと判断された場合には、ステップＳ９０７の処理へ進み、取得した距離画像の画素の中から第２の閾値として設定された所定の輝度値（例えば、輝度値が０〜２５５の時、１５である。）以下の画素の数を計数（カウント）する。

上記したステップＳ９０７の処理を終了すると、ステップＳ９０８の処理へ進み、ゲイン制御部１６は、ステップＳ９０７の処理でカウントした画素の数が第２の所定値以上（例えば、全画素の１０％以上）であるか否かを判断する。

このステップＳ９０８の判断処理において、ステップＳ９０７の処理でカウントした画素の数が第２の所定値以上ではないと判断された場合には、ステップＳ９１０の処理へ進み、ゲインの変更は行わない。

一方、ステップＳ９０８の判断処理において、ステップＳ９０７の処理でカウントした画素の数が第２の所定値以上であると判断された場合には、ステップＳ９１２の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。

なお、このステップＳ９１２の処理でゲインを上げる際には、例えば、０．０５だけゲインを上げるようにする。

また、ステップＳ９０６の判断処理において、ステップＳ９０４の処理でカウントした画素の数が第１の所定値以上であると判断された場合には、ステップＳ９１４の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。

なお、このステップＳ９１４の処理でゲインを下げる際には、例えば、０．０５だけゲインを下げるようにする。

そして、上記したステップＳ９１０、ステップＳ９１２あるいはステップＳ９１４の処理を終了すると、これによりゲインの調整の処理を完了し（ステップＳ９１６）、このゲイン制御ルーチンを終了して、次のゲイン制御ルーチンの起動を待つ。

従って、上記した光飛行時間型距離画像センサ１０においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部１０８によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。

次に、図１０には、本発明の第２の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図が示されている。

この図１０に示す光飛行時間型距離画像センサ２０は、光源１０２と、同期制御部１０４と、光を電荷に変換する光電変換素子と該光電変換素子ごとに設けられた複数の電荷蓄積部と該複数の電荷蓄積部に電荷を振り分ける振り分け手段とを有して構成された電荷振り分け方式による固体撮像素子１２（上記した光飛行時間型距離画像センサ１０における固体撮像素子１２と同一の構成ならびに作用を備える。）と、距離画像生成部１０８と、距離画像生成部１０８により生成された距離画像のヒストグラムを作成するヒストグラム作成部２２と、ヒストグラム作成部２２によって作成されたヒストグラムに基づいて固体撮像素子１２の電荷蓄積部に蓄積される背景光成分の電荷の割合たるゲインを制御するゲイン制御部１６とを有して構成されている。

なお、図１０に示す光飛行時間型距離画像センサ２０においては、図３に示す光飛行時間型距離画像センサ１０と同様に、説明を簡易化して理解を容易にするために、１個の固体撮像素子１２を備えるように図示したが、実際の光飛行時間型距離画像センサにおいては、１個の固体撮像素子を１画素として、複数の固体撮像素子が２次元平面上にアレイ状に配置されて構成されている。

また、ヒストグラムとは、画像における輝度（明るさ）の分布をグラフ表示したものであり、どの明るさの画素が、どれだけ存在するかをあわらすものである。

そして、この図１０に示す光飛行時間型距離画像センサ２０は、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部１０８によって生成された距離画像に応じて、上記したゲインを自動的に可変する制御システムを備えたている。

なお、この図１０に示す光飛行時間型距離画像センサ２０において、距離画像生成部１０８によって距離画像を生成する際の処理については、「背景技術」の項において説明した光飛行時間型距離画像センサ１００と同様であるので、その詳細な説明は省略する。

ここで、図１１には、光飛行時間型距離画像センサ２０においてゲインを自動的に可変する制御の処理ルーチンたるゲイン制御ルーチンのフローチャートが示されている。

このゲイン制御ルーチンは、光飛行時間型距離画像センサ２０により距離画像を取得する動作の起動されると、その動作中においては所定の時間間隔（例えば、３０分の１秒毎である。）で繰り返し起動されて実行され、ゲインの調整が自動的に行われる。

即ち、光飛行時間型距離画像センサ２０により距離画像を取得する動作が起動されて、その動作中において所定の時間間隔でゲイン制御ルーチンが起動されると、ヒストグラム作成部２２は、距離画像生成部１０８が生成した距離画像を取得し（ステップＳ１００２）、取得した距離画像のヒストグラムを作成する（ステップＳ１００４）。

上記したステップＳ１００４の処理を終了すると、ステップＳ１００６の処理へ進み、ゲイン制御部２４は、ステップＳ１００４の処理で取得したヒストグラムが第１の規定値（例えば、標準偏差が１５以内で、かつ、輝度値の平均が２００以上である。）より明るいか否かを判断する。

このステップＳ１００６の判断処理において、ステップＳ１００４の処理で取得したヒストグラムが第１の規定値より明るくないと判断された場合には、ステップＳ１００８の処理へ進み、ステップＳ１００４の処理で取得したヒストグラムが第２の規定値（例えば、標準偏差が１５以下で、かつ、輝度値の平均が５５以下である。）より暗いか否かを判断する。

このステップＳ１００８の判断処理において、ステップＳ１００４の処理で取得したヒストグラムが第２の規定値より暗くないと判断された場合には、ステップＳ１０１０の処理へ進み、ゲインの変更は行わない。

一方、ステップＳ１００８の判断処理において、ステップＳ１００４の処理で取得したヒストグラムが第２の規定値より暗いと判断された場合には、ステップＳ１０１２の処理へ進み、ゲインを上げるようにしてゲインの変更を行う。

なお、このステップＳ１０１２の処理でゲインを上げる際には、例えば、０．０５だけゲインを上げるようにする。

また、ステップＳ１００６の判断処理において、ステップＳ１００４の処理で取得したヒストグラムが第１の規定値より明るいと判断された場合には、ステップＳ１０１４の処理へ進み、ゲインを下げるようにしてゲインの変更を行う。

なお、このステップＳ１０１４の処理でゲインを下げる際には、例えば、０．０５だけゲインを下げるようにする。

そして、上記したステップＳ１０１０、ステップＳ１０１２あるいはステップＳ１０１４の処理を終了すると、これによりゲインの調整の処理を完了し（ステップＳ１０１６）、このゲイン制御ルーチンを終了し、次のゲイン制御ルーチンの起動を待つ。

従って、上記した光飛行時間型距離画像センサ２０においては、上記において説明した本発明による光飛行時間型距離画像センサの制御方法により、距離画像生成部１０８によって生成された距離画像に応じて、上記したゲインを自動的に可変することができることになる。

以上において説明したように、上記した本発明による第１の実施の形態ならびに第２の実施の形態によれば、距離画像を求めるのに必要な変調光成分による電荷を残したままで、背景光成分の電荷を任意の量だけ除去できるため、距離画像の距離精度を落とすことなく、ダイナミックレンジの広い輝度画像を同時に得ることができるようになる。

なお、上記した実施の形態は、以下の（１）乃至（４）に示すように変形することができるものである。

（１）上記した第１の実施の形態ならびに第２の実施の形態において、ゲイン制御ルーチンは、所定の時間間隔で繰り返し起動して実行されることに限られるものではなく、光飛行時間型距離画像センサ１０、２０のユーザーが、任意のタイミングで起動して実行させるようにしてもよい。

（２）上記した第１の実施の形態において、第１の所定値と第２の所定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。

（３）上記した第２の実施の形態において、第１の規定値と第２の規定値とは、互いに異なる値でもよいし、あるいは、同一の値でもよい。

（４）上記した実施の形態ならびに上記した（１）乃至（３）に示す変形例は、適宜に組み合わせるようにしてもよい。

本発明は、自動車などに搭載して、障害物までの距離を測定する光飛行時間型距離画像センサなどに利用することができるものである。

図１は、従来より周知の一般的な光飛行時間型距離画像センサのブロック構成説明図である。図２は、図１に示す光飛行時間型距離画像センサの動作原理を説明するためのタイミングチャートたる変調光Ｌ１と入射光Ｌ２との関係をあらわすタイミングチャートである。図３は、本発明の第１の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。図４は、図３に示す光飛行時間型距離画像センサの画素として用いる固体撮像素子の基本回路の回路図である。図５は、図４に示す固体撮像素子を制御するタイミングをあらわすタイミングチャートである。図６は、図４に示す固体撮像素子において、変調光成分を残したまま背景光を除去する様子をあらわしたタイミングチャートである。図７は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを０．５としたときのゲート信号Ｇ１、Ｇ２の駆動の様子を示すタイミングチャートである。図８は、本発明による光飛行時間型距離画像センサの制御方法の説明図であり、背景光成分のゲインを０．２５としたときのゲート信号Ｇ１、Ｇ２の駆動の様子を示すタイミングチャートである。図９は、図３に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。図１０は、本発明の第２の実施の形態による光飛行時間型距離画像センサの制御方法を実施する光飛行時間型距離画像センサのブロック構成説明図である。図１１は、図１０に示す光飛行時間型距離画像センサにおいてゲインを自動的に可変する制御する処理ルーチンたるゲイン制御ルーチンのフローチャートである。

符号の説明

１０、２０、１００光飛行時間型距離画像
１２、１０６固体撮像素子
１４画素カウント部
１６、２４ゲイン制御部
２２ヒストグラム生成部
１０２光源
１０４同期制御部
１０８距離画像生成部
２００対象物体

Claims

変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、住意の時間配分で前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントし、
該カウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御方法。
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御方法であって、
ある時間に撮像された画像からヒストグラムを作成し、
該作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定し、
前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、該決定した割合に基づいて、前記制御手段により制御される導通状態を切り替えることにより、前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を該決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御方法。
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像から所定の輝度値の画素の数をカウントするカウント手段と、
前記カウント手段がカウントした画素の数に基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする光飛行時間型距離画像センサの制御システム。
変調光を含む光を電荷に変換する光電変換素子と、
前記光電変換素子ごとに設けられるとともに、前記光電変換素子により変換された電荷を蓄積可能な複数の電荷蓄積部と、
前記変調光に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分けて、前記複数の電荷蓄積部に電荷を蓄積させる振り分け手段と、
前記複数の電荷蓄積部とそれぞれ導通可能な複数の容量と、
前記複数の電荷蓄積部と前記複数の容量との導通状態を制御する制御手段と
を有する固体撮像素子により、画素を構成した光飛行時間型距離画像センサの制御システムであって、
ある時間に撮像された画像からヒストグラムを作成するヒストグラム作成手段と、
前記ヒストグラム作成手段が作成したヒストグラムに基づいて、前記変調光以外の光による電荷を前記複数の電荷蓄積部から除去する割合を決定するゲイン調整手段と
を有し、
前記制御手段が、前記振り分け手段により前記複数の電荷蓄積部に電荷を振り分ける光蓄積時間において、前記ゲイン調整手段が決定した割合に基づいて、前記導通状態を切り替えることにより、
前記変調光による電荷を前記複数の電荷蓄積部に蓄積させたまま、前記変調光以外の光による電荷を前記ゲイン調整手段が決定した割合で前記複数の電荷蓄積部から除去する
ことを特徴とする固体撮像素子の制御システム。