JP2014178244A - 距離画像生成装置および距離画像生成方法 - Google Patents

Abstract

【課題】光飛行時間型距離画像センサを用いて距離画像生成する際、センサ自体の物理的な構成は変えずにフレアによる影響を排除することにより、低コストで、精度よく距離値を算出する。
【解決手段】本発明は、フレアのない理想的な環境で測定した入射光波形を特定する電荷量比を基準電荷量比として保持し、測定結果から得た電荷量比と比較し、フレアの有無を判別する。フレアがある場合、比較結果、測定結果を用い、フレアの電荷量を特定し、その後の測定結果からフレアの電荷量を取り除く。
【選択図】図３

Description

本発明は、光飛行時間型距離画像センサを用いた距離画像生成技術に関し、特に、フレア現象の影響を補正する技術に関する。

光飛行型距離画像センサを用いて、撮影対象空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行時間型(ＴＯＦ方式：Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ方式)距離画像センサでは、画素毎に受光した反射光を元に距離値を算出する。しかし、レンズの解像力などの性能により、本来結像する画素以外の画素に反射光が回りこむフレア現象(以下、単にフレアと呼ぶ。)が発生することがある。フレアが発生すると、画素に入射する反射光は、近距離の物体のものからが支配的となり、算出される距離値も、本来の距離値とは異なった値が算出される。

これを解決するものとして、レンズへの反射防止膜の塗布、回り込んだ反射光を入射させないよう画素自体に回り込み防止壁をつける、等の工夫がなされている(例えば、特許文献１参照)。

特開２０１２−２６８３８号公報

しかしながら、上述のような距離画像センサの物理的構造に対する工夫でフレアに対処する場合、コストが高くなる。さらに、画素に回り込み防止壁を作ると、入射光量が制限され、測定精度が低下する。

本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いて距離画像生成する際、センサ自体の物理的な構成は変えずにフレアによる影響を排除することにより、低コストで、精度よく距離値を算出する技術を提供することを目的とする。

本発明は、フレアのない理想的な環境で測定した入射光波形を特定する電荷量比を基準電荷量比として保持し、測定結果から得た電荷量比と比較し、フレアの有無を判別する。フレアがある場合、比較結果、測定結果を用い、フレアの電荷量を特定し、その後の測定結果からフレアの電荷量を取り除く。

具体的には、発光源から照射され、対象空間内の対象物で反射した反射光を含む入射光を受光して受光光量に応じた電荷に変換する光電変換部と、前記光電変換部毎に設けられた、当該光電変換部で変換した電荷を予め定められたタイミングで振り分けてそれぞれ蓄積する３つ以上の電荷蓄積部と、前記電荷蓄積部に蓄積された電荷量から、フレアによる電荷量であるフレア補正値を算出する補正値算出部と、前記フレア補正値を用い、前記電荷蓄積部に蓄積された電荷量から前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正部と、前記対象物電荷量から距離画像を生成する距離画像生成部と、理想的な環境で前記対象物を測定して得た、前記対象物からの反射光の波形を特定する電荷量比を、基準電荷量比として保持する基準電荷量比保持部と、を備え、前記補正値算出部は、前記電荷蓄積部に蓄積された電荷量から前記入射光の波形を特定する電荷量比を算出し、前記蓄積された電荷量と前記電荷量比と前記基準電荷量比とを用いて、前記フレア補正値を算出することを特徴とする距離画像生成装置を提供する。

また、発光源から照射され、対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換ステップと、予め定めた補正用電荷取得期間、前記光電変換ステップで変換された電荷を、予め定められたタイミングで、３つ以上の電荷蓄積部にそれぞれ振り分けて蓄積する補正用電荷蓄積ステップと、前記補正用電荷蓄積ステップで得た電荷の電荷量から、フレアによる電荷量であるフレア補正値を算出する補正値算出ステップと、予め定めた画像用電荷取得期間、前記光電変換ステップで変換された電荷を、予め定めたタイミングで、３つ以上の前記電荷蓄積部にそれぞれ振り分けて蓄積する画像用電荷蓄積ステップと、前記画像用電荷蓄積ステップで得た電荷の電荷量から、前記フレア補正値を減算し、前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正ステップと、前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成ステップと、を備えることを特徴とする距離画像生成方法を提供する。

本発明によれば、光飛行時間型距離画像センサを用いて距離画像生成する際、センサ自体の物理的な構成は変えず、低コストで、精度よく距離値を算出できる。

光飛行時間型距離画像センサによる距離画像生成の原理を説明するための説明図である。 (ａ)は、本発明の実施形態の入射光波形を説明するための説明図であり、(ｂ)は、本発明の実施形態の、入射光波形と各電荷蓄積部に蓄積される電荷量との関係を説明するための説明図である。 本発明の実施形態の電荷量分割の概要を説明するための説明図である。 本発明の実施形態の距離画像生成装置のブロック図である。 本発明の実施形態の制御信号タイミングと各電荷蓄積部に蓄積される電荷量との関係を説明するための説明図である。 本発明の実施形態の、電荷取得期間に応じた変調信号とゲート信号との関係を説明するための説明図である。 本発明の実施形態の補正値算出部の機能ブロック図である。 本発明の実施形態の基準電荷量を説明するための説明図である。 本発明の実施形態の基準電荷量を取得する処理を説明するための説明図である。 本発明の実施形態の基準電荷量を取得する処理を説明するための説明図である。 本発明の実施形態の補正情報を説明するための説明図である。 本発明の実施形態の補正値算出処理のフローチャートである。 本発明の実施形態の距離画像取得処理のフローチャートである。

以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

まず、光飛行時間型(ＴＯＦ方式)の距離画像生成装置における距離画像生成の原理を説明する。図１は、距離画像生成の原理を説明するための図である。出射される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、入射光１１２の強度も同様に正弦曲線を描くよう変化する。ただし、変調光１１１と入射光１１２とには、光が対象物まで往復する飛行時間による位相の遅延(位相差φ)が生じる。

光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式(１)で求めることができる。

従って、位相差φがわかれば、距離値Ｄは求めることができる。例えば、変調光の１周期Ｔｐを４等分し、それぞれの期間に電荷量を、それぞれ、４つの電荷蓄積部に蓄積するものとする。変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴｑ(Ｔ１、Ｔ２、Ｔ３、Ｔ４)とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式(２)で表される。

なお、１周期Ｔｐを４等分した各期間Ｔｑ(Ｔ１、Ｔ２、Ｔ３、Ｔ４)は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。

変調光１１１の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度となる。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。距離画像生成装置は、この電荷蓄積時間Ｔｆ間隔で蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式(２)に従って位相差φを求める。そして、求めた位相差φを用いて、式(１)に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。

なお、電荷蓄積時間Ｔｆ間隔毎に得られる１枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Ｔｆを、１フレーム時間Ｔｆと呼ぶ。

ＴＯＦ方式の距離画像生成装置では、パルス光の対象物からの反射光である入射光１１２の位相差により距離値を算出するため、受光する入射光１１２の波形(入射光波形)は、物体までの距離によらず同一である。フレア発生時の入射光波形ＷＦは、図２(ａ)のように、フレアによる強い光(近距離物体からの反射光)の波形ＷＡと、本来の測定対象物からの反射光の波形ＷＢとを合成した形となる。従って、本来の測定対象物からの反射光の波形ＷＢは、入射光波形ＷＦから、フレアによる光の波形ＷＡを減算したものである。

また、各電荷蓄積部に蓄積される電荷量は、入射光波形ＷＦの積分値に比例する。従って、入射光波形ＷＦは、各電荷蓄積部に蓄積される電荷量間の比で表される。なお、各電荷蓄積部に蓄積される電荷量は、電荷を振り分ける際に用いるゲート信号のタイミングと、入射光１１２の飛行時間とによって決定する。ただし、通常、ゲート信号のタイミングは、照射する光の発光周期と同期しているため、各電荷蓄積部に蓄積される電荷量は、入射光の飛行時間によってのみ決定する。

図２(ｂ)に、入射光波形ＷＦと各電荷蓄積部に蓄積される電荷量との関係を示す。本図に示すように、フレア発生時の各電荷蓄積部の電荷量(Ｑ１、Ｑ２、Ｑ３、Ｑ４)は、近距離物体からの反射光(フレアによる光る)の波形ＷＡに対応する電荷量(Ｆ１、Ｆ２、Ｆ３、Ｆ４)と、本来の測定対象物からの反射光の波形ＷＢに対応した電荷量(Ｒ１、Ｒ２、Ｒ３、Ｒ４)との和となる。

すなわち、Ｑ１＝Ｆ１＋Ｒ１、Ｑ２＝Ｆ２＋Ｒ２、Ｑ３＝Ｆ３＋Ｒ３、Ｑ４＝Ｆ４＋Ｒ４である。

図２(ｂ)からわかるように、測定対象物までの距離により、また、フレアの有無により、各電荷蓄積部に蓄積される電荷の分布は異なる。また、上述のように、入射光波形は、各電荷蓄積部に蓄積された電荷量間の比によって表される。

本実施形態では、所定の時間間隔毎に受光する電荷量の比により、入射光１１２の波形を特定する。このとき、図３に示すように、各電荷蓄積部への蓄積期間Ｔｑを、さらに、複数等分し、各々の期間ｔｓ間に蓄積された電荷量を用い、入射光１１２の波形を特定する。

そして、同じｔｓ間隔で予め測定しておいた基準の電荷量比(以下、基準電荷量比と呼ぶ。)と比較することにより、フレアの有無を判別し、フレア有りと判別された場合、基準電荷量比を用いてフレアによる電荷量を特定する。そして、特定されたフレアによる電荷量を測定結果から減算することにより、フレアによる影響を除去する。

これを実現する、本実施形態の距離画像生成装置を説明する。図４は、本実施形態の距離画像生成装置１００のブロック図である。図４に示すように、距離画像生成装置１００は、照射される変調光１１１と入射光１１２との位相差を用いて距離画像を生成するもので、光源部１１０と、光電変換部１２０と、電荷振分部１３０と、制御部１４０と、電荷蓄積部１５０と、補正値算出部１６０と、フレア補正部１７０と、距離画像生成部１８０と、を備える。また、距離画像生成装置１００は、理想的な環境で測定した対象物(測定対象物)１１３からの反射光の電荷量比である基準電荷量比を保持する基準電荷量比保持部１９０をさらに備える。

なお、本実施形態の距離画像生成装置１００は、ＣＰＵと、メモリと、記憶装置とを備える。電荷振分部１３０、制御部１４０、補正値算出部１６０、フレア補正部１７０、距離画像生成部１８０は、ＣＰＵが、予め記憶装置に格納されたプログラムを、メモリにロードして実行することにより実現される。また、基準電荷量比保持部１９０は、記憶装置またはメモリに構築される。

光源１１０は、対象空間に変調光(例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光)１１１を照射する発光源である。光源１１０には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。

光電変換部１２０は、光源部１１０から照射された変調光１１１が対象空間内の対象物１１３で反射された反射光を含む入射光１１２を受光し、電荷に変換する。この光電変換部１２０の前には、レンズが配置される。また、光電変換部１２０は、受光量に応じた電荷に変換する複数の光電変換素子を備える。この光電変換素子が画素を形成する。このため、各光電変換素子は、距離画像の各画素に対応づけて規則的に配列される。

電荷振分部１３０は、後述する制御部１４０の制御に従って、光電変換部１２０が変換した電荷を後述する電荷蓄積部１５０に振り分ける。振り分けは、光電変換素子毎に行う。

電荷蓄積部１５０は、電荷振分部１３０が振り分けた電荷を蓄積する。距離情報である変調光１１１と入射光１１２との位相差は、電荷蓄積部１５０に蓄積された電荷を用いて上記式(１)および式(２)により算出する。この位相差を算出するためには、少なくとも３つ以上の位相情報(電荷蓄積部に蓄積された電荷)が必要である。このため、電荷蓄積部１５０は、光電変換素子毎に、少なくとも３つ以上設けられる。１組の電荷蓄積部１５００は、画素(光電変換素子)毎に設けられる。なお、電荷蓄積部１５０には、電荷そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。以下、本実施形態では、電荷そのものも、ＡＤ変換後のデータも、特に区別することなく電荷蓄積部１５０に蓄積されるものを電荷と呼ぶ。

以下、本実施形態では、具体例は、この電荷蓄積部１５０を４つとして説明する。これらの４つの電荷蓄積部１５０を区別する必要がある場合は、それぞれ、１５１、１５２、１５３、１５４とする。この４つ１組の電荷蓄積部１５０が、画素毎に設けられる。

制御部１４０は、光源部１１０と電荷振分部１３０とを同期制御する。制御は、図５に示すように、変調信号３１０およびゲート信号３２０を生成し、それぞれ、光源部１１０および電荷振分部１３０に送信することにより行う。なお、変調信号３１０とゲート信号３２０とを合わせて制御信号と呼ぶ。

具体的には、制御部１４０は、変調信号３１０を生成し、光源部１１０に送る。光源部１１０は、変調信号３１０により変調された変調光１１１を生成し、対象空間に照射する。照射された変調光１１１は、対象物１１３により反射され、反射光となる。反射光は、入射光１１２として光電変換部１２０に入射し、電荷に変換されて電荷振分部１３０に送られる。また、制御部１４０は、ゲート信号３２０を生成し、電荷振分部１３０に送る。電荷振分部１３０は、ゲート信号３２０に応じて各電荷蓄積部１５０(１５１、１５２、１５３、１５４)に電荷を振り分ける。

本実施形態では、図６に示すように、距離画像を生成する電荷を電荷蓄積部１５０に蓄積する画像用電荷取得期間４１０と、後述する補正値算出に用いる電荷を取得する補正用電荷取得期間４２０との２種の期間を設ける。画像用電荷取得期間４１０では、変調信号３１０とゲート信号３２０とは、立ち上がりタイミングを合致させる。一方、補正用電荷取得期間４２０では、変調信号３１０とゲート信号３２０との立ち上がりタイミングを、予め定めた態様でずらして出力する。

制御部１４０は、予め定めたシーケンスに従って、画像用電荷取得期間４１０の制御信号の出力と、補正用電荷取得期間４２０の制御信号の出力とを実行する。このとき、補正用電荷取得期間４２０の制御信号出力開始とともに、補正値算出部１６０に処理を開始するよう指示を行う。一方、画像用電荷取得期間４１０の制御信号出力開始とともに、フレア補正部１７０に処理を開始するよう指示を行う。

補正用電荷取得期間４２０は、例えば、１フレーム時間Ｔｆ分の画像用電荷取得期間４１０ごとに挿入される。しかしながら、補正用電荷取得期間４２０の挿入タイミングは、これに限られない。複数フレーム時間分の画像用電荷取得期間４１０ごとに挿入されてもよい。補正用電荷取得期間４２０の制御信号出力の詳細については、後述する。

なお、補正用電荷取得期間４２０において、両信号の立ち上がりタイミングをずらす場合、いずれの信号をずらしてもよい。以下、本実施形態では、変調信号３１０は、画像用電荷取得期間４１０および補正用電荷取得期間４２０を問わず、一定の周期で出力し続け、ゲート信号３２０側の出力タイミングを、補正用電荷取得期間４２０中、変更する場合を例にあげて説明する。

基準電荷量比保持部１９０は、フレアの影響のない、本来の入射光波形を特定する電荷量比を基準電荷量比として保持する。基準電荷量比は、予め、理想的な環境で測定した電荷量を用い、作成する。基準電荷量比は、上述のように、測定した電荷量を、期間ｔｓ間隔の電荷量(基準電荷量)に分割し、その中の予め定めた基準電荷量(第一基準電荷量)に対する、他の基準電荷量の比として求める。基準電荷量比の作成手法は、後述する。ここでは、第一基準電荷量は、０以外の基準電荷量であって、時間的に最も早いものを用いる。以後、ｔｓを分割間隔と呼ぶ。なお、基準電荷量比は、画素毎に算出され、保持される。

補正値算出部１６０は、補正用電荷取得期間４２０の間に各電荷蓄積部１５０に蓄積された電荷量(補正電荷量)を用いて、フレア補正値を算出する。これを実現するため、補正値算出部１６０は、図７に示すように、電荷量比算出部１６１と、判別部１６２と、フレア補正値算出部１６３とを備える。また、算出したフレア補正値を保持するフレア補正値保持部１６４を備える。なお、補正値算出部１６０は、フレア補正値の算出を、制御部１４０からの指示に従って、行う。

電荷量比算出部１６１は、補正用電荷取得期間４２０の間に取得された電荷から、当該期間の入射光の波形を特定する電荷量比を算出する。具体的には、補正用電荷取得期間４２０の間に蓄積された電荷量を、基準電荷量と同様に分割間隔ｔｓ毎の電荷量(補正電荷量)に分割し、その中の、予め定めた補正電荷量に対する、他の補正電荷量の比として、補正電荷量比を求める。補正電荷量比を求める際の基準とする補正電荷量は、基準電荷量比作成の際に基準とした電荷量と同様とする。すなわち、ここでは、０以外の補正電荷量であって、時間的に最も早いものを用いる。

さらに、電荷量比算出部１６１は、変調信号３１０の立ち上がりタイミングから、基準とする補正電荷量の取得時間までの期間である、遅延時間ｔ０を特定する。そして、補正電荷量と、補正電荷量比と、遅延時間ｔ０と、補正情報として判別部１６２とフレア補正値算出部１６３とへ出力する。なお、電荷量比算出部１６１による補正電荷量比算出処理の詳細は後述する。

判別部１６２は、補正電荷量比と基準電荷量比とを比較し、両者の一致不一致を判別し、フレアの影響の有無を特定する。両者の全電荷量比が一致した場合、フレアの影響は受けていないとする。なお、ここでの一致は、完全一致でなくてもよい。各値の差が所定の範囲内であれば、一致として扱う。判別部１６２は、電荷量比算出部１６１から補正情報を受け取ると、基準電荷量比保持部１９０にアクセスし、基準電荷量比を読出し、上記比較を行う。判別結果と、読み出した基準電荷量比とをフレア補正値算出部１６３へ出力する。

発光、受光特性等は周囲環境に影響されるため、フレアが発生していなくても、測定結果から得た補正電荷量比は、基準電荷量比と完全一致することは考えにくい。そこで、比較の際、差が、所定の範囲内であれば、一致とするといった余裕をもたせることが好ましい。具体的には、閾値(補正電荷量比と基準電荷量比と差の絶対値、または、両者の差の基準電荷量比の値に対するパーセンテージ)を決定しておき、その範囲内であれば、一致と判断する。この余裕は、過大であればフレアの発生を検知できず、一方、過小であればフレア非発生時もフレア発生と判別するといったことが生じる。また、受発光特性は装置個体差にもよる。従って、実際に装置を使用しながらの設定が好ましい。

フレア補正値算出部１６３は、判別部１６２が不一致と判別した場合、補正電荷量と基準電荷量比とからフレア補正値を算出する。フレア補正値は、補正用電荷取得期間４２０の間に各電荷蓄積部１５０に蓄積された電荷量の中の、フレアによる電荷量を特定し、１フレーム分の値に換算したものである。すなわち、画素毎に求めた、電荷蓄積部１５０毎の、フレアによる電荷(フレア電荷量)である。なお、一致と判別した場合、フレア補正値(画素毎の、電荷蓄積部１５０毎のフレア電荷量)を、０と設定する。フレア補正値算出部１６３によるフレア補正値算出処理の詳細は、後述する。算出したフレア補正値は、画素毎に、フレア補正値保持部１６４に保持する。

フレア補正部１７０は、画像用電荷取得期間４１０の間に、各電荷蓄積部１５０に蓄積された電荷量(測定電荷量)からフレアによる影響を取り除き、対象物からの反射光による電荷量である対象物電荷量を算出する、フレア補正を行う。フレア補正には、直前の補正用電荷取得期間４２０で取得したフレア補正値を用いる。フレア補正は、予め定めた、１フレーム分の電荷量蓄積期間Ｔｆ毎に行う。すなわち、１フレーム分の電荷量が蓄積されると、各電荷蓄積部１５０の測定電荷量から、それぞれ、対応する電荷蓄積部１５０のフレア電荷量を減算し、対象物電荷量を得る。

距離画像生成部１８０は、フレア補正後の各電荷蓄積部１５０の電荷量(対象物電荷量)を用い、対象物までの距離値を求め、当該距離値を画素値とする距離画像を生成する。距離値の算出には、上記式(１)および式(２)を用いる。

＜基準電荷量比作成＞
次に、本実施形態の基準電荷量比の作成手法を説明する。基準電荷量比は、上述のように、フレアのない理想的な環境で、所定の位置に配置した対象物１１３を測定し、各電荷蓄積部１５０に蓄積される電荷量を、予め定めた分割間隔ｔｓ毎の基準電荷量に分割し、得られた第一基準電荷量と、他の基準電荷量の比である。

各電荷蓄積部１５１、１５２、１５３、１５４への電荷蓄積期間がＴｑ(Ｔｑ＝Ｔｐ/４)で、分割間隔ｔｓは、各蓄積期間Ｔｑを５分割した時間とする場合の例を、図８に示す。本図に示すように、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積される電荷量(蓄積電荷量)Ｓ１、Ｓ２、Ｓ３、Ｓ４を、それぞれ、５分割し、基準電荷量Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ２１、・・・・Ｓ２５、Ｓ３１、・・・・、Ｓ３５、Ｓ４１、・・・・、Ｓ４５を得る。

そして、値が０以外の基準電荷量を処理の対象とする。その中で、最も早い基準電荷量を第一基準電荷量とする。図８の例では、Ｓ２１を第一基準電荷量とする。第一基準電荷量Ｓ２１に対する、他の基準電荷量Ｓ２２、Ｓ２３、・・・・Ｓ４１の比、すなわち、Ｓ２２/Ｓ２１、Ｓ２３/Ｓ２１、Ｓ２４/Ｓ２１、・・・・、Ｓ４１/Ｓ２１を、基準電荷量比として、基準電荷量比保持部１９０に保持する。

次に、各蓄積電荷量Ｓ１、Ｓ２、Ｓ３、Ｓ４から、基準電荷量Ｓ１１、Ｓ１２、Ｓ１３、Ｓ１４、Ｓ１５、Ｓ２１、・・・・Ｓ２５、Ｓ３１、・・・・、Ｓ３５、Ｓ４１、・・・・、Ｓ４５を算出する手法を説明する。本実施形態では、理想的な環境内の、同一位置に配置した対象物１１３を、ゲート信号３２０の立ち上がり時間を、上記分割間隔ｔｓずつ、変調信号３１０の立ち上がり時間からずらして(遷移させて)電荷を蓄積することを繰り返し、各蓄積電荷量の差を取ることにより、算出する。

ゲート信号３２０の立ち上がりタイミングを変調信号３１０の立ち上がりタイミングに合致させた場合の、各電荷蓄積部１５０に蓄積される電荷量を図９の＃１に示す。このとき、ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングからｔｓだけずらすと、図９の＃２に示すように、各電荷蓄積部１５１、１５２、１５３、１５４には、それぞれ、電荷Ｓ１ａ、Ｓ２ａ、Ｓ３ａ、Ｓ４ａが蓄積される。

同様に、ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングから２ｔｓだけずらすと、図９の＃３に示すように、各電荷蓄積部１５１、１５２、１５３、１５４には、それぞれ、電荷Ｓ１ｂ、Ｓ２ｂ、Ｓ３ｂ、Ｓ４ｂが蓄積される。また、ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングから３ｔｓだけずらすと、図９の＃４に示すように、各電荷蓄積部１５１、１５２、１５３、１５４には、それぞれ、電荷Ｓ１ｃ、Ｓ２ｃ、Ｓ３ｃ、Ｓ４ｃが蓄積される。ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングから４ｔｓだけずらすと、図９の＃５に示すように、各電荷蓄積部１５１、１５２、１５３、１５４には、それぞれ、電荷Ｓ１ｄ、Ｓ２ｄ、Ｓ３ｄ、Ｓ４ｄが蓄積される。

このように、ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングからｔｓずつ遷移させていくと、各電荷蓄積部１５１、１５２、１５３、１５４に蓄積される電荷量が変化する。

この変化の様子を、ゲート信号３２０の立ち上がりタイミングを揃えて、図１０に示す。この図１０において、電荷量が０でない、両端部の電荷蓄積部１５０の電荷量間の差を、遷移タイミング毎に算出し、各分割間隔ｔｓの基準電荷量を算出する。

例えば、＃１と＃２とでは、Ｓ４とＳ４ａとの差を算出する。これにより、図８に示す基準電荷量Ｓ４１が得られる。また、Ｓ１ａとＳ１との差を算出する。これにより、図８に示す基準電荷量Ｓ２１が得られる。

また、＃２と＃３とでは、Ｓ３ａとＳ３ｂとの差を算出すると、図８に示す、基準電荷量Ｓ３２が得られ、Ｓ１ｂとＳ１ａとの差を算出すると、図８に示すＳ２２が得られる。同様に、＃３と＃４とでは、Ｓ３ｂとＳ３ｃとの差を算出すると、図８に示す基準電荷量Ｓ３３が得られ、Ａ１ｃとＳ１ｂとの差を算出すると、図８に示す、Ｓ２３が得られる。また、＃４と＃５とでは、Ｓ３ｃとＳ３ｄとの差を算出すると、図８に示すＳ３４が得られ、Ｓ１ｄとＳ１ｃとの差を算出すると、図８に示す、Ｓ２４が得られる。

以上の処理を、全ての基準電荷量を得るまで繰り返し、各基準電荷量を得る。また、本処理は、全画素について行う。

なお、上記例では、１つの電荷蓄積部１５０への蓄積期間Ｔｑを５分割、すなわち、変調周期Ｔｐを２０分割したものを分割間隔ｔｓとしているが、分割間隔ｔｓは、これに限られない。１の変調周期に、Ｎ個の電荷蓄積部１５０に電荷を蓄積し、１つの電荷蓄積部１５０への蓄積期間Ｔｑを、Ｍ分割し、基準電荷量を得る場合、分割間隔ｔｓは、以下の式(３)で表される。
ｔｓ＝Ｔｐ/(Ｎ×Ｍ)・・・(３)

最低でも基準電荷量比は２つ求められればよいため、最大の分割間隔ｔｓは、変調周期Ｔｐの１/３であればよい。従って、上記式(３)において、(Ｎ×Ｍ)が３以上の整数となればよい。

なお、基準電荷量比の値の分解能は、基準電荷量比の測定時のゲート信号３２０の遷移時間となる分割間隔ｔｓの細かさに左右される。ゲート信号３２０の立ち上がりの遷移時間は、微小であればあるほど、後に行うフレア補正の精度は高くなる。しかしながら、後述するように、補正電荷量比も同じ分割間隔ｔｓを用いて算出する。また、保持する電荷量比の数も多くなる。このため、分割時間ｔｓは、演算量およびメモリの占有量と精度とのトレードオフにより最適な値を決定する。

なお、基準電荷量比は、上記手順で予め作成し、画素に対応付けて、基準電荷量比保持部１９０に保持させておく。

なお、各蓄積電荷量から、基準電荷量を算出する際、ここでは、ゲート信号３２０を遷移させているが、光源１１０の発光タイミングと電荷振分部１３０による振り分けタイミングとがずれればよいため、変調信号３１０側を操作し、各基準電荷量を算出してもよい。

＜補正電荷量比算出処理＞
次に、本実施形態の電荷量比算出部１６１による、補正電荷量比算出処理について説明する。本実施形態の電荷量比算出部１６１は、補正用電荷取得期間４２０の間に取得した各電荷蓄積部１５０の電荷量を用い、基準電荷量と同じ分割間隔ｔｓの補正電荷量を算出し、それを用いて、補正電荷量比を算出する。

本実施形態では、補正用電荷取得期間４２０の間は、上述のように、ゲート信号３２０の立ち上がりタイミングを、変調信号３１０の立ち上がりタイミングから遷移させる。遷移させる時間間隔は、上記基準電荷量比算出時に用いた分割間隔ｔｓとする。

本実施形態の電荷量比算出部１６１は、ゲート信号３２０の立ち上がりタイミングが遷移する毎に、各電荷蓄積部１５０に蓄積された電荷量を読み出し、１回前の遷移タイミングで読み出した電荷量との差を計算し、各補正電荷量を得る。ゲート信号３２０の立ち上がりタイミングを遷移させ、得られた電荷量から補正電荷量を算出する手法は、上記の基準電荷量比算出時の、基準電荷量を算出する手法と同様である。

なお、ここで得る補正電荷量は、０でない補正電荷量の先頭(第一補正電荷量)から、基準電荷量比として保持される電荷量比と同数の電荷量比を算出可能な数であればよい。例えば、上述の図８に示す例では、基準電荷量比保持部１９０には、１１個の基準電荷量から算出した、１０個の基準電荷量比が格納されている。従って、この例では、図１１に示すように、１１個の補正電荷量(Ｑ１４、Ｑ１５、Ｑ２１、Ｑ２２、・・・・、Ｑ３４)を算出すればよい。

そして、電荷量比算出部１６１は、基準電荷量比と同様、先頭の補正電荷量Ｑ１４に対する、他の補正電荷量(Ｑ１５、Ｑ２１、・・・・、Ｑ３４)の比を補正電荷量比(Ｑ１５/Ｑ１４、Ｑ２１/Ｑ１４、・・・、Ｑ３４/Ｑ１４)として算出する。

さらに、電荷量比算出部１６１は、先頭の補正電荷量Ｑ１４の、変調信号３１０の立ち上がりタイミングからの時間(遅延時間)ｔ０を合わせて取得する。そして、補正電荷量、補正電荷量比、および遅延時間ｔ０を、補正情報としてフレア補正部１７０へ受け渡す。

＜フレア補正値算出処理＞
次に、本実施形態のフレア補正値算出部１６３によるフレア補正値算出処理を説明する。

フレア補正値算出部１６３では、電荷量比算出部１６１から補正情報を受け取り、判別部１６２から判別結果と基準電荷量比とを受け取ると、判別結果に応じて、フレア電荷量を決定する。

判別結果が一致である場合、フレア補正値として、画素毎の、電荷蓄積部１５０毎のフレア電荷量を０と設定する。

一方、判別結果が不一致の場合、基準電荷量比と、補正電荷量とを用い、フレアの、分割間隔ｔｓ毎の電荷量(補正フレア電荷量)を算出し、算出した各フレア補正電荷量が、ゲート信号３２０を操作しない場合に蓄積される電荷蓄積部１５０を特定し、電荷蓄積部１５０毎の単位フレア電荷量を算出する。

第一補正電荷量以外は、各補正電荷量に対し、対応する基準電荷量比を乗算することにより、分割間隔ｔｓ毎の補正フレア電荷量を得る。対応する基準電荷量比とは、先頭から、時間方向に同順のものとする。具体的には、分割間隔ｔｓ毎の補正フレア電荷量(Ｆ１４、Ｆ１５、・・・、Ｆ３４)は、以下の式(４−１)〜(４−１１)に従って、算出する。
Ｆ１４＝Ｑ１４ ・・・(４−１)
Ｆ１５＝Ｑ１５×(Ｓ２２/Ｓ２１)・・・(４−２)
Ｆ２１＝Ｑ２１×(Ｓ２３/Ｓ２１)・・・(４−３)
Ｆ２２＝Ｑ２２×(Ｓ２４/Ｓ２１)・・・(４−４)
Ｆ２３＝Ｑ２３×(Ｓ２５/Ｓ２１)・・・(４−５)
Ｆ２４＝Ｑ２４×(Ｓ３１/Ｓ２１)・・・(４−６)
Ｆ２５＝Ｑ２５×(Ｓ３２/Ｓ２１)・・・(４−７)
Ｆ３１＝Ｑ３１×(Ｓ３３/Ｓ２１)・・・(４−８)
Ｆ３２＝Ｑ３２×(Ｓ３４/Ｓ２１)・・・(４−９)
Ｆ３３＝Ｑ３３×(Ｓ３５/Ｓ２１)・・・(４−１０)
Ｆ３４＝Ｑ３４×(Ｓ４１/Ｓ２１)・・・(４−１１)

また、算出した各補正フレア電荷量の振り分けられる電荷蓄積部１５０は、以下の手法で決定する。決定は、変調周期Ｔｐと遅延時間ｔ０との関係で決定する。なお、ここでは、電荷蓄積部１５０の数をＮ、すなわち、１つの電荷蓄積部１５０への蓄積期間ＴｑはＴｑ＝Ｔｐ/Ｎとし、分割間隔ｔｓは、ＴｑをＭ個に分割した時間間隔、すなわち、ｔｓ＝Ｔｑ/Ｍとする(Ｎは３以上の整数、Ｍは、１以上の整数)。

ｔ０＜Ｔｐ×１/Ｎであるとき、ｋ＝(Ｔｐ/Ｎ−ｔｏ)/ｔｓ番目までの補正フレア電荷量が、１番目の電荷蓄積部１５０に振分けられ、(ｋ＋１)から(ｋ+Ｍ＋１)番目までの補正フレア電荷量が２番目の電荷蓄積部１５０に振分けられる。(ｋ＋Ｍ×(ｐ−２)＋１)から(ｋ＋Ｍ×(ｐ−１)＋１)番目までの補正フレア電荷量が、ｐ番目の電荷蓄積部１５０に振分けられる。なお、ｐは、２以上の整数である。

同様に、Ｔｐ×ｎ/Ｎ≦ｔ０＜Ｔｐ×(ｎ＋１)/Ｎであるとき、ｋ＝((Ｔｐ/Ｎ)(ｎ＋１)−ｔｏ)/ｔｓ番目までの補正フレア電荷量が、ｎ番目の電荷蓄積部１５０に振分けられ、(ｋ＋１)から(ｋ+Ｍ＋１)番目までの補正フレア電荷量が(ｎ＋１)番目の電荷蓄積部１５０に振分けられる。(ｋ＋Ｍ×(ｐ−２)＋１)から(ｋ＋Ｍ×(ｐ−１)＋１)番目までの補正フレア電荷量が、ｐ番目の電荷蓄積部１５０に振分けられる。なお、ｐは、２以上の整数であり、ｎは、１以上、Ｎ以下の整数である。

例えば、電荷蓄積部１５０が４つ、分割時間ｔｓがＴｑ/５で、Ｔｑが２５ｎｓ、ｔ０が１５ｎｓの場合、Ｆ１４とＦ１５とが第一の電荷蓄積部１５１に振分けられ、Ｆ２１からＦ２５が第二の電荷蓄積部１５２に振分けられ、Ｆ３１からＦ３４が第三の電荷蓄積部１５３に振分けられる。

フレア補正値算出部１６３は、各電荷蓄積部１５０に振分けられる補正フレア電荷量をそれぞれ合算し、各電荷蓄積部１５０の単位フレア電荷量を算出する。

そして、単位フレア電荷量を、１フレーム分のフレア電荷量に換算する。換算は、画像用電荷取得期間４１０に１フレーム分の電荷を取得するフレーム時間Ｔｆと、補正用電荷取得期間４２０の、分割間隔ｔｓだけゲート信号３２０を遷移させる毎に電荷を取得する期間Δｔとの比ｆ＝Ｔｆ/Δｔを、フレア補正電荷量に乗算することにより行う。

フレア補正値算出部１６３では、以上の手順で、フレア電荷量を、各画素について算出する。そして、算出結果をフレア補正値としてフレア補正値保持部１６４に保持する。

なお、補正用電荷取得期間４２０ごとに、補正値算出部１６０では、上記手順でフレア補正値を算出し、フレア補正値保持部１６４に保持されるフレア補正値を、最新のものに更新する。

＜補正値算出処理の流れ＞
本実施形態の、補正用電荷取得期間４２０中の、補正値算出部１６０による補正値算出処理の流れを説明する。図１２は、本実施形態の補正値算出処理の処理フローである。補正値算出部１６０は、制御部１４０から補正用電荷取得期間４２０開始の指示を受けたことを契機に、本処理を開始する。なお、全画素数をＰ(Ｐは１以上の整数)とし、各画素には、１から順に画素番号ｐ(ｐは、１≦ｐ≦Ｐを満たす整数)が付与されているものとする。

画素番号を初期化する(ｐ＝１)(ステップＳ１００１)。

電荷量比算出部１６１は、画素番号ｐの画素について、分割間隔ｔｓ毎の蓄積電荷量を用い、補正電荷量比算出処理を行い、補正情報として、補正電荷量、補正電荷量比、遅延時間ｔ０を得る(ステップＳ１００２)。

判別部１６２は、画素ｐに対応づけて保持される基準電荷量比を読み出す(ステップＳ１００３)。そして、読み出した基準電荷量比と、ステップＳ１００２で算出された補正電荷量比とを比較し(ステップＳ１００４)、一致不一致を判別する(ステップＳ１００５)。

不一致の場合、フレア補正値算出部１６３は、判別部１６２がステップＳ１００３で読み出した基準電荷量比と、電荷量比算出部１６１がステップＳ１００２で算出した補正情報とを用い、フレア補正値算出処理を行い、画素ｐの、各電荷蓄積部１５０のフレームフレア電荷量をフレア補正値として算出し(ステップＳ１００６)、フレア補正値保持部１６４に保持する(ステップＳ１００７)。

一方、ステップＳ１００３で一致と判別された場合、フレア補正値算出部１６３は、画素ｐのフレア補正値を０と算出し(ステップＳ１００８)、ステップＳ１００７へ移行する。

以上のステップＳ１００２からＳ１００８の処理を、全画素について繰り返し(ステップＳ１００９、１０１０)、画素毎のフレア補正値をフレア補正値保持部１６４に保持し、処理を終了する。

なお、上記処理フローでは、画素毎に、電荷量比演算処理、判別処理、フレア補正値算出処理を行い、それを全画素について繰り返す場合を例にあげて説明したが、これに限られない。画素毎の処理結果を記憶するメモリを全画素分備え、画素毎の電荷量比演算処理を全画素について行い、その後、画素毎の判別処理を全画素について行い、次いで、画素毎のフレア補正値算出処理を行うよう構成してもよい。

＜距離画像取得処理の流れ＞
次に、本実施形態の画像用電荷取得期間の距離画像取得処理の流れを説明する。図１３は、本実施形態の距離画像取得処理の処理フローである。本処理は、フレア補正部１７０が、制御部１４０から画像用電荷取得期間４１０開始の指示を受けたことを契機に開始する。

１フレーム分の電荷が蓄積されると、フレア補正部１７０は、まず、画素番号を初期化する(ｐ＝１)(ステップＳ１１０１)。

そして、画素ｐに対応する各電荷蓄積部１５０から測定電荷量を抽出するとともに、当該画素ｐのフレア補正値をフレア補正値保持部１６４から読み出す(ステップＳ１１０２)。

そして、フレア補正部１７０は、測定電荷量からフレア補正値を減算し、対象物電荷量を得る(ステップＳ１１０３)。

距離画像生成部１８０は、対象物電荷量から、画素ｐの距離値を算出する(ステップＳ１１０４)。

以上の処理を、全画素について繰り返し(ステップＳ１１０５，Ｓ１１０６)、距離画像を得る。

なお、距離画像取得処理においても、全画素について対象物電荷量を得、その後、各画素の距離値を算出するよう構成してもよい。

以上説明したように、本実施形態によれば、フレアのない状態での入射光波形を特定する基準電荷量比を用い、フレアの有無、フレアがある場合のフレア電荷量を特定し、画像用に取得した電荷からフレア電荷量を取り除く。従って、光飛行時間型距離画像センサにおいて、蓄積した電荷から、フレアによる電荷を適切に除去できる。そして、取り除いた後の電荷量から距離値を算出する。従って、精度良く距離値を得ることができる。

さらに、本実施形態では、補正値算出部１６０およびフレア補正部１７０と、予め保持する基準電荷量比とにより、上記フレアによる影響の除去を実現する。従って、簡単な演算処理でフレア補正を行うことができる。

また、距離画像生成用の電荷取得期間とは別に、補正用の電荷取得期間を設け、その期間に取得した電荷量から、フレアによる影響の有無を判別するとともに、フレア補正値を算出する。従って、補正用の電荷の取得が、距離画像生成用の電荷に影響を与えることがない。このとき、電荷量比を用いるため、電荷量の絶対値を抑えることができ、これにより、補正用の電荷取得に係る時間を抑えることができる。従って、フレームレートの低下を抑えられる。

従って、本実施形態によれば、光飛行時間型距離画像センサを用いた距離画像生成装置において、物理的な構成を変えることなく、高速に、フレームレートの低下を抑え、フレアによる影響を除去し、その結果から距離値を算出できる。このため、本実施形態によれば、光飛行時間型距離画像センサを用いた距離画像生成装置において、低コストで精度よく距離値を算出できる。

なお、上記実施形態では、分割間隔ｔｓは、予め定めた値としているが、算出毎に変更するよう構成してもよい。例えば、直前の補正用電荷取得期間４２０に算出した遅延時間ｔ０の１/２とするよう構成してもよい。これにより、ゲート信号３２０の操作回数を最適化でき、効率を向上させることができる。

例えば、最初の補正用電荷取得期間４２０では、分割間隔ｔｓを５ｎｓと設定し、このとき、遅延時間ｔ０として２０ｎｓを得た場合、次の補正用電荷取得期間４２０では、分割間隔ｔｓを１０ｎｓとする。

なお、このように、補正用電荷取得期間４２０毎に分割間隔ｔｓを調整する場合、設定される可能性のある分割間隔ｔｓの最大公約数の時間間隔ｔｍｉｎで基準電荷量を算出し、これを保持しておく。そして、設定された分割間隔ｔｓに応じて、基準電荷量を合算し、合算したものを用いて、基準電荷量比を算出する。

また、上記補正値算出処理において、判別部１６２により、補正電荷量比と基準電荷量比が一致と判別された場合、フレア補正値を０に設定しているが、これに限られない。画素毎にフレア補正の要否を示すフラグを用意し、一致と判別された場合は、このフラグを設定するよう構成してもよい。

この場合、距離画像取得処理において、画素番号が設定または更新される毎に、フレア補正部１７０は、当該画素のフラグの有無を判別し、フラグが設定されていない場合のみ、上記ステップＳ１１０３およびステップＳ１１０４の処理を行う。一方、フラグが設定されている場合は、蓄積電荷量をそのまま対象物電荷量として、距離画像生成部１８０に出力する。

１００：距離画像生成装置、１１０：光源部、１１１：変調光、１１２：入射光、１１３：対象物、１２０：光電変換部、１３０：電荷振分部、１４０：制御部、１５０：電荷蓄積部、１５１：電荷蓄積部、１５２：電荷蓄積部、１５３：電荷蓄積部、１５４：電荷蓄積部、１６０：補正値算出部、１６１：電荷量比算出部、１６２：判別部、１６３：フレア補正値算出部、１６４：フレア補正値保持部、１７０：フレア補正部、１８０：距離画像生成部、１９０：基準電荷量比保持部、３１０：変調信号、３２０：ゲート信号、４１０：画像用電荷取得期間、４２０：補正用電荷取得期間、ｔ０：遅延時間、Ｔｆ：フレーム時間、Ｔｐ：変調周期、Ｔｑ：１/４周期、ｔｓ：分割間隔、ＷＡ：フレア波形、ＷＢ：対象物からの反射光波形、ＷＦ：入射光波形

Claims (4)

1. 発光源から照射され、対象空間内の対象物で反射した反射光を含む入射光を受光して受光光量に応じた電荷に変換する光電変換部と、
   前記光電変換部毎に設けられた、当該光電変換部で変換した電荷を予め定められたタイミングで振り分けてそれぞれ蓄積する３つ以上の電荷蓄積部と、
   前記電荷蓄積部に蓄積された電荷量から、フレアによる電荷量であるフレア補正値を算出する補正値算出部と、
   前記フレア補正値を用い、前記電荷蓄積部に蓄積された電荷量から前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正部と、
   前記対象物電荷量から距離画像を生成する距離画像生成部と、
   理想的な環境で前記対象物を測定して得た、前記対象物からの反射光の波形を特定する電荷量比を、基準電荷量比として保持する基準電荷量比保持部と、を備え、
   前記補正値算出部は、前記電荷蓄積部に蓄積された電荷量から前記入射光の波形を特定する電荷量比を算出し、前記電荷量比と前記基準電荷量比とを用いて、前記フレア補正値を算出すること
   を特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置であって、
   前記補正値算出部は、
   前記電荷蓄積部に蓄積された電荷量を、前記基準電荷量比と同じ分割間隔で分割して補正電荷量を得、当該補正電荷量間の比である補正電荷量比を、前記入射光の波形を特定する電荷量比として算出する電荷量比算出部と、
   前記補正電荷量比と前記基準電荷量比とを比較し、両者の一致不一致を判別する判別部と、
   前記判別部が不一致と判別した場合、前記補正電荷量と前記基準電荷量比とから、前記フレア補正値を算出するフレア補正値算出部と、を備えること
   を特徴とする距離画像生成装置。
3. 請求項２記載の距離画像生成装置であって、
   前記複数の電荷蓄積部に前記電荷を振り分けるタイミングを指示するゲート信号を出力する制御部をさらに備え、
   前記制御部は、前記電荷量比算出部が前記補正電荷量を得る際、所定回数、前記ゲート信号を出力するタイミングを前記分割間隔だけ順に遷移させ、
   前記電荷量比算出部は、各ゲート信号出力タイミングで前記電荷蓄積部に蓄積された電荷量を用い、前記補正電荷量を得ること
   を特徴とする距離画像生成装置。
4. 発光源から照射され、対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換ステップと、
   予め定めた補正用電荷取得期間、前記光電変換ステップで変換された電荷を、予め定められたタイミングで、３つ以上の電荷蓄積部にそれぞれ振り分けて蓄積する補正用電荷蓄積ステップと、
   前記補正用電荷蓄積ステップで得た電荷の電荷量から、フレアによる電荷量であるフレア補正値を算出する補正値算出ステップと、
   予め定めた画像用電荷取得期間、前記光電変換ステップで変換された電荷を、予め定めたタイミングで、３つ以上の前記電荷蓄積部にそれぞれ振り分けて蓄積する画像用電荷蓄積ステップと、
   前記画像用電荷蓄積ステップで得た電荷の電荷量から、前記フレア補正値を減算し、前記対象物からの反射光による電荷量である対象物電荷量を算出するフレア補正ステップと、
   前記対象物電荷量を用い、前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成ステップと、を備えること
   を特徴とする距離画像生成方法。

Images