JP2012093189A - 距離画像生成装置および距離画像生成方法 - Google Patents

Abstract

【課題】光飛行時間型距離画像センサを用いて距離画像生成する際、算出された距離値が正確であるか否かをユーザが把握可能な技術を提供する。
【解決手段】本発明は、撮影対象物が、回り込みの影響を受けやすい位置、すなわち、距離画像センサから近距離にあるか否かを閾値を用いて判別し、近距離にあると判別された場合、光量を低減して再度距離画像を生成する。そして、算出された距離値を比較し、その変動量から正確性を判別し、誤生成されていると判別される場合、ユーザに通知する。
【選択図】図７

Description

本発明は、距離画像生成技術に関し、特に、光飛行時間型距離画像センサを用いた距離画像生成技術に関する。

光飛行型距離画像センサを用いて、撮影対象空間の対象物の、当該センサからの距離を画素値とする距離画像を生成する距離画像生成装置がある。光飛行型距離画像センサでは、光源から照射した変調光と、当該変調光の対象物による反射光との位相差を用いて、画素毎に対象物の距離を算出する。位相差は、画素毎に用意された撮像素子で受光した反射光を光量に応じた電荷量に変換し、この電荷量に所定の演算を施すことにより算出される（例えば、特許文献１参照。）。

特開２００８−２４１４３５号公報

光飛行時間型距離画像センサを用いた距離画像生成装置は、上述のように画素毎に受光した反射光を基に距離値を算出している。しかし、対象物の距離が近い場合など、受光する光量が多いと、近隣の画素に対応する撮像素子に光が入り込む、いわゆる回り込みが発生することがある。回り込みが発生すると、正確な光量が得られず、それに従って算出される距離値も不正確となる。ところが、ユーザは、算出された距離値が、回り込みにより誤生成されたものであるか否かを、知ることができない。

本発明は、上記事情に鑑みてなされたもので、光飛行時間型距離画像センサを用いて距離画像生成する際、算出された距離値が正確であるか否かをユーザが把握可能な技術を提供することを目的とする。

本発明は、撮影対象物が、回り込みの影響を受けやすい位置、すなわち、距離画像センサから近距離にあるか否かを閾値を用いて判別し、近距離にあると判別された場合、光量を低減して再度距離画像を生成する。そして、算出された距離値を比較し、その変動量から正確性を判別し、誤生成されていると判別される場合、ユーザに通知する。

具体的には、対象空間に変調光を照射する発光源、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段、および、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分けるセンサ制御手段、を備える距離画像センサと、前記電荷蓄積手段に１フレーム分の距離画像生成可能な電荷が蓄積される１フレーム時間毎に、前記蓄積された電荷から画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、出力手段と、を備える距離画像生成装置であって、前記距離画像生成手段が求めた距離値の適否を判別し、適切でないと判別した場合、前記出力手段から距離値誤生成を意味する通知を出力する適否判別手段をさらに備えることを特徴とする距離画像生成装置を提供する。

また、対象空間に変調光を照射する発光源、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段、および、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段を備える距離画像センサと、前記電荷蓄積手段に１フレーム分の距離画像生成可能な電荷が蓄積される１フレーム時間毎に、前記蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、出力手段と、を備える距離画像生成装置における距離画像生成方法であって、前記距離画像生成手段が求めた距離値の適否を判別する適否判別ステップと、前記適否判別ステップにより適切でないと判別された場合、前記出力手段から距離値誤生成を意味する通知を出力する出力ステップと、を備えることを特徴とする距離画像生成方法を提供する。

本発明によれば、光飛行時間型距離画像センサを用いて距離画像生成する際、算出された距離値の正確性をユーザが把握できる。

本発明の実施形態の距離画像生成装置のブロック図である。 距離画像生成の原理を説明するための説明図である。 本発明の実施形態の距離画像生成処理のフローチャートである。 （ａ）は、理想状態での、（ｂ）は、回り込み発生状態での、それぞれ撮像素子における受光の様子を説明するための説明図である。 （ａ）は、理想状態での、（ｂ）は、回り込み発生状態での、それぞれ変調光と入射光と電荷蓄積量との関係を説明するための説明図である。 本発明の実施形態の適否判別部の機能ブロック図である。 本発明の実施形態の適否判別処理のフローチャートである。 本発明の実施形態の距離画像生成装置の他の例のブロック図である。 本発明の実施形態の距離画像生成装置の他の例のブロック図である。 本発明の実施形態の距離画像生成装置の他の例のブロック図である。

以下、本発明を適用する実施形態について説明する。以下、本発明の実施形態を説明するための全図において、同一機能を有するものは同一符号を付し、その繰り返しの説明は省略する。

まず、本実施形態で用いる光飛行型距離画像センサ（以下、距離画像センサと呼ぶ。）を用いた距離画像生成装置の構成を説明する。図１は、本実施形態の距離画像生成装置１００のブロック図である。

図１に示すように、距離画像生成装置１００は、照射光と入射光との位相差を用いて距離画像を生成するもので、距離画像センサ１４０と、距離画像生成部１５０と、適否判別部１６０と、表示部１７０と、制御部１８０と、を備える。また、距離画像センサ１４０は、光源１１０と撮像素子１２０とセンサ制御部１３０とを備える。

光源１１０は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光；以下、変調光と呼ぶ。）１１１を照射する発光源である。光源１１０には、ＬＥＤ等の高速変調が可能なデバイスが用いられる。

撮像素子１２０は、光源１１０から照射された変調光１１１が対象空間内の物体２００で反射された反射光を含む入射光１１２を受光し、電荷に変換する受光部である。これを実現するため、撮像素子１２０は、入射光１１２を受光し、受光量を電荷量に変換する複数の光電変換素子と、光電変換素子により得られた電荷量を蓄積する電荷蓄積部とを備える。また、撮像素子の前には、レンズが配置される。

この光電変換素子により画素が形成される。従って、各光電変換素子は、距離画像の各画素に対応づけて規則的に配列される。また、距離情報である変調光１１１と入射光１１２の位相差は、電荷蓄積部に蓄積された電荷を用いて算出する。この位相差を算出するためには、少なくとも３以上の位相情報（電荷蓄積部に蓄積された電荷）が必要である。このため、電荷蓄積部は、光電変換素子毎に、少なくとも３以上設けられる。以下、本実施形態では、４つ用いる場合を例にあげて説明する。

センサ制御部１３０は、光源１１０と撮像素子１２０とを同期制御する。センサ制御部１３０は、変調された信号を光源１１０に送る。光源１１０は、この信号に従って、対象空間に変調光１１１を照射する。また、センサ制御部１３０は、撮像素子１２０に変調光１１１の変調周波数に同期する同期信号を送信する。撮像素子１２０では、光電変換素子が、物体２００により反射された反射光を含む入射光１１２を電荷量に変換する。そして、得られた電荷量を、この同期信号に従って、各光電変換素子に対応づけて設けられる４つの電荷蓄積部それぞれに振り分ける。ここでは、変調の１周期を４等分した期間毎に、これらの４つの電荷蓄積部に振り分ける。なお、電荷蓄積部には、電荷量そのものを蓄積してもよいし、この電荷量をＡＤ変換後のデータを蓄積してもよい。

また、本実施形態のセンサ制御部１３０は、制御部１８０からの指示に従って、光源１１０が照射する変調光１１１の光量を調整する。本実施形態では、発光回数を制御することにより、光量を調整する。

距離画像生成部１５０は、各電荷蓄積部に振り分けられた電荷に所定の演算を施し、変調光１１１と入射光１１２との位相差を算出し、画素値が距離値である距離画像を生成する。生成した距離画像は、通常は、外部出力端子から出力される。ただし、制御部１８０からの指示が有る場合は、適否判別部１６０または表示部１７０に送られる。変調光１１１と入射光１１２との位相差から距離値を算出する手法は後述する。

適否判別部１６０は、制御部１８０からの指示に従って、距離画像生成部１５０が生成した距離画像の各画素値（距離値）の適否を判別する。判別結果は、表示部１７０に送られる。適否の判別手法の詳細は後述する。

表示部１７０は、適否判別部１６０による判別結果に応じて、メッセージを出力表示する。また、制御部１８０からの指示により、距離画像生成部１５０が生成した距離画像を表示する。本実施形態の表示部１７０は、例えば、ディスプレイなどで構成される。

制御部１８０は、距離画像生成装置１００全体の動作を制御する。

なお、本実施形態の距離画像生成装置１００は、ＣＰＵとメモリと記憶装置とを備え、記憶装置に格納されたプログラムを実行することにより、制御部１８０、距離画像生成部１５０、適否判別部１６０、およびセンサ制御部１３０の各機能を実現する。

次に、本実施形態の距離画像生成装置１００による距離画像生成の手法を説明する。図２は、距離画像生成の原理を説明するための図である。光源から出社される変調光１１１の強度が本図のような正弦曲線を描くように変化する場合、撮像素子１２０への入射光１１２の強度も同様に正弦曲線を描くよう変化する。ただし、変調光１１１と入射光１１２とには、光が物体２００まで往復する飛行時間による位相の遅延（位相差φ）が生じる。

光の速度ｃは既知であるため、この位相差φと変調周波数ｆとを用い、対象物までの距離値Ｄは、以下の式（１）で求めることができる。

従って、位相差φがわかれば、距離値Ｄは求めることができる。ここで、変調光１１１と入射光１１２との位相差φは、変調光１１１の１周期を４等分した各期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積される電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、以下の式（２）で表される。

なお、１周期を４等分した各期間Ｔ１、Ｔ２、Ｔ３、Ｔ４は、例えば、０度から９０度の間、９０度から１８０度の間、１８０度から２７０度の間、２７０度から０度の間とする。

また、光源１１０の変調周波数は数十ＭＨｚである。従って、変調の１周期は数十ｎｓ程度である。このため、距離画像を得るためには、数百〜数十万周期の電荷蓄積時間を要する。本実施形態の距離画像生成部１５０は、この電荷蓄積時間Δｔ間隔で電荷蓄積部に蓄積された各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に、式（２）に従って位相差φを求め、式（１）に従って、対象物までの距離値Ｄを求め、距離値を画素値とする距離画像を生成する。

なお、電荷蓄積時間Δｔ間隔毎に得られる１枚の距離画像をフレームと呼ぶ。また、電荷蓄積時間Δｔを、１フレーム時間Δｔと呼ぶ。

なお、一般に距離画像の画素値として用いられるのは、以下の式（３）に従って、４つの電荷蓄積部に振り分けられた電荷の平均値Ａである。

また、本実施形態の距離画像センサ１４０では、距離画像以外の画像も同時に生成可能である。すなわち、上記各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、画素毎に以下の式（４）に従って、強度値Ｂを算出することにより、強度値を画素値とする強度画像を得ることができる。

以上の構成を有する本実施形態の距離画像生成装置１００による距離画像生成の流れを説明する。図３は、本実施形態の距離画像生成処理の処理フローである。

制御部１８０は、撮影開始の指示を受け付けると、センサ制御部１３０に指示を出す。センサ制御部１３０は、制御部１８０からの指示を受け、光源１１０と撮像素子１２０との同期制御を開始する（ステップＳ１１０１）。光源１１０は、変調光１１１の照射を開始し、撮像素子１２０は、受光および電荷の蓄積を開始する。また、電荷の蓄積時間をカウントするタイマｔを初期化する。

そして、１フレーム時間Δｔ経過すると（ステップＳ１１０２）、制御部１８０は、電荷の蓄積時間をカウントするタイマｔを初期化する（ステップＳ１１０３）。この間、光源１１０からの変調光１１１の照射および撮像素子１２０における入射光１１２の受光および電荷の蓄積は継続する。

そして、制御部１８０は、距離画像生成部１５０に、蓄積された電荷から距離画像を生成させ（ステップＳ１１０４）、出力端子または表示部１７０から生成された距離画像を出力する（ステップＳ１１０５）。なお、この間も、光源１１０からの変調光１１１の照射および撮像素子１２０における入射光１１２の受光および電荷の蓄積は継続する。制御部１８０は、ステップＳ１１０２以降の処理を、終了の指示を受け付けるまで繰り返す（ステップＳ１１０６）。

制御部１８０は、以上の手順で各部を制御し、１フレーム時間Δｔ毎に、１フレームの距離画像を連続して生成する。

次に、このような距離画像生成装置１００による回り込みの発生および回り込みによる距離値の誤生成について説明する。図４および図５は、回り込みの発生について説明するための説明図である。図４（ａ）は、回り込みの発生していない理想的な状態での撮像素子１２０による受光状態を、図４（ｂ）は、回り込みが発生している状態での撮像素子１２０による受光状態を示す。また、図５（ａ）は、理想的な状態での変調光１１１と入射光１１２と電荷蓄積部への電荷の蓄積の状態とを示し、図５（ｂ）は、回り込みが発生している状態での変調光１１１と入射光１１２と電荷蓄積部への電荷の蓄積の状態とを示す。なお、図５において、Ｔは、変調光１１１の半周期である。

図４（ａ）に示すように、理想的な状態では、レンズ１２１で屈折した入射光１１２は、特定の画素に対応する撮像素子１２０、もしくは隣り合う画素の空間に対応する撮像素子１２０に入射する。従って、図５（ａ）に示すように、入射光１１２は、飛行時間による位相の遅延Δφを反映したものとなる。

一方、図４（ｂ）に示すように、理想的な状態でない場合、すなわち、回り込みが発生すると、それ以外の画素に対応する場所からの入射光１１２も、当該画素に対応する撮像素子１２０に入射する。このような撮像素子１２０が受光する入射光１１２の形状は、例えば、図５（ｂ）の領域３１０に示すようになる。それに伴い、対応する電荷蓄積部にも、他の画素の撮像素子１２０からの入射光１１２による電荷も蓄積される。従って、蓄積された電荷から算出された距離値に誤差が発生する。

このような回り込みは、光源１１０から照射される変調光１１１の反射強度とレンズの集光能力との関係に応じて発生する。例えば、撮像対象の物体（以下、対象物）までの距離が近い場合など、反射光の光量が大きい場合、発生しやすい。特に、反射光量の低い画素と反射光量の高い画素とが隣接する場合、反射光量の低い画素が隣接する反射光量の高い画素の影響を受けやすい。

このように、回り込みによる距離値の誤算出は、対象物までの距離が近い場合に発生しやすい。本実施形態では、これを利用して、適否判別部１６０により、得られた距離値の適否を判別する。すなわち、本実施形態の適否判別部１６０は、算出距離に誤差が発生するほど近距離に対象物がある場合、光量を小さくして距離画像を取得し、その距離値の変動量により回り込みが発生しているかを判別する。

この機能を実現するため、本実施形態の適否判別部１６０は、図６に示すように、対象物までの距離が所定以下であるか否かを判別する距離判別部１６１と、光源１１０から出力する変調光１１１の光量を調整する指示を出力する光量調整部１６２と、光量調整後に取得した距離画像と通常の光量で取得した距離画像との画素値（距離値）の変動量の適否を判別する変動量判別部１６３と、を備え、作成した距離画像の適否を判別する適否判別処理を行う。

なお、本実施形態の適否判別部１６０による適否判別処理は、ユーザからの指示に従って、または、予め定められたタイミングで開始される。所定の時間間隔で行うよう構成してもよい。

距離判別部１６１は、距離画像生成部１５０が生成した距離画像の各画素値について、予め定めた閾値（距離閾値）と比較し、距離閾値以下となる画素の有無を判別し、判別結果を出力する。この距離判別部１６１による処理を距離判別処理と呼ぶ。

一般に、距離画像において回り込みが発生する可能性が高いのは、距離値が５０ｃｍ以内の場合である。従って、本実施形態では、距離閾値として、例えば、５０ｃｍといった固定値を保持する。距離閾値は、予め距離画像生成装置１００の記憶装置に保持される。

なお、適否判別部１６０は、判別後、距離判別部１６１が距離閾値以下の画素有りと判別した場合、判別に用いた距離画像を元距離画像として記憶装置に保持する。

光量調整部１６２は、距離判別部１６１の判別結果に従って、制御部１８０に光源１１０からの出力を調整するよう指示を出す。本実施形態では、距離判別部１６１が距離閾値以下の画素有りと判別した場合、所定期間、変調光１１１の光量を低減するよう指示を出す。光量の低減量ΔＬは、予め定められた固定量とし、距離画像生成装置１００の記憶装置に保持される。光量の低減量ΔＬは、例えば、通常流す電流による光量と、通常流す電流に対して１００分の１程度の電流による光量との変動量とする。低減期間は、１フレーム時間Δｔとする。光量調整部１６２が行う処理を、減光処理と呼ぶ。

制御部１８０は、光量調整部１６２からの光量低減の指示を受け付けると、１フレーム時間Δｔの間、光源１１０から照射する変調光１１１の光量を低減量ΔＬ分低減するようセンサ制御部１３０に指示を出す。

センサ制御部１３０は、指示を受け、Δｔ間、光源１１０から照射する変調光１１１の光量を低減する。本実施形態では、センサ制御部１３０は、光源１１０に送信する発光用の制御信号の回数を低減する。

そして、撮像素子１２０は、光量を低減された期間（Δｔ）も上記同様入射光１１２を受光し、電荷を蓄積する。また、距離画像生成部１５０は、１フレーム時間Δｔに蓄積された電荷から、上記同様、距離画像を生成する。なお、光量を低減された１フレーム時間Δｔ間に蓄積された電荷から生成した距離画像を、減光距離画像と呼ぶ。

変動量判別部１６３は、距離画像生成部１５０が減光距離画像を生成すると、その減光距離画像と元距離画像との対応する画素値（距離値）を比較し、変動量を算出する。そして、所定以上距離値が変動した画素があるか否かを判別し、判別結果を出力する。ここでは、対応する画素値(距離値）間の差を変動量として算出し、算出した変動量が予め定めた閾値（変動閾値）以上となる画素があるか否かを判別する。例えば、減光距離画像と、元距離画像とを比較し、同一画素の距離が１％以上変化した場合、閾値以上となる画素があると判別する。この変動量判別部１６３による処理を距離値比較処理と呼ぶ。なお、変動閾値は、予め距離画像生成装置１００の記憶装置に保持する。

適否判別部１６０は、変動量判別部１６３が変動量が変動閾値以上の画素有りと判別した場合、回り込み有りと判別し、回り込み発生を通知するメッセージを生成して表示部１７０に表示する。それ以外の場合は、回り込み無しとする。また、距離判別部１６１が距離値が距離閾値以下の画素無しと判別した場合も、回り込み無しと判別する。

制御部１８０は、適否判別部１６０が回り込み無しと判別した場合、光源１１０からの変調光１１１の照射を継続し、距離画像の生成および出力を継続する。一方、適否判別部１６０が回り込み有りと判別した場合、光源１１０からの変調光１１１の照射を停止する。なお、回り込み有りとのメッセージを確認したユーザからの指示を待ち、変調光１１１の照射を停止するよう構成してもよい。

以下、本実施形態の適否判別部１６０による適否判別処理の流れを説明する。図７は、本実施形態の適否判別部１６０による適否判別処理の処理フローである。本実施形態の適否判別処理は、ユーザからの指示により、または、予め定められたタイミングで、開始する。

適否判別部１６０は、制御部１８０から適否判別処理開始の指示を受け付けると、距離判別部１６１に、距離判別処理を行わせる。ここでは、距離判別部１６１は、距離画像生成部１５０が生成した距離画像を取得する（ステップＳ１２０１）。そして、各画素値（距離値）について、距離閾値と比較し（ステップＳ１２０２）、距離閾値以下の画素の有無を判別する（ステップＳ１２０３）。

ステップＳ１２０３で、距離閾値以下の画素が無い場合、回り込み発生の可能性はないものと判別し、適否判別部１６０は、適否判別処理を終了する。

一方、距離閾値以下の画素がある場合、回り込み発生の可能性があるものとし、適否判別部１６０は、判別した距離画像を元距離画像として記憶装置に記憶する（ステップＳ１２０４）。

そして、適否判別部１６０は、光量調整部１６２に減光処理を行わせる（ステップＳ１２０５）。

そして、適否判別部１６０は、変動量判別部１６３に距離値比較処理を行わせる。ここでは、距離画像生成部１５０が減光環境下で蓄積した電荷から減光距離画像を生成すると、変動量判別部１６３は、その距離画像を取得する（ステップＳ１２０６）。そして、変動量判別部１６３は、元距離画像と減光距離画像との間で距離値を比較し（ステップＳ１２０７）、変動量が変動閾値以上の画素の有無を判別する（ステップＳ１２０８）。

適否判別部１６０は、変動閾値以上の画素がある場合、回り込みが発生しているものとし、回り込み発生を通知するメッセージを生成し、表示部１７０から出力する（ステップＳ１２０９）とともに、回り込み発生有りを意味する信号を制御部１８０へ出力し、処理を終了する。

一方、ステップＳ１２０８で変動閾値以上の画素が無い場合、回り込みは発生していないものとし、適否判別処理の処理結果として、回り込み発生無しを意味する信号を制御部１８０へ出力し（ステップＳ１２１０）、処理を終了する。

以上が本実施形態の適否判別部１６０による適否判別処理の流れである。

以上説明したように、本実施形態によれば、対象物の距離が近すぎるといった事情で、入射光１１２の光量が大きくなり、回り込みが発生している場合、ユーザがそれを知ることができる。すなわち、距離画像の距離値が誤算出されている場合、ユーザは、それを把握できる。

従って、ユーザは、この情報に基づき、種々の対処を行うことができる。例えば、より光源１１０から出射する変調光１１１の光量を低減し、適切なものとしたり、距離画像センサ１４０の位置を変更し、対象物との距離を適切なものとすることができる。

なお、上記実施形態では、固定値の変動閾値を用いて、変動量の適否を判別しているが、これに限られない。例えば、画素毎の、元距離画像の距離値に対する変動率が所定以上であるか否かにより判別するよう構成してもよい。この場合、変動率ΔＤを予め保持しておく。そして、変動量判別部１６３は、画素毎に、元距離画像の距離値Ｄ０と減光距離画像の距離値Ｄ１との差（Ｄ０−Ｄ１）を算出し、算出した差を元画像の距離値Ｄ０で除し、上記変動率ΔＤと比較し、変動量の適否を判別する。

また、上記実施形態では、光量の低減量ΔＬとして、固定値を用いるよう構成しているが、これに限られない。例えば、撮像素子１２０で受光する入射光１１２の光量に応じた低減量ΔＬ１を用いるよう構成してもよい。この場合、記憶装置には、低減率ΔＰを保持する。

ここで、上述のように、強度値Ｂは、上記式（４）で表される。従って、対象物が反射率の低い物体や遠方の物体である場合、入射光１１２の光量が低くなるため、上記式（４）の「Ｃ１−Ｃ３」および「Ｃ２−Ｃ４」の値が小さくなり、強度値Ｂの値は小さくなる。一方、対象物が反射率が高い物体や近距離の物体である場合、入射光１１２の光量が大きくなり、強度値Ｂの値は大きくなる。このように、式（４）で求められる強度値Ｂと光量とは強い相関がある。

また、上述のように、本実施形態の距離画像センサ１４０によれば、電荷蓄積部に蓄積された電荷から、上記式（４）を計算することにより、強度値Ｂを画素値とする強度画像も同時に得ることができる。従って、この強度画像を用い、光量に応じた低減量ΔＬ１を決定する。

この場合の、距離画像生成装置１００Ａの構成を図８に示す。本図に示すように、この場合の距離画像生成装置１００Ａは、さらに、強度画像生成部１５１を備える。強度画像生成部１５１は、距離画像の生成に用いる各電荷量Ｃ１、Ｃ２、Ｃ３、Ｃ４を用い、式（４）に従って、各画素の強度値Ｂを算出し、強度画像を生成する。

光量調整部１６２は、距離判別部１６１が距離閾値以下の画素有りと判別した場合、元距離画像と同時に生成された強度画像を用い、光量の低減量ΔＬ１を決定する。ここでは、各画素の強度値Ｂの総和ＳｕｍＢを算出し、総和ＳｕｍＢを上記低減率ΔＰだけ低減させるよう、低減量ΔＬ１決定する。なお、低減期間は、上記同様、１フレーム時間Δｔとする。

また、低減量ΔＬが固定値の場合、低減量ΔＬをセンサ制御部１３０側で保持するよう構成してもよい。この場合、光量調整部１６２はなくてもよい。すなわち、距離判別部１６１が、距離閾値有りと判別した場合、制御部１８０は、光量を低減するようセンサ制御部１３０に指示を行う。それを受け、センサ制御部１３０側で、予め保持する低減量に従って、１フレーム時間Δｔの間、照射する変調光１１１の光量を低減する。

また、上記各実施形態では、光量の低減手法として、光量調整部１６２からの指示に従って、センサ制御部１３０が発光回数を低減する制御信号を出力するよう構成しているが、これに限られない。

例えば、光源１１０の電源部の電流を調整し、実現するよう構成してもよい。この場合の距離画像生成装置１００Ｂの構成を図９に示す。本図に示すように、この場合の距離画像生成装置１００Ｂは、上記実施形態の構成に加え、光源１１０に電流を供給する電源部（不図示）に、電流調整部（ＤＡＣ）１３１を備える。

センサ制御部１３０は、制御部１８０を介して光量調整部１６２から光量低減の指示を受け取ると、ＤＡＣ１３１に制御信号を出力し、それに従って、ＤＡＣ１３１が出力電流を調整する。例えば、光源１１０の電源部の出力電流を、初期値の出力電流に対して１００分の１程度に減少させ、光量を低減させる。

この場合、例えば、電源部にはＤＣ−ＤＣコンバータを用い、ＤＡＣ１３１には、その設定電圧を変更するＤＡコンバータを用いる。

また、例えば、撮像素子１２０に取り付ける光学レンズ１２１の絞りを制御し、光量低減を実現するよう構成してもよい。この場合の距離画像生成装置１００Ｃの構成を図１０に示す。本図に示すように、この場合の距離画像生成装置１００Ｃは、上記実施形態の構成に加え、絞りの開口部の面積を制御する絞り制御部（ＤＲ）１３２を備える。

センサ制御部１３０は、制御部１８０を介して光量調整部１６２から光量低減の指示を受け取ると、ＤＲ１３２に制御信号を出力し、それに従って、ＤＲ１３２が絞りを調整する。

この場合、絞りには、ＤＣオートアイリスを使用し、ＤＲ１３２には、ＤＣオートアイリスの絞りを調整するモータを使用する。

また、上記実施形態では、距離判別部１６１は、距離閾値以下の画素がある場合、当該距離画像を全て元距離画像として記憶装置に保持しているが、これに限られない。例えば、距離閾値以下の画素のみ、当該画素を特定する情報と距離値とを元距離画像として保持するよう構成してもよい。この場合、変動量判別部１６３は、減光距離画像の、元距離画像として保持される画素に対応する画素について、上記距離値比較処理を行う。このように構成することにより、距離値比較処理の範囲が狭くなるため、処理が高速化する。

さらに、出力についても、メッセージとともに、誤生成が発生している領域を識別可能にして元距離画像を表示してもよい。誤生成が発生している領域は、変動量判別部１６３が変動量が変動閾値以上と判別した画素で構成される領域とする。

また、上記実施形態では、適否判別処理において、まず、距離判別処理を行うよう構成しているが、この距離判別処理は行わなくてもよい。すなわち、ユーザからの指示により、または、予め定めたタイミングで、減光処理、距離値比較処理を行うよう構成してもよい。この場合、距離値比較処理では、減光処理を行う直前に通常の光量で取得した距離画像と、減光距離画像との間で距離値比較処理を行う。また、この場合、距離判別部１６１は、備えなくてもよい。

例えば、回り込みが発生していると、得られる距離値が誤生成される可能性がある。上述のように距離判別処理を行わないよう構成すると、この誤生成された距離画像での距離判別処理における誤判別を回避できる。従って、より正確にユーザに誤生成の発生を通知できる。

さらに、本実施形態では、距離画像生成装置１００（１００Ａ、１００Ｂ、１００Ｃ）が、適否判別部１６０を備えるよう構成しているが、これに限られない。適否判別部１６０は、例えば、距離画像生成装置１００（１００Ａ、１００Ｂ、１００Ｃ）とデータの送受信が可能な、独立した情報処理装置上に構成されていてもよい。この場合、処理に必要な各種データも、適否判別部１６０が構成される情報処理装置上に保持される。

１００：距離画像生成装置、１００Ａ：距離画像生成装置、１００Ｂ：距離画像生成装置、１００Ｃ：距離画像生成装置、１１０：光源、１１１：変調光、１１２：入射光、１２０：撮像素子、１２１：レンズ、１３０：センサ制御部、１３１：ＤＡＣ、１３２：ＤＲ、１４０：距離画像センサ、１５０：距離画像生成部、１５１：強度画像生成部、１６０：適否判別部、１６１：距離判別部、１６２：光量調整部、１６３：変動量判別部、１７０：表示部、１８０：制御部、２００：物体、３１０：領域

Claims (6)

1. 対象空間に変調光を照射する発光源、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段、および、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分けるセンサ制御手段、を備える距離画像センサと、前記電荷蓄積手段に１フレーム分の距離画像生成可能な電荷が蓄積される１フレーム時間毎に、前記蓄積された電荷から画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、出力手段と、を備える距離画像生成装置であって、
   前記距離画像生成手段が求めた距離値の適否を判別し、適切でないと判別した場合、前記出力手段から距離値誤生成を意味する通知を出力する適否判別手段をさらに備えること
   を特徴とする距離画像生成装置。
2. 請求項１記載の距離画像生成装置であって、
   前記適否判別手段は、
   前記距離画像生成手段が求めた距離画像の距離値を用い、前記対象物までの距離が所定以下であるか否かを判別する距離判別手段と、
   前記対象物までの距離が所定以下の場合、１フレーム時間だけ、前記変調光の光量を予め定めた低減量だけ低減させるよう前記センサ制御手段に指示する光量調整手段と、
   前記低減量だけ光量を低減した状態で距離画像が生成された場合、当該生成された距離画像と、前記距離判別手段で判別に用いた距離画像との、対応する画素の画素値の変動量が所定以上であるか否かを判別する変動量判別手段と、を備え、
   前記変動量が所定以上の場合、適切でないと判別し、
   前記センサ制御手段は、前記変調光の光量を低減させるよう指示を受け付けると、当該指示に従って、前記発光源から照射する変調光の光量を調整すること
   を特徴とする距離画像生成装置。
3. 請求項２記載の距離画像生成装置であって、
   前記センサ制御手段は、前記発光源の電源部の電流を調整する電流調整手段を備え、
   前記電流調整手段の設定電圧を変更することにより、前記変調光の光量を調整すること
   を特徴とする距離画像生成装置。
4. 請求項２記載の距離画像生成装置であって、
   前記受光手段は、レンズと絞りとを備え、
   前記センサ制御手段は、前記絞りの開口部の面積を調整する絞り調整手段を備え、
   前記絞り調整手段により前記絞りを調整することにより、前記変調光の光量を調整すること
   を特徴とする距離画像生成装置。
5. 対象空間に変調光を照射する発光源、前記発光源から照射され前記対象空間内の対象物で反射した反射光を含む変調光を受光して受光光量に応じた電荷に変換する光電変換素子および前記光電変換素子毎に設けられた少なくとも１つ以上の電荷蓄積手段を画素毎に有する受光手段、および、前記発光源の変調に同期して前記各光電変換素子で変換した電荷を前記複数の電荷蓄積手段に振り分ける制御手段を備える距離画像センサと、前記電荷蓄積手段に１フレーム分の距離画像生成可能な電荷が蓄積される１フレーム時間毎に、前記蓄積された電荷から、画素毎の前記対象物までの距離値を求め当該距離値を画素値とする距離画像を生成する距離画像生成手段と、出力手段と、を備える距離画像生成装置における距離画像生成方法であって、
   前記距離画像生成手段が求めた距離値の適否を判別する適否判別ステップと、
   前記適否判別ステップにより適切でないと判別された場合、前記出力手段から距離値誤生成を意味する通知を出力する出力ステップと、を備えること
   を特徴とする距離画像生成方法。
6. 請求項５記載の距離画像生成方法であって、
   前記適否判別ステップは、
   前記距離画像生成手段が求めた距離画像の距離値を用い、前記対象物の距離が所定以下であるか否かを判別する距離判別ステップと、
   前記対象物の距離が所定以下の場合、１フレーム時間だけ、前記変調光の光量を予め定めた低減量低減させるよう前記センサ制御手段に指示する光量調整ステップと、
   前記低減光量下で距離画像が生成された場合、当該距離画像と、前記距離判別ステップで判別に用いた距離画像との、対応する画素の画素値の変動量が所定以上であるか否かを判別する変動量判別ステップと、
   前記変動量が所定以上の場合、適切でないと判別する判別ステップと、を備えること
   を特徴とする距離画像生成方法。

Images