JP2012185171A - 距離画像生成装置 - Google Patents

Abstract

【課題】精度の高い距離画像を生成することができる距離画像生成装置の提供。
【解決手段】変調した変調光を照射する発光源と、対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、光量を調整する光量調整手段と、電荷に基づいて、対象物で反射した反射光成分の振幅値を演算する演算手段と、前記光電変換素子の数をカウントするカウント手段と、を備え、前記光量調整手段は、前記カウント手段によりカウントされた光電変換素子の数が一定数を越えたとき、前記発光源の変調光の光量を下げるように調整する。
【選択図】図４

Description

本発明は、距離画像生成装置に係り、特により精度の高い距離画像を生成することができる距離画像生成装置に関する。

従来、距離画像センサ（ＣＣＤタイプやＣＭＯＳタイプがある）を用いていわゆる距離画像を生成する装置が知られている（例えば特許文献１）。

この特許文献１に記載の距離画像生成装置は、所定の発光周波数で強度変調された光を空間に放射する発光源、発光源が放射した光の反射光を受光し受光強度に対応する信号レベルの受光信号を出力する複数個の光電変換部を備える距離画像センサとしてのイメージセンサ等を備えている。この特許文献１に記載の距離画像生成装置においては、変調周期内に反射光を受光して電荷に変換し、この変換した電荷に基づいて所定演算を行うことにより、変調光と反射光との位相差を算出し、距離画像を生成している。

特開２００４−３２６８２号公報

しかしながら、特許文献１に記載の距離画像生成装置においては、発光源の光量が一定であるため、距離画像の精度に大きな影響を及ぼす可能性がある。

例えば、変調光源が暗すぎる場合、変調光源以外の背景光に比べ変調光源からの変調光の比率が極端に少なくなることによってＳＮ比が下がり、計測距離の誤差が多くなる。また、変調光源が明るすぎる場合は、撮像素子に蓄積する電荷が飽和してしまい、距離計測が行えなくなる。

また、光は光源からの距離の二乗に反比例して減衰するため、例えば室内のような比較的対象物までの距離が近く、計測距離範囲が限られている場合は、変調光源の光量が一定であっても測定結果に大きな変動が起こることは少ない。しかし、屋外、例えば車両前方の距離を測定するような場合、対象物は道路や風景、歩行者、先行車、対向車などであり、それらの距離は数メートルから無限遠にまで変化する。ゆえに、近距離の対象物と遠距離の対象物でそれぞれ変調光源の最適な光量は異なると考えられるため、変調光源の光量が動的に変化することが望ましい。

さらに、同じ距離に存在する対象物の距離を計測する場合であっても、対象物の反射率によって反射光の強度が変わるため、変調光源の光量を変化させたほうが望ましい。

本発明は、このような事情に鑑みてなされたものであり、発光源の光量を変化させることにより、より精度の高い距離画像を生成することができる距離画像生成装置を提供することを目的とする。

本発明は上記課題を解決するために、請求項１に記載の発明は、対象空間に変調した変調光を照射する発光源と、前記発光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記発光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、前記発光源の変調光の光量を調整する光量調整手段と、前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記発光源から照射され対象空間内の対象物で反射した反射光成分の振幅値を演算する演算手段と、前記演算手段により予め定められた範囲外の反射光成分の振幅値が演算された前記光電変換素子の数をカウントするカウント手段と、を備え、前記光量調整手段は、前記カウント手段によりカウントされた光電変換素子の数が一定数を越えた時、前記発光源の変調光の光量を下げるように調整することを特徴とする。

請求項１に記載の発明によれば、光量調整手段により発光源の変調光の光量の調整（増減等）が可能である。発光源の変調光の光量を調整することにより、対象物の距離が変化した場合や様々な反射率の対象物を対象とした場合でも、反射した変調光の光量を最適に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。また、発光源の変調光の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。

また、請求項１に記載の発明によれば、カウント手段によりカウントされた光電変換素子の数に基づいて、発光源の変調光の光量を調整する。例えば、予め定められた範囲以上の反射光成分の振幅値が演算された光電変換素子の数が一定数を越えると、発光源の変調光の光量が明るすぎると判断して発光源の変調光の光量を下げるように調整する。これによっても、反射した変調光の光量を最適に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項２に記載の発明は、請求項１に記載の発明において、前記距離画像生成部により生成された距離画像から背景以外の対象物を抽出する抽出手段をさらに備えており、前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする。

請求項２に記載の発明によれば、背景以外の対象物のみを抽出し、その抽出された対象物に対応する光電変換素子に対してカウント処理した光電変換素子の数に基づいて、発光源の変調光の光量を調整する。これにより、その対象物に最適な発光源の変調光の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項３に記載の発明は、請求項１に記載の発明において、前記距離画像生成部により生成された距離画像から予め定められた距離範囲内の対象物を抽出する抽出手段をさらに備えており、前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする。

請求項３に記載の発明によれば、検出したい距離範囲にある対象物のみを抽出し、その抽出された対象物に対応する光電変換素子に対してカウント処理した光電変換素子の数に基づいて、発光源の変調光の光量を調整する。これにより、その対象物に最適な発光源の変調光の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項４に記載の発明は、請求項１から３のいずれかに記載の発明において、前記光量調整手段は、フレーム時間毎に前記発光源の変調光の光量を変化させることを特徴とする。

請求項４に記載の発明によれば、フレーム時間毎に発光源の変調光の光量を変化させるので、広い距離範囲の対象物、複数の距離範囲の対象物、反射率の異なる複数の対象物についても精度良く検出することが可能になる。また、複数の対象物の距離を精度良く測定することが可能になる。これにより、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項５に記載の発明は、請求項１に記載の発明において、前記発光源は、対象空間に変調した変調光を照射する複数の発光体を備えており、前記複数の発光体は、複数の領域に分割されており、前記複数の光電変換素子は、前記複数の領域に対応して複数の光電変換素子エリアに分割されており、前記光量調整手段は、前記分割された光電変換素子エリアごとに、前記カウント手段によりカウントされた前記光電変換素子の数に基づいて、該分割された光電変換素子エリアに対応するエリアを照射する発光体の変調光の光量を調整することを特徴とする。

請求項５に記載の発明によれば、発光源の変調光の光量を光電変換素子エリア（画像領域）ごとに最適に調整できるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。また、発光源の変調光の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。

また、請求項５に記載の発明によれば、分割された光電変換素子エリアごとに、カウント手段によりカウントされた光電変換素子の数に基づいて、発光源の変調光の光量を調整する。例えば、ある分割された光電変換素子エリアにおいて、予め定められた範囲以上の反射光成分の振幅値が演算された光電変換素子の数が一定数を越えると、発光源の変調光の光量が明るすぎると判断してその光電変換素子エリアに対応する照射エリアの発光体の変調光の光量を下げるように調整する。これによっても、発光源の変調光の光量を光電変換素子エリア（画像領域）ごとに最適に調整できるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項６に記載の発明は、請求項５に記載の発明において、前記距離画像生成部により生成された距離画像から背景以外の対象物を抽出する抽出手段をさらに備えており、前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする。

請求項６に記載の発明によれば、背景以外の対象物のみを抽出し、その抽出された対象物に対応する光電変換素子に対してカウント処理した光電変換素子の数に基づいて、発光源の変調光の光量を調整する。これにより、その対象物に最適な発光源の変調光の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

請求項７に記載の発明は、請求項５に記載の発明において、前記距離画像生成部により生成された距離画像から予め定められた距離範囲内の対象物を抽出する抽出手段をさらに備えており、前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする。

請求項７に記載の発明によれば、検出したい距離範囲にある対象物のみを抽出し、その抽出された対象物に対応する光電変換素子に対してカウント処理した光電変換素子の数に基づいて、発光源の変調光の光量を調整する。これにより、その対象物に最適な発光源の変調光の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

本発明によれば、発光源の変調光の光量を変化させることにより、より精度の高い距離画像を生成することができる距離画像生成装置を提供することが可能となる。

本発明の第一実施形態である距離画像生成装置のブロック図である。 距離画像を生成する原理を説明するための図である。 外乱光がほとんどなく、対象物が遠い、もしくは、対象物の反射率が極端に小さい場合に起こりうる、変調光と入射光の関係を表す図である。 本発明の第一実施形態である距離画像生成装置の動作例１を説明するためのフローチャートである。 外乱光が多く、対象物の反射率が高い場合に起こりうる、変調光と入射光の関係を表す図である。 本発明の第一実施形態である距離画像生成装置の動作例２を説明するためのフローチャートである。 外乱光が比較的多く、対象物が遠い、もしくは、対象物の反射率が極端に小さい場合に起こりうる、変調光と入射光の関係を表す図である。 本発明の第一実施形態である距離画像生成装置の動作例４を説明するためのフローチャートである。 本発明の第一実施形態である距離画像生成装置の動作例５を説明するためのフローチャートである。 本発明の第一実施形態である距離画像生成装置の動作例５を説明するためのフローチャートである。 本発明の第一実施形態である距離画像生成装置の動作例６を説明するためのフローチャートである。 本発明の第一実施形態である距離画像生成装置の動作例６を説明するためのフローチャートである。 本発明の第一実施形態である距離画像生成装置の動作例７を説明するためのフローチャートである。 本発明の第二実施形態である距離画像生成装置の光源の正面図である。 自動車前方に搭載した第二実施形態の距離画像生成装置により撮像した画像例である。

〔第一実施形態〕
以下、本発明の第一実施形態である距離画像生成装置について図面を参照しながら説明する。

〔距離画像生成装置の構成〕
まず、第一実施形態である距離画像生成装置の構成について説明する。

図１は、第一実施形態である距離画像生成装置のブロック図である。図１に示すように、距離画像生成装置１は、光飛行時間型距離画像センサ１０（以下、距離画像センサ１０という）を備えている。距離画像センサ１０は、光源１１、撮像素子１５、制御部１６、及び、距離画像生成部１７等を備えている。

光源１１は、対象空間に変調した光（例えば、正弦波もしくは矩形波等で高速に変調させた赤外光もしくは可視光）を照射する発光源であり、ＬＥＤ等の高速変調が可能なデバイスが用いられる。

撮像素子１５は、光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光１４を受光して電荷に変換する複数の光電変換素子（画素ともいう）、この光電変換素子ごとに設けられた複数の電荷蓄積部、及び、光源１１の変調に同期して、光電変換素子により変換された電荷を複数の電荷蓄積部に振り分ける手段等を備えている（いずれも図示せず）。

制御部１６は、光源１１と撮像素子１５を同期制御するためのものであり、撮像素子１５は、制御部１６の同期信号に従って、光電変換素子により変換された電荷を複数の電荷蓄積部に高速に振り分ける。

距離画像生成部１７は、振り分けられた電荷に基づいて所定演算を行い、発光源との位相差を算出し、画素値が距離値である距離画像を生成する。

〔距離画像を生成する原理〕
次に、距離画像を生成する原理について説明する。

図２は、距離画像を生成する原理を説明するための図である。図２中、正弦波２１は光源１１の変調光を表しており、正弦波２２は撮像素子１５の入射光を表している。正弦波２１と正弦波２２との位相差φは、光の対象物までの飛行時間によって生じる遅延を表している。

図２では、光源１１の変調の１周期を４つの期間に分けて４つの電荷蓄積部に電荷を振り分けている。それぞれの期間をＴ１、Ｔ２、Ｔ３、Ｔ４とし、それぞれの期間に蓄積する電荷量をＣ１、Ｃ２、Ｃ３、Ｃ４とすると、位相差φは、次の式で表される。

光の速度は既知であるから、この位相差φを求めることで対象物までの距離が求まり、画素値が距離値である距離画像を生成することが可能となる。

なお、一般的な画像データとして用いる電荷量平均Ａは、次の式で表される。

また、対象物で反射した変調光成分の振幅量Ｂは、次の式で表される。

一般的に発光源の変調周波数は数十ＭＨｚであり、よって変調の１周期は数十ｎｓ程度である。そのため、距離画像を得るためには数百〜数十万周期の電荷蓄積時間を要する。

〔距離画像生成装置の動作〕
次に、上記構成の距離画像生成装置１の動作について図面を参照しながら説明する。

〔距離画像生成装置の動作例１〕
図３は、外乱光がほとんどなく、対象物が遠い、もしくは、対象物の反射率が極端に小さい場合に起こりうる、変調光と入射光の関係を表している。

図３では、光源１１から照射される変調光３１に対して入射光３２の光量が非常に小さので、撮像素子１５において蓄積される電荷も少なくなる。蓄積される電荷が少なくなると、フォトンショットノイズ等の影響が大きくなり、位相差φの算出誤差が大きくなる。

この入射光の光量が小さいことに起因する位相差φの算出誤差を防止又は低減するべく、図３に示した状況下では、距離画像生成装置１は図４に示すように動作する。

図４は、距離画像生成装置１の動作例１を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する（ステップＳ１０）。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ１１）。距離画像生成部１７は、この振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、発光源との位相差φを算出し、画素値が距離値である距離画像を生成する。

次に、制御部１６は、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以下の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ１２）（本発明のカウント手段に相当）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ１３：Ｙｅｓ）、光源１１の光量が暗いと判断して光源１１の光量を上げるように制御する（ステップＳ１４）。以後、ステップＳ１０からステップＳ１４の処理を繰り返す。

以上のように、本動作例１においては、ステップＳ１２でカウントされた光電変換素子の数が一定数を超えると（ステップＳ１３：Ｙｅｓ）、光源１１の光量が暗いと判断して光源１１の光量を上げる（ステップＳ１４）。これにより、入射光（反射した変調光）の光量を最適に保つことができるので、入射光の光量が小さいことに起因する位相差φの算出誤差の防止又は低減が可能となる。これにより、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

〔距離画像生成装置の動作例２〕
図５は、外乱光が多く、対象物の反射率が高い場合に起こりうる、変調光と入射光の関係を表している。

図５中、正弦波４１は光源１１から照射される変調光を表しており、正弦波４２は入射光を表している。ここで直線４３は撮像素子１５において蓄積される電荷が飽和する光量を表している。正弦波４２が直線４３を上回る期間では、撮像素子１５において蓄積される電荷が飽和してそれ以上増えず、結果、位相差φを算出した際に誤差となる。

この入射光の光量が大きく撮像素子において蓄積される電荷が飽和することに起因する位相差φの算出誤差を防止又は低減するべく、図５に示した状況下では、距離画像生成装置１は図６に示すように動作する。

図６は、距離画像生成装置１の動作例２を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する（ステップＳ２０）。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ２１）。距離画像生成部１７は、この振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、発光源との位相差φを算出し、画素値が距離値である距離画像を生成する。

次に、制御部１６は、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以上の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ２２）（本発明のカウント手段に相当）。あるいは、対象物で反射した変調光成分の振幅量Ｂに規定範囲（予め定められた値。閾値。）を設け、制御部１６は、規定範囲以上の反射光成分の振幅値Ｂが演算された光電変換素子の数をカウントする（ステップＳ２２）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ２３：Ｙｅｓ）、光源１１の光量が明るすぎると判断して光源１１の光量を下げるように制御する（ステップＳ２４）。以後、ステップＳ１０からステップＳ１４の処理を繰り返す。

以上のように、本動作例２においては、ステップＳ２２でカウントされた光電変換素子の数が一定数を超えると（ステップＳ２３：Ｙｅｓ）、光源１１の光量が明るすぎると判断して光源１１の光量を下げる（ステップＳ２４）。これにより、入射光（反射した変調光）の光量を最適に保つことができるので、入射光の光量が大きく撮像素子１５において蓄積される電荷が飽和することに起因する位相差φの算出誤差の防止又は低減（すなわち距離検出精度の向上）が可能となる。これにより、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

〔距離画像生成装置の動作例３〕
図７は、外乱光が比較的多く、対象物が遠い、もしくは、対象物の反射率が極端に小さい場合に起こりうる、変調光と入射光の関係を表している。図７中、正弦波５１は光源から照射される変調光を表しており、正弦波５２は入射光を表している。入射光５２の光量は十分だが、対象物で反射した変調光成分が非常に少ないため、上記式１にて位相差φを求める際、（Ｃ１−Ｃ３）、（Ｃ２−Ｃ４）の値が小さくなる。そのため、Ｃ１、Ｃ２、Ｃ３、Ｃ４にほんの少しのノイズがのると、位相差φの値が大きく変動する可能性がある。

この入射光５２の光量は十分だが、対象物で反射した変調光成分が非常に少ないことに起因する位相差φの値の変動を防止又は低減するべく、図７に示した状況下では、動作例２と同様、距離画像生成装置１は図６に示したように動作する。

すなわち、本動作例３においては、ステップＳ２２でカウントされた光電変換素子の数が一定数を超えると（ステップＳ２３：Ｙｅｓ）、光源１１の光量が明るすぎると判断して光源１１の光量を下げる（ステップＳ２４）。これにより、入射光５２の光量は十分だが、対象物で反射した変調光成分が非常に少ないことに起因する位相差φの値の変動の防止又は低減（すなわち距離検出精度の向上）が可能となる。これにより、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

〔距離画像生成装置の動作例４〕
撮像している対象物が一定の場合、光源１１の光量と、上記式３で求めた振幅量Ｂは、理論上は比例する。よって、全ての光電変換素子の振幅量Ｂの平均値もしくは標準偏差を算出し、その値が規定範囲内に収まるように、光源１１の光量を増減させてもよい。この場合、距離画像生成装置１は図８に示すように動作する。

図８は、距離画像生成装置１の動作例４を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する（ステップＳ３０）。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ３１）。距離画像生成部１７は、この振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、発光源との位相差φを算出し、画素値が距離値である距離画像を生成する。

次に、制御部１６は、全ての光電変換素子の振幅量Ｂの平均値もしくは標準偏差を算出（ステップＳ３２）する。制御部１６は、その値が規定範囲内（予め定められた範囲内）に収まるように、光源１１の光量を増減調整する（ステップＳ３３：Ｎｏ、ステップＳ３４）。以後、ステップＳ３０からステップＳ３４の処理を繰り返す。

以上のように、本動作例４においては、距離画像の精度に影響する振幅量Ｂが、距離画像を求めるのに適切な範囲にある光電変換素子数（画素数ともいう）を最大にできるため、より精度の良い距離画像を得ることが可能となる。

〔距離画像生成装置の動作例５〕
距離画像生成装置１を室内等で固定して使用する場合、背景の輝度や距離が固定であることが多い。そのような状況で背景以外の対象物を検出する際に、背景以外の対象物のみを抽出することで、その対象物の距離画像の精度を上げることが可能である。

例えば、背景以外の対象物の反射率が背景の反射率に比べ非常に大きい場合、もしくは対象物が背景に比べ非常に近い場合、背景の距離画像を得る時の光源１１の光量のままでは、背景以外の対象物からの反射光が大きく、前記した撮像素子１５において蓄積される電荷の飽和等が発生し、精度の良い距離画像が得られない可能性がある。逆に背景以外の対象物の反射率が背景の反射率に比べ非常に小さい場合も同様に精度の良い距離画像が得られない可能性がある。

よって、距離画像生成部１７により生成された距離画像から、背景以外の対象物を抽出し、その抽出された対象物に対応する光電変換素子（画素ともいう）に対して図４や図６と同様の処理を行い、光源１１の光量を制御することで、対象物の距離精度を上げることができる。この場合、距離画像生成装置１は図９、図１０に示すように動作する。

図９、図１０は、距離画像生成装置の動作例５を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する（ステップＳ４０）。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ４１）。距離画像生成部１７は、この振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、発光源との位相差φを算出し、画素値が距離値である距離画像を生成する（ステップＳ４２）。

次に、制御部１６は、ステップＳ４２で生成された距離画像から背景以外の対象物を抽出する（ステップＳ４３）。背景以外の対象物を抽出する方法としては、背景の距離画像をメモリに保存しておき、逐次その距離画像と比較する。そして、背景とは異なる距離値を算出した画素を対象物とみなす。この際に、異常に小さい、もしくは大きい対象物を排除することで誤検出を防ぐことが可能である。

次に、制御部１６は、ステップＳ４３で抽出された対象物に対応する光電変換素子（画素ともいう）のうち、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以下の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ４４）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ４５：Ｙｅｓ）、光源１１の光量が暗いと判断して光源１１の光量を上げるように制御する（ステップＳ４６）。以後、ステップＳ４０からステップＳ４６の処理を繰り返す。

あるいは、図１０に示すように、制御部１６は、ステップＳ４３で抽出された対象物に対応する光電変換素子（画素ともいう）のうち、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以上の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ４７）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ４８：Ｙｅｓ）、光源１１の光量が明るすぎると判断して光源１１の光量を下げるように制御する（ステップＳ４９）。以後、ステップＳ４０からステップＳ４９の処理を繰り返す。

以上のように、本動作例５においては、背景以外の対象物のみを抽出し（ステップＳ４３）、その抽出された対象物に対応する光電変換素子に対してカウント処理（ステップＳ４４、ステップＳ４７）した光電変換素子の数に基づいて、発光源の光量を調整する（ステップＳ４５：Ｙｅｓ、ステップＳ４６、ステップＳ４８：Ｙｅｓ、ステップＳ４９）。これにより、その対象物に最適な光源１１の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

〔距離画像生成装置の動作例６〕
距離画像生成装置１を屋外等で使用する場合、もしくは距離画像生成装置を自動車等の移動体に取り付けて使用する場合等、対象物の距離が大きく変化する状況で使用する際に、検出したい距離範囲を設定することで、その範囲内にある対象物の距離検出精度を上げることが可能である。

例えば、自動車の前方に取り付けて、走行時の前方障害物を監視する場合、近距離に障害物が存在しない時には、光源１１の光量を上げて、遠距離の対象物まで精度よく距離計測できるようにする。しかし、近距離に対象物が存在する時には、その対象物からの反射光量が大きくなり、検出精度に影響を及ぼす可能性がある。

よって、任意の距離範囲を定め、距離画像生成部１７により生成された距離画像から、その距離範囲にある対象物を抽出し、検出したい距離範囲にある対象物に最適な光源１１の光量に制御することで、計測距離精度を高めることができる。

例えば、自動車の前方監視において、前方に障害物が存在しない場合は、遠距離まで測定するために光源の光量を上げる。前方に障害物が存在してその障害物が一定距離以内に近づいてきた場合には、その障害物に注視する必要があるため、光源の光量をその障害物の距離に適した光量に調節する。この場合、距離画像生成装置は図１１、図１２に示すように動作する。

図１１、図１２は、距離画像生成装置１の動作例６を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を照射する（ステップＳ５０）。撮像素子１５は、その光源１１から照射され対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ５１）。距離画像生成部１７は、この振り分けられた電荷に基づいて所定演算（上記式１の演算）を行い、発光源との位相差φを算出し、画素値が距離値である距離画像を生成する（ステップＳ５２）。

次に、制御部１６は、ステップＳ５２で生成された距離画像から予め定められた任意の距離範囲にある対象物を抽出する（ステップＳ５３）。任意の距離範囲にある対象物を抽出する方法としては、予め定められた任意の距離範囲内にある画素を対象物とみなすことが考えられる。この際に、異常に小さい、もしくは大きい対象物を排除することで誤検出を防ぐことが可能である。

次に、制御部１６は、ステップＳ５３で抽出された対象物に対応する光電変換素子（画素ともいう）のうち、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以下の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ５４）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ５５：Ｙｅｓ）、光源１１の光量が暗いと判断して光源１１の光量を上げるように制御する（ステップＳ５６）。

あるいは、図１２に示すように、制御部１６は、ステップＳ５３で抽出された対象物に対応する光電変換素子（画素）のうち、少なくとも一つの電荷蓄積部に規定値（予め定められた値。閾値。）以上の電荷が蓄積された光電変換素子の数をカウントする（ステップＳ５７）。制御部１６は、このカウントされた光電変換素子の数が一定数を超えると（ステップＳ５８：Ｙｅｓ）、光源１１の光量が明るすぎると判断して光源１１の光量を下げるように制御する（ステップＳ５９）。以後、ステップＳ５０からステップＳ５９の処理を繰り返す。

以上のように、本動作例６においては、検出したい距離範囲にある対象物を抽出し（ステップＳ５３）、その抽出された対象物に対応する光電変換素子に対してカウント処理（ステップＳ５４、ステップＳ５７）した光電変換素子の数に基づいて、発光源の光量を調整する（ステップＳ５５：Ｙｅｓ、ステップＳ５６、ステップＳ５８：Ｙｅｓ、ステップＳ５９）。これにより、その距離範囲にある対象物に最適な光源１１の光量に保つことができるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

なお、屋外のような広い場所を撮像すると、近距離の道路から無限遠まで幅広い距離範囲の対象物が写ってしまう。この場合、空が写る画像上部、もしくは自動車の一部や道路が写る画像下部を排除するなど、画像上での対象範囲を予め絞ってもよい。

距離画像から任意の対象距離範囲内にある物体を対象物とみなすようにしてもよい。この際に、検出した対象物の大きさに制約を設けることで、誤検出を防ぐことも可能である。また、形状で絵制約を設けてもよい。

〔距離画像生成装置の動作例７〕
対象距離範囲が複数ある場合、もしくは異なる距離、反射率を持つ複数の対象物がある場合等で、光源１１の光量が１種類では対象物の距離を精度良く測定できない場合、フレーム間で複数の光量を順次変化させることで、これらの複数の対象物の距離を精度良く測定することが可能になる。

例えば、０〜３０ｍを対象測定範囲とした場合で、０〜１５ｍ、１５〜３０ｍでは、最適な光源１１の光量が異なる場合、１種類の光源１１の光量では精度の良い距離計測ができない可能性がある。そのような場合、フレーム毎に０〜１５ｍ、１５〜３０ｍに適した光源１１の光量を切り替えて距離計測することで、広い距離範囲の対象物を精度良く検出することが可能になる。ここで１フレームとは、１つの距離画像を得る時間のことで、この場合、０〜１５ｍ、１５〜３０ｍの２フレーム時間で１つの距離画像を生成する。この場合、距離画像生成装置は図１３に示すように動作する。

図１３は、距離画像生成装置の動作例７を説明するためのフローチャートである。以下の処理は、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

まず、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を、０〜１５ｍに適した光量で照射する（ステップＳ６０、Ｓ６１）。撮像素子１５は、その光源１１から照射された対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ６２）。

１フレーム時間が経過すると（ステップＳ６３：Ｙｅｓ）、光源１１は、制御部１６の同期信号に従って、対象空間に変調した光を、１５〜３０ｍに適した光量で照射する（ステップＳ６４、Ｓ６５）。撮像素子１５は、その光源１１から照射された対象空間内の対象物で反射した反射光を含む入射光を受光し、光電変換素子により電荷に変換し、制御部１６の同期信号に従って、その変換された電荷を複数の電荷蓄積部に振り分ける（ステップＳ６６）。

そして、１フレーム時間が経過すると（ステップＳ６７：Ｙｅｓ）、距離画像生成部１７は、ステップＳ６２で振り分けられた電荷に基づいて所定演算を行うことにより得られた０〜１５ｍ内の対象物の距離値、及び、ステップＳ６６で振り分けられた電荷に基づいて所定演算を行うことにより得られた１５〜３０ｍ内の対象物の距離値を含む距離画像を生成する（ステップＳ６８）。以後、ステップＳ６０からステップＳ６８の処理を繰り返す。

以上のように、本動作例７においては、フレーム毎に０〜１５ｍ、１５〜３０ｍに適した光源１１の光量を切り替えて距離計測することで（ステップＳ６０、Ｓ６４）、広い距離範囲の対象物を精度良く検出することが可能になる。また、複数の対象物の距離を精度良く測定することが可能になる。これにより、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。

なお、本動作例では２種類の距離範囲に分割したが、２種類以上の範囲に分割しても良い。また、距離範囲別ではなく、複数の反射率を持つ対象物別、複数の距離を持つ対象物別に光量の種類を分割しても良い。

以上説明したように、本実施形態の距離画像生成装置１によれば、発光源１１の光量を変化させるように構成したので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。また、発光源１１の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。

〔第二実施形態〕
次に、本発明の第二実施形態である距離画像生成装置について図面を参照しながら説明する。

〔距離画像生成装置の構成〕
外で車両前方の距離を測定する場合、一般的に画像上部は空などの比較的距離が遠いものが撮像され、逆に画像下部は、道路もしくは自車両の一部など比較的距離が近いものが多く撮像される。よって、画像上の位置毎に光量が可変であることが望ましい。

本実施形態の距離画像生成装置は、画像上の位置毎に発光源１１の光量を可変にできるようにしたものであり、第一実施形態の距離画像生成装置１と略同様の構成であるが、次の点が相違する。

図１４は、本発明の第二実施形態である距離画像生成装置の光源の正面図である。

第一に、図１４に示すように、発光源１１が、対象空間に変調した光を照射する複数のＬＥＤ等の発光体１１ａ（図１４では１０８個の発光体１１ａを例示）で構成されている点が異なる。図１４では、複数の発光体１１ａを、複数の領域６１〜６９に分割し、それぞれの領域６１〜６９の発光体１１ａに異なる照射エリアを持たせている。

第二に、それぞれの領域６１〜６９の発光体１１ａの光量を独立して調整できるように構成されている点が異なる。なお、この光量の調整は、第一実施形態と同様、主に、制御部１６又はこれとは別に設けられた制御部（図示せず）が行う。

第三に、複数の光電変換素子（画素ともいう）を、それぞれの領域６１〜６９の発光体１１ａの異なる照射エリアに対応して複数の光電変換素子エリアに分割している点。図１５では、複数の光電変換素子エリア７１〜７９に分割している点が異なる。

第四に、第一実施形態で説明した距離画像生成装置１の動作例１〜７に示した処理を、光電変換素子エリア７１〜７９ごとに行い、光電変換素子エリア７１〜７９に対応する領域６１〜６９ごとに、発光体１１ａの光量を独立して制御する点が異なる。

他の点については第一実施形態と同様である。

図１５は、自動車前方に搭載した本実施形態の距離画像生成装置により撮像した画像である。図１５中、符号７００は画像全体を示しており、符号７１〜７９はそれぞれ発光体１１ａの分割エリア６１〜６９の照射範囲に対応している。ここで、前述した光量を調整するための演算画素範囲を図１５の分割範囲７１〜７９に対応して分割する。

一般的に画像上部は空などの比較的距離が遠いものが撮像されるため、光量は大きくなる。逆に画像下部は道路などの比較的近距離の対象物が撮像されるため、画像下部に比べ光量は小さくなると予想される。

本実施形態では、図１５の符号７３、７６、７９で示す領域は比較的近距離のため、光源１１からの変調光の反射成分が多い。この場合、例えば、光電変換素子エリア７１〜７９ごとに図６の処理を行い、カウントされた光電変換素子の数が一定数を超えた光電変換素子エリア（例えば光電変換素子エリア７３、７６、７０）に対応する領域（例えば領域６３、６６、６９）の発光体１１ａ光量を下げる。

一方、図１５の符号７１、７４、７７で示す領域は、主に空などの遠距離のものが写っているため、対応する領域６１、６４、６７の光量を上げる必要がある。この場合、例えば、光電変換素子エリア７１〜７９ごとに図４の処理を行い、カウントされた光電変換素子の数が一定数を超えた光電変換素子エリア（例えば光電変換素子エリア７１、７４、７７）に対応する領域（例えば領域６１、６４、６７）の発光体１１ａの光量を上げる。なお、図１５のように信号機などが写っている光電変換素子エリアについては、図４又は図６の処理により対応する領域の発光体１１ａの光量を調節する。

本実施形態では分割エリアが９つの例について説明したが本発明はこれに限定されない。分割エリアは９つよりも多くてもよいし、９つより少なくてもよい。また、光源１１の照射領域と撮像素子の分割領域の対応がとれていれば、光源１１の分割数と光電変換素子の分割数が異なっていても良い。

以上説明したように、本実施形態の距離画像生成装置によれば、発光源１１（発光体１１ａ）の光量を光電変換素子エリア（画像領域）ごとに最適に調整できるので、距離検出精度の向上、及び、より精度の高い距離画像の生成が可能となる。また、発光源１１（発光体１１ａ）の光量が常に一定ではないので、余計な発光電力を抑えることも可能となる（特に光量が減少する方向に調整される場合）。

上記実施形態はあらゆる点で単なる例示にすぎない。これらの記載によって本発明は限定的に解釈されるものではない。本発明はその精神又は主要な特徴から逸脱することなく他の様々な形で実施することができる。

１…距離画像生成装置、１０…光飛行時間型距離画像センサ（距離画像センサ）、１１…光源、１１ａ…発光体、１４…入射光、１５…撮像素子、１６…制御部、１７…距離画像生成部、６１〜６９…分割エリア、７１〜７９…光電変換素子エリア、φ…位相差

Claims (7)

1. 対象空間に変調した変調光を照射する発光源と、
   前記発光源から照射され対象空間内の対象物で反射した反射光を受光して電荷に変換する複数の光電変換素子、前記光電変換素子ごとに設けられた複数の電荷蓄積部、及び、前記発光源の変調に同期して、前記光電変換素子により変換された電荷を前記複数の電荷蓄積部に振り分ける手段と、を備えた撮像素子と、
   前記複数の電荷蓄積部に蓄積された電荷に基づいて所定演算を行い、画素値が距離値である距離画像を生成する距離画像生成部と、
   前記発光源の変調光の光量を調整する光量調整手段と、
   前記複数の電荷蓄積部に蓄積された電荷に基づいて、前記発光源から照射され対象空間内の対象物で反射した反射光成分の振幅値を演算する演算手段と、
   前記演算手段により予め定められた範囲外の反射光成分の振幅値が演算された前記光電変換素子の数をカウントするカウント手段と、
   を備え、
   前記光量調整手段は、前記カウント手段によりカウントされた光電変換素子の数が一定数を越えたとき、前記発光源の変調光の光量を下げるように調整することを特徴とする距離画像生成装置。
2. 前記距離画像生成部により生成された距離画像から背景以外の対象物を抽出する抽出手段をさらに備えており、
   前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする請求項１に記載の距離画像生成装置。
3. 前記距離画像生成部により生成された距離画像から予め定められた距離範囲内の対象物を抽出する抽出手段をさらに備えており、
   前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする請求項１に記載の距離画像生成装置。
4. 前記光量調整手段は、フレーム時間毎に前記発光源の変調光の光量を変化させることを特徴とする請求項１から３のいずれかに記載の距離画像生成装置。
5. 前記発光源は、対象空間に変調した変調光を照射する複数の発光体を備えており、
   前記複数の発光体は、複数の領域に分割されており、
   前記複数の光電変換素子は、前記複数の領域に対応して複数の光電変換素子エリアに分割されており、
   前記光量調整手段は、前記分割された光電変換素子エリアごとに、前記カウント手段によりカウントされた前記光電変換素子の数に基づいて、該分割された光電変換素子エリアに対応するエリアを照射する発光体の変調光の光量を調整することを特徴とする請求項１に記載の距離画像生成装置。
6. 前記距離画像生成部により生成された距離画像から背景以外の対象物を抽出する抽出手段をさらに備えており、
   前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする請求項５に記載の距離画像生成装置。
7. 前記距離画像生成部により生成された距離画像から予め定められた距離範囲内の対象物を抽出する抽出手段をさらに備えており、
   前記カウント手段は、前記抽出手段により抽出された対象物に対応する前記光電変換素子に対して前記カウントする処理を行うことを特徴とする請求項５に記載の距離画像生成装置。