JP2007093306A

JP2007093306A - 空間情報の検出装置

Info

Publication number: JP2007093306A
Application number: JP2005280912A
Authority: JP
Inventors: Hideki Kawahara; 英喜河原; Kenichi Hagio; 健一萩尾; Eiji Nakamoto; 栄次中元
Original assignee: Matsushita Electric Works Ltd
Current assignee: Panasonic Electric Works Co Ltd
Priority date: 2005-09-27
Filing date: 2005-09-27
Publication date: 2007-04-12
Anticipated expiration: 2025-09-27
Also published as: JP4442539B2

Abstract

【課題】環境光の影響を除去するように差分をとった振幅画像を用い、受光出力の飽和を抑制することで、有意の振幅画像が得られる空間情報の検出装置を提供することにある。
【解決手段】投光手段２は点灯と消灯とを交互に繰り返し対象物Ｏｂに信号光を照射する。撮像手段１は対象物Ｏｂで反射された信号光を受光し、各画素ごとに受光光量の変化に応じた受光出力を発生する。差分演算手段４は、変調信号に同期して点灯期間と消灯期間との受光出力の差分を各画素ごとに求め、振幅画像生成手段５は差分演算手段４で求めた各画素の差分を画素値に持つ振幅画像を生成する。飽和判定手段６は点灯期間の受光出力と飽和閾値との大小を比較する。受光出力が飽和閾値より大きいと判断されると、差分演算手段４の出力値が最大になり、領域指定手段７、輝度検出手段８、補正処理手段９を通して受光出力が低下するように受光光学系１１または光照射手段２１を調節する。
【選択図】図１

Description

本発明は、所定周波数で強度を変調した信号光を対象空間に投光し、対象空間から受光した光に含まれる信号光の振幅を検出することにより、対象空間に存在する物体の反射率と物体までの距離とを含む空間情報を得るようにした空間情報の検出装置に関するものである。

従来から、投光手段から対象空間に投光し、対象空間を撮像手段で撮像するアクティブ型の空間情報の検出装置が知られている。この装置では、投光手段から対象空間に投光され対象空間に存在する対象物によって反射された光を撮像手段に受光させている。空間情報は、対象物の反射率や距離を反映した情報であって、この種の情報を得るために、投光手段から対象空間に投光する光の強度を所定周波数の変調信号で変調し、また撮像手段では変調信号の位相の特定の２区間に同期した光を受光し、両区間の受光出力の差分を求めることが考えられている（たとえば、特許文献１参照）。

いま、投光手段から対象空間に投光する期間（投光期間という）と投光手段から対象空間に投光しない期間（非投光期間という）とを交互に設けるように変調信号の波形として矩形波を用いる場合を想定する。非投光期間には自然光のような環境光のみが撮像手段に入射し、投光期間には環境光のほかに投光手段から投光した光である信号光も撮像手段に入射する。光は撮像手段に対して加算的に入射するから、投光期間と非投光期間とで環境光が変化しなければ、投光期間の受光出力と非投光期間の受光出力との差分を求めることによって、信号光に相当する受光出力が得られる。

信号光の受光光量は、対象物までの距離と反射率とに主として依存する。つまり、距離が遠いほど受光光量は少なくなり、反射率が低いほど受光光量が少なくなる。したがって、信号光に相当する受光出力を求めることによって、反射率や距離を反映した空間情報を得ることができる。

ここで、対象空間において対象物以外の背景からは信号光が入射しないとすれば、上述のようにして差分を求めることで、撮像手段の受光出力から対象物で反射された信号光のみを抽出することができる。言い換えると、背景の情報を除去して対象物の情報のみを抽出することが可能である。

上述の例では変調信号の波形を矩形波としているが、投光から受光までの光の飛行時間が受光出力では誤差の範囲になる程度の周波数の変調信号であれば、正弦波や三角波や鋸歯状波などを用いることも可能であり、これらの波形を用いた場合でも撮像手段において変調信号の位相の特定の２区間（通常、１８０度反転した位相）に同期するタイミングで求めた受光出力の差分を用いることによって、受光した信号光の振幅を求めることができる。投光側の信号光の振幅を一定とすれば、受光側の信号光の振幅は、対象物までの距離や対象物の反射率を反映していることになる。
特開２００１−１４８８０８号公報

ところで、上述の構成を有する空間情報の検出装置に用いる撮像手段では、受光光量に上限があり、受光光量が上限を超えると受光出力が飽和する。撮像手段が飽和したときにその出力を受光出力として取り出す場合には、受光出力は上限であるから、受光光量が少なくとも上限以上であることがわかるが、上述のように変調信号の位相の特定の２区間に同期するタイミングで求めた受光出力の差分を求める場合には、差分を求める両受光出力の一方でも飽和していると求めた差分には有意の空間情報が含まれないことになる。とくに、両受光出力がともに飽和している場合には、差分した結果は零であり、背景として扱われることになる。

本発明は上記事由に鑑みて為されたものであり、その目的は、環境光の影響を除去するように差分をとった振幅画像を用いるとともに、受光出力が飽和すると次の受光出力の飽和を抑制し、つねに有意の振幅画像が得られるようにした空間情報の検出装置を提供することにある。

請求項１の発明は、所定周波数の変調信号で強度を変調した信号光を対象空間に投光する投光手段と、複数個の画素を備え対象空間に存在する対象物で反射された信号光を受光するとともに各画素ごとに受光光量の変化に応じた受光出力が得られる撮像手段と、変調信号の位相における異なる２区間に同期した受光出力の差分を各画素ごとに求める差分演算手段と、差分演算手段で求めた各画素の前記差分を画素値に持つ振幅画像を生成する振幅画像生成手段と、前記２区間の少なくとも一方に同期するタイミングで得られる受光出力と規定した飽和閾値との大小を比較する飽和判定手段と、飽和判定手段において当該受光出力が飽和閾値より大きいと判断されると撮像手段の次の受光出力を低減させる補正処理を実行する補正手段とを備えることを特徴とする。

この構成によれば、受光出力が飽和するときに次の受光出力が低減されるように補正することで受光出力の飽和を抑制することが可能になり、結果的に受光出力の差分から有意の空間情報が得られるようにする。たとえば、対象空間に存在する対象物までの距離が小さすぎる場合や対象物の反射率が想定している反射率よりも高い場合には、受光出力が一旦は飽和するから当該受光出力を用いた振幅画像では有意の空間情報が得られないが、その後には受光出力が飽和しないように補正され、振幅画像により有意の空間情報を得ることが可能になる。

請求項２の発明では、請求項１の発明において、前記補正手段は、指示された操作量に応じて前記撮像手段の受光出力を調節する補正実施手段と、前記飽和判定手段による比較結果を用いて補正実施手段の操作量を求め当該操作量を補正実施手段に指示する補正演算手段とを備えることを特徴とする。

この構成によれば、受光出力の差分を用いて振幅画像を得る構成において、飽和判定手段による受光出力と飽和閾値との比較結果を用いて補正実施手段の操作量を決定しているから、操作量が適宜に決定されると飽和していない受光出力について差分を求めることが可能になり、有意な振幅画像を得ることができる。

請求項３の発明では、請求項２の発明において、前記飽和判定手段は、比較結果において受光出力が飽和閾値より大きいときには前記差分演算手段で求めた差分に代えて規定値を出力させることを特徴とする。

この構成によれば、飽和判定手段での判定結果を補正実施手段に直接反映するのではなく、飽和判定手段での判定結果が差分演算手段から出力される差分を用いて補正実施手段に反映される構成を採用しているにもかかわらず、差分演算手段の出力によって受光出力の飽和の有無を知ることができ、その結果を補正実施手段に反映させることができる。すなわち、差分が規定値になることで飽和しているか否かを受光出力から判断することができる。また、いずれかの画素に対応する受光出力が飽和したときに当該画素に対応する差分と周辺部位の差分との差が小さくなるような規定値を選択しておくことによって、振幅画像内での飽和部位の違和感を軽減することができる。

請求項４の発明では、請求項３の発明において、前記規定値は、前記差分演算手段から出力される差分の最大値であることを特徴とする。

この構成によれば、飽和部位の画素に差分が取りうる最大値を与えることによって、受光出力の飽和を補正演算手段に確実に認識させることができる。また、振幅画像においては、受光出力が飽和している部位を背景と区別することができる。

請求項５の発明では、請求項２ないし請求項４のいずれかの発明において、前記補正演算手段は、前記差分との大小を比較する基準値により区分された範囲のうち前記差分が含まれる画素数がもっとも多い範囲に対応付けた操作量を採用することを特徴とする。

この構成によれば、着目領域の中で差分が同範囲になる画素数のもっとも多い差分の範囲によって操作量を決めるから、着目領域の大部分について適正な受光出力が得られ、対象物の大部分を振幅画像として抽出することができる。

請求項６の発明では、請求項２ないし請求項４のいずれかの発明において、前記補正演算手段は、前記振幅画像内で着目領域を指定する領域指定手段と、領域指定手段で指定された着目領域内の画素に関する前記差分を用いて信号光に相当する受光出力を評価する輝度検出手段と、輝度検出手段で評価した信号光に対応する受光出力があらかじめ規定した基準に近付くように前記操作量を求める補正処理手段とを備えることを特徴とする。

この構成によれば、着目領域として対象物が存在する可能性が高い領域を指定しておくことによって、差分演算手段で求めた差分のうち着目領域内の画素から得られる差分は信号光に関する情報を持つことになる。したがって、信号光による受光出力を基準に近付けるように受光出力を補正することで、対象物に関して適正な値を持った振幅画像が得られるように振幅画像が補正されることになる。

請求項７の発明では、請求項６の発明において、前記領域指定手段は、前記差分演算手段で求めた前記差分を規定の有効閾値と比較し前記振幅画像内で前記差分が有効閾値を越える画素の存在する領域を前記着目領域として指定することを特徴とする。

この構成によれば、振幅画像の画素値（つまり、差分）によって着目領域を指定するから、反射率が同等の対象物であれば、近距離に存在する対象物を着目領域として指定することができる。つまり、ドアホン子機に用いるカメラのように比較的近距離に存在する人を対象物とする場合に、遠方で通過している人などは着目領域から除外することができ、対象物として必要な領域だけを着目領域に指定することが可能になる。

請求項８の発明では、請求項６または請求項７の発明において、前記補正処理手段は、前記着目領域の受光出力の代表値に対応付けて当該受光出力が小さいほど大きくなる係数を設定し、前記領域指定手段において次に指定する着目領域を求める際に前記差分に当該係数を乗じた後に前記有効閾値と比較することを特徴とする。

この構成によれば、着目領域から得られる受光出力が小さいときには差分に大きい係数を乗じることで、着目領域の範囲として指定する範囲を拡げることができる。たとえば、対象物がやや遠方に存在している場合や対象物の反射率が想定している反射率よりも低い場合に、着目領域に対象物の一部しか含まれないことがあるが、係数を用いて着目領域を拡げることで対象物の全体を含むように着目領域を補正し、結果的に、対象物の全体を含む振幅画像を生成することができる。

請求項９の発明では、請求項２ないし請求項８のいずれかの発明において、前記撮像手段は、前記変調信号における異なる位相の２区間で各別に生成した電荷を変調信号の複数周期に亘る蓄積時間において蓄積した後に受光出力として取り出すイメージセンサを備え、前記補正実施手段は、前記操作量に応じて蓄積時間を変化させることを特徴とする。

この構成は、イメージセンサの蓄積時間を調節することによって受光出力を調節しているから、撮像手段での受光光量が多ければ蓄積時間を短くして応答性を高めることができ、撮像手段での受光光量が少なければ蓄積時間が長くなって応答性が低下するものの、イメージセンサにおいて発生するショットノイズによるノイズレベルを抑制することが可能になる。なお、蓄積時間は各区間の１回の時間と周期数（蓄積回数）との積になる。

本発明の構成によれば、受光出力が飽和するときに次の受光出力が低減し受光出力の飽和を抑制するから、環境光が多く存在する屋外などで使用する場合であっても、受光出力の飽和を抑制し、受光出力の差分から有意の空間情報が得られるようにすることができるという利点がある。

図１は本発明の構成を示しており、複数個の画素を備え各画素ごとに受光光量に応じた受光出力が得られる撮像手段１と、撮像手段１により撮像する対象空間に信号光を投光する投光手段２とを備える。

撮像手段１は、アイリス絞りやレンズからなる受光光学系１１と、二次元平面に多数個の画素が配列され受光光学系１１を通して対象空間からの光が画素に入射するイメージセンサ１２と、イメージセンサ１２の出力をデジタル信号に変換するＡＤ変換部１３とからなる。受光光学系１１には種々の構成を採用することができ、アイリス絞りを用いる場合には外部信号により開口径の調節が可能になるものを用いる。また、アイリス絞りとレンズとの他に、透過率の異なる減光フィルタを複数用意しておき、外部信号によってどの減光フィルタを用いるかを選択する構成を採用することもできる。あるいはまた、液晶を用いた減光フィルタであって外部信号により透光率を変化させるものを用いることも可能である。受光光学系１１に設けたレンズは、イメージセンサ１２から対象空間を見る方向がイメージセンサ１２の各画素に対応付ける。

投光手段２は、対象空間に光を照射する光源を備えた光照射手段２１と、光照射手段２１から照射する光の強度を変調するための所定周波数の変調信号を出力する変調手段２２とからなる。光照射手段２１には、たとえば複数個の発光ダイオードを一平面上に配列したものや半導体レーザと発散レンズとを組み合わせたものなどを用いることができる。また、可視光のほか赤外線などを用いることも可能である。変調手段２２から出力される変調信号には矩形波を用いる。矩形波のオン期間に光照射手段２１から対象空間に投光し、矩形波のオフ期間には光照射手段２１から投光しない構成を採用する。すなわち、光照射手段２１は投光（点灯）と非投光（消灯）とを所定周波数（１０〜１００ｋＨｚ）で交互に繰り返す。以下では、光照射手段２１から投光する期間を点灯期間と呼び、光照射手段２１から投光していない期間を消灯期間と呼ぶ。

撮像手段１は、変調信号に同期するように制御され、点灯期間の受光出力と消灯期間の受光出力とが各別に取り出される。ただし、変調信号に同期させて各点灯期間および各消灯期間ごとに受光出力を取り出そうとすると、受光出力を１秒間に数万回取り出さなければならないから、応答速度の速い撮像手段１が必要になる。一般に、動画像は１秒間に３０フレームであれば滑らかな動きが得られるから、撮像手段１の応答速度もこの程度にすることが望ましい。そこで、撮像手段１では、光照射により生成された電荷をそのまま取り出すのではなく、撮像手段１を構成するイメージセンサ１２の内部において点灯期間の電荷と消灯期間の電荷とをそれぞれ蓄積し、変調信号の所定周期分の電荷を蓄積した後に受光出力として取り出す構成を採用する。この種のイメージセンサ１２は、画素単位で受光感度の調節を可能とすることにより実現される。

たとえば、ＩＴ型のＣＣＤイメージセンサを用いる場合には、点灯期間と消灯期間とのうち目的とする期間に生成された電荷を転送領域に移動させ目的としない期間に生成された電荷を廃棄するように制御すれば、転送領域には目的とする期間の電荷が蓄積される。この構成の場合、電荷を蓄積する期間（以下、「蓄積時間」という）を調節することが可能である。蓄積時間は、電荷を蓄積する１回の時間と、蓄積する回数（蓄積回数）との積になる。イメージセンサ１２には、この種の用途に特化した構成を用いることも可能である。なお、変調信号の周波数をイメージセンサ１２から１秒間に受光出力を取り出す回数の２分の１とすれば、通常のＣＣＤイメージセンサでも対応可能である。たとえば、変調信号の周波数を３０Ｈｚとし、撮像手段１から受光出力を毎秒６０回（つまり、点灯期間と消灯期間とが３０回ずつ）取り出すようにしてもよい。以下では、イメージセンサ１２から１回取り出した受光出力の単位を１フレームと呼ぶことにする。つまり、点灯期間と消灯期間との受光出力を１回ずつ取り出すと２フレームのデータを取り出したことになる。

撮像手段１からデジタル信号として取り出される受光出力はフレームメモリ３に一時的に格納される。フレームメモリ３は、最小では２フレーム分の容量があればよく、点灯期間と消灯期間との受光出力が１セットとして格納されることになる。変調信号の１周期内において撮像手段１で受光する環境光（太陽光や照明光）の光量に変化がないとすれば、点灯期間と消灯期間との受光出力の差分は光照射手段２１から対象空間に投光した信号光が対象空間に存在する物体Ｏｂで反射した反射光の振幅を反映する。

本実施形態では、フレームメモリ３に格納された２フレーム分の受光出力の差分を求める差分演算手段４を設けてあり、差分演算手段４では点灯期間と消灯期間とで得られた撮像手段１の受光出力の差分を求める。フレームメモリ３は、撮像手段１から受光出力を取り出している期間に受光出力を格納し、撮像手段１が光照射による電荷を集積している期間にデータが読み出される。

差分演算手段４で求めた差分値は振幅画像生成手段５に入力され、点灯期間と消灯期間とにおける各画素ごとの差分を画素値とする差分画像が生成される。この差分画像における各画素の値は理想的には信号光の受光強度に対応しており、撮像手段１で受光した信号光の振幅を反映する差分画像が得られるから、以下ではこの差分画像を振幅画像と呼ぶ。たとえば、点灯期間において図２（ａ）の画像Ｐ１に相当する受光出力が得られ、消灯期間において図２（ｂ）の画像Ｐ２に相当する受光出力が得られたとすると、振幅画像Ｐ３は図２（ｃ）のようになる。振幅画像では対象空間において信号光を反射する対象物Ｏｂ以外の背景が消去され、振幅画像内には対象物Ｏｂのみが存在することになる（対象物Ｏｂ以外の画素値は０であって黒画素になる）。なお、差分演算手段４において点灯期間と消灯期間との受光出力の差分を求めずに、点灯期間と消灯期間との一方の受光出力のみを通過させれば、背景を含む濃淡画像を得ることができる。

ところで、フレームメモリ３と差分演算手段４との間には飽和判定手段６が設けられ、飽和判定手段６では、点灯期間と消灯期間との受光出力について各画素ごとに規定した飽和閾値との大小を比較する。いま、点灯期間の各画素ごとの受光出力Ａａ、消灯期間の各画素ごとの受光出力をＡｂとすれば、環境光の変化が実質的に生じないとみなせる短時間内であれば、Ａａ＞Ａｂが一般に成立するから、受光出力Ａａが規定の飽和閾値Ｔｈ１を超えていなければ、受光出力Ａｂが飽和閾値Ｔｈ１を超えていないことを保証できる。そこで、飽和判定手段６では、点灯期間の受光出力Ａａについて飽和閾値Ｔｈ１との大小を比較する（図３のＳ３参照）。飽和閾値Ｔｈ１は受光出力Ａａの飽和を判定する閾値であり、飽和判定手段６では、受光出力Ａａが飽和閾値Ｔｈ１を超えているときに、受光出力Ａａが飽和していると判断する。ここで、Ａａ＞Ａｂは一般に成立するが、場合によっては、この関係が成立しないこともあるから、飽和閾値Ｔｈ１と受光出力Ａｂとの比較も併せて行うようにしてもよい。

受光出力Ａａが飽和閾値Ｔｈ１を超えていることは、上述のように受光出力Ａａが飽和しているということであるから、このような受光出力Ａａは空間情報を反映していない。言い換えると、差分演算手段４において差分ΔＡを求めても振幅画像を生成することができない。そこで、飽和判定手段６において飽和と判定されたときには、差分演算手段４に対して出力値を規定値にするように指示する。つまり、飽和時には、差分演算手段４の出力は規定値になる。

この規定値としては、差分演算手段４の出力値として許容された範囲の最大値や中央値を用いたり、差分演算手段４から通常は出力しない特定の値を採用することができる。たとえば、受光出力Ａａ，Ａｂを８ビットすなわち２５５段階で表す場合、規定値として最大値を採用するときには「２５５」を用いる。差分演算手段４の出力値として最大値を用いると、受光出力Ａａが飽和している画素を背景と区別することができる。また、差分演算手段４の出力値の範囲の中央値を用いると、飽和している画素と周辺画素との差を比較的小さくすることができるから、違和感のない振幅画像を得ることができる。

また、規定値を他の画素で生じない値（たとえば、２５５段階のうち差分ΔＡについては２５４段階で表し、「２５５」は差分ΔＡでは発生しない値としておく）とすれば、規定値の画素を受光出力Ａａが飽和している無効な画素とすることが可能になる。このように、飽和している画素を無効な画素として他の画素と区別すれば、振幅画像生成手段５において、無効な画素を周辺の画素の値で補間することが可能になる。補間した振幅画像を用いれば、振幅画像において異常値を持つ画素が発生しにくくなり違和感の少ない画像が得られる。

ところで、受光出力が飽和していれば、その受光出力は空間情報を反映しておらず、当該画素に上述のように規定値を当て嵌めたとしても、その値は振幅画像を表示したときに違和感を与えないための疑似的な値に過ぎない。したがって、フレームメモリ３に次に格納する受光出力は飽和閾値を超えないように補正しなければならない。また、振幅画像では上述したように、背景を除去して対象物Ｏｂのみの画像を得ることが目的であるから、対象物Ｏｂに対応する画素の受光出力が飽和していなければ、目的とする振幅画像を得ることができる。

以下では、撮像手段１からの受光出力について指定された着目領域内での飽和の有無を判断し、着目領域内に飽和している受光出力が存在するときには、当該領域に関して次の受光出力では飽和を抑制する方向に制御する技術を説明する。飽和を抑制する方向に制御するための具体的手段としては、光照射手段２１の発光強度と受光光学系１１の透過率とイメージセンサ１２の蓄積時間との少なくとも１種類を用いることができる。すなわち、光照射手段２１の発光強度を低減させるか、受光光学系１１の透過率を低減させるか、イメージセンサ１２の蓄積時間を短縮すれば、撮像手段１の受光出力が低下するから、受光出力の飽和を抑制することができる。したがって、光照射手段２１と受光光学系１１とイメージセンサ１２とは補正実施手段として機能する。なお、本実施形態では、受光出力が飽和したときに差分演算手段４の出力を規定値に設定することで、振幅画像の違和感を防止できるだけではなく、この規定値を用いることで受光出力が飽和していることを補正実施手段に反映させることができるようにしている。つまり、規定値を設定することは２つの機能に兼用される。

着目領域には対象物Ｏｂの存在する領域を用いる。これは、振幅画像では対象物Ｏｂにのみ着目すればよいからである。このような着目領域は差分演算手段４の出力を用いることにより決定することができる。すなわち、領域指定手段７において、差分演算手段４から出力された差分ΔＡが有効閾値Ｔｈ２を超える領域を着目領域とする（図３のＳ７〜Ｓ９参照）。この方法では、図２（ｃ）のような振幅画像Ｐ３から図２（ｄ）のような着目領域Ｄａを求めることができる。また、本装置をたとえばドアホン子機に付設するカメラとして用いる場合には、対象物Ｏｂとして撮像手段１から所定の距離範囲内に存在する人物の顔を抽出することができるように有効閾値Ｔｈ２があらかじめ設定される。

ただし、対象物Ｏｂの範囲内でも反射率の相違や凹凸による距離の相違などによって差分値が有効閾値Ｔｈ２を超えない場合があるから（受光出力が飽和している部位は規定値で置き換えを行うことによって有効閾値Ｔｈ２を超えるようにしているものとする）、有効閾値Ｔｈ２を超えた領域について膨張処理などを行う。この処理により、全体としては有効閾値Ｔｈ２を超えている領域のうちの微小な一部領域が有効閾値Ｔｈ２を超えていない場合であっても、当該一部領域を着目領域に取り込むことができる。たとえば、対象物Ｏｂが顔である場合に、目、眉毛、髪などは反射率が低いから、これらの部位については差分演算手段４で得られる差分が有効閾値Ｔｈ２よりも小さくなる可能性があるが、顔の全体としては有効閾値Ｔｈ２を超えている画素のほうが多いから、膨張処理を行うことで目、眉毛、髪などを着目領域に取り込むことができる。

上述した補正実施手段は、画像全体の受光出力を増減することができるが、一部領域について受光出力を増減することができるわけではない。そこで、領域指定手段７で検出した領域内の画素の受光出力の平均値を輝度検出手段８において求め、この平均値を用いて補正実施手段に指示する操作量を補正処理手段９で求める。すなわち、輝度検出手段８には、振幅画像における対象物Ｏｂの適正な輝度に相当する基準値があらかじめ設定されており、この基準値を目標値として上記平均値との誤差を求める。また、補正処理手段９は輝度検出手段８から与えられた誤差に基づいて補正実施手段の操作量を決定する。

補正処理手段９では、着目領域内の受光出力の平均値が基準値よりも大きいときには受光出力が低下する方向に補正実施手段の操作量を決定し、逆に受光出力の平均値が基準値よりも小さいときには受光出力が増加する方向に補正実施手段の操作量を決定する。ただし、補正実施手段の動作範囲には限界があるから、動作範囲の上限または下限に達したときには現状を維持する。

なお、補正実施手段として複数種類の手段を組み合わせるときには、各手段に優先順位を決めておき、いずれかの手段の動作範囲の上限または下限に達したときに他の手段の操作量を変化させる構成としてもよい。また、操作量の変化量を誤差の大きさに応じて可変とする構成を採用することができるが、操作量の１回の変化量を一定にしておき誤差が大きいときには操作量が数回変化する間に基準値に達する構成としてもよい。この構成を採用すれば、瞬間的な光量変化に応答することによる振幅画像の乱れを抑制することができる。さらに、基準値に幅を持たせておき、着目領域内の受光出力の平均値が基準値の範囲内であるときに補正実施手段の操作量を変化させないようにしておけば、補正実施手段の無駄な動作を防止することができる。なお、運転開始時の補正実施手段の初期値は、動作範囲の上限としておくのが望ましい。

上述のように、領域指定手段７と輝度検出手段８と補正処理手段９とは、補正判定手段４での判定結果に基づいて補正実施手段の操作量を決定するから、補正演算手段として機能する。また、補正実施手段と補正演算手段とにより補正手段が構成される。なお、図１において撮像手段１および受光手段２を除く部位はマイコンで適宜のプログラムを実行することにより実現される。

本実施形態の動作を図３にまとめて簡単に説明する。装置の動作が開始されると、まず撮像手段１による対象空間の撮像が行われる（Ｓ１）。上述したように撮像は投光手段２の点灯期間と消灯期間とに同期して行われる。点灯期間の受光出力Ａａが得られると（Ｓ２）、飽和判定手段６では飽和閾値Ｔｈ１と受光出力Ａａとを比較する（Ｓ３）。受光出力Ａａが飽和閾値Ｔｈ１以下であれば受光出力は飽和していないから、差分演算手段４において受光出力Ａａ，Ａｂの差分ΔＡが求められる（Ｓ４）。一方、受光出力Ａａが飽和閾値Ｔｈ１を超えている場合は、差分ΔＡを規定値とする（Ｓ５）。こうして求めた差分ΔＡは振幅画像生成手段５を通して振幅画像として出力される（Ｓ６）。

また、差分ΔＡは補正実施部を制御するために領域指定手段７にも与えられる。領域指定手段７では差分ΔＡが有効閾値Ｔｈ２と比較され（Ｓ７）、有効閾値Ｔｈ２を超えている画素が着目領域の画素として記憶される（Ｓ８）。この処理は振幅画像のすべての画素を対象として行われる（Ｓ９）。こうして着目領域が決まると、輝度検出手段８において着目領域内の画素について差分ΔＡの平均値が求められる（Ｓ１０）。

補正処理手段９では、着目領域内の差分ΔＡの平均値が基準値と比較され（Ｓ１１）、差分ΔＡの平均値が基準値よりも大きいときには受光出力を減少させる操作量が補正実施部に与えられ（Ｓ１３）、差分ΔＡの平均値が基準値以下であるときには受光出力を増加させる操作量が補正実施部に与えられる（Ｓ１５）。ただし、補正実施部の操作量の範囲には上限と下限とがあるから、受光出力を減少させる方向において操作量が最小になるか（Ｓ１２）、受光出力を増加させる方向において操作量が最大になる場合（Ｓ１４）には、操作量を変化させずに次の撮像を行う（Ｓ１）。

上述の動作では、点灯期間と消灯期間との受光出力の差分を１回得るたびに補正処理手段９から補正実施手段に指示を与えているが、補正処理手段９では、輝度検出手段８において求めた受光出力の平均値が基準値より大きい状態が規定回数連続して生じるか、または輝度検出手段８において求めた受光出力の平均値が小さい状態が規定回数連続して生じた場合に、補正実施手段に指示を与える構成を採用してもよい。

また、補正実施手段でのハンチングを防止するために、補正処理手段９においてヒステリシスを持つようにしてもよい。たとえば、平均値が基準値より大きくなり補正実施手段に対して受光出力を低下させる指示を与えた後には、平均値が基準値よりも小さくなる誤差が発生しても、当該誤差の絶対値が規定値以上にならなければ受光出力を増加させる指示を与えないようにし、逆に、平均値が基準値より小さくなり補正実施手段に対して受光出力を増加させる指示を与えた後には、平均値が基準値よりも大きくなる誤差が発生しても、当該誤差の絶対値が規定値以上にならなければ受光出力を低下させる指示を与えないようにするのである。

なお、輝度検出手段８において受光出力の平均値を求める代わりに、着目領域内において受光出力が基準値を超える画素の個数を計数し、この個数に応じて操作量を決定してもよい。

また、上述の例では着目領域の受光出力の平均値を１つの基準値と比較しているが、基準値を複数段階に設定しておき、各段階ごとに補正実施手段の補正量を段階的に変化させる構成を採用してもよい。この構成では、補正実施手段の操作量を段階的に決定できるから、デジタル信号による制御が容易である。基準値を複数段階に設定する場合に各段階ごとの画素の個数を計数し、最大度数が得られる段階に対応するように操作量を決定することも可能である。

さらに、領域指定手段７において着目領域を抽出する際に、差分演算手段４で得られた差分に係数を乗じた後の結果を有効閾値Ｔｈ２と比較するとともに、差分に乗じる係数を輝度検出手段８で求めた受光出力の平均値に応じて複数段階に変化させる構成を採用してもよい。係数は、平均値が大きいほど小さくなるように設定され、着目領域の受光出力の平均値が小さく暗い画像であれば、差分に乗じる係数を大きくすることにより着目領域として抽出される範囲を広げるようにする。ここでは、係数を決定するために、輝度検出手段８で求めた受光出力の代表値である平均値を用いているが、代表値としては、最大値、モードなどの他の値を用いることも可能である。

すなわち、対象物Ｏｂが遠方に存在する場合や対象物Ｏｂの反射率が低い場合のように、信号光の振幅が小さいときには、着目領域を拡げることによって対象物Ｏｂが着目領域に含まれる可能性を高めることができる。この動作により、対象物Ｏｂまでの距離や対象物Ｏｂの反射率の変化によらず、対象物Ｏｂに対応する画素値をほぼ規定の範囲内に保つことができ、振幅画像生成手段５から出力される振幅画像について対象物Ｏｂの見やすい画像を得ることができる。

上述の構成例において、輝度検出手段８において受光出力の平均値（あるいは、所定条件を満たす画素数）を求める領域は、必ずしも対象物Ｏｂを抽出した領域でなくてもよく、領域設定手段７では、画像内の全画素を着目領域として設定したり、画像内の中央部における所定範囲を着目領域として設定したり、画像内の適宜の場所に着目領域を設定したりすることが可能である。着目領域をどのように設定するかは用途によって適宜に選択すればよいが、着目領域をあらかじめ決めている場合には、領域指定手段７は差分演算手段４で求めた差分とは無関係に着目領域を指定することになる。

また、フレームメモリ３では、点灯期間と消灯期間との受光出力を１回分だけ保持し、差分演算手段４では１回ずつの点灯期間と消灯期間との受光出力の差分を求めているが、点灯期間と消灯期間とのそれぞれについて複数回分ずつの受光出力をフレームメモリ３に加算して保持してもよい。この場合、差分演算手段４、飽和判定手段６、輝度検出手段８における処理は、点灯期間と消灯期間との複数回分の加算値を用いた処理になるから、受光出力に含まれるノイズ分が抑えられる。また、受光出力を取り出した回数で加算値を除算することにより得られる平均値を用いてもよい。さらには、差分演算手段４で得られる差分を加算し、差分の加算値あるいは差分の平均値を用いてもよい。

上述のように受光出力の平均値あるいは受光出力の差分の平均値を用いる場合には、加算回数と除数との一方を変化させれば、領域指定手段７において着目領域を検出する際に用いた係数を変化させる場合と同様の作用が期待できる。また、受光出力の平均値あるいは受光出力の差分の平均値を用いると、点灯期間と消灯期間との受光出力を１回だけ用いる場合に比較するとフレームレートが低下するが、イメージセンサ１２で発生するショットノイズを低減することができる。そこで、環境光が少ない室内などでは加算回数を少なくし、環境光が多い屋外などでは加算回数を多くすることで、ノイズの影響を軽減するようにしてもよい。

上述の構成例では、光照射手段２１において点灯期間と消灯期間とを設けているが、光照射手段２１を制御する変調信号は矩形波だけではなく、正弦波、三角波、鋸歯状波などを用いてもよい。この場合、変調信号の位相における異なる特定の２区間に同期した受光出力を撮像手段１から取り出し、この２区間の受光出力の差分を求めるようにしても、環境光の成分が除去されるから、振幅画像に類似した画像を得ることができる。撮像素子１から取り出す区間の幅は適宜に選択することができるが、両区間の位相差が１８０度異なる場合には、実質的に点灯期間と消灯期間との差分を求めた場合と同様の動作になる。ただし、両区間の位相差は１８０度以外でもよい。

実施形態を示すブロック図である。同上の動作説明図である。同上の動作説明図である。

符号の説明

１撮像手段
２投光手段
３フレームメモリ
４差分演算手段
５振幅画像生成手段
６飽和判定手段
７領域指定手段
８輝度検出手段
９補正処理手段
Ｏｂ対象物

Claims

所定周波数の変調信号で強度を変調した信号光を対象空間に投光する投光手段と、複数個の画素を備え対象空間に存在する対象物で反射された信号光を受光するとともに各画素ごとに受光光量の変化に応じた受光出力が得られる撮像手段と、変調信号の位相における異なる２区間に同期した受光出力の差分を各画素ごとに求める差分演算手段と、差分演算手段で求めた各画素の前記差分を画素値に持つ振幅画像を生成する振幅画像生成手段と、前記２区間の少なくとも一方に同期するタイミングで得られる受光出力と規定した飽和閾値との大小を比較する飽和判定手段と、飽和判定手段において当該受光出力が飽和閾値より大きいと判断されると撮像手段の次の受光出力を低減させる補正処理を実行する補正手段とを備えることを特徴とする空間情報の検出装置。
前記補正手段は、指示された操作量に応じて前記撮像手段の受光出力を調節する補正実施手段と、前記飽和判定手段による比較結果を用いて補正実施手段の操作量を求め当該操作量を補正実施手段に指示する補正演算手段とを備えることを特徴とする請求項１記載の空間情報の検出装置。
前記飽和判定手段は、比較結果において受光出力が飽和閾値より大きいときには前記差分演算手段で求めた差分に代えて規定値を出力させることを特徴とする請求項２記載の空間情報の検出装置。
前記規定値は、前記差分演算手段から出力される差分の最大値であることを特徴とする請求項３記載の空間情報の検出装置。
前記補正演算手段は、前記差分との大小を比較する基準値により区分された範囲のうち前記差分が含まれる画素数がもっとも多い範囲に対応付けた操作量を採用することを特徴とする請求項２ないし請求項４のいずれか１項に記載の空間情報の検出装置。
前記補正演算手段は、前記振幅画像内で着目領域を指定する領域指定手段と、領域指定手段で指定された着目領域内の画素に関する前記差分を用いて信号光に相当する受光出力を評価する輝度検出手段と、輝度検出手段で評価した信号光に対応する受光出力があらかじめ規定した基準に近付くように前記操作量を求める補正処理手段とを備えることを特徴とする請求項２ないし請求項４のいずれか１項に記載の空間情報の検出装置。
前記領域指定手段は、前記差分演算手段で求めた前記差分を規定の有効閾値と比較し前記振幅画像内で前記差分が有効閾値を越える画素の存在する領域を前記着目領域として指定することを特徴とする請求項６記載の空間情報の検出装置。
前記補正処理手段は、前記着目領域の受光出力の代表値に対応付けて当該受光出力が小さいほど大きくなる係数を設定し、前記領域指定手段において次に指定する着目領域を求める際に前記差分に当該係数を乗じた後に前記有効閾値と比較することを特徴とする請求項６または請求項７記載の空間情報の検出装置。
前記撮像手段は、前記変調信号における異なる位相の２区間で各別に生成した電荷を変調信号の複数周期に亘る蓄積時間において蓄積した後に受光出力として取り出すイメージセンサを備え、前記補正実施手段は、前記操作量に応じて蓄積時間を変化させることを特徴とする請求項２ないし請求項８のいずれか１項に記載の空間情報の検出装置。