JP2008048196A - 立体物検知装置 - Google Patents

Abstract

【課題】比較的高速で移動する物体もより正確に認識できる立体物検知装置を提供することにある。
【解決手段】照明手段３０は、所定の周期で点灯消灯制御される。撮像手段１０は、一定周期で、撮像タイミングが制御されている。画像処理手段５０は、照明手段が点灯している時に撮像手段にて撮像した第１及び第２の画像と、第１及び第２の画像の撮像タイミングの間であって、照明手段が消灯している時に撮像手段にて撮像した第３の画像を用いて、立体物を検知する。画像処理手段５０は、第１の画像と第２の画像の高輝度部の大きさの変化と変位量を算出し、この高輝度部の大きさの変化と変位量に基づいて、第３の画像に対して、第２の画像の撮像タイミングにおける画像を補正画像として作成し、第２の画像と補正画像の差分画像を生成し、この差分画像を画像処理して立体物を検知する。
【選択図】図１

Description

本発明は、車両周辺の立体物を検知する立体物検知装置に関し、特に比較的高速で移動する立体物の検知に好適な立体物検知装置に関する。

従来、自動車に取り付けられたカメラと照明手段を制御して、水溜りなどの反射による誤認識を防ぎ、自動車の周辺状況を検知するものが知られている（例えば、特許文献１参照）。

特開２００６−１１６７１号公報

特許文献１では、照明手段が点灯時に撮像した画像と照明手段が消灯したときの画像の差分をとって画像処理をし、周辺状況を検出するものである。したがって、点灯時の画像と消灯時の画像は時間差があるため、対象とする物体が移動する物体であって、しかも、横断歩道を横切る歩行者に比べて高速で移動する自転車等の立体物の認識が困難になる可能性がある。

本発明の目的は、比較的高速で移動する物体もより正確に認識できる立体物検知装置を提供することにある。

（１）上記目的を達成するために、本発明は、車両周辺の立体物を検知する立体物検知装置であって、前記車両周辺を撮像する撮像手段と、前記車両周辺を照射する照明手段と、前記照明手段を点灯消灯制御する照明制御手段と、前記撮像手段を撮像タイミングを制御する撮像制御手段と、前記照明手段が点灯している時に前記撮像手段にて撮像した第１及び第２の画像と、前記第１及び第２の画像の撮像タイミングの間であって、前記照明手段が消灯している時に前記撮像手段にて撮像した第３の画像を用いて、前記第１の画像と第２の画像の高輝度部の大きさの変化と変位量を算出し、この高輝度部の大きさの変化と変位量に基づいて、前記第３の画像に対して、前記第２の画像の撮像タイミングにおける画像を補正画像として作成し、前記第２の画像と前記補正画像の差分画像を生成し、この差分画像を画像処理して立体物を検知する画像処理手段とを備えるようにしたものである。
かかる構成により、比較的高速で移動する物体もより正確に認識し得るものとなる。

（２）上記（１）において、好ましくは、前記撮像手段における撮像タイミングと、前記照明手段における点灯消灯のタイミングとは同期しており、前記画像処理手段は、点灯時の第１，第２の画像と、第１と第２の画像の間の消灯時に第３の画像により、立体物を検知するようにしたものである。

（３）上記（１）において、好ましくは、前記撮像手段における撮像タイミングと、前記照明手段における点灯消灯のタイミングとは非同期であり、前記画像処理手段は、前記撮像手段にて撮像した連続する８枚の画像から、前記照明手段が点灯し続けている時に前記撮像手段にて取得した画像から前記第１の画像を抽出し、前記照明手段が点灯後に消灯し続けている時に前記撮像手段にて取得した画像から前記第３の画像を抽出し、前記照明手段が消灯後に点灯し続けている時に前記撮像手段にて取得した画像から前記第２の画像を抽出するようにしたものである。

（４）上記（１）において、好ましくは、前記照明手段は、赤外光と、可視光を発するものであり、前記撮像手段は、前記赤外光が点灯したときに前記第１，第２の画像を撮像し、前記赤外光が消灯したときに前記第３の画像を撮像するようにしたものである。

（５）上記（１）において、好ましくは、前記撮像手段は、前記照明手段よりも下側に位置するようにしたものである。

本発明によれば、比較的高速で移動する物体もより正確に認識できるものとなる。

以下、図１〜図１３を用いて、本発明の一実施形態による立体物検知装置の構成及び動作について説明する。
最初に、図１を用いて、本実施形態による立体物検知装置の構成について説明する。
図１は、本発明の一実施形態による立体物検知装置の構成を示すブロック図である。

本実施形態の立体物検知装置は、撮像手段１０と、撮像制御手段２０と、照明手段３０と、照明制御手段４０と、画像処理手段５０と、画像メモリ６０とを備えている。

撮像手段１０は、ＣＣＤなどの撮像素子を備えたカメラである。撮像手段１０による撮像タイミングは、撮像制御手段２０からの電子シャッタ制御信号によって制御される。また、電子シャッタ制御信号は、照明制御手段４０にも供給される。

照明手段３０は、例えば、近赤外光を発するＬＥＤランプである。ＬＥＤランプを用いることで、高速で点灯、消灯の制御を行える。また、近赤外光を用いることで、対向車や歩行者にまぶしさを感じさせることがないものである。

照明制御手段４０は、撮像制御手段２０からの電子シャッタ制御信号に同期して、照明制御信号を照明手段３０に出力する。すなわち、電子シャッタ制御信号により撮像手段１０によって撮像するタイミングに合わせて、照明手段３０が点灯するタイミングと、消灯しているタイミングを作成する。したがって、撮像手段１０は、照明手段３０が点灯している時の画像を撮影し、次に、照明手段３０が消灯している時の画像を撮影することを一定周期で繰り返す。なお、照明手段と撮影手段の同期は、画像処理手段５０から同期信号を出すようにしても良いものである。

撮像手段１０によって撮影された画像は、画像処理手段５０に取り込まれ、一旦、画像メモリ６０に格納する。また、画像処理手段５０は、画像メモリ６０に格納された画像データを取り出して、画像処理を行い、立体物を検知する。

次に、図２を用いて、本実施形態による立体物検知装置の撮像動作について説明する。
図２は、本発明の一実施形態による立体物検知装置の撮像動作を示すフローチャートである。

ステップＳ１０において、照明制御手段４０は、撮像制御手段２０からの電子シャッタ制御信号に基づいて、照明ＯＮとする照明制御信号を照明手段３０に出力し、照明手段３０を点灯する。電子シャッタ制御信号は、撮像手段１０にも供給されているため、撮像手段１０は、照明手段３０の点灯に同期して、撮影する。

次に、ステップＳ２０において、画像処理手段５０は、撮像手段１０によって撮影された画像データを、画像メモリ６０に保存する。

次に、ステップＳ３０において、照明制御手段４０は、撮像制御手段２０からの次の電子シャッタ制御信号に基づいて、照明ＯＦＦとする照明制御信号を照明手段３０に出力し、照明手段３０を消灯する。電子シャッタ制御信号は、撮像手段１０にも供給されているため、撮像手段１０は、照明手段３０の消灯に同期して、撮影する。

次に、ステップＳ４０において、画像処理手段５０は、撮像手段１０によって撮影された画像データを、画像メモリ６０に保存する。

すなわち、画像メモリ６０には、照明手段３０の点灯時の画像と、傷当時の画像が繰り返し、保存される。

次に、図３〜図８を用いて、本実施形態による立体物検知装置の画像処理動作について説明する。
図３は、本発明の一実施形態による立体物検知装置の画像処理動作を示すフローチャートである。図４〜図８は、本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。

ここで、図４〜図６を用いて、画像メモリ６０に保存された画像データについて説明する。図４は、時刻Ｔ０に撮影されたものであり、照明手段３０の点灯時の画像である。図５は、時刻Ｔ０＋ΔＴ１に撮影されたものであり、照明手段３０の消灯時の画像である。図６は、時刻Ｔ０＋２・ΔＴ１に撮影されたものであり、照明手段３０の点灯時の画像である。なお、図４〜図６の各図において、図示の都合上、黒く図示されている部分が、高輝度の箇所であり、白く図示されている部分が、低輝度の箇所である。

図４に示すように、時刻Ｔ０で、照明手段３０の点灯時には、センタラインＣＬ１，路側帯ＲＳＢ１，道路標識ＲＴＳ１に加えて、自転車Ｂ１が撮影されている。図５に示すように、時刻Ｔ０＋ΔＴ１で、照明手段３０の消灯時には、センタラインＣＬ２，路側帯ＲＳＢ２，道路標識ＲＴＳ２が撮影されている。

すなわち、照明手段３０の点灯・消灯に拘わらず、センタライン，路側帯，道路標識などは、反射率が高いため、常に、高輝度に撮影される。一方、自転車は、消灯時には、反射率が低いため、図５に示すように撮影されないか、撮影されたとしてもかなり低輝度で撮影される。一方、点灯時には、図４に示すように、高輝度で撮影される。

図４（時刻Ｔ０）〜図６（時刻Ｔ０＋２・ΔＴ１）において、その時間間隔はΔＴ１と一定である。また、この間、本実施形態の立体物検知装置を搭載した車両は、図４の道路標識ＲＴＳ１の方向に向かって進行している。従って、図４に比べて、図５，図６の状態は、道路標識に接近するため、次第に大きくなり、しかも、画角の中央位置から次第に、左横の方向に移動する。このような時間変化による撮影画像の変化を用いて、画像処理手段５０は、次のような画像処理を実行する。

すなわち、図３のステップＳ１００において、画像処理手段５０は、照明ＯＮ時の２つの画像から高輝度部の大きさの変化と変位量を計算する。ここで、道路標識を例にして、説明する。円形の道路標識の画像は、その大きさと、中心位置によって判断される。例えば、図４の道路標識ＲＴＳ１は、その半径がＲ１とし、中心座標を（ｘ１，ｙ１）とする。また、図６の道路標識ＲＴＳ３は、その半径がＲ３とし、中心座標を（ｘ３，ｙ３）とする。したがって、照明ＯＮ時の図４と図６では、道路標識の大きさは、Ｒ１→Ｒ３と変化し、中心位置の変位量は、（ｘ１，ｙ１）→（ｘ３，ｙ３）となる。なお、道路標識の代わりに、路側帯やセンタラインから、同様に、その大きさの変化と変位量が算出してもよいものである。

次に、図３のステップＳ１１０において、画像処理手段５０は、ステップＳ１００で算出した変化と変位量とから、照明ＯＦＦ時の補正画像を作成する。ここで、具体的に説明する。図５は、照明ＯＦＦ時の画像である。この画像は、時刻Ｔ０＋ΔＴ１に撮影されている。それに対して、図５の画像が、図６の撮影タイミング（時刻Ｔ０＋２・ΔＴ１）でどのような画像となるかを推定して、補正画像として求めるのがステップＳ１１０の処理である。

ステップＳ１１０で、時刻２・ΔＴ１の間に、道路標識の大きさが、Ｒ１→Ｒ３と変化し、中心位置の変位量が、（ｘ１，ｙ１）→（ｘ３，ｙ３）となることが算出されている。図５から図６の時間間隔は、ΔＴ１であるので、図４から図６の大きさの変化と、変位量に対して、半分の大きさの変化と、半分の変位量を図５の画像に施せば、補正画像が得られる。すなわち、大きさの変化は、（Ｒ３／Ｒ１）／２であり、変位量の変化は、（（ｘ３−ｘ１）／２，（ｙ３−ｙ１）／２）であるので、図５の道路標識ＲＴＳ２（Ｒ２（ｘ２，ｙ２））は、時間ΔＴ１後には、大きさが、Ｒ２・（（Ｒ３／Ｒ１）／２）となり、中心位置が、（ｘ２＋（ｘ３−ｘ１）／２，ｙ２＋（ｙ３−ｙ１）／２）となることが算出される。同様にして、路側帯ＲＳＢ１，道路標識ＲＴＳ１についても、補正画像を算出する。

図７は、ステップＳ１１０によって算出された補正画像を示している。図７に示すように、時刻Ｔ０＋２・ΔＴ１における補正画像であるセンタラインＣＬ２’，路側帯ＲＳＢ２’，道路標識ＲＴＳ２’が算出される。

次に、図３のステップＳ１２０において、画像処理手段５０は、照明ＯＮ時の画像と補整画像から差分画像を生成する。すなわち、図６に示した照明ＯＮ時の画像と、図７に示した補正画像の差分画像を生成する。その結果は、図６の道路標識ＲＴＳ２と図７の道路標識ＲＴＳ２’がキャンセルされ、図６のセンタラインＣＬ２と図７のセンタラインＣＬ２’がキャンセルされ、図６の路側帯ＲＳＢ２と図７の路側帯ＲＳＢ２’とがキャンセルされるので、図８に示すように、自転車Ｂ３のみが残った画像が生成される。

そして、図３のステップＳ１３０において、画像処理手段５０は、ステップＳ１３０で求められた差分画像から対象物の認識処理を実行する。すなわち、図８に示した自転車Ｂ３の画像を用いて、認識処理をするので、例え、自転車が、歩行者等に比べて高速で移動していても、正確に認識できるものとなる。

以上説明したように、本実施形態によれば、比較的高速で移動する物体もより正確に認識できるものとなる。

次に、図９〜図１１を用いて、本実施形態による立体物検知装置に用いる照明手段の構成について説明する。
図９は、本発明の一実施形態による立体物検知装置に用いる照明手段の構成を示す正面図である。

図９に示すように、照明手段３０は、ヘッドライトのような夜間などに車両周辺を照らす可視光の複数のＬＥＤ３２と、点灯消灯を繰り返す赤外光の複数のＬＥＤ３４とから構成されている。かかる構成とすることで、小型化が可能になる。

図１０は、本発明の一実施形態による立体物検知装置に用いる撮影手段と照明手段の構成を示す側面図である。
図１０に示すように、照明手段３０と撮像手段１０を一体の構成にすることで、照明手段３０と撮像手段１０を近接して配置でき、対象物からの反射光が最大限に撮像部に入射されるため、有利である。車両周辺を照射するライトの筐体７０の中に、照明手段３０と撮像手段１０を遮光板７２を間に挟みこんで設置されている。遮光板７２は、照明手段３０の直接光が撮像手段１０に入らないようになっている。さらに、遮光板７２は、照明手段３０から熱が撮像手段１０に伝熱しないように、断熱の効果もある。

さらに、撮像手段１０を照明手段３０よりも下側（地上側）に配置することで、照明手段３０で発生する熱の影響を最小限に抑えることが可能になる。

図１１は、本発明の一実施形態による立体物検知装置に用いる撮影手段と照明手段の他の構成を示す側面図である。
図１１に示すように、ライトボックスのような筐体７０の中に、複数の照明手段３０Ａ，３０Ｂ，３０Ｃと、複数の撮像手段１０Ａ，１０Ｂ，１０Ｃを設置し、遮光板７２を間に挟み込んだ構造にすることで、より広範囲をカバーできる。

次に、図１２及び図１３を用いて、本実施形態による立体物検知装置の取付位置について説明する。
図１２及び図１３は、本発明の一実施形態による立体物検知装置の取付位置を示す斜視図である。

本実施形態の立体物検知装置は、例えば、図１２に示すように、ヘッドライトＨＬ１，ＨＬ２や、ルームミラーＲＭ１や、サイドミラーＳＭ１に取り付ける。さらに、図１３に示すように、バックランプＢＬ１，ＢＬ２や、ナンバープレート用の照明手段ＬＡ１に取り付けることが可能である。

次に、図１４及び図１５を用いて、本発明の他の実施形態による立体物検知装置の構成及び動作について説明する。
図１４は、本発明の他の実施形態による立体物検知装置の構成を示すブロック図である。図１５は、本発明の他の実施形態による立体物検知装置の動作説明図である。なお、図１４において、図１と同一符号は同一部分を示している。

図１４に示すように、本実施形態の立体物検知装置の基本構成は図１と同様であるが、照明制御手段４０Ａには、撮像手段２０の制御信号は入力していないものである。照明制御手段４０Ａは、照明制御信号を照明手段３０に出力し、所定の周期で、照明手段３０の点灯と消灯を繰り返す。また、撮像手段１０も一定周期で、撮影を繰り返す。すなわち、撮像手段１０による繰り返し撮影のタイミングと、照明手段３０による点灯消灯のタイミングとは、非同期となっている。ただし、照明手段３０の点灯および消灯の周期は、撮像手段１０の撮像する周期の２倍以上に設定されている。このように非同期であるため、画像処理手段５０Ａは、後述するような方法で、画像処理の対象の画像を選定し、図３及び図４〜図８の画像処理により、対象物の画像を得るようにしている。

次に、図１５を用いて、本実施形態における画像処理について説明する。図１５（Ａ）は、撮影された画像データを示し、図１５（Ｂ）は、照明手段の点灯消灯タイミングを示している。

撮像手段１０は、一定の周期で、画像を撮影する。図１５（Ａ）に示した各撮影画像の撮影時刻を、それぞれ、Ｔ１，ｔ２，ｔ３，ｔ４，ｔ５，ｔ６，ｔ７，ｔ８とする。

一方、図１５（Ｂ）に示すように、照明手段３０は、所定の周期で点灯消灯を繰り返している。両者は、非同期ではあるが、照明手段３０の点灯および消灯の周期は、撮像手段１０の撮像する周期の、例えば、２倍に設定されている。

すると、図１５（Ｂ）に示す点灯タイミング中に撮影された画像は、ｔ１，ｔ２，ｔ３であるが、ｔ１，ｔ３の画像は、一部消灯期間を含むため、時刻ｔ２の画像がもっとも輝度が高い画像となる。一方、時刻ｔ４の画像はもっとも輝度の低い画像となる。

そこで、画像処理手段５０Ａは、連続する４枚の画像データ（時刻ｔ１〜ｔ４）を取得する。その中で輝度の一番高い画像Ｆと一番低い画像Ｇを選定する。続けて４枚の画像（時刻ｔ５〜ｔ８）を取得して、輝度の一番高い画像Ｈと一番低い画像Ｊを選定する。

そして、画像Ｆの撮像時刻と画像Ｈの撮像時刻の間に撮像した画像が、画像Ｇであるか、画像Ｊであるかを判定し、例えば、画像Ｆと画像Ｈの間に撮影した画像を、画像Ｇとして決定する。

ここで、画像Ｆが、図４の画像に相当し、画像Ｈが図６の画像に相当し、画像Ｇが図５の画像に相当する。そして、画像Ｇから、画像Ｈの時点における補正画像を作成し、この補正画像と、画像Ｈの差分画像を求めて、立体物を検知する。

以上説明したように、本実施形態によれば、比較的高速で移動する物体もより正確に認識できるものとなる。

また、照明と撮像を非同期とすることで、照明手段と撮像手段が分離できるため、配線を減らすことができ、また、特殊な照明手段や照明制御が不要になるため、コストを削減できる。

なお、本発明は、車両周辺の比較的高速で移動する立体物の検知だけでなく、自車がカーブを曲がっている際の立体物の検知も容易に実現できる。

本発明の一実施形態による立体物検知装置の構成を示すブロック図である。 本発明の一実施形態による立体物検知装置の撮像動作を示すフローチャートである。 本発明の一実施形態による立体物検知装置の画像処理動作を示すフローチャートである。 本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。 本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。 本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。 本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。 本発明の一実施形態による立体物検知装置の画像処理動作の説明図である。 本発明の一実施形態による立体物検知装置に用いる照明手段の構成を示す正面図である。 本発明の一実施形態による立体物検知装置に用いる撮影手段と照明手段の構成を示す側面図である。 本発明の一実施形態による立体物検知装置に用いる撮影手段と照明手段の他の構成を示す側面図である。 本発明の一実施形態による立体物検知装置の取付位置を示す斜視図である。 本発明の一実施形態による立体物検知装置の取付位置を示す斜視図である。 本発明の他の実施形態による立体物検知装置の構成を示すブロック図である。 本発明の他の実施形態による立体物検知装置の動作説明図である。

符号の説明

１０…撮像手段
２０…撮像制御手段
３０…照明手段
４０…照明制御手段
５０…画像処理手段
６０…画像メモリ

Claims (5)

1. 車両周辺の立体物を検知する立体物検知装置であって、
   前記車両周辺を撮像する撮像手段と、
   前記車両周辺を照射する照明手段と、
   前記照明手段を点灯消灯制御する照明制御手段と、
   前記撮像手段を撮像タイミングを制御する撮像制御手段と、
   前記照明手段が点灯している時に前記撮像手段にて撮像した第１及び第２の画像と、前記第１及び第２の画像の撮像タイミングの間であって、前記照明手段が消灯している時に前記撮像手段にて撮像した第３の画像を用いて、
   前記第１の画像と第２の画像の高輝度部の大きさの変化と変位量を算出し、
   この高輝度部の大きさの変化と変位量に基づいて、前記第３の画像に対して、前記第２の画像の撮像タイミングにおける画像を補正画像として作成し、
   前記第２の画像と前記補正画像の差分画像を生成し、
   この差分画像を画像処理して立体物を検知する画像処理手段とを備えたことを特徴とする立体物検知装置。
2. 請求項１記載の立体物検知装置において、
   前記撮像手段における撮像タイミングと、前記照明手段における点灯消灯のタイミングとは同期しており、
   前記画像処理手段は、点灯時の第１，第２の画像と、第１と第２の画像の間の消灯時に第３の画像により、立体物を検知することを特徴とする立体物検知装置。
3. 請求項１記載の立体物検知装置において、
   前記撮像手段における撮像タイミングと、前記照明手段における点灯消灯のタイミングとは非同期であり、
   前記画像処理手段は、前記撮像手段にて撮像した連続する８枚の画像から、
   前記照明手段が点灯し続けている時に前記撮像手段にて取得した画像から前記第１の画像を抽出し、
   前記照明手段が点灯後に消灯し続けている時に前記撮像手段にて取得した画像から前記第３の画像を抽出し、
   前記照明手段が消灯後に点灯し続けている時に前記撮像手段にて取得した画像から前記第２の画像を抽出することを特徴とする立体物検知装置。
4. 請求項１記載の立体物検知装置において、
   前記照明手段は、赤外光と、可視光を発するものであり、
   前記撮像手段は、前記赤外光が点灯したときに前記第１，第２の画像を撮像し、前記赤外光が消灯したときに前記第３の画像を撮像することを特徴とする立体物検知装置。
5. 請求項１記載の立体物検知装置において、
   前記撮像手段は、前記照明手段よりも下側に位置することを特徴とする立体物検知装置。

Images