JP2005101758A - 車両用障害物検出装置 - Google Patents

Abstract

【課題】演算負荷の低い方法により、自車両と衝突する可能性のある障害物を検出する。
【解決手段】カメラ１により、第１の時間Ｔ1および第１の時間Ｔ1よりも時間が経過した第２の時間Ｔ2に、車両前方を撮影する。ＣＰＵ４は、第１の時間に撮影された第１の画像および第２の時間に撮影された第２の画像の少なくとも２つの画像に基づいて、第１の画像よりも第２の画像において拡大して写されている物体（以下、拡大物体と呼ぶ）を検出し、検出した拡大物体に基づいて、車両と衝突する可能性がある障害物の有無を判定する。
【選択図】図１

Description

本発明は、車両に搭載されて、車両周囲の障害物を検出する車両用障害物検出装置に関する。

車両に搭載されたカメラにより撮像された画像に基づいて、移動物体を検出して、自車両のドライバに警告を発する車両周辺監視装置が知られている（特許文献１参照）。この車両周辺監視装置では、対象物体の動きをベクトルで表現するオプティカルフローを算出して、移動物体を検出している。

特開２００３−６７７５２号公報

しかしながら、従来の車両周辺監視装置では、移動物体を検出するために、ハフ変換や、特徴点マッチングによるオプティカルフロー演算などの演算処理を行い、さらに、検出した移動物体と自車両との相対位置の変化を演算して自車両に対する危険性を判定するので、演算負荷が高くなるという問題があった。

本発明による車両用障害物検出装置は、車両の前方を撮影する撮影手段によって第１の時間Ｔ1に撮影された第１の画像、および、第１の時間Ｔ1よりも時間が経過した第２の時間Ｔ2において撮影された第２の画像の少なくとも２つの画像に基づいて、第１の画像よりも第２の画像において拡大して写されている物体を検出し、検出した物体に基づいて、車両と衝突する可能性がある障害物の有無を判定することを特徴とする。

本発明よる車両用障害物検出装置によれば、異なる時刻において撮影された画像において、後の時刻において撮影された画像中で拡大して写されている物体を検出し、検出した物体に基づいて、衝突する可能性がある障害物の有無を判定するので、演算負荷の低い方法を用いて、衝突する可能性がある障害物を検出することができる。

図１は、本発明による車両用障害物検出装置の一実施の形態の構成を示す図である。一実施の形態における車両用障害物検出装置は、車両に搭載され、カメラ１と、保存用フレームメモリ２と、フレームメモリ３と、ＣＰＵ４と、警報装置５とを備える。

カメラ１は、光軸が車両直進方向と一致するように車両に取り付けられ、車両前方を撮像する。カメラ１に用いる撮像素子の種類や撮像レートは、任意のものとする。図２は、自車両１００に取り付けられたカメラ１により、車両前方を撮影する様子を示した図である。カメラ１は、撮影範囲２００内に存在する物体を撮影する。

カメラ１により撮像された画像は、フレームメモリ３に記録される。保存用フレームメモリ２には、過去にカメラ１により撮像された画像が記録・保存されている。例えば、時刻ｔにカメラ１により撮像された画像がフレームメモリ３に記録されると、時刻（ｔ−Δｔ）に撮像されてフレームメモリ３に記録されていた画像は、保存用フレームメモリ２に送られて保存される。

ＣＰＵ４は、カメラ１により撮像された画像に基づいて、自車両に接近してくる歩行者などの移動体、すなわち、自車両と衝突する可能性のある障害物を検出する。自車両に接近してくる移動体の検出方法については、後述する。警報装置５は、ＣＰＵ４によって、自車両と衝突する可能性がある障害物が検出されると、ドライバに対して警報を発する。

図３は、自車両１００の前に歩行者１０が飛び出してくる様子を示す図である。図３では、異なる時刻ｔ0〜ｔ2における歩行者の動き、および、自車両１００の動きを示している。図３に示すように、時刻ｔ0の時点では、歩行者１０は、車両１００の右斜め前方の遠方に存在するため、カメラ１により撮影される歩行者１０は、撮影画像の右側に小さく写ることになる。

時刻ｔ1の時点でも、歩行者１０は、車両の右斜め前方に存在する。ただし、時刻ｔ0の時点と比べると、車両１００と歩行者１０との距離は短くなっているので、撮影された画像中において、歩行者１０はやや大きく写っている。

時刻ｔ2の時点では、歩行者１０は、自車両１００のほぼ正面に存在する。この場合、図３に示すように、歩行者１０は、カメラ１の撮影範囲２００を覆うような形となるので、撮影画像のほぼ全体に歩行者が写ることになる。

すなわち、時刻ｔ0〜ｔ2において撮影された画像において、歩行者の中心位置は大きく移動することなく、また、画像に写っている歩行者の大きさは大きくなっていく。従って、一実施の形態における車両用障害物検出装置では、カメラ１により撮影された画像中において、物体の中心位置が大きく移動することなく（所定の範囲内にあり）、かつ、先の時刻において撮影された画像よりも後の時刻において撮影された画像において拡大して写されている物体を検出し、この物体を自車両と衝突する可能性のある移動体であると判定する。

なお、例えば、図３に示すように、路側に設置されている自動販売機２０などの物体は、自車両１００が近づくにつれて、カメラ１の撮影範囲からはずれるので、拡大物体として検出されることはない。

図４は、一実施の形態における車両用障害物検出装置により行われる処理の内容を示すフローチャートである。ステップＳ１０から始まる処理は、ＣＰＵ４により行われ、例えば、車両１００の起動とともに開始される。ステップＳ１０では、現在時刻ｔにおいて、カメラ１により撮影された画像をフレームメモリ３に記録して、ステップＳ２０に進む。

ステップＳ２０では、ステップＳ１０においてフレームメモリ３に保存した画像、および、保存用フレームメモリ２に記録されている時刻（ｔ−Δｔ）に撮影された画像を読み込んで、ステップＳ３０に進む。ステップＳ３０では、ステップＳ２０で読み出した、時刻ｔに撮影された画像、および、時刻（ｔ−Δｔ）に撮影された画像に基づいて、画像上の任意の小領域ｍの平均輝度値I_{m,ｔ−Δｔ}の空間微分値を演算する。

ここでは、任意の小領域を、５×５画素の矩形領域とする。図５は、矩形領域の配置方法の一例を示す図である。図５に示すように、空間微分演算の対象である注目領域ｍの上下および左右方向に、領域の一部が重なっている近傍領域ｍ'を設定する。ここでは、注目領域ｍは、周辺の４つの近傍領域ｍ'とそれぞれ、２×５画素だけ重なっている。

小領域（注目領域）ｍと、周囲に存在する近傍領域ｍ'との空間微分値Ｄp_{m,m'}は、次式（１）により表される。
Ｄp_{m,m'}＝［(I_{m,ｔ}−I_{m',ｔ})＋(I_{m,ｔ−Δｔ}−I_{m',ｔ−Δｔ})］／２ （１）
ここで、平均輝度値I_{m,ｔ}は、注目領域ｍ、および、周囲の４つの近傍領域ｍ'内の画素の輝度値の平均値を算出した値である。また、平均輝度値I_{m',ｔ}についても、対象となる領域ｍ'、および、その周囲の４つの近傍領域内の画素の輝度値の平均値を算出した値である。同様に、I_{m,ｔ−Δｔ}およびI_{m',ｔ−Δｔ}は、時刻（ｔ−Δｔ）において撮影された画像に基づいて、算出された平均輝度値である。

式（１）中のｍ'は、注目領域ｍの上下左右に存在する４つの近傍領域ｍ'のうちのいずれかの領域である。ステップＳ３０では、式（１）により、４つの近傍領域ｍ'の全てについて空間微分値を求める。なお、時刻ｔの空間微分値と、時間Δｔ前の時刻（ｔ−Δｔ）の空間微分値とを加算して２で割っているのは、画像のノイズの影響を軽減するためである。全ての近傍領域ｍ'について空間微分値を求めると、ステップＳ４０に進む。

ステップＳ４０では、次式（２）により、近傍領域ｍ'の平均輝度値I_{m',ｔ}の時間微分値Ｄt_m'を算出する。
Ｄt_m'＝I_{m',ｔ}−I_{m',ｔ−Δｔ} （２）
式（２）に示すように、平均輝度値I_{m',ｔ}の時間微分値Ｄt_m'は、時刻ｔにおける近傍領域ｍ'の平均輝度値I_{m',ｔ}と、時間Δｔ前の時刻（ｔ−Δｔ）における平均輝度値I_{m',ｔ−Δｔ}との差を求めることにより、算出される。

ステップＳ４０に続くステップＳ５０では、次式（３）により、注目領域ｍの平均輝度値の空間微分値Ｄp_{m,m'}と、時間微分値Ｄt_m'との相関値Ｓ_{m,m'}を算出する。
Ｓ_{m,m'}＝Ｄp_{m,m'}×Ｄt_m' （３）
相関値Ｓ_{m,m'}を算出すると、ステップＳ６０に進む。

ステップＳ６０では、注目領域ｍが画像中で拡大していく物体の中心位置、または、中心位置の近傍の領域であるか否かを判定する。図３を用いて説明したように、異なる時刻において撮影された画像中において、自車両に向かって接近してくる物体の中心の位置はほぼ同じ位置にあり、また、撮影された画像を比較すると、自車両に向かって接近してくる物体は拡大して写っている。ステップＳ６０では、注目領域ｍが画像中で拡大していく物体の中心付近の領域であるか否かを判定する。

具体的には、次式（４）が成立するときに、注目領域ｍが拡大していく物体の中心付近の領域であると判定する。
Ｇ_m＝ｎ （４）
ただし、ｎは注目領域ｍの近傍領域ｍ'の数であり、ここでは、４である。また、Ｇ_mは、次式（５）により算出する。
Ｇ_m＝Σδ_m' （５）
ただし、δ_m'＝１ ：Ｓ_{m,m'}＞０
＝０ ：Ｓ_{m,m'}≦０

式（５）において、Σδ_m'は、注目領域の周囲に存在する４つの近傍領域ｍ'のそれぞれについてのδ_m'の値を加算した値である。ステップＳ６０の判定において、式（４）の関係が成り立ち、注目領域ｍが拡大していく物体の中心付近の領域であると判定するとステップＳ８０に進み、式（４）の関係が成り立たず、注目領域ｍは拡大していく物体の中心付近の領域ではないと判定すると、ステップＳ７０に進む。

ステップＳ７０では、時刻ｔにおいて撮影された画像の全画素について、ステップＳ３０からステップＳ６０の処理を行ったか否かを判定する。全ての画素について処理を行ったと判定するとステップＳ９０に進む。一方、全ての画素について処理を行っていないと判定すると、ステップＳ３０に戻り、注目領域ｍと隣接する５×５画素の領域を新たな注目領域ｍに設定して、上述したステップＳ３０からステップＳ６０までの処理を行う。

ステップＳ８０では、自車両１００と衝突する可能性がある物体が存在すると判定して、警報装置５に対して、警報を発する旨の信号を送信する。この信号を受信した警報装置５は、ドライバに対して警報を発する。警報は、例えば、ビープ音でもよいし、「前方に注意」などの言葉を合成音声にて発するものでもよい。警報装置５に対して、警報を発する旨の信号を送信すると、ステップＳ９０に進む。

ステップＳ９０では、保存用フレームメモリ２に格納されている時刻（ｔ−Δｔ）に撮影された画像を消去するとともに、ステップＳ１０でフレームメモリ３に記録した、時刻ｔに撮影された画像を保存用フレームメモリ２に格納する。ステップＳ９０における処理を行うと、ステップＳ１０に戻り、上述したステップＳ１０以降の処理を繰り返し行う。

一実施の形態における車両用障害物検出装置によれば、カメラ１によって、第１の時間Ｔ1に撮影された第１の画像、および、第１の時間Ｔ1よりも時間が経過した第２の時間Ｔ2において撮影された第２の画像の少なくとも２つの画像に基づいて、第１の画像よりも第２の画像において拡大して写されている物体を検出し、検出した拡大物体に基づいて、車両と衝突する可能性がある障害物の有無を判定する。これにより、演算負荷の低い方法により、自車両と衝突する可能性のある障害物を検出することができる。例えば、検出した移動物体が自車両に接近してきているか否かを調べるために、両者の相対位置変化を演算する必要がない。

特に、第１の画像に写っている物体の中心位置と、第２の画像に写っている物体の中心位置とが大きく変動しない拡大物体、すなわち、両者の中心位置が所定の範囲内にある拡大物体を検出することにより、自車両と衝突する可能性のある障害物を的確に検出することができる。

また、一実施の形態における車両用障害物検出装置は、撮影された一連の画像中において拡大していく物体を検出するために、以下の処理を行う。まず、処理対象の領域である注目領域を設定するとともに、注目領域の周囲に存在する領域を近傍領域として設定する。そして、設定した注目領域の平均輝度値および近傍領域の平均輝度値を算出する。その後、注目領域の平均輝度値と、近傍領域の平均輝度値との差分、すなわち、空間微分値を演算するとともに、注目領域の輝度値の時間変化、すなわち、時間微分値を演算する。そして、演算された空間微分値と時間微分値との相関値を算出し、算出した相関値に基づいて、車両と衝突する可能性のある障害物の有無を判定する。この方法によれば、上述した特許文献１に記載されているようなハフ変換や特徴点マッチングによるオプティカルフロー演算などの演算負荷の高い処理を行う必要がない。また、自車両の速度の検出処理または推定処理を行う必要もない。

本発明は、上述した一実施の形態に限定されることはない。例えば、拡大物体の中心付近を検出するために、小領域ｍを設定したが、小領域ｍの設定方法は、図５に示す方法に限定されることはない。小領域ｍおよび近傍領域ｍ'の配置方法の別の例を図６に示す。また、小領域ｍは、必ずしも複数の画素が集合したものである必要はなく、図７に示すように、１画素であってもよい。ただし、撮影された画像にノイズが存在することを考慮すると、複数の画素からなる領域を小領域ｍとして設定することが好ましい。

また、図５〜図７に示す例では、近傍領域ｍ'を４つ設定しているが、近傍領域を８つとしてもよい。すなわち、小領域ｍの形状や大きさ、近傍領域ｍ'の数、および、注目領域ｍと近傍領域ｍ'の重複の有無などにより、本発明が限定されることはない。

上述した説明では、空間微分値Ｄp_{m,m'}を算出する際に、画像のノイズの影響を軽減するために、時刻ｔの空間微分値と、時間Δｔ前の時刻（ｔ−Δｔ）の空間微分値とを加算して２で割ったが（式（１）参照）、ノイズの影響が無ければ、次式（６）により空間微分値Ｄp_{m,m'}を算出することができる。すなわち、空間微分値Ｄp_{m,m'}は、注目領域ｍの平均輝度値I_{m,ｔ−Δｔ}と、その周囲に存在する近傍領域ｍ'の平均輝度値I_{m',ｔ−Δｔ}との差を求めることによって算出される。
Ｄp_{m,m'}＝I_{m,ｔ−Δｔ}−I_{m',ｔ−Δｔ} （６）

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ１が撮影手段を、ＣＰＵ４が拡大物体検出手段、判定手段、領域設定手段、輝度値算出手段、空間微分値演算手段、時間微分値演算手段、および、相関値算出手段を、警報装置５が警報手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。

本発明による車両用障害物検出装置の一実施の形態の構成を示す図 自車両に取り付けられたカメラにより、車両前方を撮影する様子を示した図 自車両の前に歩行者が飛び出してくる様子を示す図 、一実施の形態における車両用障害物検出装置により行われる処理の内容を示すフローチャート 小領域の配置方法の一例を示す図 小領域の配置方法の別の例を示す図 小領域の配置方法のさらに別の例を示す図

符号の説明

１…カメラ
２…保存用フレームメモリ
３…フレームメモリ
４…ＣＰＵ
５…警報装置
１０…歩行者
２０…自動販売機
１００…自車両

Claims (6)

1. 車両の前方を撮影する撮影手段と、
   前記撮影手段によって第１の時間Ｔ1に撮影された第１の画像、および、第１の時間Ｔ1よりも時間が経過した第２の時間Ｔ2において撮影された第２の画像の少なくとも２つの画像に基づいて、前記第１の画像よりも前記第２の画像において拡大して写されている物体（以下、拡大物体と呼ぶ）を検出する拡大物体検出手段と、
   前記拡大物体検出手段によって検出された拡大物体に基づいて、車両と衝突する可能性がある障害物の有無を判定する判定手段とを備えることを特徴とする車両用障害物検出装置。
2. 請求項１に記載の車両用障害物検出装置において、
   前記判定手段は、前記拡大物体検出手段により、前記第１の画像に写っている物体の中心位置と、前記第２の画像に写っている物体の中心位置が所定の範囲内であり、かつ、前記第１の画像よりも前記第２の画像において拡大して写されている物体が検出された場合に、前記車両と衝突する可能性がある障害物が存在すると判定することを特徴とする車両用障害物検出装置。
3. 請求項１または２に記載の車両用障害物検出装置において、
   前記第１の画像および前記第２の画像において、処理対象の領域（以下、注目領域と呼ぶ）を設定するとともに、前記注目領域の周囲に存在する領域を近傍領域として設定する領域設定手段と、
   前記注目領域の輝度値および前記近傍領域の輝度値を算出する輝度値算出手段と、
   前記注目領域の輝度値と、前記近傍領域の輝度値との差分（以下、空間微分値と呼ぶ）を演算する空間微分値演算手段と、
   前記第２の画像における前記注目領域の輝度値と、前記第１の画像における前記注目領域の輝度値との差分（以下、時間微分値と呼ぶ）を演算する時間微分値演算手段と、
   前記空間微分値演算手段により演算された空間微分値と前記時間微分値演算手段により演算された時間微分値との相関値を算出する相関値算出手段とをさらに備え、
   前記判定手段は、前記相関値算出手段により算出された相関値に基づいて、前記車両と衝突する可能性がある障害物の有無を判定することを特徴とする車両用障害物検出装置。
4. 請求項３に記載の車両用障害物検出装置において、
   前記相関値算出手段は、次式（Ａ）により相関値Ｓ_{m,m'}を算出することを特徴とする車両用障害物検出装置。
   Ｓ_{m,m'}＝(I_{m,T1}−I_{m',T1})×(I_{m',T2}−I_{m',T1}) …（Ａ）
   ただし、I_{m,Ｔ1}は、第１の時間Ｔ1に撮影された画像の注目領域ｍにおける輝度値、I_{m',Ｔ1}は、第１の時間Ｔ1に撮影された画像の近傍領域ｍ'における輝度値、I_{m',T2}は、第２の時間Ｔ2に撮影された画像の近傍領域ｍ'における輝度値である。
5. 請求項４に記載の車両用障害物検出装置において、
   前記判定手段は、次式（Ｂ）の関係が成り立つ場合に、前記車両と衝突する可能性がある障害物が存在すると判定することを特徴とする車両用障害物検出装置。
   Σδ_m'＝ｎ …（Ｂ）
   ただし、ｎは前記領域設定手段により設定された近傍領域ｍ'の数であり、δ_m'は、次式（Ｃ）により算出される。
   δ_m'＝１ ：Ｓ_{m,m'}＞０
   ＝０ ：Ｓ_{m,m'}≦０ …（Ｃ）
6. 請求項１〜５のいずれかに記載の車両用障害物検出装置において、
   前記判定手段により、車両と衝突する可能性がある障害物が存在すると判定されると、乗員に警報を発する警報手段をさらに備えることを特徴とする車両用障害物検出装置。
   

Images