JP2003187228A - 車両認識装置及び認識方法 - Google Patents

Abstract

(57)【要約】 【課題】オプティカルフローがゼロである車両も、簡単
かつ確実に認識可能な認識装置及びその方法を提供す
る。 【解決手段】後側方から自車に接近して自車と同じ速度
で併走する車両の場合、オプティカルフローはゼロにな
るが、その過程においてオプティカルフローが滑らかに
ゼロに変化する。これに対し、道路面や防音壁などの壁
面に映る自車或いは併走車両の影の場合には、オプティ
カルフローが急激にゼロに変化するなど、その変化の仕
方が併走車両と全く異なる。そのため、オプティカルフ
ローの時間的変化を検出し、検出したオプティカルフロ
ーの時間的変化が滑らかにゼロに移行するかどうかを判
断することで、対象となっているユニットが車両である
かどうかを判断することができる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は、画像を処理して
自車後側方の車両を認識する車両認識装置及び認識方法
に関する。

【０００２】

【従来の技術】近年、例えば高速道路における追従走行
機能や操舵アシスト機能といった、より高度でより快適
な運転支援システムを搭載した車両が提案され、その手
法として、例えば２台のカメラによるステレオ画像を利
用し、左右２枚の画像の距離情報をクラスタリングする
手法がある。

【０００３】ところが、このようなステレオ画像処理の
場合、画像全体についてのマッチング処理、つまり左右
のフレーム画像の各画素毎の輝度差を求め、その差が最
小となってマッチングする位置を探索する必要があり、
そのために相対速度の大きな移動物体のような大きな移
動量を検索する場合には計算量が非常に多くなり、しか
もリアルタイム処理を行うには、高速演算可能なＣＰＵ
が必要になり、コスト面でも非常に高価になるという問
題点があった。

【０００４】一方、ステレオ画像処理に比べて安価に車
両認識を行う手法として、従来、オプティカルフローに
基づく認識が提案されており、これは自車走行中に自車
の後側方を撮像して得られる画像を処理し、あるフレー
ム画像とその所定時間後のフレーム画像の変化から同一
点の動きを表わすオプティカルフローを導出し、このオ
プティカルフローから自車の後側方における移動物体を
識別して車両か路側構造物かを認識するというものであ
る。

【０００５】

【発明が解決しようとする課題】しかし、このオプティ
カルフローによる車両認識の場合、自車の走行車線と隣
接する車線を自車とほぼ同じ速度で併走する車両につい
ては、オプティカルフローがゼロになり、オプティカル
フローに基づいてその併走車両を検出することができな
いという問題があった。

【０００６】より具体的に説明すると、図７に示すよう
に、自車の走行車線に隣接する車線を自車よりも速い速
度で追い越そうとする追い越し車両（図７中の“Ａ”）
が、その後図８に示すように、自車とほぼ同じ速度で併
走する場合、併走車両（図８中の“Ｄ”）のオプティカ
ルフローはゼロになるため、オプティカルフローに基づ
いてその併走車両を検出することができない。

【０００７】また、自車の影部分も、併走車両と同じよ
うにオプティカルフローがゼロになり、しかも日差しが
弱いときには、自車の影部分が一定しないため（図７中
の“Ｃ”）、併走車両と自車の影部分とを識別すること
ができない。更に、日差しが強くなると、自車の影部分
（図８中の“Ｅ”）は鮮明になるが、オプティカルフロ
ーがゼロであることから、併走車両と自車の影部分とを
識別できないことに変わりはない。尚、図７中の“Ｂ”
は、道路構造物等の静止物体を表わしている。

【０００８】そこで、本発明は、オプティカルフローが
ゼロである車両を、簡単かつ確実に認識可能な認識装置
及びその方法を提供することを目的とする。

【０００９】

【課題を解決するための手段】上記した目的を達成する
ために、請求項１に記載の発明にかかる車両認識装置
は、画像を処理して自車後側方の車両を認識する車両認
識装置において、画像センサにより自車後側方を撮像し
て得られる画像を複数のユニットに分割し、所定時間相
前後した２つのフレーム画像中における前記各ユニット
について同一点の動きを表わすオプティカルフローを導
出し、前記オプティカルフローを導出した前記ユニット
についてそのオプティカルフローが滑らかにゼロに変化
するかどうかにより、当該ユニットが車両かどうかを判
断する手段を備えていることを特徴としている。

【００１０】このような構成によれば、後側方から自車
に接近して、自車と同じ速度で併走する車両の場合、オ
プティカルフローはゼロになるが、その過程においてオ
プティカルフローが滑らかにゼロに変化するという特徴
がある。

【００１１】そのため、オプティカルフローが滑らかに
ゼロに変化するという特徴に基づき、対象となっている
ユニットが車両であるかどうかを判断することができ、
オプティカルフローがゼロであってドライバの死角に入
る併走車両であっても、簡単かつ確実にこれを認識する
ことができる。

【００１２】また、請求項２に記載の発明にかかる車両
認識装置は、画像を処理して自車後側方の車両を認識す
る車両認識装置において、自車後側方を撮像する画像セ
ンサと、前記画像センサにより自車後側方を撮像して得
られる画像を複数のユニットに分割し、所定時間相前後
した２つのフレーム画像中における前記各ユニットにつ
いて同一点の動きを表わすオプティカルフローを導出す
る導出部と、前記オプティカルフローを導出した前記ユ
ニットについてそのオプティカルフローの時間的変化を
検出する検出部と、前記検出部による前記オプティカル
フローの時間的変化が滑らかにゼロに移行するかどうか
を判断し、ゼロに移行すると判断したときに第１のフラ
グをセットし、前記第１のフラグがセットされた前記ユ
ニットを車両と認識する認識部とを備えていることを特
徴としている。

【００１３】このような構成によれば、導出部により導
出されるオプティカルフローの時間的変化が検出部によ
り検出され、このオプティカルフローの時間的変化が滑
らかにゼロになるときには、認識部によりそのユニット
に対して第１のフラグがセットされ、第１のフラグがセ
ットされたユニットが車両と認識される。

【００１４】このとき、後側方から自車に接近して自車
と同じ速度で併走する車両の場合、オプティカルフロー
はゼロになるが、その過程においてオプティカルフロー
が滑らかにゼロに変化するという特徴があるため、オプ
ティカルフローがゼロになっても、第１のフラグがセッ
トされたユニットの集合を車両であると認識することが
できる。

【００１５】そのため、オプティカルフローが滑らかに
ゼロに変化するという特徴に基づき、対象となっている
ユニットが車両であるかどうかを判断することができ、
オプティカルフローがゼロであってドライバの死角に入
る併走車両であっても、簡単かつ確実にこれを認識する
ことができる。

【００１６】また、請求項３に記載の発明にかかる車両
認識装置は、前記認識部が、前記オプティカルフローの
時間的変化が滑らかにゼロに移行する前記ユニットの出
現位置を検知し、その出現位置が自車の走行車線の隣接
車線に相当する位置であるかどうかを判断し、隣接車線
に相当する位置と判断したときに第２のフラグをセット
し、前記第１、第２のフラグが共にセットされた前記ユ
ニットを車両と認識することを特徴としている。

【００１７】このような構成によれば、オプティカルフ
ローの時間的変化が滑らかにゼロに移行するユニットの
出現位置が、自車の走行車線の隣接車線に相当する位置
であるときには、第２のフラグがセットされ、第１、第
２のフラグが共にセットされたユニットが車両と認識さ
れる。

【００１８】このとき、後側方から自車に接近して自車
と同じ速度で併走する車両は、自車の走行車線の隣接車
線を走行するが故にドライバの死角に入り、その結果ド
ライバはこのような隣接車線の併走車両を視認できなく
なるという特徴があるため、オプティカルフローがゼロ
になっても、オプティカルフローがゼロになるユニット
の出現位置が自車の走行車線に隣接する車線であるかど
うかを判断することで、対象となっているユニットが車
両であるかどうかがわかる。

【００１９】そのため、オプティカルフローがゼロにな
っても、第１及び第２のフラグが共にセットされたユニ
ットが存在すれば、そのユニットは車両であると認識し
てもほぼ間違いはなく、オプティカルフローがゼロであ
ってドライバの死角に入る併走車両であっても、自車と
併走する車両を確実に認識することができる。

【００２０】また、請求項４に記載の発明にかかる車両
認識装置は、前記認識部が、前記オプティカルフローの
時間的変化が滑らかにゼロに移行する前記ユニットにつ
いて、前記ユニットにおける各画素の輝度値の差が所定
値以上となってエッジを形成するときに、そのエッジを
形成する輝度値の差の分布パターンが、多様な分布パタ
ーンを構成する前記ユニットの集合が存在するかどうか
判断し、存在すると判断したときに第３のフラグをセッ
トし、前記第１ないし第３のフラグすべてがセットされ
た前記ユニットを車両と認識することを特徴としてい
る。

【００２１】このような構成によれば、後側方から自車
に接近して自車と同じ速度で併走する車両は、その画像
に対応するユニットにおける各画素の輝度値の差が所定
値以上となってエッジを形成し、そのエッジを形成する
輝度値の差の分布パターンが、多様な分布パターンを構
成する。

【００２２】このとき、かかる併走車両と同様に、オプ
ティカルフローがゼロになる道路上に映る自車の影の部
分であって、エッジを形成する自車の影部分と影でない
部分との輝度値の差の分布パターンが少なくとも２つの
塊を成す一様な分布パターンとなるのに対し、上記した
ように併走車両のエッジを形成する輝度値の差が多様な
分布パターンとなることから、このような分布パターン
の違いに基づき、併走車両であるかどうかを判断するこ
とができる。

【００２３】そのため、オプティカルフローがゼロにな
っても、第１ないし第３のフラグすべてがセットされた
ユニットが存在すれば、そのユニットは車両であると認
識してもほぼ間違いはなく、オプティカルフローがゼロ
であってドライバの死角に入る併走車両であっても、こ
れを確実に認識することができる。

【００２４】また、請求項５に記載の発明にかかる車両
認識装置は、前記第１ないし第３のフラグそれぞれに代
わり、正規化された第１ないし第３の評価値を設定し、
これら各評価値の和が予め定められたしきい値を超えな
い前記ユニットの集合を車両と認識する評価部を備えて
いることを特徴としている。

【００２５】このような構成によれば、第１ないし第３
のフラグそれぞれに代わり、正規化された第１ないし第
３の評価値を用いることで、各評価値の和は“１”より
も小さい値となって取り扱い易くなり、併走車両として
各評価値の和が最小となるユニットを選別する際に、該
当するユニットを容易に選別して併走車両を認識するこ
とができる。

【００２６】また、請求項６に記載の発明にかかる車両
認識方法は、前記認識部よる認識結果を報知する報知部
を更に備えていることを特徴としている。このような構
成によれば、認識部の認識結果を報知部により報知する
ことで、例えば自車の隣接車線を自車と併走する車両が
ドライバの死角に入っても、ドライバは報知部の報知に
より確実にこれを把握することができる。この報知部に
は、報知のための画像や文字を表示するＬＣＤ等の表示
手段や、ブザー、表示ランプを用いるとよい。

【００２７】また、請求項７に記載の発明にかかる車両
認識方法は、画像センサにより自車後側方を撮像する撮
像工程と、前記画像センサにより自車後側方を撮像して
得られる画像を複数のユニットに分割し、所定時間相前
後した２つのフレーム画像中における前記各ユニットに
ついて同一点の動きを表わすオプティカルフローを導出
する導出工程と、前記オプティカルフローを導出した前
記ユニットについてそのオプティカルフローの時間的変
化を検出する検出工程と、前記検出工程における前記オ
プティカルフローの時間的変化が滑らかにゼロに移行す
るかどうかを判断し、ゼロに移行すると判断したときに
第１のフラグをセットし、前記第１のフラグがセットさ
れた前記ユニットを車両と認識する認識工程と備えてい
ることを特徴としている。

【００２８】このような構成によれば、後側方から自車
に接近して自車と同じ速度で併走する車両の場合、オプ
ティカルフローはゼロになるが、その過程においてオプ
ティカルフローが滑らかにゼロに変化するという特徴が
あるため、オプティカルフローがゼロになっても、第１
のフラグがセットされたユニットを車両であると認識す
ることができる。

【００２９】そのため、オプティカルフローが滑らかに
ゼロに変化するという特徴に基づき、対象となっている
ユニットについて第１のフラグがセットされているかど
うかにより、そのユニットが車両であるかどうかを判断
することができ、オプティカルフローがゼロであってド
ライバの死角に入る併走車両であっても、簡単かつ確実
にこれを認識することができる。

【００３０】また、請求項８に記載の発明にかかる車両
認識方法は、前記認識工程が、前記オプティカルフロー
の時間的変化が滑らかにゼロに移行する前記ユニットの
出現位置を検知し、その出現位置が自車の走行車線の隣
接車線に相当する位置であるかどうかを判断し、隣接車
線に相当する位置と判断したときに第２のフラグをセッ
トし、前記第１、第２のフラグが共にセットされた前記
ユニットを車両と認識する工程を含むことを特徴として
いる。

【００３１】このような構成によれば、後側方から自車
に接近して自車と同じ速度で併走する車両は、自車の走
行車線の隣接車線を走行するが故にドライバの死角に入
り、その結果ドライバはこのような隣接車線の併走車両
を視認できなくなるという特徴があるため、オプティカ
ルフローがゼロになっても、第１及び第２のフラグがセ
ットされたユニットの集合を車両であると認識すること
ができる。

【００３２】そのため、オプティカルフローがゼロにな
っても、第１及び第２のフラグが共にセットされたユニ
ットの集合が存在すれば、そのユニットは車両であると
認識してもほぼ間違いはなく、自車と併走する車両を確
実に認識することができる。

【００３３】また、請求項９に記載の発明にかかる車両
認識方法は、前記認識工程が、前記オプティカルフロー
の時間的変化が滑らかにゼロに移行する前記ユニットに
ついて、前記ユニットにおける各画素の輝度値の差が所
定値以上となってエッジを形成するときに、そのエッジ
を形成する輝度値の差の分布パターンが、多様な分布パ
ターンを構成する前記ユニットの集合が存在するかどう
か判断し、存在すると判断したときに第３のフラグをセ
ットし、前記第１ないし第３のフラグすべてがセットさ
れた前記ユニットを車両と認識する工程を含むことを特
徴としている。

【００３４】このような構成によれば、オプティカルフ
ローがゼロになる道路上に映る自車の影の部分であっ
て、エッジを形成する自車の影部分と影でない部分との
輝度値の差の分布パターンが少なくとも２つの塊を成す
一様な分布パターンとなるのに対し、後側方から自車に
接近して自車と同じ速度で併走する車両のエッジを形成
する輝度値の差が多様な分布パターンとなることから、
このような分布パターンの違いに基づき、併走車両であ
るかどうかを判断することができる。

【００３５】そのため、オプティカルフローがゼロにな
っても、第１ないし第３のフラグすべてがセットされた
ユニットの集合が存在すれば、そのユニットは車両であ
ると認識してもほぼ間違いはなく、自車と併走する車両
を確実に認識することができる。

【００３６】また、請求項１０に記載の発明にかかる車
両認識方法は、前記第１ないし第３のフラグそれぞれに
代わり、正規化された第１ないし第３の評価値を設定
し、これら各評価値の和が予め定められたしきい値を超
えない前記ユニットの集合を車両と認識する評価工程を
含むことを特徴としている。

【００３７】このような構成によれば、第１ないし第３
のフラグそれぞれに代わり、正規化された第１ないし第
３の評価値を用いることで、各評価値の和は例えば
“１”よりも小さい値となって取り扱い易くなり、併走
車両として各評価値の和が最小となるユニットを選別す
る際に、該当するユニットを容易に選別して併走車両を
認識することができる。

【００３８】

【発明の実施の形態】この発明の一実施形態について図
１ないし図６を参照して説明する。但し、図１はブロッ
ク図、図２ないし図６は動作説明図である。

【００３９】図１に示すように、自車に画像センサとし
ての単眼ＣＣＤカメラ１が搭載され、このＣＣＤカメラ
１により自車の後側方が撮像され、得られた各時刻毎の
フレーム画像がＣＰＵ２によりＶＲＡＭ等から成るメモ
リ３に保存される。そして、ＣＰＵ２は各フレーム画像
を処理して画像中の対象物のオプティカルフローを計算
してその移動量を求め、その対象物が道路構造物か車両
かどうか大まかな認識を行う。尚、図１に示すように、
例えばＬＣＤ（液晶ディスプレイ）から成りＣＰＵ２の
制御により各種の表示を行う表示手段４が設けられてお
り、この表示手段４は、後述するように本発明における
報知部としても機能する。

【００４０】ＣＰＵ２は、例えば図２に示すようにｍ×
ｎ個のマトリクス状の複数ユニットに分割する。このユ
ニットはそれぞれ、複数画素から構成される。更に、Ｃ
ＰＵ２は、例えば勾配法によりオプティカルフローを導
出する。つまり、時刻ｔにおけるフレーム画像の各ユニ
ットにおける各画素の輝度値分布を次のフレーム画像で
も保持していると仮定し、連立拘束式を解いてオプティ
カルフローを導出する。より詳細には、各画素の輝度値
の空間的微分値Ｅｘ，Ｅｙ及び時間的微分値Ｅｔによ
り、 Ｅｘ・ｕ＋Ｅｙ・ｖ＋Ｅｔ＝０ と表わされる拘束式を用い、時間的に異なる２つのフレ
ーム画像における局所近傍領域ではオプティカルフロー
が同一であるとの仮定のもとに、オプティカルフローの
連立拘束式を立て、これを解いてオプティカルフローを
導出するというものである。

【００４１】ここで、フレーム画像の水平方向をＸ軸、
これに直交する方向をＹ軸として、Ｅｘはフレーム画像
におけるある画素の明るさのＸ軸方向の微分値、Ｅｙは
Ｙ軸方向の微分値、Ｅｔは時間方向の微分値であり、
ｕ，ｖはそれぞれＸ軸、Ｙ軸方向の動き量であり、
（ｕ，ｖ）がオプティカルフローである。このＣＰＵ２
によるオプティカルフローの導出処理及び工程が、本発
明における導出部及び導出工程にそれぞれ相当する。

【００４２】そして、ＣＰＵ２により導出されるオプテ
ィカルフロー（ｕ，ｖ）の方向及び大きさから、そのオ
プティカルフロー（ｕ，ｖ）に対応する物体が何か判断
される。即ち、図２に示すように、フレーム画像Ｇにお
いて、自車を後方から追い越す追い越し車両の場合に
は、拡大焦点(FOE;Focus of Expansion)Ｆから発散する
方向のオプティカルフロー（ｕ，ｖ）を有し、道路構造
物や静止物体等の場合には拡大焦点Ｆに収束する方向の
オプティカルフロー（ｕ，ｖ）を有することから、ＣＰ
Ｕ２は、計算により得られたオプティカルフロー（ｕ，
ｖ）の方向が拡大焦点に収束するのか拡大焦点Ｆから発
散するのかを判断し、これにより道路構造物や静止物体
であるか追い越し車両であるか大きく区別できるのであ
る。

【００４３】ところで、追い越し車両であっても、自車
の走行車線と隣接する車線を自車に追いついて自車とほ
ぼ同じ速度で併走するような場合、その車両のオプティ
カルフローがゼロになるため、オプティカルフローの大
きさと方向からは何も判断することができない。

【００４４】そこで、ＣＰＵ２は、上記したようにして
オプティカルフローを導出したユニットについて、その
オプティカルフローの時間的変化を検出し、検出したオ
プティカルフローの時間的変化が滑らかにゼロに移行す
るかどうかを判断し、ゼロに移行すると判断したとき
に、そのユニットに対して第１のフラグをセットする。
このＣＰＵ２によるオプティカルフローの時間的変化の
検出処理及び工程が、本発明における検出部及び検出工
程に相当する。

【００４５】このとき、図３中の実線に示すように、後
側方から自車に接近して自車と同じ速度で併走する車両
の場合、オプティカルフローはゼロになるが、図３中の
実線に示すように、その過程においてオプティカルフロ
ーが滑らかにゼロに変化する。これに対し、道路面や防
音壁などの壁面に映る自車或いは併走車両の影の場合に
は、図３中の１点鎖線に示すように、オプティカルフロ
ーが急激にゼロに変化するなど、その変化の仕方が併走
車両と全く異なる。

【００４６】そのため、オプティカルフローの時間的変
化を検出し、検出したオプティカルフローの時間的変化
が滑らかにゼロに移行するかどうかを判断することで、
対象となっているユニットの集合（例えば、図２中に
“Ｘ”を付したユニット）が車両であるかどうかを判断
することができるのである。

【００４７】更に、ＣＰＵ２は、オプティカルフローの
時間的変化が滑らかにゼロに移行するユニットの出現位
置を検知し、図４に示すように、その出現位置が自車の
走行車線の隣接車線（図４中の“Ｒ”，“Ｌ”）に相当
する位置であるかどうかを判断し、隣接車線に相当する
位置と判断したときには、そのユニットに対して第２の
フラグをセットする。

【００４８】このとき、後側方から自車に接近して自車
と同じ速度で併走する車両は、自車の走行車線の隣接車
線を走行するが故にドライバの死角に入り、その結果ド
ライバはこのような隣接車線の併走車両を視認できなく
なるという特徴があるため、オプティカルフローがゼロ
になるユニットの出現位置が自車の走行車線に隣接する
車線であるかどうかを判断することで、対象となってい
るユニットが車両であるかどうかを判断することができ
る。

【００４９】尚、図４中の“Ｃｅｎ”は自車が走行中の
車線を表わしており、オプティカルフローの時間的変化
が滑らかにゼロに移行するユニットの出現位置が自車と
同一車線である場合、通常、ドライバはそのオプティカ
ルフローに対応する後続車両をバックミラー等により視
認することができるため、敢えて自車と同一車線上の後
続車両を検出する必要はない。図４中の「消失点」と
は、上記した拡大焦点Ｆに該当する。

【００５０】また、ＣＰＵ２は、オプティカルフローの
時間的変化が滑らかにゼロに移行するユニットについ
て、ユニットにおける各画素の輝度値の差が所定値以上
となってエッジを形成するときに、そのエッジを形成す
る輝度値の差の分布パターンが、多様な分布パターンを
構成するユニットの集合が存在するかどうかを判断し、
存在すると判断したときにはそれらのユニットに対して
第３のフラグをセットする。

【００５１】ここで、オプティカルフローがゼロになる
道路上に映る自車の影の部分（例えば、図５中に“Ｙ”
を付したユニット）であって、エッジを形成する自車の
影部分と影でない部分との輝度値の差の分布パターン
は、例えば図６（ｂ）に示すように２つの塊を成す一様
な分布パターンとなるのに対し、後側方から自車に接近
して自車と同じ速度で併走する車両（例えば、図５中に
“Ｘ”を付したユニット）のエッジを形成する輝度値の
差の分布パターンは、図６（ａ）に示すように多様な分
布パターンとなることから、このような分布パターンを
見れば、対象となっているユニットが車両であるかどう
かを判断することができる。

【００５２】そして、ＣＰＵ２は、上記した第１ないし
第３のフラグすべてがセットされたユニットがあれば、
これらのユニットを自車の走行車線に隣接する車線を併
走する併走車両と認識するのである。このＣＰＵ２によ
る認識処理及び工程が、本発明における認識部及び認識
工程に相当する。

【００５３】また、ＣＰＵ２は、併走車両を認識したと
きに、表示手段４を制御してドライバに対して自車の後
側方に時差Ｙとほぼ同じ速度で併走する車両が存在する
旨のメッセージや、或いは自車後側方に併走車両が存在
する模式図を画面表示し、ドライバに対して報知する。
このようなＣＰＵ２及び表示手段４による報知処理が報
知部に相当する。

【００５４】このように、オプティカルフローの時間的
変化が滑らかにゼロに移行するユニットに対して第１の
フラグがセットされ、オプティカルフローの時間的変化
が滑らかにゼロに移行するユニットの出現位置が隣接車
線に相当するユニットに対して第２のフラグがセットさ
れ、オプティカルフローの時間的変化が滑らかにゼロに
移行するユニットについて、そのユニットにおける各画
素の輝度値の差が所定値以上となってエッジを形成する
ときに、そのエッジを形成する輝度値の差の分布パター
ンが、多様な分布パターンを構成するユニットに対して
第３のフラグがセットされ、第１ないし第３のフラグす
べてがセットされていれば、そのユニットの集合は併走
車両と認識される。

【００５５】従って、上記した実施形態によれば、オプ
ティカルフローがゼロになっても、第１ないし第３のフ
ラグすべてがセットされたユニットを車両であると認識
することができるため、対象となっているユニットが車
両であるかどうかを判断することができ、オプティカル
フローがゼロであってドライバの死角に入る併走車両で
あっても、簡単かつ確実にこれを認識することができ
る。

【００５６】更に、この認識結果を表示手段４により表
示して報知することで、ドライバは死角に入っている併
走車両の存在を確実に知ることができる。

【００５７】なお、上記した実施形態では、第１ないし
第３のフラグすべてがセットされているかどうかによ
り、併走車両の認識を行う場合について説明したが、少
なくとも、オプティカルフローの時間的変化が滑らかに
ゼロに移行するかどうかの判断結果に基づく第１のフラ
グがセットされているかどうかにより、併走車両の認識
を行うようにしても構わない。

【００５８】更に、上記した実施形態では、第１ないし
第３のフラグすべてがセットされているかどうかによ
り、併走車両の認識を行う場合について説明したが、Ｃ
ＰＵ２により、上記した第１ないし第３のフラグに代わ
って、それぞれ０〜１に正規化された第１ないし第３の
評価値Ｆｔ，Ｆｐ，Ｆｃをそれぞれ設定し、これら各評
価値の和が予め定められたしきい値Ｆｓを超えないユニ
ットの集合を検出し、これらを併走車両と認識するよう
にしてもよい。この場合、ＣＰＵ２による認識処理及び
工程が本発明における評価部及び評価工程に相当する。

【００５９】こうすると、第１ないし第３のフラグそれ
ぞれに代わり、正規化された第１ないし第３の評価値Ｆ
ｔ，Ｆｐ，Ｆｃを用いることで、各評価値の和は例えば
“１”よりも小さい値となって取り扱い易くなり、併走
車両として各評価値の和が最小となるユニットを選別す
る際に、該当するユニットを容易に選別して併走車両を
認識することができるという特有の効果を奏する。

【００６０】また、上記した実施形態では、報知部とし
ての表示手段４を備えている場合について説明したが、
表示手段４は報知部としての機能を必ずしも果たす必要
はなく、更には表示手段４そのものを設ける必要もな
い。

【００６１】更に、上記した実施形態では、自車に搭載
すべき画像センサをＣＣＤカメラ１とした場合について
説明したが、画像センサはＣＣＤカメラに限定されるも
のでないのは勿論である。

【００６２】また、本発明は上記した実施形態に限定さ
れるものではなく、その趣旨を逸脱しない限りにおいて
上述したもの以外に種々の変更を行うことが可能であ
る。

【００６３】

【発明の効果】以上のように、請求項１に記載の発明に
よれば、後側方から自車に接近して、自車と同じ速度で
併走する車両の場合、オプティカルフローはゼロになる
が、その過程においてオプティカルフローが滑らかにゼ
ロに変化するという特徴があるため、オプティカルフロ
ーが滑らかにゼロに変化するという特徴に基づき、対象
となっているユニットが車両であるかどうかを判断する
ことができ、オプティカルフローがゼロであってドライ
バの死角に入る併走車両であっても、簡単かつ確実にこ
れを認識することが可能になり、より高度でより快適な
運転支援システムを提供することが可能になる。

【００６４】また、請求項２、７に記載の発明によれ
ば、後側方から自車に接近して自車と同じ速度で併走す
る車両の場合、オプティカルフローはゼロになるが、そ
の過程においてオプティカルフローが滑らかにゼロに変
化するという特徴があるため、オプティカルフローがゼ
ロになっても、第１のフラグがセットされたユニットの
集合を車両であると認識することができるため、オプテ
ィカルフローが滑らかにゼロに変化するという特徴に基
づき、対象となっているユニットについて第１のフラグ
がセットされているかどうかにより、そのユニットが車
両であるかどうかを判断することができ、オプティカル
フローがゼロであってドライバの死角に入る併走車両で
あっても、簡単かつ確実にこれを認識することが可能に
なる。

【００６５】また、請求項３、８に記載の発明によれ
ば、後側方から自車に接近して自車と同じ速度で併走す
る車両は、自車の走行車線の隣接車線を走行するが故に
ドライバの死角に入り、その結果ドライバはこのような
隣接車線の併走車両を視認できなくなるという特徴があ
るため、オプティカルフローがゼロになっても、第１及
び第２のフラグがセットされたユニットの集合を車両で
あると認識することができるため、オプティカルフロー
がゼロになっても、第１及び第２のフラグが共にセット
されたユニットの集合が存在すれば、そのユニットは車
両であると認識してもほぼ間違いはなく、自車と併走す
る車両を確実に認識することが可能になる。

【００６６】また、請求項４、９に記載の発明によれ
ば、オプティカルフローがゼロになる道路上に映る自車
の影の部分であって、エッジを形成する自車の影部分と
影でない部分との輝度値の差の分布パターンが少なくと
も２つの塊を成す一様な分布パターンとなるのに対し、
後側方から自車に接近して自車と同じ速度で併走する車
両のエッジを形成する輝度値の差が多様な分布パターン
となることから、このような分布パターンの違いに基づ
き、併走車両であるかどうかを判断することができるた
め、オプティカルフローがゼロになっても、第１ないし
第３のフラグすべてがセットされたユニットの集合が存
在すれば、そのユニットは車両であると認識してもほぼ
間違いはなく、自車と併走する車両を確実に認識するこ
とが可能になる。

【００６７】また、請求項５、１０に記載の発明によれ
ば、第１ないし第３のフラグそれぞれに代わり、正規化
された第１ないし第３の評価値を用いることで、各評価
値の和は例えば“１”よりも小さい値となって取り扱い
易くなり、併走車両として各評価値の和が最小となるユ
ニットを選別する際に、該当するユニットを容易に選別
して併走車両を認識することが可能になる。

【００６８】また、請求項６に記載の発明によれば、認
識部の認識結果を報知部により報知することで、例えば
自車の隣接車線を自車と併走する車両がドライバの死角
に入っていても、ドライバは報知部の報知により確実に
これを把握することが可能になる。

【図面の簡単な説明】

【図１】この発明の一実施形態のブロック図である。

【図２】この発明の一実施形態の動作説明図である。

【図３】この発明の一実施形態の動作説明図である。

【図４】この発明の一実施形態の動作説明図である。

【図５】この発明の一実施形態の動作説明図である。

【図６】この発明の一実施形態の動作説明図である。

【図７】従来例の動作説明図である。

【図８】従来例の動作説明図である。

【符号の説明】

１ ＣＣＤカメラ（画像センサ） ２ ＣＰＵ（導出部、検出部、認識部、評価部） ３ メモリ ４ 表示手段（報知部）

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０６Ｔ 7/20 Ｇ０６Ｔ 7/20 Ｂ Ｇ０８Ｇ 1/16 Ｇ０８Ｇ 1/16 Ｃ Ｈ０４Ｎ 7/18 Ｈ０４Ｎ 7/18 Ｊ Ｋ Ｆターム(参考） 5B057 AA16 AA19 BA02 CC01 CH08 CH16 CH18 DA02 DA07 DA12 DA15 DA16 DB02 DB09 DC05 DC09 DC16 DC22 DC34 DC36 5C054 CA04 CC03 EA01 EA05 FC12 FC13 FC14 FE09 HA30 5H180 AA01 CC04 LL02 LL04 LL08 5L096 BA02 BA04 CA02 HA04 JA11

Claims (10)

【特許請求の範囲】
1. 【請求項１】 画像を処理して自車後側方の車両を認識
   する車両認識装置において、 画像センサにより自車後側方を撮像して得られる画像を
   複数のユニットに分割し、所定時間相前後した２つのフ
   レーム画像中における前記各ユニットについて同一点の
   動きを表わすオプティカルフローを導出し、前記オプテ
   ィカルフローを導出した前記ユニットについてそのオプ
   ティカルフローが滑らかにゼロに変化するかどうかによ
   り、当該ユニットが車両かどうかを判断する手段を備え
   ていることを特徴とする車両認識装置。
2. 【請求項２】 画像を処理して自車後側方の車両を認識
   する車両認識装置において、 自車後側方を撮像する画像センサと、 前記画像センサにより自車後側方を撮像して得られる画
   像を複数のユニットに分割し、所定時間相前後した２つ
   のフレーム画像中における前記各ユニットについて同一
   点の動きを表わすオプティカルフローを導出する導出部
   と、 前記オプティカルフローを導出した前記ユニットについ
   てそのオプティカルフローの時間的変化を検出する検出
   部と、 前記検出部による前記オプティカルフローの時間的変化
   が滑らかにゼロに移行するかどうかを判断し、ゼロに移
   行すると判断したときに第１のフラグをセットし、前記
   第１のフラグがセットされた前記ユニットを車両と認識
   する認識部とを備えていることを特徴とする車両認識装
   置。
3. 【請求項３】 前記認識部が、 前記オプティカルフローの時間的変化が滑らかにゼロに
   移行する前記ユニットの出現位置を検知し、その出現位
   置が自車の走行車線の隣接車線に相当する位置であるか
   どうかを判断し、隣接車線に相当する位置と判断したと
   きに第２のフラグをセットし、前記第１、第２のフラグ
   が共にセットされた前記ユニットを車両と認識すること
   を特徴とする請求項２に記載の車両認識装置。
4. 【請求項４】 前記認識部が、前記オプティカルフロー
   の時間的変化が滑らかにゼロに移行する前記ユニットに
   ついて、前記ユニットにおける各画素の輝度値の差が所
   定値以上となってエッジを形成するときに、そのエッジ
   を形成する輝度値の差の分布パターンが、多様な分布パ
   ターンを構成する前記ユニットの集合が存在するかどう
   か判断し、存在すると判断したときに第３のフラグをセ
   ットし、前記第１ないし第３のフラグすべてがセットさ
   れた前記ユニットを車両と認識することを特徴とする請
   求項３に記載の車両認識装置。
5. 【請求項５】 前記第１ないし第３のフラグそれぞれに
   代わり、正規化された第１ないし第３の評価値を設定
   し、これら各評価値の和が予め定められたしきい値を超
   えない前記ユニットを車両と認識する評価部を備えてい
   ることを特徴とする請求項４に記載の車両認識装置。
6. 【請求項６】 前記認識部よる認識結果を報知する報知
   部を更に備えていることを特徴とする請求項１ないし５
   のいずれかに記載の車両認識装置。
7. 【請求項７】 画像を処理して自車後側方の車両を認識
   する車両認識方法において、 画像センサにより自車後側方を撮像する撮像工程と、 前記画像センサにより自車後側方を撮像して得られる画
   像を複数のユニットに分割し、所定時間相前後した２つ
   のフレーム画像中における前記各ユニットについて同一
   点の動きを表わすオプティカルフローを導出する導出工
   程と、 前記オプティカルフローを導出した前記ユニットについ
   てそのオプティカルフローの時間的変化を検出する検出
   工程と、 前記検出工程における前記オプティカルフローの時間的
   変化が滑らかにゼロに移行するかどうかを判断し、ゼロ
   に移行すると判断したときに第１のフラグをセットし、
   前記第１のフラグがセットされた前記ユニットを車両と
   認識する認識工程と備えていることを特徴とする車両認
   識方法。
8. 【請求項８】 前記認識工程が、前記オプティカルフロ
   ーの時間的変化が滑らかにゼロに移行する前記ユニット
   の出現位置を検知し、その出現位置が自車の走行車線の
   隣接車線に相当する位置であるかどうかを判断し、隣接
   車線に相当する位置と判断したときに第２のフラグをセ
   ットし、前記第１、第２のフラグが共にセットされた前
   記ユニットを車両と認識する工程を含むことを特徴とす
   る請求項７に記載の車両認識方法。
9. 【請求項９】 前記認識工程が、前記オプティカルフロ
   ーの時間的変化が滑らかにゼロに移行する前記ユニット
   について、前記ユニットにおける各画素の輝度値の差が
   所定値以上となってエッジを形成するときに、そのエッ
   ジを形成する輝度値の差の分布パターンが、多様な分布
   パターンを構成する前記ユニットが存在するかどうか判
   断し、存在すると判断したときに第３のフラグをセット
   し、前記第１ないし第３のフラグすべてがセットされた
   前記ユニットの集合を車両と認識する工程を含むことを
   特徴とする請求項８に記載の車両認識方法。
10. 【請求項１０】 前記第１ないし第３のフラグそれぞれ
    に代わり、正規化された第１ないし第３の評価値を設定
    し、これら各評価値の和が予め定められたしきい値を超
    えない前記ユニットの集合を車両と認識する評価工程を
    含むことを特徴とする請求項９に記載の車両認識方法。