JP2008003660A - 接近車両検出装置 - Google Patents

Abstract

【課題】少ない演算量で接近車両を検出する。
【解決手段】車載カメラ１０によって撮像された車両周囲の映像の時間変動成分を周波数ごとに分離し、分離したデータに基づいて、撮像映像から、自車両に接近してくる車両を検出する。
【選択図】図１

Description

本発明は、撮像画像に基づいて、自車両に接近してくる車両を検出する装置に関する。

従来、車両周囲を撮像した複数の画像に基づいて、テンプレートマッチングによりオプティカルフローを求め、撮像画像上の他車両を検出する技術が知られている（特許文献１参照）。

特開２００４−１７３０４８号公報

しかしながら、オプティカルフローを求める方法では、接近車両を検出するために要する演算量が多くなるという問題がある。

本発明による接近車両検出装置は、撮像手段によって撮像された車両周囲の映像の時間変動成分を周波数ごとに分離し、分離したデータに基づいて、撮像映像から、自車両に接近してくる車両を検出することを特徴とする。

本発明による接近車両検出装置によれば、車両周囲の映像の時間変動成分を周波数ごとに分離し、分離したデータに基づいて、撮像映像から、自車両に接近してくる車両を検出するので、接近車両を効果的に検出することができる。

図１は、一実施の形態における接近車両検出装置の構成を示す図である。一実施の形態における接近車両検出装置は、車載カメラ１０と、処理装置２０とを備える。図２は、車載カメラ１０の取り付け位置の一例を示す図である。図２に示すように、車載カメラ１０は、車両１００の後部中央に取り付けられて、自車両後方を撮像する。

処理装置２０は、プロセッサで構成されており、内部で行う処理機能上、周波数分解部２１と、記憶部２２と、周波数合成部２３と、ノイズ除去部２４と、接近車両検出部２５とを備える。周波数分解部２１は、車載カメラ１０によって撮像された映像に基づいて、映像の時間変動成分を周波数領域ごとに分解する処理を行う。記憶部２２は、周波数分解部２１によって周波数領域ごとに分解されたデータを記憶する。

周波数合成部２３は、車載カメラ１０の取り付け位置、撮像方向、レンズのディストーション（歪み）に応じて、記憶部２２に記憶されているデータの中から、撮像画素ごとに必要な周波数領域のデータを集めて、映像を合成（再構築）する処理を行う。ノイズ除去部２４は、周波数合成部２３で合成された映像から、ノイズを除去する処理を行う。接近車両検出部２５は、ノイズ除去部２４でノイズが除去された映像に基づいて、自車両に接近してきている車両を検出する。各部２１〜２５で行われる詳しい処理内容を以下で説明する。

図３は、車載カメラ１０で撮像された映像の一例を示す図である。図３に示す撮像映像には、隣接車線を走行している車両２００、および、自車両の真後ろを走行している車両３００が映っている。また、車両２００，３００以外にも、中央線３１、道路の端線３２，３３、鉄塔３５、および、側壁３６などが映っている。ここで、隣接車線を走行している車両２００は、自車両を追い抜こうとしており、自車両の真後ろを走行している車両３００は、自車両とほぼ同じ速度で走行しているものとする。

周波数分解部２１は、車載カメラ１０によって撮像された映像に基づいて、映像の時間変動成分を周波数領域ごとに分解する処理を行う。ここでは、映像の時間変動成分を周波数領域ごとに分解する処理を、時間周波数分割と呼ぶ。

図４は、撮像映像上の１つの画素（ｘ、ｙ）の輝度の時間変化を示す図である。周波数分解部２１は、この輝度の時間変化を、周波数成分に分割する。例えば、異なる時刻に撮影された複数の映像フレームに基づいて、各画素ごとに、輝度値の平均値を演算し、演算した輝度平均値と、現在の映像の輝度値との差分を求めてから、周波数領域ごとに分類する処理を行う。毎秒３０フレームで撮影している場合には、１５Ｈｚ以下のバンドパス成分に分類することができる。周波数分解部２１によって周波数領域ごとに分解されたデータは、記憶部２２に記憶される。

時間周波数分割処理を行うと、輝度の変化が少ない画素は低周波成分に分類され、輝度の変化が大きい画素は高周波成分として分類される。従って、空や地面（道路）が映り込んでいる画素は、輝度が時間的に変化しないため、低周波成分として抽出される。一方、接近車両が映り込んでいる画素や、鉄塔などのように、自車両の走行に伴って映像上で移動する画素は、輝度が時間的に変化するため、高周波成分として抽出される。図３に示す映像では、自車両を追い抜こうとしている車両２００は、高周波成分となり、自車両とほぼ同じ速度で走行している車両３００は低周波成分となる。また、鉄塔３５は、自車両の走行に伴って、映像上で移動するため、高周波成分となる。

周波数合成部２３は、自車両に接近してくる車両を検出するために、記憶部２２に記憶されているデータの中から、所定周波数以上の高周波成分のデータを集めて、映像を合成（再構築）する処理を行う。所定周波数以上の高周波成分のデータを集めることにより、上述したように、自車両とほぼ同じ速度で走行している車両３００などの低周波成分のデータを除外することができる。

ここで、撮像映像上に一定の速度で接近してくる車両が映っている場合でも、映っている場所によって、速度が異なって映る。図５は、一定の速度で走行している車両２００のオプティカルフローを矢印Ｙ１およびＹ２で示した図である。図５に示すように、車載カメラ１０のレンズ中央に対応する画面中央よりも、車載カメラ１０のレンズ周辺に対応する画面外側の位置の方が映像上の移動量が大きくなる。

従って、周波数合成部２３は、車載カメラ１０の取り付け位置、撮像方向、レンズのディストーション（歪み）に応じて、撮像画素に応じた周波数領域のデータを集めて、映像を合成（再構築）する処理を行う。これにより、映像の合成（再構築）を適切に行うことができる。

ノイズ除去部２４は、周波数合成部２３で合成された映像から、ノイズを除去する処理を行う。ここでは、周波数合成部２３で合成された映像の各画素の輝度値に対して二値化処理を行った後、メディアンフィルタを用いたノイズ除去処理を行う。

図６は、周波数合成部２３によって合成されて、ノイズ除去部２４でノイズ除去処理が行われた映像を示す図である。図６に示すように、自車両と同じ速度で走行していた車両３００などの低周波成分は消去されて、接近車両２００や、鉄塔３５などのように、映像上で変化する部分が残る。特に、車両の場合、バンパーと地面との境界部分や、バンパーとエアインテイクとの境界、ボンネットと窓との境界、屋根と空との境界など、横方向（水平方向）に連続した情報（線）が残りやすい。

ノイズ除去部２４は、また、車両が存在すると考えられる領域以外の領域から情報を消去する。例えば、映像の上方部分には、空などの背景が映っていることが多く、車両は存在しないと考えられる。従って、映像の上方部分に映っている情報を消去することにより、接近車両を検出するために不必要なデータを消去することができる。図７は、図６に示す映像から、映像の上方部分に映っている鉄塔３５が消去された図である。

接近車両検出部２５は、ノイズが除去された映像（図７参照）に基づいて、自車両に接近中の車両を検出する処理を行う。接近車両検出部２５は、まず、横線検出フィルタなどの空間フィルタを用いて、映像上の横エッジを強調する処理を行う。図８は、図７に示す映像に対して、横線検出フィルタを用いて、横エッジを検出する処理を行った後の図である。図８に示すように、縦線の成分が消えて、横方向（水平方向）の成分が強調されている。

次に、接近車両検出部２５は、テンプレートマッチング処理を行うことにより、接近車両を検出する。図９（ａ）および図９（ｂ）は、接近車両検出部２５が保持している、車両の特徴を表したテンプレートの一例を示す図である。乗用車やトラックは、バンパー下端のエッジ成分が残りやすいので、図９（ａ）や図９（ｂ）に示すような横線状のテンプレートを用いる。ノイズ除去後の映像において、車両のエッジ成分は、横方向が連続的につながっていない可能性もあるので、図９（ｂ）に示すような不連続な横線状のテンプレートを用いるか、または、エッジ成分が不連続であっても、連続的な直線であるものとして、図９（ａ）に示すテンプレートを用いるようにする。

上述したテンプレートマッチング処理を行うことにより、車両の特徴を表す横エッジが検出される。車両の特徴を表す横エッジを検出すると、接近車両を検出するための車両検出領域を設定する。ここでは、検出した横エッジの長さを一辺とし、検出した横エッジを底辺とする矩形領域を、車両検出領域として設定する。図１０は、設定された矩形領域５０の一例を示す図である。接近車両検出部２５は、設定した車両検出領域内に存在する映像成分に基づいて、車両を検出する。例えば、設定した車両検出領域内に存在する映像成分（横エッジ成分）が所定量以上あれば、その車両検出領域は、接近車両が映り込んでいる領域であると判断する。なお、横エッジの検出処理、および、設定した車両検出領域内での車両検出処理は、撮像映像上の全ての領域を対象として行う。

車両の検出処理は、数フレームにわたって行う。あるフレームで接近車両を検出したが、次のフレームにおいて、前のフレームで車両を検出した領域付近に車両を検出できない場合でも、続く数フレームの間は、車両未検出の判断を出さずに、その後の数フレームの間に、再度、近傍に車両を検出した場合には、連続的に車両を検出し続けているという判断を出す。これにより、接近車両が存在しているにも関わらず、画像処理時に、接近車両未検出となってしまった場合でも、接近車両が存在することを継続してユーザに報知することができる。

接近車両検出部２５が接近車両を検出すると、図示しないモニタに、接近車両の情報を表示したり、図示しないスピーカから、接近車両の情報を音声により、ドライバに報知することができる。

図１１は、上述した処理装置２０内の各部２１〜２５で行われる処理の流れを示すフローチャートである。ステップＳ１０において、周波数分解部２１は、車載カメラ１０で撮像された複数フレームの映像を取得して、ステップＳ２０に進む。ステップＳ２０では、映像の時間変動成分を周波数領域ごとに分離して、ステップＳ３０に進む。

ステップＳ３０において、周波数合成部２３は、映像の時間変動成分を周波数領域ごとに分離されたデータの中から、所定周波数以上の高周波成分のデータを集めて、映像を合成（再構築）する処理を行う。ステップＳ３０に続くステップＳ４０において、ノイズ除去部２４は、周波数合成部２３で合成された映像から、ノイズを除去する処理を行う。

ステップＳ４０に続くステップＳ５０において、接近車両検出部２５は、ノイズが除去された映像上の横エッジを強調する処理を行って、ステップＳ６０に進む。ステップＳ６０では、車両の特徴を表すテンプレートを用いて、テンプレートマッチング処理を行うことにより、車両の特徴を表す横エッジを検出する。ステップＳ６０に続くステップＳ７０では、検出した横エッジの周辺に車両検出領域を設定して、ステップＳ８０に進む。ステップＳ８０では、設定した車両検出領域内に存在する映像成分に基づいて、接近車両を検出する。

一実施の形態における接近車両検出装置によれば、車載カメラ１０によって撮像された車両周囲の映像の時間変動成分を周波数ごとに分離し、分離したデータに基づいて、撮像映像から、自車両に接近してくる車両を検出するので、接近車両を効果的に検出することができる。例えば、撮像映像上に、多数の車両が映っている場合でも、少ない演算量で接近車両を検出することができる。

特に、撮像映像の各画素の輝度の時間変化を周波数ごとに分離されたデータの中から、輝度の時間変化が所定の周波数以上の画素領域のデータを集めて映像を再構築し、再構築した映像に基づいて、テンプレートマッチング処理を行うので、撮像映像上の接近車両を精度良く検出することができる。

また、一実施の形態における接近車両検出装置によれば、テンプレートマッチング処理を行うことによって、車両の特徴を表すテンプレートとマッチした画素領域周辺に、所定の車両検出領域を設定し、設定した前記車両検出領域内の横エッジのデータ量に基づいて、撮像映像上の接近車両を検出するので、接近車両をさらに精度良く検出することができる。

さらに、一実施の形態における接近車両検出装置によれば、再構築した映像からノイズを除去する処理を行った後に、テンプレートマッチング処理を行うので、接近車両の検出精度をさらに向上させることができる。

本発明は、上述した一実施の形態に限定されることはない。例えば、接近車両検出部２５は、テンプレートマッチング処理を行うことにより、車両の特徴を表す横エッジを検出すると、検出した横エッジの長さを一辺とする矩形領域（図１０参照）を設定して、接近車両を検出する処理を行った。しかし、検出した横エッジの上下に、複数の車両検出領域を設定することもできる。図１２は、検出した横エッジの上下に、それぞれ２つずつ設定された車両検出領域６０〜６３を示す図である。この場合も、設定した各車両検出領域６０〜６３内に存在する映像成分（横エッジ成分）が所定量以上ある領域を、接近車両が映り込んでいる領域であると判断する。また、車両検出領域を設定する場所は、検出した横エッジの上下に限定されることはなく、検出した横エッジの周辺であればよい。

車両検出領域は、図１０や図１２に示す矩形領域に限定されることはなく、例えば、図１３（ａ）に示すような正方形であってもよいし、図１３（ｂ）に示すような台形であってもよい。すなわち、軽自動車やスポーツカーなど、車両の種類に応じた形状の車両検出領域を予め用意して、複数種類の車両検出領域を適用して車両検出処理を行えば、様々な種類の車両を精度良く検出することができる。

車両の特徴を表したテンプレートの一例を図９（ａ）や図９（ｂ）に示したが、二輪車を検出する場合には、二輪車検出用のテンプレートを予め用意しておくことが好ましい。図１４は、二輪車検出用のテンプレートの一例を示す図である。二輪車は、ヘルメットや前照灯の形状が映像上に残りやすいので、横方向のエッジと丸い形状を含むテンプレートを用意しておけばよい。

車両のテンプレートを、昼夜や降雨などの環境に応じて変更するようにしてもよい。例えば、夜間に接近車両を検出する処理を行う場合には、車両のテンプレートを前照灯を含む形状とすることができる。この場合、夜間における接近車両の検出精度をさらに向上させることができる。

上述した一実施の形態では、各画素の輝度の時間変化を周波数ごとに分離したデータのうち、所定周波数以上の高周波成分のデータを集めて、映像を合成（再構築）することにより、自車両に接近してくる車両を含む映像を構築するようにした。輝度の時間変化を周波数ごとに分離したデータでは、自車両を基準とする相対速度が小さいほど周波数が低い成分となり、相対速度が大きいほど周波数が高い成分となる。従って、特定の周波数のデータを集めて映像を再構築することにより、特定の相対速度を有する接近車両を検出することも可能となる。

映像上の横エッジを強調する処理を行うために用いる空間フィルタは、横線検出フィルタに限定されることはなく、他の空間フィルタを用いることもできる。

車両の特徴を表す横エッジを検出する際に、映像の下方から横エッジ検出処理を行っていき、検出した横エッジに基づいて設定された車両検出領域内に車両が映り込んでいると判断した場合には、その車両検出領域内ではエッジ検出処理を行わないようにすれば、車両検出処理に要する演算量を低減することができる。

上述した一実施の形態では、車載カメラ１０を１台だけ設ける例を挙げて説明したが、車載カメラ１０を複数設けることもできる。

特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、車載カメラ１０が撮像手段を、処理装置２０が周波数分離手段、接近車両検出手段、映像合成手段、および、ノイズ除去手段をそれぞれ構成する。なお、以上の説明はあくまで一例であり、発明を解釈する上で、上記の実施形態の構成要素と本発明の構成要素との対応関係に何ら限定されるものではない。

一実施の形態における接近車両検出装置の構成を示す図 車載カメラの取り付け位置の位置例を示す図 車載カメラで撮像された映像の一例を示す図 撮像映像上の１つの画素（ｘ、ｙ）の輝度の時間変化を示す図 一定の速度で走行している車両のオプティカルフローを矢印Ｙ１およびＹ２で示した図 周波数合成部によって合成されて、ノイズ除去部でノイズ除去処理が行われた映像を示す図 図６に示す映像から、映像の上方部分に映っている鉄塔が消去された図 図７に示す映像に対して、横線検出フィルタを用いて、横エッジを強調する処理を行った後の図 図９（ａ）および図９（ｂ）は、車両の特徴を表したテンプレートの一例を示す図 設定された矩形領域の一例を示す図 処理装置内で行われる処理の流れを示すフローチャート 横エッジの上下に、それぞれ２つずつ設定された車両検出領域を示す図 図１３（ａ）は、車両検出領域を正方形とした場合の図、図１３（ｂ）は台形とした場合の図 二輪車検出用のテンプレートの一例を示す図

符号の説明

１０…車載カメラ、２０…処理装置、２１…周波数分解部、２２…記憶部、２３…周波数合成部、２４…ノイズ除去部、２５…接近車両検出部、１００…自車両、２００…接近車両

Claims (10)

1. 車両周囲を撮像する撮像手段と、
   前記撮像手段によって撮像された映像（以下、撮像映像）の時間変動成分を周波数ごとに分離する周波数分離手段と、
   前記周波数分離手段によって前記撮像映像の時間変動成分を周波数ごとに分離されたデータに基づいて、前記撮像映像から、自車両に接近してくる接近車両を検出する接近車両検出手段とを備えることを特徴とする接近車両検出装置。
2. 請求項１に記載の接近車両検出装置において、
   前記周波数分離手段は、前記撮像手段によって撮像された映像上の各画素の輝度の時間変化を周波数ごとに分離することを特徴とする接近車両検出装置。
3. 請求項２に記載の接近車両検出装置において、
   前記周波数分離手段によって分離されたデータの中から、輝度の時間変化が所定の周波数以上の画素領域のデータを集めて、映像を再構築する映像合成手段をさらに備え、
   前記接近車両検出手段は、前記映像合成手段によって再構築された映像に基づいて、テンプレートマッチング処理を行うことにより、前記撮像映像上の接近車両を検出することを行うことを特徴とする接近車両検出装置。
4. 請求項３に記載の接近車両検出装置において、
   前記接近車両検出手段は、前記映像合成手段によって再構築された映像に対して、横エッジを検出する処理を行った後、前記テンプレートマッチング処理を行うことを特徴とする接近車両検出装置。
5. 請求項４に記載の接近車両検出装置において、
   前記接近車両検出手段は、横線状のテンプレートを用いて、前記テンプレートマッチング処理を行うことを特徴とする接近車両検出装置。
6. 請求項３または請求項４に記載の接近車両検出装置において、
   前記接近車両検出手段は、前記テンプレートマッチング処理を行うことによって、車両の特徴を表すテンプレートとマッチした画素領域周辺に、所定の車両検出領域を設定し、設定した前記車両検出領域内の横エッジのデータ量に基づいて、前記撮像映像上の接近車両を検出することを行うことを特徴とする接近車両検出装置。
7. 請求項６に記載の接近車両検出装置において、
   前記接近車両検出手段は、前記車両検出領域を、車両の特徴を表すテンプレートとマッチした画素領域周辺に複数設定し、設定した前記車両検出領域内の横エッジのデータ量が最も多い車両検出領域に、前記接近車両が映っていると判断することを特徴とする接近車両検出装置。
8. 請求項６または請求項７に記載の接近車両検出装置において、
   前記接近車両検出手段は、前記車両検出領域を、車両の種類に応じて、複数種類設定することを特徴とする接近車両検出装置。
9. 請求項３から請求項８のいずれか一項に記載の接近車両検出装置において、
   前記接近車両検出手段は、昼と夜とにおいて、前記テンプレートマッチング処理を行う際に用いるテンプレートを変更することを特徴とする接近車両検出装置。
10. 請求項３から請求項９のいずれか一項に記載の接近車両検出装置において、
    前記映像合成手段によって再構築された映像からノイズを除去するノイズ除去手段をさらに備え、
    前記接近車両検出手段は、前記ノイズ除去手段によってノイズが除去された映像に基づいて、前記テンプレートマッチング処理を行うことを特徴とする接近車両検出装置。

Images