JP2004355139A - 車両認識装置 - Google Patents

車両認識装置 Download PDF

Info

Publication number
JP2004355139A
JP2004355139A JP2003149606A JP2003149606A JP2004355139A JP 2004355139 A JP2004355139 A JP 2004355139A JP 2003149606 A JP2003149606 A JP 2003149606A JP 2003149606 A JP2003149606 A JP 2003149606A JP 2004355139 A JP2004355139 A JP 2004355139A
Authority
JP
Japan
Prior art keywords
vehicle
horizontal edge
image
unit
shadow
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2003149606A
Other languages
English (en)
Other versions
JP4296287B2 (ja
Inventor
Kiwamu Aoyanagi
究 青柳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003149606A priority Critical patent/JP4296287B2/ja
Publication of JP2004355139A publication Critical patent/JP2004355139A/ja
Application granted granted Critical
Publication of JP4296287B2 publication Critical patent/JP4296287B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】ビデオカメラ画像から先行車両を検出するときに、画像から適切に車両のエッジを抽出することを目的とする。
【解決手段】コントローラ10の画像前処理部2では、ビデオカメラ1の原画像をフィルタリング処理し、水平エッジ画像を得る。画像処理部3では、水平エッジ画像からレーンマーカの特徴の水平エッジを抽出して白線モデルのパラメータを算出し、自車走行レーンの領域を設定する。そして、水平エッジ画像中の自車走行レーン領域から、車両候補とみなされる所定の横幅を持つ水平エッジを抽出する。抽出された車両候補の水平エッジに対して、路側物標の影、車間距離認識用白線でないか判定し、該当するときは除外して、車両である可能性の高い水平エッジに対して、垂直エッジ画像による車両判定を行う。
【選択図】 図1

Description

【0001】
【発明の属する技術分野】
本発明は、車載ビデオカメラを用いた車両認識装置に関する。
【0002】
【従来の技術】
【特許文献1】特開平08−147447号公報
車載カメラを用いた先行車両または後続車両に対する接近警報システム等に使用する車両認識装置として、前方または後方をカメラ撮影して得られた画像に基づき、画像処理技術を利用して、先行車または後続車の存在を認識するようにした車両認識装置が知られている。例えば特許文献1には、画像処理により抽出された車両候補に関するデータを、予め記憶された車両以外の路側物標の特徴量と比較することにより、車両以外の路側物標と判定されたものをノイズとして最終的な車両判定対象から除くため、無駄な車両判定処理を省くことができるという方法が示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、この方法では、車両周辺の橋、ビル、塀などの建造物や地形などの路側物標によってできた路面の日陰が車両候補として抽出されることで、画像処理による車両判定の精度が落ちるという問題点があった。
本発明は、上記の問題点を解決するために、検出目標である車両のエッジと類似の路側物標の影がビデオカメラ画像に映りこんでいる場合でも、車両として誤検出することを防止できる車両認識装置を提供することを目的とする。
【0004】
【課題を解決するための手段】
このため、本発明は、車両前方または後方を撮像する撮像手段と、少なくとも撮像手段によって撮像された画像上の水平エッジを検出し、水平エッジに基づいて車両候補を抽出する車両候補抽出手段と、少なくとも路側物標の立体データを記憶する記憶手段と、太陽の位置を推定する太陽位置推定手段と、推定された太陽の位置と、路側物標の立体データに基づいて、抽出された車両候補の水平エッジが路側物標の影であるかどうかを判定し、影と判定された車両候補の水平エッジをノイズとして除去する影ノイズ除去手段とを備え、影ノイズ除去手段によってノイズが除去された後の車両候補に基づいて車両を認識するものとした。
【0005】
【発明の効果】
本発明により、路側物標の影、例えば走行路周辺の地形や建造物によって路面に投影された影の水平エッジを車両候補として抽出しても、最終的な車両判定対象から除くことができ、車両判定精度が向上する。
【0006】
【発明の実施の形態】
以下本発明の実施の形態を説明する。
図1は本発明の車両認識装置を適用した接近警報システムのブロック構成図である。図2は接近警報システムの機器配置図である。
本システムは、前部バンパー部に取り付けられたレーザレーダ距離計(図1ではレーダ距離計と表示)6と、車両のルーフ前端部中央に取り付けられ進路前方を撮影するビデオカメラ1と、3次元地図データを記憶し、自車の位置と走行方向などを算出するナビゲーション装置4と、システム全体を統括制御するマイクロコンピュータで構成されたコントローラ10と、車外の照度を測定する照度センサ5と、車内運転席から視認し得る位置に取り付けられた表示装置8とから構成されている。
【0007】
ビデオカメラ1は、路面からの高さhの位置に、カメラの光軸を自車前方真正面方向に対し、やや下向きのピッチ角θp、左右方向0°のヨー角θyに向けて取り付けられている。
コントローラ10は、画像前処理部2、画像処理部3、車間距離演算判定部9から構成されている。画像前処理部2はビデオカメラ1で撮影された原画像から水平エッジ画像を得、画像処理部3は水平エッジ画像から車両候補を抽出して車両かどうかを判定し、車間距離演算判定部9は車両と判定された車両候補との車間距離を判定する。
【0008】
以下に、画像前処理部2、画像処理部3、車間距離演算判定部9の詳細な構成を説明する。
まず、ビデオカメラ1からの原画像データは、画像前処理部2の水平エッジ画像生成部21に送られる。水平エッジ画像生成部21は、原画像データに対して水平エッジを強調するフィルタリング処理をして水平エッジ画像データを得る。この水平エッジ画像データは水平エッジ画像記憶部22に記憶される。
また、ビデオカメラ1からの原画像データは、原画像記憶部23に記憶される。
【0009】
画像処理部3では、走行路検出部31が、水平エッジ画像記憶部22に記憶された水平エッジ画像データを読み出し、後述のフローで示すようにレーンマーカを抽出して自車走行路を検出する。車両候補抽出部32が、走行路検出部31にて検出された自車走行路に含まれる水平エッジラインに基づいて車両候補を抽出する。
天候判定部33が、照度センサ5が測定した車外の照度の信号を受けて、影による車両認識判定への影響があるかどうかを判定し、影響があると判定した場合は後述の太陽位置算出部34に太陽位置の算出指令を、影ノイズ除去部35に影ノイズ除去処理の指令を出す。影響がないと判定した場合は、太陽位置の算出指令、影ノイズ除去処理の指令を出さない。
【0010】
太陽位置算出部34が、天候判定部33からの太陽位置の算出指令により、ナビゲーション装置4の暦・時計部41から年月日と時刻データを得て、現時点の太陽のグローバルポジションを算出する。
影ノイズ除去部35が、天候判定部33からの影ノイズ除去指令により、ナビゲーション装置4からの自車両周辺の3次元地図データに基づいて、抽出された自車走行路上の車両候補の水平エッジが、自車周辺の橋梁、ビル、塀などの建造物や地形など路側物標によって自車走行路上に投影された日陰の水平エッジかどうかを判定し、日陰の水平エッジと判定した場合は、その水平エッジを車両候補から除外する。
【0011】
白線ノイズ除去部36が、車両候補の水平エッジを、車間距離認識用白線が水平エッジ画像において示す特徴を有するかどうか判定し、車間距離認識用白線の特徴を有する場合は白線ノイズとして車両候補から除外し、特徴を有しない場合は車両候補のままとする。
【0012】
車両判定部37が、自車走行路上の水平エッジに基づき車両候補として抽出され、ここまで車両候補として残った水平エッジを含む周囲にウインドウを設定し、ウインドウに対応する領域の原画像データを原画像記憶部23から読み出し、垂直エッジを強調するフィルタリング処理をして垂直エッジ画像を得、垂直エッジ画像の垂直エッジの特徴から最終的に車両候補が車両かどうかを判定する。
【0013】
車間距離演算判定部9では、概略車間距離算出部38が、車両判定部37で車両と判定された車両候補の水平エッジの画面内位置から、概略車間距離を算出する。
車間距離判定部39が、概略車間距離に基づいて、車間距離算出のフローチャートの中で後述するように、レーザレーダ距離計6から得られる複数の測定距離の中でもっとも信頼性の高い距離を車間距離として判定し、表示装置8に出力する。
また、判定された車間距離が所定値より小さい場合は表示装置8に音声または画像による接近警報を出力する。
【0014】
なお、ナビゲーション装置4は、現在の年月日、時刻を更新保持する暦・時計部41、自車のグローバルポジションを算出する自車位置検出部42、自車のグローバルポジションなどから自車の走行方向などを検出する自車姿勢検出部43、道路地図データ、道路地図データに対応させた地形、建造物などの3次元外形データを自車位置に応じて引き出し可能に記憶する3次元地図データ部(図1では3D地図データ部と表示)44からなる。
【0015】
本実施の形態におけるビデオ画像から先行車両を認識して車間距離を算出するフローチャートを図3に示す。
ステップ101では、レーザレーダ距離計6によって例えば所定の角度差で設定された左前方、中央前方、右前方の3方向に対して計測された車間距離値LL、LC、LRが、車間距離判定部39に取り込まれる。
ステップ102では、ビデオカメラ1で撮像された車両前方の原画像データが、画像前処理部2に取り込まれる。
【0016】
ステップ103では、取り込まれた原画像データが、原画像記憶部23(図3ではメモリと表示)に格納される。
ステップ104では、水平エッジ画像生成部21が、取り込まれた原画像データに対して、例えば図5に示すようなSobelオペレータを用いて水平エッジを強調するフィルタリング処理をする。
ステップ105では、生成された水平エッジ画像が、水平エッジ画像記憶部22(図3ではメモリと表示)に格納される。
以上のステップ103から105は、パイプライン構造を有する画像処理装置を用いることによりそれぞれの処理を同時に行うことが可能である。
【0017】
ステップ106では、走行路検出部31がレーンマーカの検出を行う。
この検出処理としては、画像処理の最初は、例えば水平エッジ画像における水平エッジの中から、画面左側半分の領域に対し画面下端から上方に向かって所定の長さおよび角度を有するエッジをレーンマーカとして抽出し、最初に検出され続いてそれに隣接して続く一連のレーンマーカを式(1)で表されるi=0のときの白線モデルに、最小二乗法でカーブフィッティングすることによりそのパラメータa、b、c、d、eを求め、その白線モデルの式を記憶する。
x=(a+ie)(y−d)+b/(y−d)+c ・・(1)
ここで、図6に示すようなビデオカメラ画像の画面左上を原点とする画面座標系X−Y上の各座標点を(x,y)とする。
iは整数で、その値は図6に示されるレーンマーカNo.に対応している。すなわち、レーンマーカ53の場合はi=0に、レーンマーカ54の場合はi=1に、レーンマーカ55の場合はi=2に対応する。
それぞれの道路パラメータは、各レーンマーカまたは道路の形状、または車両挙動を反映したものである。aは走行車線内の自車の横偏位、bは各レーンマーカまたは道路の曲率、cはビデオカメラ1の光軸の各レーンマーカまたは道路に対するヨー角による座標変換定数、dはビデオカメラ1の光軸の道路に対するピッチ角による座標変換定数、eは道路のレーン幅に対応する。
【0018】
同様に、画面右側半分の領域に対し画面下端から上方に向かって所定の長さおよび角度を有するエッジをレーンマーカとして抽出し、最初に検出され続いてそれに隣接して続く一連のレーンマーカを式(1)で表されるi=1のときの白線モデルに、最小二乗法でカーブフィッティングし、その白線モデルの式を記憶する。
【0019】
なお、ビデオカメラ画像の繰り返し処理で、すでに前回の白線モデルが記憶されている場合は、前回の画像処理で検出された白線モデル近傍の水平エッジをレーンマーカとして検出し、式(1)で表される白線モデルに、最小二乗法でカーブフィッティングすることによりそのパラメータを求める。
【0020】
最小二乗法のカーブフィッティングで得られた白線モデル式において、画面下端のy座標を入力したとき得られるx座標の値が、画面左右中央に近い左側の曲線がi=0の白線モデルであり、画面左右中央に近い右側の曲線がi=1の白線モデルである。
ステップ107では、走行路検出部31が、ステップ106で得られた白線モデルのうちi=0とi=1の白線モデルで囲まれた領域を自車走行レーンとして認識する。
【0021】
ステップ108では、車両候補抽出部32が車両候補抽出を行う。
車両候補の抽出は、まず水平エッジ画像記憶部22に記憶した水平エッジ画像データを読み出し、ステップ107で認識した自車走行レーンの領域に対して、画面下端から上方に向かって、水平エッジが検出されるかどうか検索する。この検出したい水平エッジは車両下部の路面への影によって生じたものである。
【0022】
次に、検出された水平エッジが「車両候補」に該当するかどうかを判定して、該当するものを「車両候補」として抽出する。
判定は、検出された水平エッジの所定値以上の絶対強度を有するエッジ画素数をNe、そのy座標における自車走行レーン幅に相当する画素数をNwとすると、水平エッジの幅と走行レーンの幅の相対パーセントR(y)を式(2)のようにして求め、その結果が所定値Rt以上あるかどうかで行う。
R(y)=(Ne/Nw)*100% ・・・・(2)
R(y)>Rt ・・・・(3)
なお、水平エッジのy座標における自車走行レーン幅は、前述の白線モデルの式(1)に水平エッジのy座標を代入することによって求めることができる。
【0023】
ここで、車両下部の水平輪郭から生じる水平エッジの長さは、車両の幅を反映させた長さとなることから、自ずとRtに対してR(y)の下限値が定められる。例えば「車両候補」の抽出ミスを防ぐように安全側に小さめの値として、軽自動車の車幅1.4mに対し、走行レーン幅は大き目の高速道路を想定して3.5mとすれば、Rt=40%と定めることができる。
式(3)の条件を満足する水平エッジのy座標を車両候補のy座標ys0とする。
上記条件を満足する水平エッジを検出したら、車両候補を抽出したとしてステップ109に進む。
【0024】
式(3)の「車両候補」の条件に該当する水平エッジでなかった場合は、水平エッジ画像の自車走行レーン内で、さらに画面上方に向かって水平エッジを探索し、検出した水平エッジが「車両候補」かどうかの判断を続ける。
最終的に自車走行レーンの領域全部の探索を行っても「車両候補」を抽出できない場合は、ステップ101に戻る。
【0025】
ステップ109では、天候判定部33が、車外の照度を測定する照度センサ5からの照度信号を取り込む。
ステップ110では、天候判定部33が、照度は所定の閾値を超えておらず路側物標の影による影響は少ないと判断した場合は、ステップ116に進む。照度が所定の閾値を超え、路側物標の影による車両検出への障害となると判断した場合は、影ノイズを除去するため太陽位置算出部34に太陽位置算出指令を、影ノイズ除去部35に影ノイズ除去処理の指令を出し、ステップ111に進む。
【0026】
ステップ111では、影ノイズ除去部35が、ナビゲーション装置4の自車位置検出部42で算出された自車のグローバルポジションと、自車姿勢検出部43で検出された車両走行方向などを読み込む。
ステップ112では、太陽位置算出部34が、暦・時計部41からの現在年月日、時刻に基づき太陽のグローバルポジションを算出する。
ステップ113では、影ノイズ除去部35が、3次元地図データ部44から自車周辺の地形、建造物の3次元データ(3Dデータ)をグローバルポジションの形で取り込む。
【0027】
ステップ114では、影ノイズ除去部35が、ステップ108で抽出した車両候補の水平エッジの両端のグローバルポジションを計算する。
ビデオカメラ画像上での(x、y)座標は、ビデオカメラ1の焦点距離fと、ビデオカメラ1の路面からの取り付け高さhと、水平線75上の消失点70(図7参照)の座標(x,y)と、自車のグローバルポジションと、自車姿勢検出部43からの自車走行方向などの情報データ、とから容易にカメラ位置直下の路面を自車のグローバルポジションとして、ビデオカメラ画像上での水平エッジの両端の(x、y)座標をグローバルポジションに換算できる。
【0028】
具体的には、ビデオカメラ1から車両進行方向の距離がD、ビデオカメラ1の光軸pから車両幅方向の距離がDである路面上の点aの、ビデオカメラ画像上での座標が(x,y)であったとすると、ビデオカメラ1のカメラレンズ45から撮像素子46への結像における座標(x,y)、(x,y)、距離D、D、焦点距離f、ビデオカメラ1の高さhの関係は、図10、図11の様になる。図10は側面から見た図であり、図11は上方から見た図である。
従って、これらの関係は式(4)、(5)の様に表すことができ、この式を解くことによって、点aの自車からの位置を算出する。算出した点aの位置と、自車の進行方向、自車のグローバルポジションから点aのグローバルポジションに換算することができる。
(y−y)/f≒h/D ・・・・(4)
(x−x)/f=D/D ・・・(5)
【0029】
ステップ115では、影ノイズ除去部35が、グローバルポジション上で、車両候補の水平エッジ両端と太陽を直線mで結び、その直線m近傍にステップ113で取り込んだ周辺地形、周辺建造物の輪郭線があるかどうかをチェックする。図7はビデオカメラ画像における周辺建造物による自車走行レーンへの影の投影を示す図である。図7において、太陽71は太陽の位置を説明のために模式的に示したもので、ビデオカメラ画像には含まれない。直線mは車両候補の水平エッジ72の両端から太陽を結ぶ直線を模式的に示す。
【0030】
図7の模式図の例では、太陽71のグローバルポジションと水平エッジ72の両端のグローバルポジションを結ぶ直線mに近い周辺の建造物の輪郭nが存在する。したがって、この水平エッジ72は前方車両の後方下部またはその影による水平エッジではないと判断する。
車両候補の水平エッジが周辺地形または周辺建造物の対応する輪郭線の影に対応しない場合はステップ116に進み、対応する場合はステップ108に戻り、現在の座標ys0よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
【0031】
ステップ116では、白線ノイズ除去部36が、車両候補の水平エッジが車間距離認識用白線かどうかをチェックする。
図8にレーンマーカ53、54、55と共に車間距離認識用白線56を示す。路面にこのような車間距離認識用白線が存在するとき、原画像では白線の上下で「暗」→「明」→「暗」という濃度変化が、自車走行レーンの左右のレーンマーカ間の随所に存在する。たとえば原画像において下から「暗」→「明」の変化に対しては水平エッジ画像では正のエッジを、原画像で下から「明」→「暗」の変化に対しては水平エッジ画像では負のエッジとして反映される。
【0032】
従って、車両候補の水平エッジにおいて、これらの特徴が自車走行レーンの左右のレーンマーカ間の随所に存在する場合、その車両候補は車間距離認識用白線であると判断する。車間距離認識用白線と判断された場合はステップ108に戻り、現在の座標ys0よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
車間距離認識用白線でないと判断された場合は、ステップ117に進む。
【0033】
ステップ117では、車両判定部37が、水平エッジ画像において車両候補の水平エッジの上方にウインドウを設定する。
これは、前述のステップ115での周辺地形または建造物の日陰による水平エッジ、ステップ116での車間距離認識用白線の水平エッジの何れでもなく、車両候補として残った水平エッジに対して、最終的に車両であるかどうかを判断するための画像処理エリアを設定するものである。
【0034】
設定するウインドウは、図9の(a)に示すように車両候補の水平エッジ74を下端に含み、左右横幅は水平エッジ幅よりもやや大きい横長の長方形である。ウインドウの高さについては、水平エッジのy座標位置ys0における実際の高さ例えば1.5mが画像上の高さに反映した値に設定する。
【0035】
ステップ118では、車両判定部37が、原画像記憶部23からステップ117で設定したウインドウ領域の画像データを読み出し、垂直エッジを強調して抽出するフィルタリング処理を行い、垂直エッジ画像を得る。
【0036】
ステップ119では、車両判定部37が、垂直エッジが車両かどうかを判定する。
ウインドウ領域の垂直エッジ画像は、車両候補が実際に車両の場合は、車両の特に下部の形状の特徴から、大型貨物自動車では左右の車輪を垂直エッジの対として、普通乗用車、小型乗用車、小型貨物車などでは車体の左右端を垂直エッジの対として含んでいる。
そこで、垂直エッジ画像に対して、左右対になった1組の垂直エッジが検出されるか、さらに検出された1組の垂直エッジが車両のものかどうかを以下のようにチェックする。
【0037】
検出された1組の垂直エッジに対して、図9の(b)に示すようにウインドウ内の垂直エッジ画像の画素の強度を横方向に走査して、強度のピーク間の間隔Wsを得る。そして、車両候補の水平エッジの座標位置(xs0,ys0)と、ビデオカメラの焦点距離f、取り付け高さhなどに基づいて、間隔Wsの実際の幅を算出する。
【0038】
その結果、間隔Wsが車両ではありえない幅、例えば1m以下または3m以上の場合は、車両ではないと判定する。
そうでない場合は車両と判定しステップ120に進み、車両ではないと判定した場合はステップ108に戻り、現在の座標ys0よりさらに画像の上方に向かって車両候補を抽出する作業に戻る。
【0039】
ステップ120では、概略車間距離算出部38が、画像による先行車両までの概略車間距離L_IMGを算出する。道路の勾配を無視すれば、概略車間距離L_IMGは式(6)から求まる。
L_IMG=f*h/(ys0−d) ・・・(6)
ここで、dはビデオカメラ1の車両前方正面方向に対するピッチ角に対応して決まるパラメータである。
【0040】
ステップ121では、車間距離判定部39が、ステップ101において、レーザレーダ距離計6から取り込んだ車間距離値LL、LC、LRと上記概略車間距離L_IMGとの差の絶対値ΔLL、ΔLC、ΔLRを求める。
ステップ122では、車間距離判定部39が、差の絶対値ΔLL、ΔLC、ΔLRの最小値を求め、対応する車間距離値がLL、LC、LRのいずれであるかを特定し、それを先行車との車間距離として表示装置8に表示する。
もし、その車間距離値が所定の値より小さい場合は、画面警報または音声警報で運転者に知らせる。
ステップ122で一連の車間距離測定処理を終了し、ステップ101に戻り車間距離測定を繰り返す。
【0041】
本実施の形態では、ビデオカメラ1が本発明の撮像手段を、照度センサ5は照度検出手段を、3次元地図データ部44は記憶手段を、太陽位置算出部34は太陽位置推定手段を、フローチャートのステップ102からステップ108は車両候補抽出手段を、ステップ109からステップ115は影ノイズ除去手段を構成する。
【0042】
以上のように本実施の形態によれば、走行路周辺の地形、建造物によって路面に投影された日陰の水平エッジを、車両候補の水平エッジとして抽出した場合でも、そのときの太陽のグローバルポジションと車両候補の水平エッジの両端のグローバルポジションを結ぶ直線mの近くに、ナビゲーション装置4の3次元地図データで検索した周辺の地形、建造物の輪郭があるかどうかグローバルポジション上でチェックすることによって、車両の水平エッジではないかどうか判断できる。
その結果、ステップ117から119における最終的な車両判定をする車両候補の対象が絞り込めて、車両認識の精度が向上する。
【0043】
なお、ステップ110においては、照度が所定の閾値以下の場合は天候判定部33が影による影響がないと直ちに判断して、影ノイズ除去の処理をしないこととしたが、照度が所定の時間、例えば3分以上継続して閾値未満の場合に、ステップ110からステップ116に進み、影ノイズ除去処理をしないものとしてもよい。
これにより、本来影ノイズ除去処理が必要な照度の状態で、自車両が日陰を一時的に通過中においても、影ノイズ除去処理が実行される。その結果車両認識の精度が向上する。
【0044】
また、実施の形態では、ステップ116において車間距離認識用白線かどうかの判定を水平エッジ画像だけで判定したが、特許文献1のように原画像データをも利用して判定してもよい。
【図面の簡単な説明】
【図1】本発明の実施の形態のブロック構成を示す図である。
【図2】実施の形態の各機器の配置を説明する図である。
【図3】実施の形態の車間距離測定の流れを示す図である。
【図4】実施の形態の車間距離測定の流れを示す図である。
【図5】水平エッジを強調抽出するフィルタリング処理のSobelオペレータの例を示す図である。
【図6】水平エッジ画像中のレーンマーカの検出方法を説明する図である。
【図7】周辺の建造物による自車走行レーンへの日陰の投影と、建造物の外形輪郭との関係を説明する図である。
【図8】車間距離認識用白線を説明する図である。
【図9】車両候補の水平エッジに対応するウインドウを設定する説明図と垂直エッジ画像の強度分布を示す図である。
【図10】車両候補の水平エッジのグローバルポジションを算出する方法を説明する図である。
【図11】車両候補の水平エッジのグローバルポジションを算出する方法を説明する図である。
【符号の説明】
1 ビデオカメラ
2 画像前処理部
3 画像処理部
4 ナビゲーション装置
5 照度センサ
6 レーザレーダ距離計
8 表示装置
9 車間距離演算判定部
10 コントローラ
21 水平エッジ画像生成部
22 水平エッジ画像記憶部
23 原画像記憶部
31 走行路検出部
32 車両候補抽出部
33 天候判定部
34 太陽位置算出部
35 影ノイズ除去部
36 白線ノイズ除去部
37 車両判定部
38 概略車間距離算出部
39 車間距離判定部
41 暦・時計部
42 自車位置検出部
43 自車姿勢検出部
44 3次元地図データ部
45 カメラレンズ
46 撮像素子
53、54、55 レーンマーカ
56 車間距離認識用白線
70 消失点
71 太陽
72、74 水平エッジ
75 水平線
81 ウインドウ

Claims (4)

  1. 車両前方または後方を撮像する撮像手段と、
    少なくとも該撮像手段によって撮像された画像上の水平エッジを検出し、該水平エッジに基づいて車両候補を抽出する車両候補抽出手段と、
    少なくとも路側物標の立体データを記憶する記憶手段と、
    太陽の位置を推定する太陽位置推定手段と、
    推定された前記太陽の位置と、前記路側物標の立体データに基づいて、抽出された前記車両候補の水平エッジが前記路側物標の影であるかどうかを判定し、影と判定された前記車両候補をノイズとして除去する影ノイズ除去手段とを備え、
    該影ノイズ除去手段によってノイズが除去された後の前記車両候補に基づいて車両を認識することを特徴とする車両認識装置。
  2. 前記影ノイズ除去手段は、推定された前記太陽の位置と前記車両候補の水平エッジとを結ぶ直線近傍に、前記路側物標の外形輪郭が存在する場合に、前記車両候補の水平エッジが路側物標の影であると判定することを特徴とする請求項1に記載の車両認識装置。
  3. 周囲光の照度を検出する照度検出手段を備え、
    前記影ノイズ除去手段は、検出された前記周囲光の照度が所定の値以下である場合には、抽出された前記車両候補の水平エッジが路側物標の影であるかどうかの判定を行わないことを特徴とする請求項1または2に記載の車両認識装置。
  4. 前記影ノイズ除去手段は、検出された前記周囲光の照度が、所定時間以上継続して所定の値以下である場合にのみ、抽出された前記車両候補の水平エッジが路側物標の影であるかどうかの判定を行わないことを特徴とする請求項3に記載の車両認識装置。
JP2003149606A 2003-05-27 2003-05-27 車両認識装置 Expired - Fee Related JP4296287B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003149606A JP4296287B2 (ja) 2003-05-27 2003-05-27 車両認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003149606A JP4296287B2 (ja) 2003-05-27 2003-05-27 車両認識装置

Publications (2)

Publication Number Publication Date
JP2004355139A true JP2004355139A (ja) 2004-12-16
JP4296287B2 JP4296287B2 (ja) 2009-07-15

Family

ID=34045661

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003149606A Expired - Fee Related JP4296287B2 (ja) 2003-05-27 2003-05-27 車両認識装置

Country Status (1)

Country Link
JP (1) JP4296287B2 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
FR2916888A1 (fr) * 2007-05-29 2008-12-05 Valeo Vision Sa Dispositif et procede d'assistance a la conduite d'un vehicule
JP2011065442A (ja) * 2009-09-17 2011-03-31 Hitachi Automotive Systems Ltd 自車影認識装置
US8098933B2 (en) 2006-11-17 2012-01-17 Alpine Electronics, Inc. Method and apparatus for partitioning an object from an image
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
WO2015122161A1 (ja) * 2014-02-14 2015-08-20 日本電気株式会社 映像解析システム
JP2016053867A (ja) * 2014-09-04 2016-04-14 本田技研工業株式会社 物体検出装置
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
JP2016130965A (ja) * 2015-01-14 2016-07-21 株式会社デンソー 点灯検出装置
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
CN110059566A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术(沈阳)有限公司 一种图像识别方法及装置
JP2021124293A (ja) * 2020-01-31 2021-08-30 株式会社ニコンビジョン 距離検出装置、距離検出方法、及びプログラム

Cited By (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8917169B2 (en) 1993-02-26 2014-12-23 Magna Electronics Inc. Vehicular vision system
US8993951B2 (en) 1996-03-25 2015-03-31 Magna Electronics Inc. Driver assistance system for a vehicle
US9436880B2 (en) 1999-08-12 2016-09-06 Magna Electronics Inc. Vehicle vision system
US10351135B2 (en) 2002-05-03 2019-07-16 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US10118618B2 (en) 2002-05-03 2018-11-06 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US9834216B2 (en) 2002-05-03 2017-12-05 Magna Electronics Inc. Vehicular control system using cameras and radar sensor
US11203340B2 (en) 2002-05-03 2021-12-21 Magna Electronics Inc. Vehicular vision system using side-viewing camera
US9643605B2 (en) 2002-05-03 2017-05-09 Magna Electronics Inc. Vision system for vehicle
US9555803B2 (en) 2002-05-03 2017-01-31 Magna Electronics Inc. Driver assistance system for vehicle
US10683008B2 (en) 2002-05-03 2020-06-16 Magna Electronics Inc. Vehicular driving assist system using forward-viewing camera
US9428192B2 (en) 2004-04-15 2016-08-30 Magna Electronics Inc. Vision system for vehicle
US9008369B2 (en) 2004-04-15 2015-04-14 Magna Electronics Inc. Vision system for vehicle
US10187615B1 (en) 2004-04-15 2019-01-22 Magna Electronics Inc. Vehicular control system
US9191634B2 (en) 2004-04-15 2015-11-17 Magna Electronics Inc. Vision system for vehicle
US10735695B2 (en) 2004-04-15 2020-08-04 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9609289B2 (en) 2004-04-15 2017-03-28 Magna Electronics Inc. Vision system for vehicle
US10306190B1 (en) 2004-04-15 2019-05-28 Magna Electronics Inc. Vehicular control system
US10462426B2 (en) 2004-04-15 2019-10-29 Magna Electronics Inc. Vehicular control system
US9736435B2 (en) 2004-04-15 2017-08-15 Magna Electronics Inc. Vision system for vehicle
US11503253B2 (en) 2004-04-15 2022-11-15 Magna Electronics Inc. Vehicular control system with traffic lane detection
US9948904B2 (en) 2004-04-15 2018-04-17 Magna Electronics Inc. Vision system for vehicle
US10015452B1 (en) 2004-04-15 2018-07-03 Magna Electronics Inc. Vehicular control system
US11847836B2 (en) 2004-04-15 2023-12-19 Magna Electronics Inc. Vehicular control system with road curvature determination
US10110860B1 (en) 2004-04-15 2018-10-23 Magna Electronics Inc. Vehicular control system
US7231288B2 (en) * 2005-03-15 2007-06-12 Visteon Global Technologies, Inc. System to determine distance to a lead vehicle
US10071676B2 (en) 2006-08-11 2018-09-11 Magna Electronics Inc. Vision system for vehicle
US10787116B2 (en) 2006-08-11 2020-09-29 Magna Electronics Inc. Adaptive forward lighting system for vehicle comprising a control that adjusts the headlamp beam in response to processing of image data captured by a camera
US11951900B2 (en) 2006-08-11 2024-04-09 Magna Electronics Inc. Vehicular forward viewing image capture system
US11623559B2 (en) 2006-08-11 2023-04-11 Magna Electronics Inc. Vehicular forward viewing image capture system
US11396257B2 (en) 2006-08-11 2022-07-26 Magna Electronics Inc. Vehicular forward viewing image capture system
US11148583B2 (en) 2006-08-11 2021-10-19 Magna Electronics Inc. Vehicular forward viewing image capture system
US8098933B2 (en) 2006-11-17 2012-01-17 Alpine Electronics, Inc. Method and apparatus for partitioning an object from an image
FR2916888A1 (fr) * 2007-05-29 2008-12-05 Valeo Vision Sa Dispositif et procede d'assistance a la conduite d'un vehicule
JP2011065442A (ja) * 2009-09-17 2011-03-31 Hitachi Automotive Systems Ltd 自車影認識装置
US11398018B2 (en) 2014-02-14 2022-07-26 Nec Corporation Video shadow and motion removal system
WO2015122161A1 (ja) * 2014-02-14 2015-08-20 日本電気株式会社 映像解析システム
US10706515B2 (en) 2014-02-14 2020-07-07 Nec Corporation Shadow removal video analysis system
JPWO2015122161A1 (ja) * 2014-02-14 2017-03-30 日本電気株式会社 映像解析システム
US10636129B2 (en) 2014-02-14 2020-04-28 Nec Corporation Wind motion threshold image analysis system
JP2016053867A (ja) * 2014-09-04 2016-04-14 本田技研工業株式会社 物体検出装置
JP2016130965A (ja) * 2015-01-14 2016-07-21 株式会社デンソー 点灯検出装置
CN105574542A (zh) * 2015-12-15 2016-05-11 中国北方车辆研究所 基于多传感器融合的多视觉特征车辆检测方法
WO2020186603A1 (zh) * 2019-03-20 2020-09-24 东软睿驰汽车技术(沈阳)有限公司 一种图像识别方法及装置
WO2020187311A1 (zh) * 2019-03-20 2020-09-24 东软睿驰汽车技术(沈阳)有限公司 一种图像识别方法及装置
CN110059566A (zh) * 2019-03-20 2019-07-26 东软睿驰汽车技术(沈阳)有限公司 一种图像识别方法及装置
JP2021124293A (ja) * 2020-01-31 2021-08-30 株式会社ニコンビジョン 距離検出装置、距離検出方法、及びプログラム
JP7344803B2 (ja) 2020-01-31 2023-09-14 株式会社ニコンビジョン 距離検出装置、距離検出方法、及びプログラム

Also Published As

Publication number Publication date
JP4296287B2 (ja) 2009-07-15

Similar Documents

Publication Publication Date Title
US10685246B2 (en) Systems and methods for curb detection and pedestrian hazard assessment
KR102022388B1 (ko) 실세계 물체 정보를 이용한 카메라 공차 보정 시스템 및 방법
EP2549457B1 (en) Vehicle-mounting vehicle-surroundings recognition apparatus and vehicle-mounting vehicle-surroundings recognition system
US11620837B2 (en) Systems and methods for augmenting upright object detection
RU2668459C1 (ru) Устройство оценки положения и способ оценки положения
US8175331B2 (en) Vehicle surroundings monitoring apparatus, method, and program
JP5441549B2 (ja) 道路形状認識装置
JP4676373B2 (ja) 周辺認識装置、周辺認識方法、プログラム
CN103874931B (zh) 用于求取车辆的环境中的对象的位置的方法和设备
US9734581B2 (en) On-vehicle control device
JP4296287B2 (ja) 車両認識装置
EP2933790A1 (en) Moving object location/attitude angle estimation device and moving object location/attitude angle estimation method
US20080013789A1 (en) Apparatus and System for Recognizing Environment Surrounding Vehicle
US9965690B2 (en) On-vehicle control device
JP2024023319A (ja) 緊急車両の検出
JPH05265547A (ja) 車輌用車外監視装置
EP3842751A1 (en) System and method of generating high-definition map based on camera
JP2002197469A (ja) 車線検出装置
JP4940177B2 (ja) 交通流計測装置
US10846546B2 (en) Traffic signal recognition device
JP2004265432A (ja) 走行環境認識装置
JP2002334330A (ja) 車両認識装置
JP2010176592A (ja) 車両用運転支援装置
JP2000099896A (ja) 走行路検出装置、車両走行制御装置および記録媒体
JP6507590B2 (ja) 画像変換装置および画像変換方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060403

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090310

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090323

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120424

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130424

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140424

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees