JP2006018751A - 車両用画像処理装置 - Google Patents

車両用画像処理装置 Download PDF

Info

Publication number
JP2006018751A
JP2006018751A JP2004198178A JP2004198178A JP2006018751A JP 2006018751 A JP2006018751 A JP 2006018751A JP 2004198178 A JP2004198178 A JP 2004198178A JP 2004198178 A JP2004198178 A JP 2004198178A JP 2006018751 A JP2006018751 A JP 2006018751A
Authority
JP
Japan
Prior art keywords
vehicle
image processing
area
image
processing area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004198178A
Other languages
English (en)
Other versions
JP3931891B2 (ja
Inventor
Migaku Takahama
琢 高浜
Takeshi Kimura
健 木村
Hisataka Usui
尚隆 臼井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2004198178A priority Critical patent/JP3931891B2/ja
Priority to EP05013854A priority patent/EP1615191B1/en
Priority to US11/171,396 priority patent/US7623680B2/en
Publication of JP2006018751A publication Critical patent/JP2006018751A/ja
Application granted granted Critical
Publication of JP3931891B2 publication Critical patent/JP3931891B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】 悪天候下での車両検知性能を向上させる。
【解決手段】 自車の前方を撮像した画像の一部に画像処理領域を設定し、設定した画像処理領域から画像の特徴を導出するとともに、導出した特徴に基づいて車両の存在を判定する車両用画像処理装置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くする。
【選択図】 図４

Description

本発明は、カメラで撮像した画像を処理して先行車を検出する車両用画像処理装置に関する。
カメラにより撮像した画像を処理して自車前方の車両を検出するようにした車両用障害物検出装置が知られている（例えば、特許文献１参照）。
この出願の発明に関連する先行技術文献としては次のものがある。
特開平１０−０９７６９９号公報
しかしながら、上述した従来の車両用障害物検出装置では、降雨や降雪などの悪天候下では前方車両の検知性能が低下してしまうという問題がある。
撮像画像の一部に画像処理領域を設定して画像の特徴を導出し、導出した特徴に基づいて車両の存在を判定する車両用画像処理装置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くする。
本発明によれば、面積の小さい画像処理領域を設定して悪天候時における車両検知性能を向上させながら、画像の撮像間隔において撮像画像の中の広い範囲に多くの画像処理領域を設定して早く、確実に車両を検出できる。
《発明の第１の実施の形態》
図１は第１の実施の形態の構成を示す。スキャンニング式レーザーレーダー１は車両前方にレーザー光を照射して物体からの反射光を受光し、物体までの距離と方位を測定する。レーダー処理装置２はレーザーレーダー１による測定結果に基づいて車両前方の車両を抽出し、自車両を原点とする車両前後方向と車幅方向の二次元座標上における車両の位置と車両の大きさ（幅）とを算出する。プログレッシブスキャン式３ＣＣＤカメラ３は車両前方を高速に撮像する。画像処理装置４はカメラ３による撮像画像の内、レーダー処理装置２により算出した車両周辺を注目領域として画像処理を行い、自車のピッチング変動などによりレーダー検知物体をロストした場合にも、カメラ画像により車両を検知し続ける。
外界認識装置５は、レーダー処理装置２と画像処理装置４の車両検出結果と、車速検出装置６により検出された車速、操舵角検出装置７により検出された操舵角などに基づいて自車前方の車両を検出し、自車にとって障害物か否かを判断し、必要に応じて自動ブレーキ制御装置８を制御して負圧ブレーキブースター９を駆動し、車両の制動力を発生させる。なお、以下の一実施の形態ではレーザーレーダー１が物体を検出できない走行環境下を想定し、カメラ３による撮像画像を処理して車両の検出を行う。
図２は第１の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第１の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ２０１においてＣＣＤカメラ３から今回のサンプリングにおける撮像画像を読み込む。続くステップ２０２では車速検出装置６から車速を、操舵角検出装置７から操舵角をそれぞれ読み込む。ステップ２０３で将来の自車進路の曲率半径Ｒow［ｍ］を次式により推定する。
Ｒow＝（１＋Ａ・Ｖsp２・ＬWB）／Ｓteer ・・・（１）
（１）式において、Ａは車両固有の値であるスタビリティーファクター（車重、ホイールベース長、重心位置、タイヤの横力で決まる定数と見なせる値）を示す。また、Ｖspは自車速［ｍ／ｓ］を、ＬWBはホイールベース長［ｍ］を、Ｓteerは操舵角［rad］（右切りが正）をそれぞれ示す。
ステップ２０４では車幅（左右）方向のスキャンニング位置を決定する。なお、この明細書ではカメラ３の撮像画像の一部に画像処理領域を設定して車両の検出処理を行う際に、画像処理領域の設定地点を自車前方の前後方向と車幅（左右）方向に複数箇所設定し、それらの設定地点の画像処理領域において順に車両検出処理を行うが、その動作を“スキャンニング”と呼ぶ。この第１の実施の形態では５０ｍsecごとに自車線上の中央→右側→左側→中央・・の順に車幅方向にスキャンニングするとともに、各車幅方向の位置において自車の前後方向にスキャンニングして車両の検出を行う。なお、撮像画像上の車幅方向の画像処理領域の設定位置は自車線上に限定されず、自車線から隣接車線にはみ出した位置に画像処理領域を設定してもよい。
具体的には、図３に示すように、時刻ｔ［ｓ］で自車線上の中央を手前から前方の順に画像処理領域を設定してスキャンニングした後、時刻（ｔ＋０．０５）［ｓ］で自車線上の右側を手前から前方の順に画像処理領域を設定してスキャンニングし、さらに時刻（ｔ＋０．１）［ｓ］で自車線上の左側を手前から前方の順に画像処理領域を設定してスキャンニングする。自車線上の車幅方向のスキャンニング位置をＭalfunScanで表すと、
ＭalfunScan＝ＭalfunScan＋１ ・・・（２），
if（ＭalfunScan＞２）ＭalfunScan＝０ ・・・（３）
（２）、（３）式において、if（expression）statementとは、expressionを満たす場合にstatementを実施する関数である。ＭalfunScanは車幅方向のスキャンニング位置を示すカウンターであり、初期値０（中央）、１（右側）、２（左側）の順に車幅方向にスキャンニングする。
ステップ２０５では自車前後方向のスキャンニング位置を決定する。前後方向のスキャンニングは、図３に示すように自車に近い手前から自車から遠い前方へ順に画像処理領域を設定して行う。自車前後方向のスキャンニング位置をＬoopで表すと、
Ｌoop＝Ｌoop＋１ ・・・（４），
if（Ｌoop＞５）Ｌoop＝０ ・・・（５）
（４）、（５）式において、Ｌoopは自車前後方向のスキャンニング位置を示すカウンターであり、初期値０（自車に最も近い位置）から５（自車から最も遠い位置）までの６カ所において前後方向にスキャンニングする。
ステップ２０６では、画像処理領域を設定するために自車から所定の距離に相当する地点を決める。
obj_Ｙ＝Ｋy・Ｌoop＋ＩnitDist ・・・（６），
ＬateralSlide＝Ｋx・（ＭalScanDir−１） ・・・（７），
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（８），
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋ＬateralSlide＋ＣamInsOfs
・・・（９）
ここで、obj_Ｙとobj_Ｘが画像処理領域の設定地点の前後、左右の位置［ｍ］を表し、ＩnitDistは前後方向にスキャンニングする際の最も近距離側の位置［ｍ］であり、ＬateralSlideは車幅方向のスキャンニングにおける自車予測進路の正面からのスライド量［ｍ］である。ＩnitDistの値は、通常はＶsp［ｍ／ｓ］の値をそのまま用いる。すなわち、時速１００km/hではＩnitDist＝約２８ｍ／ｓである。これは、車間時間ＴＨＷ＝１ｓより遠方に限定することを意味している。電子地図情報などで自動車専用道路を走行中であると判断できる場合には、この値を通常より長めに設定してもよい。同様に、ＶＩＣＳなどの交通情報から混雑状況を把握し、現在の走行地点が混雑している場合にはＩnitDistを通常より短く設定してもよい。また、Ｋy、Ｋxとは自車の前後方向と車幅方向のスキャンニングにおける１ステップの間隔を意味する値［ｍ］である。さらに、ＣamInsOfsは自車の中心からカメラ３の取り付け位置までのオフセット量［ｍ］であって、if（expression）statement１ else statement２とは、expressionを満たす場合にstatement１を実行し、expressionを満たさない場合にstatement２を実行する関数である。
ステップ２０７では自車から所定の距離にある地点を撮像画像上の座標に変換し、次式により画像処理領域を設定する。
disp_obj_ＹＡ＝yo＋focusＶ・ＣＡＭ_h2／obj_Ｙ ・・・（１０），
disp_obj_ＹＢ＝yo＋focusＶ・ＣＡＭ_h／obj_Ｙ ・・・（１１），
disp_obj_ＸＬ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ−focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１２），
disp_obj_ＸＲ＝xo＋focusＨ・obj_Ｘ／obj_Ｙ＋focusＨ・ＰrocessＷide／obj_Ｙ
・・・（１３）
ここで、disp_obj_ＹＡは画像処理領域の上側、disp_obj_ＹＢは画像処理領域の下側、disp_obj_ＸＬは画像処理領域の左側、disp_obj_ＸＲは画像処理領域の右側の座標である。また、yo、xoは消失点の縦方向座標［pix：画素数］と横方向座標［pix］（カメラ３の取り付け位置と向きで決まるパラメーター）である。同様に、focusＶとfocusＨは鉛直方向と水平方向のカメラ３の焦点距離を画素換算した値［pix］（カメラ３の画角と受光素子の解像度で決まるパラメーターで、受光面が正方格子である場合にはfocusＶ＝focusＨとなる）である。また、ＣＡＭ_hはカメラ３の取り付け高さ［ｍ］であり、ＣＡＭ_h2はＣＡＭ_hから前方車両候補として考慮すべき物体の高さを減算した値である。ＰrocessWideは画像処理領域の幅を決めるパラメーターであり、自車幅以下の値［ｍ］であって、この一実施の形態では１．４［ｍ］とする。さらに、ＣＡＭ_h−ＣＡＭ_h2≪ＰrocessWideの関係がある。
ステップ２０８では、ステップ２０６と２０７で設定した画像処理領域に対して特徴抽出のためのエッジ検出処理を、例えば以下の(ａ)から(ｄ)の手順で行う。(ａ)設定した画像処理領域について、Ｓobelフィルター演算（隣接する画素間での濃淡変化を微分演算により求める演算手法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることが可能な画像処理手法）などにより、エッジ画像を求める。(ｂ)上記(ａ)で求めたエッジ画像の濃淡値の平均値と分散値からしきい値を設定し、エッジ画像を２値化する。つまり、エッジ画像について、しきい値を超える領域とそうでない領域とに分類することによって、明確なエッジ部分とエッジでない部分の２つに分類する。(ｃ)明確なエッジとして分類されたエッジの中から、地平線に相当するような水平方向に長いエッジではなく、垂直方向に長いエッジのみを集め、この集合をＶertEdgeとする。(ｄ)同様に、明確なエッジとして分類されたエッジの中から、水平方向に長いエッジのみを集め、この集合をＨoriEdgeとする。
ステップ２０９では、ステップ２０８で抽出した特徴量を前方車両として検出するか否かの判定を、例えば次の(ｅ)〜(ｇ)の手順で行う。(ｅ)ステップ２０６で求めた画像処理領域の設定地点obj_Ｙを用いて検知したい車両の大きさ（幅）の最も広い限界値obj_Ｗfと最も狭い限界値obj_Ｗnを次式により画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
ここで、pＷnとpＷfはそれぞれ、検知したい車両の横方向の大きさ（幅）［ｍ］であり、例えばpＷn＝１．０［ｍ］、pＷf＝２．５［ｍ］とする。
(ｆ)鉛直エッジ群ＶertEdgeの中から上記(ｅ)で定めた範囲に入る鉛直方向エッジの対（ペア）を求め、 この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）と、ＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗn＜ＢodySpace＜obj_Ｗf ・・・（１７）
ここで、ｉは（１７）式を満足する鉛直エッジのインデックスであり、ｉの数だけ画像処理領域内に検出したい車両の候補が存在することを意味する。
(ｇ)水平エッジ群ＨoriEdgeの中から、上記(ｆ)で求めたすべてのエッジペアに対してその中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_L（車両として検知する領域の左側座標）、ＣarEdge_R（車両として検知する領域の右側座標）、ＣarEdge_B（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
これにより、ＣarEdge_LとＣarEdge_RとＣarEdge_Bの組み合わせから、Ｈ型のエッジパターンが検出される。このとき、最も画面の下側に存在するＣarEdge_Bのインデックス番号をｋbottomとすると、ＣarEdge_L［ｋbottom］とＣarEdge_R［ｋbottom］とＣarEdge_B［ｋbottom］の組み合わせからなる領域がＵ字型のエッジパターンになる。ここで、ＨoriEdge_xは水平エッジの水平座標であり、ｊは水平エッジのインデックスを意味し、ｋは水平エッジと鉛直エッジの組み合わせから車両として判断した画像特徴のインデックスを意味する。（１８）式から（２２）式はすべての水平エッジとすべての鉛直エッジペアに対して行われる処理である。
ステップ２１０では、ステップ２０９で車両を検知できたか否かを確認し、車両を検知した場合にはステップ２１２へ進み、その後のスキャンニングを途中でも中止する。
ステップ２１１では、次式の条件を満足する場合には前後方向のスキャンニングを続けるため、ステップ２０５へ進む。条件を満足しない場合はステップ２１２へ進む。
if（Ｌoop＜５）goto［step２０５］ ・・・（２３）
ここで、goto［step＊＊＊］とは、＊＊＊に記載のステップ番号へ進むことを意味する関数である。
ステップ２１２では次式により検出車両の位置を算出し、さらに車両発見終了を意味する状態遷移変数Ｍode＝ＩnitDetectからＭode＝Ｔrackingに移行してそれを後段へ出力する。
ＤetectObj_tate＝focusＶ・ＣＡＭ_h／（ＣarEdge_B［kk］−yo） ・・・（２４），
ＤetectObj_yoko＝（（（ＣarEdge_L［kk］＋ＣarEdge_R［kk］）／２）−xo）・obj_Ｙ／focusＨ ・・・（２５）
ＤetectObj_haba＝（ＣarEdge_R［kk］−ＣarEdge_L［kk］）・obj_Ｙ／focusＨ
・・・（２６）
ここで、ｋｋはステップ２０９で求めたｋの中で最も大きい領域を構成するエッジ組み合わせのインデックス番号である。最大領域を選ぶ理由は、設定領域内に複数の車両が存在する場合に、前方車両の部分的な検知をなくし、全体を検知するためである。
ステップ２１３では今回の撮像結果における前方車両発見処理を終了する。
図３および図４は第１の実施の形態による画像処理領域の設定の様子を示す図である。図３において、時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車線中央を手前（Ｌoop＝０）から自車前方へ等間隔（（６）式のＫy［ｍ］）に画像処理領域の設定地点を設定し、図４に示すように手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。同様に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ等間隔に、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、自車線左側を手前から自車前方へ等間隔に、自車前方になるほど小さい面積の画像処理領域を設定する。
このように第１の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、画像処理領域を非常に小さくして悪天候にも頑強な車両検知を可能にした。また、小さい画像処理領域であるが走行路に沿って高速に走査でき、ＣＰＵの演算負荷を抑制することができる。さらに、誤って背景を車両と誤認することなく、車両を確実に捕捉できる。
《発明の第２の実施の形態》
上述した第１の実施の形態では１枚の撮像画像に対しては自車の前後方向のみにスキャンニングし、撮像画像を更新しながら車幅方向にスキャンニングする例を示したが、演算負荷に余裕のある高速ＣＰＵを用いる場合には、１枚の撮像画像に対して自車の前後方向のスキャンニングと車幅方向のスキャンニングとを同時に行うことができる。なお、この第２の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図５は第２の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第２の実施の形態の動作を説明する。外界認識装置５は所定時間（この第２の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ３０１〜３０３の処理は上述した図２に示すステップ２０１〜２０３の処理と同様であり、説明を省略する。ステップ３０４の処理は図２に示すステップ２０５の処理と同様であり（自車前後方向のスキャンニング）、説明を省略する。ステップ３０５の処理は図２に示すステップ２０４の処理と同様であり（自車の車幅方向のスキャンニング）、説明を省略する。ステップ３０６〜３０７の処理は図２に示すステップ２０６〜２０７の処理と同様であり、説明を省略する。
ステップ３０８において、ステップ３０６と３０７で設定した画像処理領域に対して特徴抽出のためのエッジ検出処理を、例えば以下の(ａ)から(ｄ’)の手順で行う。(ａ)設定した画像処理領域について、Ｓobelフィルター演算（隣接する画素間での濃淡変化を微分演算により求める演算手法であって、画像上における道路と車両の境界のように濃淡変化が大きい部分だけを集めることが可能な画像処理手法）などにより、エッジ画像を求める。(ｂ)上記(ａ)で求めたエッジ画像の濃淡値の平均値と分散値からしきい値を設定し、エッジ画像を２値化する。つまり、エッジ画像について、しきい値を超える領域とそうでない領域とに分類することによって、明確なエッジ部分とエッジでない部分の２つに分類する。
(ｃ’)明確なエッジとして分類されたエッジの中から、地平線に相当するような水平方向に長いエッジではなく、鉛直方向に長いエッジのみを集め、それらの内から次式の条件を満足するものだけに限定して集合ＶerEdgeとする。
ｖEdgeLength_S＝（focusＶ・pＨs）／obj_Ｙ ・・・（２７），
ｖEdgeLength_T＝（focusＶ・pＨt）／obj_Ｙ ・・・（２８），
ｖEdgeLength_S＜ＶerEdge_Height＜ｖEdgeLength_T ・・・（２９）
ここで、pＨsとpＨtはそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＨs＝０．３ｍ、pＨt＝１．０ｍとする。そして、ＶerEdge_HeightとはＶerEdgeの集合におけるエッジの長さを意味する集合である。
(ｄ’)同様に、明確なエッジとして分類されたエッジの中から、水平方向に長いエッジのみを集め、それらの内から次式の条件を満足するものだけに限定して集合ＨoriEdgeとする。
ｈEdgeLength_n＝（focusＨ・pＷ1）／obj_Ｙ ・・・（３０），
ｈEdgeLength_w＝（focusＨ・pＷ2）／obj_Ｙ ・・・（３１），
ｈEdgeLength_n＜ＨoriEdge_Length＜ｈEdgeLength_w ・・・（３２）
ここで、pＷ1とpＷ2はそれぞれ特徴量として導出したいエッジの長さ［ｍ］であり、例えばpＷ1＝０．４ｍ、pＷ2＝２．５ｍとする。そして、ＨoriEdge_LengthとはＨoriEdgeの集合におけるエッジの長さを意味する集合である。
ステップ３０９〜３１０の処理は図２に示すステップ２０９〜２１０の処理と同様であり、説明を省略する。ステップ３１１では次式の条件を満足する場合には車幅（左右）方向のスキャンニングを続けるため、ステップ３０５へ進む。
if（ＭalfunScan＜２）goto［step３０５］ ・・・（３３）
ステップ３１２の処理は図２に示すステップ２１１の処理（縦方向スキャンニングの後処理）と同様であり、説明を省略する。また、ステップ３１３〜３１４の処理は図２に示すステップ２１２〜２１３の処理と同様であり、説明を省略する。
図６は第２の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車に近い側の左側から中央、右側の順に車幅方向にスキャンニングした後、所定間隔（（６）式のＫy［ｍ］）だけ自車から遠い前方へ移動し、その位置で車幅方向にスキャンニングする。この動作を繰り返し、自車の車幅方向と前後方向にスキャンニングする。なお、図４に示すように、自車前後方向の手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。同様に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車の車幅方向と前後方向にスキャンニングする。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、自車の車幅方向と前後方向にスキャンニングする。
このように第２の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、高速のＣＰＵを用いて１枚の撮像画像の中を前後左右に一気にスキャンニングするため、前方車両を発見するまでの時間が短縮できること、および、特徴量として導出するエッジの長さを自車からの距離に応じて規定するため、遠近ともに適切な長さのエッジを車両の特徴として導出でき、不検出や誤検出の頻度を低減できる。
《発明の第３の実施の形態》
上述した第１および第２の実施の形態では自車の前後方向のスキャンニングは等間隔で行い、車幅方向のスキャンニングは一方向で行うものであるが、この第３の実施の形態では、前後方向のスキャンニング間隔を自車速に応じて変え、車幅方向のスキャンニングを左右両方から行う。なお、この第３の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図７は第３の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第３の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ４０１〜４０３の処理は、図２に示すステップ２０１〜２０３の処理と同様であり、説明を省略する。ステップ４０４の処理は図２に示すステップ２０４の処理と同様であるが、（３）式の代わりに以下に示す（３’）式を用いる。
if（ＭalfunScan＞３）ＭalfunScan＝０ ・・・（３’）
ステップ４０５の処理は図２に示すステップ２０５の処理と同様であり、説明を省略する。
ステップ４０６の処理は図２に示すステップ２０６の処理と同様であるが、（６）、（７）式の代わりに次に示す（３４）、（３５）式を用いる。
obj_Ｙ＝func１（Ｖsp，Ｌoop）＋ＩnitDist ・・・（３４），
LateralSlide＝func２（ＭalScanDir） ・・・（３５）
ここで、func１、func２はそれぞれ図９、図１０に示すような特性を有する関数である。図９において、自車速Ｖspが高くなるほどfunc１が大きくなり、かつまた、Ｌoopが大きくなるほど、つまり自車から遠い前方になるほどfunc１が大きくなる。したがって、自車の前後方向のスキャンニング間隔は、自車速Ｖspが高くなるほど広くなり、また、自車から遠い前方になるほど広くなる。
ステップ４０７〜４０８の処理は図５に示すステップ３０７〜３０８の処理と同様であり、説明を省略する。ステップ４０９〜４１３の処理は図２に示すステップ２０９〜２１３の処理と同様であり、説明を省略する。
図８は第３の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ［ｓ］でカメラ３の撮像画像を入力し、自車線中央を手前（Ｌoop＝０）から自車前方へ自車速に応じた間隔で画像処理領域の設定地点を設定し、図４に示すように手前の領域の面積を最大にして自車前方になるほど面積が小さくなるように画像処理領域を設定する。次に、時刻（ｔ＋０．０５）［ｓ］においてカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．１）［ｓ］においてカメラ３の撮像画像を入力し、ふたたび自車線中央を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。続く時刻（ｔ＋０．１５）［ｓ］においてカメラ３の撮像画像を入力し、自車線左側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。また、時刻（ｔ＋０．２）［ｓ］でカメラ３の撮像画像を入力し、ふたたび自車線中央を手前から自車前方へ自車速に応じた間隔でに、自車前方になるほど小さい面積の画像処理領域を設定する。さらに、時刻（ｔ＋０．２５）［ｓ］でカメラ３の撮像画像を入力し、自車線右側を手前から自車前方へ自車速に応じた間隔で、自車前方になるほど小さい面積の画像処理領域を設定する。
このように第３の実施の形態によれば、高性能な車両検知が単眼カメラで可能になる。すなわち、自車の前後方向のスキャンニングにおいて、自車速が高くなるほど間隔を広くするとともに、自車から遠い前方になるほど間隔を広くするようにしたので、カメラ画像上の遠近感に応じたスキャンニング間隔とすることができ、画像上のしきい値変化を均等化できる。
また、車幅方向のスキャンニングを左右両方向から行うようにし、自車線中央におけるスキャンニング回数を多くした。一般に、白線が見えにくい悪天候時には車線の中央を走行する傾向が高く、前車が自車の正面に存在するケースが多い。そのため、車線中央における自車前後方向のスキャンニングの回数を多くすることによって、車両を検知するまでの時間を短縮できる。
《発明の第４の実施の形態》
上述した第１から第３の実施の形態では自車前後方向のスキャンニングにおける画像処理領域の設定地点の数を一定（６カ所）とする例を示したが、これを可変とする第４の実施の形態を説明する。なお、この第４の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１１は第４の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第４の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。
ステップ５０１の処理は図２に示すステップ２０１の処理と同様であるが、この第４の実施の形態ではさらに次の処理を加える。すなわち、画像処理負荷が低い場合にのみ、車幅（左右）方向のスキャンニングにおける画像処理領域の設定地点の個数を増加するフラグＥxcepWideCntをゼロクリアする。ステップ５０２〜５０４の処理は図２に示すステップ２０２〜２０４の処理と同様であり、説明を省略する。
ステップ５０５の処理は図２に示すステップ２０５の処理と同様であるが、（５）式に変えて次の（３６）式を用いる。
if（Ｌoop＞５）Ｌoop＝max（０，（ＣonstSR−ＩnitDist）／Ｋy ・・・（３６）
ここで、max（Ａ、Ｂ）とはＡとＢを比較して大きい方の値を選択する関数である。また、ＣonstSRとは最も至近距離に画像処理領域を設定する際の距離［ｍ］である。例えばＣonstSR＝１０［ｍ］とし、自車が停止中の場合ではＶsp＝０［ｍ／ｓ］のため、ＩnitDist＝０［ｍ］となる。このため、自車前後方向のスキャンニング間隔をＫy＝５［ｍ］とすると、（３６）式はＬoop＝２となり、前後方向のスキャンニング１回あたり、Ｌoop∈［２，５］のため、画像処理領域の設定地点数は６から４に減少する。
ステップ５０６〜５０７の処理は図２に示すステップ２０６〜２０７の処理と同様であり、説明を省略する。ステップ５０８の処理は図５に示すステップ３０８の処理と同様であり、説明を省略する。また、ステップ５０９〜５１０の処理は図２に示すステップ２０９〜２１０の処理と同様であり、説明を省略する。
ステップ５１１では次の条件を満足する場合に車幅（左右）方向のスキャンニングにおける画像処理領域の設定地点数を増加させる。
if（obj_Ｙ＞ＣonstLR）｛ ・・・（３７）
if（ＥxcepWideCnt＝０）｛ ・・・（３８）
ＥxcepWideCnt＝１ ・・・（３９）
LateralSlide＝Ｋx・（ＭalScanDir−１）−Ｋx／２ ・・・（４０）
If(Ｒow＞０)obj_Ｘ＝Ｒow−√(Ｒow２−obj_Ｙ２)＋LaterlSlide＋ＣamInsOfs
・・・（８）
else obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
if（ＥxcepWideCnt＝１）｛ ・・・（４１）
ＥxcepWideCnt＝２ ・・・（４２）
LateralSlide＝Ｋx・（ＭalScanDir−１）＋Ｋx／２ ・・・（４３）
if（Ｒow＞０）obj_Ｘ＝Ｒow−√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（８）
els obj_Ｘ＝Ｒow＋√（Ｒow２−obj_Ｙ２）＋LateralSlide＋ＣamInsOfs
・・・（９）
goto［step５０７］
｝
｝
ここで、ＣonstLRとは画像処理領域の面積が所定値以下となる距離［ｍ］を表している。画像処理の演算負荷が低いものと判断される場合には、通常の車幅（左右）方向のスキャンニング位置から半ステップほどの間隔を空けた地点に画像処理領域を設定することを意味している。
ステップ５１２〜５１４の処理は図２に示すステップ２１１〜２１３の処理と同様であり、説明を省略する。
図１２は第４の実施の形態による画像処理領域の設定の様子を示す図である。時刻ｔ１では通常走行が行われており、自車前後方向のスキャンニングでは６カ所の地点で広い面積の画像処理領域を設定する。次に、時刻ｔ２で高速走行になると、自車前後方向のスキャンニングでは車速に応じて設定地点の間隔を広くするとともに、画像処理領域の面積を小さくする。さらに、画像処理領域の面積が小さいので、自車から遠方の車幅方向のスキャンニングでは画像処理領域の設定地点数を増加する。また、時刻ｔ３で低速走行になった場合は、画像処理領域の面積を大きくして自車前後方向の画像処理領域の設定地点数を低減する。
このように第４の実施の形態によれば、画像処理領域の面積が大きい場合は、自車前後方向のスキャンニングにおける画像処理領域の設定地点数を低減するようにした。つまり、自車速が低い場合は大きな面積の画像処理領域を設定するので、自車前後方向の長い範囲でスキャンニングしても意味がなく、したがって、画像処理領域の設定地点数を低減することによって、演算負荷を軽減することができる。
また、高速走行時などで自車前後方向における画像処理領域の面積が小さい場合は、車幅方向の画像処理領域の設定地点数を増加するようにしたので、演算負荷の増加にならない範囲で探索領域の個数増加による車両検知の応答性を向上させることができる。
《発明の第５の実施の形態》
上述した第１の実施の形態では画像処理領域の設定地点までの距離に基づいて車両検出のためのしきい値を決定する例を示したが、画像処理領域で検出した特徴量の座標に基づいて車両検出のためのしきい値を決定する第５の実施の形態を説明する。なお、この第５の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１３は第５の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第５の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。ステップ６０１〜６０７の処理は図２に示すステップ２０１〜２０７の処理と同様であり、説明を省略する。また、ステップ６０８の処理は図５に示すステップ３０８の処理と同様であり、説明を省略する。
ステップ６０９において、ステップ６０８で導出した特徴量に基づいて次の(ｈ)から(ｋ)の手順により前方車両として検出するか否かの判断を行う。(ｈ)ステップ６０６で求めた画像処理領域の設定地点obj_Ｙを次式により高精度化する。
if（ＨoriEdge_Nunb＞０）｛
obj_Ｙ＝focusＶ・ＣＡＭ_h／（ＨoriEdge_Row［max_row］−ｙo） ・・・（４４）
｝
ここで、ＨoriEdge_Rowはステップ６０８で導出した水平方向エッジにおける鉛直方向の座標の集合であり、max_rowはこの中で最も画面下側に位置する鉛直座標のインデックス番号である。これにより、Ｕ字型のエッジとなる。また、ＨoriEdge_Nunbとは水平エッジの個数であり、もし水平エッジが存在しない場合にはobj_Ｙの値は（６）式で設定されたままの値である。
(ｉ)上記(ｈ)で求めたobj_Ｙを用いて次式により検知したい車両の間隔obj_Ｗf（最も広い限界値）、obj_Ｗn（最も狭い限界値）を画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｊ)鉛直エッジ群ＶertEdgeの中から上記(ｉ)で定めた範囲に入る鉛直エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
(ｋ)水平エッジ群ＨoriEdgeの中から上記(ｊ)で求めたすべてのエッジペアに対して、その中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_Ｌ（車両として検知する領域の左側座標）、ＣarEdge_Ｒ（車両として検知する領域の右側座標）、ＣarEdge_Ｂ（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
ステップ６１０〜６１３の処理は図２に示すステップ２１０〜２１３の処理と同様であり、説明を省略する。
この第５の実施の形態によれば高性能な車両検知が単眼カメラで可能となる。すなわち、車両を検出できたか否かを判断する際には、画像処理領域から導出した特徴量の座標に基づいて車両検出のためのしきい値を決定するようにしたので、背景や路上ペイントなどを誤検出する頻度を低減できる
《発明の第６の実施の形態》
上述した第５の実施の形態では画像処理領域から導出した特徴量の座標に基づいて物体検出のためのしきい値を決定する例を示したが、特徴量の長さに基づいて物体検出のためのしきい値を決定する第６の実施の形態を説明する。なお、この第６の実施の形態の構成は図１に示す第１の実施の形態の構成と同様であり、説明を省略する。
図１４は第６の実施の形態の車両検出処理を示すフローチャートである。このフローチャートにより、第６の実施の形態の動作を説明する。外界認識装置５は所定時間（この第１の実施の形態では５０ｍsec）ごとにこの車両検出処理を実行する。ステップ７０１〜７０８の処理は図１３に示すステップ６０１〜６０８の処理と同様であり、説明を省略する。
ステップ７０９において、ステップ７０８で導出した特徴量から前方車両として検出するか否かの判断を次の(ｌ)〜(ｏ)の手順で行う。(ｌ)ステップ７０６で求めた画像処理領域の設定地点obj_Ｙを次式により算出し直す。
if（ＨoriEdge_Numb＞０）｛
obj_Ｙ＝１．７・focusＶ／ＨoriEdge_Length［max_length］ ・・・（４５）
｝
ここで、ＨoriEdge_Lengthはステップ７０８で導出した水平方向エッジにおけるエッジ長さの集合であり、max_lengthはこの中で最も長いエッジのインデックス番号である。また、数値１．７は日本の一般的な車両の車幅を表す数値である。
(ｍ)上記(ｌ)で求めたobj_Ｙを用いて次式により検知したい車両の間隔obj_Ｗf（最も広い限界値）、obj_Ｗn（最も狭い限界値）を画素数に換算して求める。
obj_Ｗn＝（focusＨ・pＷn）／obj_Ｙ ・・・（１４），
obj_Ｗf＝（focusＨ・pＷf）／obj_Ｙ ・・・（１５）
(ｎ)鉛直エッジ群ＶertEdgeの中から上記(ｍ)で定めた範囲に入る鉛直方向エッジの対（ペア）を求め、この画像上の座標の集合をＣarCanEdge_Left（ペアの左側に相当する鉛直方向エッジの水平座標）とＣarCanEdge_Right（ペアの右側に相当する鉛直方向エッジの水平座標）とする。これを数式化すると次式になる。
ＢodySpace＝ＣarCanEdge_Right［ｉ］−ＣarCanEdge_Left［ｉ］ ・・・（１６），
obj_Ｗh＜ＢodySpace＜obj_Ｗf ・・・（１７）
(ｏ)水平エッジ群ＨoriEdgeの中から上記(ｎ)で求めたすべてのエッジペアに対して、その中間に存在する水平エッジと鉛直エッジペアの組み合わせを見つけ、これを満足するエッジの組み合わせをそれぞれＣarEdge_Ｌ（車両として検知する領域の左側座標）、ＣarEdge_Ｒ（車両として検知する領域の右側座標）、ＣarEdge_Ｂ（車両として検知する領域の下側座標）とする。これを数式化すると次式になる。
if（ＣarCanEdge_Left［ｉ］＜ＨoriEdge_x［ｊ］＜ＣarCanEdge_Right［ｉ］｛
・・・（１８），
ＣarEdge_L［ｋ］＝ＣarCanEdge_Left［ｉ］ ・・・（１９），
ＣarEdge_R［ｋ］＝ＣarCanEdge_Right［ｉ］ ・・・（２０），
ＣarEdge_B［ｋ］＝ＨoriEdge_x［ｊ］ ・・・（２１），
ｋ＝ｋ＋１ ・・・（２２），
｝
ステップ７１０〜７１３の処理は図１３に示すステップ６１０〜６１３の処理と同様であり、説明を省略する。
この第６の実施の形態によれば高性能な車両検知が単眼カメラで可能となる。すなわち、車両を検知できたか否かを判断する際に、画像処理領域から導出した特徴量の長さに基づいて車両検知のためのしきい値を決定するようにしたので、背景や路上ペイントなどを誤検出する頻度を低減することができる。
このように一実施の形態によれば、自車の前方を撮像した画像の一部に画像処理領域を設定し、設定した画像処理領域から画像の特徴を導出するとともに、導出した特徴に基づいて車両の存在を判定する車両用画像処理装置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くするようにした。
撮像画像の中の自車に近い位置では先行車は大きく写し込まれ、自車から遠い位置になるにほど先行車は小さく写し込まれている。したがって、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることによって、先行車以外の物体を捕捉する確立が少なくなり、面積の小さい画像処理領域を設定して悪天候時における車両検知性能を向上させながら、撮像画像の中の広い範囲に多くの画像処理領域を設定して早く、確実に車両を検出できる。
また、一実施の形態によれば自車の進路を予測し、予測した自車進路に沿って画像処理領域を設定するようにしたので、曲線路を走行中であっても先行車を早く、確実に検出できる。
一実施の形態によれば撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域が設定されるたびに、設定された画像処理領域において画像の特徴を導出するとともに、画像の特徴に基づいて車両の存在を判定し、車両の存在が判定されたら一連の画像処理を終了するようにした。
通常、先行車追従走行制御装置や車間距離制御装置においては、自車線上の自車に最も近い先行車のみを検出すればよいから、それらのアプリケーションに適用することによってＣＰＵの演算負荷を軽減しながら、先行車を早く、確実に検出することができる。
また、一実施の形態によれば、撮像画像上の自車の車幅方向の複数の位置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くしたので、悪天候時の車両検知の確立を高めるために画像処理領域を小さくしても、自車の正面から横へずれた位置を走行する先行車を確実に検出することができる。
さらに、撮像画像上の自車の正面における画像処理領域の設定回数を、自車の左右の位置における画像処理領域の設定回数よりも多くすることによって、自車の正面に存在する確立が高い先行車をより早く検出することができる。
一実施の形態によれば小さな面積の画像処理領域を設定する場合には、自車の車幅方向に多くの画像処理領域を設定するようにしたので、演算負荷を増加させずに、車両探索領域の数を増やすことができ、早く車両を検出できる確立が高くなる。
一実施の形態によれば大きな面積の画像処理領域を設定する場合には、自車の前後方向の画像処理領域の設定数を少なくするようにした。車速が低い場合には大きな面積の画像処理領域を設定するが、車速が低い場合には自車から遠方まで画像処理領域を数多く設定しても意味がない。したがって、この場合は自車前後方向の画像処理領域の設定数を少なくすることによって、ＣＰＵの演算負荷を軽減することができる。
一実施の形態によれば自車から所定距離の地点に相当する撮像画像上の位置に画像処理領域を設定するようにしたので、画像処理領域で検出される車両までの距離を正確に把握できる。
一実施の形態によれば自車からの距離が遠くなるほど撮像画像上の画像処理領域の設定位置間隔を広くするようにしたので、自車の前後方向における画像処理領域の設定位置を撮像画像上の遠近感に応じた間隔にすることができる。また、各画像処理領域における車両検出のしきい値を均等化することができる。
一実施の形態によれば撮像画像上の画像処理領域の設定地点を自車からの距離に換算し、自車からの換算距離に基づいて画像の特徴から車両の存在を判定するためのしきい値を設定するようにしたので、撮像画像上の画像処理領域の設定地点における車両判定しきい値を正しく設定することができ、単眼カメラ単独で前方車両を検出する際の誤検出と不検出の頻度を低減することができる。
一実施の形態によれば画像処理領域から導出した特徴の位置座標に基づいて車両の存在を判定するためのしきい値を設定するようにしたので、背景や路上ペイントなどを車両と誤検出する頻度を低減できる。また、一実施の形態によれば画像処理領域から導出した特徴の長さに基づいて車両の存在を判定するためのしきい値を設定するようにしたので、背景や路上ペイントなどを車両と誤検出する頻度を低減できる。
なお、自車の車幅方向の大きさが車両２台分以下の画像処理領域とし、自車の車幅方向の大きさが前後方向の大きさよりも大きい画像処理領域を設定する。これにより、しきい値の適正化が可能となり、悪天候時でも先行車検出が頑強に実施できる。また、上空に存在する看板や陸橋などの背景を画像処理領域から排除でき、それらを車両と誤検出する頻度を低減できる。
特許請求の範囲の構成要素と一実施の形態の構成要素との対応関係は次の通りである。すなわち、カメラ３が撮像手段を、外界認識装置５が領域設定手段、特徴導出手段、車両判定手段および進路予測手段をそれぞれ構成する。なお、本発明の特徴的な機能を損なわない限り、各構成要素は上記構成に限定されるものではない。
第１の実施の形態の構成を示す図である。 第１の実施の形態の車両検出処理を示すフローチャートである。 第１の実施の形態による画像処理領域の設定の様子を示す図である。 第１の実施の形態による画像処理領域の設定の様子を示す図である。 第２の実施の形態の車両検出処理を示すフローチャートである。 第２の実施の形態による画像処理領域の設定の様子を示す図である。 第３の実施の形態の車両検出処理を示すフローチャートである。 第３の実施の形態による画像処理領域の設定の様子を示す図である。 関数func１の特性を示す図である。 関数func２の特性を示す図である。 第４の実施の形態の車両検出処理を示すフローチャートである。 第４の実施の形態による画像処理領域の設定の様子を示す図である。 第５の実施の形態の車両検出処理を示すフローチャートである。 第６の実施の形態の車両検出処理を示すフローチャートである。
符号の説明
３ ＣＣＤカメラ
４ 画像処理装置
５ 外界認識装置
６ 車速検出装置
７ 操舵角検出装置

Claims (14)

  1. 自車の前方を撮像する撮像手段と、
    前記撮像手段による撮像画像の一部に画像処理領域を設定する領域設定手段と、
    前記領域設定手段により設定した画像処理領域から画像の特徴を導出する特徴導出手段と、
    前記特徴導出手段により導出した特徴に基づいて車両の存在を判定する車両判定手段とを備えた車両用画像処理装置において、
    前記領域設定手段は、前記撮像手段による撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることを特徴とする車両用画像処理装置。
  2. 請求項１に記載の車両用画像処理装置において、
    自車の進路を予測する進路予測手段を備え、
    前記領域設定手段は、前記進路予測手段で予測された自車進路に沿って画像処理領域を設定することを特徴とする車両用画像処理装置。
  3. 請求項１または請求項２に記載の車両用画像処理装置において、
    前記領域設定手段によって撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域が設定されるたびに、設定された画像処理領域において前記特徴導出手段により特徴を導出するとともに前記車両判定手段により車両の存在を判定し、車両の存在が判定されたら前記領域設定手段、前記特徴導出手段および前記車両判定手段による画像処理を終了することを特徴とする車両用画像処理装置。
  4. 請求項１〜３のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、撮像画像上の自車の車幅方向の複数の位置において、撮像画像の中の自車に近い位置から遠い位置へ順に画像処理領域を設定し、自車に近い位置から遠い位置へ行くにしたがって画像処理領域を狭くすることを特徴とする車両用画像処理装置。
  5. 請求項４に記載の車両用画像処理装置において、
    前記領域設定手段は、撮像画像上の自車の正面における画像処理領域の設定回数を、自車の左右の位置における画像処理領域の設定回数よりも多くすることを特徴とする車両用画像処理装置。
  6. 請求項１〜５のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、小さな面積の画像処理領域を設定する場合には、自車の車幅方向に多くの画像処理領域を設定することを特徴とする車両用画像処理装置。
  7. 請求項１〜５のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、大きな面積の画像処理領域を設定する場合には、自車の前後方向の画像処理領域の設定数を少なくすることを特徴とする車両用画像処理装置。
  8. 請求項１〜７のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、自車から所定距離の地点に相当する撮像画像上の位置に画像処理領域を設定することを特徴とする車両用画像処理装置。
  9. 請求項１〜８のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、自車からの距離が遠くなるほど撮像画像上の画像処理領域の設定位置間隔を広くすることを特徴とする車両用画像処理装置。
  10. 請求項８または請求項９に記載の車両用画像処理装置において、
    前記車両判定手段は、撮像画像上の画像処理領域の設定地点を自車からの距離に換算し、自車からの換算距離に基づいて画像の特徴から車両の存在を判定するためのしきい値を設定することを特徴とする車両用画像処理装置。
  11. 請求項１〜１０のいずれか１の請求項に記載の車両用画像処理装置において、
    前記車両判定手段は、前記特徴導出手段で導出した特徴の位置座標に基づいて車両の存在を判定するためのしきい値を設定することを特徴とする車両用画像処理装置。
  12. 請求項１〜１０のいずれか１の請求項に記載の車両用画像処理装置において、
    前記車両判定手段は、前記特徴導出手段で導出した特徴の長さに基づいて車両の存在を判定するためのしきい値を設定することを特徴とする車両用画像処理装置。
  13. 請求項１〜１２のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、自車の車幅方向の大きさが車両２台分以下の画像処理領域を設定することを特徴とする車両用画像処理装置。
  14. 請求項１〜１３のいずれか１の請求項に記載の車両用画像処理装置において、
    前記領域設定手段は、自車の車幅方向の大きさが前後方向の大きさよりも大きい画像処理領域を設定することを特徴とする車両用画像処理装置。
JP2004198178A 2004-07-05 2004-07-05 車載用画像処理装置 Expired - Lifetime JP3931891B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2004198178A JP3931891B2 (ja) 2004-07-05 2004-07-05 車載用画像処理装置
EP05013854A EP1615191B1 (en) 2004-07-05 2005-06-27 Image processing system and method for front-view image sensor in a vehicle
US11/171,396 US7623680B2 (en) 2004-07-05 2005-07-01 Image processing system and method for front-view image sensor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004198178A JP3931891B2 (ja) 2004-07-05 2004-07-05 車載用画像処理装置

Publications (2)

Publication Number Publication Date
JP2006018751A true JP2006018751A (ja) 2006-01-19
JP3931891B2 JP3931891B2 (ja) 2007-06-20

Family

ID=35063134

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004198178A Expired - Lifetime JP3931891B2 (ja) 2004-07-05 2004-07-05 車載用画像処理装置

Country Status (3)

Country Link
US (1) US7623680B2 (ja)
EP (1) EP1615191B1 (ja)
JP (1) JP3931891B2 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009132259A (ja) * 2007-11-30 2009-06-18 Denso It Laboratory Inc 車両周辺監視装置
US8115611B2 (en) 2006-12-27 2012-02-14 Toyota Jidosha Kabushiki Kaisha Vehicle-installed obstacle detecting system and method using image capturing and scanning
JP2012038318A (ja) * 2010-08-10 2012-02-23 Fujitsu Ltd ターゲット検出方法及び装置
JP2012118871A (ja) * 2010-12-02 2012-06-21 Aisin Aw Co Ltd 走行支援システム、走行支援プログラム、及び走行支援方法
JP2013141876A (ja) * 2012-01-10 2013-07-22 Denso Corp 車両周辺監視装置
JP2015103894A (ja) * 2013-11-22 2015-06-04 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
JP2015185045A (ja) * 2014-03-25 2015-10-22 本田技研工業株式会社 物体検知処理装置
US9454704B2 (en) 2012-08-31 2016-09-27 Fujitsu Limited Apparatus and method for determining monitoring object region in image
US10825186B2 (en) 2017-01-11 2020-11-03 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
JP7526858B2 (ja) 2017-05-19 2024-08-01 パイオニア株式会社 測定装置、測定方法およびプログラム

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
US7639841B2 (en) * 2004-12-20 2009-12-29 Siemens Corporation System and method for on-road detection of a vehicle using knowledge fusion
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4762610B2 (ja) * 2005-06-14 2011-08-31 本田技研工業株式会社 車両の走行安全装置
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US8164628B2 (en) 2006-01-04 2012-04-24 Mobileye Technologies Ltd. Estimating distance to an object using a sequence of images recorded by a monocular camera
US8108119B2 (en) * 2006-04-21 2012-01-31 Sri International Apparatus and method for object detection and tracking and roadway awareness using stereo cameras
JP4793094B2 (ja) * 2006-05-17 2011-10-12 株式会社デンソー 走行環境認識装置
EP1892688B1 (fr) * 2006-08-24 2010-09-01 Valeo Vision Procédé de détermination de passage d'un véhicule dans un goulet
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
CN101458814B (zh) * 2007-12-13 2012-02-01 东软集团股份有限公司 一种用于从图像中分割对象感兴趣区域的方法和装置
JP5183392B2 (ja) * 2008-09-25 2013-04-17 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
US20100303301A1 (en) * 2009-06-01 2010-12-02 Gregory Micheal Lamoureux Inter-Frame Motion Detection
JP5747482B2 (ja) * 2010-03-26 2015-07-15 日産自動車株式会社 車両用環境認識装置
DE102011077038A1 (de) * 2011-06-07 2012-12-13 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erkennung von Objekten in einem Umfeld eines Fahrzeugs
US10081308B2 (en) * 2011-07-08 2018-09-25 Bendix Commercial Vehicle Systems Llc Image-based vehicle detection and distance measuring method and apparatus
JP6394227B2 (ja) * 2014-09-24 2018-09-26 株式会社デンソー 物体検出装置
KR102534792B1 (ko) * 2015-02-10 2023-05-19 모빌아이 비젼 테크놀로지스 엘티디. 자율 주행을 위한 약도
US9828001B2 (en) * 2016-04-10 2017-11-28 Toyota Motor Engineering & Manufacturing North America, Inc. Confidence icons for apprising a driver of confidence in an autonomous operation of a vehicle
CN108363055B (zh) * 2018-01-17 2020-01-31 电子科技大学 一种雷达前视成像区域分割方法
US10678255B2 (en) 2018-02-14 2020-06-09 GM Global Technology Operations LLC Systems, methods and apparatuses are provided for enhanced surface condition detection based on image scene and ambient light analysis
US10706563B2 (en) 2018-05-15 2020-07-07 Qualcomm Incorporated State and position prediction of observed vehicles using optical tracking of wheel rotation
DE102018207869A1 (de) * 2018-05-18 2019-11-21 Volkswagen Aktiengesellschaft Verfahren und System zur Bereitstellung einer Automatisierungsfunktion für ein Fahrzeug
CN109765554A (zh) * 2018-11-14 2019-05-17 北京遥感设备研究所 一种雷达前视成像系统及方法
US11816902B2 (en) * 2020-08-26 2023-11-14 Subaru Corporation Vehicle external environment recognition apparatus

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329224A (ja) * 1995-05-26 1996-12-13 Nissan Motor Co Ltd 道路白線検出装置
JP2000132677A (ja) * 1998-10-21 2000-05-12 Nec Corp 画像処理方法
JP2001167282A (ja) * 1999-12-10 2001-06-22 Toshiba Corp 移動物体抽出装置及びその方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法
JP2003281700A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 割り込み車両検出装置及びその方法
JP2003323627A (ja) * 2002-04-30 2003-11-14 Nissan Motor Co Ltd 車両検出装置及び方法
JP2004032460A (ja) * 2002-06-27 2004-01-29 Toshiba Corp 画像処理装置およびその方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265547A (ja) * 1992-03-23 1993-10-15 Fuji Heavy Ind Ltd 車輌用車外監視装置
JPH1097699A (ja) 1996-09-19 1998-04-14 Toyota Motor Corp 車両用障害物検出装置
DE19833065B4 (de) * 1997-07-22 2010-04-15 DENSO CORPORATION, Kariya-shi Winkelverschiebungsbestimmungsvorrichtung zum Bestimmen der Winkelverschiebung der Radarzentralachse zur Verwendung in einem Erfassungssystem für sich selbstbewegende Hindernisse
WO2002075355A1 (fr) 2001-03-15 2002-09-26 Fujitsu Ten Limited Procede de traitement de signaux pour radar a balayage
JP3759429B2 (ja) * 2001-05-23 2006-03-22 株式会社東芝 障害物検出装置及びその方法
US6452535B1 (en) * 2002-01-29 2002-09-17 Ford Global Technologies, Inc. Method and apparatus for impact crash mitigation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08329224A (ja) * 1995-05-26 1996-12-13 Nissan Motor Co Ltd 道路白線検出装置
JP2000132677A (ja) * 1998-10-21 2000-05-12 Nec Corp 画像処理方法
JP2001167282A (ja) * 1999-12-10 2001-06-22 Toshiba Corp 移動物体抽出装置及びその方法
JP2003281552A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 画像処理装置及びその方法
JP2003281700A (ja) * 2002-03-25 2003-10-03 Toshiba Corp 割り込み車両検出装置及びその方法
JP2003323627A (ja) * 2002-04-30 2003-11-14 Nissan Motor Co Ltd 車両検出装置及び方法
JP2004032460A (ja) * 2002-06-27 2004-01-29 Toshiba Corp 画像処理装置およびその方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8115611B2 (en) 2006-12-27 2012-02-14 Toyota Jidosha Kabushiki Kaisha Vehicle-installed obstacle detecting system and method using image capturing and scanning
JP2009132259A (ja) * 2007-11-30 2009-06-18 Denso It Laboratory Inc 車両周辺監視装置
JP2012038318A (ja) * 2010-08-10 2012-02-23 Fujitsu Ltd ターゲット検出方法及び装置
JP2012118871A (ja) * 2010-12-02 2012-06-21 Aisin Aw Co Ltd 走行支援システム、走行支援プログラム、及び走行支援方法
US8913786B2 (en) 2010-12-02 2014-12-16 Aisin Aw Co., Ltd. Driving support system, driving support program, and driving support method
JP2013141876A (ja) * 2012-01-10 2013-07-22 Denso Corp 車両周辺監視装置
US9454704B2 (en) 2012-08-31 2016-09-27 Fujitsu Limited Apparatus and method for determining monitoring object region in image
JP2015103894A (ja) * 2013-11-22 2015-06-04 ルネサスエレクトロニクス株式会社 車載用画像処理装置及び半導体装置
JP2015185045A (ja) * 2014-03-25 2015-10-22 本田技研工業株式会社 物体検知処理装置
US10825186B2 (en) 2017-01-11 2020-11-03 Kabushiki Kaisha Toshiba Information processing device, information processing method, and computer program product
JP7526858B2 (ja) 2017-05-19 2024-08-01 パイオニア株式会社 測定装置、測定方法およびプログラム

Also Published As

Publication number Publication date
US7623680B2 (en) 2009-11-24
EP1615191A1 (en) 2006-01-11
EP1615191B1 (en) 2012-11-21
JP3931891B2 (ja) 2007-06-20
US20060002587A1 (en) 2006-01-05

Similar Documents

Publication Publication Date Title
JP3931891B2 (ja) 車載用画像処理装置
JP3925488B2 (ja) 車両用画像処理装置
EP2767927B1 (en) Road surface information detection apparatus, vehicle device control system employing road surface information detection apparatus, and carrier medium of road surface information detection program
JP5690688B2 (ja) 外界認識方法，装置，および車両システム
US10580155B2 (en) Image processing apparatus, imaging device, device control system, frequency distribution image generation method, and recording medium
US9330320B2 (en) Object detection apparatus, object detection method, object detection program and device control system for moveable apparatus
JP5276637B2 (ja) 車線推定装置
JP5127182B2 (ja) 物体検出装置
JP3630100B2 (ja) 車線検出装置
EP2546602B1 (en) Stereo camera apparatus
US8363896B2 (en) White road line recognition device for vehicle
WO2017130639A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
US20240343248A1 (en) Dynamic distance estimation output generation based on monocular video
WO2016129646A1 (ja) 走行軌跡選定装置、および走行軌跡選定方法
EP2803944A2 (en) Image Processing Apparatus, Distance Measurement Apparatus, Vehicle-Device Control System, Vehicle, and Image Processing Program
JP6150164B2 (ja) 情報検出装置、移動体機器制御システム、移動体及び情報検出用プログラム
US20100110193A1 (en) Lane recognition device, vehicle, lane recognition method, and lane recognition program
JP4901275B2 (ja) 走行誘導障害物検出装置および車両用制御装置
WO2011048718A1 (ja) 標識認識装置及び標識認識方法
WO2017145605A1 (ja) 画像処理装置、撮像装置、移動体機器制御システム、画像処理方法、及びプログラム
JP2007179386A (ja) 白線認識方法及び白線認識装置
EP3545464A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP2015148887A (ja) 画像処理装置、物体認識装置、移動体機器制御システム及び物体認識用プログラム
JP2022152922A (ja) 電子機器、移動体、撮像装置、および電子機器の制御方法、プログラム、記憶媒体
JP2008171141A (ja) 画像処理装置および方法、並びに、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20061019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070305

R150 Certificate of patent or registration of utility model

Ref document number: 3931891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100323

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110323

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110323

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120323

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130323

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130323

Year of fee payment: 6