JP2005332107A - 車両用走行区分線認識装置 - Google Patents

車両用走行区分線認識装置 Download PDF

Info

Publication number
JP2005332107A
JP2005332107A JP2004148580A JP2004148580A JP2005332107A JP 2005332107 A JP2005332107 A JP 2005332107A JP 2004148580 A JP2004148580 A JP 2004148580A JP 2004148580 A JP2004148580 A JP 2004148580A JP 2005332107 A JP2005332107 A JP 2005332107A
Authority
JP
Japan
Prior art keywords
image
vehicle
lane marking
images
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2004148580A
Other languages
English (en)
Other versions
JP3722487B1 (ja
Inventor
Tetsuo Ikeda
哲夫 池田
Kiyozumi Uura
清純 鵜浦
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2004148580A priority Critical patent/JP3722487B1/ja
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to CNB2005800157685A priority patent/CN100524385C/zh
Priority to PCT/JP2005/008940 priority patent/WO2005111966A1/ja
Priority to AT05741496T priority patent/ATE440355T1/de
Priority to US11/596,898 priority patent/US7421094B2/en
Priority to EP05741496A priority patent/EP1752947B1/en
Priority to DE602005016103T priority patent/DE602005016103D1/de
Application granted granted Critical
Publication of JP3722487B1 publication Critical patent/JP3722487B1/ja
Publication of JP2005332107A publication Critical patent/JP2005332107A/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2510/00Input parameters relating to a particular sub-units
    • B60W2510/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/14Yaw
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/28Wheel speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00Output or target parameters relating to a particular sub-units
    • B60W2710/20Steering systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle
    • G06T2207/30256Lane; Road marking
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Geometry (AREA)
  • Signal Processing (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Train Traffic Observation, Control, And Security (AREA)

Abstract

【課題】車両の位置や角度に応じた補正を行なって合成画像において走行区分線を見掛け上延長させ、よって走行区分線を精度良く正確に認識できるようにした車両用走行区分線認識装置を提供する。
【解決手段】カメラなどの撮影手段で異なる時刻に撮影された複数の撮影画像を合成して撮影画像中の白線などの走行区分線の長さを延長する画像合成手段(S100からS110)を備える車両用走行区分線認識装置において、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と車両との間の距離を求め、複数の撮影画像間での角度および距離のそれぞれの差を検知すると共に、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後(S106)、複数の画像を合成する(S110)。
【選択図】図8

Description

この発明は、車両用走行区分線認識装置に関する。
車両が走行する路面(走行路)には、走行区分線として白線、黄線、キャッツアイなど種々の道路標示が表示あるいは設置されているが、従来、白線などの走行区分線を認識するには、特許文献1に記載されるように、CCDカメラおよび画像処理ECUなどの撮影手段で撮影された画像に微分および二値化処理などを行ってエッジを検出し、検出されたエッジ点列(白線候補点列)についてHough(ハフ)変換を行って近似する直線成分を求めることで認識している。
また、路面に表示された白線自体が物理的にかすれたり、欠けたりした場合、あるいは夜間走行時などに撮影画像のコントラストが低下して撮影画像中の白線が不鮮明になった場合などは、白線を正確に認識することができないことから、特許文献2に記載されるように、撮影画像にウインドウを設定し、ウインドウ内の白線候補点の密度などから白線のかすれ度合を判定し、かすれていると判定されるとき、現在の白線画像から抽出された白線候補点列に一定時間前の撮影画像から抽出された白線候補点列を重ね合わせて合成し、合成した白線候補点列を近似する直線を求めて白線と認識する技術が提案されている。
特公平6−42261号公報 特開2001−236506号公報
ところで、走行区分線に対する車両の姿勢あるいは角度が現時点と過去の時点とでは異なる場合があり、そのため撮影される画像も両時点で水平方向や走行区分線に対する車両の角度方向にずれ、当然のことながらそのままの状態で画像を合成すると、走行区分線の水平方向の位置や角度がずれた状態となってしまう。
これを防止するために現在と過去の時点との車両姿勢の変化に応じた量だけ過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う必要がある。その点、特許文献2記載の従来技術においては、車両のヨーレート変化量、即ち、車両の回転(旋回)運動の有無を検出し、回転運動があればその量に応じた補正を画像に加えているのみであるため、水平方向の位置の補正が行われず、よって合成画像において走行区分線が適切に延長されない不都合があった。当然ながら、画像認識により走行区分線を認識するということは走行路(自車線)を認識することであり、走行区分線の白線部分の長さが長いほど走行区分線の方向を精度良く認識できるため、走行区分線が、見掛け上、延長されるように合成することが好ましい。
従って、この発明の目的は上記した不都合を解消することにあり、車両の位置(走行区分線と車両との距離)や角度に応じた補正を行なって合成画像において走行区分線を見掛け上延長させ、よって走行区分線を精度良く正確に認識できるようにした車両用走行区分線認識装置を提供することにある。
上記の目的を解決するために、請求項1にあっては、車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成する如く構成した。
請求項2にあっては、車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成する如く構成した。
請求項3に係る車両用走行区分線認識装置にあっては、前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成する如く構成した。
請求項4に係る車両用走行区分線認識装置にあっては、前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成する如く構成した。
請求項1に係る車両用走行区分線認識装置においては、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と前記車両との間の距離を求め、複数の撮影画像間でのそれぞれの差を検知すると共に、検知された前記角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、複数の画像を合成するようにしたので、合成画像において、走行区分線を見掛け上、確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。
請求項2にあっては、合成される複数の撮影画像における走行区分線に対する車両の前後方向角度および走行区分線と前記車両との間の距離を求め、複数の撮影画像間でのそれぞれの差を検知すると共に、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、複数の画像間の合成位置を調整して合成するようにした。即ち、請求項1に係る装置の場合には画像自体を移動させているのに対し、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、複数の画像間の合成位置を調整して合成するようにしたので、請求項1で述べたと同じ効果を得ることができる。
請求項3に係る車両用走行区分線認識装置にあっては、複数の撮影画像の撮影時点の車両のピッチ角の差を検知して同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、走行区分線を見掛け上、一層確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。
請求項4に係る車両用走行区分線認識装置にあっても、複数の撮影画像の撮影時点の車両のピッチ角の差を検知して同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、同様に、走行区分線を見掛け上、一層確実に延長することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。
尚、上記した請求項に記載した「車両の進行方向」とは前進走行時の前方のみでなく、前進走行時に後方の路面を含む領域を撮影する撮影手段を設け、前記撮影手段が撮影した撮影画像から後方の走行区分線を認識するものでも良い。このように「車両の進行方向」とは車両前後方向を示すものであることはいうまでもない。
以下、添付図面に即してこの発明に係る車両用走行区分線認識装置を実施するための最良の形態について説明する。
図1は、この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。
同図において符合10は、車両12の進行方向に向けて車室12aの内部に取り付けられたCCDあるいはC−MOSなどの撮像素子を備えたカメラを示し、カメラ10は車両12の進行方向の路面を含む領域を撮影(撮像)する。カメラ10の筐体10aには画像処理ECU(Electronic Control Unit。電子制御ユニット)が収納される。画像処理ECUは、カメラ10から出力される、車両前方の走行車線(レーン)の情報を示す撮像(画像)信号を入力して後述する画像処理を行う、ハードウエア化された画像処理IC(Integrated Circuit)を備える。カメラ10と画像処理ECUが、前記した撮影手段に相当する。
尚、この実施例において、「走行区分線」は、車両通行帯(車線あるいはレーン)を区画する、走行路(道路)の路面にペイントによって表示された、実線状のあるいは破線状の白線あるいは黄線、さらには路面に間隔をおいて設置されたキャッツアイなどの道路標示を意味する。また、その走行区分線で区画される車両通行帯を「車線」あるいは「レーン」という。
車両12の車室12aの運転席に設けられたステアリングホイール16は、ラックアンドピニオン型のステアリングギヤを介してラック軸20に接続され、ラック軸20はタイロッド22を介して駆動輪24に連結される。ラック軸20には電動モータ26を含む電動パワーステアリング機構(EPS。Electric Power Steering)30が配置され、電動モータ26の回転によってラック軸20を往復動させる。
駆動輪24と従動輪(図示せず)の付近にはそれぞれ車輪速センサ32(2個のみ図示)が設けられ、所定角度あたりの回転、即ち、車両12の走行速度(車速)に応じた信号を出力する。車両12の中央部(後車軸近傍)にはヨーレートセンサ34が配置され、車両12の重心位置における鉛直軸(重力軸)まわりのヨーレート(回転角速度)に応じた信号を出力する。また、ステアリングホイール16の付近には舵角センサ36が設けられ、運転者によって操作されたステアリングホイール16の回転量、即ち、舵角に応じた信号を出力する。
車両12の適宜位置には、同様にマイクロコンピュータを備える制御ECU(Electronic Control Unit)40が設けられる。制御ECU40は画像処理ECUおよび前述した各センサの出力を入力し、走行車線に沿って走行するレーンキープアシスト制御あるいは走行車線からの不用意な逸脱を防止する車線逸脱防止制御などに必要な操舵力を演算し、指令値に換算して出力する。制御ECU40は、EPS30の動作を制御するEPSECU42に接続される。EPSECU42も同様にマイクロコンピュータを備え、制御用ECU40とデータの送受を行い、制御用ECU40から出力された指令値に基づいて電動モータ26を駆動する。
図2は、図1に示す制御ECU40の動作を入出力から示すブロック図である。
図示の如く、制御ECU40は、カメラ10と前記した画像処理ECU(符合44で示す)からなる撮像手段の出力およびヨーレートセンサ34などの出力を入力し、レーンキープアシスト制御などの指令値を通信によってEPSECU42に出力し、電動モータ26を駆動させる。また、図1では省略したが、車室12aの運転席近傍にはメータおよびスイッチ(SW)が配置され、制御ECU40の制御内容はそのメータに表示される。また、運転者による制御の指示はスイッチを介してメータに表示されると共に、制御ECU40に入力される。
図3は、図1および図2に示す装置の動作を示すフロー・チャートである。図示のプログラムは、画像処理ECU44および制御ECU40において所定の時間間隔、例えば33msecごとに実行される。
以下説明すると、ステップS10(以下、ステップ略す)において、カメラ10の撮像素子から撮像信号が出力される。カメラ10の撮像素子は、縦nライン×横m画素からなる撮影領域を備える。カメラ10は、工場の製造ラインなどにおいて進行方向の走行路を含む所定の方向にその光軸が調整される。
次いでS12においてフレーム合成、即ち、撮像素子から出力された画像信号を入力して合成する。具体的には、今回の処理周期で入力された撮像信号と、過去の処理周期で入力されて画像処理ECU44のメモリに記憶されている撮像信号、換言すれば、現在の画像(フレーム)と過去の画像とを合成する。尚、この実施例の特徴的な点はこのフレーム合成にあるので、後で詳述する。S12からS16までは、画像処理ECU44内のハードウエア化された画像処理ICが実行する処理である。
次いでS14において周知の微分処理およびそれに続く二値化処理を含むエッジ検出処理を行い、入力画像から図4に示すようなエッジ画像を生成し、次いでS16において同じく周知のHough(ハフ)変換により、白線などの走行区分線に相当する直線成分(図5に実線で示す)を判別する。
次いで、S18において、図6に示す如く、前記直線成分に沿う複数のエッジ点(エッジ点列。同図に黒丸で示す)を、車線候補(白線候補点列)として検出する。
次いでS20において車線候補として複数の候補が存在する場合(例えば図6に示すように3本の点列a,b,cが存在する場合)、自車(車両12)と各車線候補との位置関係から、複数の車線候補の中のいずれの候補が自車(車両12)の走行している車線を表しているか判別し、図7に示す如く、自車の走行する車線の位置を推定する。
次いでS22において車両制御を実行する。即ち、推定された車線位置に基づき、前述したようなレーンキープアシスト制御や車線逸脱防止制御などの車両制御の指令値をEPSECU42に出力し、電動モータ26の駆動を制御する。尚、S12からS16までの処理は画像処置ECU44内の前述したハードウエア化された画像処理ICで、S18およびS20の処理は画像処理ECU44で、S22以降の処理は制御ECU40で実行される。
図8は、図3のS12のフレーム合成(現時点の取得画像(撮像信号)と過去の時点で取得されて記憶されていた画像(撮像信号)とのフレーム合成)の処理を示すサブ・ルーチン・フロー・チャートである。
この実施例において特徴的な点は図8に示すフレーム合成の種々の処理にあるが、最初に同図を参照して概説すると、S100において、検出された車速によって合成すべき過去フレームを選択する。
即ち、現在時刻(今回処理周期)tに入力された撮影画像(図9に示す)に合成すべき画像を、前回以前の処理周期ごとに入力されて画像処理ECU44のメモリに記憶されていた複数の撮影画像の中から選択する。具体的には、車速に応じ、図10に示すような時刻t-nで撮影されて記憶されていた撮影画像を選択する。ここで、nは離散系のサンプル時刻を意味し、t-nは、n回前に撮影されて入力された撮影画像、即ち、過去の異なる時点に撮影されて記憶された画像を意味する。
続いてS102において選択された過去フレームの明るさ補正を行う。即ち、現時点で入力された撮影画像とS100で車速に応じて選択された過去の時点での撮影画像は、撮影時点が異なることから、撮影対象(路面)の明るさが影の影響などで異なる場合があり、一方の画像の路面部分の明るさが他方の画像の白線などの走行区分線のそれよりも明るいような状態で合成を行うと、合成画像で白線が路面に埋もれてしまう恐れがあることから、それを防止するため、現時点と過去の時点での画像の明るさを一致させるように過去の時点での撮影画像の明るさを現時点での撮影画像の明るさに合わせる処理を行う。尚、その詳細は後述する。
S104において合成開始位置を設定する。即ち、車両12の姿勢が積載などの要因によって初期状態(カメラ10の光軸調整時)と異なる場合、言い換えれば、静的なピッチング方向の姿勢変化が生じている場合などがあり得る。この姿勢変化によりカメラ10の撮影領域が上下に変動するため、画像を合成する際にこの変動分を考慮すべく合成開始(基準)位置を学習して補正する(設定する)。この処理は、走行区分線を認識する場合には路面より上方の領域は通常不要であることから、現時点と過去の時点での地平線位置を合わせることで行う。
次いでS106において水平画素補正を行う。即ち、車線に対する車両12の姿勢や角度が現時点と過去の時点とで異なる場合があり、そのため撮影時点によって得られる画像がその位置あるいは角度分だけずれる場合が生じ得る。その場合、当然のことながら、そのままの状態で画像を合成すると、走行区分線の水平方向の位置あるいは角度方向がずれてしまう。それを防止するため、現在と過去の時点との車両姿勢の変化に応じた量だけ、過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う。尚、その詳細も後述する。
次いでS108において垂直ライン補正を行う。即ち、現時点と過去の時点における車両12のピッチング状態が異なることが考えられるため、両時点間の動的なピッチ角変動を画像から得られる地平線位置の変化から求め、画像における垂直(上下)方向の位置を補正し、図11に示すような補正された画像を得る。これについても後述する。尚、S104で補正したのはピッチングの静的なずれであるのに対し、S108で補正するのはその動的なずれである。
次いでS110に進み、現時点と補正された過去の時点での撮影画像を合成し、図12に示すように、白線などの走行区分線が、図9から図11との対比から明らかなように、両時点の各々の画像上における長さよりも、見掛け上、延長された画像を得る。これで、図8に示すフレーム合成処理を終了する。
以下、この実施例において特徴的な点を順次説明すると、最初に特徴的な点は図8のS100で述べたように車速(走行速度)によって合成されるべき過去フレームを選択するようにしたことである。
以下それについて説明すると、特許文献2記載の従来技術においては、現時点の画像に合成されるべき過去の時点の画像は一定時間前の画像である。しかしながら、車速(走行速度)に応じて車両12の移動距離が異なり、当然カメラ10の(撮像素子の)撮影領域も同様に車両12の進行方向に移動することから、画像上の走行区分線の位置も車両12の進行につれて移動し、換言すれば、車速が高いほど、撮影される走行区分線の位置も大きく移動することとなる。従って、どの程度の時間間隔をおいて過去の画像を選択して現時点の画像と合成するかによって合成画像における走行区分線の延長される量および割合が異なることとなる。
ところで、走行区分線としては、白線部分(彩色部分)とその間のブランク(アスファルトなどの無彩色部分)とが周期的に繰り返される破線状のものが知られている。この走行区分線の白線部分は耐久性の面でかすれたり、部分的に欠けたりしている場合があり、また工事などの理由で臨時、応急的に白線部分が短く描かれている場合もある。
また、当然ではあるが、画像認識により走行区分線を認識するということは走行路(自車線)を認識することであり、走行区分線の白線部分の長さが長いほど走行区分線の方向を精度良く認識できる訳であるから、前記の白線部分のかすれ、欠けの有無を問わず、白線部分が、見掛け上、延長されるように合成することが好ましい。その点に鑑み、この実施例においては、車速(走行速度)によって決定される時間間隔をおいて過去に撮影された画像(過去フレーム)の中から該当する画像を選択するようにした。尚、これは、白線に限るものではなく、黄線でも同様である。
発明者達が実験的に知り得たところでは、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さ(占める割合)が30%程度以上であれば、走行区分線を精度良く認識して自車の走行路を的確に認識することが可能であった。前述したように、車速に応じて延長される白線部分の長さが変わることから、認識された走行区分線のデータを用いる冒頭に述べたレーンキープアシスト制御や車線逸脱防止制御などの車両制御の制御車速の範囲に応じて撮像周期で何フレーム前を使用すれば良いかが決定されることとなる。
具体的には、撮像周期が33.3msecであるので、例えば車速(走行速度)が60km/h以上の場合であれば、必要な白線部分の延長量を確保するには、3フレーム前の画像を用いれば良い。やや白線部分の延長量が不足するが、2フレーム前の画像でも車速が90km/h以上であれば良く、60〜90km/hの車速範囲でも白線部分の延長される量は減少するが、延長される長さが1m以上あり、合計長さに占める白線部分の割合も約30%に増加するので、走行区分線を精度良く認識して自車の走行路を的確に認識することができる。
そこで、検出された車速(走行速度)に応じて決定される時間間隔に相当する周期に撮影された少なくとも1つの撮影画像を、任意(現時点)の撮影画像と合成されるべき撮影画像として選択するようにした。尚、車速がある値、例えば105km/h、110km/hとでヒステリシスを持たせた形で、2フレーム前、3フレーム前と合成に使用する画像を切替えるようにしても良く、あるいは車速が60km/h以上であれば、3フレーム前の画像を使用すれば、走行区分線の白線部分とブランクの合計長さに対する白線部分の長さが30%以上となるので、3フレーム前の画像のみを使用するようにしても良い。
このように、この実施例においては、撮影画像の内の任意の撮影画像(具体的には現時点の画像、より具体的には現在の走行区分線認識処理周期において撮影された画像)の撮影時刻を基準としてその任意の撮影画像に対して検出された車速(走行速度)に応じて決定される時間間隔をおいて過去に撮影された少なくとも1つの撮影画像(より具体的には検出された車速(走行速度)に応じて決定される時間間隔に相当する周期に撮影された少なくとも1つの撮影画像)を、その任意の撮影画像と合成されるべき撮影画像として選択するようにしたので、車速の高低に関わらず、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができ、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することができる。
また、検出される走行速度が低いほど、より長い時間間隔をおいて過去に撮影された少なくとも1つの撮影画像を選択するように構成した。即ち、車速が低くなるほど、車両12の移動距離が短くなることから、車速が低い場合、合成後の画像において走行区分線の長さの延長量もしくは延長割合が不足しないように、より過去の時点で撮影(入力)されて記憶されていた画像を選択するようにした。他方、車速が高くなるほど、車両12の移動距離が長くなるので、現時点に近い過去の時点に撮影(入力)されて記憶されていた画像を選択することになる。
また、走行区分線の白線部分(彩色部分)とブランク(無彩色部分)の合計長さに対する彩色部分の長さが30%以上となるように、時間間隔をおいて過去に撮影された少なくとも1つの撮影画像を選択するようにしたので、走行区分線にかすれ、欠けが生じている場合や工事などで長さが短い場合であっても、最適に走行区分線の白線部分の見掛け上の延長量もしくは延長割合を設定することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。
また、合成の基準となる画像が現在の走行区分線認識処理周期において撮影された画像であるようにしたので、最新の情報に基づいて画像を合成することができる。また、検出された走行速度に応じて決定される前記時間間隔に相当する周期に撮影された少なくとも1つの撮影画像を選択するようにしたので、同様に最新の情報に基づいて画像を合成することができる。
この実施例において第2に特徴的な点は、図8のS102で述べたように、過去フレームの明るさ補正を行うようにしたことである。
それについて説明すると、通常、走行区分線の白線部分を精度良く認識するためには、図13に示すように、カメラ10による撮影領域の所定の領域(路面。図13中の斜線部)の明るさを検知し、検知した明るさに基づいて白線部分が明瞭に検出できるようにシャッタ速度や絞りを調整すると共に、さらに必要に応じて撮像信号の出力アンプゲイン(増幅率)などの種々の撮影条件を調整している。
尚、この明細書において「明るさ」とは、明度、輝度、濃度、および検出された画像上の明るさに応じて調整されるシャッタ速度、絞りあるいは映像信号の出力アンプゲインなどの撮影条件などを全て含む意味で使用する。
通常の走行状態においては路面の明るさは建物などの影があったり、路面が濡れていたり、強い日差しが差していたり、様々な環境の変化の影響により時々刻々変化する。その明るさの違いによらず白線部分を明瞭に検出するため、先のような撮影条件の調整を行っている訳である。
ここで、撮影した時点の路面の明るさが異なる場合に現時点と過去の時点との画像を合成することを考える。同一の画像では白線部分がそれ以外の路面(アスファルト、コンクリート)よりも明るいため、合成するとき、画像上の同一点(同一箇所)において明るい方を白線部分とみなして選択することで合成を行っている。
先に述べたように、検出した明るさに基づいて撮影画像間で明るさが一定となるようにシャッタ速度などを調整しているが、実際に路面に明暗の変化が生じた場合、ハンチングの防止などの理由によりシャッタ速度、絞り、アンプゲインは一気に変更させず、徐々に変更するようにしているため、撮影画像間で明るさが一定とはならず、多少異なることとなり、一方の撮影画像の路面(アスファルト部分)よりも別の撮影画像の白線部分の方が暗くなってしまう場合が生じる。
図14は、この実施例における画像の明るさ補正の処理を示す説明図である。尚、同図の右端にa,b,cを付して示す3種のグラフは、同図の左側の画像での白線部分と路面(アスファルト)の破線で示された箇所の明るさを簡略的に示した図である。同図aの上部の注記は、パルス状の波形において突出部が白線部分で、その両側は路面であることを示す。従って、同図aは、左側の画像A,BにおいてAの白線部分より、Bの路面の方が明るいことを示す。
図14のAは過去の時点で撮影されて記憶されている画像であり、Bは現時点で撮影取得された画像である。画像の明るさは右端のグラフaに示すように、Aの画像の白線部分(図中点線部)よりもBの画像の路面の方が明るくなっている。後述するように、この実施例においては、図14のA’に示すように、現時点と過去の時点との車両の位置の変化に応じた画像の位置補正を行う。
この時点では画像の明るさはAとA’では変化がなく、この段階で図14に「補正無」と注記しつつ破線で示すように、両方の画像を合成すると、右端のグラフaに示す如く、画像Aの白線部分よりも画像Bの路面(アスファルト)の方が明るいために画像Bの路面部分が選択されることとなり、図14のC’の画像のように画像A(A’)の白線部分がなくなった画像となるという不具合が生じてしまう。
その点に鑑み、この実施例においては、撮影された撮影画像の明るさを、撮影領域の路面の所定領域(図13の斜線部)の明るさなどから検知すると共に、複数の撮影画像の内の1つの画像を基準として複数の撮影画像において明るさが一致するように補正する。この場合、実際に明るさを検出しても良く、あるいは簡易的に検出しても良い。具体的には過去の時点と現時点とで撮影した際の撮影条件から両画像の明るさの比を求め、これを用いて両画像の明るさを一致させることで、前記の不具合を解消するようにした。尚、比に代え、明るさの差を用いて合成される撮影画像の明るさを一致させることも可能である。
図15は、図8のS102の明るさ補正処理のサブ・ルーチン・フロー・チャートである。
以下説明すると、先ずS200,S202において、撮影時の撮影条件であるカメラ10のシャッタ速度S0,S1、絞り値I0,I1、画像信号の増幅率を示すアンプゲインG0,G1からなる撮影条件を記憶する。シャッタ速度は、検知された撮影画像の明るさ、具体的には撮影手段の撮影領域の内、路面の所定領域(図13の斜線部)の明るさを、その部位の画素の濃度などから検知し、図16に示す特性に従って設定(決定)してカメラ10の撮像素子(画素)の感度を調整して行う。
尚、周知の如く、図16に示すように絞り値を調整することによっても、取り込む光量が変化するので、画像の明るさを調整することができる。また、シャッタ速度と絞りの少なくともいずれかで調整された画像濃度は、周囲環境が暗くて依然調整が不足する場合、アンプゲインによってさらにn倍して明るさを調整することも可能である。その意味で、S200,S202においては、シャッタ速度に加え、絞り値とアンプゲインも記憶する。
次いでS204において、記憶した各撮影条件に基づいて図示の式により現時点と過去の時点との画像の明るさの比を算出し、S206において算出された明るさ比を過去の時点の画像の明るさに乗じることにより、過去の時点の画像の明るさを現時点の画像の明るさに一致させる補正を行う。
より具体的には、シャッタ速度と絞り値の少なくともいずれかに基づいて複数の撮影画像の明るさの比を検知すると共に、複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも1つの比および差の少なくともいずれか、詳しくはその両方の比に基づいて明るさを補正するようにした。また、増幅率に基づいても複数の撮影画像の明るさの比を検知するようにした。
尚、明るさは、図13の斜線部に示す路面の所定領域の明るさを、その部位の画素の濃度から検知すると共に、それによって、設定される複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも比に基づいて検知された明るさを補正する。
この結果、図8のS110の処理において、明るさを補正された過去の時点の画像と現時点の画像とが合成される。尚、S110の処理においては、通常、白線などの走行区分線は周囲のアスファルトなどの路面よりも明るいため、合成においては合成される複数の画像の内、複数の箇所の同一箇所(任意の箇所)を構成する画素の内、明るさにおいて明るい方、即ち、画素単位で明るい方を選択して合成する。
この処理により明るさを補正すると、図14の右端のグラフbに示すように、過去の時点の画像(図14の画像A”の点線部)と現時点の画像(図14の画像Bの点線部)の路面の明るさが一致することとなる。この結果、両画像を合成すると、図14のCのように路面に白線部分が埋もれることがなく、白線部分が適切に延長された画像を得ることができる。
以上のように、この実施例は、撮影手段によって撮影された撮影画像の明るさを検知し、複数の撮影画像の内の1つの画像を基準として複数の撮影画像において明るさが一致するように補正すると共に、明るさが補正された後、複数の画像を合成するように構成したので、両画像の明るさを一致させる結果、過去の時点と現時点との一方の画像の路面に他方の画像の白線部分が埋もれてしまうことがなく、良好に白線部分を延長することが可能となる。よって、走行区分線の認識精度を向上させることができ、自車の走行路を的確に認識することができる。
また、合成の基準となる画像が現在の走行区分線認識処理周期の画像であるようにしたので、最新の情報に基づいて明るさを一致させつつ、画像を合成することができて走行区分線の認識精度を向上させることができ、よって自車の走行路を的確に認識することができる。また、路面の所定領域の明るさを検知することで、明るさの検知を共通の尺度で行うことができて走行区分線の認識精度を向上させることができる。
また、複数の撮影画像のそれぞれの撮影時点におけるシャッタ速度と絞り値の内の少なくとも1つの比および差の少なくともいずれか、さらにはアンプゲイン(増幅率)に基づいて明るさを検知あるいは補正するようにしたので、明るさの検知や補正が容易となる。複数の画像における同一位置の明るさが一致するように補正するので、一層精度良く明るさを補正することができる。
また、複数の画像の同一箇所を構成する画素の内、明るさにおいて明るい方を選択することにより、複数の撮影画像を合成するように構成したので、合成された画像から走行区分線を一層精度良く認識することができ、よって自車の走行路を一層的確に認識することができる。
この実施例において第3に特徴的な点は図8のS106およびS108で述べたように水平画素補正と垂直ライン補正を行うようにしたことである。
それについて説明すると、走行区分線に対する車両12の姿勢(角度)や走行区分線との水平方向の距離が現時点と過去の時点とでは異なる場合があり、そのため撮影される画像も両時点で水平方向や走行区分線に対する車両12の角度方向にずれ、当然のことながらそのままの状態で画像を合成すると、走行区分線の水平方向の位置や角度がずれた状態となってしまう。
これを防止するために現在と過去の時点との車両姿勢の変化に応じた量だけ過去の時点の画像上における走行区分線の水平方向の位置や角度方向の補正を行う必要があり、また、現時点と過去の時点における車両12のピッチング状態が異なることも考えられるため、両時点間のピッチ角変動を画像から得られる地平線位置の変化などから求め、画像における垂直方向の位置を補正する必要もある。
その点、特許文献2記載の従来技術においては、車両のヨーレート変化量、即ち、車両の回転(旋回)運動の有無を検出し、回転運動があればその量に応じた補正を画像に加えているのみで、水平方向の位置の補正が行われず、よって合成画像において走行区分線が適切に延長されない不都合があった。また、特許文献2記載の技術にあっては、ピッチング変化に対しては考慮していない不都合もあった。
図18はカメラ10により撮影した、即ち露光した時刻t-2から時刻t-1を経て時刻t0に至るまでの車両12の走行区分線(車線)に対する位置、姿勢(角度)の変化を示す説明図である。ここで露光時刻t0が現時点であり、時刻t-1が過去を、時刻t-2は時刻t0とt-1で撮影された画像を合成する際の基準として使用する画像を撮影した時刻であり、時刻t-1よりさらに過去の時点の時刻である。
この実施例においては、図18の車両12の左右に位置する走行区分線(車線)を認識し、その中央を基準点とし、それら点の連続である点列とその間を結ぶ線分(図18の短破線)を、例えばレーンキープ制御の場合、車両が走行すべきラインとして検出して使用する。尚、図18の走行区分線は過去の時点の時刻t-2で撮影して得られたものであるから、点列も時刻t-2における点列である。露光時刻t0,t-1での車両位置における前記点列と車両位置との距離(走行区分線と車両12との間の距離)をL0,L1、点列を結ぶ線分と車両12の向きとのなす角度(走行区分線に対する車両12の前後方向角度)をθ0,θ1としている。
過去の時点である露光時刻t-1に撮影して記憶された画像を現時点、即ち、露光時刻t0で撮影された画像に合成するため、露光時刻t-2で取得された走行区分線(車線)、点列及び線分を基準として前記の距離L0,L1、角度θ0,θ1を求め、L0とL1、θ0とθ1との差を各々求め、時刻t0とt-1との間での走行区分線に対する車両12の相対位置や角度の変化に伴う撮影画像の変化を補正した上で両時刻の画像を合成するようにした。
図19は、図8のS106の水平画素補正処理のサブ・ルーチン・フロー・チャートである。
同図は、露光時刻t0とt-1との横方向の位置の偏差(現在時刻t0に対する過去(時刻t-1)の横方向車両移動量)ΔL、および走行区分線もしくはその中間の基準ラインに対する角度(現在時刻t0に対する過去(時刻t-1)の角度変化量)Δθを求め、それらから画像上での水平方向の画素位置の補正量を求める処理フローである。
詳細は後述するが、S300においてΔL、Δθを求め、S302においてそれらΔL、Δθから画像平面上における合成する際の画素の位置の補正量を求め、合成前のハードウエア処理として行われるカメラ座標系(U,V)と実平面の座標系(X,Y)との対応付けを行う。このS302の処理については詳細を後述する。
図20は、図8のS108の垂直ライン補正処理のサブ・ルーチン・フロー・チャートである。
先ずS400において露光時刻t0とt-1とのピッチ方向の変化量Δθpitを求め、S402においてその値に基づいて画像面上での垂直合成ライン位置の補正量を求め、合成前のハードウエア処理として行われるカメラ座標系(U,V)と実平面の座標系(X,Y)との対応付けを行う。
図21は図19のS300の処理のサブ・ルーチン・フロー・チャートであり、図22および図23はその説明図である。
図21から図23を参照して説明する。図22において、軌跡推定の座標軸は、過去のある時刻における車両の進行方向中心軸(車両中心軸)をX軸として設定された座標軸である。この座標系において露光時刻t-2における車両位置を基準として露光時刻t-1での車両の位置の横方向の変化量を求めるため、時刻t-2での車両(中心)位置を原点(x,y)=(0,0)、車両中心軸方向をx軸とする検出結果座標系x,yを考える。
車輪速センサ32、ヨーレートセンサ34の出力から求めた露光時刻t0とt-1との間の車両の推定軌跡を用いて露光時刻t-1の車両12の位置、向きを時刻t-2を基準としたx,y座標系上に変換する。このとき、検出結果座標系x、y上での露光時刻t-1での車両12の位置の座標は、(x,y)である。図21のS500の(1)で、露光時刻t-1での車両の位置の座標(x,y)を求める。
また、S500の(2)では、図22に示すように、座標(x,y)の真横、座標x上であって露光時刻t-2で求めた点列1,Pk,Pk+1の内、露光時刻t-1で車両が位置する点列Pk,Pk+1とを結ぶ直線上の点(x,yp)と先の座標(x,y)との間の距離L-1をyp−yにより求める。
同様にS500の(3)で、露光時刻t-2を基準として露光時刻t0における車両位置と点列間を結ぶ直線との間の距離L0を求める。尚、図22においては簡略化のため露光時刻t0での車両位置、点列Pk+2などは省略した。
そしてS500の(4)で、L0−L-1から露光時刻t0とt-1との横方向位置の偏差ΔLを求める。当然の事ながら、両露光時刻での車両位置によってΔLには正負が生じる。
続いて、露光時刻t0とt-1との間の基準ライン、即ち点列およびそれらを結ぶ直線に対する車両の角度の変化量Δθを求める。
先ず、図21のS502の(1)で、図23のように露光時刻t-1、時刻t0での軌跡推定値の差から図22で示した軌跡推定座標系における角度差を求めることができる。即ち、軌跡推定座標における露光時刻t0での軌跡推定値をθ0、露光時刻t-1での軌跡推定値をθ-1とすると角度差はθ0−θ-1で求められる。
さらに、露光時刻t-2で求められ露光時刻t0とt-1の両時刻で車両が位置する点列Pi,Pi+1,Pi+2間を結ぶ直線が異なり、それらの直線が一直線でなければ、図23のようにそれら直線のなす角度θRを求める必要がある。当然、直線が一直線であるか、両時刻での車両位置が同一直線の範囲内であれば角度差θR=0である。
図21のS502の(2)で、露光時刻t-2で撮影して検出された点列を用い、露光時刻t-1、t0において車両が位置する直線の角度差θRを求める。そしてS502の(3)で角度の変化量ΔθをΔθ=θ0−θ-1−θRで求める。
図24は図19のS302の処理を示すサブ・ルーチン・フロー・チャートであり、図25および図26はその説明図である。
先に図21および図22で求めた基準ラインに対する位置の変化量ΔL、角度の変化量Δθを基に、時刻t-1とt0との車両の関係を簡略化して示したものが図25である。実平面座標系での車両の進行方向における距離、即ち、Xと、あるXでの横方向の距離Yとの関係はΔL、Δθから
y=x・tanΔθ+ΔL
となる。
この式から図24のS600では距離X=5m、X=30mにおける実平面上での水平方向の合成時に要する補正距離Y5m、Y30mを求める。ここで5m、30mは一例であり、カメラの撮像領域の広さ等から適宜設定することが可能である。
次いでS602において実平面上での距離X=5m、X=30mに対応する画像面上でのライン位置V5m、V30mを求める。図26に画像面の座標系を示す。実平面での距離方向のX軸に対応するのがV軸であり、鉛直方向上方を原点とし、横もしくは水平方向のY軸に対応するのがU軸となっている。このライン位置V5m、V30mは図8のS104で説明したピッチ方向の変動を学習した補正値を考慮した上で求められている。
次いでS604においてS600で求めた補正距離Y5m、Y30mに対応する画像面上の横方向の画素位置U5m、U30mを求める。
次いでS606において求められた画像面上の座標(U5m,V5m)と(U30m,V30m)の2点を通る直線を求める。そしてこの実施例では、画像面上のV軸上の6点x0,x1,…,x6がこの直線上となるように、異なる時刻の画像を合成するときの合成位置設定を行う。即ち、時刻t-1とt0における実平面上の基準ラインに対する位置、角度の変化を補正するべく、実平面上での時刻t-1の車両の位置および角度を示す直線(基準としてX軸と一致している)を図25に示した時刻t0の位置および角度を示す直線と一致させることとなる。尚、この合成位置設定は前述のハードウエア化された画像処理IC内で処理されるので、高速処理が可能となっている。
図27および図28は、この実施例の位置補正の処理を加えた画像合成の画像イメージと、位置補正を加えない場合の画像合成の画像イメージを示す図である。
図27のように走行区分線に対する車両の横方向位置、角度の補正を加えると、同図の画像Cのように走行区分線が延長された形となるのに対し、補正を加えない場合には図28のように過去および現在の時点で撮影された走行区分線がずれた形で合成され、走行区分線が延長されていないことが分かる。
この実施例は、複数の撮影画像における走行区分線に対する車両12の前後方向角度θおよび走行区分線と車両12との間の距離Lを求め、複数の撮影画像間での角度および距離のそれぞれの差(Δθ,ΔL)を検知し、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、複数の画像を合成するようにしたので、合成画像において、走行区分線を見掛け上、確実に延長することができる。
また、複数の撮影画像の撮影時点t-1とt0の車両12のピッチ角を検出して撮影画像間のピッチ角の差(Δθpit)を検知し、検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、複数の画像を合成するようにしたので、走行区分線を見掛け上、一層確実に延長することができる。
尚、上記に代え、検知された角度と距離の差に基づいて走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成するようにしても良い。即ち、上記のように画像自体を移動させる代わりに、合成位置(重ね合わせ位置)を調整して合成しても良い。
図27を参照して説明すると、過去取得画像Aと現在取得画像Bのいずれか一方の画像自体を前述した両時刻間での横方向位置と角度の変化分ずらして他方の画像に重ね合わせて合成すれば、前述の補正と同様の結果が得られることになる。即ち、横方向位置の補正について考えれば、図27の画像Aのp点に横方向位置の補正量だけp点から横方向にずれた画像Bのq点が重なるようにすれば良い。図27では両時刻間の角度の変化はほとんどないが、角度変化がある場合には角度変化量に応じて画像を回転させた上で合成すれば良い。さらにピッチ角の差がある場合にも、図27の上下方向に差に応じた量だけ一方の画像をずらして合成すれば良い。このようにすることで、前記の画像を補正するものと同様の効果を得ることができる。
この実施例において第4に特徴的な点は、図8のS110の合成処理において、エッジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたことである。
それについて説明すると、図29はエッジ検出処理を行う前において、換言すれば原画像の段階で現時点と過去の時点との画像を合成した場合の画像を、図30は特許文献2記載の従来技術のようにエッジ検出処理を行った後の、所謂、エッジ画像の状態で現時点と過去の時点との合成を行った場合の画像を示している。
図30の従来技術の処理では、その画像A,Bのように画像上で自車から遠方の走行区分線の長さが短い、即ち、画像上での大きさが小さいため、現時点と過去の時点の画像を別々にエッジ検出処理した場合、エッジとして認識されず、結果として図30の画像a,bのように、エッジ画像上の遠方においては破線で囲んで示すように何もない状態となってしまう。
続いて車両姿勢変化に基づく位置補正処理を行い、図30の画像a’に示す位置補正画像を得、続いて現時点と過去の時点とのエッジ画像を合成しても、図30の画像Dの破線で囲んだ領域のように原画像に見られる遠方の走行区分線に対応するエッジはないものとなる。
これに対し、図29に示すように、過去の時点の画像(図29の画像A)を車両姿勢変化に基づく位置補正(図29の画像A’)および画像の明るさ補正(図29の画像A”)を行い、エッジ検出処理を行う前の原画像の段階で現時点と過去の時点の画像を合成すると、各々の原画像上では短い遠方の走行区分線が図29の画像Cのように延長されて長くなり、その後にエッジ検出処理を行っても、図29の画像Dに実線で囲んだようにエッジとして検出されることとなる。
このように、この実施例においては、走行区分線の認識処理における撮影画像中の少なくとも走行区分線の形状に変化を与えない処理段階で、より具体的にはエッジ検出前に前記撮影画像を合成する如く構成したので、即ち、エッジ検出処理前の原画像の段階で現時点と過去の時点の画像を合成するようにしたので、遠方の走行区分線も的確に検出することができ、よって走行区分線を見掛け上、延長することができ、認識精度を向上させることができる。
尚、エッジ検出処理前としたが、撮影した原画像上の走行区分線の形状、外形が残っている状態であれば良く、先に述べたように、通常、エッジ検出処理は微分処理、二値化処理、エッジ検出から構成されることから、エッジ検出処理前、つまり、微分処理前でなくても二値化処理前で合成すれば本発明の効果は得られる。
尚、この発明を、エッジ検出処理、ハフ(Hough)変換による走行区分線認識を例に説明したが、この発明はそれに限られるものではなく、他の手法、例えば、図31に示す、あるいは特開平8−297728号公報に記載されるようなパターンマッチングを用いる手法に対しても走行区分線部分が延長されることにより、より精度良くパターンマッチングが可能となり有効である。図32にそのパターン例を示す。
即ち、走行区分線が車載のカメラにより撮影された画像における形状のパターンを図32に示すような複数のテンプレートとして予め設定しておき、これを撮影画像に図31の中央の図のように順に当てはめていき、画像とテンプレートとの一致度を求め、図31の下図のように一致度の分布から最も一致度が高い点がなすラインを走行区分線とするなどの手法が知られており、このようなパターンマッチングにおいても本発明により走行区分線が延長され、走行区分線の認識精度をより向上させることができる。
また、この実施例においては、S100の処理において、合成されるべき画像の数は2枚としたが、必要に応じてそれ以上の複数枚としても良い。さらに、この実施例においては周期的に撮影される画像の内から車速に応じて選択するようにしたが、撮影手段を2個以上設けるなどして、共通する同一の周期で撮影されていない画像の内から車速に応じて選択するようにしても良い。
また、S108の補正において、画像から得られる地平線の変化に代え、車両12の適宜位置にピッチ角センサを配置してその出力から動的なずれを求めて補正しても良い。
また、カメラ10は車両前方の路面を含む領域を撮影するように構成したが、車両12が前進走行しているときの車両後方の路面を含む領域を撮影する撮影手段(カメラ)を設けるように構成し、その撮影手段が撮影した撮影画像から車両後方の走行区分線を認識するものでも良いことはいうまでもない。従って、この明細書で「車両の進行方向」とは、車両の前後方向を示す意味で使用する。
この実施例は上記の如く、車両12の進行方向の路面を含む領域を撮影する撮影手段(カメラ10、画像処理ECU44)と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段(画像処理ECU44,S12からS16)と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段(画像処理ECU44,S12,S100からS110)とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度θおよび前記走行区分線と前記車両との間の距離Lを求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差Δθ,ΔLを検知する車両状態検知手段(S106からS108,S300,S302,S400,S402)を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成する(S110)如く構成した。
また、車両12の進行方向の路面を含む領域を撮影する撮影手段(カメラ10、画像処理ECU44)と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段(画像処理ECU44,S12からS16)と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段(画像処理ECU44,S12,S100からS110)とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度θおよび前記走行区分線と前記車両との間の距離Lを求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差Δθ,ΔLを検知する車両状態検知手段(S106からS108,S300,S302,S400,S402)を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成する(S110)如く構成した。
また、前記複数の撮影画像の撮影時点の前記車両のピッチ角θpitを検知して前記撮影画像間のピッチ角の差Δθpitを検知するピッチ角変化検知手段(S106からS108,S400,S402)を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成する(S110)如く構成した。
また、前記複数の撮影画像の撮影時点の前記車両のピッチ角θpitを検知して前記撮影画像間のピッチ角の差Δθpitを検知するピッチ角変化検知手段(S106からS108,S400,S402)を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成する(S110)如く構成した。
この発明の実施例に係る車両用走行区分線認識装置の全体構成を示す概略図である。 図1に示す制御ECUの動作を入出力から示すブロック図である。 図1および図2に示す装置の動作を示すフロー・チャートである。 図3のエッジ検出処理で得られるエッジ画像の説明図である。 図3のHough(ハフ)変換処理により得られる白線などの走行区分線に相当する直線成分である、ガイドラインの説明図である。 図3の車線候補検出処理で得られる車線候補(白線候補点列)の説明図である。 図3の車線位置推定処理で得られる自車の走行する車線の推定位置を示す説明図である。 図3のフレーム合成処理を示すサブ・ルーチン・フロー・チャートである。 図8の過去フレーム選択処理で基準となる現在時刻(今回処理周期)tに入力された撮影画像を示す説明図である。 図8の過去フレーム選択処理で現在時刻(今回処理周期)tに入力された撮影画像に合成されるべき時刻(前回以前の処理周期)t-nに入力された撮影画像を示す説明図である。 図8の垂直ライン補正処理で補正された画像を示す説明図である。 図8の合成処理で得られる合成画像を示す説明図である。 図8の過去フレームの明るさ検知処理で検知されるべき撮影領域の所定の領域(路面)を示す説明図である。 図8の過去フレームの明るさ検知処理を示す説明図である。 図8の明るさ補正処理のサブ・ルーチン・フロー・チャートである。 図15の処理で使用される、路面の明るさに対するシャッタ速度および絞りの特性を示す説明グラフである。 同様に、図15の処理で使用される、シャッタ速度および絞りに対するアンプゲイン(増幅率)の特性を示す説明グラフである。 図8の水平画素補正を説明する、カメラにより撮影(露光した)時刻t-2から時刻t-1を経て時刻t0に至るまでの車両の走行区分線(車線)に対する位置、姿勢(角度)の変化を示す説明図である。 図8の水平画素補正処理のサブ・ルーチン・フロー・チャートである。 図8の垂直ライン補正処理のサブ・ルーチン・フロー・チャートである。 図19の処理のサブ・ルーチン・フロー・チャートである。 図21の処理を示す説明図である。 同様に、図21の処理を示す説明図である。 図19の処理のサブ・ルーチン・フロー・チャートである。 図24の処理を示す説明図である。 同様に、図24の処理を示す説明図である。 図8の位置補正の処理を加えた画像合成の画像イメージを示す説明図である。 図8の位置補正の処理を加えない場合の画像合成の画像イメージを示す説明図である。 図8の合成処理でエッジ検出処理を行う前に合成した場合の画像を示す説明図である。 従来技術で、エッジ検出処理を行った後に合成した場合の画像を示す説明図である。 エッジ検出処理、ハフ(Hough)変換に代わる、パターンマッチング手法を説明する説明図である。 図31のパターンマッチングにおけるパターン例を示す説明図である。
符号の説明
10 カメラ(撮影手段)
12 車両
30 電動パワーステアリング機構(EPS)
40 制御ECU
42 EPSECU
44 画像処理ECU(撮影手段)

Claims (4)

  1. 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した画像に補正した後、前記複数の画像を合成することを特徴とする車両用走行区分線認識装置。
  2. 車両の進行方向の路面を含む領域を撮影する撮影手段と、前記撮影手段によって撮影された撮影画像中の前記路面上の少なくとも破線状の走行区分線を認識可能な区分線認識手段と、前記撮影手段によって異なる時刻に撮影された複数の撮影画像を合成して前記撮影画像中の前記走行区分線の長さを延長する画像合成手段とを備える車両用走行区分線認識装置において、前記画像合成手段によって合成される複数の撮影画像における走行区分線に対する前記車両の前後方向角度および前記走行区分線と前記車両との間の距離を求め、前記複数の撮影画像間での前記角度および前記距離のそれぞれの差を検知する車両状態検知手段を備えると共に、前記画像合成手段は、前記車両状態検知手段によって検知された前記角度と距離の差に基づいて前記走行区分線に対する同一の車両の角度および距離で撮影した状態となるように、前記複数の画像間の合成位置を調整して合成することを特徴とする車両用走行区分線認識装置。
  3. 前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した画像に補正した後、前記複数の画像を合成することを特徴とする請求項1記載の車両用走行区分線認識装置。
  4. 前記複数の撮影画像の撮影時点の前記車両のピッチ角を検知して前記撮影画像間のピッチ角の差を検知するピッチ角変化検知手段を備え、前記画像合成手段は、前記ピッチ角検知手段によって検知されたピッチ角の差に基づき、同一のピッチ角で撮影した状態となるように前記複数の画像の合成位置を調整して合成することを特徴とする請求項2記載の車両用走行区分線認識装置。
JP2004148580A 2004-05-19 2004-05-19 車両用走行区分線認識装置 Expired - Fee Related JP3722487B1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2004148580A JP3722487B1 (ja) 2004-05-19 2004-05-19 車両用走行区分線認識装置
PCT/JP2005/008940 WO2005111966A1 (ja) 2004-05-19 2005-05-17 車両用走行区分線認識装置
AT05741496T ATE440355T1 (de) 2004-05-19 2005-05-17 Spurgrenzenerkennungsvorrichtung für ein fahrzeug
US11/596,898 US7421094B2 (en) 2004-05-19 2005-05-17 Traffic lane marking line recognition system for vehicle
CNB2005800157685A CN100524385C (zh) 2004-05-19 2005-05-17 车辆用行驶划分线识别装置
EP05741496A EP1752947B1 (en) 2004-05-19 2005-05-17 Lane boundary recognition apparatus for vehicle
DE602005016103T DE602005016103D1 (de) 2004-05-19 2005-05-17 Spurgrenzenerkennungsvorrichtung für ein fahrzeug

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004148580A JP3722487B1 (ja) 2004-05-19 2004-05-19 車両用走行区分線認識装置

Publications (2)

Publication Number Publication Date
JP3722487B1 JP3722487B1 (ja) 2005-11-30
JP2005332107A true JP2005332107A (ja) 2005-12-02

Family

ID=35394365

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004148580A Expired - Fee Related JP3722487B1 (ja) 2004-05-19 2004-05-19 車両用走行区分線認識装置

Country Status (7)

Country Link
US (1) US7421094B2 (ja)
EP (1) EP1752947B1 (ja)
JP (1) JP3722487B1 (ja)
CN (1) CN100524385C (ja)
AT (1) ATE440355T1 (ja)
DE (1) DE602005016103D1 (ja)
WO (1) WO2005111966A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279818A (ja) * 2006-04-03 2007-10-25 Nissan Motor Co Ltd 車両用交通標示検出装置、自動車及び車両用交通標示検出方法
JP2009059132A (ja) * 2007-08-31 2009-03-19 Daihatsu Motor Co Ltd 物体認識装置
JP2009075938A (ja) * 2007-09-21 2009-04-09 Honda Motor Co Ltd 道路形状推定装置
JP2015064735A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 自車位置推定装置及び自車位置推定方法
JP2015210764A (ja) * 2014-04-30 2015-11-24 日産自動車株式会社 走行車線認識装置、走行車線認識方法

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4358147B2 (ja) 2005-04-28 2009-11-04 本田技研工業株式会社 車両及びレーンマーク認識装置
EP1968014B1 (en) * 2005-12-28 2012-12-19 Honda Motor Co., Ltd. Vehicle and lane mark detection device
FR2911713B1 (fr) * 2007-01-19 2014-03-21 Thales Sa Dispositif et procede de mesure de parametres dynamiques d'un aeronef evoluant sur une zone aeroportuaire
JP5256911B2 (ja) * 2008-07-30 2013-08-07 日産自動車株式会社 車両制御装置
DE102009007342A1 (de) * 2009-02-04 2010-08-05 Hella Kgaa Hueck & Co. Verfahren und Vorrichtung zum Ermitteln einer geltenden Fahrspurmarkierung
KR101196321B1 (ko) * 2009-03-20 2012-11-01 한국전자통신연구원 차선 인식 장치 및 그 방법
US10371533B2 (en) * 2009-05-04 2019-08-06 Tomtom Global Content B.V. Navigation device and method
DE102009024083A1 (de) * 2009-06-05 2010-12-09 Valeo Schalter Und Sensoren Gmbh Verfahren zum Durchführen eines zumindest semi-autonomen Parkvorgangs eines Fahrzeugs und Parkassistenzsystem für ein Fahrzeug
JP5350297B2 (ja) * 2010-03-17 2013-11-27 クラリオン株式会社 車両姿勢角算出装置及びそれを用いた車線逸脱警報システム
US20120019686A1 (en) * 2010-07-23 2012-01-26 Casio Computer Co., Ltd. Image synthesizing device, image synthesizing method and computer readable medium
US9355321B2 (en) * 2010-09-16 2016-05-31 TomTom Polska Sp. z o o. Automatic detection of the number of lanes into which a road is divided
US9648379B2 (en) * 2012-06-11 2017-05-09 At&T Intellectual Property I, L.P. Complimentary content based recording of media content
EP2879386B1 (en) * 2012-07-27 2018-01-03 Nissan Motor Co., Ltd Three-dimensional object detection device, and three-dimensional object detection method
KR101573764B1 (ko) * 2014-07-28 2015-12-02 현대모비스 주식회사 차량의 주행 차로 인식 시스템 및 방법
JP6361382B2 (ja) * 2014-08-29 2018-07-25 アイシン精機株式会社 車両の制御装置
JP6361415B2 (ja) * 2014-09-24 2018-07-25 株式会社デンソー 車両用画像処理装置
DE102015204213B4 (de) * 2015-03-10 2023-07-06 Robert Bosch Gmbh Verfahren zum Zusammensetzen von zwei Bildern einer Fahrzeugumgebung eines Fahrzeuges und entsprechende Vorrichtung
JP6106229B2 (ja) * 2015-08-10 2017-03-29 富士重工業株式会社 車線認識装置
KR101953128B1 (ko) * 2015-10-22 2019-05-31 현대자동차주식회사 차량 및 차량의 제어 방법
JP6975945B2 (ja) * 2016-02-24 2021-12-01 パナソニックIpマネジメント株式会社 判定装置、判定方法、プログラムおよびプログラムを記録した記録媒体
CN110140158A (zh) 2017-01-10 2019-08-16 三菱电机株式会社 行驶路径识别装置及行驶路径识别方法
KR20180084556A (ko) * 2017-01-17 2018-07-25 팅크웨어(주) 카메라의 촬영 영상을 이용한 운전 안내 제공 방법, 운전 안내 제공 장치, 전자 장치, 컴퓨터 프로그램 및 컴퓨터 판독 가능한 기록 매체
CN109509535A (zh) * 2018-10-08 2019-03-22 北京健康有益科技有限公司 食物体积的获取方法、食物热量的获取方法、电子设备
EP3876203A4 (en) * 2018-10-29 2021-12-29 Mitsubishi Electric Corporation Map generation system, map generation method, and map generation program
JP7095559B2 (ja) * 2018-11-09 2022-07-05 トヨタ自動車株式会社 区画線検出装置及び区画線検出方法
DE102019209226A1 (de) * 2019-06-26 2020-12-31 Volkswagen Aktiengesellschaft Verfahren, Computerprogramm und Vorrichtung zur Verarbeitung von durch ein Kraftfahrzeug erfassten Daten
US11620831B2 (en) * 2020-04-29 2023-04-04 Toyota Research Institute, Inc. Register sets of low-level features without data association
CN112380956B (zh) * 2020-11-10 2024-02-27 苏州艾氪英诺机器人科技有限公司 一种车道判断方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5359666A (en) * 1988-09-28 1994-10-25 Honda Giken Kogyo Kabushiki Kaisha Driving way judging device and method
JP2799279B2 (ja) 1993-03-15 1998-09-17 立山アルミニウム工業株式会社 連段窓
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
US6091833A (en) * 1996-08-28 2000-07-18 Matsushita Electric Industrial Co., Ltd. Local positioning apparatus, and a method therefor
JPH10320559A (ja) 1997-05-20 1998-12-04 Nissan Motor Co Ltd 車両用走行路検出装置
JPH1166488A (ja) * 1997-08-21 1999-03-09 Honda Motor Co Ltd 白線認識装置
JP3584194B2 (ja) 2000-02-22 2004-11-04 株式会社ホンダエレシス 白線検出方法および白線検出装置
JP2002083285A (ja) * 2000-07-07 2002-03-22 Matsushita Electric Ind Co Ltd 画像合成装置および画像合成方法
JP2002029348A (ja) * 2000-07-17 2002-01-29 Honda Motor Co Ltd 車両用外界認識装置
JP2002092796A (ja) * 2000-09-18 2002-03-29 Toyota Motor Corp 車線認識装置
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
JP3736346B2 (ja) 2000-12-26 2006-01-18 日産自動車株式会社 車線検出装置
JP3690283B2 (ja) * 2001-01-18 2005-08-31 日産自動車株式会社 車線追従制御装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP3956817B2 (ja) 2002-09-19 2007-08-08 株式会社デンソー 変位データ抽出方法及び物体検出装置
US20050031169A1 (en) * 2003-08-09 2005-02-10 Alan Shulman Birds eye view virtual imaging for real time composited wide field of view

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279818A (ja) * 2006-04-03 2007-10-25 Nissan Motor Co Ltd 車両用交通標示検出装置、自動車及び車両用交通標示検出方法
JP2009059132A (ja) * 2007-08-31 2009-03-19 Daihatsu Motor Co Ltd 物体認識装置
JP2009075938A (ja) * 2007-09-21 2009-04-09 Honda Motor Co Ltd 道路形状推定装置
JP2015064735A (ja) * 2013-09-25 2015-04-09 日産自動車株式会社 自車位置推定装置及び自車位置推定方法
JP2015210764A (ja) * 2014-04-30 2015-11-24 日産自動車株式会社 走行車線認識装置、走行車線認識方法

Also Published As

Publication number Publication date
EP1752947B1 (en) 2009-08-19
US7421094B2 (en) 2008-09-02
EP1752947A4 (en) 2009-03-11
DE602005016103D1 (de) 2009-10-01
US20080027627A1 (en) 2008-01-31
ATE440355T1 (de) 2009-09-15
CN100524385C (zh) 2009-08-05
CN1954351A (zh) 2007-04-25
JP3722487B1 (ja) 2005-11-30
EP1752947A1 (en) 2007-02-14
WO2005111966A1 (ja) 2005-11-24

Similar Documents

Publication Publication Date Title
JP3898709B2 (ja) 車両用走行区分線認識装置
JP3722487B1 (ja) 車両用走行区分線認識装置
JP3722486B1 (ja) 車両用走行区分線認識装置
US7415134B2 (en) Traffic lane marking line recognition system for vehicle
JP2006012191A (ja) 車両用走行区分線認識装置
WO2005111964A1 (ja) 車両用走行区分線認識装置
JP7426174B2 (ja) 車両周囲画像表示システム及び車両周囲画像表示方法
JP2007034989A (ja) 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
JP2003036500A (ja) 車両の走行区分線認識装置
JP2007299045A (ja) 車線認識装置
JP2018136739A (ja) キャリブレーション装置
JP7122394B2 (ja) 撮像部制御装置
JP2002163641A (ja) 車両用画像処理装置
JP2007279818A (ja) 車両用交通標示検出装置、自動車及び車両用交通標示検出方法
JP3365168B2 (ja) 後方白線認識装置
JP5129094B2 (ja) 車両周辺監視装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050823

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050912

R150 Certificate of patent or registration of utility model

Ref document number: 3722487

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080922

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090922

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100922

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110922

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120922

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130922

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140922

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees