JP2007066305A - 路面標示認識システム - Google Patents

路面標示認識システム Download PDF

Info

Publication number
JP2007066305A
JP2007066305A JP2006212481A JP2006212481A JP2007066305A JP 2007066305 A JP2007066305 A JP 2007066305A JP 2006212481 A JP2006212481 A JP 2006212481A JP 2006212481 A JP2006212481 A JP 2006212481A JP 2007066305 A JP2007066305 A JP 2007066305A
Authority
JP
Japan
Prior art keywords
road marking
vehicle
road
marking
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006212481A
Other languages
English (en)
Other versions
JP4820712B2 (ja
Inventor
Tomoaki Ishikawa
知章 石川
Masaki Nakamura
正樹 中村
Satoshi Aisaka
総 逢坂
Motoki Kanba
基揮 勘場
Motohiro Nakamura
元裕 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Toyota Motor Corp
Original Assignee
Aisin AW Co Ltd
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Toyota Motor Corp filed Critical Aisin AW Co Ltd
Priority to JP2006212481A priority Critical patent/JP4820712B2/ja
Priority to DE112006001703T priority patent/DE112006001703T5/de
Priority to US11/922,779 priority patent/US8600655B2/en
Priority to PCT/JP2006/315491 priority patent/WO2007018145A1/ja
Priority to CN200680021501A priority patent/CN100595811C/zh
Publication of JP2007066305A publication Critical patent/JP2007066305A/ja
Application granted granted Critical
Publication of JP4820712B2 publication Critical patent/JP4820712B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096716Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information does not generate an automatic action on the vehicle control
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0244Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using reflecting strips
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/582Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096708Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control
    • G08G1/096725Systems involving transmission of highway information, e.g. weather, speed limits where the received information might be used to generate an automatic action on the vehicle control where the received information generates an automatic action on the vehicle control
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096733Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place
    • G08G1/09675Systems involving transmission of highway information, e.g. weather, speed limits where a selection of the information might take place where a selection from the received information takes place in the vehicle
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0967Systems involving transmission of highway information, e.g. weather, speed limits
    • G08G1/096766Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission
    • G08G1/096783Systems involving transmission of highway information, e.g. weather, speed limits where the system is characterised by the origin of the information transmission where the origin of the information is a roadside individual element
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Atmospheric Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Electromagnetism (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)

Abstract

【課題】所定の基準を満たした状態を有する路面標示のみを撮像手段により撮像した画像に基づいて検出することによって、処理負荷の軽減を可能とした路面標示認識システムを提供する。
【解決手段】車両2から所定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S5)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S7〜S10)、制御対象物までの距離が所定距離となったと判定された場合(S11:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S14)ように構成する。
【選択図】図10

Description

本発明は、撮像手段により撮像した画像に基づいて路面上に形成されている路面標示の認識を行う路面標示認識システムに関し、特に、所定の基準を満たした状態を有する路面標示のみを検出することによって路面標示の認識を行うことにより、処理負荷の軽減を可能とした路面標示認識システムに関するものである。
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の全面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開平2004−86363号公報には、自車両が走行する道路上に形成された一時停止線を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて交差点での運転補助を実行する車両用運転補助装置について記載されている。
特開2004−86363号公報(第8頁〜第10頁、図4)
しかしながら、前記した特許文献1に記載された車両用運転補助装置では、制御対象となる一時停止線を一律に直接CCDカメラ等の検出手段によって検出し、検出した制御対象に対する案内や車両の制御を行っていたが、検出対象である路面標示は、車両が走行する路面上に形成されており、時間が経過するにつれてタイヤとの摩擦等の様々な要因によってペイントの一部が剥がれたり、薄くなってしまう。
そのような路面標示に対してカメラで撮像した画像から路面標示の検出を行うこととすると、その外形を正しく把握することが困難であり、誤認識が生じる可能性が高かった。また、誤認識の可能性が高い路面標示を含めて全ての路面標示の検出を行うことは、装置の処理負荷が大きくなり、画像処理用の制御部を別途必要とすることとなっていた。それによって、装置全体が高価なシステムとなり、このようなカメラを用いた車両の制御装置の普及を妨げる結果となっていた。
本発明は前記従来における問題点を解消するためになされたものであり、路面上に形成された路面標示の内、検出することが困難な路面標示を予め検出対象から外すことにより誤認識率を低下させ、一方で必要性のある処理のみを行わせることによって装置の処理負荷を軽減し、安価なシステムにより構成を可能とした路面標示認識システムを提供することを目的とする。
前記目的を達成するため本願の請求項1に路面標示認識システムは、車両に配置され、車両の周辺を撮像する撮像手段と、路面に形成された路面標示の状態を記憶した標示状態記憶手段と、前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示の内、所定の基準を満たした状態を有する路面標示に対する検出を行う路面標示検出手段と、を有することを特徴とする。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、「路面標示の状態」とは、路面標示の外形やカスレ具合、ペイントの濃度、色などを含む。
また、請求項2に係る路面標示認識システムは、請求項1に記載の路面標示認識システムにおいて、路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、車両の現在地を検出する現在地検出手段と、を有し、前記路面標示検出手段は、前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前記標示状態記憶手段から抽出する標示情報抽出手段と、前記標示情報抽出手段によって情報が抽出された路面標示が所定の基準を満たした状態を有する路面標示であるか否かを判定する標示状態判定手段と、を備え、前記標示状態判定手段によって条件を満たした路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする。
また、請求項3に係る路面標示認識システムは、請求項1又は請求項2に記載の路面標示認識システムにおいて、前記路面標示検出手段によって検出された路面標示と車両との距離を算出する距離算出手段を有し、前記路面標示は前記距離算出手段によって距離を算出する際に用いる測定開始点を複数箇所に備え、前記距離算出手段は前記複数の測定開始点の内、前記路面標示検出手段によって検出された路面標示の状態に基づいて選択された所定の測定開始点から車両までの距離を算出することにより路面標示と車両との距離を算出することを特徴とする。
また、請求項4に係る路面標示認識システムは、請求項1又は請求項2に記載の路面標示認識システムにおいて、前記所定の基準を満たした状態を有する路面標示は高速道路の本線と取り付け道の接続部に位置する車線境界線の路面標示であって、前記車線境界線が長さ方向に分割された状態にあることを特徴とする。
更に、請求項5に係る路面標示認識システムは、請求項4に記載の路面標示認識システムにおいて、路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、車両の現在地を検出する現在地検出手段と、を有し、前記路面標示検出手段は、前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前記標示状態記憶手段から抽出する標示情報抽出手段と、前記撮像手段により撮像した画像に基づいて路面上に形成された路面標示の形状を認識する画像認識手段と、を備え、前記画像認識手段によって所定間隔で並行する2重線が路面上に形成されていると認識された場合であって、前記標示情報抽出手段により2重線を備えた路面標示が抽出されなかった場合に、前記2重線を前記車線境界線の路面標示の一部又は全部として検出することを特徴とする。
前記構成を有する請求項1の路面標示認識システムでは、撮像した画像に基づいて、車両が走行する路面に形成された路面標示の内、所定の基準を満たした状態を有する路面標示に対する検出を行うので、検出することが困難な状態の路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させることができる。
また、必要性のある処理のみを行わせることによって、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、請求項2の路面標示認識システムでは、車両の現在地から所定範囲内に所定の基準を満たした状態を有する路面標示が存在する場合にのみ路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。従って、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、請求項3の路面標示認識システムでは、路面標示が備える複数の測定開始点の内、検出された路面標示の状態に基づいて選択された所定の測定開始点から車両までの距離を算出することにより路面標示と車両との距離を算出するので、路面標示の状態が良い部分を選択して距離測定の起点とすることが可能であり、距離測定の精度を向上させることができる。
また、請求項4の路面標示認識システムでは、撮像した画像に基づいて、車両が走行する路面に形成された路面標示の内、高速道路の本線と取り付け道の接続部に位置する車線境界線の路面標示に対する検出を行うので、ペイントが剥がれて2重線へと分割され易い車線境界線の路面標示に対しても少しでも多くの路面標示を検出対象とすることができ、検出結果を用いた運転の支援や情報開示など様々なサービスを提供することが可能となる。
更に、請求項5の路面標示認識システムでは、撮像した画像に基づいて所定間隔で並行する2重線が路面上に形成されていると認識された場合であって、車両の現在地から所定範囲内に路面標示がない場合に、認識された2重線を長さ方向に分割された状態の線を備えた路面標示の一部又は全部として検出するので、ペイントが剥がれる等して2重線に分割されてしまった路面標示においても、正しい種類の路面標示として検出することが可能となる。従って、検出の精度を向上させることが可能となる。
以下、本発明に係る路面標示認識システムを用いた運転支援装置について具体化した第1乃至第3実施形態に基づき図面を参照しつつ詳細に説明する。
(第1実施形態)
先ず、第1実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、第1実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU5等で構成されている。
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、カーブ進入口等の走行案内や車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ7と、経路案内に関する音声ガイダンスを出力するスピーカ8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置13とから構成されている。
ナビゲーションECU(路面標示検出手段、標示情報抽出手段、標示状態判定手段、距離算出手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、車両2から停止線や交差点、カーブ進入口等の制御対象物までの距離を検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて車両2の駆動制御の指示及び経路の案内処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ11、アクセルアクチュエータ12が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11及びアクセルアクチュエータ12に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量を変化させ、制動力を自動で付与させる。
次に、第1実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は第1実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、距離センサ35、高度計(図示せず)等からなり、現在の自車の位置、方位、所定地点からの走行距離等を検出することが可能となっている。
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出し、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
そして、ジャイロセンサ33は自車の旋回角を検出する。ここで、ジャイロセンサ33としては、例えば、ガスレートジャイロ、振動ジャイロ等が使用される。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
また、ステアリングセンサ34は自車の舵(だ)角を検出する。ここで、ステアリングセンサ34としては、例えば、ステアリングホイール(図示せず)の回転部に取り付けられた光学的な回転センサ、回転抵抗センサ、車輪に取り付けられた角度センサ等が使用される。
更に、距離センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、移動速度(積算移動距離)を検出する。
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、地図データ等の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(標示状態記憶手段、標示位置記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、第1実施形態においては、データ記録部10の外部記憶装置及び記憶媒体としてハードディスクが使用されるが、ハードディスクのほかに、フレキシブルディスク等の磁気ディスクを外部記憶装置として使用することができる。また、メモリーカード、磁気テープ、磁気ドラム、CD、MD、DVD、光ディスク、MO、ICカード、光カード等を外部記憶装置として使用することもできる。
また、地図DB41に対しては、経路案内及び地図表示に必要な各種情報が記録されており、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等が記録されている。更に、第1実施形態に係るナビゲーション装置4では路面標示DB42に対して路面上に形成された路面標示の種類(例えば、停止線、横断歩道、最高速度)と、路面標示のペイントのカスレ状態を示したカスレパターンと、検出された路面標示の種類を特定する為の特定情報と、路面標示の位置を地図上で特定する座標データについても記録されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて制御対象物(停止線や交差点、カーブ進入口等)との距離を算出し、運転補助を行う後述の運転支援処理プログラム(図10参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在位置とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在位置と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内にペイントのカスレ状態が所定基準を満たす良好な状態の路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示の検出及び認識を行う。また、撮像した画像から検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、アクセルアクチュエータ12を制御して車両2の駆動制御を行い、又は液晶ディスプレイ7及びスピーカ8により走行の案内を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置13等の各周辺装置が電気的に接続されている。
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。尚、液晶ディスプレイ7の代わりに、CRTディスプレイ、プラズマディスプレイ等を使用したり、車両のフロントガラスにホログラムを投影するホログラム装置等を使用することも可能である。
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。ここで、案内される音声ガイダンスとしては、例えば、「200m先の交差点を右折してください。」や「この先の国道○○号線が渋滞しています。」等がある。尚、スピーカ8より出力される音声としては、合成された音声のほかに、各種効果音、予めテープやメモリ等に録音された各種の案内情報を出力することもできる。更に、第1実施形態に係るナビゲーション装置4では、自車から制御対象物までの距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する走行の案内(例えば、停止線が接近していることの警告等)を行う。
そして、通信装置13は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、通信装置13としては、LAN、WAN、イントラネット、携帯電話回線網、電話回線網、公衆通信回線網、専用通信回線網、インターネット等の通信回線網等の通信系において通信を可能とするネットワーク機器であっても良い。更に、通信装置13は前記情報センタからの情報の他に、ニュース、天気予報等の情報から成るFM多重情報を、FM放送局を介してFM多重放送として受信するFM受信機を備える。尚、前記ビーコンレシーバ及びFM受信機は、ユニット化されてVICSレシーバとして配設されるようになっているが、別々に配設することもできる。また、第1実施形態に係るナビゲーション装置4は通信装置13を介して情報センタに接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は第1実施形態に係る路面標示DB42の記憶領域を示した図である。
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示のペイントのカスレ状態を示したカスレパターンと、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの距離とから構成されている。
ここで、路面標示DBに記憶される路面標示のカスレパターンについて図4及び図5を用いて説明する。図4及び図5は第1実施形態に係る運転支援装置1において使用されるカスレパターンの内、特に「横断歩道有り」の路面標示60のカスレパターンを示した説明図である。
図4及び図5に示すように第1実施形態に係る運転支援装置1において「横断歩道有り」の路面標示60で定義されているカスレパターンは合計8パターンからなり、ペイントのかすれている位置と範囲に基づいて分類されている。
例えば、パターン1は、大きなペイントのカスレが無く全体の形がはっきりと残っている状態のものが分類される。また、パターン2は、ペイントが欠落していたり、薄くなっているカスレ部分61が存在するものの外形は残っている状態のものが分類される。また、パターン3は、車両の進行方向に対して手前側にペイントが欠落していたり、薄くなっているカスレ部分61が存在する状態のものが分類される。また、パターン4は、車両の進行方向に対して奥側にペイントが欠落していたり、薄くなっているカスレ部分61が存在する状態のものが分類される。また、パターン5は、車両の進行方向に対して左側にペイントが欠落していたり、薄くなっているカスレ部分61が存在する状態のものが分類される。また、パターン6は、車両の進行方向に対して右側にペイントが欠落していたり、薄くなっているカスレ部分61が存在する状態のものが分類される。また、パターン7は、マンホールの蓋や道路の継ぎ目等による障害物62によってペイントの一部が欠落している状態のものが分類される。また、パターン8は、ペイントが欠落していたり、薄くなったりすることによって外形をとどめていない状態のものが分類される。
また、各カスレパターンにはそれぞれ路面標示60の異なる位置に測定開始点60A〜60Dが設定されている。ここで、測定開始点60A〜60Dは路面標示60を形成するライン(境界線)の角部や先端部に設けられており、後述のように車両2と路面標示との間の距離を算出する際に、車両2から最も進行方向側にある測定開始点(図4及び図5の「横断歩道有り」の路面標示60では測定開始点60A)までの距離を算出することによって、その距離を車両2から路面標示までの距離として扱う。
ここで、「横断歩道有り」の路面標示60は4箇所の測定開始点60A〜60Dが定義されているが、各カスレパターンにおける距離測定の精度を上げる為に測定開始点60A〜60Dの内、カスレの少ない部位の測定開始点のみを測定の起点として使用するように予め設定されている。例えば、パターン1は、その全ての測定開始点60A〜60Dが使用する測定開始点として設定されている。また、パターン2は、境界線から検出可能な測定開始点60A、60Bのみが使用する測定開始点として設定されている。また、パターン3は、境界線から検出可能な測定開始点60A、60Cのみが使用する測定開始点として設定されている。また、パターン4は、境界線から検出可能な測定開始点60B、60Dのみが使用する測定開始点として設定されている。また、パターン5は、境界線から検出可能な測定開始点60A、60Bのみが使用する測定開始点として設定されている。また、パターン6は、境界線から検出可能な測定開始点60A、60Bのみが使用する測定開始点として設定されている。また、パターン7は、境界線から検出可能な測定開始点60A、60Bのみが使用する測定開始点として設定されている。また、パターン8は、使用可能な測定開始点は設定されていない。
そして、後述のようにナビゲーションECU6は路面標示DB42から検出を行う路面標示のカスレパターンを読み出し、距離測定の起点として使用すると設定された測定開始点から一の測定開始点を選択して、車両2から最も進行方向側にある測定開始点(図4及び図5に示す「横断歩道有り」の路面標示60では測定開始点60A)までの距離を算出する(図10のS7、S8)。それによって、カスレの少ない部分を距離測定の起点とすることが可能であり、距離測定の精度を向上させることができる。尚、具体的な距離の算出方法に関しては後述する。
また、第1実施形態に係る運転支援装置1ではパターン8に分類される“ペイントが欠落していたり薄くなったりして外形をとどめていない路面標示”に関しては、路面標示の検出処理を行わないように制御される。それによって、検出することが困難な路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させ、また、必要性のある処理のみを行わせることによってナビゲーションECU6の処理負荷を低減させることが可能となる。
尚、図4及び図5においては「横断歩道有り」の路面標示のみのカスレパターンを例にあげて説明したが、他の路面標示(例えば、「停止線」、「矢印」、「横断歩道」等)においても、同様にパターン1〜パターン8のカスレパターンが設定されており、路面標示DB42に記録された路面標示はいずれかのカスレパターンに分類されている。そして、各パターンには同様に測定開始点が定義され、更にパターン8に分類された路面標示に関しては、路面標示の検出処理を行わないように制御される。
ここで、図3に戻って路面標示DB42の記憶領域について説明すると、例えば、図3では座標(x1,y1)にはカスレパターン2の「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。また、座標(x2,y2)にはカスレパターン8の「矢印」の路面標示が形成されており、且つその路面標示には54m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。また、座標(x3,y3)にはカスレパターン1の「最高速度」の路面標示が形成されており、且つその路面標示には72m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。また、座標(x4,y4)にはカスレパターン3の「横断歩道」の路面標示が形成されており、且つその路面標示には89m前方に制御対象物として「交差点(交差点のノード)」が対応付けられていることを示す。
ここで、制御対象物は走行案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が用いられている。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての距離を間接的に算出し、その距離が所定距離となった場合に車両2の駆動制御や走行の案内を行う。
また、車両2の駆動制御や走行の案内の内容は関連付けられた制御対象物の種類によって異なり、例えば、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。尚、誘導経路が設定されていない場合に関しては、特に案内表示や案内音声の出力は行わない。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。更に、コーナリング中には最適な速度となるように同様にブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
次に、図6乃至図9を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面65に形成された路面標示の内、特に制御対象物として停止線の路面標示69が対応付けられたカスレパターンがパターン1の「横断歩道有り」の路面標示60を撮像した場合を示すこととする。図6は路面標示60を撮像する車両2を示した俯瞰図、図7は路面標示60を撮像する車両2を示した側面図、図8は図6及び図7の状態における車両2の後方カメラ3によって撮像された撮像画像70を示した模式図である。
後方カメラ3は、図7に示すように車両2の後バンパー71付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された図8に示す撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
ここで、路面標示には前記したように車両2との距離を計測する為の測定開始点が予め複数箇所に定義されており、更にカスレパターンに合わせて測定開始の起点として使用する測定開始点が設定されている(図4、図5参照)。
そして、図8に示す路面標示を撮像した撮像画像中において、測定開始点の位置(具体的には下縁から測定開始点までの画素数)から車両2と測定開始点の間の距離D1を算出することが可能となる。ここで、複数ある測定開始点の内、いずれの測定開始点との間の距離を算出するかは、路面標示ごとに決まっており、例えば、図4に示すカスレパターン1の「横断歩道有り」の路面標示60では測定開始点60Aとの距離が算出される。但し、測定開始点60Aが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた場合)によって特定できなかった場合には、先ず測定開始点60Bまでの距離を算出し、その後に測定開始点60Aと測定開始点60Bとの距離を用いることによって測定開始点60Aとの距離が間接的に算出される。更に、測定開始点60Bについても特定できなかった場合には測定開始点60Cが用いられ、測定開始点60Cについても特定できなかった場合には測定開始点60Dが用いられる。
また、図4に示すカスレパターン4の「横断歩道有り」の路面標示60では距離測定の起点として使用する測定開始点として測定開始点60B、60Dが設定されているので、先ず測定開始点60Bまでの距離を算出し、その後に測定開始点60Aと測定開始点60Bとの距離を用いることによって測定開始点60Aとの距離が間接的に算出される。但し、測定開始点60Bが何らかの原因(例えば、砂や水溜り等の障害物によって白線の一部が隠れた場合)によって特定できなかった場合には、測定開始点60Dが用いられる。尚、他のカスレパターン及び他の路面標示についても同様に、使用されるように設定された複数の測定開始点の内、いずれの測定開始点との間の距離を算出するか決まっている。
一方、前記した方法によって車両2と路面標示の測定開始点までの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの距離を算出することが可能である。図9は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの距離の算出方法について示した模式図である。
図9では、「横断歩道有り」の路面標示60を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示60には制御対象物として前方の距離D2にある「停止線」の路面標示69が関連付けられている。
その場合には、距離D2から距離D1を減算することによって、路面標示60検出時点での車両2から制御対象物までの距離(D2−D1)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により車両2の走行距離Sを算出する。そして、車両2から制御対象物までの距離(D2−D1)から走行距離Sを減算することによって、走行中の車両2から制御対象物までの距離(D2−D1−S)を算出することが可能となる。また、算出された「停止線」の路面標示69までの距離(D2−D1−S)に基づいてブレーキアクチュエータ11を制御することにより、停止線に沿って車両2が停止されるようにブレーキ圧を調整することが可能となる。
以上のように、直接制御対象物を認識することなく、後方カメラ3によって検出された路面標示から前方にある制御対象物までの距離を間接的に算出することにより、より早い段階で正確な制御対象物までの距離(D2−D1−S)を算出することが可能となる。そして、算出された正確な制御対象物までの距離(D2−D1−S)に基づいて適切な車両の制御や、より的確なタイミングでの走行案内ができる。
続いて、前記構成を有する第1実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図10に基づき説明する。図10は第1実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、以下の図10にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
運転支援処理では、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第1実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
次に、S2では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、車両2の所定範囲に位置する路面標示のカスレパターンを路面標示DB42から読み出す。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS3が標示情報抽出手段の処理に相当する。
続いて、S4では前記S3で読み出したカスレパターンが後方カメラ3で検出対象となるカスレパターンであるか否かが判定される。ここで、第1実施形態に係る運転支援装置1ではカスレパターンとしてパターン1〜パターン8の8種類のパターンが設けられており(図4及び図5参照)、パターン1〜パターン7のカスレパターンに分類されている路面標示に関しては、一部にペイントのカスレが生じていたとしてもナビゲーションECU6によって少なくとも認識が可能な路面標示であり、後方カメラ3による検出対象となる路面標示であると判定される。
一方、パターン8のカスレパターンに分類されている路面標示に関してはカスレによって外形の正しい検出ができない認識が困難な路面標示であり、後方カメラ3による検出対象としない路面標示であると判定される。尚、このS4が標示状態判定手段の処理に相当する。
そして、後方カメラ3で検出対象となるカスレパターン(第1実施形態ではパターン1〜パターン7)であると判定された場合(S4:YES)には、S5へと移行し路面標示の画像認識処理を行う。それに対し、後方カメラ3で検出対象とならないカスレパターン(第1実施形態ではパターン8)であると判定された場合(S4:NO)には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。ここで、図11は特にカスレパターンがパターン4に分類される「横断歩道有り」の路面標示60が車両2の周辺に形成されている場合を示した俯瞰図であり、後方カメラ3で撮像した画像から路面標示60の画像認識処理が行われる。また、図12は特にカスレパターンがパターン8に分類される「横断歩道有り」の路面標示60が車両2の周辺に形成されている場合を示した俯瞰図であり、この場合には後方カメラ3で撮像した画像による路面標示60の画像認識処理は行われない。
そして、S5の路面標示の画像認識処理では、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び特定された測定開始点の配置から検出された路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。
そして、S6では前記S5の画像認識処理によって路面標示が認識されたか否かが判定される。その結果、路面標示が認識されたと判定された場合(S6:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S7へと移行する。一方、路面標示が認識されなかったと判定された場合(S6:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、S1へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、以上のS1〜S6が路面標示検出手段の処理に相当する。
続いて、S7では前記S3で読み出された路面標示のカスレパターンと、前記S5で画像処理が施された撮像画像から、後方カメラ3によって撮像した路面標示の測定開始点を検出する検出処理が行われる。
例えば、図6に示すようにカスレパターン1に分類された「横断歩道有り」の路面標示60が車両2の周囲に位置する路面表示として認識された場合には、測定開始点60Aが先ず距離測定の起点として選択され、路面標示の境界線に基づいて検出される。但し、測定開始点60Aが砂や水溜り等の障害物によって検出できない場合には、測定開始点60B、60C、60Dの優先順で他の測定開始点が選択され、検出される。
また、図11に示すようにカスレパターン4に分類された「横断歩道有り」の路面標示60が車両2の周囲に位置する路面表示として認識された場合には、測定開始点60Bが先ず距離測定の起点として選択され、路面標示の境界線に基づいて検出される。但し、測定開始点60Bが砂や水溜り等の障害物によって検出できない場合には、測定開始点60Dが選択され、検出される。
S8では前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像(図8参照)中において前記S7で検出された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。尚、以上のS7〜S8が距離算出手段の処理に相当する。
その後、S9では前記S8で算出された車両2と測定開始点の間の距離D1と、検出された路面標示に関連付けられた制御対象物までの距離D2(D2の値は予め路面標示DB42に記憶される。図3参照)から、車両2から検出された路面標示に関連付けられた制御対象物までの距離(D2−D1)を算出する(図9参照)。
更に、S10ではエンジンから一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示の検出地点からの車両2の走行距離Sを算出し、前記S6で算出された車両2と制御対象物までの距離(D2−D1)に基づいて、走行中の車両2から制御対象物までの残距離(D2−D1−S)を算出する(図9参照)。
また、S11では前記S10で算出された制御対象物までの残距離(D2−D1−S)に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S11:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S12)。ここで、第1実施形態に係る運転支援装置1では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
そして、S13で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S13:YES)には、S14で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S11:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S13:NO)には、S10へと戻り、現在の車両2から制御対象物までの残距離(D2−D1−S)が再び算出される。
続いて、S15では、前記S10で算出された制御対象物までの残距離(D2−D1−S)が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S15:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S15:NO)には、S10へと戻り、現在の車両2から制御対象物の位置までの残距離(D2−D1−S)が再び算出される。
以上詳細に説明した通り、第1実施形態に係る運転支援装置1では、車両2から所定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判定された場合(S4:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S5)とともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し(S7〜S10)、制御対象物までの距離が所定距離となったと判定された場合(S11:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S14)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
更に、検出することが困難なカスレパターンに分類された路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させ、一方で必要性のある処理のみを行わせることによってナビゲーションECU6の処理負荷を低減させることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と並行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
更に、分類されるカスレパターン毎に設定された測定開始点に基づいて適当な測定開始点を選択し、車両2から最も進行方向側にある測定開始点(図4及び図5の「横断歩道有り」の路面標示60では測定開始点60A)までの距離を算出するので、路面標示のカスレの少ない部分を距離測定の起点とすることが可能であり、距離測定の精度を向上させることができる。
(第2実施形態)
次に、第2実施形態に係る運転支援装置について図13乃至図15に基づいて説明する。尚、以下の説明において上記図1乃至図12の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る運転支援装置の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
そして、第2実施形態に係る運転支援装置では、路面標示として特に高速道路の本線と取り付け道の接続部(分岐点、合流点)に位置する太い破線からなる車線境界線を検出し、制御対象物に対する制御を行う。
先ず、図13に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。第2実施形態に係る運転支援装置においては、高速道路の本線と取り付け道の接続部(分岐点、合流点)に位置する太い破線からなる車線境界線の路面標示に関する情報によって構成されている。具体的に路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、路面標示のペイントのカスレ状態を示したカスレパターンと、路面標示に関連付けられた制御対象物と、路面標示から制御対象物までの距離とから構成されている(図3参照)。
そして、第2実施形態に係る運転支援装置の路面標示DB42に記憶される高速道路の本線と取り付け道の接続部(分岐点、合流点)に位置する太い破線からなる車線境界線(以下、単に「太い破線」という)の路面標示80のカスレパターンについて図13を用いて説明する。図13は第2実施形態に係る運転支援装置において使用される路面標示のカスレパターンの内、特に「太い破線」の路面標示80のカスレパターンを示した説明図である。
図13に示すように第2実施形態に係る運転支援装置において「太い破線」の路面標示80で定義されているカスレパターンは合計5パターンからなり、ペイントのかすれている位置と範囲に基づいて分類されている。
例えば、パターン1は、大きなペイントのカスレが無く矩形の枠が完全に残っていて、内部もペイントが均一である状態のものが分類される。また、パターン2は、矩形の枠は完全に残っているものの、内部のペイントにむらのある状態のものが分類される。また、パターン3は、ペイントが欠落していたり、薄くなっているカスレ部分81が存在し、短形の枠が一部欠けている状態のものが分類される。また、パターン4は、ペイントが欠落していたり、薄くなったりすることによって外形をとどめておらず太い破線に見えない状態のものが分類される。更に、パターン5は、破線のペイントの長さ方向に亀裂82が入ることにより左右に分割され、2重線に見える状態のものが分類される。
そして、後述のようにナビゲーションECU6は、後方カメラ3で撮像した画像から「太い破線」の路面標示80を検出した場合に、車両2が検出した「太い破線」の路面標示80を跨いだか否か判定され、跨いだ場合には路面標示80に対応付けられた制御対象物までの距離を路面標示DB42から抽出し、自車の現在位置を正確に特定することが可能となる。更に、特定した自車の正確な現在位置に基づいて、運転の支援や情報開示など様々なサービスの提供が可能となる。
ここで、第2実施形態に係る運転支援装置ではパターン3に分類される“ペイントが欠落していたり、薄くなっているカスレ部分81が存在し、短形の枠が一部欠けている状態の太い破線”に関しては強引に認識させようとすると他の場所に形成された他の種類の路面標示が、該当する「太い破線」の路面標示80として誤って認識されてしまう虞がある。そこて、パターン3に分類される「太い破線」の路面標示80については、検出処理を行わないように制御される。それによって、検出することが困難な路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させ、また、必要性のある処理のみを行わせることによってナビゲーションECU6の処理負荷を低減させることが可能となる。
また、パターン4に分類される“ペイントが欠落していたり、薄くなったりすることによって外形をとどめていない太い破線”に関しては後方カメラ3で撮像した画像からは認識することが困難である。そこて、パターン4に分類される「太い破線」の路面標示80については、検出処理を行わないように制御される。それによって、検出することが困難な路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させ、また、必要性のある処理のみを行わせることによってナビゲーションECU6の処理負荷を低減させることが可能となる。
また、パターン5に分類される“破線のペイントの長さ方向に亀裂82が入ることにより分割され、2重線に見える状態の太い破線”に関しては、後方カメラ3で撮像した画像から認識を行うと、太い破線でなく2重線として認識される可能性が高い。そこて、パターン5に分類される「太い破線」の路面標示80については、2重線が認識された場合に自車周辺に2重線を備えた路面標示が無ければ太い破線が認識されたと置き換えて「太い破線」の路面標示80を検出したと取り扱う。それによって、2重線へと分割された状態の線を備えた路面標示に対しても、誤認識率を低下させつつ検出対象とすることが可能となる。
続いて、前記構成を有する第2実施形態に係る運転支援装置のナビゲーションECU6が実行する運転支援処理プログラムについて図14に基づき説明する。図14は第2実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から「太い破線」の路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの距離を検出し、その距離に基づいて利用者の運転を補助する制御を行うものである。尚、以下の図14にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
運転支援処理では、先ずS101において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(第2実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報を路面標示DB42から読み出す。
次に、S102では前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する「太い破線」の路面標示80があるか否かを判定する。そして、車両2の所定範囲に位置する「太い破線」の路面標示80があると判定された場合(S102:YES)には、S103へと移行し、車両2の所定範囲に位置する「太い破線」の路面標示80のカスレパターンを路面標示DB42から読み出す。一方、車両2の所定範囲に位置する「太い破線」の路面標示80がないと判定された場合(S102:NO)には、S101へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、このS103が標示情報抽出手段の処理に相当する。
続いて、S104では前記S103で読み出したカスレパターンが後方カメラ3で検出対象となるカスレパターンであるか否かが判定される。ここで、第2実施形態に係る運転支援装置では「太い破線」の路面標示80のカスレパターンとしてパターン1〜パターン5の5種類のパターンが設けられており(図13参照)、パターン1とパターン2のカスレパターンに分類されている路面標示に関しては、一部にペイントのカスレが生じていたとしてもナビゲーションECU6によって少なくとも認識が可能な路面標示であり、後方カメラ3による検出対象となる路面標示であると判定される。
一方、パターン3とパターン4のカスレパターンに分類されている路面標示に関してはカスレによって外形の正しい検出ができない認識が困難な路面標示であり、後方カメラ3による検出対象としない路面標示であると判定される。
更に、パターン5のカスレパターンに分類されている路面標示に関してはカスレによって2重線に誤認識される可能性の高い路面標示であり、後述のように2重線が認識された場合であっても一定条件を満たした場合には太い破線が認識されたと置き換えて検出する処理を行う路面標示であると判定される。尚、このS104が標示状態判定手段の処理に相当する。
そして、後方カメラ3で検出対象となるカスレパターン(第2実施形態ではパターン1、パターン2、パターン5)であると判定された場合(S104:YES)には、S105へと移行し路面標示の画像認識処理を行う。それに対し、後方カメラ3で検出対象とならないカスレパターン(第2実施形態ではパターン3、パターン4)であると判定された場合(S104:NO)には、S101へと戻り再度、現在地点に基づく路面標示の情報の読み出しを行う。
ここで、図15は特にカスレパターンがパターン4に分類される「太い破線」の路面標示が車両2の前方に形成されている場合を示した俯瞰図である。図15に示すように車両2が高速道路の本線85を走行しており、車両2の進行方向に本線85から分岐する取り付け道86がある場合には、本線85と取り付け道86の接続部に形成された「太い破線」の路面標示87の情報が路面標示DB42から読み出される(S101)。
そして、読み出された「太い破線」の路面標示87が図15に示すようにペイントの消失しているカスレパターン4に分類される「太い破線」の路面標示であった場合には、その後に後方カメラ3で撮像した画像に基づく路面標示87の画像認識処理(S105)を行わないようにする。
次に、S105の路面標示の画像認識処理では、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線を検出する。その後、検出された境界線の形状から検出された路面標示の種類を特定する。尚、上記S105が画像認識手段の処理に相当する。
そして、S106では前記S105の画像認識処理によって「太い破線」の路面標示80が認識されたか否かが判定される。その結果、「太い破線」の路面標示80が認識されたと判定された場合(S106:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示が前記S102で自車の周囲に位置すると判定された「太い破線」の路面標示80であると判定された場合には、S109へと移行する。一方、「太い破線」の路面標示80が認識されなかったと判定された場合(S106:NO)、即ち、撮像された撮像画像中に路面標示が検出されなかったか、又は、検出された路面標示が前記S102で自車の周囲に位置すると判定された「太い破線」の路面標示80でないと判定された場合には、S107へと移行する。
S107では前記S105の画像認識処理によって線が所定間隔で並行する2重線が認識されたか否かが判定される。その結果、2重線が認識されたと判定された場合(S107:YES)、即ち、撮像された撮像画像中に路面標示を検出し、且つ、検出された路面標示の線が所定間隔で並行する2重線であると判定された場合には、S108へと移行する。一方、2重線が認識されなかったと判定された場合(S107:NO)には、S105へと戻り、後方カメラ3によって撮像された画像に基づく画像認識処理が再び行われる。
そして、S108でナビゲーションECU6は、認識した2重線を「太い破線」の路面標示80に置き換え可能であるか否か判定される。具体的には、先ず車両2の現在位置から所定範囲内(例えば、車両2の前方30m〜後方20m)に他の2重線を備えた路面標示があるか否かを判定する。そして、他の2重線を備えた路面標示が無いと判定された場合には、認識した2重線を「太い破線」の路面標示80に置き換え可能であると判定する。その結果、認識した2重線を「太い破線」の路面標示80の一部又は全部として検出する。
ここで、図16は特にカスレパターンがパターン5に分類される「太い破線」の路面標示が車両2の前方に形成されている場合を示した俯瞰図である。図16に示すように車両2が高速道路の本線91を走行しており、車両2の進行方向に本線91から分岐する取り付け道92がある場合には、本線91と取り付け道92の接続部に形成された「太い破線」の路面標示93の情報が路面標示DB42から読み出される(S101)。
そして、読み出された「太い破線」の路面標示93が図16に示すようにペイントが長さ方向に分割されたカスレパターン5に分類される「太い破線」の路面標示であった場合には、車両2の所定範囲内(例えば、車両2の前方30m〜後方20m)に他の2重線を備えた路面標示が無いことを条件として、その後に後方カメラ3で撮像した画像に基づく路面標示93の画像認識処理が行われた際に、2重線が認識されたとしても「太い破線」の路面標示93が認識されたものとして処理する。その結果、2重線に分割されていたとしても「太い破線」の路面標示93を正確に検出することが可能となる。尚、以上のS101〜S108が路面標示検出手段の処理に相当する。
その後、S109でナビゲーションECU6は車両2が前記S101〜S108で検出された「太い破線」の路面標示80を跨いだか否かを検出する判定処理が行われる。尚、判定処理には後方カメラ3で撮像した撮像画像や車速センサ等が用いられる。
そして、S110では前記S109の判定処理に基づいて車両2が「太い破線」の路面標示80を跨いだか否か判定され、「太い破線」の路面標示80を跨いでいないと判定された場合(S110:NO)にはS109へと戻り、継続して判定処理が行われる。
一方、「太い破線」の路面標示80を跨いだと判定された場合(S110:YES)にはS111へと移行する。
S111でナビゲーションECU6は、後方カメラ3によって検出され、且つ跨いだと判定された「太い破線」の路面標示80に関連付けられた制御対象物までの距離(路面標示DB42に記憶されている)に基づいて、車両2から検出された路面標示に関連付けられた制御対象物までの距離を算出する。そして、一定走行距離毎に発生される車速パルスに基づいて距離センサ35により路面標示を跨いだ地点からの車両2の走行距離を算出し、走行中の車両2から制御対象物までの残距離を算出する。
また、S112では前記S111で算出された制御対象物までの残距離に基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10mである場合に、案内又は制御開始地点に到達したと判定される。更に、制御対象物が「コーナ」の路面標示である場合には残距離が50m以内である場合に、案内又は制御開始地点に到達したと判定される。
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S112:YES)には、制御対象物に対する走行の案内又は車両2の駆動制御が必要か否かが現在の車両の速度や目的地の設定の有無等に基づいて判定される(S113)。ここで、第2実施形態に係る運転支援装置では、制御対象物として「停止線」が対応付けられていた場合には、停止線との距離が50mとなった時点で停止線が接近していることを示す「停止線が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。更に、その時点で減速が行われていない場合には、ブレーキアクチュエータ11を制御して停止線の手前で車両2が停止するように減速制御を行う。
また、制御対象物として「交差点」が対応付けられていた場合には、該当する交差点のノードとの距離が10mとなった時点で設定された誘導経路に従って経路案内を行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
また、制御対象物として「コーナ」が対応付けられていた場合には、該当するコーナ開始点のノードとの距離が50mとなった時点でコーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11及びアクセルアクチュエータ12を制御して加速、減速制御を行う。
従って、例えば制御対象物として「コーナ」が対応付けられていた場合であっても、既に車両2が最適な速度で走行している場合においては、ブレーキアクチュエータ11及びアクセルアクチュエータ12の制御を行う必要がないと判定する。また、制御対象物として「交差点」が対応付けられていた場合であっても、誘導経路が設定されていない場合(目的地が設定されていない場合)においては、走行の案内を行う必要がないと判定する。
そして、S113で制御対象物に対する走行の案内又は車両2の駆動制御が必要であると判定された場合(S114:YES)には、S115で制御対象物の種類に従った走行の案内又は車両2の駆動制御処理が行われる。具体的な案内処理及び駆動制御処理の内容に関しては上述の通りである。
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S112:NO)、及び制御対象物に対する走行の案内又は車両2の駆動制御が必要でないと判定された場合(S114:NO)には、S111へと戻り、現在の車両2から制御対象物までの残距離が再び算出される。
続いて、S116では、前記S111で算出された制御対象物までの残距離が0となったか否か、即ち、車両2が制御対象物の位置に到達したか否かが判定される。そして、制御対象物の位置に到達したと判定された場合(S116:YES)には、当該運転支援処理を終了する。それに対し、制御対象物の位置に到達していないと判定された場合(S116:NO)には、S111へと戻り、現在の車両2から制御対象物の位置までの残距離が再び算出される。
以上詳細に説明した通り、第2実施形態に係る運転支援装置では、車両2から所定範囲内に高速道路の本線と取り付け道の接続部(分岐点、合流点)に位置する太い破線からなる車線境界線の路面標示が存在すると判定され(S102:YES)、更に、その「太い破線」の路面標示が検出対象となるカスレパターンに分類されていると判定された場合(S104:YES)に、後方カメラ3によって撮像された画像から路面標示を認識する(S105)とともに、車両2が認識された「太い破線」の路面標示を跨いだ際に、その路面標示に関連付けられた制御対象物までの距離を算出し(S111)、制御対象物までの距離が所定距離となったと判定された場合(S112:YES)に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行う(S115)ので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。従って、遠方を撮像する為にフロントカメラによる撮像装置等の高額な装置を必要とすることなく、確実に制御対象物に対する制御を行うことが可能となる。また、車両2の正確な位置を特定することが可能となるので、交差点等の誘導経路を必要とする箇所での案内において、より正確なタイミングにより経路の案内を行うことができる。また、従来のように直接に制御対象物を検出する場合においては、対象となる制御対象物が認識できなかった場合にその制御対象物に対する案内や制御を行うことができないが、路面標示に基づいて間接的に制御対象物を検出することにより、一の路面標示が検出できなかった場合であっても、同一の制御対象物が関連付けられた他の路面標示を検出することによってその制御対象物に対する案内や制御を行うことが可能となる。
更に、検出することが困難なカスレパターンに分類された路面標示を予め検出対象から外すことができ、路面標示の認識における誤認識率を低下させ、一方で必要性のある処理のみを行わせることによってナビゲーションECU6の処理負荷を低減させることが可能となる。従って、本来のナビゲーション装置4が有するナビゲーション機能の処理と並行して処理をすることも可能であり、また、画像処理用の制御部を別途必要とすることなく、安価なシステムにより構成することが可能となる。
また、特に、パターン5に分類される破線のペイントの長さ方向に亀裂82が入ることにより分割され、2重線に見える状態の「太い破線」の路面標示80が存在すると判定された場合には(S102:YES)、その後の画像認識処理(S105)において2重線が認識された場合に自車周辺に2重線を備えた路面標示が無いことを条件として太い破線が認識されたと置き換えて「太い破線」の路面標示80を検出したと取り扱う。それによって、ペイントが剥がれる等して2重線に分割されてしまった路面標示においても、正しい種類の路面標示として検出することが可能となる。その結果、ペイントが剥がれて2重線へと分割され易い車線境界線の路面標示に対しても少しでも多くの路面標示を検出対象とすることができ、検出結果を用いた運転の支援や情報開示など様々なサービスを提供することが可能となる。
(第3実施形態)
次に、第3実施形態に係る運転支援装置100について図17に基づいて説明する。尚、以下の説明において上記図1乃至図12の第1実施形態に係る運転支援装置1の構成と同一符号は、前記第1実施形態に係る運転支援装置1等の構成と同一あるいは相当部分を示すものである。
この第3実施形態に係る運転支援装置100の概略構成は、第1実施形態に係る運転支援装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る運転支援装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたのに対し、第3実施形態に係る運転支援装置100では、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラ101を設け、後方カメラ3に加えて前方カメラ101で撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行う点で前記第1実施形態に係る運転支援装置1と異なっている。
先ず、第3実施形態に係る運転支援装置100の概略構成について図17を用いて説明する。図17は第3実施形態に係る運転支援装置100の概略構成図である。
図17に示すように、第3実施形態に係る運転支援装置1は、車両2に対して設置された前方カメラ101、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。
前方カメラ101は、例えばCCD等の固体撮像素子を用いたものであり、車両2の前方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平よりやや下方に向けて設置される。そして、車両2の前方に設置された信号機、道路標識、路面標示等を撮像する。
尚、前方カメラ101以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した第1実施形態に係る運転支援装置1と同様であり、その説明は省略する。
そして、第3実施形態に係る運転支援装置100では前方カメラ101で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
例えば、前方カメラ101によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S11〜S14、S112〜S115)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
また、前方カメラ101によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った走行案内及び車両の駆動制御(S11〜S14、S112〜S115)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11を制御することが可能となる。
また、前方カメラ101によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
以上詳細に説明した通り、第3実施形態に係る運転支援装置100では、車両2から所定範囲内に検出対象となるカスレパターンに分類された路面標示が存在すると判定された場合に、後方カメラ3によって撮像された画像から路面標示を認識するとともに、車両2から認識された路面標示に関連付けられた制御対象物までの距離を算出し、制御対象物までの距離が所定距離となったと判定された場合に、関連付けられた制御対象物の種類に応じた走行の案内又は車両の制御を行うので、直接に停止線や交差点等の制御対象物を検出する必要が無く、制御対象物との距離が離れた早期段階で路面標示の検出結果に基づいて間接的に自車から制御対象物までの距離を正確に算出することが可能となる。
また、前方カメラ101によって撮像した車両2の前方環境の画像の画像解析に基づいて、現在の車両2の周囲状況に応じたより的確な走行案内や車両の駆動制御を行うことが可能となる。更に、予め前方カメラ101によって路面標示を認識させることにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、第1実施形態乃至第3実施形態では、制御対象物が停止線、交差点、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
第1実施形態に係る運転支援装置の概略構成図である。 第1実施形態に係る運転支援装置の制御系を模式的に示すブロック図である。 第1実施形態に係る路面標示DBの記憶領域を示した図である。 第1実施形態に係る運転支援装置において使用されるカスレパターンの内、特に「横断歩道有り」の路面標示のカスレパターンを示した説明図である。 第1実施形態に係る運転支援装置において使用されるカスレパターンの内、特に「横断歩道有り」の路面標示のカスレパターンを示した説明図である。 路面標示を撮像する車両を示した俯瞰図である。 路面標示を撮像する車両を示した側面図である。 図6及び図7の状態における車両の後方カメラによって撮像された撮像画像を示した模式図である。 車両の後方カメラによって路面標示を撮像した際の車両から制御対象物までの距離の算出方法について示した模式図である。 第1実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。 特にカスレパターンがパターン4に分類される「横断歩道有り」の路面標示が車両の周辺に形成されている場合を示した俯瞰図である。 特にカスレパターンがパターン8に分類される「横断歩道有り」の路面標示が車両の周辺に形成されている場合を示した俯瞰図である。 第2実施形態に係る運転支援装置において使用される「太い破線」の路面標示のカスレパターンを示した説明図である。 第2実施形態に係る運転支援装置における運転支援処理プログラムのフローチャートである。 特にカスレパターンがパターン4に分類される「太い破線」の路面標示が車両の前方に形成されている場合を示した俯瞰図である。 特にカスレパターンがパターン5に分類される「太い破線」の路面標示が車両の周辺に形成されている場合を示した俯瞰図である。 第3実施形態に係る運転支援装置の概略構成図である。
符号の説明
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
11 ブレーキアクチュエータ
12 アクセルアクチュエータ
42 路面標示DB

Claims (5)

  1. 車両に配置され、車両の周辺を撮像する撮像手段と、
    路面に形成された路面標示の状態を記憶した標示状態記憶手段と、
    前記撮像手段により撮像した画像に基づいて、前記車両が走行する路面に形成された路面標示の内、所定の基準を満たした状態を有する路面標示に対する検出を行う路面標示検出手段と、を有することを特徴とする路面標示認識システム。
  2. 路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、
    車両の現在地を検出する現在地検出手段と、を有し、
    前記路面標示検出手段は、
    前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前記標示状態記憶手段から抽出する標示情報抽出手段と、
    前記標示情報抽出手段によって情報が抽出された路面標示が所定の基準を満たした状態を有する路面標示であるか否かを判定する標示状態判定手段と、を備え、
    前記標示状態判定手段によって条件を満たした路面標示が存在すると判定された場合に路面標示の検出を行うことを特徴とする請求項1に記載の路面標示認識システム。
  3. 前記路面標示検出手段によって検出された路面標示と車両との距離を算出する距離算出手段を有し、
    前記路面標示は前記距離算出手段によって距離を算出する際に用いる測定開始点を複数箇所に備え、
    前記距離算出手段は前記複数の測定開始点の内、前記路面標示検出手段によって検出された路面標示の状態に基づいて選択された所定の測定開始点から車両までの距離を算出することにより路面標示と車両との距離を算出することを特徴とする請求項1又は請求項2に記載の路面標示認識システム。
  4. 前記所定の基準を満たした状態を有する路面標示は高速道路の本線と取り付け道の接続部に位置する車線境界線の路面標示であって、前記車線境界線が長さ方向に分割された状態にあることを特徴とする請求項1又は請求項2に記載の路面標示システム。
  5. 路面に形成された路面標示の位置情報を記憶した標示位置記憶手段と、
    車両の現在地を検出する現在地検出手段と、を有し、
    前記路面標示検出手段は、
    前記現在地検出手段の検出結果と前記標示位置記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に位置する路面標示の情報を前記標示状態記憶手段から抽出する標示情報抽出手段と、
    前記撮像手段により撮像した画像に基づいて路面上に形成された路面標示の形状を認識する画像認識手段と、を備え、
    前記画像認識手段によって所定間隔で並行する2重線が路面上に形成されていると認識された場合であって、前記標示情報抽出手段により2重線を備えた路面標示が抽出されなかった場合に、前記2重線を前記車線境界線の路面標示の一部又は全部として検出することを特徴とする請求項4に記載の路面標示システム。
JP2006212481A 2005-08-05 2006-08-03 路面標示認識システム Expired - Fee Related JP4820712B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2006212481A JP4820712B2 (ja) 2005-08-05 2006-08-03 路面標示認識システム
DE112006001703T DE112006001703T5 (de) 2005-08-05 2006-08-04 Straßenmarkierungserkennungssystem
US11/922,779 US8600655B2 (en) 2005-08-05 2006-08-04 Road marking recognition system
PCT/JP2006/315491 WO2007018145A1 (ja) 2005-08-05 2006-08-04 路面標示認識システム
CN200680021501A CN100595811C (zh) 2005-08-05 2006-08-04 路面标示识别系统

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2005228900 2005-08-05
JP2005228900 2005-08-05
JP2006212481A JP4820712B2 (ja) 2005-08-05 2006-08-03 路面標示認識システム

Publications (2)

Publication Number Publication Date
JP2007066305A true JP2007066305A (ja) 2007-03-15
JP4820712B2 JP4820712B2 (ja) 2011-11-24

Family

ID=37727328

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006212481A Expired - Fee Related JP4820712B2 (ja) 2005-08-05 2006-08-03 路面標示認識システム

Country Status (5)

Country Link
US (1) US8600655B2 (ja)
JP (1) JP4820712B2 (ja)
CN (1) CN100595811C (ja)
DE (1) DE112006001703T5 (ja)
WO (1) WO2007018145A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008250687A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
WO2008139516A1 (ja) * 2007-04-27 2008-11-20 Aisin Aw Co., Ltd. 運転支援装置
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
JP2008304256A (ja) * 2007-06-06 2008-12-18 Aisin Aw Co Ltd ナビゲーション装置及びプログラム
JP2009009368A (ja) * 2007-06-28 2009-01-15 Aisin Aw Co Ltd 路面標示認識システム
JP2009075933A (ja) * 2007-09-21 2009-04-09 Xanavi Informatics Corp 分岐路内位置演算装置、分岐路内位置演算方法、および、分岐路内位置演算プログラム
JP2009139306A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 路面標示認識装置
JP2009205403A (ja) * 2008-02-27 2009-09-10 Hitachi Ltd 道路標示認識装置、および道路標示認識方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
WO2009131210A1 (ja) * 2008-04-25 2009-10-29 株式会社 日立製作所 物体認識装置、および物体認識方法
JP2010092403A (ja) * 2008-10-10 2010-04-22 Hitachi Automotive Systems Ltd 道路標示認識システム
JP2010107435A (ja) * 2008-10-31 2010-05-13 Hitachi Automotive Systems Ltd 地物位置認識装置
JP2010185879A (ja) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
JP2010218569A (ja) * 2010-04-28 2010-09-30 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
JP2012159955A (ja) * 2011-01-31 2012-08-23 Yazaki Corp 画像記録制御方法および画像認識装置ならびに車載画像記録装置
CN102654943A (zh) * 2011-03-02 2012-09-05 奥迪股份公司 机动车

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7584208B2 (en) * 2002-11-20 2009-09-01 Radar Networks, Inc. Methods and systems for managing offers and requests in a network
JP4720383B2 (ja) * 2005-09-01 2011-07-13 トヨタ自動車株式会社 車両制御装置
JP4295298B2 (ja) * 2006-08-07 2009-07-15 株式会社日立製作所 車両の運転支援制御装置
JP4309920B2 (ja) * 2007-01-29 2009-08-05 株式会社東芝 車載用ナビゲーション装置、路面標示識別プログラム及び路面標示識別方法
JP4497424B2 (ja) * 2007-05-31 2010-07-07 アイシン・エィ・ダブリュ株式会社 地物認識装置及び地物認識方法、並びにそれを用いたレーン判定装置及びレーン判定方法
JP4416039B2 (ja) * 2008-03-19 2010-02-17 日本電気株式会社 縞模様検知システム、縞模様検知方法および縞模様検知用プログラム
KR101067424B1 (ko) 2008-07-28 2011-09-27 삼성전자주식회사 휴대단말기의 위젯을 이용한 교통정보 표시 방법 및 장치
JP5482167B2 (ja) * 2009-12-10 2014-04-23 アイシン・エィ・ダブリュ株式会社 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP5433525B2 (ja) * 2010-08-06 2014-03-05 株式会社日立製作所 車両走行支援装置及び道路標示の作成方法
KR20130005107A (ko) * 2011-07-05 2013-01-15 현대자동차주식회사 차간거리 자동 가변 시스템 및 그 방법
DE102011109491A1 (de) * 2011-08-04 2013-02-07 GM Global Technology Operations LLC (n. d. Gesetzen des Staates Delaware) Fahrunterstützungsvorrichtung zur Unterstützung der Befahrung enger Fahrwege
KR20130015746A (ko) * 2011-08-04 2013-02-14 엘지전자 주식회사 차선 인식 장치 및 그 방법
WO2013098996A1 (ja) * 2011-12-28 2013-07-04 トヨタ自動車株式会社 車両の運転支援装置
US8744675B2 (en) 2012-02-29 2014-06-03 Ford Global Technologies Advanced driver assistance system feature performance using off-vehicle communications
US9053372B2 (en) 2012-06-28 2015-06-09 Honda Motor Co., Ltd. Road marking detection and recognition
JP5904286B2 (ja) * 2012-11-27 2016-04-13 日産自動車株式会社 運転支援装置
TWI494899B (zh) 2012-12-19 2015-08-01 Ind Tech Res Inst 影像內週期性雜訊修補方法
DE102012025067A1 (de) 2012-12-19 2014-06-26 Valeo Schalter Und Sensoren Gmbh Fahrerassistenzeinrichtung mit kombinierter Verkehrszeichenerfassung und Markierungserfassung für ein Kraftfahrzeug und entsprechendes Verfahren
GB2510833B (en) * 2013-02-13 2017-02-22 Wdm Ltd A road marking analyser and a method of analysing of road markings
US9488483B2 (en) * 2013-05-17 2016-11-08 Honda Motor Co., Ltd. Localization using road markings
US8996197B2 (en) 2013-06-20 2015-03-31 Ford Global Technologies, Llc Lane monitoring with electronic horizon
CN104331703A (zh) * 2013-07-22 2015-02-04 博世汽车部件(苏州)有限公司 监测车辆行驶状态的方法及实现该方法的汽车导航设备
WO2015019122A1 (en) 2013-08-07 2015-02-12 Audi Ag Visualization system,vehicle and method for operating a visualization system
CN104658263A (zh) * 2013-11-22 2015-05-27 上海宝康电子控制工程有限公司 对车辆借用右转车道越黄线抓拍的电子警察系统及方法
JP6313589B2 (ja) * 2013-12-20 2018-04-18 矢崎エナジーシステム株式会社 運行情報管理システム
CN103942962B (zh) * 2014-01-02 2016-07-13 浙江宇视科技有限公司 一种遮挡车牌的违章处理装置及方法
EP2918974B1 (en) * 2014-03-11 2019-01-16 Volvo Car Corporation Method and system for determining a position of a vehicle
CN104021693B (zh) * 2014-06-25 2016-08-03 青海省恒立公路勘测设计有限公司 基于雷达探测的车行道标示方法及车行道标示系统
WO2016058634A1 (en) * 2014-10-14 2016-04-21 Toyota Motor Europe Nv/Sa Systems and methods for traffic sign assistance
US10121378B2 (en) * 2014-12-26 2018-11-06 The Yokohama Rubber Co., Ltd. Collision avoidance system
EP3885217A1 (en) * 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US20160259034A1 (en) * 2015-03-04 2016-09-08 Panasonic Intellectual Property Management Co., Ltd. Position estimation device and position estimation method
DE102015205094A1 (de) * 2015-03-20 2016-09-22 Continental Automotive Gmbh Vorrichtung zum automatischen Erfassen eines Zustands eines Objekts, Auswertevorrichtung zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts und Verfahren zum automatischen Bestimmen eines vorbestimmten Zustands eines Objekts
JP6560355B2 (ja) * 2015-08-28 2019-08-14 株式会社日立製作所 ランドマーク認識装置及び認識方法
US9654891B2 (en) * 2015-09-15 2017-05-16 D&M Holdings, Inc. System and method for determining proximity of a controller to a media rendering device
US10068133B2 (en) * 2016-01-22 2018-09-04 International Business Machines Corporation Pavement marking determination
US10670418B2 (en) * 2016-05-04 2020-06-02 International Business Machines Corporation Video based route recognition
US9851212B2 (en) * 2016-05-06 2017-12-26 Ford Global Technologies, Llc Route generation using road lane line quality
DE102016210632A1 (de) * 2016-06-15 2017-12-21 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Überprüfen eines Medienverlustes eines Kraftfahrzeuges sowie Kraftfahrzeug und System zum Ausführen eines solchen Verfahrens
JP6642334B2 (ja) * 2016-08-25 2020-02-05 トヨタ自動車株式会社 車両制御装置
CN106781586B (zh) * 2016-12-20 2019-10-29 深圳市元征科技股份有限公司 一种信息提示方法及装置
US10217240B2 (en) * 2017-01-23 2019-02-26 Autonomous Fusion, Inc. Method and system to determine distance to an object in an image
WO2019117097A1 (ja) * 2017-12-12 2019-06-20 愛知製鋼株式会社 マーカ施工方法及びマーカ施工システム
JP7037930B2 (ja) * 2017-12-19 2022-03-17 株式会社小糸製作所 車両の運転支援装置、命令表示装置及び車両用灯具。
DE102018203560A1 (de) * 2018-03-08 2019-09-12 Bayerische Motoren Werke Aktiengesellschaft Verfahren und Steuereinheit zur Erkennung einer Fahrspurbegrenzung
JP7256607B2 (ja) * 2018-04-27 2023-04-12 日野自動車株式会社 運転支援装置及び交通システム
US10890462B2 (en) * 2018-06-26 2021-01-12 Princess Sumaya University For Technology Traffic notification system and method
JP7385595B2 (ja) 2018-11-28 2023-11-22 株式会社堀場製作所 車両試験システム及び車両試験方法
GB2580388B (en) * 2019-01-09 2021-07-28 Jaguar Land Rover Ltd Control system for a vehicle
US11023747B2 (en) 2019-03-05 2021-06-01 Here Global B.V. Method, apparatus, and system for detecting degraded ground paint in an image
JP7358762B2 (ja) * 2019-04-02 2023-10-11 トヨタ自動車株式会社 道路異常検知装置、道路異常検知方法および道路異常検知プログラム
KR102638068B1 (ko) * 2019-04-26 2024-02-21 주식회사 에이치엘클레무브 차량 제어 시스템, 표식 분류 장치 및 표식 분류 방법
CN114008675A (zh) * 2019-06-25 2022-02-01 美国斯耐普公司 灭点立体图像校正
JP7211350B2 (ja) * 2019-11-29 2023-01-24 トヨタ自動車株式会社 路面損傷検出装置、路面損傷検出方法、プログラム
CN113127681A (zh) * 2019-12-30 2021-07-16 深圳Tcl数字技术有限公司 一种基于人脸识别的视频推荐方法及装置、电视
CN111337950B (zh) * 2020-05-21 2020-10-30 深圳市西博泰科电子有限公司 提高地标定位精度的数据处理方法、装置、设备及介质
JP7287373B2 (ja) * 2020-10-06 2023-06-06 トヨタ自動車株式会社 地図生成装置、地図生成方法及び地図生成用コンピュータプログラム
US11557132B2 (en) 2020-10-19 2023-01-17 Here Global B.V. Lane marking

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168123A (ja) * 2001-11-30 2003-06-13 Toyota Central Res & Dev Lab Inc 車線境界判定装置
JP2003252148A (ja) * 2002-03-01 2003-09-10 Alpine Electronics Inc 車載用ナビゲーション装置
JP2004206275A (ja) * 2002-12-24 2004-07-22 Denso Corp 自動運転制御システム
JP2005063398A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置
JP2005136946A (ja) * 2003-05-23 2005-05-26 Daimler Chrysler Ag 路上走行車両用のカメラ式位置認識装置および方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4970653A (en) * 1989-04-06 1990-11-13 General Motors Corporation Vision method of detecting lane boundaries and obstacles
JP3969251B2 (ja) 2002-08-23 2007-09-05 トヨタ自動車株式会社 車両用運転補助装置
US20040160595A1 (en) * 2003-02-14 2004-08-19 Lafarge Road Marking, Inc. Road marking evaluation and measurement system
KR100559870B1 (ko) * 2003-11-04 2006-03-13 현대자동차주식회사 차량의 주행차로 변경방법
JP3722486B1 (ja) * 2004-05-19 2005-11-30 本田技研工業株式会社 車両用走行区分線認識装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003168123A (ja) * 2001-11-30 2003-06-13 Toyota Central Res & Dev Lab Inc 車線境界判定装置
JP2003252148A (ja) * 2002-03-01 2003-09-10 Alpine Electronics Inc 車載用ナビゲーション装置
JP2004206275A (ja) * 2002-12-24 2004-07-22 Denso Corp 自動運転制御システム
JP2005136946A (ja) * 2003-05-23 2005-05-26 Daimler Chrysler Ag 路上走行車両用のカメラ式位置認識装置および方法
JP2005063398A (ja) * 2003-06-16 2005-03-10 Fujitsu Ten Ltd 車両制御装置

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4569837B2 (ja) * 2007-03-30 2010-10-27 アイシン・エィ・ダブリュ株式会社 地物情報収集装置及び地物情報収集方法
JP2008250687A (ja) * 2007-03-30 2008-10-16 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
US8229169B2 (en) 2007-03-30 2012-07-24 Aisin Aw Co., Ltd. Feature information collecting apparatus and feature information collecting method
WO2008139516A1 (ja) * 2007-04-27 2008-11-20 Aisin Aw Co., Ltd. 運転支援装置
JP2008299570A (ja) * 2007-05-31 2008-12-11 Aisin Aw Co Ltd 運転支援装置
US8600673B2 (en) 2007-05-31 2013-12-03 Aisin Aw Co., Ltd. Driving assistance apparatus
JP2008304256A (ja) * 2007-06-06 2008-12-18 Aisin Aw Co Ltd ナビゲーション装置及びプログラム
JP2009009368A (ja) * 2007-06-28 2009-01-15 Aisin Aw Co Ltd 路面標示認識システム
JP2009075933A (ja) * 2007-09-21 2009-04-09 Xanavi Informatics Corp 分岐路内位置演算装置、分岐路内位置演算方法、および、分岐路内位置演算プログラム
JP2009139306A (ja) * 2007-12-10 2009-06-25 Hitachi Ltd 路面標示認識装置
JP2009205403A (ja) * 2008-02-27 2009-09-10 Hitachi Ltd 道路標示認識装置、および道路標示認識方法
JP2009223817A (ja) * 2008-03-18 2009-10-01 Zenrin Co Ltd 路面標示地図生成方法
WO2009131210A1 (ja) * 2008-04-25 2009-10-29 株式会社 日立製作所 物体認識装置、および物体認識方法
JP2009266003A (ja) * 2008-04-25 2009-11-12 Hitachi Ltd 物体認識装置、および物体認識方法
US8818026B2 (en) 2008-04-25 2014-08-26 Hitachi Automotive Systems, Ltd. Object recognition device and object recognition method
JP2010092403A (ja) * 2008-10-10 2010-04-22 Hitachi Automotive Systems Ltd 道路標示認識システム
JP2010107435A (ja) * 2008-10-31 2010-05-13 Hitachi Automotive Systems Ltd 地物位置認識装置
JP2010185879A (ja) * 2010-04-28 2010-08-26 Aisin Aw Co Ltd 自車位置認識装置及び自車位置認識方法
JP2010218569A (ja) * 2010-04-28 2010-09-30 Aisin Aw Co Ltd 地物情報収集装置及び地物情報収集方法
JP2012159955A (ja) * 2011-01-31 2012-08-23 Yazaki Corp 画像記録制御方法および画像認識装置ならびに車載画像記録装置
CN102654943A (zh) * 2011-03-02 2012-09-05 奥迪股份公司 机动车

Also Published As

Publication number Publication date
US20090088978A1 (en) 2009-04-02
CN101198996A (zh) 2008-06-11
CN100595811C (zh) 2010-03-24
JP4820712B2 (ja) 2011-11-24
WO2007018145A1 (ja) 2007-02-15
DE112006001703T5 (de) 2008-06-05
US8600655B2 (en) 2013-12-03

Similar Documents

Publication Publication Date Title
JP4820712B2 (ja) 路面標示認識システム
JP4421549B2 (ja) 運転支援装置
JP4915739B2 (ja) 運転支援装置
US20100292895A1 (en) Driving support device
JP4762697B2 (ja) 車両走行補助システム
JP5482167B2 (ja) 車両用走行案内装置、車両用走行案内方法及びコンピュータプログラム
JP6926976B2 (ja) 駐車支援装置及びコンピュータプログラム
JP4637302B2 (ja) 路面標示認識システム
JP2007240198A (ja) ナビゲーション装置
JP4888285B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JPH10177699A (ja) 画像情報を利用した車両用音声案内装置
JP2010210477A (ja) ナビゲーション装置
JP2009129290A (ja) 信号機検出装置、信号機検出方法及びプログラム
JP2002321579A (ja) 警告情報生成方法及び車両側方映像生成装置
JP4687381B2 (ja) 車両認識方法及び車載装置
JP4924303B2 (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2010262665A (ja) 車載装置及び車両認識方法
JP2009009368A (ja) 路面標示認識システム
JP5573266B2 (ja) 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム
JP2009002797A (ja) 車両状態判定装置
JP4899493B2 (ja) 車両用情報提供装置及び車線維持制御装置
JP2008033798A (ja) 車両検出装置、ナビゲーション装置、車両検出プログラムおよび車両検出方法
JP2012208877A (ja) 車両情報取得装置、車両情報取得方法及びプログラム
JP2011123541A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
JP2011095977A (ja) 障害物認識装置

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20070615

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090528

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20090528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090528

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110207

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110816

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110905

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140909

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4820712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees