JP2009139306A - 路面標示認識装置 - Google Patents

路面標示認識装置 Download PDF

Info

Publication number
JP2009139306A
JP2009139306A JP2007318122A JP2007318122A JP2009139306A JP 2009139306 A JP2009139306 A JP 2009139306A JP 2007318122 A JP2007318122 A JP 2007318122A JP 2007318122 A JP2007318122 A JP 2007318122A JP 2009139306 A JP2009139306 A JP 2009139306A
Authority
JP
Japan
Prior art keywords
recognition
road marking
vehicle
road surface
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007318122A
Other languages
English (en)
Other versions
JP4951481B2 (ja
Inventor
Takeshi Shima
健 志磨
Masahiro Kiyohara
將裕 清原
Kota Irie
耕太 入江
Masaki Nakamura
正樹 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Hitachi Ltd
Original Assignee
Aisin AW Co Ltd
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd, Hitachi Ltd filed Critical Aisin AW Co Ltd
Priority to JP2007318122A priority Critical patent/JP4951481B2/ja
Publication of JP2009139306A publication Critical patent/JP2009139306A/ja
Application granted granted Critical
Publication of JP4951481B2 publication Critical patent/JP4951481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】認識対象の路面標示と類似した形状の路面標示が存在する場合、実際の認識対象と異なる場所での誤認識が発生し、自車の位置が実際とは違う位置に算出される誤動作が発生する。
【解決手段】車両に搭載したカメラ108を用いて路面標示を認識させる際に、自車位置の周辺に、これから認識しようとしている路面標示と形状が類似している路面標示の有無に応じて、路面表示認識機能105の判定条件を変更する。類似した形状の路面標示が存在しない場合は、認識の判定条件とする画像上の特徴量の必要数を少なくし、路面標示のペイントのかすれ等の条件の悪い場合においても認識ができるようにする。一方、自車位置の周辺に形状が類似した路面標示が存在する場合は、認識の判定条件とする画像上の特徴量の必要数を多くし、類似した形状の路面標示において誤認識しないようにする。
【選択図】図1

Description

本発明は、車両に搭載されたカメラの映像を処理し、車両の周囲の環境である道路上の路面標示、信号機、標識等を認識する装置に関する。
車両に搭載されたカメラの映像を画像処理し、路面上の路面標示を認識し、自車の位置を高精度に算出し、車両の制御等を行うことを目的とする装置に関して、高速道路の分岐路を認識対象とする装置が特許文献1、停止線を認識対象とする装置が特許文献2に記載されている。
特開2007−003286号公報 特開2004−086363号公報
特許文献1の自動車位置検出装置は、車両に設置したカメラで高速道路の分岐路の路面標示を認識して自車位置を算出し車両の減速等の制御を行う装置である。しかし、分岐路の周囲に類似した形状の路面標示が存在する場合、実際の分岐路と違う場所で誤認識が発生し、自車の位置が実際とは異なる位置に算出され、車両制御の誤動作が発生する可能性がある。
また特許文献2の車両用運転補助装置は、交差点において一時停止線を認識し運転者の運転補助を行う装置である。しかし、一時停止線の周辺に類似した形状の路面標示が存在する場合、実際の位置と異なる位置において一時停止線と誤認識し、誤動作が発生する可能性がある。
本発明の目的は、上記従来技術の問題点に鑑み、認識率の向上と処理時間の削減を図る路面表示認識装置を提供することにある。
上記目的を達成するための本発明は、車両の周囲を撮像する画像入力手段と、入力した画像を処理して車両周囲の認識対象物を認識する手段を有する装置において、複数の判定手段を備え、路面の状況に応じてどの判定手段を用いるか選択することを特徴とする。
前記判定手段のうち、第一の判定手段は、画像上の図形が備える複数の特徴のうち少なくとも一つに基づき判定し、第二の判定手段は、前記第一の判定手段が用いる特徴の数より多い特徴に基づき判定することを特徴とする。
また、前記路面の状況とは、認識すべき対象図形から所定の範囲内に、当該対象図形と所定の類似関係にある図形が存在することを特徴とする。また、前記所定の類似関係とは、同一の図形パターンが複数種類存在し、その複数種類の図形パターンが同一の位置に存在することを特徴とする。
本発明の作用を説明する。車両に搭載したカメラを用いて路面標示を認識させる際に、その時の自車位置周辺に存在する路面標示の種類に関して地図データ内を検索する。地図データには、路面標示の種類と位置が記載されている。検索した結果、これから認識しようとしている路面標示と形状が類似している路面標示の有無に応じて、認識アルゴリズムの判定条件を変更する。自車位置の周辺に形状が類似した路面標示が存在しない場合は、認識の判定条件とする画像上の特徴量の必要数を少なくし、路面標示がかすれているといった条件の悪い場合においても認識ができるようにするとともに、処理時間の削減も図る。一方、自車位置の周辺に形状が類似した路面標示が存在する場合は、認識の判定条件とする画像上の特徴量の必要数を多くし、類似した形状の路面標示において誤認識しないようにする。
認識対象物と類似した形状の路面標示の有無によって、認識アルゴリズムの判定条件を変えることで、類似した形状が周辺にない場合は認識率の向上と処理時間の削減、類似した形状が周辺にある場合は誤認識率の削減が可能となる。
以下、本発明の一実施例について図面を参照しながら詳細に説明する。ここでは、車両に搭載されたリアカメラの映像を用いて、路面標示を認識するシステムに適用した場合の実施形態について説明する。
図1は本発明の路面表示認識装置の構成の概要を示す機能ブロック図である。101は車両に搭載しているカーナビゲーション機能であり、地図データ102上における車両の位置を計算して、車両の運転手や乗員に車両の現在位置情報を提供する。また地図データ102には、道路上に描かれている路面標示と車線境界線(以下白線とする)の種類、位置、方位等が記載されている。
リアカメラ108は車両の後部に設置しているカメラであり、車両後方の路面を撮影する。リアカメラ画像認識機能103の路面標示認識機能105は、リアカメラ108で撮影された映像中の路面標示と白線の種類、車両との相対位置、車両との相対角度等を自動で検出する。ここで、路面標示とは、路面上に描かれたペイントであり、例えば、横断歩道、一時停止線、最高速度標示、進行方向別通行区分標示、転回禁止標示といったものである。路面標示認識機能105の詳細に関しては後述する。
路面標示認識機能105は、認識した路面標示と白線の種類、車両との相対位置、車両との相対角度等をカーナビゲーション機能101に送信する。カーナビゲーション機能101は、路面標示認識機能105から受信した路面標示と白線の種類、車両との相対位置、車両との相対角度等と、地図データ102に記載されている路面標示と白線の種類、位置、方位等と照合して、車両の現在位置を補正する。
リアカメラ画像認識機能103の認識対象物受信機能104は、路面標示認識機能105が認識する路面標示と白線の種類をカーナビゲーション機能101から受信し、路面標示認識機能105に送信する。路面標示認識機能105は、認識対象物受信機能104から受信した特定の種類の路面標示や白線を認識するためのソフトウェアを起動して、リアカメラ108の映像中の、特定の種類の路面標示や白線の車両との相対位置、車両との相対角度等を認識する。認識対象物受信機能104の詳細に関しては後述する。
リアカメラ画像認識機能103の周囲状況受信機能106は、認識対象物受信機能104が受信した認識対象物の周辺に存在する路面標示等の種類、車両との相対位置をカーナビゲーション機能101から受信する。周囲状況受信機能106は、受信した認識対象物の周辺に存在する路面標示等の種類、車両との相対位置を判定手段決定機能107に送信する。周囲状況受信機能106の詳細に関しては後述する。
リアカメラ画像認識機能103の判定条件決定機能107は、認識対象物受信機能104から路面標示認識機能105が認識する路面標示と白線の種類を受信する。また、周囲状況受信機能106から認識対象物の周辺に存在する路面標示等の状況を受信し、これらから認識対象物を認識するための判定条件を決定し、路面標示認識機能105へ送信する。判定条件決定機能107の詳細に関しては後述する。
次に、リアカメラ画像認識103の路面標示認識機能105における処理内容について説明する。図2は、路面標示認識機能105において実行されるフローチャートであり、まず、画像入力処理201において、リアカメラ108の画像を取得する。
次に、認識対象物決定処理207において、認識対象物受信機能104から受信した認識対象物を登録して、登録された認識対象物を認識する処理を以下213、202〜205にて行う。ここで認識対象物とは、横断歩道、一時停止線、最高速度標示、進行方向別通行区分標示、転回禁止標示といった路面標示である。また認識対象物が複数ある場合は、214から215の間にある処理を認識対象物数分繰り返して実行する。
次に、判定条件読込処理213において、判定条件決定機能107から受信した各認識対象物を認識するための判定条件を受信する。この判定条件の内容の詳細については後述する。
次に画像前処理202において、画像入力処理201で取得した画像に対して、ノイズを除去する処理を行う。認識対象物は道路上の路面標示、白線であり、ペイントがかすれている場合が多いため、路面標示、白線の特徴量を抽出しやすくするように、路面標示ペイントのかすれを補正する処理を行う。
図3は画像処理の説明図で、(a)は画像前処理、(b)は路面表示特徴量抽出処理を示している。(a)に示したように、入力画面208の注目画素f4(212)を中心とした3×3近傍領域f0〜f8の画素の輝度値のうち、最大の輝度値を注目画素f4の輝度値として置き換える。次に、路面標示特徴量抽出処理203では、(b)における入力画面208の路面209と路面標示210との間の輝度値の変化を検出して、路面標示210の輪郭を抽出する。
次に、判定処理204では、路面標示特徴量抽出処理203で抽出した路面標示の輪郭が、認識対象物決定処理207で登録した対象路面標示の特徴と一致するかどうかを判定し、一致した場合は、認識対象の路面標示を認識したものと判定する。この際、判定を行うための条件として、前述の判定条件読込処理213で読み込んだ判定条件を使用する。
認識結果出力処理205では、判定処理204にて認識対象とした路面標示を認識した場合、認識した路面標示の種類、車両からの相対位置、車両との相対角度を、カーナビゲーション機能101へ出力する。
最後に、分岐206において、新しい画像入力信号が来ていない場合はウエイトし、新しい画像入力信号が来ている場合は、処理201へ戻る。
次に、リアカメラ画像認識機能103の認識対象物受信機能104で受信するデータの詳細ついて述べる。図4は、リアカメラ画像認識機能における認識対象物受信機能を示す説明図である。自車301が「横断歩道又は自転車横断帯あり」標示(以下「横断歩道あり」)302、303、一時停止線304、横断歩道305の路面標示上を走行し、それぞれの路面標示を認識するシーンを示している。
自車301のカーナビゲーション機能101の地図データ102は、路面標示302〜305の道路上の位置に関するデータを持っている。また、カーナビゲーション機能101は、GPSやジャイロ等の情報により自車位置を計測し、地図データ102上でのおおよその位置を算出している。
カーナビゲーション機能101は、自車位置が認識する横断歩道あり標示302の近傍306にあると判定した範囲において、横断歩道ありの認識要求を範囲306においてリアカメラ画像認識機能103の認識対象物受信機能104へ送信する。認識ロジック起動範囲306は、地図データ102における認識対象物の位置を中心として、GPSやジャイロ等を用いた車両の測位精度の平均的な誤差分を前後に加えた距離の区間とする。同様に、横断歩道あり標示303の近傍307においては横断歩道ありの認識要求、一時停止線標示304の近傍308においては一時停止線の認識要求、横断歩道標示305の近傍309においては横断歩道の認識要求をリアカメラ画像認識機能103の認識対象物受信機能104へ送信する。認識ロジック起動範囲307〜309は、306と同様の方法で決定する。
この結果、図4のシーンにおいて、リアカメラ画像認識機能103の認識対象物受信機能104がカーナビゲーション機能101から受信する認識対象物は次のようになる。区間310においては無し、区間311においては横断歩道あり標示、区間312においては横断歩道あり標示と一時停止線標示、区間313においては一時停止線標示、区間314においては一時停止線標示と横断歩道標示、区間315においては横断歩道標示、区間316においては無しとなる。
次に、リアカメラ画像認識機能103の周囲状況受信機能106で受信するデータについて説明する。図5はリアカメラ受信機能の周囲状況受信機能におけるデータの内容を示したものである。自車301が横断歩道あり標示302、303の上を走行し、区間402においてリアカメラ画像認識機能103の認識対象物受信機能104が横断歩道ありの認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物である横断歩道あり標示302、303の近傍に横断歩道あり標示と形が類似している路面標示があるかどうかを検索する。その結果、類似した標示(図5の場合はゼブラ標示401)がある場合はその路面標示の種類(ゼブラ標示)をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。
図6は、周囲状況受信機能の他のデータの内容を示している。自車301がT字標示501の上を走行し、区間502においてリアカメラ画像認識機能103の認識対象物受信機能104がT字標示の認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物であるT字標示501の近傍にT字標示と形が類似している路面標示があるかどうかを検索し、類似した標示(図6の場合は白線と一時停止線標示503の組み合わせ)がある場合はその路面標示の種類(白線+一時停止線)をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。
また図7は周囲状況受信機能の更に他のデータの内容を示している。自車301が高速道路の太破線標示601の上を走行し、区間602においてリアカメラ画像認識機能103の認識対象物受信機能104が太破線標示の認識要求を受信するシーンである。この際、カーナビゲーション機能101は地図データ102内を検索して、認識対象物である太破線標示601の近傍に太破線標示と形が類似している路面標示があるかどうかを検索し、類似した標示(図7の場合は破線タイプの三重線603)がある場合はその路面標示の種類(破線タイプの三重線)をリアカメラ画像認識機能103の周囲状況受信機能106へ送信する。
次に、リアカメラ画像認識機能103の判定条件決定機能107における処理内容について説明する。図8は判定条件決定機能のフローチャートである。まず、認識対象物受信処理701において、リアカメラ画像認識機能103の認識対象物受信機能104から、認識する路面標示の種類を受信する。次に、周囲状況受信処理702において、リアカメラ画像認識機能103の周囲状況受信機能106から、認識対象物の近傍に存在する類似路面標示の種類を受信する。次に、認識対象物受信処理701で受信した認識対象物数分、フローチャート中の706と707の間の判定条件読込処理703を繰り返す。
判定条件読込処理703において、認識対象物受信処理701で受信した認識対象物と、周囲状況受信処理702で受信した類似路面標示の種類の組み合わせについて判定条件データ704を検索し、該当組み合わせに記載されている判定条件を読み込む。本処理703で読み込むデータの内容については後述する。最後に、判定条件出力処理705において、判定条件読込処理703で読み込んだ判定条件を、リアカメラ画像認識機能103の路面標示認識機能105へ送信する。
図9は判定条件データの内容について示している。判定条件データ704は、認識対象物801、類似路面標示802、判定条件803の各データの組み合わせで構成されている。804〜806は、横断歩道あり標示認識について3種類の判定条件を示している。804は横断歩道あり標示の近傍に類似路面標示がない場合、805は横断歩道あり標示の近傍に止まれ標示がある場合、806は横断歩道あり標示の近傍にゼブラ標示がある場合の判定条件である。
図10は判定データの説明図である。804の場合の判定条件は、2種類の特徴量を検出することを条件とする判定条件であり、図10(a)に示すように、901と902の2種類の特徴量が検出できた場合に横断歩道あり標示と判定する。805の場合の判定条件は、4種類の特徴量を検出することを条件とする判定手段であり、図10(b)に示すように、901〜904の4種類の特徴量が検出できた場合に横断歩道あり標示と判定する。これは、類似路面標示である止まれ標示が、図10(c)に示すように905と906の特徴量を持ち、これらの特徴量が図10(a)の特徴量901、902と類似しているためである。806の場合の判定条件は、4種類の特徴量を検出することと、特徴量の周囲の路面にペイントがないことを条件とする判定条件であり、図10(b)に示す901〜904の特徴量を検出して、かつ、図10(d)に示すように907の領域にペイントがない場合に横断歩道あり標示と判定する。これは、類似路面標示であるゼブラ表示が、図10(e)に示す908〜911の特徴を持ち、これらの特徴量が図10(b)の特徴量901〜904と類似しているためである。
また図9の807、808は、図6で示したT字標示認識について、2種類の判定条件を示している。807はT字標示の近傍に類似路面標示がない場合、808はT字標示の近傍に図6の503に示したような白線と一時停止線標示が組み合わさったパターンがある場合である。807は、T字型の特徴量があることを条件とする判定条件であり、808は、T字型の特徴量があり、かつ、T字型の寸法がある一定範囲内にあることを条件とする判定条件である。
また図9の809、810は、図7で示した太破線標示認識について、2種類の判定条件を示している。809は太破線標示の近傍に類似路面標示がない場合、810は太破線標示の近傍に図7の603に示したような破線タイプの三重線がある場合である。809は矩形型の特徴量が1つあることを条件とする判定条件であり、810は、矩形型の特徴量があり、かつ、その特徴量が2回連続して検出されることを条件とする判定条件である。
次に、図11、図12を用いて、本発明を実現するハードウェア構成を説明する。図11が第一の例によるハードウェア構成である。リアカメラ108はレンズ1001とCCD1002とで構成される。1004はCPUであり、このCPUには、リアカメラ画像認識機能103とカーナビゲーション機能101が実装される。1005はハードディスクであり、地図データ102が実装され、CPU1004はハードディスク1005の地図データ102を参照する。リアカメラ108とCPU1004は映像信号線1003で接続され、リアカメラ108の映像は、映像信号線1003によりCPU1004のリアカメラ画像認識機能103へ送信される。また、CPU1004はCAN1006に接続され、車両の他のCPUや車両の制御装置と相互にデータの送受信を行う。
本例の構成は、リアカメラ画像認識機能103とカーナビゲーション機能101との間のデータ送受信量が多い場合に適用すると、データ送受信速度や容量が大きくなりシステムのパフォーマンスが良い。
図12は第二例によるハードウェア構成である。リアカメラ108はレンズ1101、CCD1102とCPU1107とで構成される。CPU1107には、リアカメラ画像認識機能103が実装される。CPU1104にはカーナビゲーション機能101が実装され、ハードディスク1105には地図データ102が実装され、CPU1104はハードディスク1105の地図データ102を参照する。また、CPU1107とCPU1104はCAN1106に接続され、リアカメラ画像認識機能103とカーナビゲーション機能101との間でデータの送受信を行うほか、車両の他のCPUや車両の制御装置と相互にデータの送受信を行う。リアカメラ画像認識機能103とカーナビゲーション機能101との間のデータの送受信は、専用信号線によっても行うことができる。
本例の構成は、リアカメラ画像認識機能103やカーナビゲーション機能101の処理負荷が大きい場合に適用すると、路面標示認識やカーナビゲーション機能の高負荷な処理が可能となりシステムのパフォーマンスが良い。
また本発明は、図1のリアカメラ108を車両の他の部分に設置したカメラを使用することでも実現できる。その場合、リアカメラ108の代わりに、車両の後側方を撮影範囲とするドアミラー部分に設置した後側方カメラ、車両の前方を撮影範囲とするフロントカメラを使用する。またカメラを複数使用すると、それぞれのカメラの映像の認識結果を相互に照合することによって、図1の面標示認識機能103の信頼性が向上する。その場合は、リアカメラ108と後側方カメラの組み合わせ、リアカメラ108とフロントカメラの組み合わせ、左右のドアミラーに設置した2台の後側方カメラの組み合わせ、後側方カメラとフロントカメラの組み合わせが可能である。
本発明で取り扱っている路面標示認識システムは、カメラとカーナビゲーションを搭載した車両において、路面標示以外の周囲の走行車両を認識し、他の車両との衝突防止や運転支援を行う車両の予防安全システムにも適用可能である。
本発明の一実施例による路面表示認識装置の概要を示したブロック図。 リアカメラ画像認識機能の路面標示認識機能における処理のフローチャート。 画像前処理と路面標示特徴量抽出処理の説明図。 リアカメラ画像認識機能の認識対象物受信機能の処理内容を示す説明図。 リアカメラ画像認識機能の周囲状況受診機能の受信データの説明図。 リアカメラ画像認識機能の周囲状況受診機能の受信データの説明図。 リアカメラ画像認識機能の周囲状況受診機能の他の受信データの説明図。 リアカメラ画像認識機能の判定手段決定機能の処理を示すフローチャート。 判定手段決定機能における判定手段データの説明図。 判定手段決定機能における判定手段データの内容の説明図。 第一の例による路面表示認識装置のハードウェアを示した構成図。 第二の例による路面表示認識装置のハードウェアを示した構成図。
符号の説明
101…カーナビゲーション装置、102…地図データ、103…リアカメラ画像認識機能、104…認識対象物受信機能、105…路面標示認識機能、106…周囲状況受信機能、107…判定条件決定機能、108…リアカメラ、201…画像入力処理、202…画像前処理、203…路面標示特徴量抽出処理、204…判定処理、205…認識結果出力処理、207…認識対象物決定処理、208…入力画面、209…路面、210…路面標示、211…路面標示が認識できる範囲、212…中心画素、301…自車、302…横断歩道あり標示、303…横断歩道あり標示、304…一時停止線標示、305…横断歩道標示、306…横断歩道あり認識ロジック起動範囲、307…横断歩道あり認識ロジック起動範囲、308…一時停止線認識ロジック起動範囲、309…横断歩道認識ロジック起動範囲、310…認識ロジックが起動されていない区間、311…横断歩道あり認識ロジック起動区間、312…横断歩道あり・一時停止線認識ロジック起動区間、313…一時停止線認識ロジック起動区間、314…一時停止線・横断歩道認識ロジック起動区間、315…横断歩道認識ロジック起動区間、316…認識ロジックが起動されていない区間、401…ゼブラ標示、402…横断歩道あり認識ロジック起動区間、501…T字標示、502…T字認識ロジック起動区間、601…太破線標示、602…太破線認識ロジック起動区間、603…破線タイプの三重線、701…認識対象物受信処理、702…周囲状況受信処理、703…判定条件読込処理、704…判定条件データ、705…判定条件出力処理、801…認識対象物、802…類似路面標示、803…判定条件、804…横断歩道あり標示単独の場合の判定条件、805…横断歩道あり標示と止まれ標示がある場合の判定条件、806…横断歩道あり標示とゼブラ標示がある場合の判定条件、807…T字標示単独の場合の判定条件、808…T字標示と白線+一時停止線がある場合の判定条件、809…太破線標示単独の場合の判定条件、810…太破線標示と破線タイプ三重線がある場合の判定条件、901〜904…横断歩道あり標示の特徴量、905〜906…止まれ標示の特徴量、907…横断歩道あり標示の近傍、908…ゼブラ標示の特徴量、1001…レンズ、1002…CCD、1003…映像信号線、1004…CPU、1005…ハードディスク、1006…CAN、1101…レンズ、1102…CCD、1104…CPU、1105…ハードディスク、1106…CAN、1107…CPU。

Claims (10)

  1. 車両の周囲を撮像する画像入力手段と、入力した画像を処理して車両周囲の認識対象物を認識する手段を有する路面表示認識装置において、
    複数の判定手段を備え、路面の状況に応じてどの判定手段を用いるか選択することを特徴とする路面標示認識装置。
  2. 請求項1において、前記判定手段のうち、第一の判定手段は、画像上の図形が備える複数の特徴のうち少なくとも一つに基づき判定し、第二の判定手段は、前記第一の判定手段が用いる特徴の数より多い特徴に基づき判定することを特徴とする路面標示認識装置。
  3. 請求項1において、前記路面の状況とは、認識すべき対象図形から所定の範囲内に、当該対象図形と所定の類似関係にある図形が存在することを特徴とする路面表示認識装置。
  4. 請求項3において、前記所定の類似関係とは、同一の図形パターンが複数種類存在し、その複数種類の図形パターンが同一の位置に存在することを特徴とする路面標示認識装置。
  5. 請求項3において、前記所定の範囲とは、認識対象物の認識処理が行われている間車両が走行する区間とすることを特徴とする路面標示認識装置。
  6. 請求項5において、地図データ上における認識対象物の位置を中心として、車両の測位精度の平均的な誤差分を前後に加えた距離の区間において認識対象物の認識処理を行うことを特徴とする路面標示認識装置。
  7. 車両に搭載したカメラを用いて車両の周囲を撮像する画像入力手段と、入力した画像を処理して車両周囲の認識対象物を認識する路面表示認識手段を有する路面表示認識装置において、
    路面標示の種類と位置が記載されている地図データの格納手段と、前記路面標示認識手段が入力画像の路面表示を認識する際に、その時の自車位置周辺に存在する路面標示の種類に関して前記地図データ内を検索し、これから認識しようとしている路面標示と形状が類似している路面標示の有無に応じて、認識の判定条件を変更する判定条件決定手段を有することを特徴とする路面標示認識装置。
  8. 請求項7において、前記判定条件決定手段は、自車位置の周辺に形状が類似した路面標示が存在しない場合は、認識の判定条件とする画像上の特徴量の必要数を少なくすることを特徴とする路面標示認識装置。
  9. 請求項7において、前記判定条件決定手段は、自車位置の周辺に形状が類似した路面標示が存在する場合は、認識の判定条件とする画像上の特徴量の必要数を多くすることを特徴とする路面標示認識装置。
  10. 車両の周囲を撮像する画像入力手段と、入力した画像を処理して車両周囲の認識対象物を認識する路面表示認識装置において、
    前記画像入力手段となるリアカメラと、リアカメラ画像認識機能とカーナビゲーション機能が実装されるCPUと、地図データが実装されるハードディスクとを有し、前記リアカメラの映像は前記CPUのリアカメラ画像認識機能へ送信され、前記CPUが入力画像の路面表示を認識する際に、その時の自車位置周辺に存在する路面標示の種類に関して前記地図データ内を検索し、これから認識しようとしている路面標示と形状が類似している路面標示の有無に応じて、認識の判定条件を変更することを特徴とする路面標示認識装置。
JP2007318122A 2007-12-10 2007-12-10 路面標示認識装置 Active JP4951481B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007318122A JP4951481B2 (ja) 2007-12-10 2007-12-10 路面標示認識装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007318122A JP4951481B2 (ja) 2007-12-10 2007-12-10 路面標示認識装置

Publications (2)

Publication Number Publication Date
JP2009139306A true JP2009139306A (ja) 2009-06-25
JP4951481B2 JP4951481B2 (ja) 2012-06-13

Family

ID=40870044

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007318122A Active JP4951481B2 (ja) 2007-12-10 2007-12-10 路面標示認識装置

Country Status (1)

Country Link
JP (1) JP4951481B2 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150127223A1 (en) * 2012-01-17 2015-05-07 LimnTech LLC Apparatus, systems, and methods for determining the location of a roadway mark or portion thereof not meeting standards
JP2016090428A (ja) * 2014-11-06 2016-05-23 株式会社デンソー 測位装置
WO2016208067A1 (ja) * 2015-06-26 2016-12-29 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
DE102017123219A1 (de) 2016-10-17 2018-04-19 National University Corporation Tokyo University Of Agriculture And Technology Strassenmarkierungserkennungsvorrichtung
JP2020027316A (ja) * 2018-08-09 2020-02-20 トヨタ自動車株式会社 減少車線判定装置
JP2020056733A (ja) * 2018-10-03 2020-04-09 アイシン精機株式会社 車両制御装置
WO2020189079A1 (ja) 2019-03-15 2020-09-24 日立オートモティブシステムズ株式会社 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置
US11261571B2 (en) 2012-01-17 2022-03-01 LimnTech LLC Roadway maintenance striping control system

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097714A (ja) * 1998-09-21 2000-04-07 Sumitomo Electric Ind Ltd カーナビゲーション装置
JP2003123197A (ja) * 2001-10-16 2003-04-25 Alpine Electronics Inc 道路標示等認識装置
JP2003178399A (ja) * 2001-12-12 2003-06-27 Aisin Seiki Co Ltd 車線境界検出装置
JP2004086363A (ja) * 2002-08-23 2004-03-18 Toyota Motor Corp 車両用運転補助装置
JP2006309450A (ja) * 2005-04-27 2006-11-09 Toyota Motor Corp 画像認識装置及び画像認識方法
JP2007003286A (ja) * 2005-06-22 2007-01-11 Nissan Motor Co Ltd 自車位置検出装置、ナビゲーション装置、減速制御装置及び自車位置検出方法
JP2007066305A (ja) * 2005-08-05 2007-03-15 Aisin Aw Co Ltd 路面標示認識システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000097714A (ja) * 1998-09-21 2000-04-07 Sumitomo Electric Ind Ltd カーナビゲーション装置
JP2003123197A (ja) * 2001-10-16 2003-04-25 Alpine Electronics Inc 道路標示等認識装置
JP2003178399A (ja) * 2001-12-12 2003-06-27 Aisin Seiki Co Ltd 車線境界検出装置
JP2004086363A (ja) * 2002-08-23 2004-03-18 Toyota Motor Corp 車両用運転補助装置
JP2006309450A (ja) * 2005-04-27 2006-11-09 Toyota Motor Corp 画像認識装置及び画像認識方法
JP2007003286A (ja) * 2005-06-22 2007-01-11 Nissan Motor Co Ltd 自車位置検出装置、ナビゲーション装置、減速制御装置及び自車位置検出方法
JP2007066305A (ja) * 2005-08-05 2007-03-15 Aisin Aw Co Ltd 路面標示認識システム

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9230177B2 (en) * 2012-01-17 2016-01-05 LimnTech LLC Apparatus, systems, and methods for determining the location of a roadway mark or portion thereof not meeting standards
US20150127223A1 (en) * 2012-01-17 2015-05-07 LimnTech LLC Apparatus, systems, and methods for determining the location of a roadway mark or portion thereof not meeting standards
US11261571B2 (en) 2012-01-17 2022-03-01 LimnTech LLC Roadway maintenance striping control system
JP2016090428A (ja) * 2014-11-06 2016-05-23 株式会社デンソー 測位装置
WO2016208067A1 (ja) * 2015-06-26 2016-12-29 日産自動車株式会社 車両位置判定装置及び車両位置判定方法
CN107709929A (zh) * 2015-06-26 2018-02-16 日产自动车株式会社 车辆位置判定装置及车辆位置判定方法
US10145692B2 (en) 2015-06-26 2018-12-04 Nissan Motor Co., Ltd. Vehicle position determination apparatus and vehicle position determination method
CN107709929B (zh) * 2015-06-26 2019-01-08 日产自动车株式会社 车辆位置判定装置及车辆位置判定方法
US10679077B2 (en) 2016-10-17 2020-06-09 Toyota Jidosha Kabushiki Kaisha Road marking recognition device
DE102017123219A1 (de) 2016-10-17 2018-04-19 National University Corporation Tokyo University Of Agriculture And Technology Strassenmarkierungserkennungsvorrichtung
JP2020027316A (ja) * 2018-08-09 2020-02-20 トヨタ自動車株式会社 減少車線判定装置
JP7020340B2 (ja) 2018-08-09 2022-02-16 トヨタ自動車株式会社 減少車線判定装置
CN110979310A (zh) * 2018-10-03 2020-04-10 爱信精机株式会社 车辆控制装置
JP2020056733A (ja) * 2018-10-03 2020-04-09 アイシン精機株式会社 車両制御装置
JP7275520B2 (ja) 2018-10-03 2023-05-18 株式会社アイシン 車両制御装置
WO2020189079A1 (ja) 2019-03-15 2020-09-24 日立オートモティブシステムズ株式会社 自己位置推定装置、それを備えた自動運転システム、および、自己生成地図共有装置

Also Published As

Publication number Publication date
JP4951481B2 (ja) 2012-06-13

Similar Documents

Publication Publication Date Title
US20240046654A1 (en) Image fusion for autonomous vehicle operation
JP5172314B2 (ja) ステレオカメラ装置
JP5022609B2 (ja) 撮像環境認識装置
US10926764B2 (en) Lane keeping assistance apparatus, vehicle having the same and method for controlling the same
JP4951481B2 (ja) 路面標示認識装置
EP1686537B1 (en) Image recognition apparatus and image recognition method
US9070293B2 (en) Device and method for traffic sign recognition
US10262629B2 (en) Display device
US8305431B2 (en) Device intended to support the driving of a motor vehicle comprising a system capable of capturing stereoscopic images
EP3217318B1 (en) Method of switching vehicle drive mode from automatic drive mode to manual drive mode depending on accuracy of detecting object
US20190370609A1 (en) Image processing apparatus and external environment recognition apparatus
US8050460B2 (en) Method for recognition of an object
US9360332B2 (en) Method for determining a course of a traffic lane for a vehicle
US20150073705A1 (en) Vehicle environment recognition apparatus
EP2575078B1 (en) Front vehicle detecting method and front vehicle detecting apparatus
US20210070288A1 (en) Driving assistance device
JP2008021196A (ja) 車両の周囲環境認識装置及びシステム
US10750085B2 (en) Camera device for capturing a surrounding area of a driver's own vehicle and method for providing a driver assistance function
JP7251582B2 (ja) 表示制御装置および表示制御プログラム
JP2000090393A (ja) 車載型走行路環境認識装置
JP2004310522A (ja) 車両用画像処理装置
JP2005202787A (ja) 車両用表示装置
US20170124880A1 (en) Apparatus for recognizing vehicle location
CN115179863A (zh) 移动体的控制装置及控制方法、存储介质以及车辆
JP4432730B2 (ja) 車両用道路標示検出装置

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20090828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20090828

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100209

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110722

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110802

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110929

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120214

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120312

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150316

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4951481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250