JP2009009368A - 路面標示認識システム - Google Patents
路面標示認識システム Download PDFInfo
- Publication number
- JP2009009368A JP2009009368A JP2007170376A JP2007170376A JP2009009368A JP 2009009368 A JP2009009368 A JP 2009009368A JP 2007170376 A JP2007170376 A JP 2007170376A JP 2007170376 A JP2007170376 A JP 2007170376A JP 2009009368 A JP2009009368 A JP 2009009368A
- Authority
- JP
- Japan
- Prior art keywords
- road marking
- vehicle
- character
- road
- control
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Abstract
【課題】撮像画像中に含まれる文字列を含む路面標示を認識する際に、車両の正確な位置を特定することを可能とした運転支援装置を提供する。
【解決手段】車両2から所定範囲内に路面標示が存在すると判定された場合に、後方カメラ3によって撮像された画像から路面標示を検出し、特に検出された路面標示が特定種類の文字列からなる路面表示である場合には含まれる一部又は全部の文字内容を識別し、その識別結果を参照して車両から案内及び車両制御の対象となる制御対象物までの対象距離を算出し、算出された対象距離に基づいて、制御対象物に応じた案内及び車両制御を行うように構成する。
【選択図】図10
【解決手段】車両2から所定範囲内に路面標示が存在すると判定された場合に、後方カメラ3によって撮像された画像から路面標示を検出し、特に検出された路面標示が特定種類の文字列からなる路面表示である場合には含まれる一部又は全部の文字内容を識別し、その識別結果を参照して車両から案内及び車両制御の対象となる制御対象物までの対象距離を算出し、算出された対象距離に基づいて、制御対象物に応じた案内及び車両制御を行うように構成する。
【選択図】図10
Description
本発明は、撮像手段により撮像した画像に基づいて路面上に形成されている路面標示の認識を行う路面標示認識システムに関する。
従来より、ナビゲーション装置の地図データから得られる道路情報や、GPS等によって特定される現在位置等の車両の走行に係る各種情報を取得し、運転手に対する報知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する運転支援装置について提案されている。
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の前面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開2005−128790号公報には、自車両が走行する道路上に形成された最高速度の道路標識及び路面標示を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて車両の速度を最高速度内の速度とするように車両の速度制御を行う速度制御装置について記載されている。
特開2005−128790号公報(第5頁〜第8頁、図3〜図4)
そして、そのような運転支援装置の中には、より正確なタイミングで必要な報知や車両の制御を行う為に、車両の前面にカメラ等の撮像手段を設け、撮像された画像に基づいて報知や車両の制御を行うものがあった。例えば、特開2005−128790号公報には、自車両が走行する道路上に形成された最高速度の道路標識及び路面標示を、車両の前方に向けて設置されたCCDカメラにより撮像した画像データから検出し、検出結果に基づいて車両の速度を最高速度内の速度とするように車両の速度制御を行う速度制御装置について記載されている。
しかしながら、前記した特許文献1に記載された速度制御装置では、制御対象となる最高速度の道路標識及び路面標示を撮像した画像を読み込み、テンプレートデータとマッチングする画像が存在するか否かに基づいて最高速度の道路標識及び路面標示が存在することを認識していたが、上記方法では特に文字列を含む路面標示を認識する際に以下の問題があった。
即ち、形状の規格が予め決められている路面標示(矢印、速度表示、停止線等)と比較して、文字列を含む路面標示は特に文字の形状の規格については定まっていない。従って、同一内容の文字列であっても路面標示毎に字体が異なる場合がある。また、文字には平仮名、片仮名、漢字の3種類の表記が存在し(例えば、「とまれ」、「トマレ」、「止まれ」)、表記は統一されていない。従って、撮像した画像中に存在する文字列の文字内容を識別する為には、それら全国の路面に形成された全種類の文字列に関するテンプレートデータを備えなければならず、データ作成に膨大な労力が必要となっていた。また、それらのテンプレートデータを記憶する為の大容量の記憶領域も必要となり、認識処理にかかる制御部の処理負担も大きかった。
そこで、上記問題点を解消する為に、そのような文字列を含む路面標示に関しては、文字内容の識別は行わずに、何らかの文字列であることに関する識別のみを行うようにすることが考えられる。しかしながら、特に路面標示の検出によって車両の現在位置を特定することを試みる場合には、文字内容の識別を行わないこととすると以下の問題があった。
即ち、文字列を含む路面標示は他の路面標示と比較して、車両の進行方向に沿って長い形状を有しており、撮像画像中に存在する文字が路面標示に含まれる文字列の何文字目の文字であるかを特定できないと、路面標示に対する車両の位置関係が正確に特定できない。ここで、上記のように文字列を含む路面標示に対して文字内容の識別を行わないこととすると、撮像画像中に存在する文字が文字列の何文字目の文字であるかを識別することは非常に困難であり、誤認識の可能性が高くなっていた。
本発明は前記従来における問題点を解消するためになされたものであり、撮像画像中に含まれる文字列を含む路面標示を認識する際に、特定種類の文字列の一部又は全部を認識対象として文字内容の識別を行うことにより、車両の正確な位置を特定することを可能としつつ、認識処理にかかる制御部の処理負担について軽減した路面標示認識システムを提供することを目的とする。
前記目的を達成するため本願の請求項1に路面標示認識システムは、車両(2)に配置され、車両の周辺を撮像する撮像手段(3)と、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示に含まれる複数種類の文字列の内、特定種類の文字列の一部又は全部を認識対象として文字内容を識別する文字識別手段(6)と、前記文字識別手段の識別結果に基づいて前記路面標示と車両との位置関係を特定する位置関係特定手段(6)と、を有することを特徴とする。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
尚、ここで「路面標示」とは、道路交通に対し、必要な案内、誘導、警戒、規制、指示等についてペイント類又は道路鋲又はこれに類するもの等を用い、一定の様式化された線及び文字、記号を路面に設置したものをいい、例えば、停止線や横断歩道等がある。
また、請求項2に係る路面標示認識システムは、請求項1に記載の路面標示認識システムにおいて、前記文字識別手段(6)で識別対象となる特定種類の文字列の一部又は全部の文字内容を関連情報と関連付けて記憶した文字列情報記憶手段(42)と、前記文字識別手段により文字内容が識別された文字列の一部又は全部に関連付けられた関連情報を取得する情報取得手段(6)と、を有することを特徴とする。
また、請求項3に係る路面標示認識システムは、請求項1又は請求項2に記載の路面標示認識システムにおいて、前記関連情報は、前記特定種類の文字列を含む路面標示に対応付けられた制御対象物に関する情報と、路面標示から前記対応付けられた制御対象物までの道なり距離に関する情報とを含み、前記文字識別手段(6)により文字内容が識別された場合に、車両から識別された文字列を含む路面標示に対応付けられた前記制御対象物までの道なり距離を算出する対象距離算出手段(6)と、前記対象距離算出手段の算出結果に基づいて前記制御対象物に応じた車両の制御を行う車両制御手段(5)と、を有することを特徴とする。
また、「制御対象物」とは、利用者に対して運転の支援(例えば、制御対象物に関する案内を行うこと、車両の制御を行うこと等)を行うべき道路上の対象をいい、例えば、一時停止線、交差点、カーブの進入口、合流帯等がある。
また、「制御対象物」とは、利用者に対して運転の支援(例えば、制御対象物に関する案内を行うこと、車両の制御を行うこと等)を行うべき道路上の対象をいい、例えば、一時停止線、交差点、カーブの進入口、合流帯等がある。
また、請求項4に係る路面標示認識システムは、請求項3に記載の路面標示認識システムにおいて、前記特定種類の文字列を含む路面標示は、前記車両制御手段(5)により正確な停止制御又は加減速制御を行う必要があるエリアに対して形成された路面標示であることを特徴とする。
また、請求項5に係る路面標示認識システムは、請求項1乃至請求項4のいずれかに記載の路面標示認識システムにおいて、前記路面標示は異なる種類の文字列において共通して用いられる一部の共通文字列を含み、前記文字識別手段(6)は前記路面標示に含まれる文字列の内、前記共通文字列を認識対象とすることを特徴とする。
また、請求項6に係る路面標示認識システムは、請求項1乃至請求項5のいずれかに記載の路面標示認識システムにおいて、車両(2)の現在地を検出する現在地検出手段(9)と、路面に形成された路面標示の位置情報を記憶した標示情報記憶手段(42)と、前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に前記特定種類の文字列を含む路面標示が存在するか否かを判定する路面標示存在判定手段(6)と、を有し、前記文字識別手段(6)は、前記路面標示存在判定手段によって前記特定種類の文字列を含む路面標示が存在すると判定された場合に特定種類の文字列の一部又は全部を認識対象として文字内容を識別することを特徴とする。
更に、請求項7に係るコンピュータプログラムは、コンピュータに搭載され、車両(2)に配置された撮像手段(3)により車両の周辺を撮像する撮像機能(S1)と、前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示に含まれる複数種類の文字列の内、特定種類の文字列の一部又は全部を認識対象として文字内容を識別する文字識別機能(S6)と、前記文字識別機能による識別結果に基づいて前記路面標示と車両との位置関係を特定する位置関係特定機能(S11)と、を実行させることを特徴とする。
前記構成を有する請求項1に記載の路面標示認識システムによれば、撮像画像中に含まれる文字列を含む路面標示を認識する際に、特定種類の文字列の一部又は全部を認識対象として文字の識別をすることにより、車両の正確な位置を特定することが可能となる。また、路面標示に含まれる全文字列について識別する場合と比較して、認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
また、請求項2に記載の路面標示認識システムによれば、車両が検出した文字列からなる路面標示に関連する関連情報を取得することが可能となり、検出した路面標示を用いて案内や車両制御等を行うことが可能となる。
また、請求項3に記載の路面標示認識システムによれば、車両から制御対象物までの正確な道なり距離を算出することが可能となり、適切なタイミング及び制御内容で制御対象物に対する車両の制御を行うことが可能となる。
また、請求項4に記載の路面標示認識システムによれば、特に正確な車両制御が必要となる状況で、文字列の路面標示の検出に基づいて制御対象物に対する正確且つ適切な車両制御を行うことが可能となる。
また、請求項5に記載の路面標示認識システムによれば、複数の文字からなる文字列の内、共通の文字列に対して文字内容の識別処理を行うので、文字列を構成する全文字に対して識別をする場合と比較して路面標示の認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
また、請求項6に記載の路面標示認識システムによれば、車両の現在地から所定範囲内に路面標示が存在する場合に路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。
更に、請求項7に記載のコンピュータプログラムによれば、撮像画像中に含まれる文字列を含む路面標示を認識する際に、特定種類の文字列の一部又は全部を認識対象として文字の識別をさせることにより、車両の正確な位置を特定することが可能となる。また、路面標示に含まれる全文字列について識別させる場合と比較して、認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
以下、本発明に係る運転支援装置について具体化した一実施形態に基づき図面を参照しつつ詳細に説明する。
先ず、本実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は本実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、本実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU(車両制御手段)5等で構成されている。
先ず、本実施形態に係る運転支援装置1の概略構成について図1を用いて説明する。図1は本実施形態に係る運転支援装置1の概略構成図である。
図1に示すように、本実施形態に係る運転支援装置1は、車両2に対して設置された後方カメラ(撮像手段)3、ナビゲーション装置4、車両ECU(車両制御手段)5等で構成されている。
後方カメラ3は、例えばCCD等の固体撮像素子を用いたものであり、車両2の後方に装着されたナンバープレートの上中央付近に取り付けられ、視線方向を水平より45度下方に向けて設置される。そして、駐車時に車両2の進行方向となる車両後方を撮像し、その撮像した画像(以下、BGM(バック・ガイド・モニタ)画像とする)はナビゲーション装置の液晶ディスプレイ7に表示される。一方、通常走行中においては、後述のように車両2の周囲の路面上に形成された停止線、横断歩道、文字列、車両の最高速度等の路面標示を撮像する。そして、撮像された路面標示の画像に基づいて車両2から停止線や交差点、合流帯、カーブ進入口等の車両の制御を行う対象となる制御対象物までの距離が間接的に算出される。
また、ナビゲーション装置4は、ナビゲーションECU(エレクトロニック・コントロール・ユニット)6と、車両2の室内のセンターコンソール又はパネル面に備え付けられ、地図や目的地までの探索経路を表示する液晶ディスプレイ7と、経路案内に関する音声ガイダンスを出力するスピーカ8と、車両2の現在地と進行方向を地図上で特定する現在地検出部(現在地検出手段)9と、地図を表示するための地図データや路面上に形成された路面標示の種類及び位置に関する情報が記憶されたデータ記録部10と、情報センタ等と通信を行う為の通信装置14とから構成されている。
ナビゲーションECU(文字識別手段、位置関係特定手段、情報取得手段、対象距離算出手段、路面標示存在判定手段)6は、通常の経路探索及び経路案内の処理の他に、後方カメラ3で撮像した撮像画像から車両2が走行する路面に形成された路面標識を検出する検出処理、特定種類の文字列からなる路面標示について全部又は一部の文字の内容を識別する文字識別処理、車両2から停止線や交差点、合流帯、カーブ進入口等の制御対象物までの道なり距離を、検出した路面標示から間接的に算出する算出処理、算出された距離に基づいて制御対象物に対する注意喚起や車両制御処理等を行う電子制御ユニットである。尚、ナビゲーションECU6の詳細な構成については後述する。
そして、車両ECU5は、エンジン、変速機、アクセル、ブレーキ等の作動を制御する車両2の電子制御ユニットであり、ブレーキアクチュエータ11、スロットルアクチュエータ12、AT(Automatic Transmission)13が接続されている。そして、ナビゲーションECU6は、所定の条件を満たした場合に車両ECU5を介してブレーキアクチュエータ11、スロットルアクチュエータ12、AT13に制御信号を送信し、ブレーキ圧やエンジンに吸入する空気量や変速比を変化させ、制動力を自動で付与させる。
次に、本実施形態に係る運転支援装置1の制御系に係る構成について特にナビゲーション装置4を中心にして図2に基づき説明する。図2は本実施形態に係る運転支援装置1の制御系を模式的に示すブロック図である。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
図2において、運転支援装置1の制御系は、ナビゲーション装置4と、車両ECU5を基本にして構成され、各制御手段に対して所定の周辺機器が接続されている。
以下に、ナビゲーション装置4を構成する各構成要素について説明すると、現在地検出部9は、GPS31、地磁気センサ32、ジャイロセンサ33、ステアリングセンサ34、速度センサ35、高度計(図示せず)等からなり、自車の現在地、方位、自車速度、所定地点からの走行距離等を検出することが可能となっている。
具体的には、GPS31は、人工衛星によって発生させられた電波を受信することにより、地球上における自車の現在地及び現在時刻を検出する。
また、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
そして、ジャイロセンサ33は自車の旋回角を検出する。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
また、ステアリングセンサ34は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出する。
更に、速度センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、自車速度や移動速度(積算移動距離)を検出する。
また、地磁気センサ32は、地磁気を測定することによって自車方位を検出する。
そして、ジャイロセンサ33は自車の旋回角を検出する。また、ジャイロセンサ33によって検出された旋回角を積分することにより、自車方位を検出することができる。
また、ステアリングセンサ34は、ステアリング装置の内部に取り付けられており、ステアリングの回動角を検出する。
更に、速度センサ35はエンジンから一定走行距離毎に発生される車速パルスに基づいて、自車速度や移動速度(積算移動距離)を検出する。
また、データ記録部10は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された所定のプログラム、ナビゲーション装置4の経路案内及び地図表示に必要な情報が格納された地図DB41、路面標示に関する情報が格納された路面標示DB(文字列情報記憶手段、標示情報記憶手段)42等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。
ここで、地図DB41は、ナビゲーション装置4の経路案内及び地図表示に必要な地図情報が記録されたDBである。そして、地図情報としては、例えば、地図を表示するための地図データ、各交差点に関する交差点データ、ノード点に関するノードデータ、道路に関する道路データ、経路を探索するための探索データ、施設に関する施設データ、地点を検索するための検索データ等がある。
一方、路面標示DB42は、路面上に形成された路面標示に関する路面表示情報が記憶されたDBである。そして、路面表示情報としては、路面上に形成された路面標示の種類(例えば、停止線、横断歩道、文字列、最高速度)に関する種類情報、検出された路面標示の種類を特定する為の特定情報、路面標示の位置を地図上で特定する座標データ等がある。また、特に文字列からなる路面標示の内、特定種類の文字列(例えば、『合流注意』、『この先カーブ』、『とまれ』等)からなる路面標示については、文字列を構成する全部又は一部文字内容(例えば、『合流注意』、『ーブ』、『まれ』等)についても記憶されている。尚、路面標示DB42については後に図3を用いて詳細に説明する。
また、ナビゲーションECU6は、ナビゲーション装置4の全体の制御を行う演算装置及び制御装置としてのCPUの他に、CPUが各種の演算処理を行うに当たってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAMや、制御用のプログラムのほか、目的地までの経路の探索、探索した誘導経路の案内を行う経路案内処理プログラム、後方カメラ3で撮像した画像に基づいて所定条件下で車両2から制御対象物(停止線、交差点、合流帯、カーブ進入口等)までの道なり距離(対象距離)を算出し、運転補助を行う後述の運転支援処理プログラム(図11、図12参照)が記録されたROM等の内部記憶装置を備えている。尚、前記RAM、ROM等としては半導体メモリ、磁気コア等が使用される。そして、演算装置及び制御装置としては、CPUに代えてMPU等を使用することも可能である。
また、ナビゲーションECU6には、GUI制御部51、ロケーション部52、経路探索・案内処理部53を備え、後方カメラ3、現在地検出部9、データ記録部10及び各周辺機器から取得した情報に基づいて、各種制御を行う。
ここで、GUI制御部51は、地図DB41から読み出した地図データとロケーション部52によって検出された自車の現在地とに基づいて自車周囲の適当な地図画像を液晶ディスプレイ7に表示させるとともに、経路の案内が必要な場合には地図画像に対してアイコンや案内画面、探索経路等を合成して液晶ディスプレイ7に表示させる。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在地と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。そして、検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、スロットルアクチュエータ12、AT13を制御して車両2の車両制御の実行、或いは液晶ディスプレイ7及びスピーカ8により制御対象物に対する注意喚起等を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索及び誘導経路の設定を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
また、ロケーション部52は、現在地検出部9から供給される各情報に基づいて、車両2の現在の絶対位置(緯度・経度)を検出する。更に、検出した現在地と路面標示DB42に格納された情報から車両2の所定範囲(前方30m〜後方20m)内に路面標示が存在するか否かを判定し、存在する場合には、後方カメラ3によって撮像した画像を取り込んで解析処理を行い、路面上の路面標示を検出する。そして、検出した路面標示と車両2との距離を算出し、更にその距離から路面標示に関連付けられた制御対象物までの距離を算出し、算出した距離に応じてブレーキアクチュエータ11、スロットルアクチュエータ12、AT13を制御して車両2の車両制御の実行、或いは液晶ディスプレイ7及びスピーカ8により制御対象物に対する注意喚起等を行う。
更に、経路探索・案内処理部53は、目的地が設定された場合においてデータ記録部10に記憶されたノード点データや探索データに基づいて現在地から目的地までの経路探索及び誘導経路の設定を行うとともに、設定された誘導経路に従って液晶ディスプレイ7やスピーカ8を用いて経路の案内を行う。
また、前記ナビゲーションECU6には、液晶ディスプレイ7、スピーカ8、通信装置14等の各周辺装置が電気的に接続されている。
液晶ディスプレイ7には、操作案内、操作メニュー、キーの案内、現在地から目的地までの誘導経路、誘導経路に沿った案内情報、交通情報、ニュース、天気予報、時刻、メール、テレビ番組、後方カメラ3で撮像したBGM画像等が表示される。
また、スピーカ8は、ナビゲーションECU6からの指示に基づいて誘導経路に沿った走行を案内する音声ガイダンスを出力する。更に、本実施形態に係るナビゲーション装置4では、車両2から制御対象物までの対象距離が所定距離となった場合に、液晶ディスプレイ7及びスピーカ8により制御対象物に関する情報提供や注意喚起(例えば、停止線が接近していることの警告等)を行う。
そして、通信装置14は、情報センタ、例えば、VICS(登録商標:Vehicle Information and Communication System)センタ等から送信された渋滞情報、規制情報、駐車場情報、交通事故情報、サービスエリアの混雑状況等の各情報から成る交通情報を、道路に沿って配設された電波ビーコン装置、光ビーコン装置等を介して電波ビーコン、光ビーコン等として受信するビーコンレシーバである。また、本実施形態に係るナビゲーション装置4は通信装置14を介して情報センタ(図示せず)に接続し、地図DB41及び路面標示DB42に格納された情報を更新する。
次に、図3に基づいてデータ記録部10において路面標示に関する情報が記憶される路面標示DB42について説明する。図3は本実施形態に係る路面標示DB42の記憶領域を示した図である。
図3に示すように路面標示DB42の記憶領域は、路面標示の地図データ上における座標(位置)と、路面標示の種類と、特に文字列からなる路面標示の文字内容と、路面標示に関連付けられた制御対象物と、路面標示の測定開始点(複数ある場合には制御対象物に最も近い測定開始点)から制御対象物までの道なり距離(物間距離)とから構成されている。
例えば、図3では座標(x1,y1)には「横断歩道有り」の路面標示が形成されており、且つその路面標示には60m前方に制御対象物として「停止線」の路面標示が対応付けられていることを示す。
また、座標(x2,y2)には「文字列(汎用)」の路面標示が形成されており、且つその路面標示には82m前方に制御対象物として「交差点」が対応付けられていることを示す。ここで、汎用の文字列とは後述するように正確な車両制御が必要となるエリアに多数配置されている文字列である『合流注意』、『この先カーブ』、『とまれ』等を除いた一般の文字列を一括して示すものである。そして、この汎用の文字列からなる路面標示については文字内容を識別する為の情報は含まれていない。
また、座標(x3,y3)には「矢印」の路面標示が形成されており、且つその路面標示には91m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。
また、座標(x4,y4)には「最高速度(40km/h)」の路面標示が形成されており、且つその路面標示には112m前方に制御対象物として「停止線」が対応付けられていることを示す。
また、座標(x8,y8)には「文字列(文字内容『まれ』)」の路面標示が形成されており、且つその路面標示には52m前方に制御対象物として「停止線」が対応付けられていることを示す。ここで、文字内容『まれ』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『とまれ』、『止まれ』等の『まれ』を含む文字列が該当する。そして、この『まれ』の路面標示については、該当する全文字列に共通する手前2文字(『ま』と『れ』)の文字内容を識別する為の情報が含まれている。
また、座標(x9,y9)には「文字列(文字内容『ーブ』)」の路面標示が形成されており、且つその路面標示には108m前方に制御対象物として「コーナ」が対応付けられていることを示す。ここで、文字内容『ーブ』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『この先カーブ』、『この先急カーブ』等の『ーブ』を含む文字列が該当する。そして、この『ーブ』の路面標示については、該当する全文字列に共通する手前2文字(『ー』と『ブ』)の文字内容を識別する為の情報が含まれている。
また、座標(x15,y15)には「文字列(文字内容『合流注意』)」の路面標示が形成されており、且つその路面標示には130m前方に制御対象物として「合流帯」が対応付けられていることを示す。ここで、文字内容『合流注意』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『合流注意』の文字列が該当する。そして、この『合流注意』の路面標示については、該当する文字列の4文字(『合』、『流』、『注』、『意』)の文字内容を識別する為の情報が含まれている。
尚、路面標示の座標は、路面標示を囲む四角形状の角部に位置する4点の座標から構成される。また、文字列において識別対象とする文字数は上記文字数以外であっても良い。また、制御対象物までの物間距離に関して、道路が複数車線からなる場合においては、車線毎の制御対象物までの物間距離が記録される。
また、座標(x2,y2)には「文字列(汎用)」の路面標示が形成されており、且つその路面標示には82m前方に制御対象物として「交差点」が対応付けられていることを示す。ここで、汎用の文字列とは後述するように正確な車両制御が必要となるエリアに多数配置されている文字列である『合流注意』、『この先カーブ』、『とまれ』等を除いた一般の文字列を一括して示すものである。そして、この汎用の文字列からなる路面標示については文字内容を識別する為の情報は含まれていない。
また、座標(x3,y3)には「矢印」の路面標示が形成されており、且つその路面標示には91m前方に制御対象物として「コーナ(コーナ開始点のノード)」が対応付けられていることを示す。
また、座標(x4,y4)には「最高速度(40km/h)」の路面標示が形成されており、且つその路面標示には112m前方に制御対象物として「停止線」が対応付けられていることを示す。
また、座標(x8,y8)には「文字列(文字内容『まれ』)」の路面標示が形成されており、且つその路面標示には52m前方に制御対象物として「停止線」が対応付けられていることを示す。ここで、文字内容『まれ』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『とまれ』、『止まれ』等の『まれ』を含む文字列が該当する。そして、この『まれ』の路面標示については、該当する全文字列に共通する手前2文字(『ま』と『れ』)の文字内容を識別する為の情報が含まれている。
また、座標(x9,y9)には「文字列(文字内容『ーブ』)」の路面標示が形成されており、且つその路面標示には108m前方に制御対象物として「コーナ」が対応付けられていることを示す。ここで、文字内容『ーブ』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『この先カーブ』、『この先急カーブ』等の『ーブ』を含む文字列が該当する。そして、この『ーブ』の路面標示については、該当する全文字列に共通する手前2文字(『ー』と『ブ』)の文字内容を識別する為の情報が含まれている。
また、座標(x15,y15)には「文字列(文字内容『合流注意』)」の路面標示が形成されており、且つその路面標示には130m前方に制御対象物として「合流帯」が対応付けられていることを示す。ここで、文字内容『合流注意』の文字列とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている文字列である『合流注意』の文字列が該当する。そして、この『合流注意』の路面標示については、該当する文字列の4文字(『合』、『流』、『注』、『意』)の文字内容を識別する為の情報が含まれている。
尚、路面標示の座標は、路面標示を囲む四角形状の角部に位置する4点の座標から構成される。また、文字列において識別対象とする文字数は上記文字数以外であっても良い。また、制御対象物までの物間距離に関して、道路が複数車線からなる場合においては、車線毎の制御対象物までの物間距離が記録される。
ここで、制御対象物は案内や車両の制御を行う対象となるものであり、路面標示が形成された道路の進行方向であって、所定区間(例えば、10m〜200m)にあるノード点や他の路面標示が相当する。そして、ナビゲーションECU6は後方カメラ3が路面標示DB42に記録されたいずれかの路面標示を撮像した際に、撮像した画像から関連付けられた制御対象物に対しての道なり距離である対象距離を間接的に算出し、その対象距離が所定距離となった場合に車両2の車両制御や制御対象物に対する案内を行う。
また、車両2の車両制御や案内の内容は関連付けられた制御対象物の種類や制御レベルによって異なる。
ここで、制御レベルとは車両状況や運転者状況によって制御対象物に対する車両制御及び案内の必要度合いを複数段階に分けて判定したものである。具体的には、制御対象物に接近した状態で十分な減速制御が行われていない場合には制御レベルが高いと判定され、既に十分な減速制御が行われている場合には制御レベルが低いと判定される。本実施形態では、特に制御対象物との対象距離が所定距離(例えば、制御対象物が停止線やカーブや合流帯の場合は50m)となった時点で、制御対象物に対する必要減速度(車両にかかる減速G)G1を自車の現在速度や加速度から算出する。そして、算出された必要減速度の値から制御レベルを判定し、車両制御や案内の内容を選択する。尚、図4は各制御レベルで実施される制御対象物に対する車両制御と案内の内容の一覧を示した図である。
ここで、制御レベルとは車両状況や運転者状況によって制御対象物に対する車両制御及び案内の必要度合いを複数段階に分けて判定したものである。具体的には、制御対象物に接近した状態で十分な減速制御が行われていない場合には制御レベルが高いと判定され、既に十分な減速制御が行われている場合には制御レベルが低いと判定される。本実施形態では、特に制御対象物との対象距離が所定距離(例えば、制御対象物が停止線やカーブや合流帯の場合は50m)となった時点で、制御対象物に対する必要減速度(車両にかかる減速G)G1を自車の現在速度や加速度から算出する。そして、算出された必要減速度の値から制御レベルを判定し、車両制御や案内の内容を選択する。尚、図4は各制御レベルで実施される制御対象物に対する車両制御と案内の内容の一覧を示した図である。
図4に示すように、(1)算出された必要減速度G1<0.05Gである場合には制御レベル「無し」と判定し、制御及び案内は実施しない。
また、(2)0.05G≦G1<0.1Gである場合には制御レベル「低」と判定し、情報提供レベルの案内のみを実施する。例えば、制御対象物として「停止線」、「コーナ」、「合流帯」が対応付けられていた場合には、停止線、コーナ又は合流帯が接近していることを報知する文字やマークを液晶ディスプレイ7に表示させる。
また、(3)0.1G≦G1<0.3Gである場合には制御レベル「中」と判定し、注意喚起レベルの案内のみを実施する。例えば、制御対象物として「停止線」、「コーナ」、「合流帯」が対応付けられていた場合には、制御対象物が接近していることを警告する「停止線(コーナ、合流地点)が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。
更に、(4)0.3G<G1である場合には制御レベル「高」と判定し、サポート、介入レベルの車両制御及び案内を実施する。例えば、前記注意喚起レベルの案内を実施するとともに、制御対象物が「停止線」である場合にはブレーキアクチュエータ11やAT13を制御して停止線の手前で車両2が停止するように減速制御を行う。一方、制御対象物が「コーナ」である場合、コーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11やAT13を制御して減速制御を行う。また、制御対象物が「合流帯」である場合にはブレーキアクチュエータ11やAT13を制御してスムーズに合流を行えるように加減速制御を行う。
また、(2)0.05G≦G1<0.1Gである場合には制御レベル「低」と判定し、情報提供レベルの案内のみを実施する。例えば、制御対象物として「停止線」、「コーナ」、「合流帯」が対応付けられていた場合には、停止線、コーナ又は合流帯が接近していることを報知する文字やマークを液晶ディスプレイ7に表示させる。
また、(3)0.1G≦G1<0.3Gである場合には制御レベル「中」と判定し、注意喚起レベルの案内のみを実施する。例えば、制御対象物として「停止線」、「コーナ」、「合流帯」が対応付けられていた場合には、制御対象物が接近していることを警告する「停止線(コーナ、合流地点)が接近しています。」との文字列を液晶ディスプレイ7に表示させ、またスピーカ8から同内容の警告音声を出力する。
更に、(4)0.3G<G1である場合には制御レベル「高」と判定し、サポート、介入レベルの車両制御及び案内を実施する。例えば、前記注意喚起レベルの案内を実施するとともに、制御対象物が「停止線」である場合にはブレーキアクチュエータ11やAT13を制御して停止線の手前で車両2が停止するように減速制御を行う。一方、制御対象物が「コーナ」である場合、コーナ進入前に地図DB41に記録されたコーナのRに対する最適な速度(例えば、R30で40km/h)となるようにブレーキアクチュエータ11やAT13を制御して減速制御を行う。また、制御対象物が「合流帯」である場合にはブレーキアクチュエータ11やAT13を制御してスムーズに合流を行えるように加減速制御を行う。
尚、制御対象物として「交差点」が対応付けられていた場合には、車両制御を行わずに制御対象物との対象距離が所定距離(例えば10m)となった時点で、設定された誘導経路に従った経路案内のみを行う。例えば、左折を示す案内表示を液晶ディスプレイ7に表示させ、「次の交差点を左折して下さい。」の案内音声をスピーカ8から出力する。
次に、図5乃至図10を用いて車両2の後方カメラ3によって路面標示を撮像した際の車両2と路面標示との距離、及び車両2と路面標示に関連付けられた制御対象物との距離の算出方法について具体例をあげて説明する。
以下の具体例では、車両2が走行する路面60に形成された路面標示の内、特に制御対象物として停止線の路面標示69が関連付けられた『とまれ』の文字列の路面標示61を撮像した場合を示すこととする。図5は路面標示61を撮像する車両2を示した上面図、図6は路面標示61を撮像する車両2を示した側面図を示した模式図である。
以下の具体例では、車両2が走行する路面60に形成された路面標示の内、特に制御対象物として停止線の路面標示69が関連付けられた『とまれ』の文字列の路面標示61を撮像した場合を示すこととする。図5は路面標示61を撮像する車両2を示した上面図、図6は路面標示61を撮像する車両2を示した側面図を示した模式図である。
後方カメラ3は、図5及び図6に示すように車両2の後バンパー63付近から後方を撮像できるように光軸Lを水平から45度下方向に向けるように取り付けられており、撮像範囲が固定されている。従って、後方カメラ3によって撮像された撮像画像中の画像データの位置(具体的には下縁からの画素数)から、被写体までの距離を計算することができる。
また、ナビゲーションECU6は路面標示を撮像した際に、その撮像した撮像画像から路面表示毎に特有の配置を有する特徴点や路面標示の境界線を特定することにより、路面標示の種類の判定や文字内容の識別を行うことが可能となる。そして、車両2から路面標示毎に所定位置に配置された測定開始点Pまでの距離D1を算出することにより、車両から制御対象物までの距離についても算出することが可能となっている。
ここで、路面上に形成される路面標示の内、特に図7に示す『合流注意』の文字列からなる路面標示71は『合』の文字72、『流』の文字73、『注』の文字74、『意』の文字75の計4文字の組合せによって構成されている。そして、ナビゲーションECU6は『合流注意』の文字列からなる路面標示71を検出する場合には、各文字72〜75について文字内容の識別を行う。それにより、車両2が撮像した撮像画像中に含まれる文字が文字72〜75のいずれの文字を含んでいる場合には、車両と路面標示71との位置関係を正確に特定することが可能となり、車両から測定開始点Pまでの正確な距離も算出可能となる。
また、路面上に形成される路面標示の内、特に図8に示す『この先カーブ』の文字列からなる路面標示76は『ー』の文字77、『ブ』の文字78の2文字を含む文字の組合せによって構成されている。そして、ナビゲーションECU6は『この先カーブ』の文字列からなる路面標示76を検出する場合には、各文字77、78について文字内容の識別を行う。それにより、車両2が撮像した撮像画像中に含まれる文字が文字77、78のいずれかを含んでいる場合には、車両と路面標示76との位置関係を正確に特定することが可能となり、車両から測定開始点Pまでの正確な距離も算出可能となる。
尚、図8では『この先カーブ』の路面標示76を例に挙げて説明したが、他にも『この先急カーブ』の路面標示等の『ーブ』を含む路面標示に対しても、同様に車両と路面標示との位置関係を正確に特定することが可能となる。
尚、図8では『この先カーブ』の路面標示76を例に挙げて説明したが、他にも『この先急カーブ』の路面標示等の『ーブ』を含む路面標示に対しても、同様に車両と路面標示との位置関係を正確に特定することが可能となる。
また、路面上に形成される路面標示の内、特に図9に示す『とまれ』の文字列からなる路面標示79は『ま』の文字80、『れ』の文字81の2文字を含む文字の組合せによって構成されている。そして、ナビゲーションECU6は『とまれ』の文字列からなる路面標示79を検出する場合には、各文字80、81について文字内容の識別を行う。それにより、車両2が撮像した撮像画像中に含まれる文字が文字80、81のいずれかを含んでいる場合には、車両と路面標示79との位置関係を正確に特定することが可能となり、車両から測定開始点Pまでの正確な距離も算出可能となる。
尚、図9では『とまれ』の路面標示79を例に挙げて説明したが、他にも『止まれ』の路面標示等の『まれ』を含む路面標示に対しても、同様に車両と路面標示との位置関係を正確に特定することが可能となる。
尚、図9では『とまれ』の路面標示79を例に挙げて説明したが、他にも『止まれ』の路面標示等の『まれ』を含む路面標示に対しても、同様に車両と路面標示との位置関係を正確に特定することが可能となる。
一方、前記した方法によって車両2と路面標示の測定開始点Pまでの距離D1が算出されると、それに基づいて車両2から検出された路面標示に関連付けられた制御対象物(図3参照)までの道なり距離(対象距離)を算出することが可能である。図10は、車両2の後方カメラ3によって路面標示を撮像した際の車両2から制御対象物までの対象距離の算出方法について示した模式図である。
図10では、「とまれ」の路面標示61を車両2が後方カメラ3で検出した場合を示すものであり、更に、路面標示61には制御対象物として前方の物間距離Mにある「停止線」の路面標示69が関連付けられている。
その場合には、物間距離Mから距離D1及び車両長さD2を減算することによって、路面標示61の検出時点での車両2から制御対象物までの対象距離T(=M−D1−D2)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて速度センサ35により車両2の走行距離Sを算出する。そして、路面標示61の検出時点での車両2から制御対象物までの対象距離Tから走行距離Sを減算することによって、走行中の車両2から制御対象物までの対象距離T(=M−D1−D2−S)を算出することが可能となる。その結果、算出された「停止線」の路面標示69までの対象距離Tに基づいて車両の制御及び案内を行う。
その場合には、物間距離Mから距離D1及び車両長さD2を減算することによって、路面標示61の検出時点での車両2から制御対象物までの対象距離T(=M−D1−D2)を算出することが可能となる。また、ナビゲーションECU6はエンジンから一定走行距離毎に発生される車速パルスに基づいて速度センサ35により車両2の走行距離Sを算出する。そして、路面標示61の検出時点での車両2から制御対象物までの対象距離Tから走行距離Sを減算することによって、走行中の車両2から制御対象物までの対象距離T(=M−D1−D2−S)を算出することが可能となる。その結果、算出された「停止線」の路面標示69までの対象距離Tに基づいて車両の制御及び案内を行う。
続いて、前記構成を有する本実施形態に係る運転支援装置1のナビゲーションECU6が実行する運転支援処理プログラムについて図11に基づき説明する。図11は本実施形態に係る運転支援装置1における運転支援処理プログラムのフローチャートである。ここで、運転支援処理プログラムは車両のイグニションがONされた後に所定間隔(例えば200ms毎)で実行され、車両2が路面を走行する際において後方カメラ3により撮像した撮像画像から路面標示を検出するとともに、検出した路面標示から車両と制御対象物までの対象距離を算出し、算出された対象距離に基づいて利用者の運転を補助する制御を行うプログラムである。尚、以下の図11及び図12にフローチャートで示されるプログラムはナビゲーションECU6が備えているROMやRAMに記憶されており、CPUにより実行される。
運転支援処理プログラムでは、先ずステップ(以下、Sと略記する)1において、ナビゲーションECU6は現在地検出部9によって検出した車両2の現在地情報と路面標示DB42(図3参照)に記録された路面標示の位置情報に基づいて、車両2の周辺(本実施形態では車両2の前方2000m〜後方500m)に位置する路面標示の情報(路面標示の位置座標、種類、関連付けられた制御対象物、制御対象物までの物間距離)を路面標示DB42から読み出す。尚、上記S1が情報取得手段の処理に相当する。
次に、S2でナビゲーションECU6は、前記S1で読み出された路面標示の内、特に車両2の所定範囲(車両2の前方30m〜後方20m)に位置する路面標示があるか否かを判定する。そして、車両2の所定範囲に位置する路面標示があると判定された場合(S2:YES)には、S3へと移行し、路面標示の画像認識処理を行う。一方、車両2の所定範囲に位置する路面標示がないと判定された場合(S2:NO)には、当該運転支援処理プログラムを終了し、所定時間経過後に再度、現在地点に基づく路面標示の情報の読み出しを行う。尚、上記S2が路面標示存在判定手段の処理に相当する。
S3の路面標示の画像認識処理では、後方カメラ3によって撮像される車両2の後方環境の画像を取り込んで解析処理を行い、車両が走行する路面上に形成された路面標示の境界線や測定開始点を特定するとともに、検出された路面標示の種類を判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から撮像画像中の路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。
具体的には、先ず、NTSCのようなアナログ通信手段や、i−linkのようなデジタル通信手段を用いて後方カメラ3で撮像した映像を入力し、jpeg、mpeg等のデジタル画像フォーマットに変換する。次に、路面標示が一般に白線又は黄線であることを用いて、撮像画像中の路面標示が描かれた路面と他の路面を輝度差に基づいて輝度補正を行う。その後、対象となる路面標示を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面標示と他の路面との境界線及び測定開始点を検出する。
その後、検出された境界線及び測定開始点の配置から撮像画像中の路面標示の種類を特定し、更には特定された路面標示の種類が前記S2で自車の所定範囲に存在すると判定された路面標示の種類と一致するか否かを判定する。
そして、S4では前記S3の処理で路面標示が検出されたか否かが判定され、路面標示が検出されたと判定された場合(S4:YES)、即ち、撮像された撮像画像中に路面標示を認識し、且つ、認識された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致すると判定された場合には、S5へと移行する。一方、路面標示が検出されなかったと判定された場合(S4:NO)、即ち、撮像された撮像画像中に路面標示が認識できなかったか、又は、認識された路面標示が前記S2で自車の周囲に位置すると判定された路面標示の種類と一致しないと判定された場合には、当該運転支援処理プログラムを終了し、所定時間経過後に再度、現在地点に基づく路面標示の情報の読み出しを行う。
次に、S5でナビゲーションECU6は、前記S2で車両2の所定範囲(車両2の前方30m〜後方20m)に位置すると判定された路面標示が特定種類の文字列からなる路面標示であるか否か判定する。ここで、特定種類の文字列からなる路面標示とは、正確な車両制御(特に、停止制御、加減速制御)が必要となるエリアに多数配置されている路面標示が該当する。例えば、本実施形態に係る運転支援装置1では、『合流注意』の文字列からなる路面標示、『この先カーブ』、『この先急カーブ』等の『ーブ』を含む文字列からなる路面標示、『とまれ』、『止まれ』等の『まれ』を含む文字列からなる路面標示が該当する。尚、これらの路面標示は制御対象物として「停止線」、「コーナ」、「合流帯」等の停止制御又は加減速制御が必要となる制御対象物が対応付けられている可能性が非常に高く、路面標示を検出した際の車両2の正確な位置を特定する要求の高い路面標示である。
そして、車両2の所定範囲に位置するのが特定種類の文字列からなる路面標示であると判定された場合(S5:YES)には、前記S3の路面標示の画像認識処理に加えて撮像画像にある路面標示に対する文字内容の識別処理も行われる(S6)。ここで、前記S6の文字内容の認識処理では、上述した特定種類の文字列の内、『合流注意』の文字列からなる路面標示については『合』の文字72、『流』の文字73、『注』の文字74、『意』の文字75(図7参照)の全4文字を対象として文字内容を識別する。また、『この先カーブ』、『この先急カーブ』等の文字列からなる路面標示については『ー』の文字77、『ブ』の文字78の(図8参照)の2文字を対象として文字内容を識別する。また、『とまれ』、『止まれ』等の文字列からなる路面標示については『ま』の文字80、『れ』の文字81の(図9参照)の2文字を対象として文字内容を識別する。尚、上記S6が文字識別手段の処理に相当する。
一方、車両2の所定範囲に位置するのが特定種類の文字列からなる路面標示以外の路面標示であると判定された場合(S5:NO)には、S7へと移行する。
S7ではナビゲーションECU6は、検出された路面標示に関連付けられた制御対象物を対象とした案内や車両制御を行う。尚、S7での制御対象物に対する案内や車両制御の具体的処理の内容については、後に図12を用いて詳細に説明する。
次に、前記S7で実行される案内及び車両制御処理について図12に基づき説明する。図12は本実施形態に係る運転支援装置1における案内及び車両制御処理のフローチャートである。
先ず、S11でナビゲーションECU6は前記S3で検出された路面標示と車両2との間の距離を算出する。具体的には、路面標示を撮像した撮像画像中における特定された測定開始点の位置(具体的には下縁から測定開始点までの画素数)から、車両2と測定開始点の間の距離D1を算出する。
尚、特に前記S6において路面標示の文字内容が識別されていた場合には、路面標示DB42を参照して識別された文字が検出された路面標示の何文字目の文字にあるかについても特定する。それによって、路面標示を検出した際の車両2と路面標示との位置関係についても正確に特定することが可能であり、その結果、車両2とその路面標示に配置された測定開始点Pとの間の距離D1についても正確に算出することが可能となる。従って、後述のS12においても走行中の車両2の現在位置から制御対象物までの正確な対象距離Tを算出することができる。尚、上記S11が位置関係特定手段の処理に相当する。
尚、特に前記S6において路面標示の文字内容が識別されていた場合には、路面標示DB42を参照して識別された文字が検出された路面標示の何文字目の文字にあるかについても特定する。それによって、路面標示を検出した際の車両2と路面標示との位置関係についても正確に特定することが可能であり、その結果、車両2とその路面標示に配置された測定開始点Pとの間の距離D1についても正確に算出することが可能となる。従って、後述のS12においても走行中の車両2の現在位置から制御対象物までの正確な対象距離Tを算出することができる。尚、上記S11が位置関係特定手段の処理に相当する。
その後、S12でナビゲーションECU6は、前記S11で算出された車両2と測定開始点の間の距離D1と、路面標示から案内及び車両制御の対象に選択された制御対象物までの物間距離Mと、車両長さD2とから、路面標示検出時点の車両2から制御対象物までの対象距離T(=M−D1−D2)を算出する(図10参照)。
更に、S12ではエンジンから一定走行距離毎に発生される車速パルスに基づいて速度センサ35により路面標示検出地点からの車両2の走行距離Sを算出し、走行中の車両2の現在位置から制御対象物までの対象距離T(=M−D1−D2−S)を算出する(図10参照)。尚、上記S11及びS12が対象物距離算出手段の処理に相当する。
更に、S12ではエンジンから一定走行距離毎に発生される車速パルスに基づいて速度センサ35により路面標示検出地点からの車両2の走行距離Sを算出し、走行中の車両2の現在位置から制御対象物までの対象距離T(=M−D1−D2−S)を算出する(図10参照)。尚、上記S11及びS12が対象物距離算出手段の処理に相当する。
その後、S13では前記S12で算出された制御対象物までの対象距離Tに基づいて、車両2が制御対象物の種類ごとに設定された案内又は制御開始地点に到達したか否かが判定される。例えば、制御対象物が「停止線」や「コーナ」や「合流帯」である場合には、対象距離が50m以下である場合に、案内又は制御開始地点に到達したと判定される。また、制御対象物が「交差点」の路面標示である場合には残距離が10m以下である場合に、案内又は制御開始地点に到達したと判定される。
そして、車両2が案内又は制御開始地点に到達したと判定された場合(S13:YES)には、制御対象物に対する走行の案内又は車両制御が必要か否かを判定する為に車両状況及び運転者状況の取得が行われる(S14)。具体的には、車両2の車速、アクセル開度、ステアリング角、運転者の顔の向き、視線方向等を取得する。
そして、S15でナビゲーションECU6は、前記S14で取得した車両状況及び運転者状況に基づいて、制御対象物に対する車両制御及び案内の必要度合いを複数段階に分けて示した制御レベルの算出、判定を行う。
ここで、本実施形態では既に図4に示したように制御対象物に対する必要減速度(車両にかかる減速G)G1を自車の現在速度や加速度から算出し、算出された必要減速度の値から制御レベルを判定する。続いて、S16においてナビゲーションECU6は、前記S15で判定された制御レベルに応じた案内及び車両制御を行う。
ここで、本実施形態では既に図4に示したように制御対象物に対する必要減速度(車両にかかる減速G)G1を自車の現在速度や加速度から算出し、算出された必要減速度の値から制御レベルを判定する。続いて、S16においてナビゲーションECU6は、前記S15で判定された制御レベルに応じた案内及び車両制御を行う。
一方、車両2が案内又は制御開始地点に到達していないと判定された場合(S13:NO)には、制御対象物に対する案内及び車両制御を行うことなく処理を終了する。
以上詳細に説明した通り、本実施形態に係る運転支援装置1では、車両2から所定範囲内に路面標示が存在すると判定された場合(S2:YES)に、後方カメラ3によって撮像された画像から路面標示を検出し(S3)、特に検出された路面標示が特定種類の文字列からなる路面表示である場合には含まれる一部又は全部の文字内容を識別し(S6)、その識別結果を参照して車両から案内及び車両制御の対象となる制御対象物までの対象距離を算出し(S11、S12)、算出された対象距離に基づいて、制御対象物に応じた案内及び車両制御を行う(S16)ので、撮像画像中に含まれる文字列を含む路面標示を認識する際に、特定種類の文字列の一部又は全部の文字を識別対象とすることにより、車両の正確な位置を特定することを可能となり、その結果、車両から制御対象物までの正確な道なり距離を算出することができる。また、路面標示に含まれる全文字列について識別する場合と比較して、認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
また、制御対象物に対して行う必要の有る車両制御内容が停止制御又は加減速制御であって、それらの正確な制御が必要となるエリアに多数配置されている路面標示について、文字内容の識別を行うので、文字列の路面標示の検出に基づいて制御対象物に対する正確且つ適切な車両制御を行うことが可能となる。
また、特定種類の文字列の内、『ーブ』や『まれ』等の共通の文字部分に対して文字内容の識別処理を行うので、文字列を構成する全文字に対して識別をする場合と比較して路面標示の認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
更に、車両の現在地から所定範囲内に路面標示が存在する場合に路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。
また、制御対象物に対して行う必要の有る車両制御内容が停止制御又は加減速制御であって、それらの正確な制御が必要となるエリアに多数配置されている路面標示について、文字内容の識別を行うので、文字列の路面標示の検出に基づいて制御対象物に対する正確且つ適切な車両制御を行うことが可能となる。
また、特定種類の文字列の内、『ーブ』や『まれ』等の共通の文字部分に対して文字内容の識別処理を行うので、文字列を構成する全文字に対して識別をする場合と比較して路面標示の認識処理にかかる制御部の処理負担について軽減させることができ、認識処理に必要な記憶容量についても減少させることができる。
更に、車両の現在地から所定範囲内に路面標示が存在する場合に路面標示の検出を行うので、必要なタイミングのみで撮像手段を用いた検出処理を行い、路面標示の検出における装置の処理負荷を最小限とすることが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態では、制御対象物が停止線、交差点、合流帯、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
例えば、本実施形態では、制御対象物が停止線、交差点、合流帯、コーナ進入口である場合について説明したが、制御対象物は上記のものに限られること無く、例えば、横断歩道等の路面標示の他、インターチェンジ等の施設であっても良い。
また、本実施形態では『この先カーブ』、『この先急カーブ』等の文字列からなる路面標示に対しては、文字内容の識別を行う対象となる文字を『ーブ』にしているが、『カーブ』の3文字を対象としても良い。また、『合流注意』の文字列からなる路面標示に対しては、『注意』のみを文字の識別を行う対象としても良い。
また、本実施形態に係る運転支援装置1が、撮像手段として後方環境を撮像する後方カメラ3を設け、後方カメラによって撮像した画像に基づいて路面標示の認識を行い、制御対象物に対する制御を行っていたが、撮像手段として後方カメラ3のほかに車両2の前方環境を撮像する前方カメラを設け、後方カメラ3に加えて前方カメラで撮像した画像に基づいて路面標示の認識を行っても良い。
ここで、図13は他の実施形態に係る運転支援装置90の概略構成図である。
図13に示すように、他の実施形態に係る運転支援装置90は、車両2に対して設置された前方カメラ91、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。尚、前方カメラ91以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した本実施形態に係る運転支援装置1と同様であり、その説明は省略する。
ここで、図13は他の実施形態に係る運転支援装置90の概略構成図である。
図13に示すように、他の実施形態に係る運転支援装置90は、車両2に対して設置された前方カメラ91、後方カメラ3、ナビゲーション装置4、車両ECU5等で構成されている。尚、前方カメラ91以外の後方カメラ3、ナビゲーション装置4、車両ECU5の各構成に関しては前記した本実施形態に係る運転支援装置1と同様であり、その説明は省略する。
そして、他の実施形態に係る運転支援装置90では前方カメラ91で撮像した画像に基づいて、以下のように制御対象の拡大及び路面標示の認識率の向上を実現可能となる。
例えば、前方カメラ91によって撮像した画像に基づいて前方の交差点に位置する信号機が赤で点灯していると判定された場合には、前記したような「交差点」の制御対象物に従った案内及び車両制御(S16)に加えて、交差点の信号機が赤で点灯していることの警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11やAT13を制御することが可能となる。
また、前方カメラ91によって撮像した画像に基づいて前方の交差点に一時停止の道路標識が設置されていると判定された場合には、前記したような「交差点」の制御対象物に従った案内及び車両制御(S16)に加えて、一時停止に対する警告を行うとともに、交差点の手前で車両2が停止するようにブレーキアクチュエータ11やAT13を制御することが可能となる。
また、前方カメラ91によって撮像した画像に基づいて前方の路面に路面標示が形成されていると判定された場合に、車両2が路面標示を通過するタイミングを算出し、算出されたタイミングに合わせて後方カメラ3による画像の認識処理を行うことにより、視野が狭い後方カメラ3を用いた場合であっても路面標示の認識率を向上させることが可能となる。
1 運転支援装置
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
42 路面標示DB
2 車両
3 後方カメラ
5 車両ECU
6 ナビゲーションECU
7 液晶ディスプレイ
8 スピーカ
9 現在地検出部
42 路面標示DB
Claims (7)
- 車両に配置され、車両の周辺を撮像する撮像手段と、
前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示に含まれる複数種類の文字列の内、特定種類の文字列の一部又は全部を認識対象として文字内容を識別する文字識別手段と、
前記文字識別手段の識別結果に基づいて前記路面標示と車両との位置関係を特定する位置関係特定手段と、を有することを特徴とする路面標示認識システム。 - 前記文字識別手段で識別対象となる特定種類の文字列の一部又は全部の文字内容を関連情報と関連付けて記憶した文字列情報記憶手段と、
前記文字識別手段により文字内容が識別された文字列の一部又は全部に関連付けられた関連情報を取得する情報取得手段と、を有することを特徴とする請求項1に記載の路面標示認識システム。 - 前記関連情報は、前記特定種類の文字列を含む路面標示に対応付けられた制御対象物に関する情報と、路面標示から前記対応付けられた制御対象物までの道なり距離に関する情報とを含み、
前記文字識別手段により文字内容が識別された場合に、車両から識別された文字列を含む路面標示に対応付けられた前記制御対象物までの道なり距離を算出する対象距離算出手段と、
前記対象距離算出手段の算出結果に基づいて前記制御対象物に応じた車両の制御を行う車両制御手段と、を有することを特徴とする請求項1又は請求項2に記載の路面標示認識システム。 - 前記特定種類の文字列を含む路面標示は、前記車両制御手段により正確な停止制御又は加減速制御を行う必要があるエリアに対して形成された路面標示であることを特徴とする請求項3に記載の路面標示認識システム。
- 前記路面標示は異なる種類の文字列において共通して用いられる一部の共通文字列を含み、
前記文字識別手段は前記路面標示に含まれる文字列の内、前記共通文字列を認識対象とすることを特徴とする請求項1乃至請求項4のいずれかに記載の路面標示認識システム。 - 車両の現在地を検出する現在地検出手段と、
路面に形成された路面標示の位置情報を記憶した標示情報記憶手段と、
前記現在地検出手段の検出結果と前記標示情報記憶手段に記憶された位置情報とに基づいて、車両の現在地から所定範囲内に前記特定種類の文字列を含む路面標示が存在するか否かを判定する路面標示存在判定手段と、を有し、
前記文字識別手段は、前記路面標示存在判定手段によって前記特定種類の文字列を含む路面標示が存在すると判定された場合に特定種類の文字列の一部又は全部を認識対象として文字内容を識別することを特徴とする請求項1乃至請求項5のいずれかに記載の路面標示認識システム。 - コンピュータに搭載され、
車両に配置された撮像手段により車両の周辺を撮像する撮像機能と、
前記撮像手段により撮像した画像に基づいて前記車両が走行する路面に形成された路面標示に含まれる複数種類の文字列の内、特定種類の文字列の一部又は全部を認識対象として文字内容を識別する文字識別機能と、
前記文字識別機能による識別結果に基づいて前記路面標示と車両との位置関係を特定する位置関係特定機能と、
を実行させることを特徴とするコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007170376A JP2009009368A (ja) | 2007-06-28 | 2007-06-28 | 路面標示認識システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007170376A JP2009009368A (ja) | 2007-06-28 | 2007-06-28 | 路面標示認識システム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2009009368A true JP2009009368A (ja) | 2009-01-15 |
Family
ID=40324383
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007170376A Pending JP2009009368A (ja) | 2007-06-28 | 2007-06-28 | 路面標示認識システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2009009368A (ja) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014044744A (ja) * | 2013-11-14 | 2014-03-13 | Toyota Motor Corp | 運転支援装置 |
JP2015096366A (ja) * | 2013-11-15 | 2015-05-21 | 日産自動車株式会社 | 運転支援装置 |
JP2015104982A (ja) * | 2013-11-29 | 2015-06-08 | 日産自動車株式会社 | 車両用加速抑制装置及び車両用加速抑制方法 |
CN112639905A (zh) * | 2018-08-31 | 2021-04-09 | 株式会社电装 | 标示物识别系统以及标示物识别方法 |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002219998A (ja) * | 2001-01-23 | 2002-08-06 | Auto Network Gijutsu Kenkyusho:Kk | 安全運転支援装置 |
JP2003067407A (ja) * | 2001-08-24 | 2003-03-07 | Clarion Co Ltd | 車載情報検索機器及び情報検索方法 |
JP2003123197A (ja) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | 道路標示等認識装置 |
JP2005128790A (ja) * | 2003-10-23 | 2005-05-19 | Fuji Heavy Ind Ltd | 制限速度認識装置、制限速度表示装置、速度警報装置及び速度制御装置 |
JP2006172262A (ja) * | 2004-12-17 | 2006-06-29 | Nissan Motor Co Ltd | 車両用道路標示検出装置 |
JP2007047886A (ja) * | 2005-08-05 | 2007-02-22 | Aisin Aw Co Ltd | 路面標示認識システム |
JP2007066305A (ja) * | 2005-08-05 | 2007-03-15 | Aisin Aw Co Ltd | 路面標示認識システム |
JP2007147521A (ja) * | 2005-11-29 | 2007-06-14 | Aisin Aw Co Ltd | 車両走行補助システム |
JP2007145251A (ja) * | 2005-11-29 | 2007-06-14 | Aisin Aw Co Ltd | 運転支援装置 |
-
2007
- 2007-06-28 JP JP2007170376A patent/JP2009009368A/ja active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002219998A (ja) * | 2001-01-23 | 2002-08-06 | Auto Network Gijutsu Kenkyusho:Kk | 安全運転支援装置 |
JP2003067407A (ja) * | 2001-08-24 | 2003-03-07 | Clarion Co Ltd | 車載情報検索機器及び情報検索方法 |
JP2003123197A (ja) * | 2001-10-16 | 2003-04-25 | Alpine Electronics Inc | 道路標示等認識装置 |
JP2005128790A (ja) * | 2003-10-23 | 2005-05-19 | Fuji Heavy Ind Ltd | 制限速度認識装置、制限速度表示装置、速度警報装置及び速度制御装置 |
JP2006172262A (ja) * | 2004-12-17 | 2006-06-29 | Nissan Motor Co Ltd | 車両用道路標示検出装置 |
JP2007047886A (ja) * | 2005-08-05 | 2007-02-22 | Aisin Aw Co Ltd | 路面標示認識システム |
JP2007066305A (ja) * | 2005-08-05 | 2007-03-15 | Aisin Aw Co Ltd | 路面標示認識システム |
JP2007147521A (ja) * | 2005-11-29 | 2007-06-14 | Aisin Aw Co Ltd | 車両走行補助システム |
JP2007145251A (ja) * | 2005-11-29 | 2007-06-14 | Aisin Aw Co Ltd | 運転支援装置 |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014044744A (ja) * | 2013-11-14 | 2014-03-13 | Toyota Motor Corp | 運転支援装置 |
JP2015096366A (ja) * | 2013-11-15 | 2015-05-21 | 日産自動車株式会社 | 運転支援装置 |
JP2015104982A (ja) * | 2013-11-29 | 2015-06-08 | 日産自動車株式会社 | 車両用加速抑制装置及び車両用加速抑制方法 |
CN112639905A (zh) * | 2018-08-31 | 2021-04-09 | 株式会社电装 | 标示物识别系统以及标示物识别方法 |
US11830255B2 (en) | 2018-08-31 | 2023-11-28 | Denso Corporation | Method and system for recognizing sign |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4915739B2 (ja) | 運転支援装置 | |
JP4421549B2 (ja) | 運転支援装置 | |
JP4820712B2 (ja) | 路面標示認識システム | |
JP4886597B2 (ja) | レーン判定装置及びレーン判定方法、並びにそれを用いたナビゲーション装置 | |
US8504293B2 (en) | Travel guiding apparatus for vehicle, travel guiding method for vehicle, and computer-readable storage medium | |
EP2141678A1 (en) | Driving support system | |
JP4762697B2 (ja) | 車両走行補助システム | |
KR20130109097A (ko) | 차량에 장착된 차선 인식 시스템과 교통 표지 인식 시스템의 융합 방법 | |
JP2009031196A (ja) | 情報通知システム及びプログラム | |
JP4888285B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2009301267A (ja) | 運転支援装置 | |
JP4561338B2 (ja) | 走行支援装置 | |
JP4637302B2 (ja) | 路面標示認識システム | |
JP2009122825A (ja) | 走行状況判定装置 | |
JP4225189B2 (ja) | 車両運転支援装置 | |
JP2009009368A (ja) | 路面標示認識システム | |
JP4924303B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP5573266B2 (ja) | 車両用対象物画像認識装置、車両用対象物画像認識方法及びコンピュータプログラム | |
JP2007085911A (ja) | 車両位置判定装置、その制御方法及び制御プログラム | |
JP2009002797A (ja) | 車両状態判定装置 | |
JP2005196644A (ja) | 右折支援情報提示装置 | |
JP5564920B2 (ja) | 運転支援装置、運転支援方法及びコンピュータプログラム | |
JP2010160567A (ja) | 消失点特定装置、消失点特定方法及び消失点特定プログラム | |
JP2017199261A (ja) | 逆走検知システム | |
JP2017015583A (ja) | 車両位置補正装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Effective date: 20090317 Free format text: JAPANESE INTERMEDIATE CODE: A621 |
|
A977 | Report on retrieval |
Effective date: 20110209 Free format text: JAPANESE INTERMEDIATE CODE: A971007 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110222 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20110712 |