JP2023131981A - 重畳画像表示装置 - Google Patents
重畳画像表示装置 Download PDFInfo
- Publication number
- JP2023131981A JP2023131981A JP2022037037A JP2022037037A JP2023131981A JP 2023131981 A JP2023131981 A JP 2023131981A JP 2022037037 A JP2022037037 A JP 2022037037A JP 2022037037 A JP2022037037 A JP 2022037037A JP 2023131981 A JP2023131981 A JP 2023131981A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane
- guidance
- image
- marking
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 claims abstract description 105
- 238000000034 method Methods 0.000 claims description 43
- 230000008569 process Effects 0.000 claims description 35
- 238000012545 processing Methods 0.000 claims description 23
- 238000005192 partition Methods 0.000 claims description 17
- 239000004973 liquid crystal related substance Substances 0.000 description 56
- 238000010586 diagram Methods 0.000 description 23
- 238000003384 imaging method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000013459 approach Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 3
- 230000015654 memory Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 238000002834 transmittance Methods 0.000 description 2
- 206010012812 Diffuse cutaneous mastocytosis Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000001541 differential confocal microscopy Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000008685 targeting Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Instructional Devices (AREA)
- Navigation (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線の案内を行う場合において、区画線の検出結果に誤りが生じた場合であっても適切な推奨車線の案内を継続して行うことを可能にした重畳画像表示装置を提供する。【解決手段】車両が現在走行する道路において走行を推奨される推奨車線を取得する一方で、車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出し、更に区画線の検出結果の信頼度を判定するとともに直近の区画線の検出結果が信頼できないと判定された場合には、過去の区画線の検出結果に基づいて案内オブジェクトを表示するように構成する。【選択図】図8
Description
本発明は、車両の走行支援を行う重畳画像表示装置に関する。
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、乗員の周辺環境(風景、実景)に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。
ここで、上記周辺環境に重畳する画像を表示することによって特に車両が走行すべき推奨車線の案内を行う技術として例えば特開2014-48146号公報には、車両の前方風景を撮像した前方画像を表示部に表示するとともに、前方画像に含まれる推奨車線の領域に重畳して矢印形状を有する案内画像を表示する技術について開示されている。
しかしながら、推奨車線を示す案内として上記特許文献1に開示されているような案内画像を推奨車線に重畳させた案内を行う場合には、矢印形状を有する案内画像の全体が前方画像における推奨車線の領域内に収まるように、案内画像の形状や表示位置を適切に設定する必要がある。その為には、前方画像内に含まれる道路(即ち車両が走行する道路)の車線を区画する区画線を正確に検出する必要があり、例えば前方画像に対する画像認識を行うことにより区画線の検出を行っている。しかしながら区画線についてはペイントがはがれていたり薄くなっている箇所が存在し、また他車両等の障害物によって区画線が隠れる場合もあり、更に夜間や悪天候時では検出精度が低下することも予想される。従って、車両の走行中において常に前方画像内に含まれる道路の区画線を正確に検出し続けることは非常に困難であり、一時的に区画線の検出結果に誤りが生じる場合も当然に想定される。
そして、区画線の検出結果に誤りが生じた場合にその検出結果に基づいて案内画像を表示することとすると、案内画像の形状がそれまでと異なる歪な形状に突然変化したり、推奨車線と異なる車線に案内画像が重畳される等の事象が生じる虞があった。
本発明は前記従来における問題点を解消するためになされたものであり、車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線の案内を行う場合において、区画線の検出結果に誤りが生じた場合であっても適切な推奨車線の案内を継続して行うことを可能にした重畳画像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる
重畳画像表示装置であって、車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、前記車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出する区画線検出手段と、前記区画線検出手段による区画線の検出結果の信頼度を判定する信頼度判定手段と、前記区画線検出手段による区画線の検出結果と前記信頼度判定手段による信頼度の判定結果とに基づいて前記推奨車線に対する案内を行う為の前記案内オブジェクトを表示するオブジェクト表示手段と、を有し、前記オブジェクト表示手段は、前記信頼度判定手段によって直近の前記区画線検出手段による区画線の検出結果が信頼できないと判定された場合に、過去の区画線の検出結果に基づいて前記案内画像を表示する。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
重畳画像表示装置であって、車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、前記車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出する区画線検出手段と、前記区画線検出手段による区画線の検出結果の信頼度を判定する信頼度判定手段と、前記区画線検出手段による区画線の検出結果と前記信頼度判定手段による信頼度の判定結果とに基づいて前記推奨車線に対する案内を行う為の前記案内オブジェクトを表示するオブジェクト表示手段と、を有し、前記オブジェクト表示手段は、前記信頼度判定手段によって直近の前記区画線検出手段による区画線の検出結果が信頼できないと判定された場合に、過去の区画線の検出結果に基づいて前記案内画像を表示する。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
前記構成を有する本発明に係る重畳画像表示装置によれば、車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線の案内を行う場合において、区画線の検出結果に誤りが生じたことが予想される場合にその検出結果を採用せず過去の区画線の検出結果を用いて案内オブジェクトの表示を行うことによって、区画線の検出結果に誤りが生じた場合であっても適切な推奨車線の案内を継続して行うことが可能となる。
以下、本発明に係る重畳画像表示装置をナビゲーション装置に具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
[第1実施形態]
先ず、第1実施形態に係るナビゲーション装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係るナビゲーション装置1を示したブロック図である。
先ず、第1実施形態に係るナビゲーション装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係るナビゲーション装置1を示したブロック図である。
図1に示すように第1実施形態に係るナビゲーション装置1は、ナビゲーション装置1が搭載された車両の現在位置を検出する現在位置検出部11と、各種のデータが記録されたデータ記録部12と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU13と、ユーザからの操作を受け付ける操作部14と、ユーザに対して進行方向前方を撮像した実景画像を表示する液晶ディスプレイ15と、経路案内に関する音声ガイダンスを出力するスピーカ16と、記憶媒体であるDVDを読み取るDVDドライブ17と、プローブセンタやVICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール18と、を有する。また、ナビゲーション装置1はCAN等の車載ネットワークを介して、ナビゲーション装置1の搭載された車両に対して設置されたフロントカメラ19や各種センサが接続されている。
以下に、ナビゲーション装置1が有する各構成要素について順に説明する。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
また、データ記録部12は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部12をハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクにより構成しても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置1が通信により取得する構成としても良い。
ここで、地図情報DB31は、例えば、道路(リンク)に関するリンクデータ32、ノード点に関するノードデータ33、分岐点に関する分岐点データ34、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。
また、リンクデータ32としては、道路を構成する各リンクに関してリンクの属する道路の幅員、勾(こう)配、カント、バンク、路面の状態、道路の車線数、車線毎の進行方向の通行区分、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、T字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、高速道路と一
般道(国道、県道、細街路等)を表すデータがそれぞれ記録される。
般道(国道、県道、細街路等)を表すデータがそれぞれ記録される。
また、ノードデータ33としては、実際の道路の分岐点(交差点、T字路等も含む)や各道路に曲率半径等に応じて所定の距離毎に設定されたノード点の座標(位置)、ノードが交差点に対応するノードであるか等を表すノード属性、ノードに接続するリンクのリンク番号のリストである接続リンク番号リスト、ノードにリンクを介して隣接するノードのノード番号のリストである隣接ノード番号リスト、各ノード点の高さ(高度)等に関するデータ等が記録される。
また、分岐点データ34としては、分岐点の交差点名称、分岐点を形成するノードを特定する該当ノード情報、分岐点に接続されるリンクを特定する接続リンク情報、分岐点に接続されるリンクに対応する方面名称、分岐点の形状を特定する情報等が記憶される。また、分岐点での右左折案内を行う場合に目印となり得る構造物についても記憶される。
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)13は、ナビゲーション装置1の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図2)等が記録されたROM43、後述の区画線の検出結果の履歴やROM43から読み出したプログラム等を記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU13は、処理アルゴリズムとしての各種手段を有する。例えば、推奨車線取得手段は、車両が現在走行する道路において走行を推奨される推奨車線を取得する。区画線検出手段は、車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出する。信頼度判定手段は、区画線検出手段による区画線の検出結果の信頼度を判定する。オブジェクト表示手段は、区画線検出手段による区画線の検出結果と信頼度判定手段による信頼度の判定結果とに基づいて推奨車線に対する案内を行う為の案内オブジェクトを表示する。
操作部14は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU13は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部14は液晶ディスプレイ15の前面に設けたタッチパネルを有する構成としても良い。また、マイクと音声認識装置を有する構成としても良い。
また、液晶ディスプレイ15には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。また、特に第1実施形態では、車両が案内分岐点に近づいた段階で液晶ディスプレイ15にはフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)を表示し、更に必要に応じて風景に対して案内オブジェクトを重畳させて表示する。
ここで、風景に重畳して表示される案内オブジェクトとしては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。例えば乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、ナビゲーション装置1で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印、案内分岐点の目印を示すアイコン、案内分岐点までの距離、車両が走行すべき推奨車線の位置、推奨車線への車線変更を促す案内等)、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図
画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等がある。尚、以下に説明する第1実施形態では案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とする。より具体的には案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置を示す案内画像、推奨車線への移動を促す案内画像等とする。
画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等がある。尚、以下に説明する第1実施形態では案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とする。より具体的には案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置を示す案内画像、推奨車線への移動を促す案内画像等とする。
また、スピーカ16は、ナビゲーションECU13からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
また、DVDドライブ17は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ17に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
また、通信モジュール18は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
また、フロントカメラ19は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、例えばルームミラーの裏側やフロントバンパに対して光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ19により撮像された撮像画像は、前述したように車両周辺(特に車両前方)の風景(実景画像)として液晶ディスプレイ15に対して表示される。また、フロントカメラ19により撮像された撮像画像は後述の様に車両が走行する道路の区画線を検出したり、車両が走行する車線を特定する際にも用いられる。
続いて、前記構成を有するナビゲーション装置1においてナビゲーションECU13が実行する走行支援処理プログラムについて図2に基づき説明する。図2は第1実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、液晶ディスプレイ15に表示された車両周辺の風景に重畳した案内オブジェクトを視認させることによって、車両の走行支援を行うプログラムである。尚、以下の図2、図5及び図19にフローチャートで示されるプログラムは、ナビゲーション装置1が備えているRAM42やROM43に記憶されており、CPU41により実行される。
以下の説明では案内オブジェクトを用いた車両の走行支援として、ナビゲーション装置1で設定された案内経路に沿った車両の走行案内を行う例について説明する。また、表示対象となる案内オブジェクトは、車両の進行方向前方にある案内分岐点における案内を行う為の案内情報とし、特に案内分岐点の退出方向を示す矢印、推奨車線の位置を示す案内画像及び推奨車線への移動を促す案内画像を案内オブジェクトとして表示する場合の処理を例に挙げて説明する。但し、ナビゲーション装置1では案内オブジェクトを用いて上記走行支援以外の案内や情報提供を行うことも可能である。また、表示対象となる案内オブジェクトは、上記矢印や案内画像以外の情報とすることも可能である。例えば、案内オブジェクトとして乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、路面に表示する警告(追突注意、制限速度等)、次の案内分岐点までの距離、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等を表示することも可能である。
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車両の現在位置を現在位置検出部11の検出結果や地図情報に基づいて特定する。尚、車両の現在位置を特定する際には、車両の現在位置を地図情報にマッチングさせるマップマッチング処理についても行う。その後、ナビゲーション装置1で設定されている案内経路を読み出し、特定された車両の現在位置から案内経路に沿った次の案内分岐点までの距離を算出する。尚、案内分岐点とは、ナビゲーション装置1に設定されている案内経路に従ってナビゲーション装置1が走行の案内を行う際に、右左折指示(左折ランプや右折ランプへの進入指示も含む)等の案内を行う対象となる分岐点(交差点)である。尚、右左折はしないが特殊な形状を有する分岐点(難交差点)も案内分岐点に該当する。
次に、S2においてCPU41は、前記S1で算出された次の案内分岐点までの距離が、所定の案内開始距離未満か否かを判定する。尚、案内開始距離は車両が走行する道路の道路種別によって決定され、例えば高速道路は1km、一般道は高速道路よりも短い300mとする。但し、案内開始距離は固定値でなく変動する値としても良い。例えば一般道において案内分岐点の手前側300m以内に他の分岐点がある場合には、案内分岐点から該他の分岐点までの距離としても良い。
そして、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満であると判定された場合(S2:YES)には、S3へと移行する。それに対して、前記S1で算出された次の案内分岐点までの距離が案内開始距離未満でないと判定された場合(S2:NO)には、S1へと戻る。
S3においてCPU41は、次の案内分岐点までの距離が、所定の退出方向案内開始距離未満か否かを判定する。尚、退出方向案内開始距離は前記S2の判定基準となる案内開始距離よりも短い距離であって、車両が走行する道路の道路種別によって決定され、例えば高速道路は500m、一般道は高速道路よりも短い50mとする。
そして、次の案内分岐点までの距離が退出方向案内開始距離未満であると判定された場合(S3:YES)には、S6へと移行する。それに対して、次の案内分岐点までの距離が退出方向案内開始距離未満でないと判定された場合(S3:NO)には、S4へと移行する。
次に、S4においてCPU41は、後述の第1案内オブジェクト表示位置決定処理(図5)を行う。第1案内オブジェクト表示位置決定処理は、推奨車線の位置を示す案内画像或いは推奨車線への移動を促す案内画像を案内オブジェクト(以下、第1案内オブジェクトという)として表示対象とし、液晶ディスプレイ15に対して表示する第1案内オブジェクトの大きさ、形状及び第1案内オブジェクトを表示する位置(範囲)を具体的に決定する処理である。尚、前記S4で決定される第1案内オブジェクトの大きさ、形状及び第1案内オブジェクトを表示する位置は、例えば風景内の推奨車線、自車の走行車線或いはその間の車線に案内オブジェクトを重畳して乗員に視認させる為の条件となる。また、液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。そして、前記S4では後述のように表示対象となる撮像画像から車両が現在走行する道路の区画線を検出する処理を行う。その結果、区画線の検出結果に基づいて液晶ディスプレイ15に表示された風景内において推奨車線や自車の走行車線が存在する範囲を特定することが可能であり、更に特定された範囲に重畳するように第1案内オブジェクトの大きさ、形状及び第1案内オブジェクトを表示する位置が決定される。
続いて、S5においてCPU41は、前記S4で決定された大きさ及び形状の第1案内
オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクトの画像を前記S4で決定された位置(範囲)に対して描画する。前述したように液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された第1案内オブジェクトを視認させることが可能となる。
オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクトの画像を前記S4で決定された位置(範囲)に対して描画する。前述したように液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された第1案内オブジェクトを視認させることが可能となる。
図3は前記S5において液晶ディスプレイ15に表示される走行案内画面51の例を示した図である。図3に示すように液晶ディスプレイ15には、フロントカメラ19により撮像された現時点の車両前方の風景52が表示される。そして、車両前方の風景52に重畳して第1案内オブジェクトの画像53が表示される。
ここで、第1実施形態では案内に用いられる案内オブジェクトとして複数種類の案内オブジェクトが存在し、案内の内容や現在の状況に応じて選択された一又は複数種類の案内オブジェクトが表示される。また、複数種類の案内オブジェクトが同時に表示対象となる場合もある。図3に示す例は、車両の現在位置が案内分岐点に対して案内開始距離未満且つ退出方向案内開始距離以上に接近した状態(例えば案内分岐点まで1km~500m)に表示される走行案内画面51の例であり、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線54を他の車線と識別して案内する案内画像が第1案内オブジェクトの画像53として表示される第1の表示態様と、推奨車線54を他の車線と識別して案内するとともに推奨車線54への移動を促す案内画像が第1案内オブジェクトの画像53として表示される第2の表示態様を示す。
尚、第1案内オブジェクトの画像53については、図3に示すように基本的に風景52内にある推奨車線54、或いは車両の現在走行する車線(以下、自車走行車線という)55から推奨車線54まで跨る領域に重畳して表示される。具体的には車両が案内分岐点に閾値以内(例えば高速道路では700m以内)に接近するまでの間は、自車両が推奨車線54を走行しているか否かに関わらず推奨車線54のみに重畳して表示する(第1の表示態様)。この段階では推奨車線54への移動を促すよりも推奨車線54の存在を乗員に認知させることを目的とする。
その後、上記第1案内オブジェクトの画像53が表示された状態で車両が推奨車線54に移動することなく案内分岐点に閾値以内(例えば高速道路では700m以内)まで接近した場合には、自車走行車線55から推奨車線54まで跨る領域に重畳する新たな第1案内オブジェクトの画像53が表示される(第2の表示態様)。それによって、推奨車線54への移動を行わない乗員に対して推奨車線への移動を促すことが可能となる。尚、上記推奨車線への移動を促す案内を行うに際して、第1実施形態では自車走行車線55から推奨車線54までを含む広い領域に対して第1案内オブジェクトの画像53が表示されるので、矢印などの画像を表示する場合と比較して推奨車線への車線変更を促す強制感のある案内を抑制することが可能となる。
但し、車両が案内分岐点に閾値以内(例えば高速道路では700m以内)まで接近した場合であっても推奨車線54を走行する状態では、推奨車線への移動を促す必要がないので第1案内オブジェクトの画像53は推奨車線54(自車走行車線55にも該当)のみに重畳して表示する(第1の表示態様)。
また、上記実施例では案内分岐点までの距離に応じて第1の表示態様から第2の表示態様へと切り替えを行っているが、第2の表示態様による表示は行わずに常に第1の表示態様により表示を行うようにしても良い。また、案内分岐点までの距離を第1案内オブジェ
クトの画像53に対して表示するようにしても良い。その後、S3へと戻り、案内分岐点までの距離が退出方向案内開始距離未満となるまで第1の案内オブジェクトの画像53を継続して表示する。第1の案内オブジェクトについては後程より詳細に説明する。
クトの画像53に対して表示するようにしても良い。その後、S3へと戻り、案内分岐点までの距離が退出方向案内開始距離未満となるまで第1の案内オブジェクトの画像53を継続して表示する。第1の案内オブジェクトについては後程より詳細に説明する。
一方、S6においてCPU41は、案内分岐点の退出方向を示す矢印を案内オブジェクト(以下、第2案内オブジェクトという)として表示対象とし、液晶ディスプレイ15に対して表示する第2案内オブジェクトの大きさ、形状及び第2案内オブジェクトを表示する位置(範囲)を決定する。尚、第1実施形態では第2案内オブジェクトは、車両の現在位置に対して所定距離前方(例えば10m前方)で且つ道路路面から所定高さ(例えば1m)上方にあって車両の進行方向前方にある案内分岐点の退出方向を示す三角形状の3つの矢印とする。
続いて、S7においてCPU41は、前記S6で決定された大きさ及び形状の第2案内オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第2案内オブジェクトの画像を前記S6で決定された位置(範囲)に対して描画する。尚、液晶ディスプレイ15には車両から案内分岐点までの距離が案内開始距離未満となる前に予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された第2案内オブジェクトを視認させることが可能となる。
図4は前記S7において液晶ディスプレイ15に表示される走行案内画面51の例を示した図である。図4に示すように液晶ディスプレイ15には、フロントカメラ19により撮像された現時点の車両前方の風景52が表示される。そして、車両前方の風景52に重畳して第2案内オブジェクトの画像57が表示される。
ここで、第1実施形態では案内に用いられる案内オブジェクトとして複数種類の案内オブジェクトが存在し、案内の内容や現在の状況に応じて選択された一又は複数種類の案内オブジェクトが表示される。また、複数種類の案内オブジェクトが同時に表示対象となる場合もある。図4に示す例は、車両の現在位置が案内分岐点に対して退出方向案内開始距離未満に接近した状態(例えば案内分岐点まで500m以内)に表示される走行案内画面51の一例であり、車両が現在走行する道路の上方で車両の今後の進路に沿った位置に、案内分岐点の退出方向を示す複数個の矢印が第2案内オブジェクトの画像57として表示されている。
尚、第2案内オブジェクトの画像57については、複数の矢印形状のオブジェクトの画像を含み、複数のオブジェクトの画像を車両が現在走行する道路の上方に対して車両の今後の進路に沿って所定間隔で位置するように表示する。各矢印の向きは車両の案内分岐点の退出方向を示す。また、第2案内オブジェクトの画像57は、車両が案内分岐点から離れた状態では車両との相対位置が固定された態様(以下、第1の態様という)で表示され、車両が案内分岐点にある程度まで近づくと、風景52内にある案内分岐点との相対位置が固定された態様(以下、第2の態様という)に切り替えて表示される。特に第2の態様では第2案内オブジェクトの画像57の一部が案内分岐点に重畳した状態で固定される。従って、走行案内画面51を車両の乗員が視認した場合に、車両の進路や、右左折対象となる案内分岐点の位置や、案内交差点における退出方向を正確に把握できる。その後、車両が案内分岐点を通過するまで第2案内オブジェクトの画像57を継続して表示する。
その後、S8においてCPU41は、車両が案内分岐点を通過したか否かを判定する。例えば現在位置検出部11で検出された車両の現在位置と地図情報に基づいて判定される。
そして、車両が案内分岐点を通過したと判定された場合(S8:YES)には、液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に表示されていた案内オブジェクトを非表示とする(S9)。尚、案内オブジェクトを非表示とする場合には、表示されている案内オブジェクトの画像の透過率を案内分岐点までの距離に応じで段階的に上昇させ、最終的に車両が案内分岐点に到達するタイミングで透過率が100%とするのが望ましい。また、フロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)については案内オブジェクトを非表示とした後も一定期間継続して表示された後に地図画像の表示へと切り替わる。
一方、車両が案内分岐点を通過していないと判定された場合(S8:NO)にはS6へと戻り、案内オブジェクトの表示を継続して行う。
次に、前記S4において実行される第1案内オブジェクト表示位置決定処理のサブ処理について図5に基づき説明する。図5は第1案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。
先ず、S11においてCPU41は、フロントカメラ19で撮像した画像に対して画像処理を施すことにより、車両の走行する道路の路面に描かれた区画線を認識(検出)する。尚、車両が走行する道路の車線の数に関わらず、基本的に自車両の現在走行する車線を区画する区画線(即ち自車両の左右両側の夫々最も近い位置にある区画線)のみを検出対象とする。また、画像認識によって区画線を検出する対象となる検出範囲は、車両の現在位置から所定距離以内の範囲とする。所定距離は30mとするが、フロントカメラ19の性能によってその値は適宜変更することが望ましい。
以下に前記S11における区画線の検出処理について簡単に説明する。先ず、CPU41は、フロントカメラ19で撮像した撮像画像中にある区画線を検出する為に、路面と区画線を輝度差に基づいて輝度補正を行う。その後、区画線を画像から分離する2値化処理、歪みを補正する幾何学処理、画像の雑音を除去する平滑化処理等を行い、路面と区画線との境界線を検出する。検出された境界線によって区画線の存在や種別が特定される。また区画線と検出された範囲の画像部分を抽出して色認識(RGB値検出)を行うことにより区画線の色についても検出可能となる。
続いて、S12においてCPU41は、前記S11の画像認識によって検出された所定距離以内の区画線の検出結果から所定距離外にある区画線の位置を予測し、所定距離外にある区画線についても検出する。尚、前記S12において区画線を検出(予測)する対象となる範囲は、案内オブジェクトを重畳する範囲とし、例えば本実施形態では車両の現在位置から100m以内の範囲とする。
ここで図6は前記S12の区画線の検出処理について説明した図である。尚、図6に示す直交座標系は自車両の現在位置(より具体的にはカメラの設置位置)を原点とし、縦軸は進行方向の距離[m]を示す。横軸は左方向を正、右方向を負とし、道路幅方向の距離[m]を示す。そして、前記S12において先ずCPU41は、図6の直交座標系に対して前記S11の画像認識により検出された車両の現在位置から30m内の区画線の位置をプロットする。尚、図6に示す例では左右の区画線毎に4点をプロットしているが、その数は5点以上又は3点以下にしても良い。但し、プロットする点が多い程、より正確な区画線の位置の予測が可能となる。その後、左右の区画線毎にプロットされた各点を通過する曲線又は直線(近似曲線としても良い)を算出する。その後、算出された曲線又は直線を30mより先にも延線し、延線した曲線又は直線に基づき車両の現在位置から30mより遠方の区画線の位置を推定する。即ち、延線した曲線又は直線に沿って30mよりも遠方の区画線が位置すると推定する。
尚、前記S12において曲線又は直線の延線を行う場合については、車両が走行する道路の道路形状について考慮する。例えば図7に示すように車両が直進形状の道路を走行中の場合については直進方向に延線する一方で、例えば曲線形状の道路を走行中の場合には道路のR(曲線半径)に従って延線する。尚、車両が走行する道路の道路形状についてはフロントカメラ19の撮像画像に基づいて取得しても良いし、地図情報と車両の現在位置から取得するようにしても良い。
次に、S13においてCPU41は、前記S11及びS12で行われた直近(今回)の区画線の検出結果の信頼度を判定する。具体的には以下の(a)及び(b)の条件に基づいて判定を行う。
(a)過去の検出結果から区画線の位置が閾値(例えば道路幅方向に3m)以上変化したか否か。尚、過去の検出結果とは基本的に前回(信頼度の判定対象とする検出結果の一つ前)の検出結果とするが、例えば過去所定回数分の検出結果の平均としても良い。但し、過去に信頼できないと判定された検出結果については比較対象から除外する。
(b)検出された区画線(自車の左右両側の区画線)が互いに交差したか否か。
(a)過去の検出結果から区画線の位置が閾値(例えば道路幅方向に3m)以上変化したか否か。尚、過去の検出結果とは基本的に前回(信頼度の判定対象とする検出結果の一つ前)の検出結果とするが、例えば過去所定回数分の検出結果の平均としても良い。但し、過去に信頼できないと判定された検出結果については比較対象から除外する。
(b)検出された区画線(自車の左右両側の区画線)が互いに交差したか否か。
先ず、(a)の条件について説明する。前記S11及びS12の区画線の検出については、前記S2において案内分岐点までの距離が案内開始距離未満(S2:YES)と判定されてから、前記S3において案内分岐点までの距離が退出方向案内開始距離未満(S3:YES)と判定されるまでの間において、所定周期(例えば200ms間隔)で繰り返し実行される。この検出間隔はごく短いので正しく区画線が検出されているのであれば、前回の検出結果に対して基本的に区画線の位置は大きく変化しない。仮に、前回の検出結果から区画線の位置が大きく変化したとすると、今回の区画線の検出結果に誤りがあると予想される。従って、図8に示すように前記S11及びS12で検出された車両の現在位置から100mまでの範囲における区画線の位置を前回の結果と比較し、最も差が大きい箇所の変位量が閾値(例えば道路幅方向に3m)以上か否かを判定する。そして、最も差が大きい箇所の変位量が閾値以上の場合には、直近(今回)の区画線の検出結果が信頼できないと判定する。
次に、(b)の条件について説明する。前記S11及びS12の区画線の検出については、自車両の左右両側の夫々最も近い位置にある区画線を検出対象としている。区画線は車線を区分するものであるので基本的に道路上で交わることは無い。仮に、検出された区画線が交わったとすると、今回の区画線の検出結果に誤りがあると予想される。従って、図9に示すように前記S11及びS12で検出された車両の現在位置から100mまでの範囲における左右の区画線の位置を互いに比較し、区画線が交わったか否かを判定する。そして、区画線が交わった場合には、直近(今回)の区画線の検出結果が信頼できないと判定する。
尚、前記S13では基本的に(a)と(b)のいずれか一方の条件を満たした場合(S13:YES)に、直近の区画線の検出結果が信頼できないと判定し、S15へと移行する。それに対して、(a)と(b)のいずれの条件も満たさない場合(S13:NO)に、直近の区画線の検出結果が信頼できると判定し、S14へと移行する。尚、本実施形態では区画線の検出結果の信頼度を判定する際に、上記(a)、(b)の条件を用いているが(a)、(b)以外の条件を用いても良い。例えば、検出された左右の区画線の角度を比較し、閾値以上(例えば10度以上)異なる場合に直近の区画線の検出結果が信頼できないと判定しても良い。
また、上記実施例では前記S11及びS12で検出された車両の現在位置から100mまでの範囲における区画線を対象として前記S13の信頼度の判定処理を行っているが、
前記S12で検出された所定距離(例えば30m)より遠方の範囲の区画線のみを対象として前記S13の信頼度の判定処理を行っても良い。尚、前記S12では前記S11の画像認識結果に基づいて区画線の位置を予測するので、仮にS11において検出された区画線の位置と実際の区画線の位置との間に差が生じた場合には、S12で予測される区画線の位置の方が実際の区画線の位置との間により大きな差が生じると予想される。従って、前記S11及びS12で検出された区画線全体を対象とせずに前記S12で検出された遠方の範囲の区画線のみを対象として信頼度を判定しても、信頼度は正しく判定することが可能である。また、判定対象を限定することによって処理負荷の軽減効果も期待できる。
前記S12で検出された所定距離(例えば30m)より遠方の範囲の区画線のみを対象として前記S13の信頼度の判定処理を行っても良い。尚、前記S12では前記S11の画像認識結果に基づいて区画線の位置を予測するので、仮にS11において検出された区画線の位置と実際の区画線の位置との間に差が生じた場合には、S12で予測される区画線の位置の方が実際の区画線の位置との間により大きな差が生じると予想される。従って、前記S11及びS12で検出された区画線全体を対象とせずに前記S12で検出された遠方の範囲の区画線のみを対象として信頼度を判定しても、信頼度は正しく判定することが可能である。また、判定対象を限定することによって処理負荷の軽減効果も期待できる。
そして、直近の区画線の検出結果が信頼できると判定した場合に実行されるS14では、直近の区画線の検出結果を取得して以降の処理を実行する。一方、直近の区画線の検出結果が信頼できないと判定した場合に実行されるS15では、過去の区画線の検出結果を取得して以降の処理を実行する。尚、過去の区画線の検出結果についてはフラッシュメモリ44に格納されている。また、前記S15で取得対象となる過去の検出結果は、検出結果が信頼できると判定された過去の検出結果の内で最も新しい検出結果とするが、例えば検出結果が信頼できると判定された過去所定回数分の検出結果の平均としても良い。
また、前記S11~S14では自車両の現在走行する車線を区画する区画線(即ち自車両の左右両側の夫々最も近い位置にある区画線)のみを検出対象としているが、自車両の走行する車線に加えて、自車両の走行する車線以外の車線を区画する区画線についても検出するようにしても良い。例えば図10に示すように自車両が片側3車線の中央を走行する場合において前記S11~S14で検出対象となるのは区画線61と区画線62であるが、区画線63及び区画線64についても検出対象に含めても良い。
続いて、S16においてCPU41は、自車両が現在走行する走行車線である“自車走行車線”を特定する。例えば以下の処理によって自車走行車線を特定する。
[自車走行車線]
CPU41は、フロントカメラ19により撮像された撮像画像に対して画像認識処理を行い、自車の周辺に描かれた区画線、道路の道路端、周辺車両をそれぞれ認識し、認識結果に加えて地図情報についても考慮して自車走行車線を特定する。尚、区画線については前記S14又はS15で取得された検出結果を用いるのが望ましい。ここで、地図情報に含まれるリンクデータ32には道路毎の車線数、車線幅について格納されている。例えば、図10に示す片側3車線の高速道路を走行する場合において、自車の左側にある道路端65が検出でき、道路端65から自車の走行する車線までの間に1車線存在することが検出されれば自車は左から2番目の車線、即ち中央の車線を走行していると特定できる。同じく自車の左側にある道路端65が検出でき、道路端65から自車の走行する車線までの間に2車線存在することが検出されれば自車は左から3番目の車線、即ち右側の車線を走行していると特定できる。自車の右側にある道路端66を用いても同様に自車走行車線の特定が可能となる。尚、道路端65から自車の走行する車線までの間に存在する車線の数は、区画線の検出結果や他車両の検出結果に基づいて特定する。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。
尚、自車走行車線を特定する方法としては他に地図情報を用いずに区画線の種類と数で特定する方法や道路端からの距離と車線幅を用いる方法等が挙げられる。
[自車走行車線]
CPU41は、フロントカメラ19により撮像された撮像画像に対して画像認識処理を行い、自車の周辺に描かれた区画線、道路の道路端、周辺車両をそれぞれ認識し、認識結果に加えて地図情報についても考慮して自車走行車線を特定する。尚、区画線については前記S14又はS15で取得された検出結果を用いるのが望ましい。ここで、地図情報に含まれるリンクデータ32には道路毎の車線数、車線幅について格納されている。例えば、図10に示す片側3車線の高速道路を走行する場合において、自車の左側にある道路端65が検出でき、道路端65から自車の走行する車線までの間に1車線存在することが検出されれば自車は左から2番目の車線、即ち中央の車線を走行していると特定できる。同じく自車の左側にある道路端65が検出でき、道路端65から自車の走行する車線までの間に2車線存在することが検出されれば自車は左から3番目の車線、即ち右側の車線を走行していると特定できる。自車の右側にある道路端66を用いても同様に自車走行車線の特定が可能となる。尚、道路端65から自車の走行する車線までの間に存在する車線の数は、区画線の検出結果や他車両の検出結果に基づいて特定する。例えば区画線を明確に検出することができない場合であっても他車両の位置から車線の存在を推定することが可能となる。
尚、自車走行車線を特定する方法としては他に地図情報を用いずに区画線の種類と数で特定する方法や道路端からの距離と車線幅を用いる方法等が挙げられる。
次に、S17においてCPU41は、車両が現在走行する道路において走行を推奨される車線である“推奨車線”を特定する。例えば以下の処理によって推奨車線を特定する。[推奨車線]
CPU41は、地図情報と案内経路に基づいて、車両の前方にある案内分岐点を案内経路に沿った退出方向(案内方向)へと通過するために走行する必要のある車線を推奨車線
として特定する。より具体的には、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得する。尚、地図情報に含まれるリンクデータ32には車線毎の進行方向の通行区分について格納され、分岐点データ34には分岐点の形状について格納されており、それらの情報を用いて推奨車線を特定する。例えば、図11に示すように高速道路を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が取付道路のある斜め左方向である場合には、自車の走行する道路の3車線の内、最も左側に位置する車線が推奨車線となる。一方で図12に示すように一般道を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が右方向である場合には、自車の走行する道路の4車線の内、右折の通行区分に対応する最も右側に位置する車線が推奨車線となる。尚、推奨車線は1車線のみであるとは限らず、2車線以上ある場合もある。
CPU41は、地図情報と案内経路に基づいて、車両の前方にある案内分岐点を案内経路に沿った退出方向(案内方向)へと通過するために走行する必要のある車線を推奨車線
として特定する。より具体的には、案内分岐点における車両の退出方向に対応する車線を推奨車線として取得する。尚、地図情報に含まれるリンクデータ32には車線毎の進行方向の通行区分について格納され、分岐点データ34には分岐点の形状について格納されており、それらの情報を用いて推奨車線を特定する。例えば、図11に示すように高速道路を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が取付道路のある斜め左方向である場合には、自車の走行する道路の3車線の内、最も左側に位置する車線が推奨車線となる。一方で図12に示すように一般道を走行する車両の進行方向前方にある案内分岐点70での退出方向(案内方向)が右方向である場合には、自車の走行する道路の4車線の内、右折の通行区分に対応する最も右側に位置する車線が推奨車線となる。尚、推奨車線は1車線のみであるとは限らず、2車線以上ある場合もある。
その後、S18においてCPU41は、前記S14又は前記S15で取得された区画線の検出結果と前記S16で特定された自車走行車線とに基づいて、車両周辺の風景内において自車走行車線が存在する範囲を特定する。同じく、前記S14又は前記S15で取得された区画線の検出結果と前記S17で特定された推奨車線とに基づいて、車両周辺の風景内において推奨車線が存在する範囲を特定する。具体的には、フロントカメラ19で撮像した撮像画像(即ち液晶ディスプレイ15に表示される撮像画像)内で自車走行車線と推奨車線の存在する範囲を特定する。
例えば片側3車線の道路を車両が走行中であって、自車走行車線が中央の車線で推奨車線が左側の車線である場合を例に挙げて説明すると、前記S14又は前記S15では図13に示す撮像画像71がフロントカメラ19で撮像された場合に区画線72と区画線73の検出結果が取得される。そして、CPU41は区画線72と区画線73の検出結果を用いて最も左側にある区画線74の位置についても予測できる。具体的には、区画線72と区画線73の検出結果から車線の幅を算出し、区画線72の左側に算出された車線の幅だけ離れた位置に区画線74が存在するとして位置を予測する。その結果、推奨車線は最も左側の車線であることが特定できているので、区画線72と区画線74とで囲まれる範囲75が推奨車線の存在する範囲として特定できる。また、自車走行車線は中央の車線であることが特定できているので、区画線72と区画線73とで囲まれる範囲76が推奨車線の存在する範囲として特定できる。
続いて、S19においてCPU41は、次の案内分岐点までの距離が閾値未満か否かを判定する。尚、閾値は車両が走行する道路の道路種別によって決定され、例えば高速道路は700m、一般道は高速道路よりも短い150mとする。
そして、次の案内分岐点までの距離が閾値未満であると判定された場合(S19:YES)には、S21へと移行する。それに対して、次の案内分岐点までの距離が閾値以上であると判定された場合(S19:NO)には、S20へと移行する。
S20においてCPU41は、液晶ディスプレイ15に表示対象とする第1案内オブジェクト80の大きさ、形状、及び表示位置を算出する。ここで、前記S20において表示対象とする第1案内オブジェクト80は、図8に示すように矩形形状とし、横方向の長さは推奨車線の車線幅、縦の長さは例えば100mに設定する。そして、推奨車線の路面の自車の現在位置から100m先までの範囲に重畳するように表示する。従って、前記S20においてCPU41は、前記S18の結果を用いて液晶ディスプレイ15に表示される風景内における推奨車線の範囲を特定し、更に特定された推奨車線の路面の自車の現在位置から100m先までの範囲を覆うのに必要な第1案内オブジェクト80の大きさ、形状及び位置を、液晶ディスプレイ15に表示対象とする第1案内オブジェクト80の大きさ、形状、及び表示位置として算出する。
その後、S5へと移行し前記S20で算出された大きさ及び形状の第1案内オブジェクト80の画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクト80の画像を前記S20で決定された位置(範囲)に対して描画する。尚、前記S20において表示対象とする第1案内オブジェクト80の形状は適宜変更可能であり、推奨車線を示すことができる形状であれば矩形以外の形状であっても良い。また、内部には案内分岐点までの距離を描画しても良い。
一方、S21においてCPU41は、前記S16及びS17で特定された推奨車線及び自車走行車線に基づいて、自車走行車線と推奨車線が一致するか否か、即ち自車が推奨車線を走行しているか否か判定する。
そして、自車走行車線と推奨車線が一致する、即ち自車が推奨車線を走行していると判定された場合(S21:YES)には、S20へと移行する。S20では前述したように推奨車線(自車走行車線とも一致)に重畳する矩形形状の第1案内オブジェクト80を表示対象とし、液晶ディスプレイ15に表示対象とする第1案内オブジェクト80の大きさ、形状、及び表示位置を算出する。それに対して、自車走行車線と推奨車線が一致しない、即ち推奨車線を自車が走行していないと判定された場合(S21:NO)には、S22へと移行する。
S22においてCPU41は、液晶ディスプレイ15に表示対象とする第1案内オブジェクト80の大きさ、形状、及び表示位置を算出する。ここで、前記S22において表示対象とする第1案内オブジェクト80は、図15に示すように自車走行車線から推奨車線に跨って、車両の進行方向と逆方向に移動するにつれて車両が現在走行する車線側に徐々に広がる末広がり形状とする。より具体的には、第1案内オブジェクト80は車両の現在位置から例えば100m前方までの推奨車線の路面である第1領域(矩形)と、推奨車線と自車走行車線の間にあって第1領域に対して隣接するとともに、車両の進行方向に移動するにつれて幅が徐々に狭くなる第2領域(直角三角形)とを合わせた形状となる。そして、推奨車線及び自車走行車線の路面の自車の現在位置から100m先までの範囲に重畳するように表示する。従って、前記S22においてCPU41は、前記S18の結果を用いて液晶ディスプレイ15に表示される風景内における推奨車線及び自車走行車線の範囲を特定し、更に特定された推奨車線の路面の自車の現在位置から100m先までの範囲を覆うとともに、自車走行車線の路面の自車の現在位置から50m先までの範囲の一部を覆うのに必要な第1案内オブジェクト80の大きさ、形状及び位置を、液晶ディスプレイ15に表示対象とする第1案内オブジェクト80の大きさ、形状、及び表示位置として算出する。
その後、S5へと移行し前記S22で算出された大きさ及び形状の第1案内オブジェクト80の画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された第1案内オブジェクト80の画像を前記S22で決定された位置(範囲)に対して描画する。尚、前記S22において表示対象とする第1案内オブジェクト80の形状は適宜変更可能であり、推奨車線を示すとともに推奨車線への移動を促すことができる形状であれば末広がり形状以外の形状であっても良い。また、内部には案内分岐点までの距離を描画しても良い。
以上の処理が行われた結果、車両から案内分岐点までの距離が案内開始距離未満で且つ退出方向案内開始距離以上の場合において、車両の走行に伴って液晶ディスプレイ15に表示される走行案内画面51は図16のように変移し、図17乃至図19のような画面となる。
車両が高速道路を走行する場合を例に挙げて説明すると、車両から案内分岐点までの距
離が案内開始距離(高速道路では1km)未満で閾値(高速道路では700m)以上の状態では、“推奨車線の位置を案内する第1案内オブジェクトの画像53(第1の表示態様)”が表示される。“推奨車線の位置を案内する第1案内オブジェクトの画像53”は、図17に示すように推奨車線54に重畳して第1案内オブジェクトの画像53が表示される(S20)。その結果、乗員に推奨車線54の存在や位置を明確に把握させることが可能となる。
車両が高速道路を走行する場合を例に挙げて説明すると、車両から案内分岐点までの距
離が案内開始距離(高速道路では1km)未満で閾値(高速道路では700m)以上の状態では、“推奨車線の位置を案内する第1案内オブジェクトの画像53(第1の表示態様)”が表示される。“推奨車線の位置を案内する第1案内オブジェクトの画像53”は、図17に示すように推奨車線54に重畳して第1案内オブジェクトの画像53が表示される(S20)。その結果、乗員に推奨車線54の存在や位置を明確に把握させることが可能となる。
また、車両から案内分岐点までの距離が閾値(高速道路では700m)未満で退出方向案内開始距離(高速道路では500m)以上の状態では、“推奨車線への移動を促す第1案内オブジェクトの画像53(第2の表示態様)”が上記“推奨車線の位置を案内する第1案内オブジェクトの画像53(第1の表示態様)”に代えて新たに表示される。但し、“推奨車線への移動を促す第1案内オブジェクトの画像53”は、自車走行車線55が推奨車線54と一致する場合については表示されず、その場合には図18に示すように自車が走行する推奨車線54(自車走行車線55)に重畳して第1案内オブジェクトの画像53が表示される(第1の表示態様)。その結果、乗員に既に推奨車線54を走行していることを明確に把握させることが可能となる。一方、自車走行車線55と推奨車線54が一致しない場合には、図19に示すように自車走行車線55から推奨車線54まで跨る領域に重畳して第1案内オブジェクトの画像53が表示される(第2の表示態様)。その結果、自車が走行する車線が推奨車線ではなく、推奨車線に移動する必要があることを乗員に明確に把握させることが可能となる。また、第1実施形態では自車走行車線55から推奨車線54までを含む広い領域に対して第1案内オブジェクトの画像53が表示されるので、矢印などの画像を表示する場合と比較して推奨車線への車線変更を促す強制感のある案内を抑制することが可能となる。
尚、車両から案内分岐点までの距離が閾値(高速道路では700m)未満で退出方向案内開始距離(高速道路では500m)以上の状態において図18と図19のいずれの走行案内画面51が表示されるか(即ち、第1の表示態様と第2の表示態様のいずれで表示するか)についてはその時点の自車走行車線55と推奨車線54との位置関係によって決まる。従って、例えば液晶ディスプレイ15に対して図19の走行案内画面51が表示されている状態で車両が左側の推奨車線54に移動すれば、図18の走行案内画面51へと切り替わることとなる。同じく、液晶ディスプレイ15に対して図18の走行案内画面51が表示されている状態で車両が推奨車線54以外の車線に移動すれば、図19の走行案内画面51へと切り替わることとなる。
尚、その後に車両から案内分岐点までの距離が退出方向案内開始距離(高速道路では500m)未満となると、第1案内オブジェクトの画像53に代えて、前述したように案内分岐点の退出方向を示す矢印である第2案内オブジェクトの画像57が新たに表示されることとなる(図4参照)。
また、前述した実施形態では、前記S18においてフロントカメラ19で撮像した撮像画像内で自車走行車線と推奨車線の存在する範囲を特定しているが、車両の現在位置周辺(特に車両進行方向の前方)に対応した3次元空間を生成し、3次元空間内で自車走行車線と推奨車線の存在する範囲を特定しても良い。3次元空間には、道路以外に、建築物、道路標識などについてもモデリングしても良いし、道路のみをモデリングしても良い。或いは道路についてもモデリングしない地面のみがある単なる空白の3次元空間としても良い。以下に上記3次元空間を用いた実施例について説明する。
先ず、CPU41は、生成された3次元空間において自車両の現在位置及び方位について特定する。特に、車両に設置されたフロントカメラ19の位置を自車両の現在位置とし、フロントカメラ19の光軸方向を自車両の方位とする。尚、フロントカメラ19の位置
は車両の乗員の位置、フロントカメラ19の光軸方向は車両の乗員の視線方向にも相当する。また、3次元空間において車両の進行方向前方にある案内分岐点の位置についても特定する。
は車両の乗員の位置、フロントカメラ19の光軸方向は車両の乗員の視線方向にも相当する。また、3次元空間において車両の進行方向前方にある案内分岐点の位置についても特定する。
そして、前記S20やS22においてCPU41は、表示対象とする第1案内オブジェクト80を例えば2次元ポリゴンで生成し、生成した第1案内オブジェクト80を生成された3次元空間に対して配置する。尚、3次元空間に対して第1案内オブジェクト80を配置する位置は、図14や図15に示す位置とする。次に、CPU41は、第1案内オブジェクト80が配置された3次元空間において、車両の現在位置且つフロントカメラ19の高さの位置から車両の進行方向に視認した際に視認できる第1案内オブジェクト80の大きさ及び形状を、液晶ディスプレイ15により表示対象とする案内オブジェクトの大きさ及び形状として算出する。ここで、算出される案内オブジェクトの大きさ及び形状は、3次元空間に配置された第1案内オブジェクト80を現在の車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる第1案内オブジェクト80の大きさ及び形状である。
その後、CPU41は、3次元空間における車両の現在位置及び案内分岐点の位置と前記S16及びS17で特定された推奨車線及び自車走行車線の位置とに基づいて、液晶ディスプレイ15に表示される風景52内における推奨車線や自車走行車線の位置を推定し、液晶ディスプレイ15において第1案内オブジェクト80を表示する位置を決定する。
以上詳細に説明した通り、第1実施形態に係るナビゲーション装置1及びナビゲーション装置1で実行されるコンピュータプログラムによれば、車両が現在走行する道路において走行を推奨される推奨車線を取得する(S17)一方で、車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出し(S11、S12)、更に区画線の検出結果の信頼度を判定する(S13)とともに直近の区画線の検出結果が信頼できないと判定された場合には、過去の区画線の検出結果に基づいて案内オブジェクトを表示する(S15、S18~S22)ので、車両周辺の風景に重畳して表示された案内オブジェクトにより推奨車線の案内を行う場合において、区画線の検出結果に誤りが生じたことが予想される場合にその検出結果を採用せず過去の区画線の検出結果を用いて案内オブジェクトの表示を行うことによって、区画線の検出結果に誤りが生じた場合であっても適切な推奨車線の案内を継続して行うことが可能となる。
また、過去の検出結果から区画線の位置が閾値以上変化した場合、或いは検出された複数の区画線が互いに交差した場合に、区画線の検出結果が信頼できないと判定する(S13)ので、区画線の検出結果に誤りが生じたことを正確に予想することが可能となる。
また、撮像画像に対する画像認識処理を行うことによって車両の現在位置から所定距離以内にある区画線の位置を検出する(S11)とともに、所定距離より遠方の区画線の位置については画像認識処理により検出された所定距離以内の区画線の位置から予測することにより検出し(S12)、特に所定距離より遠方の区画線を対象として信頼度を判定する(S13)ので、検出された区画線の位置と実際の区画線の位置との間に差が生じた場合に、より大きい差が生じると予想される遠方の区画線を対象として信頼度を判定することにより、処理負荷を軽減しつつ正確な信頼度の判定が可能となる。
また、区画線の検出結果に基づいて風景内の推奨車線が存在する範囲を特定し(S18)、特定された推奨車線が存在する範囲に重畳して案内オブジェクトを表示する(S20)ので、ユーザが車両周辺の風景を視認した場合に推奨車線に適切に重畳した案内オブジェクトを視認させることが可能となる。
また、車両が現在走行する車線を区画する区画線の位置を検出し(S11、S12)、車両が現在走行する車線以外の車線を推奨車線に含む場合には、検出された区画線の位置から推奨車線を区画する区画線の位置を予測し、予測された区画線の位置から推奨車線が
存在する範囲を特定する(S18)ので、検出対象とする区画線の数を限定することによって処理負荷を抑えつつ、検出対象とならなかった区画線の位置を予測することによって推奨車線が存在する範囲を正確に特定することが可能となる。
また、過去の検出結果から区画線の位置が閾値以上変化した場合、或いは検出された複数の区画線が互いに交差した場合に、区画線の検出結果が信頼できないと判定する(S13)ので、区画線の検出結果に誤りが生じたことを正確に予想することが可能となる。
また、撮像画像に対する画像認識処理を行うことによって車両の現在位置から所定距離以内にある区画線の位置を検出する(S11)とともに、所定距離より遠方の区画線の位置については画像認識処理により検出された所定距離以内の区画線の位置から予測することにより検出し(S12)、特に所定距離より遠方の区画線を対象として信頼度を判定する(S13)ので、検出された区画線の位置と実際の区画線の位置との間に差が生じた場合に、より大きい差が生じると予想される遠方の区画線を対象として信頼度を判定することにより、処理負荷を軽減しつつ正確な信頼度の判定が可能となる。
また、区画線の検出結果に基づいて風景内の推奨車線が存在する範囲を特定し(S18)、特定された推奨車線が存在する範囲に重畳して案内オブジェクトを表示する(S20)ので、ユーザが車両周辺の風景を視認した場合に推奨車線に適切に重畳した案内オブジェクトを視認させることが可能となる。
また、車両が現在走行する車線を区画する区画線の位置を検出し(S11、S12)、車両が現在走行する車線以外の車線を推奨車線に含む場合には、検出された区画線の位置から推奨車線を区画する区画線の位置を予測し、予測された区画線の位置から推奨車線が
存在する範囲を特定する(S18)ので、検出対象とする区画線の数を限定することによって処理負荷を抑えつつ、検出対象とならなかった区画線の位置を予測することによって推奨車線が存在する範囲を正確に特定することが可能となる。
[第2実施形態]
次に、第2実施形態に係る重畳画像表示装置について図20及び図21に基づいて説明する。尚、以下の説明において上記図1乃至図19の第1実施形態に係る重畳画像表示装置の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。
次に、第2実施形態に係る重畳画像表示装置について図20及び図21に基づいて説明する。尚、以下の説明において上記図1乃至図19の第1実施形態に係る重畳画像表示装置の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る重畳画像表示装置の概略構成は、第1実施形態に係る重畳画像表示装置とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る重畳画像表示装置とほぼ同じ制御処理である。
ただし、第1実施形態に係る重畳画像表示装置が、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した撮像画像を表示し、更に液晶ディスプレイ15に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第2実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。
ただし、第1実施形態に係る重畳画像表示装置が、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した撮像画像を表示し、更に液晶ディスプレイ15に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第2実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。
以下に第2実施形態に係る重畳画像表示装置の概略構成について図20を用いて説明する。図20は第2実施形態に係る重畳画像表示装置101の概略構成図である。
図21に示すように重畳画像表示装置101は、車両102に搭載されたナビゲーション装置103と、同じく車両102に搭載されるとともにナビゲーション装置103と接続されたフロントディスプレイ104とを基本的に有する。尚、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、車両102の乗員106に対して様々な情報の提供を行う情報提供手段となる。
図21に示すように重畳画像表示装置101は、車両102に搭載されたナビゲーション装置103と、同じく車両102に搭載されるとともにナビゲーション装置103と接続されたフロントディスプレイ104とを基本的に有する。尚、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、車両102の乗員106に対して様々な情報の提供を行う情報提供手段となる。
ここで、フロントディスプレイ104は、車両102のダッシュボード107内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばCCFL(冷陰極管)や白色LEDが用いられる。尚、フロントディスプレイ104としては、液晶ディスプレイ以外に、有機ELディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。
そして、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、フロントディスプレイ104から出力される画像を、運転席の前方のフロントガラス105に反射させて車両102の乗員106に視認させるように構成されている。尚、フロントディスプレイ104には、必要に応じて案内オブジェクトを表示する。尚、以下に説明する第2実施形態では案内オブジェクトは、第1実施形態と同様に案内経路に沿った案内分岐点の退出方向を示す矢印、案内経路に沿って案内分岐点を通過する為に車両が現在走行する道路において走行が推奨される推奨車線の位置を示す案内画像、推奨車線への移動を促す案内画像とする。
また、フロントガラス105を反射して乗員106がフロントディスプレイ104に表示された映像を視認した場合に、乗員106にはフロントガラス105の位置ではなく、フロントガラス105の先の遠方の位置にフロントディスプレイ104に表示された映像が虚像110として視認されるように構成される。また、虚像110は車両前方の周辺環境(風景、実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる物等)に重畳させて表示させることも可能である。
ここで、虚像110を生成する位置、より具体的には乗員106から虚像110までの距離(以下、結像距離という)Lについては、フロントディスプレイ104の位置によって決定される。例えば、フロントディスプレイ104において映像の表示された位置からフロントガラス105までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが1.5mとなるように光路長が設定されている。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ111が設置される。フロントカメラ111は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ111により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員106に視認される前方環境(即ち虚像110が重畳される環境)の状況等が検出される。尚、フロントカメラ111の代わりにミリ波レーダ等のセンサを用いても良い。
また、車両のインストルメントパネルの上面には車内カメラ112が設置される。車内カメラ112は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲(車内カメラ112の撮像範囲)として設定し、運転席に座った乗員106の顔を撮像する。そして、車内カメラ112により撮像された撮像画像に対して画像処理が行われることによって、乗員106の目の位置(視線開始点)や視線方向を検出する。
そして、第2実施形態に係る重畳画像表示装置は、前述した走行支援処理プログラム(図2)のS5、S7において、図21に示すようにフロントディスプレイ104に対して案内オブジェクトの画像120を表示する。その結果、図21に示すようにフロントディスプレイ104に表示された案内オブジェクトの画像120を車両の乗員が視認することによって、フロントガラス105越しの風景に重畳して案内オブジェクトの画像120の虚像121が視認される。
それによって、第1実施形態に係る重畳画像表示装置と同様に、推奨車線の位置や、案分岐点における退出方向を正確に把握できる。尚、第2実施形態に係る重畳画像表示装置では、前記S4、S6の案内オブジェクト表示位置決定処理において、フロントディスプレイ104に対して表示する案内オブジェクトの大きさ、形状及び案内オブジェクトを表示する位置(範囲)を決定する。
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば車両周辺の風景に重畳する画像を表示する手段として、第1実施形態では実景画像の表示された液晶ディスプレイ15を用い、第2実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。WSDによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。
例えば車両周辺の風景に重畳する画像を表示する手段として、第1実施形態では実景画像の表示された液晶ディスプレイ15を用い、第2実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。WSDによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。
また、第1及び第2実施形態では、区画線を検出する際に自車の現在位置から30mまでの範囲についてはフロントカメラ19で撮像された撮像画像に対して画像認識処理を行うことにより検出し、30mよりも遠方については画像認識処理で検出された30mまでの区画線から区画線の位置を予測しているが、区画線全体を画像認識結果に基づいて検出するようにしても良い。また、検出対象とする区画線についても車両の左右両側に位置す
る区画線だけでなく、車両が走行する道路上にある全ての区画線を検出対象としても良い。
る区画線だけでなく、車両が走行する道路上にある全ての区画線を検出対象としても良い。
また、第1及び第2実施形態では、案内オブジェクトは車両の推奨車線を案内する第1案内オブジェクトと、進行方向前方にある案内分岐点における車両の退出方向を示す矢印である第2案内オブジェクトとしているが、第1案内オブジェクトのみとしても良い。また、第1案内オブジェクトは必ずしも車線に重畳される矩形形状や矩形と三角形を組み合わせた形状である必要はなく、推奨車線の位置を示し、推奨車線への移動を促すことができるのであれば他の形状であっても良い。例えば矢印形状としても良い。また、必ずしも路面に重畳させる必要もなく、路面から離間した位置に表示しても良い。
また、第1及び第2実施形態では、案内オブジェクトを用いて案内分岐点の案内を行っているが、案内オブジェクトにより案内対象とする地点は案内分岐点に限られることなく、例えば車両が車線減少地点や合流区間を通過する際において案内オブジェクトを用いて推奨車線への移動を促すようにしても良い。
また、第1実施形態では、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した実景画像や案内オブジェクトを表示しているが、実景画像や案内オブジェクトを表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ15以外のディスプレイであっても良い。
また、第2実施形態では、フロントディスプレイ104によって車両102のフロントガラス105の前方に虚像を生成する構成としているが、フロントガラス105以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ104により映像を反射させる対象はフロントガラス105自身ではなくフロントガラス105の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、第1及び第2実施形態では、走行支援処理プログラム(図2)の処理をナビゲーション装置1のナビゲーションECU13が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ15の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。
1…ナビゲーション装置、15…液晶ディスプレイ、19…フロントカメラ、41…CPU、42…RAM、43…ROM、51…走行案内画面、52…風景、53…第1案内オブジェクトの画像、54…推奨車線、55…自車走行車線、57…第2案内オブジェクトの画像、61~64…区画線、70…案内分岐点
Claims (5)
- 車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、
車両が現在走行する道路において走行を推奨される推奨車線を取得する推奨車線取得手段と、
前記車両周辺の風景を撮像した撮像画像に基づいて、車両が現在走行する道路に含まれる車線を区画する区画線を所定周期で繰り返し検出する区画線検出手段と、
前記区画線検出手段による区画線の検出結果の信頼度を判定する信頼度判定手段と、
前記区画線検出手段による区画線の検出結果と前記信頼度判定手段による信頼度の判定結果とに基づいて前記推奨車線に対する案内を行う為の前記案内オブジェクトを表示するオブジェクト表示手段と、を有し、
前記オブジェクト表示手段は、
前記信頼度判定手段によって直近の前記区画線検出手段による区画線の検出結果が信頼できないと判定された場合に、過去の区画線の検出結果に基づいて前記案内オブジェクトを表示する重畳画像表示装置。 - 前記信頼度判定手段は、過去の検出結果から区画線の位置が閾値以上変化した場合、或いは検出された複数の区画線が互いに交差した場合に、区画線の検出結果が信頼できないと判定する請求項1に記載の重畳画像表示装置。
- 前記区画線検出手段は、
前記撮像画像に対する画像認識処理を行うことによって車両の現在位置から所定距離以内にある区画線の位置を検出するとともに、
前記所定距離より遠方の区画線の位置については前記画像認識処理により検出された所定距離以内の区画線の位置から予測することにより検出し、
前記信頼度判定手段は、前記所定距離より遠方の区画線を対象として前記信頼度を判定する請求項1又は請求項2に記載の重畳画像表示装置。 - 前記区画線検出手段の検出結果に基づいて風景内の前記推奨車線が存在する範囲を特定する範囲特定手段を有し、
前記オブジェクト表示手段は、前記案内オブジェクトを特定された前記推奨車線が存在する範囲に重畳して表示する請求項1乃至請求項3のいずれかに記載の重畳画像表示装置。 - 前記区画線検出手段は、車両が現在走行する車線を区画する区画線の位置を検出し、
前記範囲特定手段は、車両が現在走行する車線以外の車線を推奨車線に含む場合には、検出された区画線の位置から前記推奨車線を区画する区画線の位置を予測し、予測された区画線の位置から前記推奨車線が存在する範囲を特定する請求項4に記載の重畳画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022037037A JP2023131981A (ja) | 2022-03-10 | 2022-03-10 | 重畳画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022037037A JP2023131981A (ja) | 2022-03-10 | 2022-03-10 | 重畳画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023131981A true JP2023131981A (ja) | 2023-09-22 |
Family
ID=88065196
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022037037A Pending JP2023131981A (ja) | 2022-03-10 | 2022-03-10 | 重畳画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2023131981A (ja) |
-
2022
- 2022-03-10 JP JP2022037037A patent/JP2023131981A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6658905B2 (ja) | 走行支援装置及びコンピュータプログラム | |
US10300916B2 (en) | Autonomous driving assistance system, autonomous driving assistance method, and computer program | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
CN107430807B (zh) | 自动驾驶辅助系统、自动驾驶辅助方法以及计算机程序 | |
US8130269B2 (en) | Visual recognition apparatus, methods, and programs for vehicles | |
JP5464978B2 (ja) | ナビゲーション装置及びレーン変更案内方法 | |
JP6365134B2 (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP7476568B2 (ja) | 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム | |
US20230135641A1 (en) | Superimposed image display device | |
JP4561675B2 (ja) | 運転支援装置及びコンピュータプログラム | |
US11828613B2 (en) | Superimposed-image display device | |
JP7302389B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023131981A (ja) | 重畳画像表示装置 | |
JP2024033759A (ja) | 重畳画像表示装置 | |
JP7400356B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023150070A (ja) | 重畳画像表示装置 | |
JP2024018405A (ja) | 重畳画像表示装置 | |
JP2024018205A (ja) | 重畳画像表示装置 | |
JP2023044949A (ja) | 重畳画像表示装置 | |
JP2023064957A (ja) | 重畳画像表示装置 | |
JP2023008462A (ja) | 重畳画像表示装置 | |
JP2023038558A (ja) | 重畳画像表示装置 | |
JP2024071143A (ja) | 重畳画像表示装置 | |
JP2023097939A (ja) | 重畳画像表示装置 | |
JP2022077198A (ja) | 重畳画像表示装置 |