JP2022110828A - 重畳画像表示装置 - Google Patents
重畳画像表示装置 Download PDFInfo
- Publication number
- JP2022110828A JP2022110828A JP2021006483A JP2021006483A JP2022110828A JP 2022110828 A JP2022110828 A JP 2022110828A JP 2021006483 A JP2021006483 A JP 2021006483A JP 2021006483 A JP2021006483 A JP 2021006483A JP 2022110828 A JP2022110828 A JP 2022110828A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- lane change
- lane
- progress
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008859 change Effects 0.000 claims abstract description 175
- 230000000007 visual effect Effects 0.000 claims description 2
- 238000000034 method Methods 0.000 description 43
- 230000008569 process Effects 0.000 description 43
- 239000004973 liquid crystal related substance Substances 0.000 description 40
- 238000012545 processing Methods 0.000 description 26
- 238000010586 diagram Methods 0.000 description 19
- 230000015654 memory Effects 0.000 description 14
- 238000003384 imaging method Methods 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000011521 glass Substances 0.000 description 2
- 206010012812 Diffuse cutaneous mastocytosis Diseases 0.000 description 1
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000001541 differential confocal microscopy Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】車両の車線変更を案内する案内オブジェクトを車両周辺の風景に重畳して視認させる場合において、従来に比べて車線変更の進捗状況を特定する為の詳細な情報が存在しない状態であってもユーザに対して効果的で違和感を感じさせない案内を可能とした重畳画像表示装置を提供する。【解決手段】車両に車線変更を行うことを案内する案内オブジェクトを車両周辺の風景に重畳して表示する場合に、案内オブジェクトを互いに離間した複数のオブジェクトとするとともに、車両の車線変更に対する進捗状況を取得し、複数のオブジェクトについて、オブジェクト単位で車両の車線変更に対する進捗状況に従って表示態様を変更して表示するように構成する。【選択図】図17
Description
本発明は、車両の走行支援を行う重畳画像表示装置に関する。
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、乗員の周辺環境(風景、実景)に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。
ここで、上記周辺環境に重畳する画像を表示することによって、特に車両の車線変更を案内する場合には、車両の車線変更の進捗状況に応じて表示する画像を変化させることが重要である。例えば特開2020-118545号公報には、車両の車線変更が推奨されるタイミングにおいて車両が現在走行する車線から移動目標とする車線へと跨ぐ矢印の画像を進行方向前方の道路の路面に対して重畳して表示し、その後の車線変更の進捗状況に合わせて連続的に矢印の全体形状を変化させ、最終的に車線変更が完了した段階では直線形状の矢印の画像を表示する技術について開示されている。
ここで、上記特許文献1のように車両の車線変更の進捗状況に応じて矢印の全体形状を連続的に変化させるためには、車線変更の進捗状況をリアルタイムで正確に特定する必要がある。即ち、車線変更前の車線及び移動目標とする車線を基準として、それらの車線に対して車両がどのような位置にいるか、並びにどのような方位を向いているかを正確に特定しなければ不自然な矢印の形状となる問題があった。従って、上記特許文献1では、車両周辺の道路形状に加えて車両の現在位置や方位等の車線変更の進捗状況を特定する為の詳細な情報が必要であり、それらの情報を用いた演算処理に係る負担も大きかった。
本発明は前記従来における問題点を解消するためになされたものであり、車両の車線変更を案内する案内オブジェクトを車両周辺の風景に重畳して視認させる場合において、従来に比べて車線変更の進捗状況を特定する為の詳細な情報が存在しない状態であってもユーザに対して効果的で違和感を感じさせない案内を可能とした重畳画像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、車両に車線変更を行うことを案内する前記案内オブジェクトを表示するオブジェクト表示手段と、車両の車線変更に対する進捗状況を取得する進捗状況取得手段と、を有し、前記案内オブジェクトは、互いに離間した複数のオブジェクトからなり、前記オブジェクト表示手段は、前記複数のオブジェクトについて、オブジェクト単位で車両の車線変更に対する進捗状況に従って表示態様を変更して表示する。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
前記構成を有する本発明に係る重畳画像表示装置によれば、車両の車線変更を案内する案内オブジェクトを車両周辺の風景に重畳して視認させる場合において、案内オブジェクトを互いに離間した複数のオブジェクトとし、且つオブジェクト単位で車両の車線変更に対する進捗状況に従って表示態様を変更して表示するので、個々のオブジェクトの表示位置や形状に多少の違和感があったとしてもオブジェクト全体として車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。従って、従来と比べて車線変更の進捗状況を特定する為の詳細な情報が不要となり、処理負荷についても軽減できる。
以下、本発明に係る重畳画像表示装置をナビゲーション装置に具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
[第1実施形態]
先ず、第1実施形態に係るナビゲーション装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係るナビゲーション装置1を示したブロック図である。
先ず、第1実施形態に係るナビゲーション装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係るナビゲーション装置1を示したブロック図である。
図1に示すように第1実施形態に係るナビゲーション装置1は、ナビゲーション装置1が搭載された車両の現在位置を検出する現在位置検出部11と、各種のデータが記録されたデータ記録部12と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU13と、ユーザからの操作を受け付ける操作部14と、ユーザに対して進行方向前方を撮像した実景画像を表示する液晶ディスプレイ15と、経路案内に関する音声ガイダンスを出力するスピーカ16と、記憶媒体であるDVDを読み取るDVDドライブ17と、プローブセンタやVICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール18と、を有する。また、ナビゲーション装置1はCAN等の車載ネットワークを介して、ナビゲーション装置1の搭載された車両に対して設置されたフロントカメラ19や各種センサが接続されている。
以下に、ナビゲーション装置1が有する各構成要素について順に説明する。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
現在位置検出部11は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU13に出力する。そして、ナビゲーションECU13は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置1が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置1が備える構成としても良い。
また、データ記録部12は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部12をハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクにより構成しても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置1が通信により取得する構成としても良い。
ここで、地図情報DB31は、例えば、道路(リンク)に関するリンクデータ32、ノード点に関するノードデータ33、分岐点に関する分岐点データ34、施設等の地点に関する地点データ、地図を表示するための地図表示データ、経路を探索するための探索データ、地点を検索するための検索データ等が記憶された記憶手段である。
また、リンクデータ32としては、道路を構成する各リンクに関してリンクの属する道路の幅員、勾(こう)配、カント、バンク、路面の状態、道路の車線数、車線毎の進行方向別通行区分、車線数の減少する箇所、幅員の狭くなる箇所、踏切り等を表すデータが、コーナに関して、曲率半径、交差点、T字路、コーナの入口及び出口等を表すデータが、道路属性に関して、降坂路、登坂路等を表すデータが、道路種別に関して、高速道路と一般道(国道、県道、細街路等)を表すデータがそれぞれ記録される。
また、ノードデータ33としては、実際の道路の分岐点(交差点、T字路等も含む)や各道路に曲率半径等に応じて所定の距離毎に設定されたノード点の座標(位置)、ノードが交差点に対応するノードであるか等を表すノード属性、ノードに接続するリンクのリンク番号のリストである接続リンク番号リスト、ノードにリンクを介して隣接するノードのノード番号のリストである隣接ノード番号リスト、各ノード点の高さ(高度)等に関するデータ等が記録される。
また、分岐点データ34としては、分岐点の交差点名称、分岐点を形成するノードを特定する該当ノード情報、分岐点に接続されるリンクを特定する接続リンク情報、分岐点に接続されるリンクに対応する方面名称、分岐点の形状を特定する情報等が記憶される。また、分岐点での右左折案内を行う場合に目印となり得る構造物についても記憶される。
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)13は、ナビゲーション装置1の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図2)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU13は、処理アルゴリズムとしての各種手段を有する。例えば、オブジェクト表示手段は、車両に車線変更を行うことを案内する案内オブジェクトを表示する。進捗状況取得手段は、車両の車線変更に対する進捗状況を取得する。
操作部14は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU13は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部14は液晶ディスプレイ15の前面に設けたタッチパネルを有する構成としても良い。また、マイクと音声認識装置を有する構成としても良い。
また、液晶ディスプレイ15には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。また、特に第1実施形態では、通常の走行時において液晶ディスプレイ15にはフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)を表示し、更に必要に応じて風景に対して案内オブジェクトを重畳させて表示する。
ここで、風景に重畳して表示される案内オブジェクトとしては、車両に関する情報や乗員の運転の支援の為に用いられる各種情報がある。例えば乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、ナビゲーション装置1で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印、案内分岐点の目印を示すアイコン、案内分岐点までの距離等)、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等がある。尚、以下に説明する第1実施形態では案内オブジェクトは、車線変更を行うことが推奨されるタイミングにおいて表示され、車両に車線変更を行うことを案内する(即ち車線変更を促す)為の案内情報とする。より具体的には車両の進行方向前方の道路の路面に重畳して表示され、車線変更での車両の移動方向を示す複数個の矢印とする。
また、スピーカ16は、ナビゲーションECU13からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
また、DVDドライブ17は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ17に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
また、通信モジュール18は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
また、フロントカメラ19は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ19により撮像された撮像画像は、前述したように車両周辺(特に車両前方)の風景(実景画像)として液晶ディスプレイ15に対して表示される。また、車両が車線変更を行う際にはナビゲーションECU13は撮像画像に対して画像認識処理を行うことによって、車線変更によって跨ぐ対象となる区画線と自車両との相対位置の特定についても行う。
続いて、前記構成を有するナビゲーション装置1においてナビゲーションECU13が実行する走行支援処理プログラムについて図2に基づき説明する。図2は第1実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、液晶ディスプレイ15に表示された車両周辺の風景に重畳した案内オブジェクトを視認させることによって、車両の走行支援を行うプログラムである。尚、以下の図2、図4及び図8にフローチャートで示されるプログラムは、ナビゲーション装置1が備えているRAM42やROM43に記憶されており、CPU41により実行される。
以下の説明では案内オブジェクトを用いた車両の走行支援として、車線変更の推奨されるタイミングにおいて、車両に車線変更を行うことを案内する(即ち車線変更を促す)例について説明する。また、表示対象となる案内オブジェクトは、特に車両の進行方向前方の道路の路面に重畳して表示され、車線変更での車両の移動方向を示す複数個の矢印を案内オブジェクトとして表示する場合の処理を例に挙げて説明する。但し、ナビゲーション装置1では案内オブジェクトを用いて上記走行支援以外の案内や情報提供を行うことも可能である。また、表示対象となる案内オブジェクトは、上記矢印以外の情報とすることも可能である。例えば、案内オブジェクトとして乗員に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面等を表示することも可能である。
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、車線変更の推奨されるタイミングか否かを判定する。尚、車線変更の推奨されるタイミングとしては、例えばナビゲーション装置1で設定された案内経路に沿って走行を行うために車線変更を行う必要のあるタイミング(例えば左折する必要のある交差点の手前で左側の車線以外の車線を走行している場合、高速道路から退出する場合等)がある。CPU41は、ナビゲーション装置1で設定されている案内経路と、地図情報DB31或いは外部のサーバから取得した地図情報と、現在位置検出部11により検出された車両の現在位置(フロントカメラ19を用いて走行レーンの特定についても行う)に基づいて判定する。
但し、ナビゲーション装置1において案内経路が設定されていない場合であっても、車両が現在走行する車線がその後に車線減少や工事により走行できなくなる場合や、車両が現在走行する車線の進行方向前方において渋滞が発生している場合については、車線変更の推奨されるタイミングであると判定するのが望ましい。
そして、車線変更の推奨されるタイミングであると判定された場合(S1:YES)には、S2へと移行する。それに対して、車線変更の推奨されるタイミングでないと判定された場合(S1:NO)には案内オブジェクトの表示を行うことなく当該走行支援処理プログラムを終了する。但し、車線変更の推奨されるタイミングでない場合には案内オブジェクトを表示しないのではなく、直進方向を示す矢印の案内オブジェクトを表示するようにしても良い。
S2においてCPU41は、後述の進捗状況特定処理(図4)を行う。進捗状況特定処理は、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と、経過時間とに基づいて、車両の車線変更に対する進捗状況を特定する処理である。特に第1実施形態では車両の車線変更に対する進捗状況を以下の5つの段階(フェーズ)に区分して特定する。
『フェーズ0』・・・車線変更前の車線を走行している段階
『フェーズ1』・・・区画線の跨ぎを開始してから区画線が車両の中心に位置するまでの段階
『フェーズ2』・・・区画線が車両の中心を過ぎてから区画線を跨ぐまでの段階
『フェーズ3』・・・区画線を跨いでから車線変更を完了するまでの段階
『フェーズ4』・・・車線変更を完了して車線変更後の車線を走行している段階
『フェーズ0』・・・車線変更前の車線を走行している段階
『フェーズ1』・・・区画線の跨ぎを開始してから区画線が車両の中心に位置するまでの段階
『フェーズ2』・・・区画線が車両の中心を過ぎてから区画線を跨ぐまでの段階
『フェーズ3』・・・区画線を跨いでから車線変更を完了するまでの段階
『フェーズ4』・・・車線変更を完了して車線変更後の車線を走行している段階
但し、車両の車線変更に対する進捗状況は必ずしも上記5つの段階(フェーズ)で区分する必要はなく、より細かい段階或いはより粗い段階で区分しても良い。但し、少なくとも車線変更前の車線を走行している段階(上記例ではフェーズ0が該当)と、車線変更中の段階(上記例ではフェーズ1~3が該当)と、車線変更後の車線を走行している段階(上記例ではフェーズ4が該当)の3段階には区分するのが望ましい。
続いてS3においてCPU41は、後述の案内オブジェクト表示位置決定処理(図8)を行う。案内オブジェクト表示位置決定処理は、上記S2で特定された車両の車線変更の進捗状況に基づいて、液晶ディスプレイ15に対して表示する案内オブジェクトの形状及び案内オブジェクトを表示する位置(範囲)を具体的に決定する処理である。
その後、S4においてCPU41は、前記S3で決定された形状の案内オブジェクトの画像を生成し、更に液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して生成された案内オブジェクトの画像を前記S3で決定された位置(範囲)に対して描画する。尚、液晶ディスプレイ15には予めフロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)が表示されている。その結果、車両の乗員に風景に重畳された案内オブジェクトを視認させることが可能となる。
図3は前記S4において液晶ディスプレイ15に表示される走行案内画面51の一例を示した図である。図3に示すように液晶ディスプレイ15には、フロントカメラ19により撮像された現時点の車両前方の風景52が表示される。そして、車両前方の風景52に重畳して案内オブジェクトの画像53が表示される。案内オブジェクトの画像53は、互いに離間した複数の矢印形状のオブジェクトの画像を含み、複数のオブジェクトの画像を車線変更の進路に沿って現在走行する車線から目標とする車線へと跨ぐように所定間隔で表示する。各矢印の向きは基本的に車線変更の方向を示しているが向きは各矢印で異なっており、最も手前側に位置する矢印は道路の進行方向に対して90度傾斜して車線変更を行う方向を示しており、手前側から2番目に位置する矢印は道路の進行方向に対して60度傾斜して車線変更を行う方向を示しており、手前側から3番目に位置する矢印は道路の進行方向に対して30度傾斜して車線変更を行う方向を示しており、最も離れて位置する矢印は道路の進行方向、即ち直進方向を示す。従って、走行案内画面51を車両の乗員が視認した場合に、各矢印の配置と向きから車線変更における車両の移動方向と進路を把握可能となる。
また、後述のように案内オブジェクトの画像53は、車両の車線変更の進捗状況に合わせて個々のオブジェクト単位で表示態様が変化する。具体的には、現在の車両の車線変更の進捗状況に対応するオブジェクトの表示位置を、道路幅方向(横方向)或いは道路の進行方向(縦方向)に沿って移動させる。また、進行方向に沿って車両側に移動する場合には画像のサイズが拡大され、更に、手前側にあるオブジェクトから順に画面外へと移動して非表示となる。それによって、個々のオブジェクトの表示位置に多少の違和感があったり、前記S2の車両の車線変更の進捗状況の特定において多少の誤差が生じていたとしても、案内オブジェクト全体としてはリアルタイムの車線移動の進捗状況に合わせた効果的で違和感のない案内が可能となっており、案内オブジェクトの画像53を視認すれば、車線変更を行う前であるのか車線変更を行っている途中であるのか車線変更が完了したのかを車両の乗員が把握することも可能である。詳細については後述する。
その後、S5においてCPU41は、車線変更の案内を終了するか否か判定する。尚、CPU41は前記S2において車両の車線変更の進捗状況が“フェーズ4”と最初に判定されてから所定時間経過した時点で、車線変更の案内を終了すると判定する。また、所定時間は例えば上記のように車線変更の進捗状況に応じて車両側へと移動する案内オブジェクトが全て画面外へと移動して非表示となるまでの時間とする。
そして、車線変更の案内を終了すると判定された場合(S5:YES)には、S6へと移行する。それに対して、車線変更の案内を終了しないと判定された場合(S5:NO)にはS1へと戻り、案内オブジェクトの表示を継続して行う。
S6においてCPU41は、液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に表示されていた案内オブジェクトを非表示とする。尚、フロントカメラ19で撮像した撮像画像、即ち現時点の車両周辺(特に車両前方)の風景(実景画像)については継続して表示される。但し、風景の画像についても非表示とし、液晶ディスプレイ15の表示画面を地図画像の表示などに切り替えても良い。
また、その後に次の車線変更が推奨されるタイミングに車両が到達すると、S2以降の処理が実行され案内オブジェクトの画像が液晶ディスプレイ15に再び表示されることとなる。
次に、前記S2において実行される進捗状況特定処理のサブ処理について図4に基づき説明する。図4は進捗状況特定処理のサブ処理プログラムのフローチャートである。
先ず、S11においてCPU41は、フロントカメラ19で撮像した撮像画像に対して画像認識処理を行うことによって、車線変更によって跨ぐ対象となる区画線を特定し、自車両と車線変更によって跨ぐ対象となる区画線との間の距離(以下、区画線間距離という)を取得する。例えば図5のように車両60が右側の車線61から左側の車線62へと車線変更する場合には、車線変更によって跨ぐ対象となる区画線は車線61と車線62との間にある車線境界線63であり、車両60の中心と車線境界線63の中央までの距離Lが区画線間距離として取得される。尚、図5は車両が車線境界線63に対して右側に位置する場合を示しているが、車両が車線境界線63を越えて車線境界線63に対して左側に位置する場合においても同様に車両60の中心と車線境界線63の中央までの距離Lが区画線間距離として取得される。
次に、S12においてCPU41は、前記S11において取得した区画線間距離が50cm未満であるか否か判定する。尚、前記S12の判定条件となる距離は車両が区画線の跨ぎを開始或いは終了したタイミングを判定する為の閾値であるが、その値は50cmに限られることなく適宜変更可能であり、例えば40cmや60cmとしても良い。
そして、前記S11において取得した区画線間距離が50cm未満であると判定された場合(S12:YES)には、S13へと移行する。それに対して、前記S11において取得した区画線間距離が50cm以上であると判定された場合(S12:NO)には、S17へと移行する。
その後、S13においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ0”であるか否かを判定する。尚、フラッシュメモリ44に格納されるパラメータ値は初期値として“フェーズ0(車線変更前の車線を走行している段階)”が設定されており、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と経過時間とに基づいて、後述のように適宜更新される(S14、S16、S18、S20)。
そして、パラメータ値が“フェーズ0”であると判定された場合(S13:YES)には、S14へと移行する。それに対して、パラメータ値が“フェーズ0”以外であると判定された場合(S13:NO)には、S15へと移行する。
S14においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値を“フェーズ1(区画線の跨ぎを開始してから区画線が車両の中心に位置するまでの段階)”に更新する。その結果、その後のS3以降ではフェーズ1の車線変更の進捗状況に応じた案内オブジェクトの表示が行われる。詳細については後述する。
一方、S15においてCPU41は、前記S14でパラメータ値が“フェーズ1”に更新された時点から0.5sec経過したか否かを判定する。ここで、第1実施形態では車両が車線移動する際の道路幅方向の移動速度は経験則に基づいて1m/sと仮定する。従って、図6に示すように前記S14でパラメータ値が“フェーズ1”に更新された時点、即ち車両60の中心と車線変更によって跨ぐ対象となる車線境界線63の中央までの距離が50cmである時点から0.5sec経過した時点とは、車線境界線63が車両60の中心に位置する時点と推定される。
尚、前記S15の判定条件となる経過時間は、車両が車線移動する際の道路幅方向の移動速度が1m/sと仮定した場合における区画線が車両の中心に位置するまでの経過時間である。従って、移動速度を異なる速度に仮定すれば経過時間もそれに伴って変更される。また、前記S12の判定条件となる距離を50cm以外とした場合においても同様に変更される。
そして、前記S14でパラメータ値が“フェーズ1”に更新された時点から0.5sec経過したと判定された場合(S15:YES)には、S16へと移行する。それに対して、前記S14でパラメータ値が“フェーズ1”に更新された時点から0.5sec経過していないと判定された場合(S15:NO)には、現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を更新することなく進捗状況特定処理を終了してS3へと移行する。
S16においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値を“フェーズ2(区画線が車両の中心を過ぎてから区画線を跨ぐまでの段階)”に更新する。その結果、その後のS3以降ではフェーズ2の車線変更の進捗状況に応じた案内オブジェクトの表示が行われる。詳細については後述する。
一方、前記S11において取得した区画線間距離が50cm以上であると判定された場合に実行されるS17においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ2”であるか否かを判定する。
そして、パラメータ値が“フェーズ2”であると判定された場合(S17:YES)には、S18へと移行する。それに対して、パラメータ値が“フェーズ2”以外であると判定された場合(S17:NO)には、S19へと移行する。
S18においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値を“フェーズ3(区画線を跨いでから車線変更を完了するまでの段階)”に更新する。その結果、その後のS3以降ではフェーズ3の車線変更の進捗状況に応じた案内オブジェクトの表示が行われる。詳細については後述する。
一方、S19においてCPU41は、前記S18でパラメータ値が“フェーズ3”に更新された時点から1.3sec経過したか否かを判定する。ここで、第1実施形態では車両が車線移動する際の道路幅方向の移動速度は経験則に基づいて1m/sと仮定する。また、車線幅は国道や高速道路などに一般的に使われる3.5mであることを前提とする。従って、図7に示すように前記S18でパラメータ値が“フェーズ3”に更新された時点、即ち車両60が車線境界線63を越えて車両60の中心と車線境界線63の中央までの距離が50cmとなった時点から1.3sec経過した時点とは、車両60が車線変更後の車線の中心付近に位置する時点と推定される。
尚、前記S19の判定条件となる経過時間は、車両が車線移動する際の道路幅方向の移動速度が1m/s且つ車線幅が3.5mと仮定した場合における車両が車線の中心に位置するまでの経過時間である。従って、移動速度や車線幅を異なる値に仮定すれば経過時間もそれに伴って変更される。例えば車両が走行する道路種別によって経過時間を異なる値に設定しても良い。また、前記S12の判定条件となる距離を50cm以外とした場合においても同様に変更される。
そして、前記S18でパラメータ値が“フェーズ3”に更新された時点から1.3sec経過したと判定された場合(S19:YES)には、S20へと移行する。それに対して、前記S18でパラメータ値が“フェーズ3”に更新された時点から1.3sec経過していないと判定された場合(S19:NO)には、現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を更新することなく進捗状況特定処理を終了してS3へと移行する。
S20においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値を“フェーズ4(車線変更を完了して車線変更後の車線を走行している段階)”に更新する。その結果、その後のS3以降ではフェーズ4の車線変更の進捗状況に応じた案内オブジェクトの表示が行われる。詳細については後述する。
次に、前記S3において実行される案内オブジェクト表示位置決定処理のサブ処理について図8に基づき説明する。図8は案内オブジェクト表示位置決定処理のサブ処理プログラムのフローチャートである。
先ず、S31においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ0”であるか否かを判定する。“フェーズ0”は車両と車線変更によって跨ぐ対象となる区画線との間の距離が離れており、車線変更前の車線を走行している段階である。尚、フラッシュメモリ44に格納されるパラメータ値は初期値として“フェーズ0”が設定されており、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と経過時間とに基づいて、前述のように適宜更新される(S14、S16、S18、S20)。
そして、パラメータ値が“フェーズ0”であると判定された場合(S31:YES)には、S32へと移行する。それに対して、パラメータ値が“フェーズ0”以外であると判定された場合(S31:NO)には、S33へと移行する。
S32においてCPU41は、“案内オブジェクトを風景に対して重畳する位置”を、車両の現在位置に対して進行方向へ所定距離前方(例えば10m前方)の路面上の位置(初期位置)とする。ここで、第1実施形態では表示対象とする案内オブジェクトを、図9に示すように車両60の車線変更の進路に沿って現在走行する車線61から目標とする車線62へと跨ぐように所定間隔で配列された複数の矢印とする。尚、以下の説明では各矢印を車両60に近い方から順に第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68と称する。そして、前記S32では最も車両60に近い位置にある第1オブジェクト65を風景に対して重畳する位置を、車両60の現在位置に対して進行方向へ所定距離前方(例えば10m前方)の路面上で、車両の走行する車線の中央に対してやや右寄りに当たる位置(例えば車両の中心に対して1m右側)とする。また、第2オブジェクト66を風景に対して重畳する位置を、第1オブジェクト65から所定の配置間隔だけ前方に離れた路面上で、車両の走行する車線の中央に対してやや左寄りに当たる位置(例えば車両の中心に対して1m左側)とする。また、第3オブジェクト67を風景に対して重畳する位置を、第2オブジェクト66から所定の配置距離だけ前方に離れた路面上で、車線変更により跨ぐ区画線付近に当たる位置(例えば車両の中心に対して1.75m左側)とする。また、第4オブジェクト68を風景に対して重畳する位置を、第3オブジェクト67から所定の配置間隔だけ前方に離れた路面上で、目標とする車線62の中央付近に当たる位置(例えば車両の中心に対して3.5m左側)とする。一方、案内オブジェクトの鉛直方向の位置については下端が路面に接する位置としても良いし、路面から所定距離だけ上方に離間した位置としても良い。また、各オブジェクトの配置間隔は例えば10mとする。但し、オブジェクトの数や配置間隔は適宜設定可能である。フェーズ0の間は第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68が風景に対して重畳される車両からの相対位置は図9に示す位置で固定となる。その後、S42へと移行する。
一方、S33においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ1”であるか否かを判定する。“フェーズ1”は区画線の跨ぎを開始してから区画線が車両の中心に位置するまでの段階である。
そして、パラメータ値が“フェーズ1”であると判定された場合(S33:YES)には、S34へと移行する。それに対して、パラメータ値が“フェーズ1”以外であると判定された場合(S33:NO)には、S35へと移行する。
S34においてCPU41は、“案内オブジェクトを風景に対して重畳する位置”について、現在の設定位置に対して第1オブジェクト65の位置を車両側へv1×tだけ移動させた位置へと更新する。尚、v1は車速センサ22により取得した車両の現在の車速とする。tは走行支援処理プログラムにおいてS3の案内オブジェクト表示位置決定処理(図8)が実行される間隔であり、例えば0.03secとする。前記S34の処理を行った結果、フェーズ1の間は第2オブジェクト66、第3オブジェクト67、第4オブジェクト68が風景に対して重畳される車両60からの相対位置は図10に示す位置(S32と同じ初期位置)で固定となる。一方で第1オブジェクト65については、風景に対して重畳される車両からの相対位置が車両60の走行速度に応じて車両60側へと接近する、より具体的には乗員からは第1オブジェクト65が路面上に静止して車両との距離が徐々に縮まるように視認されることとなる。尚、第1オブジェクト65については車両60を通り過ぎた時点で表示対象から除外される。その後、S42へと移行する。
次に、S35においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ2”であるか否かを判定する。“フェーズ2”は区画線が車両の中心を過ぎてから区画線を跨ぐまでの段階である。
そして、パラメータ値が“フェーズ2”であると判定された場合(S35:YES)には、S36へと移行する。それに対して、パラメータ値が“フェーズ2”以外であると判定された場合(S35:NO)には、S39へと移行する。
S36においてCPU41は、“案内オブジェクトを風景に対して重畳する位置”について、現在の設定位置に対して第2オブジェクト66の位置を車両側へv1×tだけ移動させた位置へと更新する。尚、v1は車速センサ22により取得した車両の現在の車速とする。tは走行支援処理プログラムにおいてS3の案内オブジェクト表示位置決定処理(図8)が実行される間隔であり、例えば0.03secとする。また、現在の設定位置に対して第3オブジェクト67の位置を道路幅方向に沿って車線変更の方向と逆方向(左側の車線へ移動するのであれば右方向)へv2×tだけ移動させた位置へと更新する。尚、v2は車両が車線移動する際の道路幅方向の移動速度とし、経験則に基づいて1m/sと仮定する。同じく、現在の設定位置に対して第4オブジェクト68の位置についても道路幅方向に沿って車線変更の方向と逆方向(左側の車線へ移動するのであれば右方向)へv2×tだけ移動させた位置へと更新する。前記S36~S38の処理を行った結果、図11に示すようにフェーズ2の間は第2オブジェクト66については、風景に対して重畳される車両からの相対位置が車両60の走行速度に応じて車両60側へと接近する、より具体的には乗員からは第2オブジェクト66が路面上に静止して車両との距離が徐々に縮まるように視認されることとなる。また、第3オブジェクト67及び第4オブジェクト68については、風景に対して重畳される車両からの相対位置が車両60の横方向の移動速度に応じて車両60の移動方向と反対方向へと移動する、より具体的には乗員からは第3オブジェクト67が車両からの距離は変わらずに区画線付近に常に位置し、第4オブジェクト68が車両からの距離は変わらずに目標とする車線62の中央付近に常に位置するように視認されることとなる。尚、第2オブジェクト66については車両60を通り過ぎた時点で表示対象から除外される。その後、S42へと移行する。
次に、S39においてCPU41は、フラッシュメモリ44から現在の車両の車線変更に対する進捗状況の段階(フェーズ)を特定するパラメータ値を読み出し、読み出したパラメータ値が“フェーズ3”であるか否かを判定する。“フェーズ3”は区画線を跨いでから車線変更を完了するまでの段階である。
そして、パラメータ値が“フェーズ3”であると判定された場合(S39:YES)には、S40へと移行する。それに対して、パラメータ値が“フェーズ4”であると判定された場合(S39:NO)には、S41へと移行する。
S40においてCPU41は、“案内オブジェクトを風景に対して重畳する位置”について、現在の設定位置に対して第3オブジェクト67の位置を車両側へv1×tだけ移動させた位置へと更新する。尚、v1は車速センサ22により取得した車両の現在の車速とする。tは走行支援処理プログラムにおいてS3の案内オブジェクト表示位置決定処理(図8)が実行される間隔であり、例えば0.03secとする。前記S40の処理を行った結果、フェーズ3の間は第4オブジェクト68が風景に対して重畳される車両60からの相対位置は図12に示す位置(S38で横移動した後の位置)で固定となる。一方で第3オブジェクト67については、風景に対して重畳される車両からの相対位置が車両60の走行速度に応じて車両60側へと接近する、より具体的には乗員からは第3オブジェクト67が路面上に静止して車両との距離が徐々に縮まるように視認されることとなる。尚、第3オブジェクト67については車両60を通り過ぎた時点で表示対象から除外される。その後、S42へと移行する。
一方、S41においてCPU41は、“案内オブジェクトを風景に対して重畳する位置”について、現在の設定位置に対して第4オブジェクト68の位置を車両側へv1×tだけ移動させた位置へと更新する。尚、v1は車速センサ22により取得した車両の現在の車速とする。tは走行支援処理プログラムにおいてS3の案内オブジェクト表示位置決定処理(図8)が実行される間隔であり、例えば0.03secとする。前記S41の処理を行った結果、図13に示すようにフェーズ4の間は第4オブジェクト68については、風景に対して重畳される車両からの相対位置が車両60の走行速度に応じて車両60側へと接近する、より具体的には乗員からは第4オブジェクト68が路面上に静止して車両との距離が徐々に縮まるように視認されることとなる。尚、第4オブジェクト68については車両60を通り過ぎた時点で表示対象から除外される。
次に、S42においてCPU41は、車両の現在位置周辺(特に車両進行方向の前方)に対応した3次元空間を生成する。尚、3次元空間には、道路以外に、建築物、道路標識などについてもモデリングしても良いし、道路のみをモデリングしても良い。或いは道路についてもモデリングしない地面のみがある単なる空白の3次元空間としても良い。また、3次元空間は予め3次元地図情報として地図情報DB31に格納しておき、前記S42では地図情報DB31から該当する自車位置周辺の3次元地図情報を読み出しても良い。また、フロントカメラ19で撮像した画像に基づいて3次元空間を生成しても良い。例えばフロントカメラ19で撮像した撮像画像に対して点群マッチングを行うことによって、道路や道路周辺にある構造物を検出し、3次元空間を生成することが可能である。
また、前記S42でCPU41は、現在位置検出部11で検出されたパラメータに基づいて、生成された3次元空間における自車両の現在位置及び方位についても特定する。特に、車両に設置されたフロントカメラ19の位置を自車両の現在位置とし、フロントカメラ19の光軸方向を自車両の方位とする。尚、フロントカメラ19の位置は車両の乗員の位置、フロントカメラ19の光軸方向は車両の乗員の視線方向にも相当する。
続いて、S43においてCPU41は、液晶ディスプレイ15に表示する対象となる案内オブジェクトを生成する。生成される案内オブジェクトの形状は、第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68のいずれも同一サイズの矢印の形状とする(但し、同一サイズであっても後述のように配置される3次元空間での車両からの距離によって見かけ上の大きさは変化する)。また、案内オブジェクトは2次元ポリゴンとし、基本的に厚みは存在しないこととする。但し、厚みを持たせた3次元ポリゴンとしても良い。また、図14に示すように第1オブジェクト65、第2オブジェクト66、第3オブジェクト67については車両の進行方向前方の路面に対して平行ではなく傾斜させる。尚、傾斜方向は車線変更の移動方向に対応した方向とし、より具体的には車線変更での旋回方向に対して外周側(右側に車線変更する場合には左側、左側に車線変更する場合には右側)が高くなる傾斜方向とする。尚、具体的な傾斜角度θの値は第1オブジェクト65が90度、第2オブジェクト66が60度、第3オブジェクト67が30度とする。一方、第4オブジェクト68については道路の路面に対して底面を平行とする。また、各オブジェクトは矢印の向きについても異なっており、第1オブジェクト65は道路の進行方向に対して90度傾斜して車線変更を行う方向を示しており、第2オブジェクト66は道路の進行方向に対して60度傾斜して車線変更を行う方向を示しており、第3オブジェクト67は道路の進行方向に対して30度傾斜して車線変更を行う方向を示しており、第4オブジェクト68は道路の進行方向、即ち直進方向を示す。
尚、前記S43で生成される案内オブジェクトの形状は適宜変更可能であり、車線変更を行う方向を示すことができる形状であれば矢印以外の形状であっても良い。
続いて、S44においてCPU41は、前記S43で生成された案内オブジェクトを、前記S42で生成された3次元空間に対して配置する。尚、3次元空間に対して案内オブジェクトを配置する位置は、前記S32、S34、S36~S38、S40、S41において設定された“風景に対して案内オブジェクトを重畳する位置”に基づいて決定される。
例えば現在の車両の車線変更に対する進捗状況が“フェーズ0”である場合には、図9に示すように3次元空間における車両60の進行方向前方の道路の路面上で且つ車両60の現在位置に対して所定距離前方の位置に第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の各矢印を所定間隔で配置する。特に、車両60から第1オブジェクト65までの距離が所定距離(例えば10m)となる位置に配置する。
次に、S45においてCPU41は、先ず案内オブジェクトが配置された3次元空間を、前記S42で特定された車両の位置(視点に相当する)から車両の進行方向に視認した画像(以下、視認画像という)を取得する。例えば、図15は図9に示す態様で車両並びに案内オブジェクトが配置された場合に取得される視認画像71を示した図である。特に車両の位置はフロントカメラ19の位置とするので、取得された視認画像71は3次元空間に配置された案内オブジェクトをフロントカメラ19の視点から車両の進行方向に視認した際に視認できる像となるが、車両の乗員の視界にも相当する。
その後、CPU41は、視認画像71に含まれる案内オブジェクトの形状及び案内オブジェクトの位置を、液晶ディスプレイ15により表示対象とする案内オブジェクトの形状及び案内オブジェクトの位置として記憶する。ここで、前記S45で記憶される案内オブジェクトの形状は、3次元空間に配置された案内オブジェクトを車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる案内オブジェクトの形状である。また、前記S45で記憶される案内オブジェクトの位置は、3次元空間に配置された案内オブジェクトを車両(より正確にはフロントカメラ19)の視点から視認した際に視認できる案内オブジェクトの位置である。
その後、S46においてCPU41は、前記S45で記憶された案内オブジェクトの形状及び案内オブジェクトの位置に基づいて、液晶ディスプレイ15において案内オブジェクトを表示する範囲を決定する。尚、案内オブジェクトの表示範囲は、前記S45で記憶される形状を有する案内オブジェクトが、3次元空間において配置された案内オブジェクトと同位置に表示される範囲となる。その後、S4へと移行し、前述したように液晶ディスプレイ15に対して制御信号を送信し、液晶ディスプレイ15に対して前記S45で記憶された形状の案内オブジェクトの画像を、前記S46で決定された表示範囲に表示する。
その結果、車両の走行に伴って液晶ディスプレイ15に表示される走行案内画面51は図16~図19のような画面となる。先ず、車両の車線変更に対する進捗状況が“フェーズ0”の状態では、図16に示すように第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の画像が、フロントカメラ19で撮像した車両の進行方向前方の風景52に重畳して表示される。尚、第1オブジェクト65の画像が重畳する位置は例えば車両の10m前方に相当する位置となる。また、第1オブジェクト65、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の画像は車線変更の進路に沿って配列された状態で視認される。また、各オブジェクトの矢印の向きは車線変更の方向を示す。従って、走行案内画面51を車両の乗員が視認した場合に、各矢印の配置と向きから車線変更における車両の移動方向と進路を把握可能となる。尚、フェーズ0の間は各オブジェクトの車両に対する相対位置は固定されるので、表示される各オブジェクトの画像の画面上の表示位置と表示サイズも固定となる。
その後、車両が車線変更を開始し、車両から区画線までの距離が閾値未満の状態となると、車両の車線変更に対する進捗状況が“フェーズ1”の状態へと移行する。フェーズ1の状態では、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の車両に対する相対位置は固定されるので、図16に示すように第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の画像については画面上の表示位置と表示サイズも固定となる。一方で第1オブジェクト65については車両からの相対位置が車両の走行速度に応じて車両側へと移動するので、図16に示すように第1オブジェクト65の画像は車両側に接近するように画面下方へ移動するとともに表示サイズも徐々に拡大する。そして、第1オブジェクト65の画像については最終的に画面外へと移動して表示対象から除外される。
その後、フェーズ1に移行してから所定時間が経過すると、車両の車線変更に対する進捗状況が“フェーズ2”の状態へと移行する。フェーズ2の状態では、第2オブジェクト66については車両からの相対位置が車両の走行速度に応じて車両側へと移動するので、図17に示すように第2オブジェクト66の画像は車両側に接近するように画面下方へ移動するとともに表示サイズも徐々に拡大する。そして、第2オブジェクト66の画像については最終的に画面外へと移動して表示対象から除外される。一方で、第3オブジェクト67及び第4オブジェクト68については車両からの相対位置が道路幅方向に沿って車線変更の方向と逆方向(左側の車線へ移動するのであれば右方向)へと移動するので、図17に示すように第3オブジェクト67及び第4オブジェクト68の画像は表示サイズについては変わらないが画面右側へと移動する。より具体的には風景52の変化に合わせて第3オブジェクト67の画像が区画線付近に常に位置し、第4オブジェクト68の画像が目標とする車線の中央付近に常に位置するように表示位置が移動する。
その後、車両から区画線までの距離が閾値以上の状態となると、車両の車線変更に対する進捗状況が“フェーズ3”の状態へと移行する。フェーズ3の状態では、第4オブジェクト68の車両に対する相対位置は固定されるので、図18に示すように第4オブジェクト68の画像については画面上の表示位置と表示サイズも固定となる。一方で第3オブジェクト67については車両からの相対位置が車両の走行速度に応じて車両側へと移動するので、図18に示すように第3オブジェクト67の画像は車両側に接近するように画面下方へ移動するとともに表示サイズも徐々に拡大する。そして、第3オブジェクト67の画像については最終的に画面外へと移動して表示対象から除外される。
その後、フェーズ3に移行してから所定時間が経過すると、車両の車線変更に対する進捗状況が“フェーズ4”の状態へと移行する。フェーズ4の状態では、第4オブジェクト68について車両からの相対位置が車両の走行速度に応じて車両側へと移動するので、図19に示すように第4オブジェクト68の画像は車両側に接近するように画面下方へ移動するとともに表示サイズも徐々に拡大する。そして、第4オブジェクト68の画像については最終的に画面外へと移動して表示対象から除外される。
その結果、車両の乗員は走行案内画面51を視認した場合に、車線変更を行う前には複数の矢印からなる案内オブジェクトの画像の配置と各矢印の向きによって車線変更における車両の移動方向と進路を把握可能となる。また、車線移動を開始した後には、オブジェクト単位で、現在の車両の車線変更の進捗状況に対応する案内オブジェクトの画像の表示位置を、現在の車両の車線変更の進捗状況に対応する移動態様で移動させる。尚、第1実施形態で特定される車線変更の進捗状況は正確に検出したものではなく、区画線との相対位置と経過時間を使って予測されたものであるので、車両の車線変更の進捗状況の特定において多少の誤差が生じ、個々のオブジェクトの表示位置や形状に多少の違和感を生むこととなるが、案内オブジェクト全体では風景との対応関係について違和感を感じさせることなく、効果的な案内が可能となる。また、案内オブジェクトの画像を視認すれば、車線変更を行う前であるのか車線変更を行っている途中であるのか車線変更が完了したのかを車両の乗員が把握することも可能である。
以上詳細に説明した通り、第1実施形態に係るナビゲーション装置1、案内オブジェクトの画像の描画方法及びナビゲーション装置1で実行されるコンピュータプログラムによれば、車両に車線変更を行うことを案内する案内オブジェクトを車両周辺の風景に重畳して表示する場合に、案内オブジェクトを互いに離間した複数のオブジェクトとするとともに、車両の車線変更に対する進捗状況を取得し(S2)、複数のオブジェクトについて、オブジェクト単位で車両の車線変更に対する進捗状況に従って表示態様を変更して表示する(S3、S4)ので、個々のオブジェクトの表示位置や形状に多少の違和感があったとしてもオブジェクト全体として車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。従って、従来と比べて車線変更の進捗状況を特定する為の詳細な情報が不要となり、処理負荷についても軽減できる。
また、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と、経過時間とに基づいて、車両の車線変更に対する進捗状況を特定して取得する(S11~S20)ので、従来に比べて車線変更の進捗状況を特定する為の情報量を減らしつつ車両の車線変更に対する進捗状況を推定することが可能となる。従って、車両の車線変更に対する進捗状況の特定に係る処理負荷について軽減できる。
また、車両の車線変更に対する進捗状況は、車線変更前の車線を走行している段階と、車線変更中の段階と、車線変更後の車線を走行している段階の少なくとも3段階に区分されるので、車線変更の進捗状況を詳細に区分しない場合であっても、最低限必要な区分に従って案内オブジェクトの表示態様を変更することにより、車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。
また、車両の車線変更に対する進捗状況は複数の段階に区分され、オブジェクト単位で複数の段階毎に表示位置の移動対象となるオブジェクトと移動態様が設定され、現在の車両の車線変更に対する進捗状況に対応するオブジェクトの表示位置を、現在の車両の車線変更に対する進捗状況に対応する移動態様で移動させる(S31~S41)ので、車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。
また、複数のオブジェクトを車両の車線変更の進路に沿って配列し、車両の車線変更に対する進捗状況が進行するのに従って、車線変更の方向と逆方向に対して所定距離だけ移動させる第1のステップと、第1のステップにより移動した後のオブジェクトを車両側に移動させる第2のステップと、により表示態様を変更して表示する(S31~S41)ので、車両の車線変更の進捗状況に応じてオブジェクトを横方向及び縦方向に夫々移動させることにより、車線変更により移動する車両の乗員から視認される案内オブジェクトと風景との対応関係について違和感を感じさせない案内が可能となる。
また、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と、経過時間とに基づいて、車両の車線変更に対する進捗状況を特定して取得する(S11~S20)ので、従来に比べて車線変更の進捗状況を特定する為の情報量を減らしつつ車両の車線変更に対する進捗状況を推定することが可能となる。従って、車両の車線変更に対する進捗状況の特定に係る処理負荷について軽減できる。
また、車両の車線変更に対する進捗状況は、車線変更前の車線を走行している段階と、車線変更中の段階と、車線変更後の車線を走行している段階の少なくとも3段階に区分されるので、車線変更の進捗状況を詳細に区分しない場合であっても、最低限必要な区分に従って案内オブジェクトの表示態様を変更することにより、車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。
また、車両の車線変更に対する進捗状況は複数の段階に区分され、オブジェクト単位で複数の段階毎に表示位置の移動対象となるオブジェクトと移動態様が設定され、現在の車両の車線変更に対する進捗状況に対応するオブジェクトの表示位置を、現在の車両の車線変更に対する進捗状況に対応する移動態様で移動させる(S31~S41)ので、車線変更の進捗状況に対して違和感を感じさせない案内が可能となる。
また、複数のオブジェクトを車両の車線変更の進路に沿って配列し、車両の車線変更に対する進捗状況が進行するのに従って、車線変更の方向と逆方向に対して所定距離だけ移動させる第1のステップと、第1のステップにより移動した後のオブジェクトを車両側に移動させる第2のステップと、により表示態様を変更して表示する(S31~S41)ので、車両の車線変更の進捗状況に応じてオブジェクトを横方向及び縦方向に夫々移動させることにより、車線変更により移動する車両の乗員から視認される案内オブジェクトと風景との対応関係について違和感を感じさせない案内が可能となる。
[第2実施形態]
次に、第2実施形態に係る重畳画像表示装置について図20及び図21に基づいて説明する。尚、以下の説明において上記図1乃至図19の第1実施形態に係る重畳画像表示装置の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。
次に、第2実施形態に係る重畳画像表示装置について図20及び図21に基づいて説明する。尚、以下の説明において上記図1乃至図19の第1実施形態に係る重畳画像表示装置の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る重畳画像表示装置の概略構成は、第1実施形態に係る重畳画像表示装置とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る重畳画像表示装置とほぼ同じ制御処理である。
ただし、第1実施形態に係る重畳画像表示装置が、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した撮像画像を表示し、更に液晶ディスプレイ15に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第2実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。
ただし、第1実施形態に係る重畳画像表示装置が、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した撮像画像を表示し、更に液晶ディスプレイ15に対して案内オブジェクトを表示することによって、車両周辺の風景に案内オブジェクトを重畳させて表示するのに対して、第2実施形態に係る重畳画像表示装置は車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いる点で異なる。
以下に第2実施形態に係る重畳画像表示装置の概略構成について図20を用いて説明する。図20は第2実施形態に係る重畳画像表示装置101の概略構成図である。
図20に示すように重畳画像表示装置101は、車両102に搭載されたナビゲーション装置103と、同じく車両102に搭載されるとともにナビゲーション装置103と接続されたフロントディスプレイ104とを基本的に有する。尚、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、車両102の乗員106に対して様々な情報の提供を行う情報提供手段となる。
図20に示すように重畳画像表示装置101は、車両102に搭載されたナビゲーション装置103と、同じく車両102に搭載されるとともにナビゲーション装置103と接続されたフロントディスプレイ104とを基本的に有する。尚、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、車両102の乗員106に対して様々な情報の提供を行う情報提供手段となる。
ここで、フロントディスプレイ104は、車両102のダッシュボード107内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばCCFL(冷陰極管)や白色LEDが用いられる。尚、フロントディスプレイ104としては、液晶ディスプレイ以外に、有機ELディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。
そして、フロントディスプレイ104は車両102のフロントガラス105とともにヘッドアップディスプレイとして機能し、フロントディスプレイ104から出力される画像を、運転席の前方のフロントガラス105に反射させて車両102の乗員106に視認させるように構成されている。尚、フロントディスプレイ104には、必要に応じて案内オブジェクトを表示する。尚、以下に説明する第2実施形態では案内オブジェクトは、第1実施形態と同様に車線変更を行うことが推奨されるタイミングにおいて表示され、車両に車線変更を行うことを案内する(即ち車線変更を促す)為の案内情報とする。より具体的には車両の進行方向前方の道路の路面に重畳して表示され、車線変更での車両の移動方向を示す複数個の矢印とする。
また、フロントガラス105を反射して乗員106がフロントディスプレイ104に表示された映像を視認した場合に、乗員106にはフロントガラス105の位置ではなく、フロントガラス105の先の遠方の位置にフロントディスプレイ104に表示された映像が虚像110として視認されるように構成される。また、虚像110は車両前方の周辺環境(風景、実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる物等)に重畳させて表示させることも可能である。
ここで、虚像110を生成する位置、より具体的には乗員106から虚像110までの距離(以下、結像距離という)Lについては、フロントディスプレイ104の位置によって決定される。例えば、フロントディスプレイ104において映像の表示された位置からフロントガラス105までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが1.5mとなるように光路長が設定されている。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ111が設置される。フロントカメラ111は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ111により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員106に視認される前方環境(即ち虚像110が重畳される環境)の状況等が検出される。尚、フロントカメラ111の代わりにミリ波レーダ等のセンサを用いても良い。
また、車両のインストルメントパネルの上面には車内カメラ112が設置される。車内カメラ112は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲(車内カメラ112の撮像範囲)として設定し、運転席に座った乗員106の顔を撮像する。そして、車内カメラ112により撮像された撮像画像に対して画像処理が行われることによって、乗員106の目の位置(視線開始点)や視線方向を検出する。
そして、第2実施形態に係る重畳画像表示装置は、前述した走行支援処理プログラム(図2)のS4において、図21に示すようにフロントディスプレイ104に対して案内オブジェクトの画像120を表示する。その結果、図21に示すようにフロントディスプレイ104に表示された案内オブジェクトの画像120を車両の乗員が視認することによって、フロントガラス105越しの風景に重畳して案内オブジェクトの画像120の虚像121が視認される。
それによって、第1実施形態に係る重畳画像表示装置と同様に、車線変更における車両の移動方向と進路を把握可能となる。尚、第2実施形態に係る重畳画像表示装置では、前記S3の案内オブジェクト表示位置決定処理において、フロントディスプレイ104に対して表示する案内オブジェクトの形状及び案内オブジェクトを表示する位置(範囲)を決定する。また、前記S42で3次元空間に特定する自車両の現在位置及び方位は、車両の乗員の位置及び車内カメラ112を用いて検出した乗員の視線方向とするのが望ましい。
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば車両周辺の風景に重畳する画像を表示する手段として、第1実施形態では実景画像の表示された液晶ディスプレイ15を用い、第2実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。WSDによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。
例えば車両周辺の風景に重畳する画像を表示する手段として、第1実施形態では実景画像の表示された液晶ディスプレイ15を用い、第2実施形態ではヘッドアップディスプレイシステムを用いているが、フロントガラスに対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラスをスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラスを透過液晶ディスプレイとしても良い。WSDによってフロントガラスに対して表示された画像は、車両周辺の風景に重畳する画像となる。
また、第1及び第2実施形態では、案内オブジェクトは車線変更の進路に沿って配置された矢印形状からなる4個のオブジェクトとしているが、オブジェクトの形状は矢印以外であっても良い。例えば、円形や矩形形状の画像としても良い。また、オブジェクトの数についても4個に限られることなく、例えば3個や5個としても良い。
また、第1及び第2実施形態では、車両の車線変更に対する進捗状況が“フェーズ1”である場合には第1オブジェクト65の表示位置のみを車両側に移動させ、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の表示位置は固定としているが、第2オブジェクト66、第3オブジェクト67、第4オブジェクト68の表示位置を道路幅方向に沿って車線変更の方向と逆方向に移動させるようにしても良い。また、車両の車線変更に対する進捗状況が“フェーズ3”である場合には第3オブジェクト67の表示位置のみを車両側に移動させ、第4オブジェクト68の表示位置は固定としているが、第4オブジェクト68の表示位置を道路幅方向に沿って車線変更の方向と逆方向に移動させるようにしても良い。また、第1及び第2実施形態では、車両の車線変更に対する進捗状況に従って案内オブジェジェクトの表示位置を変更しているが、表示位置を変更する以外に表示サイズを変更したり表示色を変更するようにしても良い。
また、第1実施形態では、ナビゲーション装置1の液晶ディスプレイ15に対してフロントカメラ19で撮像した実景画像や案内オブジェクトを表示しているが、実景画像や案内オブジェクトを表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ15以外のディスプレイであっても良い。
また、第2実施形態では、フロントディスプレイ104によって車両102のフロントガラス105の前方に虚像を生成する構成としているが、フロントガラス105以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ104により映像を反射させる対象はフロントガラス105自身ではなくフロントガラス105の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、第1及び第2実施形態では、走行支援処理プログラム(図2)の処理をナビゲーション装置1のナビゲーションECU13が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、液晶ディスプレイ15の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。
1…ナビゲーション装置、15…液晶ディスプレイ、19…フロントカメラ、41…CPU、42…RAM、43…ROM、51…走行案内画面、52…風景、53…案内オブジェクトの画像、60…車両、61,62…車線、63…車線境界線(区画線)、65…第1オブジェクト、66…第2オブジェクト、67…第3オブジェクト、68…第4オブジェクト
Claims (5)
- 車両に搭載され、前記車両の乗員へ情報を案内する案内オブジェクトを、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、
車両に車線変更を行うことを案内する前記案内オブジェクトを表示するオブジェクト表示手段と、
車両の車線変更に対する進捗状況を取得する進捗状況取得手段と、を有し、
前記案内オブジェクトは、互いに離間した複数のオブジェクトからなり、
前記オブジェクト表示手段は、前記複数のオブジェクトについて、オブジェクト単位で車両の車線変更に対する進捗状況に従って表示態様を変更して表示する重畳画像表示装置。 - 前記進捗状況取得手段は、車両と車線変更によって跨ぐ対象となる区画線との間の相対位置関係と、経過時間とに基づいて、前記車両の車線変更に対する進捗状況を特定して取得する請求項1に記載の重畳画像表示装置。
- 前記車両の車線変更に対する進捗状況は、車線変更前の車線を走行している段階と、車線変更中の段階と、車線変更後の車線を走行している段階の少なくとも3段階に区分される請求項1又は請求項2に記載の重畳画像表示装置。
- 前記車両の車線変更に対する進捗状況は複数の段階に区分され、
前記複数のオブジェクトは、オブジェクト単位で前記複数の段階毎に表示位置の移動対象となるオブジェクトと移動態様が設定され、
前記オブジェクト表示手段は、現在の車両の車線変更に対する進捗状況に対応するオブジェクトの表示位置を、現在の車両の車線変更に対する進捗状況に対応する移動態様で移動させる請求項1乃至請求項3のいずれかに記載の重畳画像表示装置。 - 前記オブジェクト表示手段は、
前記複数のオブジェクトを車両の車線変更の進路に沿って配列し、
車両の車線変更に対する進捗状況が進行するのに従って、車線変更の方向と逆方向に対して所定距離だけ移動させる第1のステップと、前記第1のステップにより移動した後のオブジェクトを車両側に移動させる第2のステップと、により表示態様を変更して表示する請求項1乃至請求項4のいずれかに記載の重畳画像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006483A JP2022110828A (ja) | 2021-01-19 | 2021-01-19 | 重畳画像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2021006483A JP2022110828A (ja) | 2021-01-19 | 2021-01-19 | 重畳画像表示装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2022110828A true JP2022110828A (ja) | 2022-07-29 |
Family
ID=82570136
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021006483A Pending JP2022110828A (ja) | 2021-01-19 | 2021-01-19 | 重畳画像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2022110828A (ja) |
-
2021
- 2021-01-19 JP JP2021006483A patent/JP2022110828A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6700623B2 (ja) | 走行支援装置及びコンピュータプログラム | |
US11535155B2 (en) | Superimposed-image display device and computer program | |
WO2019097755A1 (ja) | 表示装置及びコンピュータプログラム | |
JP7476568B2 (ja) | 重畳画像表示装置、重畳画像描画方法及びコンピュータプログラム | |
JP7151073B2 (ja) | 表示装置及びコンピュータプログラム | |
US20230135641A1 (en) | Superimposed image display device | |
JP2016049933A (ja) | 走行支援システム、走行支援方法及びコンピュータプログラム | |
JP2019095215A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
US11828613B2 (en) | Superimposed-image display device | |
JP7302389B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2022110828A (ja) | 重畳画像表示装置 | |
JP2023044949A (ja) | 重畳画像表示装置 | |
JP2023064957A (ja) | 重畳画像表示装置 | |
JP2019087259A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023008462A (ja) | 重畳画像表示装置 | |
JP7400356B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023038558A (ja) | 重畳画像表示装置 | |
JP2022077198A (ja) | 重畳画像表示装置 | |
JP2021081232A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6984341B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2018173315A (ja) | 表示装置 | |
JP2024018205A (ja) | 重畳画像表示装置 | |
JP2023097939A (ja) | 重畳画像表示装置 | |
JP2023131981A (ja) | 重畳画像表示装置 | |
JP2024033759A (ja) | 重畳画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231108 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240620 |