JP2020139802A - 重畳画像表示装置及びコンピュータプログラム - Google Patents
重畳画像表示装置及びコンピュータプログラム Download PDFInfo
- Publication number
- JP2020139802A JP2020139802A JP2019034585A JP2019034585A JP2020139802A JP 2020139802 A JP2020139802 A JP 2020139802A JP 2019034585 A JP2019034585 A JP 2019034585A JP 2019034585 A JP2019034585 A JP 2019034585A JP 2020139802 A JP2020139802 A JP 2020139802A
- Authority
- JP
- Japan
- Prior art keywords
- virtual body
- vehicle
- image
- map information
- guide image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000004590 computer program Methods 0.000 title claims abstract description 8
- 230000003068 static effect Effects 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 55
- 230000008569 process Effects 0.000 claims description 41
- 238000001514 detection method Methods 0.000 claims description 34
- 239000004973 liquid crystal related substance Substances 0.000 description 21
- 230000015654 memory Effects 0.000 description 10
- 230000003287 optical effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000000007 visual effect Effects 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 4
- 238000009434 installation Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 239000011435 rock Substances 0.000 description 2
- 206010039203 Road traffic accident Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000000887 face Anatomy 0.000 description 1
- 230000008571 general function Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Landscapes
- Navigation (AREA)
- Instrument Panels (AREA)
- Traffic Control Systems (AREA)
- Instructional Devices (AREA)
Abstract
【課題】対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減した重畳画像表示装置及びコンピュータプログラムを提供する。【解決手段】車両の周辺の3次元地図情報を取得するとともに、3次元地図情報内に案内画像を配置し、一方で車両の周辺に対象物が存在する場合には対象物の種類を取得し、3次元地図情報内において対象物が存在する位置に、対象物の種類に基づく処理で生成された対象物を模した仮想体を配置し、その上で3次元地図情報内に配置された案内画像及び仮想体に基づいて案内画像を表示するように構成する。【選択図】図9
Description
本発明は、車両の走行支援を行う重畳画像表示装置及びコンピュータプログラムに関する。
従来より、車両の乗員に対して経路案内や障害物の警告等の車両の走行支援を行う為の各種情報を提供する情報提供手段として、様々な手段が用いられている。例えば、車両に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、運転者の周辺環境(風景、実景)に重畳する画像を表示することによって、情報の提供を行う装置がある。例えば、ヘッドアップディスプレイ、ウインドウシールドディスプレイの他、液晶ディスプレイに表示した車両周辺の撮像画像に重畳して画像を表示する方法等が該当する。
上記周辺環境に重畳する重畳画像を表示する場合において、装置側が意図する位置(例えば交差点の路面、道路周辺に位置する歩行者)に画像を重畳させて乗員に視認させる為には、画像を視認する乗員の目の位置や重畳させる外界の位置に基づいて画像の形状や画像の表示位置を算出する必要があった。例えば、特開2010−76533号公報には、カメラ等を用いて車両の外界情報を取得するとともに、画像を重畳させるターゲットの位置を特定し、車両に乗車する乗員の目の位置についても検出し、特定されたターゲットの位置と乗員の目の位置とに基づいてHUDにおいて表示する画像の形状と画像の表示位置を算出する技術について開示されている。
ここで、画像が表示されるターゲットの位置周辺に対象物(例えば、人工的な構造物、他車両、歩行者等)が存在する場合も多くあり、画像の一部がこれらの対象物と重複する場合もある。そのような場合に、画像と対象物との位置関係を正確に表現した画像を表示する為には、対象物の位置や形状をできる限り正確且つ早いタイミングで特定することが重要である。それによって、表示する画像と対象物との相対関係を装置側で把握可能となり、画像と対象物との位置関係を正確に表現した画像を表示することが可能となる。
上記特許文献1に記載の技術は、上記対象物に関する情報は対象物の種類に関わらずカメラ等によって外界情報として取得している。ここで、例えばカメラによって対象物の形状を特定する場合には、対象物の全体が見える状態でなければ対象物の形状を特定することができない。しかしながら、実際の道路環境では対象物同士が重複したり、建築物に隠れる等して対象物の一部しか見えないことも多い。その結果、正確な対象物の形状を特定することができなかったり、対象物の形状の特定が遅れる問題があった。また、カメラによる対象物の特定は、処理負荷が大きい問題もあった。
本発明は前記従来における問題点を解消するためになされたものであり、対象物の種類に基づく処理内容で対象物を模した仮想体を生成することによって、対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減した重畳画像表示装置及びコンピュータプログラムを提供することを目的とする。
前記目的を達成するため本発明に係る重畳画像表示装置は、車両に搭載され、前記車両の運転者へ情報を案内する案内画像を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、車両の周辺の3次元地図情報を取得する地図情報取得手段と、3次元地図情報内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物の種類を取得する種類取得手段と、3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体を配置する仮想体配置手段と、3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段と、を有する。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
尚、「風景」とは、実際に車両から視認される風景(実景)に加えて、風景を撮像した画像、風景を再現した画像等も含む。
また、本発明に係るコンピュータプログラムは、車両の走行支援を行うプログラムである。具体的には、車両に搭載され、前記車両の運転者へ情報を案内する案内画像を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置を、車両の周辺の3次元地図情報を取得する地図情報取得手段と、3次元地図情報内に案内画像を配置する案内画像配置手段と、車両の周辺に存在する対象物の種類を取得する種類取得手段と、3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体を配置する仮想体配置手段と、3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段と、して機能させる。
前記構成を有する本発明に係る重畳画像表示装置及びコンピュータプログラムによれば、対象物を模した仮想体を3次元地図情報内に配置することによって、表示対象とする案内画像と対象物との相対関係を装置側で正確に把握することが可能となり、案内画像と対象物との位置関係を正確に表現した案内画像を表示することが可能となる。また、対象物の種類に基づく処理内容で上記仮想体を生成するので、対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減することが可能となる。
以下、本発明に係る重畳画像表示装置を具体化した第1実施形態及び第2実施形態について図面を参照しつつ詳細に説明する。
[第1実施形態]
先ず、第1実施形態に係る重畳画像表示装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る重畳画像表示装置1の概略構成図である。
先ず、第1実施形態に係る重畳画像表示装置1の概略構成について図1を用いて説明する。図1は第1実施形態に係る重畳画像表示装置1の概略構成図である。
図1に示すように重畳画像表示装置1は、車両2に搭載されたナビゲーション装置3と、同じく車両2に搭載されるとともにナビゲーション装置3と接続されたフロントディスプレイ4とを基本的に有する。尚、フロントディスプレイ4は後述のように車両2のフロントガラス5とともにヘッドアップディスプレイとして機能し、車両2の乗員6に対して様々な情報の提供を行う情報提供手段となる。
ここで、ナビゲーション装置3は、目的地までの推奨経路を探索したり、サーバから取得したりメモリに格納された地図データに基づいて車両2の現在位置周辺の地図画像を表示したり、設定された案内経路に沿った走行案内や障害物に対する警告等をフロントディスプレイ4とともに行う機能を有する。尚、上記機能の全てをナビゲーション装置3が備えている必要はなく、少なくとも案内経路に沿った走行案内や障害物に対する警告等を行う機能を有していれば本願発明を構成することが可能である。尚、ナビゲーション装置3の構造の詳細については後述する。
一方、フロントディスプレイ4は、車両2のダッシュボード7内部に設置され、前面に設けられた画像表示面に対して画像を表示する機能を有する液晶ディスプレイである。バックライトとしては例えばCCFL(冷陰極管)や白色LEDが用いられる。尚、フロントディスプレイ4としては、液晶ディスプレイ以外に、有機ELディスプレイや液晶プロジェクタとスクリーンの組み合わせを用いても良い。
そして、フロントディスプレイ4は車両2のフロントガラス5とともにヘッドアップディスプレイとして機能し、フロントディスプレイ4から出力される画像を、運転席の前方のフロントガラス5に反射させて車両2の乗員6に視認させるように構成されている。尚、フロントディスプレイ4に表示される画像としては、車両2に関する情報や乗員6の運転の支援の為に用いられる各種情報がある。例えば乗員6に対して警告対象となる対象物(他車両、歩行者、案内標識)に対する警告、ナビゲーション装置3で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、現在車速、シフト位置、エネルギ残量、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
また、フロントガラス5を反射して乗員6がフロントディスプレイ4に表示された映像を視認した場合に、乗員6にはフロントガラス5の位置ではなく、フロントガラス5の先の遠方の位置にフロントディスプレイ4に表示された映像が虚像10として視認されるように構成される。また、虚像10は車両前方の周辺環境(風景、実景)に重畳して表示されることとなり、例えば車両前方に位置する任意の対象物(路面、建築物、警告対象となる物等)に重畳させて表示させることも可能である。
ここで、虚像10を生成する位置、より具体的には乗員6から虚像10までの距離(以下、結像距離という)Lについては、フロントディスプレイ4の位置によって決定される。例えば、フロントディスプレイ4において映像の表示された位置からフロントガラス5までの光路に沿った距離(光路長)によって結像距離Lが決定される。例えば結像距離Lが1.5mとなるように光路長が設定されている。
また、第1実施形態では車両周辺の風景に重畳する画像を表示する手段としてダッシュボード7内部に設置されたフロントディスプレイ4を用いているが、他の手段を用いても良い。例えば、ヘッドアップディスプレイ(HUD)装置を車載器として有しても良いし、フロントガラス5に対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。WSDでは、フロントガラス5をスクリーンとしてプロジェクタから映像を表示しても良いし、フロントガラス5を透過液晶ディスプレイとしても良い。WSDによってフロントガラス5に対して表示された画像は、HUDと同様に車両周辺の風景に重畳する画像となる。
更に、後述のフロントカメラ11で撮像した車両周辺の風景を車内の液晶ディスプレイに表示し、同一の液晶ディスプレイ内において表示された風景に重畳する画像を表示することも可能である。その場合においても液晶ディスプレイに表示された画像は、HUDと同様に車両周辺の風景に重畳する画像となる。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ11が設置される。フロントカメラ11は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ11により撮像された撮像画像に対して画像処理が行われることによって、フロントガラス越しに乗員6に視認される前方環境(即ち虚像10が重畳される環境)の状況等が検出される。尚、フロントカメラ11の代わりにミリ波レーダ等のセンサを用いても良い。
また、車両のインストルメントパネルの上面には車内カメラ12が設置される。車内カメラ12は、例えばCCD等の固体撮像素子を用いたカメラを有する撮像装置であり、光軸方向を運転席に向けて設置される。車内において一般的に乗員の顔が位置すると予想される範囲を検出範囲(車内カメラ12の撮像範囲)として設定し、運転席に座った乗員6の顔を撮像する。そして、車内カメラ12により撮像された撮像画像に対して画像処理が行われることによって、乗員6の目の位置(視線開始点)や視線方向を検出する。
次に、上記重畳画像表示装置1を構成するナビゲーション装置3の概略構成について図2を用いて説明する。図2は第1実施形態に係るナビゲーション装置3を示したブロック図である。
図4に示すように第1実施形態に係るナビゲーション装置3は、ナビゲーション装置3が搭載された車両2の現在位置を検出する現在位置検出部13と、各種のデータが記録されたデータ記録部14と、入力された情報に基づいて、各種の演算処理を行うナビゲーションECU15と、ユーザからの操作を受け付ける操作部16と、ユーザに対して車両周辺の地図や施設の関する施設情報を表示する液晶ディスプレイ17と、経路案内に関する音声ガイダンスを出力するスピーカ18と、記憶媒体であるDVDを読み取るDVDドライブ19と、VICS(登録商標:Vehicle Information and Communication System)センタ等の情報センタとの間で通信を行う通信モジュール20と、を有する。また、ナビゲーション装置3はCAN等の車載ネットワークを介して、前述したフロントディスプレイ4、フロントカメラ11及び車内カメラ12等が接続されている。
以下に、ナビゲーション装置3が有する各構成要素について順に説明する。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
現在位置検出部13は、GPS21、車速センサ22、ステアリングセンサ23、ジャイロセンサ24等からなり、現在の車両の位置、方位、車両の走行速度、現在時刻等を検出することが可能となっている。ここで、特に車速センサ22は、車両の移動距離や車速を検出する為のセンサであり、車両の駆動輪の回転に応じてパルスを発生させ、パルス信号をナビゲーションECU15に出力する。そして、ナビゲーションECU15は発生するパルスを計数することにより駆動輪の回転速度や移動距離を算出する。尚、上記4種類のセンサをナビゲーション装置3が全て備える必要はなく、これらの内の1又は複数種類のセンサのみをナビゲーション装置3が備える構成としても良い。
また、データ記録部14は、外部記憶装置及び記録媒体としてのハードディスク(図示せず)と、ハードディスクに記録された地図情報DB31や所定のプログラム等を読み出すとともにハードディスクに所定のデータを書き込む為のドライバである記録ヘッド(図示せず)とを備えている。尚、データ記録部14はハードディスクの代わりにフラッシュメモリやメモリーカードやCDやDVD等の光ディスクを有していても良い。また、地図情報DB31は外部のサーバに格納させ、ナビゲーション装置3が通信により取得する構成としても良い。
ここで、地図情報DB31は、2次元地図情報33と3次元地図情報34とがそれぞれ記憶される。2次元地図情報33は、一般的なナビゲーション装置3において用いられる地図情報であり、例えば、道路(リンク)に関するリンクデータ、ノード点に関するノードデータ、施設に関する施設データ、経路探索処理に用いられる探索データ、地図を表示するための地図表示データ、各交差点に関する交差点データ、地点を検索するための検索データ等を含む。
一方、3次元地図情報34は、平面だけではなく高さ情報についても有し、3次元で地図を表現する為の地図情報である。特に第1実施形態では3次元で道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等を表現する為の地図情報とする。尚、3次元地図情報34としては上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板以外の情報についても含めても良い。例えば、街路樹や路面標示等についても3次元で表現する為の情報を含めても良い。また、3次元地図情報34としては3次元空間上に上記道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の各オブジェクトを配置した地図そのものを記憶しても良いし、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)を記憶しても良い。3次元で地図を表現する為に必要な情報が格納されている場合には、ナビゲーション装置3は、必要なタイミングで3次元地図情報34として記憶された情報を用いて、対象エリアを3次元で表現した地図を生成する。
そして、ナビゲーション装置3は、液晶ディスプレイ17における地図画像の表示、案内経路の探索等の一般的な機能については2次元地図情報33を用いて行う。また、後述のように案内画像の表示に係る処理については2次元地図情報33に加えて3次元地図情報34についても用いて行う。
一方、ナビゲーションECU(エレクトロニック・コントロール・ユニット)15は、ナビゲーション装置3の全体の制御を行う電子制御ユニットであり、演算装置及び制御装置としてのCPU41、並びにCPU41が各種の演算処理を行うにあたってワーキングメモリとして使用されるとともに、経路が探索されたときの経路データ等が記憶されるRAM42、制御用のプログラムのほか、後述の走行支援処理プログラム(図3)等が記録されたROM43、ROM43から読み出したプログラムを記憶するフラッシュメモリ44等の内部記憶装置を備えている。尚、ナビゲーションECU15は、処理アルゴリズムとしての各種手段を有する。例えば、地図情報取得手段は、車両の周辺の3次元地図情報を取得する。案内画像配置手段は、3次元地図情報内に案内画像を配置する。種類取得手段は、車両の周辺に存在する対象物の種類を取得する。仮想体配置手段は、3次元地図情報内において対象物が存在する位置に、対象物の種類に基づく処理で生成された対象物を模した仮想体を配置する。案内画像表示手段は、3次元地図情報内に配置された案内画像及び仮想体に基づいて案内画像を表示する。
操作部16は、走行開始地点としての出発地及び走行終了地点としての目的地を入力する際等に操作され、各種のキー、ボタン等の複数の操作スイッチ(図示せず)を有する。そして、ナビゲーションECU15は、各スイッチの押下等により出力されるスイッチ信号に基づき、対応する各種の動作を実行すべく制御を行う。尚、操作部16は液晶ディスプレイ17の前面に設けたタッチパネルを有していても良い。また、マイクと音声認識装置を有していても良い。
また、液晶ディスプレイ17には、道路を含む地図画像、交通情報、操作案内、操作メニュー、キーの案内、出発地から目的地までの案内経路、案内経路に沿った案内情報、ニュース、天気予報、時刻、メール、テレビ番組等が表示される。尚、第1実施形態では情報の表示手段としてフロントディスプレイ4を備えているので、上記地図画像等の表示をフロントディスプレイ4で行う構成とすれば液晶ディスプレイ17は省略しても良い。
また、スピーカ18は、ナビゲーションECU15からの指示に基づいて案内経路に沿った走行を案内する音声ガイダンスや、交通情報の案内を出力する。
また、DVDドライブ19は、DVDやCD等の記録媒体に記録されたデータを読み取り可能なドライブである。そして、読み取ったデータに基づいて音楽や映像の再生、地図情報DB31の更新等が行われる。尚、DVDドライブ19に替えてメモリーカードを読み書きする為のカードスロットを設けても良い。
また、通信モジュール20は、交通情報センタ、例えば、VICSセンタやプローブセンタ等から送信された渋滞情報、規制情報、交通事故情報等の各情報から成る交通情報を受信する為の通信装置であり、例えば携帯電話機やDCMが該当する。
続いて、前記構成を有する重畳画像表示装置1の内、特にナビゲーション装置3において実行する走行支援処理プログラムについて図3に基づき説明する。図3は第1実施形態に係る走行支援処理プログラムのフローチャートである。ここで、走行支援処理プログラムは車両のACC電源(accessory power supply)がONされた後に実行され、フロントディスプレイ4に表示された画像を車両周辺の風景に重畳して視認させることによって、車両の乗員に対する各種情報の提供を行うプログラムである。尚、以下の図3、図9及び図15にフローチャートで示されるプログラムは、ナビゲーション装置3が備えているRAM42やROM43に記憶されており、CPU41により実行される。
以下の説明では特にフロントディスプレイ4を用いて、ナビゲーション装置3で設定された案内経路に沿った車両の進行方向を示す案内矢印の提供を行う例について説明する。但し、フロントディスプレイ4を用いて上記以外の案内や情報提供を行うことも可能である。例えば、車両2の乗員6への警告対象となる対象物(例えば他車両、歩行者、案内標識)に対する警告、路面に表示する警告(追突注意、制限速度等)、車両が走行する車線の区画線、広告画像、施設情報、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組の表示等が可能である。
先ず、走行支援処理プログラムでは、ステップ(以下、Sと略記する)1においてCPU41は、フロントカメラ11によって車両前方の風景を撮像した撮像画像を取得する。更に、CPU41は、地図情報DB31から車両の現在位置周辺の3次元地図情報34を読み出す。尚、3次元地図情報34には、3次元で地図を表現する為に必要な情報(道路の輪郭、建築物の形状、道路の区画線、信号機、道路標識、看板等の3次元の座標データなど)が記憶される。
次に、S2においてCPU41は、前記S1で読み出した3次元地図情報34に基づいて、車両の現在位置周辺を示す3次元立体地図(3次元で建物や道路等を表現した地図)を生成する。具体的には、以下の処理を実行することにより3次元立体地図を生成する。
先ず、CPU41は、3次元地図情報34から3次元空間上に道路、建築物、道路標識、看板等をモデリングしたオブジェクト(形状データ)を取得する。尚、CPU41は、予めモデリングしてDBに格納しておいたオブジェクトの内、該当するオブジェクトを取得する構成としても良いし、S2においてモデリングを実施してオブジェクトを新たに作成する構成としても良い。モデリングを実施する場合には、3次元地図情報34から道路及び道路周辺にある構造物(建築物、道路標識、看板等)の形状や位置を特定する情報を取得し、取得した情報に基づいてモデリング処理を行う。但し、道路、建築物、道路標識、看板の全てをモデリングする必要は無く、例えば道路のみ、或いは道路と建築物のみをモデリングしても良い。
ここで、モデリングとは3次元空間上においてモデル(物体)の形状を作成する処理であり、より具体的には各頂点の座標の決定や、境界線、面を表現する方程式のパラメータの決定などを行う。尚、モデリングについては公知の技術であるので詳細は省略する。そして、モデリングされたオブジェクト(形状データ)は、用途に応じて辺のみ表示する「ワイヤーフレームモデル」、面を表示する「サーフィスモデル」等の形で表現される。そして各オブジェクトが形成された3次元空間を3次元立体地図とする。
また、前記S2でCPU41は、現在位置検出部13で検出されたパラメータに基づいて、生成された3次元立体地図における自車両の現在位置及び方位についても特定する。尚、後述の3次元立体地図と撮像画像との照合の処理を容易化する為に、自車両の現在位置は特に自車両に設置されたフロントカメラ11の設置位置とし、自車両の方位はフロントカメラ11の光軸方向とするのが望ましい。
更に、CPU41は、前記S1で取得した車両前方の風景を撮像した撮像画像に対して画像処理を行うことによって、車両前方周辺にある対象物に対する検出処理を一定の処理間隔で並行して行う。尚、対象物には、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物とを含む。静的対象物としては例えば人工物(自動車、建築物、道路標識、看板等)や自然物(岩等)が該当し、動的対象物としては例えば生物である人等が該当する。但し人工物や自然物であっても動的対象物に含まれるものもある。更に、静的対象物と動的対象物が組み合わされた混合対象物(例えば樹木(幹の部分は静的対象物で枝の部分は動的対象物)、2輪車(自転車やバイクの部分は静的対象物で乗員の部分は動的対象物))もある。そして、3次元地図情報34に対して含まれない対象物が検出された場合には、検出された対象物に関する情報を3次元立体地図に含める。尚、検出された対象物のモデリングについては後述のS7で行うが、S2の直後に行っても良い。
ここで、図4は前記S2で生成される3次元立体地図51の一例を示した図である。図4に示すように3次元立体地図51には、3次元空間に対して、道路や構造物(建築物、道路標識、看板等)を示す各オブジェクト52が配置される。特に車両の現在位置周辺に位置する道路や構造物を示す各オブジェクト52が配置される。また、3次元立体地図51には自車両の現在位置と方位を示す自車位置マーク53についても配置される。
続いてS3においてCPU41は、前記S1で取得した撮像画像と前記S2で生成された3次元立体地図とを照合し、両者の間にズレが生じていないかを判定する。具体的にはCPU41は、3次元立体地図に設定されている自車両の現在位置(より具体的にはフロントカメラ11の設置位置であり高さも考慮する)を視点とし、自車両の方位を視線方向に設定し、設定された視点及び視線方向によって3次元立体地図を視認した際の像と、撮像画像とを照合する。尚、3次元立体地図には、歩行者や他車両等の動体物、樹木などの一部の固定物については含まれないので、それらに起因するズレは基本的には無視して判定する。また、ズレが生じていないとは両者が完全に一致する場合のみに限らず、ある程度の許容範囲内のズレが生じている場合においてもズレが生じていないとみなすのが望ましい。
そして、前記S1で取得した撮像画像と前記S2で生成された3次元立体地図との間にズレが生じていないと判定された場合(S3:YES)には、S5へと移行する。それに対して、前記S1で取得した撮像画像と前記S2で生成された3次元立体地図との間にズレが生じていると判定された場合(S3:NO)には、S4へと移行する。
S4においてCPU41は、前記S2で生成された3次元立体地図について、前記S1で取得した撮像画像と間のズレが小さくなるように3次元立体地図内に設定された自車両の現在位置及び方位を補正する。尚、3次元立体地図における自車両の現在位置及び方位は固定してオブジェクト側を補正しても良い。それによって、3次元立体地図内における正確な自車両の現在位置及び方位(より具体的にはフロントカメラ11の設置位置と光軸方向)を特定することが可能となる。その後、S3へと戻る。
一方、S5においてCPU41は、ナビゲーション装置3で設定されている案内経路を取得し、前記S2で生成された3次元立体地図に基づいて車両の今後の進行方向を示す案内矢印を、フロントディスプレイ4に表示する対象となる案内画像として生成する。尚、第1実施形態では案内画像は車両の案内経路に沿って道路の路面上(例えば車両の現在位置から100m先までの道路の路面上)に配置される矢印の画像とする。例えば、図5に示すように車両の今後の進行方向が進行方向前方にある案内交差点54で右折する場合には、案内交差点54までは直進し、案内交差点54で右折して退出道路へと進む矢印が案内画像55として生成されることとなる。尚、案内画像の形状は適宜変更可能であり、例えば矢印ではなく案内経路に沿って配置される線分としても良い。
続いて、S6においてCPU41は、S5で生成された案内画像を、前記S2で生成された3次元立体地図に対して配置する。尚、案内画像を配置する位置は、案内画像を重畳して視認させる位置であり、例えば案内経路に沿って車両の現在位置から100m先までの道路(案内交差点がある場合には案内交差点も含む)の路面とする。その結果、図5に示すように3次元立体地図51に案内画像55が配置されることとなる。
次に、S7においてCPU41は、後述の対象物モデリング処理(図9)を行う。対象物モデリング処理では、車両の周辺に位置する対象物のモデル(対象物の仮想体であり、以下、対象物仮想体という)を、前記S2で生成された3次元立体地図に対して該当の対象物が存在する位置に配置する処理である。尚、3次元立体地図に対して配置される対象物仮想体は実際の対象物の形状を模した形状となる。例えば歩行者であれば人の形状を有する対象物仮想体とし、車両であれば車両の形状(セダンタイプであればセダン形状、ミニバンタイプであればミニバン形状)を有する対象物仮想体とする。サイズについても実際の対象物のサイズと対応させる。
ここで、図6は3次元立体地図51に対して案内画像55及び前記S7の対象物モデリング処理で生成された対象物仮想体57、58を配置した図である。例えば、図6に示す例では、3次元立体地図51に他車両の対象物仮想体57及び自転車の対象物仮想体58がそれぞれ配置されている。
但し、車両に生じる振動等によって乗員から視認できる対象物の位置がブレることを考慮して、対象物仮想体のサイズは実際の対象物のサイズよりもやや大きいサイズ(例えば110%)とするのが望ましい。また、全体的に均等にサイズを広げるのではなく、相対的な移動方向(車両の乗員からみて対象物が移動する方向)に対して大きくサイズを広げるのが望ましい。尚、対象物が不定形である(形状や種類を特定できない)場合には、例外的に対象物仮想体は該対象物の全てを含む最小の直方体とする。
次に、S8においてCPU41は、先ず案内画像や対象物仮想体が配置された3次元立体地図を、車両(乗員)の視点から車両の進行方向に視認した画像(以下、視認画像という)を取得する。特に車両の視点は車両の乗員の目の位置とする。尚、乗員の目の位置については車内カメラ12によって検出することが可能である。即ち、取得された視認画像は3次元立体地図に配置された各オブジェクト(案内画像、対象物仮想体等)を車両(乗員)の視点から車両の進行方向に視認した際に視認できる像であり、車両の乗員の視界に相当する。尚、視認画像については車両(乗員)の視点から視認した画像であれば、必ずしも車両の進行方向に視認した画像である必要は無い。但し、少なくとも視認画像に案内画像と案内画像の周辺にある対象物仮想体が含まれる必要はある。
その後、CPU41は、視認画像に含まれる案内画像の形状を、フロントディスプレイ4により表示対象とする案内画像の形状として記憶する。ここで、前記S8で記憶される案内画像の形状は、3次元立体地図に配置された各オブジェクト(案内画像、対象物仮想体等)を車両(乗員)の視点から視認した際に視認できる案内画像の形状である。従って、例えば前記S8で記憶される案内画像の形状は、図7に示すように案内画像55よりも手前側に位置する対象物仮想体57と重なって視認される場合には、重なる部分については除かれた形状となる。
続いて、S9においてCPU41は、3次元立体地図において配置された案内画像の位置を取得する。例えば車両の現在位置から100m先までの道路の路面上となる。
その後、S10においてCPU41は、後述の表示範囲決定処理(図15)を行う。表示範囲決定処理では、フロントディスプレイ4において案内画像を表示する範囲(フロントガラス5に対して案内画像を投影する範囲、或いはフロントディスプレイ4に対して案内画像を表示する範囲)を決定する。
続いて、S11においてCPU41は、フロントディスプレイ4に対して制御信号を送信し、フロントディスプレイ4に対して前記S8で記憶された形状の案内画像を、前記S10で決定された表示範囲に表示する。
その結果、図8に示すようにフロントディスプレイ4に表示された案内画像55を車両の乗員が視認することによって、フロントガラス5越しの風景に重畳して視認される案内画像55の虚像67は、以下のような像となる。即ち、対象物68と重複した際に対象物68によって隠れるべき部分(自車に対して対象物68よりも遠方にある部分)については視認されない。一方で、それ以外の部分については視認される。従って、仮に対象物68と重複する場合であっても対象物68によって隠れるべきでない部分(自車に対して対象物68よりも近傍にある部分)については視認される。
それによって、車両の乗員は案内画像55の虚像67を視認した場合に、虚像67の形状から虚像67と重複して視認される対象物68との間で、前後関係を認識することが可能となる。例えば、図8に示す例では、案内画像55の虚像67は対象物(図8に示す例では他車両)68よりも奥側(遠方側)にある案内交差点69に重畳していることが明確となる。従って、案内画像55の虚像67によって示される右左折対象となる案内交差点69の位置や、案内交差点69における退出道路を正確に把握できる。
次に、前記S7において実行される対象物モデリング処理のサブ処理について図9に基づき説明する。図9は対象物モデリング処理のサブ処理プログラムのフローチャートである。
先ず、S21においてCPU41は、車両前方周辺にある対象物の検出情報について取得する。ここで、CPU41は本プログラムと並行してフロントカメラ11で撮像された撮像画像に対して画像処理を行い、車両前方周辺にある対象物に対する検出処理を一定の処理間隔で並行して行う。そして、CPU41は検出処理によって生成された検出情報を随時取得し、取得した検出情報を蓄積する。尚、対象物には、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物とを含む。但し、静的対象物は必ずしも形状が完全に固定されている必要はなく、全体として大きな形状の変化が無ければ静的対象物とする。例えばワイパーが稼働している自動車は静的対象物とするのが望ましい。
静的対象物としては例えば人工物(自動車、建築物、道路標識、看板等)や自然物(岩等)が該当し、動的対象物としては例えば生物である人等が該当する。但し人工物や自然物であっても動的対象物に含まれるものもある。更に、静的対象物と動的対象物が組み合わされた混合対象物(例えば樹木(幹の部分は静的対象物で枝の部分は動的対象物)、2輪車(自転車やバイクの部分は静的対象物で乗員の部分は動的対象物))もある。
次に、S22においてCPU41は、前記S21で取得した対象物の検出情報に基づいて、車両前方周辺に対象物がある場合には該対象物の種類について特定する。具体的には、フロントカメラ11で撮像された撮像画像に対して行われた2値化処理、特徴点やテンプレートを用いたパターンマッチング処理等の画像処理の結果を前記S21において取得し、取得した画像処理の結果に基づいて対象物の種類を特定する。尚、前記S22で特定する対象物の種類は、『人』、『車』、『道路標識』、『樹木』等の比較的大きな分類であり、少なくとも静的対象物か動的対象物かを特定可能なレベルの分類とする。細かい分類(例えば、車の車種、道路標識の種類、樹木の種類等)については基本的には特定しないが、より細かい分類まで特定可能であれば特定しても良い。尚、S22以降の処理は車両前方周辺で検出された対象物毎に行う。車両前方周辺に対象物が存在しない場合には、S22以降の処理を行うことなくS8へと移行する。
続いて、S23においてCPU41は、前記S22で特定した対象物の種類に基づいて、車両前方周辺に存在する対象物が、時間経過に対して形状が固定された“静的対象物”であるか否かを判定する。尚、“静的対象物”に該当する対象物の種類としては、例えば自動車、建築物、道路標識、看板、ガードレール等がある。
そして、車両前方周辺に存在する対象物が時間経過に対して形状が固定された“静的対象物”であると判定された場合(S23:YES)には、S24へと移行する。それに対して、車両前方周辺に存在する対象物が時間経過に対して形状が固定された“静的対象物”でないと判定された場合(S23:NO)には、S25へと移行する。
S24においてCPU41は、静的対象物に基づく処理で車両の周辺に位置する対象物のモデルである対象物仮想体を生成する。そして、前記S2で生成された3次元立体地図に対して該当の対象物が存在する位置に生成した対象物仮想体を配置する。尚、3次元立体地図に対して配置される対象物仮想体は実際の対象物の形状を模した形状となる。例えば歩行者であれば人の形状を有する対象物仮想体とし、車両であれば車両の形状(セダンタイプであればセダン形状、ミニバンタイプであればミニバン形状)を有する対象物仮想体とする。サイズについても実際の対象物のサイズと対応させる。
以下に前記S24における対象物仮想体の生成処理の詳細について説明する。
先ず、フラッシュメモリ44等の記憶媒体には、予め静的対象物の対象物仮想体の候補となる仮想体が生成されており、複数種類格納されている。即ち、セダン形状の車両を模した仮想体、ミニバンタイプ形状の車両を模した仮想体、一時停止の道路標識を模した仮想体、駐車禁止の道路標識を模した仮想体、信号機を模した仮想体等の検出可能性のある全ての種類の静的対象物について、対象物仮想体の候補となる仮想体が格納されている。
先ず、フラッシュメモリ44等の記憶媒体には、予め静的対象物の対象物仮想体の候補となる仮想体が生成されており、複数種類格納されている。即ち、セダン形状の車両を模した仮想体、ミニバンタイプ形状の車両を模した仮想体、一時停止の道路標識を模した仮想体、駐車禁止の道路標識を模した仮想体、信号機を模した仮想体等の検出可能性のある全ての種類の静的対象物について、対象物仮想体の候補となる仮想体が格納されている。
そして、CPU41は、フラッシュメモリ44に格納された複数の仮想体の候補の内から、現時点までに段階的に取得された静的対象物の検出結果に応じて徐々に候補を絞り込み、該候補の仮想体を静的対象物の対象物仮想体として生成する。例えば、図10に示すように道路71を走行する自動車72がフロントカメラ11によって撮像された場合において、自動車72の大半が樹木73によって隠れているので、検出された対象物が静的対象物である自動車であることは検出可能であるが、自動車の車種までは特定することができない。従って、図10に示す段階ではフラッシュメモリ44に格納された多数の仮想体の候補の内、トラックやバスなどの特殊な形状の車を除いて自動車を模した全ての仮想体が対象物仮想体の候補となる。尚、説明の簡略化の為に以下では『ミニバンタイプ形状の車両を模した仮想体、軽自動車形状の車両を模した仮想体、セダンタイプ形状の車両を模した仮想体』の3つの候補のみが存在すると仮定して説明する。
また、各候補については現時点までに取得した検出情報に基づいて、静的対象物の対象物仮想体として選択される確率を示す正解率についても算出される。尚、正解率は全ての候補の合計が100%となるように算出し、正解率が高い候補程、静的対象物の対象物仮想体である可能性の高いことを示す候補となる。例えば図10に示す例では『ミニバンタイプ形状の車両を模した仮想体、軽自動車形状の車両を模した仮想体、セダンタイプ形状の車両を模した仮想体』の3つの候補は現段階で正解率に差が無く、正解率は均等の33%が算出される。従って、図10に示す段階では静的対象物の対象物仮想体を一に断定できない。但し、その場合であっても候補となる仮想体の内から、暫定的に静的対象物の対象物仮想体を特定する。例えば、候補に正解率の差がある場合には、現段階で最も正解率の高い仮想体を暫定的に静的対象物の対象物仮想体として特定しても良いし、候補の内から任意に一の仮想体を選択して暫定的に静的対象物の対象物仮想体として特定しても良い。
その後、検出情報の取得を継続して行い、検出情報を蓄積した結果、図11に示すように自動車72の先頭部分が樹木73と重複せずにフロントカメラ11から撮像可能となると、図10に示す段階と比べて自動車の車種をある程度の範囲まで絞ることが可能となる。図11に示す段階ではフラッシュメモリ44に格納された多数の仮想体の候補の内、検出可能となった先頭部分の形状が一致する自動車を模した仮想体が対象物仮想体の候補となる。例えば図11に示す例では、図10に示す候補の内『ミニバンタイプ形状の車両を模した仮想体』は先頭の形状が異なることから除かれ、『軽自動車形状の車両を模した仮想体、セダンタイプ形状の車両を模した仮想体』の2つの候補のみが残ることとなる。
但し『軽自動車形状の車両を模した仮想体、セダンタイプ形状の車両を模した仮想体』の2つの候補は現段階で正解率に差が無く、正解率は均等の50%が算出される。従って、図11に示す段階においても静的対象物の対象物仮想体を一に断定できない。但し、その場合であっても図10の段階と同様に候補となる仮想体の内から、暫定的に静的対象物の対象物仮想体を特定する。尚、図10の段階で暫定的に対象物仮想体として特定していた候補が図11の段階で除かれた場合には、新たに現在の候補の内から静的対象物の対象物仮想体を特定する。
その後、更に検出情報の取得を継続して行い、検出情報を蓄積した結果、図12に示すように自動車72のほぼ全体が樹木73と重複せずにフロントカメラ11によって撮像可能となると、自動車の車種を極めて狭い範囲まで絞ることが可能となる。図12に示す段階ではフラッシュメモリ44に格納された多数の仮想体の候補の内、検出可能となった全体形状が一致する自動車を模した仮想体が対象物仮想体の候補となる。例えば図12に示す例では、図11に示す候補の内『軽自動車形状の車両を模した仮想体』は後端の形状が異なることから除かれ、『セダンタイプ形状の車両を模した仮想体』の候補のみが残ることとなる。
その結果、『セダンタイプ形状の車両を模した仮想体』を静的対象物の対象物仮想体として特定(断定)することが可能となる。尚、上述した図10〜図12の例では多数の候補の内から最終的に一の候補まで絞る例について説明したが、複数の候補が残存する状況で静的対象物の対象物仮想体を断定しても良い、その場合には正解率が閾値(例えば80%)以上の候補が生じた時点で、該候補を静的対象物の対象物仮想体として断定する。尚、対象物仮想体が一に断定できた時点で、以降は該当する静的対象物に係る検出情報の蓄積、及び検出情報を用いた処理(S22〜S27)は行わないようにする。それによって、メモリの使用量を抑えることが可能となり、対象物の検出に係る処理負担も軽減可能となる。
また、対象物仮想体の3次元立体地図への配置は、最終的に一の候補に対象物仮想体が断定されたタイミングで行っても良いし、暫定的に対象物仮想体が特定された状態でも行っても良い。暫定的に対象物仮想体が特定された状態でも対象物仮想体の3次元立体地図への配置を行うこととすれば、対象物の一部が他の対象物と重複して対象物の外観を完全に特定できないような状況であっても、対象物仮想体の生成が可能となり、より早いタイミングで適切な案内画像の生成が可能となる。但し、その場合には検出情報の蓄積に伴い対象物仮想体の形状が途中で変化する可能性もある。尚、3次元立体地図に対して対象物仮想体が配置される位置は、対応する対象物が検出された位置(対象物が存在する位置)となる。
一方、S25においてCPU41は、前記S22で特定した対象物の種類に基づいて、車両前方周辺に存在する対象物が、時間経過に対して形状が変動する“動的対象物”であるか否かを判定する。尚、“動的対象物”に該当する対象物の種類としては、例えば生物である人等がある。
そして、車両前方周辺に存在する対象物が時間経過に対して形状が変動する“動的対象物”であると判定された場合(S25:YES)には、S26へと移行する。それに対して、車両前方周辺に存在する対象物が時間経過に対して形状が変動する“動的対象物”でもない、即ち静的対象物と動的対象物が組み合わされた混合対象物であると判定された場合(S25:NO)には、S27へと移行する。尚、“混合対象物”に該当する対象物の種類としては、例えば自転車、オートバイ、樹木等がある。
S26においてCPU41は、動的対象物に基づく処理で車両の周辺に位置する対象物のモデルである対象物仮想体を生成する。そして、前記S2で生成された3次元立体地図に対して該当の対象物が存在する位置に生成した対象物仮想体を配置する。
以下に前記S26における対象物仮想体の生成処理の詳細について説明する。
先ず、CPU41は直近にフロントカメラ11によって撮像された撮像画像を対象として、勾配法やラプラシアン法等を用いたエッジの抽出処理を行い、動的対象物のエッジ(輪郭)を検出する。そして、検出されたエッジで囲まれた領域を動的対象物の対象物仮想体として生成する。例えば、図13に示す例は、フロントカメラ11の撮像画像中に動的対象物として人75が含まれている例であり、人75のエッジで囲まれた領域(空間)を動的対象物の対象物仮想体76として生成する。対象物仮想体76の形状は、直近撮像時点の動的対象物の形状を模した形状となるので、現状の動的対象物に沿ったより正確な形状を再現することが可能となる。尚、動的対象物の形状がその後に変化すれば、それに応じて生成される対象物仮想体の形状も変化することとなる。
先ず、CPU41は直近にフロントカメラ11によって撮像された撮像画像を対象として、勾配法やラプラシアン法等を用いたエッジの抽出処理を行い、動的対象物のエッジ(輪郭)を検出する。そして、検出されたエッジで囲まれた領域を動的対象物の対象物仮想体として生成する。例えば、図13に示す例は、フロントカメラ11の撮像画像中に動的対象物として人75が含まれている例であり、人75のエッジで囲まれた領域(空間)を動的対象物の対象物仮想体76として生成する。対象物仮想体76の形状は、直近撮像時点の動的対象物の形状を模した形状となるので、現状の動的対象物に沿ったより正確な形状を再現することが可能となる。尚、動的対象物の形状がその後に変化すれば、それに応じて生成される対象物仮想体の形状も変化することとなる。
一方、S27においてCPU41は、混合対象物に基づく処理で車両の周辺に位置する対象物のモデルである対象物仮想体を生成する。そして、前記S2で生成された3次元立体地図に対して該当の対象物が存在する位置に生成した対象物仮想体を配置する。
以下に前記S27における対象物仮想体の生成処理の詳細について説明する。
先ず、CPU41は混合対象物について動的対象物に該当する部分と静的対象物に該当する部分とに分割して検出する。尚、混合対象物のどの部分を動的対象物とし、どの部分を静的対象物とするかについては、予め混合対象物の種類によって決定されている。但し、撮像画像に基づいてパーツ毎に動的対象物か静的対象物かをCPU41が判断するようにしても良い。例えば図14に示す例は、フロントカメラ11の撮像画像中に混合対象物として樹木77が含まれている例である。ここで、樹木は幹の部分は時間経過に対してほぼ不変であるので静的対象物とみなせるが、枝の部分は季節や天候などによって形状が変化するので動的対象物となる。従って、幹の部分を静的対象物、枝の部分を動的対象物として分割する。
先ず、CPU41は混合対象物について動的対象物に該当する部分と静的対象物に該当する部分とに分割して検出する。尚、混合対象物のどの部分を動的対象物とし、どの部分を静的対象物とするかについては、予め混合対象物の種類によって決定されている。但し、撮像画像に基づいてパーツ毎に動的対象物か静的対象物かをCPU41が判断するようにしても良い。例えば図14に示す例は、フロントカメラ11の撮像画像中に混合対象物として樹木77が含まれている例である。ここで、樹木は幹の部分は時間経過に対してほぼ不変であるので静的対象物とみなせるが、枝の部分は季節や天候などによって形状が変化するので動的対象物となる。従って、幹の部分を静的対象物、枝の部分を動的対象物として分割する。
その後、静的対象物に分割された部分については前述したS24の処理を行うことによって、対象物仮想体(第1の仮想体)を特定する。同じく、動的対象物に分割された部分については前述したS26の処理を行うことによって、対象物仮想体(第2の仮想体)を特定する。その後、特定された各対象物仮想体を組み合わせたものを混合対象物の対象物仮想体として最終的に生成する。その結果、混合対象物についてはパーツの種類毎に分けてより最適な処理を選択することが可能となるので、対象物の検出に係る処理負担を軽減できる。
次に、前記S10において実行される表示範囲決定処理のサブ処理について図15に基づき説明する。図15は表示範囲決定処理のサブ処理プログラムのフローチャートである。
先ず、S31においてCPU41は、車両の乗員の目の位置を車内カメラ12で撮像した撮像画像に基づいて検出する。尚、検出された目の位置は3次元の位置座標で特定される。
次に、S32においてCPU41は、フロントディスプレイ4の表示がONになっているか否かを判定する。尚、フロントディスプレイ4の表示のON又はOFFの切り替えは車両の乗員の操作によって行うことが可能である。また、周辺状況や車両の状態に基づいてON又はOFFを自動で切り替えても良い。
そして、フロントディスプレイ4の表示がONになっていると判定された場合(S32:YES)には、S33へと移行する。一方、フロントディスプレイ4の表示がOFFになっていると判定された場合(S32:NO)には、フロントディスプレイ4による案内画像の表示を行うことなく終了する。
S33においてCPU41は、フロントディスプレイ4によって画像を投影する対象となるフロントガラス5の位置座標を取得する。尚、フロントガラス5の位置座標は3次元の位置座標で特定される。
次に、S34においてCPU41は、前記S9で取得された3次元立体地図において配置された案内画像の位置を特定する座標を、案内画像の位置座標として夫々取得する。尚、案内画像の位置座標は前記S33と同様に3次元の位置座標で特定される。
続いて、S35においてCPU41は、前記S31、S33及びS34で取得された各位置座標に基づいて、フロントガラス5における案内画像の投影範囲を決定する。更に、決定された投影範囲からフロントディスプレイ4における案内画像の表示範囲についても決定する。尚、案内画像の表示範囲は、前記S8で記憶される形状を有する案内画像が、車両の乗員から3次元立体地図において配置された案内画像と同位置に視認される範囲となる。その後、S11へと移行し、決定された投影範囲や表示範囲に基づいてフロントディスプレイ4を用いた虚像の表示を行う。尚、フロントディスプレイ4の表示がオフになるまで繰り返しS6〜S11の処理を行うこととなる。
以上詳細に説明した通り、第1実施形態に係る重畳画像表示装置1及び重畳画像表示装置1で実行されるコンピュータプログラムによれば、車両の周辺の3次元地図情報を取得するとともに(S2)、3次元地図情報内に案内画像を配置し(S6)、一方で車両の周辺に対象物が存在する場合には対象物の種類を取得し(S22)、3次元地図情報内において対象物が存在する位置に、対象物の種類に基づく処理で生成された対象物を模した仮想体を配置し(S24、S26、S27)、その上で3次元地図情報内に配置された案内画像及び仮想体に基づいて案内画像を表示する(S11)ので、表示対象とする案内画像と対象物との相対関係を装置側で正確に把握することが可能となり、案内画像と対象物との位置関係を正確に表現した案内画像を表示することが可能となる。また、対象物の種類に基づく処理内容で上記仮想体を生成するので、対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減することが可能となる。
[第2実施形態]
次に、第2実施形態に係る重畳画像表示装置について図16に基づいて説明する。尚、以下の説明において上記図1乃至図15の第1実施形態に係る重畳画像表示装置1の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置1等の構成と同一あるいは相当部分を示すものである。
次に、第2実施形態に係る重畳画像表示装置について図16に基づいて説明する。尚、以下の説明において上記図1乃至図15の第1実施形態に係る重畳画像表示装置1の構成と同一符号は、前記第1実施形態に係る重畳画像表示装置1等の構成と同一あるいは相当部分を示すものである。
この第2実施形態に係る重畳画像表示装置の概略構成は、第1実施形態に係る重畳画像表示装置1とほぼ同じ構成である。また、各種制御処理も第1実施形態に係る重畳画像表示装置1とほぼ同じ制御処理である。
ただし、第1実施形態に係る重畳画像表示装置1が、車両周辺の風景に重畳する画像を表示する手段としてフロントディスプレイ4によるヘッドアップディスプレイシステムを用いているのに対して、第2実施形態に係る重畳画像表示装置はナビゲーション装置3の液晶ディスプレイ17に対してフロントカメラ11で撮像した撮像画像を表示し、表示した撮像画像に案内画像を重畳させて表示する点で異なる。尚、撮像画像を表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ17以外のディスプレイであっても良い。
ただし、第1実施形態に係る重畳画像表示装置1が、車両周辺の風景に重畳する画像を表示する手段としてフロントディスプレイ4によるヘッドアップディスプレイシステムを用いているのに対して、第2実施形態に係る重畳画像表示装置はナビゲーション装置3の液晶ディスプレイ17に対してフロントカメラ11で撮像した撮像画像を表示し、表示した撮像画像に案内画像を重畳させて表示する点で異なる。尚、撮像画像を表示するディスプレイとしては車両内に配置されたディスプレイであれば、液晶ディスプレイ17以外のディスプレイであっても良い。
図16は第2実施形態に係る重畳画像表示装置において、液晶ディスプレイ17に表示される走行案内画面101の一例を示した図である。図16に示すように液晶ディスプレイ17には、フロントカメラ11により撮像された現時点の車両前方の風景が表示される。そして、車両前方の風景に対して前記S8で記憶された形状の案内画像102を表示する。尚、案内画像102の表示範囲は、車両の乗員の位置から3次元立体地図において配置された案内画像が視認される範囲となる。
その結果、案内画像102は対象物103と重複した際に対象物103によって隠れるべき部分(自車に対して対象物103よりも遠方にある部分)については視認されない。一方で、それ以外の部分については視認される。従って、仮に対象物103と重複する場合であっても対象物103によって隠れるべきでない部分(自車に対して対象物103よりも近傍にある部分)については視認される。
それによって、車両の乗員は液晶ディスプレイ17に表示された案内画像102を視認した場合に、案内画像102の形状から案内画像102と重複して視認される対象物103との間で、前後関係を認識することが可能となる。例えば、図16に示す例では、案内画像102は対象物(図16に示す例では他車両)103よりも奥側(遠方側)にある案内交差点104に重畳していることが明確となる。従って、案内画像102によって示される右左折対象となる案内交差点104の位置や、案内交差点104における退出道路を正確に把握できる。
尚、第2実施形態に係る重畳画像表示装置では、S10の表示範囲決定処理は不要であり、液晶ディスプレイ17における案内画像の表示範囲は、上述したように車両の乗員の位置から3次元立体地図において配置された案内画像が視認される範囲となる。
尚、本発明は上記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、上記第1実施形態では、フロントディスプレイ4によって車両2のフロントガラス5の前方に虚像を生成する構成としているが、フロントガラス5以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ4により映像を反射させる対象はフロントガラス5自身ではなくフロントガラス5の周辺に設置されたバイザー(コンバイナー)であっても良い。
例えば、上記第1実施形態では、フロントディスプレイ4によって車両2のフロントガラス5の前方に虚像を生成する構成としているが、フロントガラス5以外のウィンドウの前方に虚像を生成する構成としても良い。また、フロントディスプレイ4により映像を反射させる対象はフロントガラス5自身ではなくフロントガラス5の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、第1実施形態では、車両周辺の風景に重畳する画像を表示する手段としてヘッドアップディスプレイシステムを用いているが、フロントガラス5に対して画像を表示するウインドウシールドディスプレイ(WSD)を用いても良い。
また、3次元地図情報34が存在しないエリアに対しても、例えばフロントカメラ11で撮像した撮像画像に対して点群マッチングを行うことによって、道路や道路周辺にある構造物を検出し、3次元立体地図51を擬似的に生成することも可能である。そして、生成した3次元立体地図51を用いてS2以降の処理を行うことも可能である。
また、第1及び第2実施形態では、案内画像はナビゲーション装置3で設定された案内経路に沿った車両の進行方向を示す矢印の画像としているが、他の画像としても良い。例えば、車両の乗員への警告対象となる対象物(例えば他車両、歩行者、案内標識)に対する警告画像、車両が走行する車線の区画線の画像などでも良い。
また、第1及び第2実施形態では、案内画像は、車両から視認される風景に含まれる特定の対象物(例えば路面)に重畳した状態を維持することが必要な画像としているが、特定の対象物に重畳した状態を維持することが不要な画像(例えばスマートフォンの画像、地図画像等)としても良い。
また、第1及び第2実施形態では、対象物の種類を、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物と、それらが混合した混合対象物の3種類に分類しているが、静的対象物と動的対象物の2種類に分類しても良い。更に、4種類以上に分類しても良い。尚、4種類以上に分類する場合には、種類毎に仮想体を生成する処理を異なる内容とすることが望ましい。
また、第1及び第2実施形態では、時間経過に対して形状が固定された対象物を静的対象物、時間経過に対して形状が変動する対象物を動的対象物として定義しているが、他の定義で分類することも可能である。例えば、形状が予め装置側で想定する複数パターンのいずれかに特定できる対象物を静的対象物、特定できない対象物を動的対象物として定義しても良い。
また、第1及び第2実施形態では、走行支援処理プログラム(図3)の処理をナビゲーション装置3のナビゲーションECU15が実行する構成としているが、実行主体は適宜変更することが可能である。例えば、フロントディスプレイ4の制御部、車両制御ECU、その他の車載器が実行する構成としても良い。尚、フロントディスプレイ4の制御部が実行する場合には、本発明に係る重畳画像表示装置はフロントディスプレイ4のみで構成することも可能である。
また、本発明に係る重畳画像表示装置を具体化した実施例について上記に説明したが、重畳画像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
例えば、第1の構成は以下のとおりである。
車両(2)に搭載され、前記車両の運転者へ情報を案内する案内画像(55)を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置(1)であって、車両の周辺の3次元地図情報(34)を取得する地図情報取得手段(41)と、3次元地図情報内に案内画像を配置する案内画像配置手段(41)と、車両の周辺に存在する対象物(72、75、77)の種類を取得する種類取得手段(41)と、3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体(57)を配置する仮想体配置手段(41)と、3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段(41)と、を有する。
上記構成を有する重畳画像表示装置によれば、対象物を模した仮想体を3次元地図情報内に配置することによって、表示対象とする案内画像と対象物との相対関係を装置側で正確に把握することが可能となり、案内画像と対象物との位置関係を正確に表現した案内画像を表示することが可能となる。また、対象物の種類に基づく処理内容で上記仮想体を生成するので、対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減することが可能となる。
車両(2)に搭載され、前記車両の運転者へ情報を案内する案内画像(55)を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置(1)であって、車両の周辺の3次元地図情報(34)を取得する地図情報取得手段(41)と、3次元地図情報内に案内画像を配置する案内画像配置手段(41)と、車両の周辺に存在する対象物(72、75、77)の種類を取得する種類取得手段(41)と、3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体(57)を配置する仮想体配置手段(41)と、3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段(41)と、を有する。
上記構成を有する重畳画像表示装置によれば、対象物を模した仮想体を3次元地図情報内に配置することによって、表示対象とする案内画像と対象物との相対関係を装置側で正確に把握することが可能となり、案内画像と対象物との位置関係を正確に表現した案内画像を表示することが可能となる。また、対象物の種類に基づく処理内容で上記仮想体を生成するので、対象物の位置や形状を正確且つできる限り早いタイミングで特定可能であり、更に従来に比べて処理負荷についても軽減することが可能となる。
また、第2の構成は以下のとおりである。
前記案内画像(55)及び前記仮想体(57)が配置された状態で、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段(41)を有し、前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する。
上記構成を有する重畳画像表示装置によれば、車両の周囲に対象物が存在した場合であっても、それらの対象物を考慮した車両の運転者から視認できる案内画像の形状を容易に特定することが可能となる。
前記案内画像(55)及び前記仮想体(57)が配置された状態で、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段(41)を有し、前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する。
上記構成を有する重畳画像表示装置によれば、車両の周囲に対象物が存在した場合であっても、それらの対象物を考慮した車両の運転者から視認できる案内画像の形状を容易に特定することが可能となる。
また、第3の構成は以下のとおりである。
前記対象物(72、75、77)の種類には、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物と、を含む。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては形状の固定する特徴に応じた内容の処理で、時間経過に対して形状が変動する動的対象物に対しては形状が変動する特徴に応じた内容の処理で、仮想体を生成することが可能となる。その結果、従来に比べて仮想体の生成に係る処理負荷を軽減しつつ、より適切な形状の仮想体を生成することが可能となる。
前記対象物(72、75、77)の種類には、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物と、を含む。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては形状の固定する特徴に応じた内容の処理で、時間経過に対して形状が変動する動的対象物に対しては形状が変動する特徴に応じた内容の処理で、仮想体を生成することが可能となる。その結果、従来に比べて仮想体の生成に係る処理負荷を軽減しつつ、より適切な形状の仮想体を生成することが可能となる。
また、第4の構成は以下のとおりである。
前記仮想体配置手段(41)は、前記静的対象物(72)の仮想体を生成する場合には、予め格納されている複数の仮想体の候補の内から、前記静的対象物の検出結果に応じて選択した仮想体を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては、予め生成された候補の中から対象物を選択することによって、仮想体の生成に係る処理負荷を軽減することが可能となる。
前記仮想体配置手段(41)は、前記静的対象物(72)の仮想体を生成する場合には、予め格納されている複数の仮想体の候補の内から、前記静的対象物の検出結果に応じて選択した仮想体を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては、予め生成された候補の中から対象物を選択することによって、仮想体の生成に係る処理負荷を軽減することが可能となる。
また、第5の構成は以下のとおりである。
前記仮想体配置手段(41)は、前記静的対象物(72)の仮想体を生成する場合であって、前記静的対象物の検出結果が段階的に取得される場合には、予め生成された複数の仮想体の候補の内から、現時点までに取得された前記静的対象物の検出結果に応じて徐々に候補を絞り込み、絞り込んだ候補の仮想体を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては、予め生成された複数の候補の中から現時点までに取得可能な検出結果を用いて対象物を段階的に絞り込むので、候補が多数ある場合であってもその時点までに取得した検出結果に応じて最適な候補を選択することが可能となる。また、候補を絞り込むことができた時点以降は、検出結果の取得を継続して行う必要が無く、メモリの使用量を抑えることが可能となり、対象物の検出に係る処理負担も軽減可能となる。
前記仮想体配置手段(41)は、前記静的対象物(72)の仮想体を生成する場合であって、前記静的対象物の検出結果が段階的に取得される場合には、予め生成された複数の仮想体の候補の内から、現時点までに取得された前記静的対象物の検出結果に応じて徐々に候補を絞り込み、絞り込んだ候補の仮想体を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が固定された静的対象物に対しては、予め生成された複数の候補の中から現時点までに取得可能な検出結果を用いて対象物を段階的に絞り込むので、候補が多数ある場合であってもその時点までに取得した検出結果に応じて最適な候補を選択することが可能となる。また、候補を絞り込むことができた時点以降は、検出結果の取得を継続して行う必要が無く、メモリの使用量を抑えることが可能となり、対象物の検出に係る処理負担も軽減可能となる。
また、第6の構成は以下のとおりである。
前記仮想体配置手段(41)は、前記動的対象物(75)の仮想体を生成する場合には、前記動的対象物の輪郭を検出し、検出された輪郭で囲まれた領域を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が変動する動的対象物に対しては、検出した輪郭を用いて仮想体を生成するので、現状の動的対象物に沿ったより正確な形状を再現した仮想体とすることが可能となる。
前記仮想体配置手段(41)は、前記動的対象物(75)の仮想体を生成する場合には、前記動的対象物の輪郭を検出し、検出された輪郭で囲まれた領域を前記静的対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、時間経過に対して形状が変動する動的対象物に対しては、検出した輪郭を用いて仮想体を生成するので、現状の動的対象物に沿ったより正確な形状を再現した仮想体とすることが可能となる。
また、第7の構成は以下のとおりである。
前記仮想体配置手段(41)は、前記静的対象物と前記動的対象物が組み合わされた対象物である混合対象物(77)の仮想体を生成する場合には、前記混合対象物を、前記静的対象物に該当する部分と前記動的対象物に該当する部分とに分割して検出し、予め格納されている複数の仮想体の候補の内から、前記静的対象物に該当する部分の検出結果に応じて選択した仮想体を第1の仮想体として生成し、前記動的対象物に該当する部分の輪郭を検出し、検出された輪郭で囲まれた領域を第2の仮想体として生成し、第1の仮想体と第2の仮想体を組み合わせたものを前記混合対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、混合対象物についてはパーツの種類毎に分けてより最適な処理を選択することが可能となるので、対象物の検出に係る処理負担を軽減できる。
前記仮想体配置手段(41)は、前記静的対象物と前記動的対象物が組み合わされた対象物である混合対象物(77)の仮想体を生成する場合には、前記混合対象物を、前記静的対象物に該当する部分と前記動的対象物に該当する部分とに分割して検出し、予め格納されている複数の仮想体の候補の内から、前記静的対象物に該当する部分の検出結果に応じて選択した仮想体を第1の仮想体として生成し、前記動的対象物に該当する部分の輪郭を検出し、検出された輪郭で囲まれた領域を第2の仮想体として生成し、第1の仮想体と第2の仮想体を組み合わせたものを前記混合対象物の仮想体として生成する。
上記構成を有する重畳画像表示装置によれば、混合対象物についてはパーツの種類毎に分けてより最適な処理を選択することが可能となるので、対象物の検出に係る処理負担を軽減できる。
1 重畳画像表示装置
2 車両
3 ナビゲーション装置
4 フロントディスプレイ
5 フロントガラス
6 乗員
7 ダッシュボード
41 CPU
42 RAM
43 ROM
55 案内画像
57、58 対象物仮想体
68 対象物
72 自動車(静的対象物)
75 人(動的対象物)
77 樹木(混合対象物)
2 車両
3 ナビゲーション装置
4 フロントディスプレイ
5 フロントガラス
6 乗員
7 ダッシュボード
41 CPU
42 RAM
43 ROM
55 案内画像
57、58 対象物仮想体
68 対象物
72 自動車(静的対象物)
75 人(動的対象物)
77 樹木(混合対象物)
Claims (8)
- 車両に搭載され、前記車両の運転者へ情報を案内する案内画像を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置であって、
車両の周辺の3次元地図情報を取得する地図情報取得手段と、
3次元地図情報内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物の種類を取得する種類取得手段と、
3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体を配置する仮想体配置手段と、
3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段と、を有する重畳画像表示装置。 - 前記案内画像及び前記仮想体が配置された状態で、3次元地図情報内における車両の位置から前記案内画像を視認した場合の前記案内画像の形状を取得する形状取得手段を有し、
前記案内画像表示手段は、前記形状取得手段によって取得された形状の前記案内画像を表示する請求項1に記載の重畳画像表示装置。 - 前記対象物の種類には、時間経過に対して形状が固定された静的対象物と、時間経過に対して形状が変動する動的対象物と、を含む請求項1又は請求項2に記載の重畳画像表示装置。
- 前記仮想体配置手段は、
前記静的対象物の仮想体を生成する場合には、
予め格納されている複数の仮想体の候補の内から、前記静的対象物の検出結果に応じて選択した仮想体を前記静的対象物の仮想体として生成する請求項3に記載の重畳画像表示装置。 - 前記仮想体配置手段は、
前記静的対象物の仮想体を生成する場合であって、前記静的対象物の検出結果が段階的に取得される場合には、
予め生成された複数の仮想体の候補の内から、現時点までに取得された前記静的対象物の検出結果に応じて徐々に候補を絞り込み、
絞り込んだ候補の仮想体を前記静的対象物の仮想体として生成する請求項4に記載の重畳画像表示装置。 - 前記仮想体配置手段は、
前記動的対象物の仮想体を生成する場合には、
前記動的対象物の輪郭を検出し、検出された輪郭で囲まれた領域を前記静的対象物の仮想体として生成する請求項3に記載の重畳画像表示装置。 - 前記仮想体配置手段は、
前記静的対象物と前記動的対象物が組み合わされた対象物である混合対象物の仮想体を生成する場合には、
前記混合対象物を、前記静的対象物に該当する部分と前記動的対象物に該当する部分とに分割して検出し、
予め格納されている複数の仮想体の候補の内から、前記静的対象物に該当する部分の検出結果に応じて選択した仮想体を第1の仮想体として生成し、
前記動的対象物に該当する部分の輪郭を検出し、検出された輪郭で囲まれた領域を第2の仮想体として生成し、
第1の仮想体と第2の仮想体を組み合わせたものを前記混合対象物の仮想体として生成する請求項3に記載の重畳画像表示装置。 - 車両に搭載され、前記車両の運転者へ情報を案内する案内画像を、前記車両周辺の風景に重畳して視認させる重畳画像表示装置を、
車両の周辺の3次元地図情報を取得する地図情報取得手段と、
3次元地図情報内に案内画像を配置する案内画像配置手段と、
車両の周辺に存在する対象物の種類を取得する種類取得手段と、
3次元地図情報内において前記対象物が存在する位置に、前記対象物の種類に基づく処理で生成された前記対象物を模した仮想体を配置する仮想体配置手段と、
3次元地図情報内に配置された前記案内画像及び前記仮想体に基づいて前記案内画像を表示する案内画像表示手段と、
して機能させる為のコンピュータプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019034585A JP2020139802A (ja) | 2019-02-27 | 2019-02-27 | 重畳画像表示装置及びコンピュータプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019034585A JP2020139802A (ja) | 2019-02-27 | 2019-02-27 | 重畳画像表示装置及びコンピュータプログラム |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2020139802A true JP2020139802A (ja) | 2020-09-03 |
Family
ID=72264718
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019034585A Pending JP2020139802A (ja) | 2019-02-27 | 2019-02-27 | 重畳画像表示装置及びコンピュータプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2020139802A (ja) |
-
2019
- 2019-02-27 JP JP2019034585A patent/JP2020139802A/ja active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019097763A1 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6700623B2 (ja) | 走行支援装置及びコンピュータプログラム | |
JP6946963B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
US20120224060A1 (en) | Reducing Driver Distraction Using a Heads-Up Display | |
WO2019097755A1 (ja) | 表示装置及びコンピュータプログラム | |
CN112313137B (zh) | 行驶信息处理装置和处理方法 | |
US11493357B2 (en) | Superimposed image display device, superimposed image drawing method, and computer program | |
JP7151073B2 (ja) | 表示装置及びコンピュータプログラム | |
US20230135641A1 (en) | Superimposed image display device | |
CN113165510B (zh) | 显示控制装置、方法和计算机程序 | |
JP2019056884A (ja) | 重畳画像表示装置 | |
JP7143728B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP7302389B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2020139802A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP6939147B2 (ja) | 走行情報案内装置及びコンピュータプログラム | |
JP6984341B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP7484132B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP7400356B2 (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2021081232A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2023064957A (ja) | 重畳画像表示装置 | |
JP2023044949A (ja) | 重畳画像表示装置 | |
JP2023008462A (ja) | 重畳画像表示装置 | |
JP2021038978A (ja) | 重畳画像表示装置及びコンピュータプログラム | |
JP2024071143A (ja) | 重畳画像表示装置 | |
JP2022110828A (ja) | 重畳画像表示装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20210423 |