JP2016102967A - 虚像表示装置 - Google Patents
虚像表示装置 Download PDFInfo
- Publication number
- JP2016102967A JP2016102967A JP2014242404A JP2014242404A JP2016102967A JP 2016102967 A JP2016102967 A JP 2016102967A JP 2014242404 A JP2014242404 A JP 2014242404A JP 2014242404 A JP2014242404 A JP 2014242404A JP 2016102967 A JP2016102967 A JP 2016102967A
- Authority
- JP
- Japan
- Prior art keywords
- mirror
- virtual image
- image
- vehicle
- distance
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000003287 optical effect Effects 0.000 claims abstract description 88
- 230000008859 change Effects 0.000 abstract description 21
- 238000000034 method Methods 0.000 description 20
- 230000008569 process Effects 0.000 description 15
- 239000004973 liquid crystal related substance Substances 0.000 description 10
- 238000013459 approach Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 6
- 239000006059 cover glass Substances 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 4
- 230000015654 memory Effects 0.000 description 4
- 230000007423 decrease Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 238000003702 image correction Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 239000003973 paint Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000005337 ground glass Substances 0.000 description 1
- 210000003128 head Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000003936 working memory Effects 0.000 description 1
Images
Abstract
【課題】ユーザから生成される虚像までの距離について変位可能な構成を有する一方で、装置の大型化、複雑化、コスト上昇を招くことなく鮮明な虚像を生成可能とした虚像表示装置を提供する。【解決手段】プロジェクタ4から出力した映像をスクリーン5に投射し、スクリーン5に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像8を生成する。また、第1ミラー11及び第2ミラー12を光路22に沿って移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更可能に構成し、光路長Xの変更に基づいて乗員7から虚像8までの距離を変位させるように構成する。【選択図】図2
Description
本発明は、ユーザが視認する虚像を表示する虚像表示装置に関する。
従来より、車両等の移動体の乗員に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、移動体に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ装置(以下、HUDという)のような人間の目の錯覚を利用して実際に映像が表示された位置と異なる空間上に映像を視認させる虚像表示装置がある。
ここで、虚像表示装置によってより効果的な情報の提供を行う為には、虚像を生成する位置(より具体的には虚像を視認するユーザから虚像までの距離)を適切に設定することが重要である。そこで、例えば特開2009−150947号公報では、プロジェクタからの映像を投射する対象となるスクリーンの位置を光路に沿って前後に移動可能に構成し、虚像を生成する位置を調整することが開示されている。また、特表2013−535700号公報では、プロジェクタから投射される光を反射するミラーを配置し、ミラーの位置や角度を変更することによって、虚像を生成する位置を調整することが開示されている。
しかしながら、上記特許文献1に記載の技術では、スクリーンを移動させることによってプロジェクタからスクリーンまでの距離が変位し、焦点のずれ等が生じて鮮明な映像が得られない問題があった。また、焦点を合わせる為には、レンズを駆動させる為の機構が別途必要となり、装置の大型化、複雑化、コスト上昇を招くこととなる。
一方、上記特許文献2に記載の技術では、ミラーの位置や角度を変えることによってコンバイナーに入射される光路の角度が変化してしまう問題があった。ここで、HUDにおいてユーザに適切に虚像を視認させる為には、予め決められた範囲内にユーザの両眼が位置する必要があった。即ち、HUDは、HUD内部にあるスクリーンや液晶パネル等の表示手段に表示された映像を、フロントガラスやコンバイナー等に反射させてユーザに両眼に視認させる必要があるが、光路とユーザの眼の位置関係が厳密に対応してなければ表示手段に表示された映像をユーザの両眼に視認させることができなかった。従って、フロントガラスやコンバイナー等に入射される光路の角度が変化すると、光路とユーザの眼の位置関係にずれが生じ、ユーザに適切に虚像を視認させることができなくなる。
本発明は前記従来における問題点を解消するためになされたものであり、ユーザから生成される虚像までの距離について変位可能な構成を有する一方で、装置の大型化、複雑化、コスト上昇を招くことなく鮮明な虚像を生成可能とした虚像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る虚像表示装置は、光源からの光を用いて映像を表示する映像表示面と、前記映像表示面に表示された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する投影鏡と、前記映像表示面と前記投影鏡とを結ぶ光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記映像表示面から第1方向で入射する前記光路を、前記第1方向と異なる第2方向に変更する第1ミラーと、前記光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記第1ミラーから前記第2方向で入射する前記光路を、前記第2方向と異なる第3方向に変更する第2ミラーと、前記第1ミラー及び前記第2ミラーを前記第1方向に沿って移動させる移動手段と、を有し、前記第1方向と前記第3方向は互いに平行とされるとともに、逆方向となることを特徴とする。
尚、「光路」とは、映像表示面における映像の表示に用いられる光源(例えばプロジェクタ、液晶パネルのバックライト、有機ELディスプレイの発光素子等)から出力された光が通る経路をいう。例えば、映像表示面から凹面鏡までを結ぶ光路とは、光が映像表示面から凹面鏡に到達するまでの光の経路であり、基本的には映像表示面(特に映像が表示された位置)から凹面鏡までを直線で結ぶ経路となる。但し、映像表示面と凹面鏡の間に光を屈折したり反射することによって光の進行方向を変更する手段(例えばミラーやレンズ等)が配置されている場合には、該手段で所定角度に屈折又は反射された経路が該当する。
尚、「光路」とは、映像表示面における映像の表示に用いられる光源(例えばプロジェクタ、液晶パネルのバックライト、有機ELディスプレイの発光素子等)から出力された光が通る経路をいう。例えば、映像表示面から凹面鏡までを結ぶ光路とは、光が映像表示面から凹面鏡に到達するまでの光の経路であり、基本的には映像表示面(特に映像が表示された位置)から凹面鏡までを直線で結ぶ経路となる。但し、映像表示面と凹面鏡の間に光を屈折したり反射することによって光の進行方向を変更する手段(例えばミラーやレンズ等)が配置されている場合には、該手段で所定角度に屈折又は反射された経路が該当する。
前記構成を有する本発明に係る虚像表示装置によれば、第1ミラー及び第2ミラーの位置を変位させることによって映像表示面から投影鏡までの光路長を変更し、ユーザから生成される虚像までの距離について任意に変更可能となる。一方で、レンズを駆動させる為の機構等の複雑な機構を必要とすることなく鮮明な虚像を生成可能であり、品質の向上とともに装置の小型化、コスト低下も実現可能となる。また、第1ミラー及び第2ミラーを移動させた場合でも、第1方向、第2方向及び第3方向が変位しない、即ちフロントガラスやコンバイナー等への光路の入射角度は変化しないので、光路とユーザの眼の位置関係にずれを生じさせることなく、ユーザに適切に虚像を視認させることが可能となる。
以下、本発明に係る虚像表示装置について、車両に搭載されたヘッドアップディスプレイ装置に具体化した一実施形態について図面を参照しつつ詳細に説明する。
先ず、本実施形態に係るヘッドアップディスプレイ装置(以下、HUDという)1の構成について図1を用いて説明する。図1は本実施形態に係るHUD1の車両2への設置態様を示した図である。
図1に示すようにHUD1は、車両2のダッシュボード3内部に設置されており、内部にプロジェクタ4やプロジェクタ4からの映像が投射されるスクリーン5を有する。そして、スクリーン5に投射された映像を、後述のようにHUD1が備えるミラーや凹面鏡を介し、更に運転席の前方のフロントウィンドウ6に反射させて車両2の乗員7に視認させるように構成されている。尚、スクリーン5に投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置で設定された案内経路や案内経路に基づく案内情報(右左折方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
また、本実施形態のHUD1では、フロントウィンドウ6を反射して乗員7がスクリーン5に投射された映像を視認した場合に、乗員7にはフロントウィンドウ6の位置ではなく、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が虚像8として視認されるように構成される。尚、乗員7が視認できる虚像8はスクリーン5に投射された映像であるが、凹面鏡やミラーを介することによって上下方向や左右方向が反転する場合がある。尚、本実施形態では後述のように凹面鏡と複数のミラーを介するが、ミラーの数を適正化することによりスクリーン5に投射された映像は、上下方向や左右方向が反転されることなく虚像8として視認されることとなる。また、フレネルレンズや凹面鏡を介することによってサイズも変更する。
ここで、虚像8を生成する位置、より具体的には乗員7から虚像8までの距離(以下、生成距離という)Lについては、HUD1が備える凹面鏡やフレネルレンズの曲率、スクリーン5と凹面鏡との相対位置等によって適宜設定することが可能である。例えば、凹面鏡やフレネルレンズの曲率が固定であれば、スクリーン5において映像の表示された位置から凹面鏡までの光路に沿った距離によって生成距離Lが決定される。そして、本実施形態のHUD1では、後述のようにスクリーン5と凹面鏡との間で光路の方向を変更するミラーの位置を移動させたり、傾斜したスクリーン5に対して映像を投影する位置を変えることによってその距離を変更可能に構成する。その結果、生成距離Lを適宜変更可能となる。例えば生成距離Lを2.5m〜40mの間で変更することが可能である。
また、車両のフロントバンパの上方やルームミラーの裏側等にはフロントカメラ9が設置される。フロントカメラ9は、例えばCCD等の固体撮像素子を用いたカメラにより構成された撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ9により撮像された撮像画像に対して画像処理が行われることによって、後述のように乗員7と虚像8が生成される位置の間に他車両等の障害物が進入したことが検出される。また、後述のようにフロントウィンドウ6越しに乗員7に視認される前方環境、即ち虚像8が重畳される背景について乗員7から背景上の各地点までの距離(道路距離)についても検出される。更に、HUD1によって虚像8を生成可能な範囲と重畳して乗員7から視認される前方環境のエリア(以下、虚像重畳エリアという)についてもフロントカメラ9により撮像された撮像画像に基づいて検出される。尚、障害物の進入を検出する手段としてはフロントカメラ9の代わりにミリ波レーダ等のセンサを用いても良い。
次に、図2を用いてHUD1のより具体的な構成について説明する。図2は、本実施形態に係るHUD1の内部構成を示した図である。
図2に示すようにHUD1は、プロジェクタ4と、スクリーン5と、第1ミラー11と、第2ミラー12と、反射ミラー13と、凹面鏡14と、カバーガラス15と、制御回路部16と、CANインターフェース17とから基本的に構成されている。
ここで、プロジェクタ4は光源としてLED光源やランプ光源やレーザ光源を用いた映像投射装置であり、例えばレーザ走査式プロジェクタとする。尚、プロジェクタ4としてはDLPプロジェクタや液晶プロジェクタやLCOSプロジェクタを用いても良い。尚、レーザ走査式プロジェクタ以外を用いた場合にはプロジェクタ4に対して別途投射レンズを配置する必要がある。
図3はプロジェクタ4の構成を示した図である。図3に示すようにプロジェクタ4は、内部にレーザ光の光源18を備えており、例えばレーザ走査式プロジェクタでは光源18から出力されるレーザ光をMEMSミラー19で反射させ、スクリーン5上に走査させることによってスクリーン5に所望の映像を投射する。
一方、スクリーン5は、プロジェクタ4から投射された映像が投射される被投射媒体であり、例えばすりガラス等の拡散板やマイクロレンズアレイ等からなる透過型スクリーンが用いられる。ここで、図4はスクリーン5を示した図である。
図4に示すようにスクリーン5は、映像が投射される映像投射面として被投射エリア21を有しており、光源18からの光を用いてプロジェクタ4から投射された映像が表示される。即ち、スクリーン5が映像の表示される映像表示面に相当する。尚、乗員7はプロジェクタ4によって投射された映像を投射側とは逆側から視認することとなる。
また、プロジェクタ4とスクリーン5の代わりに乗員7に視認させる映像を表示する手段として液晶ディスプレイや有機ELディスプレイ等を用いても良い。その場合には、液晶ディスプレイのバックライトや有機ELディスプレイの発光素子が光源に相当し、液晶ディスプレイや有機ELディスプレイにおいて映像の表示される面が液晶表示面に相当する。
また、スクリーン5は、スクリーン5と凹面鏡14とを結ぶ光源18の光路22に対して傾斜するように配置されている。より具体的には、生成される虚像8の下端が上端よりもユーザ側に位置する方向、即ち、図5に示すようにスクリーン5の上端が光源18(プロジェクタ4)側となる方向に傾斜して配置されている。尚、スクリーン5の傾斜角θ(光路22に対して垂直な面からの傾斜で定義する)は、生成距離Lを変更可能とする範囲(例えば2.5m〜40m)や生成される虚像8を傾斜させる角度に基づいて適宜設定される。例えば3度とする。
また、第1ミラー11は、スクリーン5と凹面鏡14とを結ぶ光路22に沿ってスクリーン5と凹面鏡14との間に配置され、スクリーン5から第1方向で入射する光路22を、第1方向と異なる第2方向に変更する光の反射手段である。同じく第2ミラー12は、スクリーン5と凹面鏡14とを結ぶ光路22に沿ってスクリーン5と凹面鏡14との間に配置され、スクリーン5から第2方向で入射する光路22を、第2方向と異なる第3方向に変更する光の反射手段である。特に本実施形態では、図6に示すように第1ミラー11の反射面が第2ミラーの反射面となす角度が90度で、更に、第1ミラー11の反射面が第1方向となす角度が45度、第2ミラー12の反射面が第3方向となす角度が45度となるように第1ミラー11及び第2ミラー12を配置する。即ち、本実施形態では特に第1方向と第3方向は互いに平行とされるとともに逆方向となるように構成する。
また、第1ミラー11及び第2ミラー12は、第1方向に沿って一体に移動可能に構成されている。具体的には、第1ミラー11及び第2ミラー12の背面側にあるミラー駆動モータ23を駆動させることによって、図6に示すように第1ミラー11及び第2ミラー12を第1方向と平行な方向に対して前後方向に移動させることが可能となる。
そして、第1ミラー11及び第2ミラー12を移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xが変更されることとなる。具体的には図7に示すように第1ミラー11及び第2ミラー12を、スクリーン5に近づく方向へと移動させると光路長Xが短くなる。一方で、第1ミラー11及び第2ミラー12を、スクリーン5から遠ざかる方向へと移動させると光路長Xが長くなる。具体的には光路長Xは、第1ミラー11及び第2ミラー12の移動量の倍の距離を変位することとなる。即ち、第1ミラー11及び第2ミラー12をスクリーン5に近づく方向へと5mm移動させれば光路長Xは1cm短くなり、第1ミラー11及び第2ミラー12をスクリーン5から遠ざかる方向へと3mm移動させれば光路長Xは6mm長くなる。そして、光路長Xを変更させた結果、後述のように乗員7から虚像8までの距離である生成距離Lの長短を変更することが可能となる。
尚、本実施形態では図6に示すように第1方向と第3方向が互いに平行で逆方向となるように構成しているが、必ずしも第1方向と第3方向が互いに平行で逆方向となるように構成する必要はない。具体的には、第1方向と第3方向が90度以上異なる方向となるように第1ミラー11及び第2ミラー12を配置すれば、第1ミラー11及び第2ミラー12を移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更することが可能である。
また、本実施形態では第1ミラー11及び第2ミラー12を第1方向に平行な方向へ移動させる構成としているが、必ずしも第1方向と平行な方向に移動させる必要はなく、第1方向と所定角度(例えば5度や10度)異なる方向に移動させる構成としても良い。その場合であっても、第1ミラー11及び第2ミラー12を移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更することが可能であり、本願の目的を達する。
また、ミラー駆動モータ23はステッピングモータからなる。そして、HUD1は、制御回路部16から送信されるパルス信号に基づいてミラー駆動モータ23を制御し、第1ミラー11及び第2ミラー12の光路22に沿った位置を適切に位置決めすることが可能となる。
そして、上述のように光路22に対して傾斜するようにスクリーン5を配置し、且つ第1ミラー11及び第2ミラー12の位置を移動可能に構成した本実施形態のHUD1では、スクリーン5に対して投射される映像26の位置を変更することや、第1ミラー11及び第2ミラー12を移動させることによって、図8に示すようにスクリーン5に投射された映像26の虚像8が生成される位置(具体的には乗員7から虚像8までの距離である生成距離L)や虚像8の傾斜角を変更することが可能である。
ここで、生成距離Lや虚像8の傾斜角は、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xとスクリーン5において映像26が表示される位置、より具体的にはスクリーン5において映像26の表示された位置から凹面鏡までの光路22に沿った距離に依存する。従って、本実施形態では、第1ミラー11及び第2ミラー12の位置を移動させたり、傾斜したスクリーン5に対して映像26を投影する位置を変えることによって生成距離Lや虚像8の傾斜角を変更することが可能である。具体的には、スクリーン5に投射する映像26の位置を上方に移動させたり、第1ミラー11及び第2ミラー12をスクリーン5から遠ざかる方向へと移動させると、スクリーン5において映像26の表示された位置から凹面鏡までの光路22に沿った距離が長くなり、その結果、生成距離Lが長くなる(即ち、乗員7からはより遠くに虚像8が視認されるようになる)。また、第1ミラー11及び第2ミラー12をスクリーン5から遠ざかる方向へと移動させると、地表面に対する虚像8の傾斜の角度φは小さくなる(即ち、より地表面に平行に近い虚像8となる)。一方で、スクリーン5に投射する映像26の位置を下方に移動させたり、第1ミラー11及び第2ミラー12をスクリーン5に近づく方向へと移動させると、スクリーン5において映像26の表示された位置から凹面鏡14までの光路22に沿った距離が短くなり、その結果、生成距離Lが短くなる(即ち、乗員7からはより近くに虚像8が視認されるようになる)。また、第1ミラー11及び第2ミラー12をスクリーン5に近づく方向へと移動させると、地表面に対する虚像8の傾斜の角度φは大きくなる(即ち、より地表面に垂直に近い虚像8となる)。
従って、HUD1は、虚像8を生成する位置(具体的には乗員7から虚像8までの距離である生成距離L)を決定すると、決定された生成距離Lに対応する位置に虚像8を生成する為の光路長X(即ち、第1ミラー11及び第2ミラー12の位置)やスクリーン5に対して映像26を投射する位置を決定し、その後に決定された光路長Xとなるように第1ミラー11及び第2ミラー12を移動させ、更にスクリーン5に対して映像26を投射する位置も制御するように構成する。より具体的には、先ず第1ミラー11及び第2ミラー12の位置を決定することによって生成距離Lを変更可能な下限値と上限値が設定され、その後にスクリーン5に対して映像26を投射する位置を適宜変更することによって、設定された下限値から上限値までの範囲内で生成距離Lを変更可能に構成する。
尚、生成距離Lは、上述したようにスクリーン5において映像26の表示された位置から凹面鏡までの光路22に沿った距離に依存するので、特にスクリーン5に対して表示する映像26の位置が、凹面鏡14からの距離が変わる方向(即ちスクリーン5の短辺方向)に変位した場合に変位する。また、映像26の表示位置の変位量に対する生成距離Lの変位量は、映像26が表示される位置から凹面鏡14までの距離で異なる。即ち、映像26が表示される位置が凹面鏡14から遠い(即ちスクリーン5の上方)ほど、映像26の表示位置の変位量に対する生成距離Lの変位量は大きくなる。即ち、スクリーン5の下方では、映像26の表示位置を変位させても生成距離Lは大きく変わらないが、スクリーン5の上方では、映像26の表示位置をわずかに変位させた場合でも、生成距離Lが大きく変位することとなる。
また、生成距離Lを変更することが可能な範囲や虚像8の傾斜角度φを変更することが可能な範囲は、スクリーン5の傾斜角度θや第1ミラー11及び第2ミラー12を移動可能な範囲によって決定される。特に本実施形態では、第1ミラー11及び第2ミラー12を最もスクリーン5側に移動させた状態では、傾斜角度φは90度に極めて近い角度であって、映像26の投射する位置に関わらず生成距離Lがほぼ2.5mとなるように設計する。一方、第1ミラー11及び第2ミラー12を最もスクリーン5から離れた位置に移動させた状態では、傾斜角度φは0度に近い角度であって、被投射エリア21の最も下方に投射された映像26の虚像8の下端の生成距離Lが15mであり、被投射エリア21の最も上方に投射された映像26の虚像8の上端の生成距離Lが40mとなるように設計する。即ち、被投射エリア21の下端から上端までに跨る映像26を表示すると、乗員7からの距離が15mから40mの区間に跨る虚像8が生成されることとなる。
ここで、スクリーン5に対して投射された映像26は、凹面鏡14によって反射されるが、第1ミラー11、第2ミラー12、反射ミラー13においても反射されるので、生成される虚像8はスクリーン5に対して投射された映像と上下左右は反転しない像となる。即ち、スクリーン5の上方に投射された映像26ほど、その映像26に基づいて生成される虚像8も乗員7から鉛直方向上側に視認され、スクリーン5の下方に投射された映像26ほど、その映像26に基づいて生成される虚像8も乗員7から鉛直方向下側に視認される。従って、乗員7から遠くの位置に生成される虚像8ほど乗員7からは上方に視認できる。ここで、車両の乗員7がフロントウィンドウ6越しに前方環境を視認する場合には、基本的に遠くに位置するものほど上方に見える。従って、スクリーン5を傾斜させることによって視認できる前方環境と虚像8とを対応させ、虚像8と前方環境との重畳表示を見やすくすることが可能となる。
また、生成距離Lが長い虚像8ほど傾斜角φは小さくなるので、例えば車両の進行方向を案内する矢印や路面に表示する警告等の周辺環境に重畳させて乗員7に視認させることにより案内を行う虚像8を生成する場合には、生成距離Lを長く設定する(例えば20mとする)ことによって、虚像8をできる限り路面(地表面)に沿って生成する。その結果、生成された虚像8を周辺環境に適切に重畳させることが可能となる。一方で、例えば車両の現在車速やTV画面、地図画像等の周辺環境に重畳させずに乗員7に視認させることにより案内を行う虚像8を生成する場合には、生成距離Lを短く設定する(例えば2.5mとする)ことによって、虚像8を路面(地表面)に対してできる限り垂直に生成する。その結果、ユーザに見易い虚像8を生成することが可能となる。
一方、反射ミラー13は、図2に示すように第1ミラー11及び第2ミラー12によって反射された光源18からの光を、凹面鏡14の方向に更に反射することによってHUD1内で光路22を変更する光の反射手段である。
また、凹面鏡14は、スクリーン5に表示された映像を拡大して反射させて乗員7に視認させることによって、乗員7の前方に映像の虚像8(図1参照)を生成する投影鏡である。尚、凹面鏡14としては、球面凹面鏡や、非球面凹面鏡、若しくは投影映像の歪みを補正するための自由曲面鏡が用いられる。
また、カバーガラス15は、HUD1の上面に配置された透過性の板状部材である。そして、スクリーン5に表示された映像は凹面鏡14によって反射され、カバーガラス15を介して乗員7に視認させる。尚、カバーガラス15としてはフレネルレンズを用いても良い。また、カバーガラス15としてフレネルレンズを用いる場合には、凹面鏡14の代わりに平面の鏡を用いることも可能である。
また、制御回路部16は、HUD1の全体の制御を行う電子制御ユニットである。ここで、図10は本実施形態に係るHUD1の構成を示したブロック図である。
図10に示すように制御回路部16は、演算装置及び制御装置としてのCPU31、並びにCPU31が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM32、制御用のプログラムのほか、後述の虚像生成処理プログラム(図11参照)や交差点案内処理プログラム(図19参照)等が記録されたROM33、ROM33から読み出したプログラムや後述の位置設定テーブルを記憶するフラッシュメモリ34等の内部記憶装置を備えている。また、制御回路部16は、プロジェクタ4、ミラー駆動モータ23とそれぞれ接続され、プロジェクタ4や各種モータの駆動制御を行う。
また、CAN(コントローラエリアネットワーク)インターフェース17は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるCANに対して、データの入出力を行うインターフェースである。そして、HUD1は、CANを介して、各種車載器や車両機器の制御装置(例えば、ナビゲーション装置48、AV装置49等)と相互通信可能に接続される。それによって、HUD1は、ナビゲーション装置48やAV装置49等から取得した情報を投影可能に構成する。
続いて、前記構成を有するHUD1においてCPU31が実行する虚像生成処理プログラムについて図11に基づき説明する。図11は本実施形態に係る虚像生成処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のACC電源がONされた後に実行され、車両の乗員7に視認させる虚像8を生成するプログラムである。尚、以下の図11及び図19にフローチャートで示されるプログラムは、HUD1が備えているRAM32やROM33に記憶されており、CPU31により実行される。
先ず、虚像生成処理プログラムではステップ(以下、Sと略記する)1において、CPU31は、第1ミラー11及び第2ミラー12の位置を“基準位置”に設定する。ここで、“基準位置”は、被投射エリア21の最も下方に投射された映像26に基づいて生成される虚像8の下端の生成距離L(即ち被投射エリア21内の映像26の表示位置に基づく生成距離Lの変更可能範囲の下限)が15mとなる光路長Xを実現する位置とする。例えば最もスクリーン5から離れた位置が“基準位置”となる。
尚、前述したように乗員7から離れた位置に生成される虚像8は路面に対して平行となる方向に傾斜される。従って、第1ミラー11及び第2ミラー12の位置を“基準位置”に設定した場合には、被投射エリア21の最も上方に投射された映像26に基づいて生成される虚像8の上端の生成距離L(即ち被投射エリア21内の映像26の表示位置に基づく生成距離Lの変更可能範囲の上限)は、40mとなる。即ち、被投射エリア21の下端から上端までに跨る映像26を表示すると、図12に示すように乗員7からの距離が15mから40mの区間に跨る虚像8が生成されることとなる。
尚、第1ミラー11及び第2ミラー12の現在位置が、“基準位置(例えば最もスクリーン5から離れた位置)”に配置されていない場合には、ミラー駆動モータ23を駆動させて、虚像8の生成距離Lが“基準距離”となる位置へと第1ミラー11及び第2ミラー12を移動させる。また、本実施形態では“基準位置”を生成距離Lの変更可能範囲の下限が15mとなる位置としているが、15m以外(例えば10mや20m)としても良い。
次に、S2においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4によるスクリーン5への映像の投射を開始する。尚、プロジェクタ4により投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置48で設定された案内経路(走行予定経路)や案内経路に基づく案内情報(車両の進行方向を示す矢印等)、路面に表示する警告(追突注意、制限速度等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等がある。特に本実施形態では、生成される虚像8を周辺環境に重畳させて乗員7に視認させることにより案内を行う虚像8(第1の虚像)を生成する為の映像を出力する。具体的には、ナビゲーション装置48で設定された案内経路に基づく案内情報である車両の進行方向を示す矢印を出力する構成とする。
その結果、例えばナビゲーション装置48において案内経路が設定されており、車両の進行方向前方に特に右左折の対象となる交差点が存在しない場合には、図13に示すように車両の進行方向前方に直進方向を示す矢印の虚像8を生成する。また、本実施形態では特に矢印の虚像8を地面上、より具体的には虚像8の下端が地面上に位置するように虚像8を生成する。尚、車両の進行方向前方に右左折の対象となる交差点が接近した場合には、後述のように直進方向を示す矢印に替えて右左折を示す矢印の虚像8を生成する(図19参照)。その結果、乗員7から15m〜40m前方のいずれかの位置に車両の進行方向を示す矢印の虚像8が生成されることとなり、乗員7は虚像8を視認する際に視線移動を極力少なくすることが可能である。尚、15m〜40mの範囲内のどの位置に虚像8を生成するかについては、被投射エリア21に対して映像26を投射する位置に基づいて詳細に設定することが可能である。基本的には、乗員から虚像8の下端までの距離が20mとなる位置に映像26を投射する。但し、後述のように車両の進行方向前方に障害物が存在する場合には、乗員から虚像8の下端までの距離が20mよりも短い距離(例えば15m)となるように映像26の投射位置を変更する(S7)ように構成する。
また、前記S2でスクリーン5に投射した映像に基づいて生成される虚像8は、路面に対して平行となる方向に傾斜して生成されるので、生成された虚像8を周辺環境(即ち路面)に適切に重畳させることが可能となる。尚、特に右左折を示す矢印の虚像8を生成する場合には、後述のように右左折の対象となる案内交差点の位置に対応させて虚像8を生成することが望ましい。即ち、乗員7から右左折対象となる案内交差点までの距離を算出し、生成距離L(特に矢印の先端位置までの距離)が算出された距離となるように映像26の投射位置を変更するように構成する。尚、その後に車両が移動することによって乗員7から右左折対象となる案内交差点までの距離が変化すれば、それに伴って映像26の投射位置も変更される。それによって、右左折の対象となる案内交差点の位置を乗員7は明確に特定することが可能となる。尚、案内交差点が接近した場合における矢印の虚像8の表示態様については後述する。
続いて、S3においてCPU31は、フロントカメラ9で撮像した撮像画像を取得する。その後、取得した撮像画像に対して画像処理を行うことによって車両の進行方向前方に位置する障害物や区画線を検出する。尚、障害物としては道路上を移動する移動体である他車両、自転車、歩行者等が該当する。
その後、S4においてCPU31は、車両の進行方向前方に割り込みを行った障害物、即ち虚像8の生成位置に接近する障害物があるか否か判定する。具体的には、図14に示すように障害物(図14に示す例では2輪車)51が車両2の走行する車線52の区画線53を超えて車両2の走行する車線52内に進入した場合に、車両の進行方向前方に割り込みを行った障害物があると判定する。尚、区画線53が無い道路などでは、例えば車両から虚像8の生成位置までを結ぶ直線を設定し、該直線から所定距離(例えば5m)以内に障害物が近付いた場合に、車両の進行方向前方に割り込みを行った障害物があると判定するように構成しても良い。
そして、車両の進行方向前方に割り込みを行った障害物がある、即ち虚像8の生成位置に接近する障害物があると判定された場合(S4:YES)には、S5へと移行する。それに対して、車両の進行方向前方に割り込みを行った障害物が無い、即ち虚像8の生成位置に接近する障害物が無いと判定された場合(S4:NO)には、スクリーン5への映像の投射(第1の虚像の生成)を継続しつつS3へと戻る。
S5においてCPU31は、車両から割り込みを行った障害物までの距離Rを取得する。具体的には、フロントカメラ9で撮像した画像や車両に設置された測距センサ等のその他センサの検出結果に基づいて取得する。
次に、S6においてCPU31は、前記S5で取得された車両から割り込みを行った障害物までの距離Rと、現在の生成距離Lの変更可能範囲の下限(即ち15m)とを比較し、距離Rが生成距離Lよりも長いか否か、即ち障害物の位置が虚像8を生成可能な範囲と乗員7の間にあるか否か判定する。
そして、距離Rが現在の生成距離Lの変更可能範囲の下限よりも長い、即ち障害物の位置が虚像8を生成可能な範囲と乗員7の間にないと判定された場合(S6:YES)には、仮に障害物が虚像8の方向へと移動したとしても、少なくとも映像26の投射位置を変更すれば乗員7から障害物が虚像8と重複して視認されることを回避でき、虚像8を明確に視認させることができると推定する。従って、虚像8による案内態様を変更することなくS7へと移行する。
一方、距離Rが現在の生成距離Lの変更可能範囲の下限と同距離又は短い、即ち障害物の位置が虚像8を生成可能な範囲と乗員7の間にあると判定された場合(S6:NO)には、仮に障害物が虚像8の方向へと移動すると、映像26の投射位置をどのように変更しても乗員7から障害物が虚像8と重複して視認される虞があり、その結果、虚像8が障害物の中に埋め込まれたように視認される虞があると推定する。従って、虚像8による案内態様を変更する為にS9へと移行する。
S7においてCPU31は、スクリーン5に対して映像26を投射する位置を変更することによって、生成距離Lが車両から割り込みを行った障害物までの距離Rよりも短い距離となるようにする。具体的には、図15に示すように、スクリーン5に対して投射する映像26の位置を、下方へと移動させる。その結果、スクリーン5において映像26の表示された位置から凹面鏡までの光路22に沿った距離が短くなり、映像26に基づいて生成される虚像8の位置は、乗員7からより近くに視認されるようになる。従って、障害物が虚像8に接近した場合であっても障害物51と虚像8とが光路上で重複することがない。即ち、図16に示すように車両の進行方向前方を視認する乗員7に対して、虚像8と障害物51とを重複させずに視認させることが可能となる。
尚、前記S7において映像26の投射位置を移動する距離は、障害物と虚像8とが光路上で重複しなくなる最短の距離とする。従って、CPU31は、先ず障害物と虚像8とが光路上で重複しなくなる条件を満たす最長の生成距離L(例えばR−1m)を特定し、その生成距離Lを実現する為の映像26の表示位置を決定し、その後に決定された表示位置に映像26が表示されるようにプロジェクタ4の投射を制御する。尚、生成距離Lとスクリーン5における映像26の表示位置との対応関係は、予めテーブル等で規定し、フラッシュメモリ34等に記憶する構成とする。
続いて、S8において、CPU31はスクリーン5に対して投射する映像26のサイズを、前記S7で変更された虚像の生成距離Lに応じたサイズに変更する。尚、一般的に人間は遠くに見えるものほど小さく見え、近くに見えるものほど大きく見える。そして、前記S7では生成距離Lをより短い距離へと変更するので、S8では図15及び図16に示すように映像26をより大きいサイズへと変更する。その結果、乗員7からは近い距離に見える虚像8ほどより大きいサイズで視認されることとなるので、人間の感覚に適合した虚像8のサイズを視認させることが可能となる。尚、本実施形態では映像26のサイズの変更は、投射位置を変更した後に行う構成としているが、投射位置の変更と同時に行う構成としても良いし、投射位置の変更をする前に行う構成としても良い。その後、S3へと戻る。
一方、S9においてCPU31は、ミラー駆動モータ23を駆動させて、第1ミラー11及び第2ミラー12の位置を“基準位置”から“パネル表示位置”に変更する。ここで、“パネル表示位置”は、被投射エリア21の最も下方に投射された映像26に基づいて生成される虚像8の下端の生成距離L(即ち被投射エリア21内の映像26の位置に基づく生成距離Lの変更可能範囲の下限)が2.5mとなる光路長Xを実現する位置とする。例えば最もスクリーン5に近づく位置が“パネル表示位置”となる。
尚、前述したように乗員7から接近した位置に生成される虚像8は路面に対してほぼ垂直となる。従って、第1ミラー11及び第2ミラー12の位置を“パネル表示位置”に変更した場合には、被投射エリア21の最も上方に投射された映像26に基づいて生成される虚像8の上端の生成距離L(即ち被投射エリア21内の映像26の位置に基づく生成距離Lの変更可能範囲の上限)についても2.5m(より正確には2.5mわずかに長い距離)となる。即ち、被投射エリア21の下端から上端までに跨る映像26を表示すると、図17に示すように乗員7からの距離が2.5mの位置に路面に対してほぼ垂直な虚像8が生成されることとなる。
尚、前記S9におけるミラー駆動モータ23の駆動は、フラッシュメモリ34から読み出した位置設定テーブルを用いて行う。ここで、位置設定テーブルは、設定可能な生成距離Lの変更可能範囲の下限毎(本実施形態では2.5m(パネル表示位置)と15m(基準位置)の2種類)に対応付けて、第1ミラー11及び第2ミラー12の位置(即ち光路長X)が規定されている。そして、CPU31は、位置設定テーブルに基づいて第1ミラー11及び第2ミラー12を“基準位置”から“パネル表示位置”へ移動させるのに必要なミラー駆動モータ23の駆動量(パルス数)を決定する。その後、CPU31は、決定された駆動量だけミラー駆動モータ23を駆動させる為のパルス信号をミラー駆動モータ23へと送信する。そして、パルス信号を受信したミラー駆動モータ23は、受信したパルス信号に基づいて駆動を行う。その結果、第1ミラー11及び第2ミラー12は“基準位置”から“パネル表示位置”へと移動することとなる。また、本実施形態では“パネル表示位置”を生成距離Lの変更可能範囲の下限が2.5mとなる位置としているが、2.5m以外(例えば3mや5m)としても良い。
次に、S10においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4により投射される映像の内容を変更する。具体的には、周辺環境に重畳させて乗員7に視認させることにより案内を行う虚像8(第1の虚像)を生成する為の映像から、周辺環境に重畳させずに乗員7に視認させることにより案内を行う虚像8(第2の虚像)を生成する為の映像へと切り替える。本実施形態では、周辺環境に重畳させずに乗員7に視認させることにより案内を行う虚像8として、特に車両周辺の地図情報及びナビゲーション装置48で設定された案内経路や案内経路に基づく案内情報を出力する構成とする。
その結果、図18に示すように障害物が虚像8に接近した場合であっても、虚像8を生成する位置は自車両の先端に近い2.5m先の位置となるので、障害物51と虚像8とが光路上で重複することがない。また、虚像をできる限り路面に対して垂直方向に生成するので、乗員7に視認し易い虚像8となる。尚、その後に障害物が車両の進行方向前方から移動した場合には、第1ミラー11及び第2ミラー12の位置を再び基準位置に戻し、投射する映像の内容もS2の内容に戻すように構成することが望ましい。
続いて、HUD1においてCPU31が実行する交差点案内処理プログラムについて図19に基づき説明する。図19は本実施形態に係る交差点案内処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のACC電源がONされた後に実行され、案内交差点を案内する虚像8を生成するプログラムである。
尚、以下の説明では、前述した虚像生成処理プログラム(図11)において第1ミラー11及び第2ミラー12の位置が“基準位置”に設定されており、且つ乗員から20m離れた位置に、ナビゲーション装置48で設定された案内経路に基づく案内情報である車両の進行方向を示す矢印が表示されていることを前提として説明する。
先ず、S21においてCPU31は、CANを介してナビゲーション装置48から車両の現在位置の検出結果に基づいて取得する。尚、車両の現在位置は、高精度ロケーション技術を用いて詳細に特定することが望ましい。ここで、高精度ロケーション技術とは、車両後方のカメラから取り込んだ白線や路面ペイント情報を画像認識により検出し、更に、白線や路面ペイント情報を予め記憶した地図情報DBと照合することにより、走行車線や高精度な車両位置を検出可能にする技術である。尚、高精度ロケーション技術の詳細については既に公知であるので省略する。
続いて、S22においてCPU31は、車両の進行方向前方の所定距離以内(例えば1km以内)に対象交差点があるか否か判定する。ここで、本実施形態では“対象交差点”は、ナビゲーション装置48により走行案内を行う場合に案内対象となる交差点(案内対象交差点)とする。より具体的には、車両が走行予定経路に沿って走行する場合に、車両が道なり方向以外に通過する交差点、車両が右左折する交差点、車両方位が所定角度以上(例えば30度)変位する交差点等が該当する。従って、前記S22においてCPU31は、CANを介してナビゲーション装置48から車両の走行予定経路、即ちナビゲーション装置48で現在設定されている案内経路を取得する。そして、取得した走行予定経路に含まれる対象交差点を特定した後に前記S21で取得した車両の現在位置とを比較し、車両の進行方向前方の所定距離以内(例えば1km以内)に対象交差点があるか否か判定する。
そして、車両の進行方向前方の所定距離以内に対象交差点があると判定された場合(S22:YES)には、S23へと移行する。それに対して、車両の進行方向前方の所定距離以内に対象交差点が無いと判定された場合(S22:NO)には、S21へと戻る。
S23においてCPU31は、図20に示すようにフロントカメラ9により撮像された撮像画像とHUD1の各種設計値に基づいて、HUD1によって虚像8を生成可能な範囲と重畳して乗員7から視認される前方環境のエリア(虚像重畳エリア55)を特定する。
続いて、S24においてCPU31は、前記S23で特定された虚像重畳エリア55から対象交差点までの距離Yを算出する。より具体的には、図20に示すように虚像重畳エリア55の上端から対象交差点56の下端までの距離を距離Yとして算出する。
以下に、前記S24の虚像重畳エリア55から対象交差点56までの距離Yの算出方法の詳細について説明する。
先ずCPU31は、フロントカメラ9で撮像した撮像画像に基づいて道路距離の測定を行う。尚、“道路距離”は、フロントウィンドウ6越しに乗員7に視認される前方環境、即ち虚像8が重畳される背景中の各地点について乗員7からの距離を示したものである。その結果、図21に示すようにフロントウィンドウ6越しに乗員7に視認される前方環境の各地点が乗員7からどの程度離れた地点であるのかを特定することが可能となる。次に、CPU31は、測定された道路距離に基づいて、乗員7から虚像重畳エリア55の上端までの距離Y1と、乗員7から対象交差点56の下端までの距離Y2をそれぞれ特定し、その差分(Y2−Y1)を距離Yとして算出する。尚、“道路距離”を用いずに前記S21で検出された車両の現在位置と地図情報に基づいて算出する構成としても良い。
先ずCPU31は、フロントカメラ9で撮像した撮像画像に基づいて道路距離の測定を行う。尚、“道路距離”は、フロントウィンドウ6越しに乗員7に視認される前方環境、即ち虚像8が重畳される背景中の各地点について乗員7からの距離を示したものである。その結果、図21に示すようにフロントウィンドウ6越しに乗員7に視認される前方環境の各地点が乗員7からどの程度離れた地点であるのかを特定することが可能となる。次に、CPU31は、測定された道路距離に基づいて、乗員7から虚像重畳エリア55の上端までの距離Y1と、乗員7から対象交差点56の下端までの距離Y2をそれぞれ特定し、その差分(Y2−Y1)を距離Yとして算出する。尚、“道路距離”を用いずに前記S21で検出された車両の現在位置と地図情報に基づいて算出する構成としても良い。
次に、S25においてCPU31は、前記S24で算出された虚像重畳エリア55から対象交差点までの距離Yが0以下となったか否か、即ち、虚像重畳エリア55の少なくとも一部が対象交差点に進入したか否かを判定する。
そして、前記S24で算出された虚像重畳エリア55から対象交差点56までの距離Yが0以下となった、即ち、虚像重畳エリア55の少なくとも一部が対象交差点56に進入したと判定された場合(S25:YES)には、S27へと移行する。それに対して、前記S6で算出された虚像重畳エリア55から対象交差点56までの距離Yが0以下でない、即ち、虚像重畳エリア55が対象交差点56に進入していないと判定された場合(S25:NO)には、S26へと移行する。
S26においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4による投射する映像を補正する。具体的には、対象交差点56における車両の通過方向側に傾斜した矢印の虚像8となるように補正する。尚、矢印の向きについては車両が現在走行する道路における車両の進行方向(例えば直進方向)に固定し、対象交差点の通過方向側に回転させることはない。その結果、図22に示すように対象交差点56における車両の通過方向側(図22に示す例では右方向とする)に傾斜した矢印の虚像8が生成されることとなり、乗員7は虚像8を視認することによって次の対象交差点での通過方向を事前に把握することが可能である。
また、本実施形態では虚像重畳エリア55から対象交差点56までの距離Yが短くなる程、傾斜角度が大きい矢印の虚像を生成する。具体的には、図23に示すように距離Yが300m以下となるまでは矢印を水平方向とし、300m以下となった後に10m短くなるごとに矢印の水平方向からの傾斜角度αを2度ずつ対象交差点56における車両の通過方向側に大きくする構成とする。そして、虚像重畳エリア55から対象交差点56までの距離Yが0となった時点では、車両の通過方向に60度傾斜した矢印の虚像8が生成されることとなる。その結果、乗員7は虚像8として生成される矢印の傾斜角度から次の対象交差点までの距離についても把握することが可能である。その後、S21へと戻る。尚、図23に示す例では、矢印の傾斜を開始するタイミングを距離Yが300m以下となるタイミングとしているが、そのタイミングは適宜変更することが可能である。例えば距離Yが500m以下となるタイミングとしても良い。
一方、S27においてCPU31は、車両が対象交差点を通過した後に走行する車線の中心を通過し且つ該車線と平行な直線(以下、中心線という)を特定する。例えば、図24に示すように車両2の走行予定経路が対象交差点56を右折する経路である場合には、車両が右折後に進入する車線57の中心を通過し、車線57と平行な線が中心線58として特定される。
次に、S28においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4による投射する映像を補正する。具体的には、対象交差点56における車両の通過方向側に更に傾斜させるとともに、前記S26では固定していた矢印の向きについても車両の現在の進行方向(例えば直進方向)から対象交差点における車両の通過方向を向くように段階的に回転させるように補正する。その結果、図25に示すように対象交差点56における車両の通過方向側(図25に示す例では右方向とする)に傾斜し、且つ通過方向を向いた矢印の虚像8が対象交差点56に重畳して生成されることとなり、乗員7は虚像8を視認することによって対象交差点の位置と対象交差点での通過方向を正確に把握することが可能である。
また、本実施形態では虚像重畳エリア55の内、特に虚像8と重畳して視認される地点(具体的には虚像重畳エリア55の上端から矢印の幅の1/2だけ下方の地点とする)が、前記S27で特定された中心線に到達するまでに、矢印の向きの変更を完了するように構成する。更に、矢印の向きの変更が完了するのと同時に、矢印の傾斜角度の変更も完了するように構成する。具体的には、図26に示すように虚像重畳エリア55の少なくとも一部が対象交差点に進入した時点から車両の走行に伴って傾斜角度αを60度から段階的に90度まで変位させる。特に、虚像8と重畳して視認される地点が前記S27で特定された中心線に到達する時点で傾斜角度αが90度となるようにする。一方、矢印の回転角度βについても虚像重畳エリア55の少なくとも一部が対象交差点に進入した時点から車両の走行に伴って段階的に90度(対象交差点56における車両の通過方向)まで変位させる。そして、虚像8と重畳して視認される地点が前記S27で特定された中心線に到達する時点で矢印の回転角度βが90度となるようにする。その結果、車両の走行に伴って矢印の虚像8の向きを、車両の現在の進行方向から対象交差点における車両の通過方向へと違和感なく変位させることが可能である。その後、S29へと移行する。
S29においてCPU31は、虚像重畳エリア55の内、特に虚像8と重畳して視認される地点(具体的には虚像重畳エリア55の上端から矢印の幅の1/2だけ下方の地点とする)が、前記S27で特定された中心線に到達したか否か、即ち生成される虚像8の矢印の向きの対象交差点56における車両の通過方向への変更が完了したか否か判定する。尚、前記S29の判定はフロントカメラ9により撮像された撮像画像や前記S24で測定された“道路距離”を用いて行う。
そして、虚像重畳エリア55の内、特に虚像8と重畳して視認される地点が、前記S27で特定された中心線に到達した、即ち生成される虚像8の矢印の向きの対象交差点56における車両の通過方向への変更が完了したと判定された場合(S29:YES)には、S30へと移行する。それに対して、虚像重畳エリア55の内、特に虚像8と重畳して視認される地点が、前記S27で特定された中心線に到達していない、即ち生成される虚像8の矢印の向きの対象交差点56における車両の通過方向への変更が完了していないと判定された場合(S29:NO)にはS28へと戻り、映像の補正を継続して行う。
S30においてCPU31は、虚像重畳エリア55の内、虚像8と重畳して視認される地点(特に矢印の先端と重畳して視認される地点)が、前記S27で特定された中心線上に維持されるようにスクリーン5に対する映像の投射位置(即ち生成距離L)を制御する。
具体的には、図27に示すように、スクリーン5に対して投射する映像26の位置を、車両が対象交差点へ接近するのに伴って徐々に下方へと移動させる。尚、前述したようにスクリーン5は光路22に対して傾斜して配置されている(図8参照)ので、スクリーン5に対して投射する映像26の位置が下方に移動すると、乗員7から虚像8までの距離である生成距離Lは徐々に短くなる。従って、CPU31は、乗員7から中心線までの距離が乗員から矢印の先端までの距離と同距離となるように映像26の投射位置を制御する。その結果、車両が対象交差点へと接近した場合であっても乗員7からは、虚像8の矢印の先端と重畳して視認される地点が中心線上に維持され、対象交差点を正確に特定することが可能となる。
次に、S13においてCPU31は、車両が旋回を開始するか、或いは虚像重畳エリア55の下端が中心線より上方に移動したか否かを判定する。
そして、車両が旋回を開始した、或いは虚像重畳エリア55の下端が中心線より上方に移動したと判定された場合(S31:YES)には、当該交差点案内処理プログラムを終了する。その後、矢印の虚像8は一旦消去された後に、図13に示すように車両から基準距離前方の位置に、対象交差点通過後に車両が走行する道路における車両の進行方向(カーブ形状の道路を除けば基本的には直進方向)を示す矢印の虚像8が再度生成されることとなる。
一方、車両が旋回を開始しておらず、且つ虚像重畳エリア55の下端が中心線より上方にも位置しないと判定された場合(S31:NO)にはS30へと戻り、映像の補正を継続して行う。
以上詳細に説明した通り、本実施形態に係るHUD1によれば、プロジェクタ4から、映像をスクリーン5に投射し、スクリーン5に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像を生成する。また、第1ミラー11及び第2ミラー12を光路22に沿って移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更可能に構成し、光路長Xの変更に基づいて乗員7から虚像8までの距離を変位させる。その結果、乗員7から生成される虚像8までの距離について任意に変更可能となる一方で、レンズを駆動させる為の機構等の複雑な機構を必要とすることなく鮮明な虚像8を生成可能であり、品質の向上とともに装置の小型化、コスト低下も実現可能となる。また、第1ミラー11及び第2ミラー12を移動させた場合でも、第1方向、第2方向及び第3方向が変位しない、即ちフロントウィンドウ6への光路22の入射角度は変化しないので、光路22と乗員7の眼の位置関係にずれを生じさせることなく、乗員7に適切に虚像8を視認させることが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではHUD1によって車両2のフロントウィンドウ6の前方に虚像を生成する構成としているが、フロントウィンドウ6以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD1により映像を反射させる対象はフロントウィンドウ6自身ではなくフロントウィンドウ6の周辺に設置されたバイザー(コンバイナー)であっても良い。
例えば、本実施形態ではHUD1によって車両2のフロントウィンドウ6の前方に虚像を生成する構成としているが、フロントウィンドウ6以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD1により映像を反射させる対象はフロントウィンドウ6自身ではなくフロントウィンドウ6の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、本実施形態では車両2に対してHUD1を設置する構成としているが、車両2以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に虚像を生成し、ライドの乗員に対して虚像を視認させることが可能となる。
また、本実施形態では車両の前方に障害物が割り込んだ場合であって、且つ障害物の位置が虚像8を生成可能な範囲と乗員7の間にあると判定された場合(S6:NO)に、第1ミラー11及び第2ミラー12の位置を“基準位置”から“パネル表示位置”に移動させる(S9)構成としているが、車両が停車したことを検出した場合に、第1ミラー11及び第2ミラー12の位置を“基準位置”から“パネル表示位置”に移動させる構成としても良い。尚、車両が停車されたことの検出は、例えば車両2に設置された車速センサにより行う。
また、本実施形態では第1ミラー11及び第2ミラー12を光路に沿って一体に移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更する構成としているが、第1ミラー11や第2ミラー12は固定とし、スクリーン5や凹面鏡14を光路に沿って移動させることによって、光路長Xを変更する構成としても良い。また、第1ミラー11と第2ミラー12は一体で移動可能な構成であれば、別々の駆動源で駆動させる構成としても良い。
また、本実施形態では第1ミラー11及び第2ミラー12を第1方向に平行な方向へ移動させる構成としているが、必ずしも第1方向と平行な方向に移動させる必要はなく、第1方向と所定角度(例えば5度や10度)異なる方向に移動させる構成としても良い。その場合であっても、第1ミラー11及び第2ミラー12を移動させることによって、スクリーン5から凹面鏡14までを結ぶ光路22の光路長Xを変更することが可能であり、本願の目的を達する。
また、本実施形態では第1ミラー11及び第2ミラー12が基準位置にある場合には、周辺環境に重畳させて乗員7に視認させることにより案内を行う虚像8として、車両の進行方向を示す矢印を生成する構成としているが、障害物(他車両や歩行者)に対する警告、路面に表示する警告(追突注意、制限速度等)等を虚像8として生成する構成としても良い。
一方、本実施形態では第1ミラー11及び第2ミラー12がパネル表示位置にある場合には、周辺環境に重畳させずに乗員7に視認させることにより案内を行う虚像8として、車両周辺の地図情報及びナビゲーション装置48で設定された案内経路や案内経路に基づく案内情報を生成する構成としているが、現在車速、案内標識、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等を虚像8として生成する構成としても良い。
また、本実施形態では投射レンズが不要となるレーザ走査式プロジェクタを用いているが、レーザ走査式プロジェクタ以外のプロジェクタ(例えば、DLPプロジェクタ、液晶プロジェクタ、LCOSプロジェクタ)を用いても良い。また、プロジェクタ4とスクリーン5の代わりに乗員7に視認させる映像を表示する手段として液晶ディスプレイや有機ELディスプレイ等を用いても良い。
また、本発明に係る虚像表示装置を具体化した実施例について上記に説明したが、虚像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
例えば、第1の構成は以下のとおりである。
光源からの光を用いて映像を表示する映像表示面と、前記映像表示面に表示された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する投影鏡と、前記映像表示面と前記投影鏡とを結ぶ光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記映像表示面から第1方向で入射する前記光路を、前記第1方向と異なる第2方向に変更する第1ミラーと、前記光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記第1ミラーから前記第2方向で入射する前記光路を、前記第2方向と異なる第3方向に変更する第2ミラーと、前記第1ミラー及び前記第2ミラーを前記第1方向に沿って移動させる移動手段と、を有し、前記第1方向と前記第3方向は互いに平行とされるとともに、逆方向となることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーの位置を変位させることによって映像表示面から投影鏡までの光路長を変更し、ユーザから生成される虚像までの距離について任意に変更可能となる。一方で、レンズを駆動させる為の機構等の複雑な機構を必要とすることなく鮮明な虚像を生成可能であり、品質の向上とともに装置の小型化、コスト低下も実現可能となる。また、第1ミラー及び第2ミラーを移動させた場合でも、第1方向、第2方向及び第3方向が変位しない、即ちフロントガラスやコンバイナー等への光路の入射角度は変化しないので、光路とユーザの眼の位置関係にずれを生じさせることなく、ユーザに適切に虚像を視認させることが可能となる。また、第1ミラー及び第2ミラーの位置を変位させることによって、映像表示面から投影鏡までの光路長をユーザの任意の距離だけ正確に増減させることが可能である。具体的には、光路長を、第1ミラー及び第2ミラーの移動距離に対して倍の距離だけ変位させることが可能となる。
光源からの光を用いて映像を表示する映像表示面と、前記映像表示面に表示された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する投影鏡と、前記映像表示面と前記投影鏡とを結ぶ光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記映像表示面から第1方向で入射する前記光路を、前記第1方向と異なる第2方向に変更する第1ミラーと、前記光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記第1ミラーから前記第2方向で入射する前記光路を、前記第2方向と異なる第3方向に変更する第2ミラーと、前記第1ミラー及び前記第2ミラーを前記第1方向に沿って移動させる移動手段と、を有し、前記第1方向と前記第3方向は互いに平行とされるとともに、逆方向となることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーの位置を変位させることによって映像表示面から投影鏡までの光路長を変更し、ユーザから生成される虚像までの距離について任意に変更可能となる。一方で、レンズを駆動させる為の機構等の複雑な機構を必要とすることなく鮮明な虚像を生成可能であり、品質の向上とともに装置の小型化、コスト低下も実現可能となる。また、第1ミラー及び第2ミラーを移動させた場合でも、第1方向、第2方向及び第3方向が変位しない、即ちフロントガラスやコンバイナー等への光路の入射角度は変化しないので、光路とユーザの眼の位置関係にずれを生じさせることなく、ユーザに適切に虚像を視認させることが可能となる。また、第1ミラー及び第2ミラーの位置を変位させることによって、映像表示面から投影鏡までの光路長をユーザの任意の距離だけ正確に増減させることが可能である。具体的には、光路長を、第1ミラー及び第2ミラーの移動距離に対して倍の距離だけ変位させることが可能となる。
また、第2の構成は以下のとおりである。
前記ユーザから前記虚像までの距離である生成距離を決定する生成距離決定手段と、前記生成距離決定手段により決定された前記生成距離に対応する位置に前記虚像を生成する為の前記第1ミラー及び前記第2ミラーの位置を決定するミラー位置決定手段と、を有し、前記移動手段は、前記ミラー位置決定手段によって決定された位置に前記第1ミラー及び前記第2ミラーを移動させることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラーと第2ミラーの位置、即ち映像表示面から投影鏡までの光路長を制御することによって任意に設定された位置に虚像を生成することが可能となる。
前記ユーザから前記虚像までの距離である生成距離を決定する生成距離決定手段と、前記生成距離決定手段により決定された前記生成距離に対応する位置に前記虚像を生成する為の前記第1ミラー及び前記第2ミラーの位置を決定するミラー位置決定手段と、を有し、前記移動手段は、前記ミラー位置決定手段によって決定された位置に前記第1ミラー及び前記第2ミラーを移動させることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラーと第2ミラーの位置、即ち映像表示面から投影鏡までの光路長を制御することによって任意に設定された位置に虚像を生成することが可能となる。
また、第3の構成は以下のとおりである。
前記第1ミラーの反射面が前記第2ミラーの反射面となす角度は90度であることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーによって方向が変更される光路を、第1ミラー及び第2ミラーの位置を変位させることによって光路長を変更可能な条件を満たしつつ、できる限り簡易な形状とすることが可能となる。
前記第1ミラーの反射面が前記第2ミラーの反射面となす角度は90度であることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーによって方向が変更される光路を、第1ミラー及び第2ミラーの位置を変位させることによって光路長を変更可能な条件を満たしつつ、できる限り簡易な形状とすることが可能となる。
また、第4の構成は以下のとおりである。
前記第1ミラーの反射面が前記第1方向となす角度は45度であり、前記第2ミラーの反射面が前記第3方向となす角度は45度であることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーによって方向が変更される光路を、より簡易なコの字形状とすることが可能となる。従って、映像表示面から投影鏡までの光路長について、第1ミラー及び第2ミラーを用いたより容易な制御で正確に増減させることが可能である。
前記第1ミラーの反射面が前記第1方向となす角度は45度であり、前記第2ミラーの反射面が前記第3方向となす角度は45度であることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーによって方向が変更される光路を、より簡易なコの字形状とすることが可能となる。従って、映像表示面から投影鏡までの光路長について、第1ミラー及び第2ミラーを用いたより容易な制御で正確に増減させることが可能である。
また、第5の構成は以下のとおりである。
前記移動手段は、前記第1ミラー及び前記第2ミラーを一体に移動させることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーを一体に移動させることによって、簡易な駆動機構によって第1方向、第2方向及び第3方向を変位させることなく映像表示面から投影鏡までの光路長を増減させることが可能である。
前記移動手段は、前記第1ミラー及び前記第2ミラーを一体に移動させることを特徴とする。
上記構成を有する虚像表示装置によれば、第1ミラー及び第2ミラーを一体に移動させることによって、簡易な駆動機構によって第1方向、第2方向及び第3方向を変位させることなく映像表示面から投影鏡までの光路長を増減させることが可能である。
1 ヘッドアップディスプレイ装置
2 車両
3 ダッシュボード
4 プロジェクタ
5 スクリーン
6 フロントウィンドウ
7 乗員
8 虚像
9 フロントカメラ
11 第1ミラー
12 第2ミラー
14 凹面鏡
21 被投射エリア
22 光路
23 ミラー駆動モータ
31 CPU
32 RAM
33 ROM
34 フラッシュメモリ
51 障害物
2 車両
3 ダッシュボード
4 プロジェクタ
5 スクリーン
6 フロントウィンドウ
7 乗員
8 虚像
9 フロントカメラ
11 第1ミラー
12 第2ミラー
14 凹面鏡
21 被投射エリア
22 光路
23 ミラー駆動モータ
31 CPU
32 RAM
33 ROM
34 フラッシュメモリ
51 障害物
Claims (5)
- 光源からの光を用いて映像を表示する映像表示面と、
前記映像表示面に表示された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する投影鏡と、
前記映像表示面と前記投影鏡とを結ぶ光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記映像表示面から第1方向で入射する前記光路を、前記第1方向と異なる第2方向に変更する第1ミラーと、
前記光路に沿って前記映像表示面と前記投影鏡との間に配置され、前記第1ミラーから前記第2方向で入射する前記光路を、前記第2方向と異なる第3方向に変更する第2ミラーと、
前記第1ミラー及び前記第2ミラーを前記第1方向に沿って移動させる移動手段と、を有し、
前記第1方向と前記第3方向は互いに平行とされるとともに、逆方向となることを特徴とする虚像表示装置。 - 前記ユーザから前記虚像までの距離である生成距離を決定する生成距離決定手段と、
前記生成距離決定手段により決定された前記生成距離に対応する位置に前記虚像を生成する為の前記第1ミラー及び前記第2ミラーの位置を決定するミラー位置決定手段と、を有し、
前記移動手段は、前記ミラー位置決定手段によって決定された位置に前記第1ミラー及び前記第2ミラーを移動させることを特徴とする請求項1に記載の虚像表示装置。 - 前記第1ミラーの反射面が前記第2ミラーの反射面となす角度は90度であることを特徴とする請求項1又は請求項2に記載の虚像表示装置。
- 前記第1ミラーの反射面が前記第1方向となす角度は45度であり、
前記第2ミラーの反射面が前記第3方向となす角度は45度であることを特徴とする請求項3に記載の虚像表示装置。 - 前記移動手段は、前記第1ミラー及び前記第2ミラーを一体に移動させることを特徴とする請求項1乃至請求項4のいずれかに記載の虚像表示装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242404A JP6365269B2 (ja) | 2014-11-28 | 2014-11-28 | 虚像表示装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014242404A JP6365269B2 (ja) | 2014-11-28 | 2014-11-28 | 虚像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016102967A true JP2016102967A (ja) | 2016-06-02 |
JP6365269B2 JP6365269B2 (ja) | 2018-08-01 |
Family
ID=56088937
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014242404A Expired - Fee Related JP6365269B2 (ja) | 2014-11-28 | 2014-11-28 | 虚像表示装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6365269B2 (ja) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002311A1 (ja) * | 2015-07-01 | 2017-01-05 | パナソニックIpマネジメント株式会社 | 表示装置 |
JP2018200384A (ja) * | 2017-05-26 | 2018-12-20 | 株式会社Jvcケンウッド | 虚像表示装置 |
JP2019056840A (ja) * | 2017-09-21 | 2019-04-11 | パナソニックIpマネジメント株式会社 | ヘッドアップディスプレイ装置、及び車両 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04278840A (ja) * | 1990-10-23 | 1992-10-05 | Hughes Aircraft Co | 自動車用虚像表示装置 |
JPH0655957A (ja) * | 1992-08-11 | 1994-03-01 | Fujitsu Ltd | ヘッドアップディスプレイ |
US20090009846A1 (en) * | 2007-07-02 | 2009-01-08 | Patrick Rene Destain | Optical System for a Thin, Low-Chin, Projection Television |
JP2009150947A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | 車両用ヘッドアップディスプレイ装置 |
JP2013535700A (ja) * | 2010-07-16 | 2013-09-12 | デルファイ・テクノロジーズ・インコーポレーテッド | 調整可能なヘッドアップディスプレイ装置 |
US20150061976A1 (en) * | 2013-09-05 | 2015-03-05 | Texas Instruments Incorporated | Multi-focus heads-up display using single picture generator unit |
-
2014
- 2014-11-28 JP JP2014242404A patent/JP6365269B2/ja not_active Expired - Fee Related
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04278840A (ja) * | 1990-10-23 | 1992-10-05 | Hughes Aircraft Co | 自動車用虚像表示装置 |
JPH0655957A (ja) * | 1992-08-11 | 1994-03-01 | Fujitsu Ltd | ヘッドアップディスプレイ |
US20090009846A1 (en) * | 2007-07-02 | 2009-01-08 | Patrick Rene Destain | Optical System for a Thin, Low-Chin, Projection Television |
JP2009150947A (ja) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | 車両用ヘッドアップディスプレイ装置 |
JP2013535700A (ja) * | 2010-07-16 | 2013-09-12 | デルファイ・テクノロジーズ・インコーポレーテッド | 調整可能なヘッドアップディスプレイ装置 |
US20150061976A1 (en) * | 2013-09-05 | 2015-03-05 | Texas Instruments Incorporated | Multi-focus heads-up display using single picture generator unit |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017002311A1 (ja) * | 2015-07-01 | 2017-01-05 | パナソニックIpマネジメント株式会社 | 表示装置 |
JP2017015954A (ja) * | 2015-07-01 | 2017-01-19 | パナソニックIpマネジメント株式会社 | 表示装置 |
JP2018200384A (ja) * | 2017-05-26 | 2018-12-20 | 株式会社Jvcケンウッド | 虚像表示装置 |
JP2019056840A (ja) * | 2017-09-21 | 2019-04-11 | パナソニックIpマネジメント株式会社 | ヘッドアップディスプレイ装置、及び車両 |
Also Published As
Publication number | Publication date |
---|---|
JP6365269B2 (ja) | 2018-08-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6361492B2 (ja) | 虚像表示装置 | |
JP6241093B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6138634B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6149543B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6269262B2 (ja) | 虚像表示装置 | |
JP2016102966A (ja) | 虚像表示装置 | |
JP6027498B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6204793B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6314584B2 (ja) | ヘッドアップディスプレイ装置 | |
JP2016118851A (ja) | 虚像表示装置 | |
JP6459446B2 (ja) | 虚像表示装置 | |
JP6337721B2 (ja) | 虚像表示装置 | |
JP2016078726A (ja) | 虚像表示装置 | |
JP6213323B2 (ja) | ヘッドアップディスプレイ装置 | |
JP6337720B2 (ja) | 虚像表示装置 | |
JP2017015806A (ja) | 虚像表示装置 | |
JP6269261B2 (ja) | 虚像表示装置 | |
JP2015034945A (ja) | ヘッドアップディスプレイ装置 | |
JP6365269B2 (ja) | 虚像表示装置 | |
JP2016117345A (ja) | 虚像表示装置 | |
JP6287422B2 (ja) | ヘッドアップディスプレイ装置 | |
JP2015074391A (ja) | ヘッドアップディスプレイ装置 | |
JP6287351B2 (ja) | ヘッドアップディスプレイ装置 | |
JP2018159738A (ja) | 虚像表示装置 | |
JP6196840B2 (ja) | ヘッドアップディスプレイ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170621 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180605 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180618 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6365269 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |