JP2016064759A - 虚像表示装置 - Google Patents

虚像表示装置 Download PDF

Info

Publication number
JP2016064759A
JP2016064759A JP2014195149A JP2014195149A JP2016064759A JP 2016064759 A JP2016064759 A JP 2016064759A JP 2014195149 A JP2014195149 A JP 2014195149A JP 2014195149 A JP2014195149 A JP 2014195149A JP 2016064759 A JP2016064759 A JP 2016064759A
Authority
JP
Japan
Prior art keywords
virtual image
screen
obstacle
image
optical path
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2014195149A
Other languages
English (en)
Other versions
JP6337720B2 (ja
Inventor
賢二 渡邊
Kenji Watanabe
賢二 渡邊
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin AW Co Ltd
Original Assignee
Aisin AW Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin AW Co Ltd filed Critical Aisin AW Co Ltd
Priority to JP2014195149A priority Critical patent/JP6337720B2/ja
Publication of JP2016064759A publication Critical patent/JP2016064759A/ja
Application granted granted Critical
Publication of JP6337720B2 publication Critical patent/JP6337720B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Abstract

【課題】ユーザと虚像が生成される位置の間に他車両等の障害物が進入した場合であっても、ユーザに虚像を適切に視認させることを可能にした虚像表示装置を提供する。【解決手段】プロジェクタ4から、映像をスクリーン5に投射し、スクリーン5に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像を生成する。また、障害物が虚像8の生成位置に接近することを検出した場合に、スクリーン5に対して映像を投射する位置を変更することによって、虚像8が生成される位置を地面より下方へと移動させ、虚像8が生成される位置が地面より下方へと移動する。その後に、スクリーン5とミラーとの間の光路長を変更することにより、虚像8が生成される位置を乗員7側へと移動させるように構成する。【選択図】図1

Description

本発明は、ユーザが視認する虚像を表示する虚像表示装置に関する。
従来より、車両等の移動体の乗員に対して経路案内や障害物の警告等の運転情報を提供する情報提供手段として、様々な手段が用いられている。例えば、移動体に設置された液晶ディスプレイによる表示や、スピーカから出力する音声等である。そして、近年、このような情報提供手段の一つとして、ヘッドアップディスプレイ装置(以下、HUDという)のような人間の目の錯覚を利用して実際に映像が表示された位置と異なる空間上に映像を視認させる虚像表示装置がある。
ここで、例えば移動体として特に車両に対して設置されたHUDは、特開2011−73466号公報に記載されているように、車両の乗員から見て車両のウィンドウ(例えばフロントウインドウ)の前方に、前方視野の前景に重畳して、運転情報(例えば、前方車両を示すマークや車間距離を示すマーク等)を虚像として生成することが可能である。その結果、乗員は運転情報を視認する際に視線移動を極力少なくすることが可能であり、運転時の負担をより少なくすることが可能となる。
特開2011−73466号公報(第3−4頁、図1)
ここで、上記特許文献1に記載された虚像表示装置では、虚像を視認するユーザから予め設定された所定距離前方の位置に虚像を生成する。従って、所定距離を比較的長い距離に設定した場合では、ユーザと虚像が生成される位置の間に他車両等の障害物が進入する場合も多い。その場合には、ユーザからは虚像が障害物の中に埋め込まれたように視認されることとなるので、ユーザが虚像を視認し難くなる問題があった。
本発明は前記従来における問題点を解消するためになされたものであり、ユーザと虚像が生成される位置の間に他車両等の障害物が進入した場合であっても、ユーザに虚像を適切に視認させることを可能にした虚像表示装置を提供することを目的とする。
前記目的を達成するため本発明に係る虚像表示装置は、スクリーンと、映像を前記スクリーンに投射するプロジェクタと、前記スクリーンに投射された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する凹面鏡を含む虚像生成手段と、前記スクリーンと前記凹面鏡との間の光路長を変更する光路長変更手段と、障害物が前記虚像の生成位置に接近することを検出した場合に、前記スクリーンに対して前記映像を投射する位置を変更することによって、前記虚像が生成される位置を地面より下方へと移動させる虚像位置移動手段と、前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後に、前記光路長変更手段によって前記スクリーンと前記凹面鏡との間の光路長を変更することにより、前記虚像が生成される位置を前記ユーザの視線方向に沿って前記ユーザ側へと移動させる虚像距離変更手段と、を有することを特徴とする。
尚、ユーザの視線方向とは、ユーザが虚像を視認する方向であり、ユーザの位置と虚像の生成位置とを結んだ直線の長さ方向にも相当する。
前記構成を有する本発明に係る虚像表示装置によれば、ユーザと虚像が生成される位置の間に他車両等の障害物が進入した場合であっても、虚像が生成される位置を地面より下方へと移動させることにより虚像と障害物とを重複させないように構成するので、ユーザに虚像を適切に視認させることが可能となる。また、虚像が生成される位置を地面より下方へと移動させた後に虚像が生成される位置をユーザ側へと移動させるので、虚像が地面に埋め込まれるように視認される違和感を最終的に解消することが可能となる。
本実施形態に係るHUDの車両への設置態様を示した図である。 本実施形態に係るHUDの内部構成を示した図である。 HUDを構成するプロジェクタを示した図である。 HUDを構成するスクリーンを示した図である。 スクリーンの光路に対する移動態様を示した図である。 スクリーンとミラーとの間の光路長と虚像の生成距離との関係を示した図である。 虚像の生成距離の変更態様を示した図である。 本実施形態に係るHUDの構成を示したブロック図である。 本実施形態に係る虚像生成処理プログラムのフローチャートである。 車両の乗員から視認できる虚像の一例を示した図である。 車両の進行方向前方に割り込んだ障害物を示した図である。 車両の進行方向前方に割り込んだ障害物と虚像が生成される位置との関係を示した図である。 車両の乗員から視認できる虚像と障害物の視認態様を示した図である。 虚像の生成位置を変更する処理の詳細について説明した図である。 虚像の生成位置を変更した後における車両の乗員から視認できる虚像と障害物の視認態様を示した図である。
以下、本発明に係る虚像生成装置について、車両に搭載されたヘッドアップディスプレイ装置に具体化した一実施形態について図面を参照しつつ詳細に説明する。
先ず、本実施形態に係るヘッドアップディスプレイ装置(以下、HUDという)1の構成について図1を用いて説明する。図1は本実施形態に係るHUD1の車両2への設置態様を示した図である。
図1に示すようにHUD1は、車両2のダッシュボード3内部に設置されており、内部にプロジェクタ4やプロジェクタ4からの映像が投射されるスクリーン5を有する。そして、スクリーン5に投射された映像を、後述のようにHUD1が備えるミラーやフレネルレンズを介し、更に運転席の前方のフロントウィンドウ6に反射させて車両2の乗員7に視認させるように構成されている。尚、スクリーン5に投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置48で設定された案内経路(走行予定経路)や案内経路に基づく案内情報(右左折方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ番組等がある。
また、本実施形態のHUD1では、フロントウィンドウ6を反射して乗員7がスクリーン5に投射された映像を視認した場合に、乗員7にはフロントウィンドウ6の位置ではなく、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が虚像8として視認されるように構成される。尚、乗員7が視認できる虚像8はスクリーン5に投射された映像であるが、ミラーを介するので上下方向は反転する。また、フレネルレンズを介することによってサイズも変更する。
ここで、虚像8を生成する位置、より具体的には乗員7から虚像8までの距離(以下、生成距離という)Lについては、HUD1が備えるミラーやフレネルレンズの形状や位置、光路に対するスクリーン5の位置等によって適宜設定することが可能である。特に、本実施形態では後述のようにスクリーン5の位置を光路に沿って前後方向に移動可能に構成する。その結果、生成距離Lを適宜変更することが可能となる。例えば生成距離Lを2.5m〜20mの間で変更することが可能である。
また、車両のフロントバンパの上方にはフロントカメラ17が設置される。フロントカメラ17は、例えばCCD等の固体撮像素子を用いたカメラにより構成された撮像装置であり、光軸方向を車両の進行方向前方に向けて設置される。そして、フロントカメラ17により撮像された撮像画像に対して画像処理が行われることによって、後述のように乗員7と虚像8が生成される位置の間に他車両等の障害物が進入したことが検出される。尚、障害物の進入を検出する手段としてはフロントカメラ17の代わりにミリ波レーダ等のセンサを用いても良い。
次に、図2を用いてHUD1のより具体的な構成について説明する。図2は、本実施形態に係るHUD1の内部構成を示した図である。
図2に示すようにHUD1は、プロジェクタ4と、スクリーン5と、反射ミラー10と、ミラー(凹面鏡)11と、フレネルレンズ12と、制御回路部13と、CANインターフェース14とから基本的に構成されている。
ここで、プロジェクタ4は光源としてLED光源やランプ光源やレーザ光源を用いた映像投射装置であり、例えばレーザ走査式プロジェクタとする。尚、プロジェクタ4としてはDLPプロジェクタや液晶プロジェクタやLCOSプロジェクタを用いても良い。尚、レーザ走査式プロジェクタ以外を用いた場合にはプロジェクタ4に対して別途投射レンズを配置する必要がある。
図3はプロジェクタ4の構成を示した図である。図3に示すようにプロジェクタ4は、内部にレーザ光の光源15を備えており、例えばレーザ走査式プロジェクタでは光源15から出力されるレーザ光をMEMSミラー16で反射させ、スクリーン5上に走査させることによってスクリーン5に所望の映像を投射する。
一方、スクリーン5は、プロジェクタ4から投射された映像が投射される被投射媒体であり、例えばすりガラス等の拡散板やマイクロレンズアレイ等からなる透過型スクリーンが用いられる。ここで、図4はスクリーン5を示した図である。
図4に示すようにスクリーン5は、映像が投射される被投射エリア22を有しており、プロジェクタ4から投射された映像が表示される。尚、乗員7はプロジェクタ4によって投射された映像を投射側とは逆側から視認することとなる。また、スクリーン5は、光路に沿って前後方向に移動可能に構成されている。具体的には、スクリーン5の背面側にあるスクリーン前後駆動モータ24を駆動させることによって、図5に示すようにスクリーン5を光路に沿って前後方向に移動させることが可能となる。その結果、スクリーン5とミラー11との間の光路長が変更される。
そして、HUD1ではスクリーン5とミラー11との間の光路長に、スクリーン5に投射された映像の虚像8が生成される位置(具体的には乗員7から虚像8までの距離である生成距離L)が依存することとなる。具体的には図6に示すようにスクリーン5を、スクリーン5とミラー11との間の光路長Dが短くなる側に移動させると、生成距離Lが短くなる(即ち、乗員7からはより近くに虚像8が視認されるようになる)。一方で、スクリーン5を、スクリーン5とミラー11との間の光路長Dが長くなる側に移動させると、生成距離Lが長くなる(即ち、乗員7からはより遠くに虚像8が視認されるようになる)。従って、スクリーン5を光路に沿って前後方向に移動させることによって、図7に示すように乗員7から虚像8までの距離である生成距離Lの長短を、予め決められた範囲(例えば2.5m〜20m)で変更することが可能となる。
また、スクリーン前後駆動モータ24はステッピングモータからなる。そして、HUD1は、制御回路部13から送信されるパルス信号に基づいてスクリーン前後駆動モータ24を制御し、スクリーン5の前後位置を設定位置に対して適切に位置決めすることが可能となる。
一方、反射ミラー10は、図2に示すようにプロジェクタ4から投射された映像を反射して光路を変更し、スクリーン5へと投射する反射板である。
また、ミラー11は、図2に示すようにスクリーン5からの映像光を反射させ、フロントウィンドウ6を介してスクリーン5の映像を乗員7に視認させることにより、乗員7の前方に虚像8(図1参照)を生成する手段であり、反射ミラー10やフロントウィンドウ6とともに虚像生成手段を構成する。ミラー11としては、球面凹面鏡や、非球面凹面鏡、若しくは投影映像の歪みを補正するための自由曲面鏡が用いられる。尚、スクリーン5に対して投射された映像は、ミラー11によって反射されるので、生成される虚像はスクリーン5に対して投射された映像と上下が反転した像となる。
また、フレネルレンズ12は、図2に示すようにスクリーン5に投射された映像を拡大して虚像8を生成する為の拡大鏡である。そして、本実施形態に係るHUD1では、スクリーン5に投射された映像を、ミラー11やフレネルレンズ12を介し、更にフロントウィンドウ6に反射させて乗員7に視認させることによって、フロントウィンドウ6の先の遠方の位置にスクリーン5に投射された映像が拡大され、虚像8として乗員に視認される(図1参照)。
また、制御回路部13は、HUD1の全体の制御を行う電子制御ユニットである。ここで、図8は本実施形態に係るHUD1の構成を示したブロック図である。
図8に示すように制御回路部13は、演算装置及び制御装置としてのCPU31、並びにCPU31が各種の演算処理を行うにあたってワーキングメモリとして使用されるRAM32、制御用のプログラムのほか、後述の虚像生成処理プログラム(図9参照)等が記録されたROM33、ROM33から読み出したプログラムや後述の位置設定テーブルを記憶するフラッシュメモリ34等の内部記憶装置を備えている。また、制御回路部13は、プロジェクタ4、スクリーン前後駆動モータ24とそれぞれ接続され、プロジェクタ4や各種モータの駆動制御を行う。
また、CAN(コントローラエリアネットワーク)インターフェース14は、車両内に設置された各種車載器や車両機器の制御装置間で多重通信を行う車載ネットワーク規格であるCANに対して、データの入出力を行うインターフェースである。そして、HUD1は、CANを介して、各種車載器や車両機器の制御装置(例えば、ナビゲーション装置48、AV装置49等)と相互通信可能に接続される。それによって、HUD1は、ナビゲーション装置48やAV装置49等から取得した情報を投影可能に構成する。
続いて、前記構成を有するHUD1においてCPU31が実行する虚像生成処理プログラムについて図9に基づき説明する。図9は本実施形態に係る虚像生成処理プログラムのフローチャートである。ここで、虚像生成処理プログラムは車両のACC電源がONされた後に実行され、車両の乗員7に視認させる虚像8を生成するプログラムである。尚、以下の図9にフローチャートで示されるプログラムは、HUD1が備えているRAM32やROM33に記憶されており、CPU31により実行される。
先ず、虚像生成処理プログラムではステップ(以下、Sと略記する)1において、CPU31は、虚像8の生成距離Lを基準距離となる最長距離の20mに設定する。尚、スクリーン5の現在位置が、虚像8の生成距離Lが20mとなる位置(スクリーン5とミラー11との間の光路長が最長となる位置)に配置されていない場合には、スクリーン前後駆動モータ24を駆動させて、虚像8の生成距離Lが20mとなる位置へとスクリーン5を移動させる。また、本実施形態では生成距離Lの基準距離を最長距離である20mとしているが、20m以外(例えば15mや10m)としても良い。
次に、S2においてCPU31は、プロジェクタ4へと信号を送信し、プロジェクタ4によるスクリーン5への映像の投射を開始する。尚、プロジェクタ4により投射される映像としては、車両2に関する情報や乗員7の運転の支援の為に用いられる各種情報がある。例えば障害物(他車両や歩行者)に対する警告、ナビゲーション装置48で設定された案内経路(走行予定経路)や案内経路に基づく案内情報(車両の進行方向を示す矢印等)、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等がある。特に本実施形態では、ナビゲーション装置48で設定された案内経路に基づく案内情報である車両の進行方向を示す矢印を出力する構成とする。
その結果、例えばナビゲーション装置48において案内経路が設定されており、車両の進行方向前方に特に右左折の対象となる交差点が存在しない場合には、図10に示すように車両の進行方向前方に直進方向を示す矢印の虚像8を生成する。尚、車両の進行方向前方に右左折の対象となる交差点が接近した場合には、直進方向を示す矢印に替えて右左折を示す矢印の虚像8を生成する。その結果、乗員7から基準距離(20m)前方の位置に車両の進行方向を示す矢印の虚像8が生成されることとなり、乗員7は虚像8を視認する際に視線移動を極力少なくすることが可能である。また、特に右左折を示す矢印の虚像8を生成する場合には、右左折の対象となる交差点の位置に対応させて虚像8を生成することが望ましい。即ち、乗員7から右左折対象となる交差点までの距離を算出し、算出した距離を目標生成距離に設定し、生成距離Lが目標生成距離となるようにプロジェクタ4の光路に沿ってスクリーン5を移動させるように構成する。尚、その後に車両が移動することによって乗員7から右左折対象となる交差点までの距離が変化すれば、それに伴って生成距離Lも変更される。それによって、右左折の対象となる交差点の位置を乗員7は明確に特定することが可能となる。尚、本実施形態では特に矢印の虚像8を地面上、より具体的には虚像8の下端が地面上に位置するように虚像8を生成する。
続いて、S3においてCPU31は、フロントカメラ17で撮像した撮像画像を取得する。その後、取得した撮像画像に対して画像処理を行うことによって車両の進行方向前方に位置する障害物や区画線を検出する。尚、障害物としては道路上を移動する移動体である他車両、自転車、歩行者等が該当する。
その後、S4においてCPU31は、車両の進行方向前方に割り込みを行った障害物、即ち虚像8の生成位置に接近する障害物があるか否か判定する。具体的には、図10に示すように障害物(図10に示す例では2輪車)51が車両2の走行する車線52の区画線53を超えて車両2の走行する車線52内に進入した場合に、車両の進行方向前方に割り込みを行った障害物があると判定する。尚、区画線53が無い道路などでは、例えば車両と虚像8の生成位置の間に直線を設定し、該直線から所定距離(例えば5m)以内に障害物が近付いた場合に、車両の進行方向前方に割り込みを行った障害物があると判定するように構成しても良い。
そして、車両の進行方向前方に割り込みを行った障害物がある、即ち虚像8の生成位置に接近する障害物があると判定された場合(S4:YES)には、S5へと移行する。それに対して、車両の進行方向前方に割り込みを行った障害物が無い、即ち虚像8の生成位置に接近する障害物が無いと判定された場合(S4:NO)には、スクリーン5への映像の投射を継続しつつ当該虚像生成処理プログラムを終了する。
S5においてCPU31は、車両から割り込みを行った障害物までの距離Rを取得する。具体的には、フロントカメラ17で撮像した画像や車両に設置された測距センサ等のその他センサの検出結果に基づいて取得する。
次に、S6においてCPU31は、前記S5で取得された車両から割り込みを行った障害物までの距離Rと、現在設定されている生成距離Lとを比較し、距離Rが生成距離Lよりも短いか否か、即ち障害物の位置が虚像8の生成位置と乗員7の間にあるか否か判定する。
そして、距離Rが生成距離Lよりも短い、即ち障害物の位置が虚像8の生成位置と乗員7の間にあると判定された場合(S6:YES)には、仮に障害物が虚像8の方向へと移動すると、乗員7から障害物が虚像8と重複して視認され、特に虚像8が障害物の中に埋め込まれたように視認される虞があると推定する。従って、虚像8の生成位置を移動させるためにS7へと移行する。
一方、距離Rが生成距離Lと同距離又は長い、即ち障害物の位置が虚像8の生成位置と乗員7の間にないと判定された場合(S6:NO)には、仮に障害物が虚像8の方向へと移動したとしても、乗員7から障害物が虚像8と重複して視認されることなく明確に視認することができると推定する。従って、虚像8の生成位置を移動させることなくスクリーン5への映像の投射を継続し、S3へと戻る。
S7においてCPU31は、車両の進行方向前方に割り込みを行ったと判定された障害物の移動方向と移動速度を取得する。具体的には、フロントカメラ17で撮像した画像や車両に設置された測距センサ等のその他センサの検出結果に基づいて取得する。
次に、S8においてCPU31は、前記S7で取得した障害物の移動方向及び移動速度に基づいて、障害物と虚像8が光路上で重複するまでの時間T1を算出する。尚、光路上で重複するとは、図12に示すように障害物51と虚像8の前後方向の位置のずれは問わず、車両2の乗員7から虚像8までの直線(光路)上に障害物51の少なくとも一部が位置すれば重複するとみなす。即ち、図13に示すように車両の進行方向前方を視認する乗員7が、虚像8と障害物51が一部でも重複しているように見える場合が、光路上で重複する場合となる。
続いて、S9においてCPU31は、生成距離Lを障害物までの距離Rよりも短くする、即ち虚像8の生成位置を障害物の位置よりも乗員7側に移動する為に必要な時間T2を算出する。具体的には、生成距離Lを距離Rよりも短い距離(例えばR−1m)へと変更する為に必要なスクリーン5の移動時間がT2として算出される。尚、HUD1は設定可能な生成距離L(本実施形態では2.5m〜20mの間の0.5m単位)毎に、該生成距離Lを実現する為のスクリーン5の位置を対応付けた位置設定テーブルを予めフラッシュメモリ34等に記憶しており、CPU31は上記位置設定テーブルとスクリーン5の移動速度を用いてT2を算出する。
その後、S10においてCPU31は、前記S8で算出された障害物と虚像8が光路上で重複するまでの時間T1と、前記S9で算出された虚像8の生成位置を障害物の位置よりも乗員7側に移動する為に必要な時間T2とを比較し、T2がT1以下か否か判定する。尚、T2がT1以下となる場合は、障害物と虚像8が光路上で重複する前までに、スクリーン5とミラー11との間の光路長を変更することにより、虚像8が生成される位置を障害物よりも乗員7側へと移動することができる場合である。一方、T2がT1より長い場合は、障害物と虚像8が光路上で重複する前までに、虚像8が生成される位置を障害物よりも乗員7側へと移動することができない場合である。
そして、T2がT1以下であると判定された場合(S10:YES)、即ち、障害物と虚像8が光路上で重複する前までに、スクリーン5とミラー11との間の光路長を変更することにより、虚像8が生成される位置を障害物よりも乗員7側へと移動することができると判定された場合には、S12へと移行する。一方、T2がT1より長いと判定された場合(S10:NO)、即ち、障害物と虚像8が光路上で重複する前までに、虚像8が生成される位置を障害物よりも乗員7側へと移動することができないと判定された場合には、S11へと移行する。
S11においてCPU31は、スクリーン5に対して映像を投射する位置を変更することによって、虚像8が生成される位置を地面より下方へと移動させる。具体的には、図14に示すように、スクリーン5に対して投射する映像55の位置を、上方へと移動させる。その結果、映像55に基づいて生成される虚像8の位置は、鉛直方向に下方(地面側)へと移動することとなる。そして、図14に示すように地面より下方へと虚像8が生成される位置が移動すると、障害物が虚像8に接近した場合であっても障害物51と虚像8とが光路上で重複することがない。即ち車両の進行方向前方を視認する乗員7に対して、虚像8と障害物51とを重複させずに視認させることが可能となる。尚、前記S11において映像55の投射位置を移動する距離は、障害物と虚像8とが光路上で重複しなくなる最短の距離とする。
次に、S12においてCPU31は、虚像8の生成距離Lを障害物までの距離Rよりも短い距離R´に設定する。尚、R´は、障害物までの距離Rよりも短く、且つ生成距離LをR´に設定した際に虚像8の下端が地面上又は地面より上方となる距離(即ち、地面に虚像8が埋め込まれることのない距離)とする。尚、HUD1の構造上、スクリーン5に対する映像の投射位置を変更しなくても、生成距離Lが短くなるようにスクリーン5を移動させれば投射された映像に基づいて生成される虚像8の位置はより上方となる。
続いて、S13において、CPU31はスクリーン5に対して投射する映像55のサイズを、前記S12で新たに設定された虚像の生成距離L(=R´)に応じたサイズに変更する。尚、一般的に人間は遠くに見えるものほど小さく見え、近くに見えるものほど大きく見える。そして、前記S12では生成距離Lをより短い距離へと変更するので、S13では図14に示すように映像55をより大きいサイズへと変更する。その結果、乗員7からは近い距離に見える虚像8ほどより大きいサイズで視認されることとなるので、人間の感覚に適合した虚像8のサイズを視認させることが可能となる。尚、本実施形態では映像55のサイズの変更は、スクリーン5の移動前に行う構成としているが、スクリーン5の移動と同時に行う構成としても良いし、スクリーン5の移動が終わった後に行う構成としても良い。
その後、S14において、CPU31はスクリーン前後駆動モータ24を駆動させて、虚像8の生成距離Lが前記S12で設定された距離R´となる位置へとスクリーン5を移動させる。
以下に、上記S14の処理の詳細について説明する。
先ず、CPU31は、虚像8の生成距離Lの目標値となる目標生成距離Deを距離R´に設定する。次に、CPU31は、フラッシュメモリ34から位置設定テーブルを読み出し、目標生成距離Deだけ離れた位置に虚像8を生成する為のスクリーン5の位置(目標移動位置)を取得する。尚、位置設定テーブルは、設定可能な生成距離L(本実施形態では2.5m〜20mの間の0.5m単位)毎に、該生成距離Lに虚像8を生成する為のスクリーン5の位置が規定されている。続いて、CPU31は、スクリーン5を目標移動位置へ移動させるのに必要なスクリーン前後駆動モータ24の駆動量(パルス数)を決定する。その後、CPU31は、決定された駆動量だけスクリーン前後駆動モータ24を駆動させる為のパルス信号をスクリーン前後駆動モータ24へと送信する。そして、パルス信号を受信したスクリーン前後駆動モータ24は、受信したパルス信号に基づいて駆動を行う。その結果、スクリーン5は設定された目標生成距離Deだけ離れた位置に虚像8が生成される目標移動位置に移動することとなる。
そして、上記処理により虚像8の生成距離Lが前記S12で設定された距離R´となる位置へとスクリーン5を移動させると、虚像8の生成される位置は乗員7の視線方向(車両の進行方向)に沿って乗員7側へと移動し、障害物よりも近い乗員7から距離R´離れた位置となる。その結果、図14及び図15に示すように障害物51が虚像8に接近した場合であっても乗員7に対して虚像8と障害物51とを重複せずに視認させることができる。更に、虚像8が地面に埋め込まれたように視認されることもなく、且つ、虚像8のサイズも新たな生成距離Lに応じたサイズとなるので、乗員7が違和感なく虚像8を視認することが可能となる。
尚、前記S10でT2がT1以下であると判定された場合(S10:YES)、即ち、障害物と虚像8が光路上で重複する前までに、スクリーン5とミラー11との間の光路長を変更することにより、虚像8が生成される位置を障害物よりも乗員7側へと移動することができると判定された場合には、虚像8の生成位置を地面の下方に移動しなくても生成距離Lを短くすることのみによって乗員7から障害物が虚像8と重複して視認されることを防止できる。従って、前記S11の処理は行わずに前記S12〜S14において映像のサイズ変更及びスクリーン5の移動が行われる。その場合には、虚像8が一度も地面に埋め込まれたように視認されることもなく、且つ障害物が虚像8に接近した場合であっても図15に示すように乗員7からは虚像8が障害物51と重複せずに視認することができる。
以上詳細に説明した通り、本実施形態に係るHUD1によれば、プロジェクタ4から、映像をスクリーン5に投射し、スクリーン5に投射された映像を車両2のフロントウィンドウ6に反射させて車両の乗員7に視認させることによって、車両の乗員7が視認する映像の虚像を生成する。また、障害物51が虚像8の生成位置に接近することを検出した場合に、スクリーン5に対して映像を投射する位置を変更することによって、虚像8が生成される位置を地面より下方へと移動させる(S11)。そして、虚像8が生成される位置が地面より下方へと移動した後に、スクリーン5とミラー11との間の光路長を変更することにより、虚像8が生成される位置を乗員7側へと移動させる(S14)ので、虚像8を視認する乗員7と虚像8が生成される位置の間に他車両等の障害物が進入した場合であっても、虚像8が生成される位置を地面より下方へと移動させることにより虚像8と障害物とを重複させず、乗員7に虚像8を適切に視認させることが可能となる。また、虚像8が生成される位置を地面より下方へと移動させた後に虚像8が生成される位置を乗員7側へと移動させることによって、虚像8が地面に埋め込まれるように視認される違和感を最終的に解消することが可能となる。
尚、本発明は前記実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の改良、変形が可能であることは勿論である。
例えば、本実施形態ではHUD1によって車両2のフロントウィンドウ6の前方に虚像を生成する構成としているが、フロントウィンドウ6以外のウィンドウの前方に虚像を生成する構成としても良い。また、HUD1により映像を反射させる対象はフロントウィンドウ6自身ではなくフロントウィンドウ6の周辺に設置されたバイザー(コンバイナー)であっても良い。
また、本実施形態では車両2に対してHUD1を設置する構成としているが、車両2以外の移動体に設置する構成としても良い。例えば、船舶や航空機等に対して設置することも可能である。また、アミューズメント施設に設置されるライド型アトラクションに設置しても良い。その場合には、ライドの周囲に虚像を生成し、ライドの乗員に対して虚像を視認させることが可能となる。
また、本実施形態ではスクリーン5を光路に沿って移動させることによって、スクリーン5とミラー11との間の光路長を変更する構成としているが、スクリーン5は固定とし、ミラー11を光路に沿って移動させることによって、スクリーン5とミラー11との間の光路長を変更する構成としても良い。
また、本実施形態では案内経路に沿った車両の進行方向を案内する矢印を虚像8として生成する構成としているが、進行方向を案内する矢印以外の虚像8を生成する構成としても良い。例えば、障害物(他車両や歩行者)に対する警告、渋滞情報、事故情報、現在車速、案内標識、地図画像、交通情報、ニュース、天気予報、時刻、接続されたスマートフォンの画面、テレビ画面等を虚像8として生成する構成としても良い。その場合であって、虚像生成処理プログラム(図9)によって障害物と重複しないようにそれらの虚像8の生成位置を変更することが可能である。
また、本実施形態では投射レンズが不要となるレーザ走査式プロジェクタを用いているが、レーザ走査式プロジェクタ以外のプロジェクタ(例えば、DLPプロジェクタ、液晶プロジェクタ、LCOSプロジェクタ)を用いても良い。
また、本実施形態では、スクリーンを1枚のスクリーンから構成しているが、スクリーンの数は2枚以上としても良い。また、スクリーンを2枚以上とした場合には、全てのスクリーンを光路に沿って移動可能に構成しても良いし、一部のスクリーンのみを光路に沿って移動可能に構成しても良い。
また、本発明に係る虚像表示装置を具体化した実施例について上記に説明したが、虚像表示装置は以下の構成を有することも可能であり、その場合には以下の効果を奏する。
例えば、第1の構成は以下のとおりである。
スクリーンと、映像を前記スクリーンに投射するプロジェクタと、前記スクリーンに投射された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する凹面鏡を含む虚像生成手段と、前記スクリーンと前記凹面鏡との間の光路長を変更する光路長変更手段と、障害物が前記虚像の生成位置に接近することを検出した場合に、前記スクリーンに対して前記映像を投射する位置を変更することによって、前記虚像が生成される位置を地面より下方へと移動させる虚像位置移動手段と、前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後に、前記光路長変更手段によって前記スクリーンと前記凹面鏡との間の光路長を変更することにより、前記虚像が生成される位置を前記ユーザの視線方向に沿って前記ユーザ側へと移動させる虚像距離変更手段と、を有することを特徴とする。
上記構成を有する虚像表示装置によれば、ユーザと虚像が生成される位置の間に他車両等の障害物が進入した場合であっても、虚像が生成される位置を地面より下方へと移動させることにより虚像と障害物とを重複させないように構成するので、ユーザに虚像を適切に視認させることが可能となる。また、虚像が生成される位置を地面より下方へと移動させた後に虚像が生成される位置をユーザ側へと移動させるので、虚像が地面に埋め込まれるように視認される違和感を最終的に解消することが可能となる。
また、第2の構成は以下のとおりである。
前記障害物が前記虚像の生成位置に接近することを検出した場合に、前記障害物と前記虚像が前記光路上で重複する前までに、前記光路長変更手段によって前記スクリーンと前記凹面鏡との間の光路長を変更することにより、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができるか否かを判定する移動判定手段を有し、前記移動判定手段によって、前記障害物と前記虚像が前記光路上で重複する前までに、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができないと判定された場合には、前記虚像位置移動手段及び前記虚像距離変更手段による前記虚像の生成位置の移動を行い、前記移動判定手段によって、前記障害物と前記虚像が前記光路上で重複する前までに、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができると判定された場合には、前記虚像位置移動手段による前記虚像の生成位置の移動を行うことなく、前記虚像距離変更手段による前記虚像の生成位置の移動のみを行うことを特徴とする。
上記構成を有する虚像表示装置によれば、虚像が生成される位置を地面より下方へと移動させなくともスクリーンと凹面鏡との間の光路長を変更することによって、虚像と障害物とを重複させずに視認させることができる場合には、スクリーンへの映像の投射位置の変更を行わないように構成する。従って、虚像が一度も地面に埋め込まれるように視認されることもなく、且つ虚像と障害物とを重複させないように虚像の生成位置を変更することができる。従って、ユーザに虚像をより適切に視認させることが可能となる。
また、第3の構成は以下のとおりである。
前記虚像位置移動手段は、前記障害物の位置が前記虚像の生成位置と前記ユーザの間にある場合に、前記スクリーンに対して前記映像を投射する位置を変更することを特徴とする。
上記構成を有する虚像表示装置によれば、ユーザから虚像と障害物とが重複し、虚像が障害物の中に埋め込まれたように視認される状況となることが予測される場合に、虚像が生成される位置を地面より下方へと移動させるので、障害物が虚像の生成位置に近づいた場合であってもユーザに虚像を適切に視認させることが可能となる。
また、第4の構成は以下のとおりである。
車両に搭載され、前記虚像生成手段は、前記車両の進行方向前方に前記車両の乗員に視認させる前記虚像を生成し、前記虚像位置移動手段は、前記障害物が前記車両の走行する車線の区画線を超えて前記車線に進入した場合に、前記スクリーンに対して前記映像を投射する位置を変更することを特徴とする。
上記構成を有する虚像表示装置によれば、車両の乗員であるユーザから虚像と障害物とが重複して視認される状況となるか否かを、障害物の動きから正確に予測することが可能となる。そして、ユーザから虚像と障害物とが重複して視認される状況となることが予測される場合に、虚像が生成される位置を地面より下方へと移動させることにより虚像と障害物とを重複させないように構成するので、ユーザから虚像が障害物の中に埋め込まれたように視認されることを確実に防止できる。
また、第5の構成は以下のとおりである。
前記虚像は、前記車両の走行予定経路に沿った走行を案内する画像であって、前記虚像生成手段は、前記車両の進行方向前方の地面上に前記虚像を生成することを特徴とする。
上記構成を有する虚像表示装置によれば、特に車両の走行予定経路に沿った走行を案内する虚像を生成する場合において、虚像と障害物とを重複させず、ユーザに虚像を適切に視認させることが可能となる。従って、走行予定経路に沿った走行案内を虚像によって適切に行うことが可能となる。
また、第6の構成は以下のとおりである。
前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後に、前記スクリーンに対して投射する前記映像のサイズを、前記虚像距離変更手段による移動後の前記虚像の生成位置に応じたサイズに変更するサイズ変更手段を有することを特徴とする。
上記構成を有する虚像表示装置によれば、虚像の生成位置をユーザ側に移動させる場合に、移動後の虚像の生成位置に応じたサイズで虚像を生成するので、虚像の生成位置をユーザ側に移動させた場合であってもユーザが違和感なく虚像を視認することが可能となる。
また、第7の構成は以下のとおりである。
前記サイズ変更手段は、前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後であって前記虚像距離変更手段による前記虚像が生成される位置の移動を行う前に、前記映像のサイズを変更することを特徴とする。
上記構成を有する虚像表示装置によれば、虚像の生成位置をユーザ側に移動させる場合において、移動後の虚像の生成位置に応じたサイズとなるように虚像のサイズを予め変更するので、虚像の生成位置を変更した後にユーザが違和感なく虚像を視認することが可能となる。
また、第8の構成は以下のとおりである。
前記光路長変更手段は、前記スクリーンを前記光路に沿って移動させることにより前記スクリーンと前記凹面鏡との間の光路長を変更することを特徴とする。
上記構成を有する虚像表示装置によれば、簡易な構成及び制御によってユーザから虚像が生成される位置までの距離を変更可能となる。
また、第9の構成は以下のとおりである。
前記虚像距離変更手段は、前記虚像が生成される位置を前記障害物よりも前記ユーザ側であって前記虚像の下端が地面上又は地面より上方となる位置まで移動させることを特徴とする。
上記構成を有する虚像表示装置によれば、虚像の生成位置をユーザ側に移動させることによって、虚像が地面に埋め込まれるように視認される違和感を解消することが可能となる。
1 ヘッドアップディスプレイ装置
2 車両
3 ダッシュボード
4 プロジェクタ
5 スクリーン
6 フロントウィンドウ
7 乗員
8 虚像
17 フロントカメラ
24 スクリーン前後駆動モータ
31 CPU
32 RAM
33 ROM
34 フラッシュメモリ
51 障害物
55 映像

Claims (9)

  1. スクリーンと、
    映像を前記スクリーンに投射するプロジェクタと、
    前記スクリーンに投射された前記映像を反射させてユーザに視認させることによって前記映像の虚像を生成する凹面鏡を含む虚像生成手段と、
    前記スクリーンと前記凹面鏡との間の光路長を変更する光路長変更手段と、
    障害物が前記虚像の生成位置に接近することを検出した場合に、前記スクリーンに対して前記映像を投射する位置を変更することによって、前記虚像が生成される位置を地面より下方へと移動させる虚像位置移動手段と、
    前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後に、前記光路長変更手段によって前記スクリーンと前記凹面鏡との間の光路長を変更することにより、前記虚像が生成される位置を前記ユーザの視線方向に沿って前記ユーザ側へと移動させる虚像距離変更手段と、を有することを特徴とする虚像表示装置。
  2. 前記障害物が前記虚像の生成位置に接近することを検出した場合に、前記障害物と前記虚像が前記光路上で重複する前までに、前記光路長変更手段によって前記スクリーンと前記凹面鏡との間の光路長を変更することにより、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができるか否かを判定する移動判定手段を有し、
    前記移動判定手段によって、前記障害物と前記虚像が前記光路上で重複する前までに、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができないと判定された場合には、前記虚像位置移動手段及び前記虚像距離変更手段による前記虚像の生成位置の移動を行い、
    前記移動判定手段によって、前記障害物と前記虚像が前記光路上で重複する前までに、前記虚像が生成される位置を前記障害物よりも前記ユーザ側へと移動することができると判定された場合には、前記虚像位置移動手段による前記虚像の生成位置の移動を行うことなく、前記虚像距離変更手段による前記虚像の生成位置の移動のみを行うことを特徴とする請求項1に記載の虚像表示装置。
  3. 前記虚像位置移動手段は、前記障害物の位置が前記虚像の生成位置と前記ユーザの間にある場合に、前記スクリーンに対して前記映像を投射する位置を変更することを特徴とする請求項1又は請求項2に記載の虚像表示装置。
  4. 車両に搭載され、
    前記虚像生成手段は、前記車両の進行方向前方に前記車両の乗員に視認させる前記虚像を生成し、
    前記虚像位置移動手段は、前記障害物が前記車両の走行する車線の区画線を超えて前記車線に進入した場合に、前記スクリーンに対して前記映像を投射する位置を変更することを特徴とする請求項1乃至請求項3のいずれかに記載の虚像表示装置。
  5. 前記虚像は、前記車両の走行予定経路に沿った走行を案内する画像であって、
    前記虚像生成手段は、前記車両の進行方向前方の地面上に前記虚像を生成することを特徴とする請求項4に記載の虚像表示装置。
  6. 前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後に、前記スクリーンに対して投射する前記映像のサイズを、前記虚像距離変更手段による移動後の前記虚像の生成位置に応じたサイズに変更するサイズ変更手段を有することを特徴とする請求項1乃至請求項5のいずれかに記載の虚像表示装置。
  7. 前記サイズ変更手段は、前記虚像位置移動手段によって前記虚像が生成される位置が地面より下方へと移動した後であって前記虚像距離変更手段による前記虚像が生成される位置の移動を行う前に、前記映像のサイズを変更することを特徴とする請求項6に記載の虚像表示装置。
  8. 前記光路長変更手段は、前記スクリーンを前記光路に沿って移動させることにより前記スクリーンと前記凹面鏡との間の光路長を変更することを特徴とする請求項1乃至請求項7のいずれかに記載の虚像表示装置。
  9. 前記虚像距離変更手段は、前記虚像が生成される位置を前記障害物よりも前記ユーザ側であって前記虚像の下端が地面上又は地面より上方となる位置まで移動させることを特徴とする請求項1乃至請求項8のいずれかに記載の虚像表示装置。
JP2014195149A 2014-09-25 2014-09-25 虚像表示装置 Expired - Fee Related JP6337720B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014195149A JP6337720B2 (ja) 2014-09-25 2014-09-25 虚像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014195149A JP6337720B2 (ja) 2014-09-25 2014-09-25 虚像表示装置

Publications (2)

Publication Number Publication Date
JP2016064759A true JP2016064759A (ja) 2016-04-28
JP6337720B2 JP6337720B2 (ja) 2018-06-06

Family

ID=55804932

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014195149A Expired - Fee Related JP6337720B2 (ja) 2014-09-25 2014-09-25 虚像表示装置

Country Status (1)

Country Link
JP (1) JP6337720B2 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092005A (ja) * 2016-12-02 2018-06-14 パナソニックIpマネジメント株式会社 表示装置
WO2020009217A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置
WO2020009219A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置
WO2020009218A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置
CN111971197A (zh) * 2018-03-30 2020-11-20 日本精机株式会社 显示控制装置、平视显示设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08197981A (ja) * 1995-01-23 1996-08-06 Aqueous Res:Kk 車輌用表示装置
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2007153307A (ja) * 2005-11-09 2007-06-21 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2009150947A (ja) * 2007-12-19 2009-07-09 Hitachi Ltd 車両用ヘッドアップディスプレイ装置
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08197981A (ja) * 1995-01-23 1996-08-06 Aqueous Res:Kk 車輌用表示装置
JP2005069799A (ja) * 2003-08-22 2005-03-17 Denso Corp 車両用ナビゲーションシステム
JP2007153307A (ja) * 2005-11-09 2007-06-21 Nissan Motor Co Ltd 車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
JP2009150947A (ja) * 2007-12-19 2009-07-09 Hitachi Ltd 車両用ヘッドアップディスプレイ装置
JP2010221830A (ja) * 2009-03-23 2010-10-07 Toshiba Corp 車載用表示システム、表示方法及び車両

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018092005A (ja) * 2016-12-02 2018-06-14 パナソニックIpマネジメント株式会社 表示装置
CN111971197A (zh) * 2018-03-30 2020-11-20 日本精机株式会社 显示控制装置、平视显示设备
CN111971197B (zh) * 2018-03-30 2023-11-14 日本精机株式会社 显示控制装置、平视显示设备
JPWO2020009218A1 (ja) * 2018-07-05 2021-08-12 日本精機株式会社 ヘッドアップディスプレイ装置
WO2020009218A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置
JPWO2020009217A1 (ja) * 2018-07-05 2021-08-02 日本精機株式会社 ヘッドアップディスプレイ装置
WO2020009219A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置
JPWO2020009219A1 (ja) * 2018-07-05 2021-08-12 日本精機株式会社 ヘッドアップディスプレイ装置
US11370304B2 (en) 2018-07-05 2022-06-28 Nippon Seiki Co., Ltd. Head-up display device
JP7310817B2 (ja) 2018-07-05 2023-07-19 日本精機株式会社 ヘッドアップディスプレイ装置
JP7338625B2 (ja) 2018-07-05 2023-09-05 日本精機株式会社 ヘッドアップディスプレイ装置
JP7375753B2 (ja) 2018-07-05 2023-11-08 日本精機株式会社 ヘッドアップディスプレイ装置
WO2020009217A1 (ja) * 2018-07-05 2020-01-09 日本精機株式会社 ヘッドアップディスプレイ装置

Also Published As

Publication number Publication date
JP6337720B2 (ja) 2018-06-06

Similar Documents

Publication Publication Date Title
JP6241093B2 (ja) ヘッドアップディスプレイ装置
JP6149543B2 (ja) ヘッドアップディスプレイ装置
JP6138634B2 (ja) ヘッドアップディスプレイ装置
JP6361492B2 (ja) 虚像表示装置
JP6027498B2 (ja) ヘッドアップディスプレイ装置
JP6204793B2 (ja) ヘッドアップディスプレイ装置
JP6314584B2 (ja) ヘッドアップディスプレイ装置
JP6337721B2 (ja) 虚像表示装置
JP2016118851A (ja) 虚像表示装置
JP6337720B2 (ja) 虚像表示装置
JP2016078726A (ja) 虚像表示装置
JP2016102966A (ja) 虚像表示装置
JP2015031700A (ja) ヘッドアップディスプレイ装置
JP6459446B2 (ja) 虚像表示装置
JP2015200770A (ja) ヘッドアップディスプレイ装置
JP2017015806A (ja) 虚像表示装置
JP6269261B2 (ja) 虚像表示装置
JP2015034945A (ja) ヘッドアップディスプレイ装置
JP2015074391A (ja) ヘッドアップディスプレイ装置
JP6287422B2 (ja) ヘッドアップディスプレイ装置
JP6287351B2 (ja) ヘッドアップディスプレイ装置
JP6196840B2 (ja) ヘッドアップディスプレイ装置
JP2016117345A (ja) 虚像表示装置
JP6365269B2 (ja) 虚像表示装置
JP2018159738A (ja) 虚像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20161213

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170926

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171115

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180423

R150 Certificate of patent or registration of utility model

Ref document number: 6337720

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees