JP2003029198A - スキャン型ディスプレイ装置 - Google Patents

スキャン型ディスプレイ装置

Info

Publication number
JP2003029198A
JP2003029198A JP2001215119A JP2001215119A JP2003029198A JP 2003029198 A JP2003029198 A JP 2003029198A JP 2001215119 A JP2001215119 A JP 2001215119A JP 2001215119 A JP2001215119 A JP 2001215119A JP 2003029198 A JP2003029198 A JP 2003029198A
Authority
JP
Japan
Prior art keywords
display device
type display
scan type
user
reflected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001215119A
Other languages
English (en)
Other versions
JP4682470B2 (ja
Inventor
Yoshiyasu Yamada
山田  芳靖
Kazuhiro Tsuruta
和弘 鶴田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2001215119A priority Critical patent/JP4682470B2/ja
Publication of JP2003029198A publication Critical patent/JP2003029198A/ja
Application granted granted Critical
Publication of JP4682470B2 publication Critical patent/JP4682470B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Abstract

(57)【要約】 【課題】 スキャン型ディスプレイ装置に視線検出装置
を組み込みながら、全体の構成を小型・軽量化を実現す
る。 【解決手段】 本発明のスキャン型ディスプレイ装置1
は、光源2から射出された光を光走査手段10により使
用者の頭部付近の投影面12上に走査することにより像
を生じさせて知覚させるものにおいて、スキャン型ディ
スプレイ装置1の光学系を共用しながら使用者の視線方
向を検出する視線検出装置18を組み込んだところに特
徴を有する。この構成によれば、光学系を共用するの
で、装置の構成の小型・軽量化を実現できる。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、使用者の頭部に装
着して使用するHMD(ヘッドマウントディスプレイ)
に好適するスキャン型ディスプレイ装置に関する。
【0002】
【従来の技術】HMDは、従来より、テレビ番組や映画
の視聴用を主目的にして市販されている。HMDに採用
されている表示方式の原理は、液晶ディスプレイなどの
2次元平面ディスプレイからの映像を、光学系を用いて
使用者の目に導いて知覚させる仕組みである。この構成
の場合、頭部に固定された装置を基準として常に固定さ
れた映像が与えられるだけであった。このため、使用者
が視線を動かしたり、頭を振ったりしても、見える映像
は変化しないことから、使用者に不快感を与えることが
あった。
【0003】これに対して、使用者の視線を検出した
り、使用者の頭部が向いている方向を検出したりして、
その検出結果に応じて映像を変化させる方式が考えられ
る。ここで、頭部が向いている方向を検出する装置とし
て、磁気センサやジャイロセンサを使用する装置があ
る。また、視線を検出する方法として、強膜反射法や角
膜反射法やサーチコイル法等があり、いずれも視線検出
装置として実際に市販されている。しかし、上述したよ
うな視線検出装置や頭部方向検出装置を、HMDに組み
込んだ構成は、民生品としては市販されていない。これ
は、従来の視線検出装置や頭部方向検出装置は、十分に
小型化されていないので、それらをHMDに組み込む
と、全体の構成が大型化してしまい、実用に適しないた
めであると推定される。
【0004】さて、近年になって、HMDにスキャン型
ディスプレイ装置を使用することが考えられている。こ
のスキャン型ディスプレイ装置においては、ちょうどブ
ラウン管の内部において電子銃からスクリーンに2次元
的にラスタスキャンすることによって映像を投影するこ
とと同様にして、レーザのような点光源から光線を何ら
かの投影面上に直接2次元走査させて画像を表示して知
覚させている。このディスプレイ装置は、2次元的な大
きさを持つディスプレイが不要となるので、高画質・高
精度の画像を小型軽量の装置で実現する場合に好適する
ものと考えられる。従って、HMDのような頭部に装着
する小型のディスプレイに上記スキャン型ディスプレイ
装置を適用すると、その優位性が発揮されると予想され
る。
【0005】
【発明が解決しようとする課題】しかし、上記スキャン
型ディスプレイ装置に視線検出装置を組み込もうとした
場合、従来の構成では、スキャン型ディスプレイ装置の
光学系とは別に視線検出装置の光学系を備える必要があ
り、全体の構成が大きくなってしまい、あまり小型化で
きない。
【0006】また、スキャン型ディスプレイ装置を最も
小型化した構成として、使用者の眼の網膜に直接投影し
て知覚させるようにした構成が考えられている。しか
し、この構成の場合、原理的に射出瞳が小さい、即ち、
正常な像を知覚するために使用者の瞳が位置すべき領域
が小さいので、視線を動かすことにより眼球が移動する
と、映像が歪められたりして見えなくなることが指摘さ
れている。これを防ぐには、移動する眼球の位置を検出
して(即ち、視線を検出して)、それに合わせて表示画
像を移動させるようにすれば良い。このような対策を実
現するためには、視線検出装置を組み込むように構成す
れば良いが、小型・軽量化を損なってしまうという問題
点が発生する。
【0007】そこで、本発明の目的は、スキャン型ディ
スプレイ装置に視線検出装置を組み込みながら、全体の
構成の小型・軽量化を実現することができるスキャン型
ディスプレイ装置を提供することにある。
【0008】
【課題を解決するための手段】請求項1の発明によれ
ば、スキャン型ディスプレイ装置の光学系を共用しなが
ら使用者の視線方向を検出する視線検出装置を組み込む
ように構成したので、小型・軽量化を実現することがで
きる。この場合、請求項2の発明のように、前記画像投
影面をハーフミラーで構成することが好ましい。
【0009】請求項3の発明によれば、前記視線検出装
置は、使用者の瞳に不可視光線を照射し、その反射光に
基づいて視線方向を検出するように構成されているの
で、視線方向の検出動作を使用者が知覚することがな
い。この場合、請求項4の発明のように、前記不可視光
線として赤外線を用いることが好ましい。
【0010】また、請求項5の発明のように、前記不可
視光線を、画像情報を2次元的に表示するための光走査
手段に対して一旦照射させてから使用者の眼球へ照射さ
せるように構成することが良い。更に、請求項6の発明
のように、前記不可視光線の光源を、画像情報を表示す
るための可視光線の光源と並べて設置することがより一
層好ましい。
【0011】請求項7の発明によれば、前記不可視光線
と、画像情報を表示するための可視光線を、同一の光源
から射出させるように構成したので、光源の個数を減ら
すことができ、それだけディスプレイ装置の構成を小型
化できる。
【0012】また、請求項8の発明のように、前記光走
査手段により、画像投影面に反射された視線方向検知用
の不可視光線は、画像情報を表示するための可視光線と
異なる経路で使用者の眼球へ照射されるように構成する
ことが好ましい。更に、請求項9の発明のように、前記
光走査手段により、画像投影面に反射された視線方向検
知用の不可視光線は、その投影面に設置されたホログラ
フィック光学素子により使用者の眼球へ反射されるよう
に構成することがより一層好ましい。
【0013】更にまた、請求項10の発明では、前記光
走査手段により、画像投影面に反射された視線方向検知
用の不可視光線は、可視光線用の画像反射面とは別の反
射面により使用者の眼球へ反射されるように構成するこ
とが良い構成である。
【0014】請求項11の発明によれば、前記光走査手
段の反射鏡上に、ホログラフィック光学素子を配設する
ように構成したので、構成の小型化をより高めることが
できる。この場合、請求項12の発明のように、前記ホ
ログラフィック光学素子により前記不可視光線のみが反
射され、前記反射鏡により前記可視光線が反射されるよ
うに構成することが好ましい。
【0015】請求項13の発明によれば、スキャン型デ
ィスプレイ装置の画像投影面を使用者の網膜としたの
で、スキャン型ディスプレイ装置の構成を最も小型化す
ることができる。
【0016】
【発明の実施の形態】以下、本発明の第1の実施例につ
いて、図1ないし図8を参照しながら説明する。まず、
図3は、本実施例のスキャン型ディスプレイ装置の全体
構成を概略的に示す斜視図である。この図3に示すよう
に、スキャン型ディスプレイ装置1は、光源2、光変調
器3、光走査ユニット4、光走査ドライバ5、反射光学
系6等を備えて構成されている。
【0017】上記光源2は、図1に示すように、画像表
示用の可視光線を射出する可視光光源7と、視線検出用
の不可視光線である例えば赤外線を射出する赤外線光源
8とから構成されている。これら可視光光源7及び赤外
線光源8は、同一場所に並んで配置されている。
【0018】上記光変調器3は、光源2(可視光光源
7)からの可視光線を、使用者に与える映像情報に応じ
て変調する機能を有している。光走査ユニット4は、光
変調器3からの光信号を2次元画像情報にする機能を有
しており、走査運動するように設けられた光走査ミラー
(反射鏡)9を備えている。光走査ドライバ5は、光走
査ユニット4の光走査ミラー9を走査運動させるように
駆動するものである。この場合、光走査ミラー9、光走
査ユニット4、光走査ドライバ5から光走査手段10が
構成されている。
【0019】また、反射光学系6は、例えばハーフミラ
ーからなる凹面鏡11を備えており、この凹面鏡11の
反射面12が画像投影面を構成している。そして、この
反射面12上に上記光走査ミラー9によって投影された
2次元画像情報13は、使用者の眼球14の水晶体15
により集光されて、眼球14内の網膜16上に結像され
るように構成されている。これにより、使用者は、上記
2次元画像情報13を知覚する。尚、図3において、符
号17で示す2次元画像情報は、網膜16上の結像であ
る。
【0020】次に、上記スキャン型ディスプレイ装置1
に組み込まれた視線検出装置18について説明する。こ
の視線検出装置18は、いわゆる強膜反射法によって視
線方向を検出する装置である。ここで、強膜反射法につ
いて、図4及び図5を参照して簡単に説明する。強膜反
射法は、眼球14の表面の角膜(いわゆる黒目)19と
強膜(いわゆる白目)20の境界で光の反射率が異なる
ことを利用して眼球14の位置を検出する方法である。
【0021】具体的には、図4及び図5に示すように、
眼球14の表面の例えば4か所のスポットエリアA、
B、C、Dに例えば赤外線を照射し、その反射光の光量
を赤外線センサで測定し、その検出値(電圧値)によっ
て、眼球14の位置を検出している。この場合、眼球1
4が左を見ている場合には、図4に示すように、4か所
のスポットエリアA、B、C、Dの反射光の検出値は、
それぞれ図4にて4つのグラフで示すようになる。そし
て、垂直方向A+Bの検出値と、水平方向C−Dの検出
値が、図4にて2つのグラフで示すようになる。従っ
て、これら垂直方向A+Bの検出値と水平方向C−Dの
検出値によって、眼球14が左を見ているということを
検出できるのである。
【0022】これに対して、眼球14が中心を見ている
場合には、図5に示すように、4か所のスポットエリア
A、B、C、Dの反射光の検出値は、それぞれ図5にて
4つのグラフで示すようになる。そして、垂直方向A+
Bの検出値と、水平方向C−Dの検出値が、図5にて2
つのグラフで示すようになる。従って、これら垂直方向
A+Bの検出値と水平方向C−Dの検出値によって、眼
球14が中心を見ているということを検出できるのであ
る。
【0023】さて、上記視線検出装置18は、図1及び
図2に示すように、凹面鏡11の反射面12上に配設さ
れた例えば4個のホログラフィック光学素子21と、こ
れらホログラフィック光学素子21の上方及び下方に位
置して配設された例えば4個の赤外線センサ22とから
構成されている。
【0024】ホログラフィック光学素子21は、特定方
向からの特定波長の光のみを特定方向に反射する機能を
有している(この機能の詳細については後述する)。そ
こで、本実施例では、上記4個のホログラフィック光学
素子21は、赤外線光源8から射出されて光走査ミラー
9で反射して到来した赤外線だけを、使用者の眼球14
の表面の所定の位置、具体的には、瞳近傍の角膜19と
強膜20の境界付近(例えば図4及び図5に示すスポッ
トエリアA、B、C、D)へ反射させるように設定され
ている。
【0025】そして、眼球14で反射した赤外線は、上
記4個の赤外線センサ22により検出され、これらの反
射赤外線の検出結果に基づいて、使用者の視線方向が検
出されるように構成されている。尚、可視光光源7から
射出された可視光線も、上記赤外線と同様にして光走査
ミラー9で反射してホログラフィック光学素子21に到
来するが、ホログラフィック光学素子21は上記可視光
線を反射しない。
【0026】また、本実施例のスキャン型ディスプレイ
装置1においては、可視光光源7から射出された可視光
線と赤外線光源8から射出された赤外線は、光走査ミラ
ー9上の同一点に照射され、走査運動される光走査ミラ
ー9によって反射されて凹面鏡11の反射面(画像投影
面)12に照射されるように構成されている。上記反射
面12は、可視光線だけを全反射または一部反射して使
用者の眼球14へ照射するものである。
【0027】そして、上記構成の場合、光走査ミラー9
が、赤外線及び可視光線をホログラフィック光学素子2
1へ照射するように反射する位置にあるときだけ、赤外
線がホログラフィック光学素子21で反射されて使用者
の眼球14の表面の所定の位置へ照射され、このときだ
け、使用者の視線方向が検出されるように構成されてい
る。これにより、赤外線が無闇に照射されない構成とな
るから、赤外線センサ22の精度を確保することができ
る。
【0028】ここで、ホログラフィック光学素子21の
機能について、図6ないし図8を参照して説明する。ま
ず、図6は、透過型のホログラフィック光学素子の角度
依存性を示している。この場合、波長が等しい光線1と
光線2が透過型のホログラフィック光学素子に対して照
射されているが、光線1の方向から照射された場合、あ
る特定の方向に回折されるのに対して、光線2の方向か
ら照射された場合、そのまま透過する構成となってい
る。
【0029】また、図7は、反射型のホログラフィック
光学素子の角度依存性を示している。この場合、波長が
等しい光線1と光線2が反射型のホログラフィック光学
素子に対して照射されているが、光線1の方向から照射
された場合、ある特定の方向に回折されるのに対して、
光線2の方向から照射された場合、反射せずに透過する
構成となっている。
【0030】更に、図8は、ホログラフィック光学素子
の波長選択性を示している。この場合、波長が異なる光
線1と光線2がホログラフィック光学素子に対して照射
されているが、外界からの光である光線1は、ホログラ
フィック光学素子をそのまま透過するが、表示デバイス
からの光線2は、ホログラフィック光学素子により観察
者の方へ回折されて、光線1と重なって観察者(使用
者)に知覚されるように構成されている。
【0031】このような構成の本実施例によれば、スキ
ャン型ディスプレイ装置1の光学系(光走査手段10や
反射光学系6等)を共用しながら使用者の視線方向を検
出する視線検出装置18を、スキャン型ディスプレイ装
置1に組み込むように構成したので、小型・軽量化を実
現することができる。この構成の場合、視線検出装置1
8は、使用者の瞳に不可視光線として赤外線を照射し、
その反射光に基づいて視線方向を検出するように構成さ
れているので、視線方向の検出動作を使用者が知覚する
ことがない。
【0032】そして、上記実施例の場合、赤外線の光源
8を、画像情報を表示するための可視光線の光源7と並
べて(即ち、同一場所に)設置したので、装置全体の構
成を小型化することができる。また、上記実施例におい
ては、光走査手段10の凹面鏡(反射鏡)11上に、ホ
ログラフィック光学素子21を配設するように構成した
ので、構成の小型化をより高めることができる。この場
合、ホログラフィック光学素子21により赤外線のみが
反射され、凹面鏡11の反射面12により可視光線が反
射されるように構成したので、赤外線が無闇に照射され
ない構成となり、赤外線センサ22の精度を確保するこ
とができる。
【0033】尚、上記実施例では、スキャン型ディスプ
レイ装置1の画像投影面をハーフミラーからなる凹面鏡
11の反射面12としたが、これに限られるものではな
く、スキャン型ディスプレイ装置の画像投影面を例えば
使用者の網膜としても良い。このように構成すると、ス
キャン型ディスプレイ装置の構成を最も小型化すること
ができる。
【0034】図9は、本発明の第2の実施例を示す図で
ある。尚、第1の実施例と同一部分には、同一符号を付
している。この第2の実施例では、可視光光源7と赤外
線光源8を、1つの光源23で置き替えるように構成し
たものである。この光源23は、その発光波長が可視光
光源7及び赤外線光源8の発光波長を網羅している。そ
して、光源23と光走査ミラー9との間に、分光フィル
タ24を配設している。この分光フィルタ24は、光源
23から射出される光の中から可視光線と赤外線の波長
に対応する光だけを分離して利用するためのものであ
る。
【0035】尚、上述した以外の第2の実施例の構成
は、第1の実施例の構成と同じ構成となっている。従っ
て、第2の実施例においても、第1の実施例とほぼ同じ
作用効果を得ることができる。特に、第2の実施例で
は、可視光光源7と赤外線光源8を1つの光源23で置
き替えるように構成したので、構成をより一層小型化す
ることができる。
【0036】図10及び図11は、本発明の第3の実施
例を示す図である。尚、第1の実施例と同一部分には、
同一符号を付している。この第3の実施例では、表示画
像を投影する反射面12の後方に、視線検出用の赤外線
を反射する反射装置25を設けた。尚、反射装置25を
反射面12の前方に配置しても良い。
【0037】上記反射装置25の反射面26は、赤外線
のみを反射し、他の光線を透過させる機能を有してお
り、このような機能を有する反射鏡で反射装置25を構
成すれば良い。また、凹面鏡11の反射面12は、可視
光線のみを反射し、他の光線を透過させる機能を有して
おり、このような機能を有する反射鏡(例えばダイクロ
イックミラー)で凹面鏡11を構成すれば良い。尚、凹
面鏡11の反射面12上には、ホログラフィック光学素
子21は設けられていない。そして、反射装置25の反
射面26上に、赤外線センサ22が設けられている。
【0038】また、上述した以外の第3の実施例の構成
は、第1の実施例の構成と同じ構成となっている。従っ
て、第3の実施例においても、第1の実施例とほぼ同じ
作用効果を得ることができる。
【0039】図12は、本発明の第4の実施例を示す図
である。尚、第2の実施例及び第3の実施例と同一部分
には、同一符号を付している。この第4の実施例では、
第3の実施例において、可視光光源7と赤外線光源8
を、1つの光源23で置き替えるように構成したもの、
即ち、第2の実施例を組み合わせたものである。従っ
て、第4の実施例によれば、第2の実施例及び第3の実
施例とほぼ同じ作用効果を得ることができる。
【0040】図13は、本発明の第5の実施例を示す図
である。尚、第3の実施例と同一部分には、同一符号を
付している。この第5の実施例では、第3の実施例にお
いて、光走査ミラー9の上面(反射面)にホログラフィ
ック光学素子27を配設した。このホログラフィック光
学素子27は、赤外線光源8からの赤外線を、反射面と
光源8との角度が特定の角度のときだけ、凹面鏡11及
び反射装置25へ向けて反射するように構成されてい
る。
【0041】即ち、視線検出用の赤外線は、光走査ミラ
ー9(ホログラフィック光学素子27)の反射面と赤外
線光源8との角度が特定の角度のときだけ、使用者の眼
球14に照射され、そのときだけ、視線方向の検出が実
行されるように構成されている。
【0042】尚、上述した以外の第5の実施例の構成
は、第3の実施例の構成と同じ構成となっている。従っ
て、第5の実施例においても、第3の実施例とほぼ同じ
作用効果を得ることができる。また、第5の実施例によ
れば、視線検出用の赤外線が無闇に照射されない構成と
なる。
【0043】図14は、本発明の第6の実施例を示す図
である。尚、第2の実施例及び第5の実施例と同一部分
には、同一符号を付している。この第6の実施例では、
第5の実施例において、可視光光源7と赤外線光源8
を、1つの光源23で置き替えるように構成したもの、
即ち、第2の実施例を組み合わせたものである。従っ
て、第6の実施例によれば、第2の実施例及び第5の実
施例とほぼ同じ作用効果を得ることができる。
【0044】図15は、本発明の第7の実施例を示す図
である。尚、第1の実施例と同一部分には、同一符号を
付している。この第7の実施例では、凹面鏡11の反射
面12の外側に、赤外線のみを反射する赤外線反射面2
8を設けた。具体的には、凹面鏡11として、第1の実
施例よりも大きいものを用意し、その内面に、可視光線
のみを反射する反射面12と、この反射面12の外側に
位置して赤外線反射面28とを設けたものである。尚、
赤外線センサ22は、赤外線反射面28上に配設してい
る。また、ホログラフィック光学素子は設けていない。
【0045】上記構成の場合、光走査ミラー9は、可視
光線(及び赤外線)を反射面12に面走査させるとき
に、1回または複数回の面走査に1回程度、赤外線反射
面28に向けて赤外線(及び可視光線)を反射させるよ
うに制御されている。従って、視線検出用の赤外線は、
光走査ミラー9が赤外線反射面28に向けて反射してい
るときだけ、使用者の眼球14に照射されることによ
り、そのときだけ、視線方向が検出されるように構成さ
れている。
【0046】そして、上述した以外の第7の実施例の構
成は、第1の実施例の構成と同じ構成となっている。従
って、第7の実施例においても、第1の実施例とほぼ同
じ作用効果を得ることができる。
【0047】図16は、本発明の第8の実施例を示す図
である。尚、第2の実施例及び第7の実施例と同一部分
には、同一符号を付している。この第8の実施例では、
第7の実施例において、可視光光源7と赤外線光源8
を、1つの光源23で置き替えるように構成したもの、
即ち、第2の実施例を組み合わせたものである。従っ
て、第8の実施例によれば、第2の実施例及び第7の実
施例とほぼ同じ作用効果を得ることができる。
【図面の簡単な説明】
【図1】本発明の第1の実施例を示すスキャン型ディス
プレイ装置の上面図
【図2】スキャン型ディスプレイ装置の側面図
【図3】スキャン型ディスプレイ装置の斜視図
【図4】視線方向の検出原理を示す図
【図5】視線方向の検出原理を示す図
【図6】透過型のホログラフィック光学素子の角度依存
性を示す図
【図7】反射型のホログラフィック光学素子の角度依存
性を示す図
【図8】ホログラフィック光学素子の波長選択性を示す
【図9】本発明の第2の実施例を示す図1相当図
【図10】本発明の第3の実施例を示す図1相当図
【図11】図2相当図
【図12】本発明の第4の実施例を示す図1相当図
【図13】本発明の第5の実施例を示す図1相当図
【図14】本発明の第6の実施例を示す図1相当図
【図15】本発明の第7の実施例を示す図3相当図
【図16】本発明の第8の実施例を示す図3相当図
【符号の説明】
1はスキャン型ディスプレイ装置、2は光源、4は光走
査ユニット、5は光走査ドライバ、6は反射光学系、7
は可視光光源、8は赤外線光源、9は光走査ミラー、1
0は光走査手段、11は凹面鏡、12は反射面(画像投
影面)、14は眼球、15は水晶体、16は網膜、18
は視線検出装置、21はホログラフィック光学素子、2
2は赤外線センサ、23は光源、24は分光フィルタ、
25は反射装置、26は反射面、27はホログラフィッ
ク光学素子、28は赤外線反射面を示す。

Claims (13)

    【特許請求の範囲】
  1. 【請求項1】 光源から射出された光を光走査手段によ
    り使用者の頭部付近の投影面上に走査することにより像
    を生じさせて知覚させるスキャン型ディスプレイ装置に
    おいて、 前記スキャン型ディスプレイ装置の光学系を共用しなが
    ら使用者の視線方向を検出する視線検出装置を組み込ん
    だことを特徴とするスキャン型ディスプレイ装置。
  2. 【請求項2】 前記画像投影面がハーフミラーであるこ
    とを特徴とする請求項1記載のスキャン型ディスプレイ
    装置。
  3. 【請求項3】 前記視線検出装置は、使用者の瞳に不可
    視光線を照射し、その反射光に基づいて視線方向を検出
    するように構成されていることを特徴とする請求項1ま
    たは2記載のスキャン型ディスプレイ装置。
  4. 【請求項4】 前記不可視光線は赤外線であることを特
    徴とする請求項3記載のスキャン型ディスプレイ装置。
  5. 【請求項5】 前記不可視光線は、画像情報を2次元的
    に表示するための光走査手段に対して一旦照射されてか
    ら使用者の眼球へ照射されることを特徴とする請求項3
    または4記載のスキャン型ディスプレイ装置。
  6. 【請求項6】 前記不可視光線の光源は、画像情報を表
    示するための可視光線の光源と並べて設置されているこ
    とを特徴とする請求項3ないし5のいずれかに記載のス
    キャン型ディスプレイ装置。
  7. 【請求項7】 前記不可視光線と、画像情報を表示する
    ための可視光線は、同一の光源から射出されることを特
    徴とする請求項3ないし5のいずれかに記載のスキャン
    型ディスプレイ装置。
  8. 【請求項8】 前記光走査手段により、画像投影面に反
    射された視線方向検知用の不可視光線は、画像情報を表
    示するための可視光線と異なる経路で使用者の眼球へ照
    射されることを特徴とする請求項5ないし7のいずれか
    に記載のスキャン型ディスプレイ装置。
  9. 【請求項9】 前記光走査手段により、画像投影面に反
    射された視線方向検知用の不可視光線は、その投影面に
    設置されたホログラフィック光学素子により使用者の眼
    球へ反射されることを特徴とする請求項5ないし7のい
    ずれかに記載のスキャン型ディスプレイ装置。
  10. 【請求項10】 前記光走査手段により、画像投影面に
    反射された視線方向検知用の不可視光線は、可視光線用
    の画像反射面とは別の反射面により使用者の眼球へ反射
    されることを特徴とする請求項5ないし7のいずれかに
    記載のスキャン型ディスプレイ装置。
  11. 【請求項11】 前記光走査手段の反射鏡上に、ホログ
    ラフィック光学素子を配設することを特徴とする請求項
    5ないし7のいずれかに記載のスキャン型ディスプレイ
    装置。
  12. 【請求項12】 前記ホログラフィック光学素子により
    前記不可視光線のみが反射され、前記反射鏡により前記
    可視光線が反射されることを特徴とする請求項11記載
    のスキャン型ディスプレイ装置。
  13. 【請求項13】 前記画像投影面が使用者の網膜である
    ことを特徴とする請求項1記載のスキャン型ディスプレ
    イ装置。
JP2001215119A 2001-07-16 2001-07-16 スキャン型ディスプレイ装置 Expired - Fee Related JP4682470B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001215119A JP4682470B2 (ja) 2001-07-16 2001-07-16 スキャン型ディスプレイ装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001215119A JP4682470B2 (ja) 2001-07-16 2001-07-16 スキャン型ディスプレイ装置

Publications (2)

Publication Number Publication Date
JP2003029198A true JP2003029198A (ja) 2003-01-29
JP4682470B2 JP4682470B2 (ja) 2011-05-11

Family

ID=19049820

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001215119A Expired - Fee Related JP4682470B2 (ja) 2001-07-16 2001-07-16 スキャン型ディスプレイ装置

Country Status (1)

Country Link
JP (1) JP4682470B2 (ja)

Cited By (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009041055A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
JP2012526578A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の眼球の輻輳を特性決定するための眼科用メガネ
JP2012526579A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
US8319762B2 (en) 2008-04-30 2012-11-27 Panasonic Corporation Scanning image display apparatus, goggle-shaped head-mounted display, and automobile
JP2013041182A (ja) * 2011-08-18 2013-02-28 Ricoh Co Ltd 光走査装置、画像形成装置、画像形成装置を搭載した車両
WO2013088486A1 (ja) * 2011-12-12 2013-06-20 パイオニア株式会社 表示装置、表示方法及び表示プログラム
US8878843B2 (en) 2010-03-11 2014-11-04 Toyota Jidosha Kabushiki Kaisha Image position adjustment device
JP2015165308A (ja) * 2008-07-10 2015-09-17 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
JP2016517036A (ja) * 2013-03-25 2016-06-09 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ(ウペエフエル)Ecole Polytechnique Federale de Lausanne (EPFL) 多射出瞳頭部装着型ディスプレイのための方法および装置
WO2016208266A1 (ja) * 2015-06-25 2016-12-29 株式会社Qdレーザ 画像投影装置
JP2017009986A (ja) * 2015-06-25 2017-01-12 株式会社Qdレーザ 画像投影装置
JP2017116669A (ja) * 2015-12-22 2017-06-29 株式会社Qdレーザ 画像投影装置
KR20180003629A (ko) * 2015-05-28 2018-01-09 탈믹 랩스 인크 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
JP2018508144A (ja) * 2015-02-26 2018-03-22 ノキア テクノロジーズ オーユー ニアアイディスプレイ用装置
EP3443883A1 (de) * 2017-08-14 2019-02-20 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
JP2019139103A (ja) * 2018-02-13 2019-08-22 国立大学法人福井大学 画像投影装置
WO2019187958A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
KR20190139862A (ko) * 2017-04-13 2019-12-18 소니 주식회사 화상 표시장치
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
WO2021157204A1 (ja) 2020-02-04 2021-08-12 ソニーグループ株式会社 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
US11189252B2 (en) 2018-03-15 2021-11-30 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11200870B2 (en) 2018-06-05 2021-12-14 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11199713B2 (en) 2016-12-30 2021-12-14 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
US11210808B2 (en) 2016-12-29 2021-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US11216086B2 (en) 2018-08-03 2022-01-04 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
WO2022153759A1 (ja) 2021-01-14 2022-07-21 ソニーグループ株式会社 画像表示装置および画像表示システム
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11567324B2 (en) 2017-07-26 2023-01-31 Magic Leap, Inc. Exit pupil expander
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205052A (ja) * 1995-01-23 1996-08-09 Kinseki Ltd 網膜直接表示装置及びそれを用いたテレビジョン受信機
JPH11109279A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2000111829A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 映像表示装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08205052A (ja) * 1995-01-23 1996-08-09 Kinseki Ltd 網膜直接表示装置及びそれを用いたテレビジョン受信機
JPH11109279A (ja) * 1997-10-03 1999-04-23 Minolta Co Ltd 映像表示装置
JP2000111829A (ja) * 1998-10-08 2000-04-21 Olympus Optical Co Ltd 映像表示装置

Cited By (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8403490B2 (en) 2007-09-26 2013-03-26 Panasonic Corporation Beam scanning-type display device, method, program and integrated circuit
WO2009041055A1 (ja) * 2007-09-26 2009-04-02 Panasonic Corporation ビーム走査型表示装置、その表示方法、プログラム、及び集積回路
JP5216761B2 (ja) * 2007-09-26 2013-06-19 パナソニック株式会社 ビーム走査型表示装置
JP2009244869A (ja) * 2008-03-11 2009-10-22 Panasonic Corp 表示装置、表示方法、眼鏡型ヘッドマウントディスプレイ、及び自動車
US8319762B2 (en) 2008-04-30 2012-11-27 Panasonic Corporation Scanning image display apparatus, goggle-shaped head-mounted display, and automobile
JP2015165308A (ja) * 2008-07-10 2015-09-17 リアル ビュー イメージング リミテッド 広視野角ディスプレイおよびユーザインタフェース
US9541901B2 (en) 2008-07-10 2017-01-10 Real View Imaging Ltd. Viewer tracking in a projection system
US9594347B2 (en) 2008-07-10 2017-03-14 Real View Imaging Ltd. Man machine interface for a 3D display system
US10585395B2 (en) 2008-07-10 2020-03-10 Real View Imaging Ltd. Holographic image display system
US10120335B2 (en) 2008-07-10 2018-11-06 Real View Imaging Ltd. Viewer tracking in a projection system
JP2012526578A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の眼球の輻輳を特性決定するための眼科用メガネ
JP2012526579A (ja) * 2009-05-12 2012-11-01 エシロール アンテルナシオナル (コンパニー ジェネラル ドプティック) メガネ装着者の注視方向を特性決定するための眼科用メガネ
US8878843B2 (en) 2010-03-11 2014-11-04 Toyota Jidosha Kabushiki Kaisha Image position adjustment device
JP2013041182A (ja) * 2011-08-18 2013-02-28 Ricoh Co Ltd 光走査装置、画像形成装置、画像形成装置を搭載した車両
JP5663102B2 (ja) * 2011-12-12 2015-02-04 パイオニア株式会社 表示装置、表示方法及び表示プログラム
JPWO2013088486A1 (ja) * 2011-12-12 2015-04-27 パイオニア株式会社 表示装置、表示方法及び表示プログラム
WO2013088486A1 (ja) * 2011-12-12 2013-06-20 パイオニア株式会社 表示装置、表示方法及び表示プログラム
JP2016517036A (ja) * 2013-03-25 2016-06-09 エコール・ポリテクニーク・フェデラル・ドゥ・ローザンヌ(ウペエフエル)Ecole Polytechnique Federale de Lausanne (EPFL) 多射出瞳頭部装着型ディスプレイのための方法および装置
US10254547B2 (en) 2013-03-25 2019-04-09 North Inc. Method and apparatus for head worn display with multiple exit pupils
US11347960B2 (en) 2015-02-26 2022-05-31 Magic Leap, Inc. Apparatus for a near-eye display
JP2018508144A (ja) * 2015-02-26 2018-03-22 ノキア テクノロジーズ オーユー ニアアイディスプレイ用装置
US10878235B2 (en) 2015-02-26 2020-12-29 Magic Leap, Inc. Apparatus for a near-eye display
US11756335B2 (en) 2015-02-26 2023-09-12 Magic Leap, Inc. Apparatus for a near-eye display
KR102474236B1 (ko) * 2015-05-28 2022-12-05 구글 엘엘씨 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
JP2018518709A (ja) * 2015-05-28 2018-07-12 サルミック ラブス インコーポレイテッド 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法
KR20180003629A (ko) * 2015-05-28 2018-01-09 탈믹 랩스 인크 착용 가능 헤드업 디스플레이들에 눈 추적 및 스캐닝 레이저 투사를 통합시키는 시스템들, 디바이스들 및 방법들
JP2022031715A (ja) * 2015-05-28 2022-02-22 グーグル エルエルシー 視標追跡及び走査レーザ投影をウェアラブルヘッドアップディスプレイに統合するシステム、デバイス、及び方法
WO2016208266A1 (ja) * 2015-06-25 2016-12-29 株式会社Qdレーザ 画像投影装置
JP2017009986A (ja) * 2015-06-25 2017-01-12 株式会社Qdレーザ 画像投影装置
US10444519B2 (en) 2015-06-25 2019-10-15 Qd Laser, Inc. Image projection device
WO2017110370A1 (ja) * 2015-12-22 2017-06-29 株式会社Qdレーザ 画像投影装置
JP2017116669A (ja) * 2015-12-22 2017-06-29 株式会社Qdレーザ 画像投影装置
US10634904B2 (en) 2015-12-22 2020-04-28 Qd Laser, Inc. Image projection device
US11790554B2 (en) 2016-12-29 2023-10-17 Magic Leap, Inc. Systems and methods for augmented reality
US11210808B2 (en) 2016-12-29 2021-12-28 Magic Leap, Inc. Systems and methods for augmented reality
US11874468B2 (en) 2016-12-30 2024-01-16 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US11199713B2 (en) 2016-12-30 2021-12-14 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
KR20190139862A (ko) * 2017-04-13 2019-12-18 소니 주식회사 화상 표시장치
KR102519000B1 (ko) 2017-04-13 2023-04-07 소니그룹주식회사 화상 표시장치
US11927759B2 (en) 2017-07-26 2024-03-12 Magic Leap, Inc. Exit pupil expander
US11567324B2 (en) 2017-07-26 2023-01-31 Magic Leap, Inc. Exit pupil expander
CN109381156A (zh) * 2017-08-14 2019-02-26 卡尔蔡司光学国际有限公司 用于实施与眼睛有关的测量的装置和方法
EP3443883A1 (de) * 2017-08-14 2019-02-20 Carl Zeiss Vision International GmbH Vorrichtungen und verfahren zur durchführung augenbezogener messungen
US11953653B2 (en) 2017-12-10 2024-04-09 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
US11762222B2 (en) 2017-12-20 2023-09-19 Magic Leap, Inc. Insert for augmented reality viewing device
US11187923B2 (en) 2017-12-20 2021-11-30 Magic Leap, Inc. Insert for augmented reality viewing device
JP2019139103A (ja) * 2018-02-13 2019-08-22 国立大学法人福井大学 画像投影装置
US11189252B2 (en) 2018-03-15 2021-11-30 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11908434B2 (en) 2018-03-15 2024-02-20 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
US11776509B2 (en) 2018-03-15 2023-10-03 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
WO2019187958A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
US11204491B2 (en) 2018-05-30 2021-12-21 Magic Leap, Inc. Compact variable focus configurations
US11885871B2 (en) 2018-05-31 2024-01-30 Magic Leap, Inc. Radar head pose localization
US11200870B2 (en) 2018-06-05 2021-12-14 Magic Leap, Inc. Homography transformation matrices based temperature calibration of a viewing system
US11092812B2 (en) 2018-06-08 2021-08-17 Magic Leap, Inc. Augmented reality viewer with automated surface selection placement and content orientation placement
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
US11510027B2 (en) 2018-07-03 2022-11-22 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
US11624929B2 (en) 2018-07-24 2023-04-11 Magic Leap, Inc. Viewing device with dust seal integration
US11598651B2 (en) 2018-07-24 2023-03-07 Magic Leap, Inc. Temperature dependent calibration of movement detection devices
US11630507B2 (en) 2018-08-02 2023-04-18 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US11112862B2 (en) 2018-08-02 2021-09-07 Magic Leap, Inc. Viewing system with interpupillary distance compensation based on head motion
US11216086B2 (en) 2018-08-03 2022-01-04 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11960661B2 (en) 2018-08-03 2024-04-16 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11609645B2 (en) 2018-08-03 2023-03-21 Magic Leap, Inc. Unfused pose-based drift correction of a fused pose of a totem in a user interaction system
US11521296B2 (en) 2018-11-16 2022-12-06 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
US11425189B2 (en) 2019-02-06 2022-08-23 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
US11762623B2 (en) 2019-03-12 2023-09-19 Magic Leap, Inc. Registration of local content between first and second augmented reality viewers
US11445232B2 (en) 2019-05-01 2022-09-13 Magic Leap, Inc. Content provisioning system and method
US11514673B2 (en) 2019-07-26 2022-11-29 Magic Leap, Inc. Systems and methods for augmented reality
US11737832B2 (en) 2019-11-15 2023-08-29 Magic Leap, Inc. Viewing system for use in a surgical environment
WO2021157204A1 (ja) 2020-02-04 2021-08-12 ソニーグループ株式会社 映像追従情報検出装置、映像追従装置、映像追従情報検出方法及び映像追従方法
KR20220130138A (ko) 2020-02-04 2022-09-26 소니그룹주식회사 영상 추종 정보 검출 장치, 영상 추종 장치, 영상 추종 정보 검출 방법 및 영상 추종 방법
WO2022153759A1 (ja) 2021-01-14 2022-07-21 ソニーグループ株式会社 画像表示装置および画像表示システム

Also Published As

Publication number Publication date
JP4682470B2 (ja) 2011-05-11

Similar Documents

Publication Publication Date Title
JP4682470B2 (ja) スキャン型ディスプレイ装置
CN108882845B (zh) 基于经由光导光学元件的视网膜成像的眼动追踪器
US11838496B2 (en) Method and system for tracking eye movement in conjunction with a light scanning projector
US8390533B2 (en) Beam-scan display apparatus, display method, and vehicle
US8403490B2 (en) Beam scanning-type display device, method, program and integrated circuit
JP6832956B2 (ja) 映像表示装置及び映像表示方法
JPH07135623A (ja) 網膜直接表示装置
JP4374708B2 (ja) 網膜走査ディスプレイ装置及び光走査装置
WO2019181482A1 (ja) 表示装置
EP3729182B1 (en) Eye tracking for head-worn display
WO2019187958A1 (ja) 情報検出装置、映像投影装置、情報検出方法、及び映像投影方法
CN113646688A (zh) 具有多个光引擎的扫描投影仪显示器
JP2009282085A (ja) 光学装置およびこれを備えた画像表示装置
JP2010091944A (ja) 画像表示装置及び画像表示システム
US11774737B2 (en) Folded-beam, low-obliquity beam scanner
WO2021166506A1 (ja) 表示装置
EP1309893B1 (en) Display device
CN216485801U (zh) 一种光学成像系统、图像显示装置及增强现实显示设备
JPH11109278A (ja) 映像表示装置
JPH11109279A (ja) 映像表示装置
JP7163230B2 (ja) 視線検出装置、視線検出方法、及び表示装置
EP4102831A1 (en) Display device
EP4249987A1 (en) Reflective pupil relay optics for mems scanning system
US20240146897A1 (en) Method and system for tracking eye movement in conjunction with a light scanning projector
KR101999425B1 (ko) 허상 투영 디스플레이용 광학장치

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070803

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20100622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20100803

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101001

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101019

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110111

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110124

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140218

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees