JP2000066136A - 光学式3次元動画表示装置 - Google Patents

光学式3次元動画表示装置

Info

Publication number
JP2000066136A
JP2000066136A JP10232451A JP23245198A JP2000066136A JP 2000066136 A JP2000066136 A JP 2000066136A JP 10232451 A JP10232451 A JP 10232451A JP 23245198 A JP23245198 A JP 23245198A JP 2000066136 A JP2000066136 A JP 2000066136A
Authority
JP
Japan
Prior art keywords
image
display device
hologram screen
image display
point
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP10232451A
Other languages
English (en)
Other versions
JP4026242B2 (ja
Inventor
Kenya Uomori
謙也 魚森
Yoshinao Taketomi
義尚 武富
Yasunori Kuratomi
靖規 藏富
Hiroshi Tsutsui
博司 筒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Priority to JP23245198A priority Critical patent/JP4026242B2/ja
Publication of JP2000066136A publication Critical patent/JP2000066136A/ja
Application granted granted Critical
Publication of JP4026242B2 publication Critical patent/JP4026242B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Overhead Projectors And Projection Screens (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)
  • Holo Graphy (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 被写体を複数の奥行き位置に動画で表示で
き、かつ、3次元映像の表示位置と両眼視差による表示
位置の違いが小さく、自然な3次元映像を表示すること
が出来る3次元動画表示装置を実現すること。 【解決手段】 ホログラムスクリーン2の表面が複数の
領域に分割され、各々の領域毎において点光源からの光
を反射して前記点光源とは異なるホログラムスクリーン
を含む空間位置に実像である点像として結像するよう構
成され、前記結像光学系は画像表示装置4に表示された
画像をその縦方向の焦点がホログラムスクリーン2上に
一致するよう構成されていることを特徴とする。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、例えば動画像情報
の表示を3次元的に行う光学式3次元動画表示装置に関
する。
【0002】
【従来の技術】従来、ホログラムスクリーンを用いて空
間に画像を表示するものとして、種々のものがある。本
出願人も平成9年10月に出願した、例えば特願平9−
278402号に記載のものがある。図16はこれの構
成を示すもので、101は光学式表示装置、102はホ
ログラムスクリーン、103はシリンドリカルレンズ、
104はLED表示装置である。
【0003】これは、画像表示装置と結像光学系とホロ
グラムスクリーンとからなり、前記ホログラムスクリー
ンは点光源からの光(単色光)を反射し前記点光源とは
異なる位置(例えば図中αの部分)に実像である点像と
して結像するよう構成されている。この構成により、光
学式表示装置で表示される映像が、βのような空間中の
平面に定位し、観察者はあたかも映像がβの位置にある
ように鑑賞することができる。
【0004】
【発明が解決しようとする課題】しかしながら上記のよ
うな構成では、3次元的な形状を3次元表示することは
できない。
【0005】
【課題を解決するための手段】上記目的を達成するた
め、本発明の光学式3次元動画表示装置は、ホログラム
スクリーンの表面が複数の領域に分割され、各々の領域
毎において点光源からの光を反射して前記点光源とは異
なるホログラムスクリーンを含む空間位置に実像である
点像として結像するよう構成され、前記結像光学系は前
記画像表示装置に表示された画像をその縦方向の焦点が
前記ホログラムスクリーン上に一致するよう構成されて
いることを特徴とする。
【0006】それぞれの領域により表示される映像が2
視点の映像を多重化しており、観察者の左右眼に2視点
の画像がそれぞれ独立に提示され、3次元的な形状を立
体的に観察できるものである。
【0007】これによって、3次元的な形状を動画にて
観察者は観察でき、ホログラムスクリーンの作用によっ
て、両眼立体視による観察者の輻輳角と眼の調節機能の
矛盾を抑圧し、自然で疲れにくい3次元表示を実現する
ことが出来る。
【0008】
【発明の実施の形態】以下本発明の光学式3次元動画表
示装置について、その実施の形態を図面を参照しながら
説明する。
【0009】(実施の形態1)図1は、本発明の実施の
形態1における光学式表示装置の構成を示す側面図であ
る。図1において、1は本実施の形態の光学式3次元動
画表示装置、2はホログラムスクリーン、3はシリンド
リカルレンズ、4は画像表示装置である。
【0010】尚、図に示したように、幅方向(図面に垂
直)をx方向、長手方向をy方向、上下方向をz方向と
する。
【0011】図1(b)に示すように、画像表示装置4
に表示された画像はシリンドリカルレンズ3によってホ
ログラムスクリーン2上に投影され、このホログラムス
クリーン2によって回折反射された画像は、その回折反
射領域#0〜#3によって#0〜#3の各想表示面上に
再生結像される。ホログラムスクリーン2の回折反射領
域及び、それに対応する仮想表面位置の例を図1(a)
に示す。
【0012】ここで画像表示装置4の画像は、図2に示
すように、周期的な4つの簾状の領域に分かれており、
4種類の画面からその画素の垂直位置によって間引いた
画像を1つの画面に合成したものである。この像がホロ
グラムスクリーン2の各領域に合致するように光学像を
調整する。このようにすると、図2にて#3の画面を背
景、#2、#1、#0の画面を順に手前の被写体を撮像
したものを用いると、観察者には、図1に示したように
奥行き構造が観察できる3次元的な映像(書き割り映
像)として観察される。
【0013】さて、本実施の形態の光学的表示装置が上
記のような機能を有する理由について以下図面を参照し
ながら説明する。
【0014】図1(b)において、画像表示装置4に表
示された画像はシリンドリカルレンズ3によってホログ
ラムスクリーン2上に結像される。画像表示装置4に表
示される画像は上下左右が反転しており、また、シリン
ドリカルレンズの母線はx方向に平行に置かれている。
【0015】このとき、それぞれの構成要素は画像のz
成分だけがホログラムスクリーン上に合焦されるよう配
置されている。言い換えると、シリンドリカルレンズ3
の作用によって、前記画像に含まれている、例えば、x
方向に延びる線や輪郭がホログラムスクリーン2上で最
も鮮明になるように配置される。
【0016】その結果、ホログラムスクリーン2の位置
に通常の投射用スクリーンを置いて見ると、そこには図
3に示すような、x方向に延びる線や輪郭のみが鮮明
で、z方向に延びる線や輪郭がぼけた像が写っているこ
とになる。
【0017】尚、図3は円と正方形の像をシリンドリカ
ルレンズ3で結像し、ホログラムスクリーン2の位置に
通常の投射用スクリーンを置いたときに見える様を模式
的に描いたものである。
【0018】さて、次にホログラムスクリーン2の機能
について図面を用いて説明する。図4は光学式3次元動
画表示装置1からホログラムスクリーン2と画像表示装
置4のみを取り出して描いた構成図であり、図4(a)
は平面図、図4(b)は側面図である。このようにシリ
ンドリカルレンズ3がない場合、ホログラムスクリーン
2内の1つの領域は、画像表示装置4の点Aを発した光
を仮想表示面16上の点Bに結像する機能を有してい
る。
【0019】図1のホログラムスクリーン2の各領域#
0〜#3は、図4の結像位置Bが奥行き方向(y軸方
向)に異なった位置、例えばB2、B3、B4のような
位置になるように機能する。
【0020】ただし、これは単色光において、これらの
B、B2、B3、B4に結像する。白色光源の場合、結
像位置が波長によって変化するため、結像する映像はぼ
やけた映像となる。
【0021】上記の機能を有するホログラムスクリーン
2は、例えば図5に示す露光光学系で作製できる。
【0022】まず、空間の任意の位置に像を結像するホ
ログラムスクリーン2の作成方法について説明する。レ
ンズ6によって集光されたレーザビーム7は、点Aの位
置に置かれたピンホール8を通過して発散光となり、後
にホログラムスクリーン2となるホログラム乾板5に図
中右側から入射する。
【0023】一方、点Bに向かって収束するレーザビー
ム9はホログラム乾板5に、図中左側、即ち前記のレー
ザビーム7とは反対側から入射する。これらの2つのレ
ーザビームの干渉パターンがホログラム乾板5に記録さ
れることで、図1(b)におけるホログラムスクリーン
2より右側の点Bに像を結像する機能を有するホログラ
ムスクリーン2が構成される。また、図1(b)でホロ
グラムスクリーン2の左側に像を結像させるには、図5
(b)に示したように、収束レーザービーム9の代わり
に点Cから発散されるレーザービーム10を用いればよ
い。ここで11はレンズ、12はピンホールである。
【0024】以上の手法を、図1(a)の各領域毎に結
像位置が変わるように切り換えながら複数回ホログラム
乾板5にレーザ光を露光する。例えば、図6(a)に示
した#0マスクをホログラフィ乾板5の両面に配置して
レーザ光を図5(a)の配置にて露光する。次に、図5
(a)の配置にて、点Bの焦点位置を左にずらしたもの
を図6(b)の#1マスクを用いて露光する。次に、図
5(b)の配置にて図6(c)の#2マスクを用いて露
光する。最後に、図5(b)で点Cを左にずらした配置
で図6(d)の#3マスクを用いて露光する。
【0025】このようにすることによって、図1(b)
のように、ホログラムスクリーン2上の各領域によっ
て、結像位置が#0〜#3と変化するようなホログラム
スクリーンを作成することができる。
【0026】さて、シリンドリカルレンズ3が光路内に
配置され、図3に示したような画像のz成分即ちx方向
に延びる線や輪郭のみが鮮明で、画像のx成分即ちz方
向に延びる線や輪郭がぼけた像が投影された場合、ホロ
グラムスクリーン2は下記のような機能を示す。
【0027】図7は光学式表示装置1の各要素を光線が
どのように進んでいくかということを示す構成図であ
り、図7(a)はその平面図、図7(b)は側面図であ
る。
【0028】まず、画像のx成分については図7(a)
に示すように、シリンドリカルレンズ3の作用を受けて
いないため、LED表示装置4上に表示された点Aの像
がそのままホログラムスクリーン2に投影されていると
考えることができる。
【0029】従って、図4において点Aを発した光が点
Bに結像されたのと同様に、ホログラムスクリーン2の
作用によりx成分のみ、即ちz方向に延びる線や輪郭が
仮想表示面16上にシャープに結像されることになる。
【0030】一方、画像のz成分については、上でも述
べたようにシリンドリカルレンズ3の作用によってホロ
グラムスクリーン2上で最も鮮明になっている。これを
図示すると、図7(b)のように画像表示装置4上に表
示された点Aの像がホログラムスクリーン2上の点Cに
結像されている。点Cには点Aを発してz方向に一旦広
がった光がシリンドリカルレンズ3を透過した後、z成
分だけがある収束角度をもって収束されているため、ホ
ログラムスクリーン2によって回折反射した後はz方向
にわずかな発散角度をもつ発散光となって仮想表示面1
6上に投影されることになる。
【0031】尚、厳密に言うと、この発散光に含まれる
各光束はわずかに異なった波長成分を有するものであ
る。つまり、表示装置の発光分布には数十nmの幅があ
り、ホログラムスクリーン2によって分光され、各波長
ごとに異なる角度で回折反射されるのである。
【0032】また、映像のx方向変化成分は仮想表示面
16にシャープに結像され、z方向変化成分はホログラ
ムスクリーン2上にシャープに結像されるが、観察者の
両眼立体視機能は一般的にx方向成分の変化成分をもと
に仮想平面位置を知覚するので、z方向変化成分はそれ
にひきづられて、あたかも仮想平面位置に映像があるよ
うに知覚する。
【0033】以上のようにして、結果的に観察者の目に
は仮想表示面16の位置に像が浮かんでいるように見え
ることになる。これが、図1(b)のように複数の画像
を簾状に分解したものが順に空間に定位されるので、観
察者は各画面がそれぞれの空間位置にあるかのごとく動
画像を観察できる。
【0034】また、本実施の形態ではシリンドリカルレ
ンズ3を用いたがこれに限るものではなく、上記したよ
うに画像のz成分をホログラムスクリーン2上に鮮明に
投影結像するものであればよい。縦横で焦点距離の異な
るアナモルフィック光学系も使用できる。また、通常の
投影レンズとシリンドリカルレンズとの組み合わせでも
よい。
【0035】また、本実施の形態での画像表示装置4と
しては、明るい画像を表示できるものであれば何でもよ
い。
【0036】以上説明してきたように、本発明の光学式
3次元表動画示装置によれば、動画像表示装置4に空間
多重されて表示された複数の画像が異なった奥行きの仮
想表示面上に空中像として観察される。
【0037】(実施の形態2)図8は本発明の第2の実
施の形態の光学式3次元動画表示装置の構成図である。
同図(a)は側面図、同図(b)は平面図である。ここ
で、1は本実施の形態の光学式3次元動画表示装置、2
はホログラムスクリーン、3はシリンドリカルレンズ、
18,19は画像表示装置、20は左右画像生成部、2
1は偏光眼鏡、22a,bは互いに直交した直線偏光板
である。
【0038】以上のように構成された光学式3次元動画
表示装置について説明する。図8(a)に示すように、
基本的には本発明の第1の実施の形態と同様に、画像表
示装置18,19に表示された画像はシリンドリカルレ
ンズ3によってホログラムスクリーン2上に投影され、
このホログラムスクリーン2によって回折反射された画
像は、その回折反射領域によって#0〜#3の仮想表示
面上に再生結像される。本発明の第1の実施の形態と同
様に、ホログラムスクリーンは周期的な4つの簾状の領
域に分かれている。この各々の領域に、図2に示したよ
うな映像の各々の領域が対応するように画像が投射され
る。このようにして、図8にて各仮想表示面#0〜#3
に映像が表示される。これを観察者17が観察する。以
上の動作は、本発明の第1の実施の形態と同じである。
【0039】ここで、第1の実施の形態と異なる点は、
図8(b)に示したように、2台の映像表示装置18,
19からの映像が直線偏光板22a,22bによって偏
光され、ホログラムスクリーン2に重ねて投射されるこ
とである。重ねて投射された光はそれぞれ、前述の通り
ホログラムスクリーン2の各領域に入射し、それぞれ設
定された光学像の位置(仮想表示面#0〜#3)に結像
し、観察者は左右のレンズ部分に互いに直交する直線偏
光板を配した偏光眼鏡21を通して光学像を観察する。
これによって、各画像表示装置18,19によって表示
された映像R、Lはそれぞれ独立に観察者の右目、左目
にのみ観察される。即ちいわゆる立体画像として観察す
ることになる。
【0040】各仮想表示面#0〜#3とR、L立体画像
の両眼視差による映像の奥行き再生位置の関係を図9
(a)に示す。
【0041】まず、ホログラムスクリーン2の作用によ
って、4種類の映像は#0、#1、#2、#3のそれぞ
れの空間位置に結像される。それぞれの映像は#0〜#
3の位置を基準として前後に両眼視差によって奥行きを
表現する。
【0042】即ち、両眼視差0の場合は#0〜#3の位
置に映像が表示され、それ以外の場合は、#0の仮想表
示面での映像はA0の範囲、#1はA1、#2はA2、
#3はA3の範囲に対応した位置に映像が表示される。
ここでは、それぞれの表示奥行き位置はお互いに重なら
ない場合を説明したが、両眼視差の範囲を大きくするこ
とにより、お互いに重なった部分に画像を表示すること
もできる。
【0043】以上の動作により、仮想表示面を基準とし
て両眼視差によって奥行きを表現するため、立体画像の
眼精疲労の原因と言われている観察者の調節(眼のピン
ト)と輻輳(両眼の視線の交差する位置)の矛盾をある
程度回避できる。
【0044】即ち、ホログラムスクリーン2による仮想
表示面#0、#1,#2、#3の位置は、人間がその位
置にピント調節することによって最もピントの合った状
態で観察可能であり、そこから微小な奥行きの違いであ
るA0〜A3の範囲の奥行きであれば、人間の調節と輻
輳の矛盾の許容範囲に入るからである。
【0045】これに対し従来の2眼式立体画像表示にお
いては、基準となる表示面が一つであるため、両眼視差
による奥行き表示範囲が広く、人間の調節と輻輳の矛盾
が発生しやすい。この欠点を本実施の形態は改善するこ
とが出来る。
【0046】さて、次に、前述の複数の映像をいかにし
て生成するかについての一例について説明する。まず、
3次元CGや被写体を立体カメラや距離計測用のレンジ
ファインダで撮像することによって得られた3次元映像
データは、奥行き階層切り出し部23に入力される。
【0047】奥行き階層切り出し部23は、被写体の奥
行きを図9(a)に示したように複数の領域に分け、そ
れぞれの領域に入った被写体の部分のみ切り出し、ある
間隔にて水平に配置された2台のカメラによって撮像し
たときの映像として出力される。この時、領域A0の信
号は#0R(右)、#0L(左)の2種類であり、以下
同様に領域A1の信号は#1Rおよび#1L、領域A2
は#2R及び#2L、領域A3は#3R及び#3Lとな
る。切り出し動作は、CGの技法で言えばカメラに撮像
する領域を制限するクリッピング面を設定することによ
って得られる。クリッピング面は奥行き方向にA0,A
1,A2,A3(図9(c))の位置に設定される。
【0048】また、この切り出し動作の時、Zバッファ
24を用いた隠面処理を行うことが出来る。これは、図
9(c)に示すように、R、Lのカメラ視点26、27
から被写体を撮像する場合、被写体28は領域A0〜A
3までで分割される場合、図9(d)のように、手前に
ある物体の視線上にある後ろ側に物体は表示しないよう
にする動作である。方法としては、各画素位置の奥行き
位置をZバッファで記憶し、手前の位置のZバッファの
値が来たときのみ、その被写体データを映像データとす
ることによって実現される。
【0049】また、図9(a)に示したように、それぞ
れの仮想表示面は奥行き位置が異なるので、投影面2
8,29はそれぞれの仮想表示面に合わせて、その奥行
き位置を変化させて投影像(出力映像)を得る必要があ
る。即ち、映像を投影変換で生成する場合、仮想表示面
#0〜#3に対する映像それぞれに対して、図9(c)
の投影面0、1、2、3が選ばれて投影変換して映像を
生成することになる。
【0050】更に、投影面0、1、2、3を選択する代
わりに、シリンドリカルレンズ3による幾何光学的な映
像の結像倍率(z軸方向の結像による倍率)を、投影面
0、1、2、3での被写体の大きさの変化と一致するよ
うに、シリンドリカルレンズ3の焦点距離と、シリンド
リカルレンズ3とホログラムスクリーン2の距離を調節
すれば、投影変換による映像生成時に投影面の位置を切
り換える必要がなくなり、投影面は1つの位置で映像を
生成することができる。
【0051】その後、それぞれの仮想空間での立体映像
(2CH)は、再配置部25によってR、L画像に統合
される。統合の方法は、図2に示した方法と同じであ
り、#0R〜#3Rの映像をR信号に、#0L〜#3L
の映像をL信号として簾状の統合を行う。これによって
得られたR、L信号を映像表示装置18,19に入力す
る。
【0052】以上のように、#3、#2、#1、#0の
仮想表示面の順に手前の被写体を撮像したものを表示す
ることによって、3次元的に分布する被写体を複数の仮
想表示面と両眼視差を用いて表示することができる。こ
の時、観察者は複数の奥行き位置に眼のピント調節位置
を有する映像を観察するので、両眼視差による立体映像
表示を行っても、一つの表示スクリーン位置を有する立
体表示装置と比較して調節(眼のピント)と輻輳の矛盾
が小さくなり、自然で疲れにくい3次元映像を表示する
ことが出来る。
【0053】また、本実施の形態において、直線偏光板
22、23を用いたが、互いに回転方向の異なる円偏光
板を用い、観察者はそれに対応した円偏光眼鏡を装着し
て観察しても良い。この場合、観察者の頭部が傾斜して
もR、Lの映像間のクロストークが発生しないと言うメ
リットがある。
【0054】また、本実施の形態において、図8に示し
たように画像表示装置18,19はx座標が異なる位置
に設置されている。この場合、仮想表示面に表示される
2CH分の映像も、その分x方向にずれて表示される。
このため、観察者にとって、左右眼用の映像がずれて表
示されるが、観察者の両眼にはそれぞれの眼に対応する
映像のみ表示されるため、観察者は輻輳角を変化させて
これを両眼融合することが出来る。また、仮想表示面の
観察可能な視野角の大きさが狭いと、右目用の画像は観
察できるが左目用の画像は画面全体が観察できない状態
(またはその反対)が発生する可能性がある。そこで、
画像表示装置18,19の間隔をなるべく近づけた設定
にし、更に、表示する画像を、仮想表示面での映像のx
軸方向のずれを補正するように右、左画像を水平方向に
平行移動して表示することが好ましい。
【0055】(実施の形態3)図10は、本発明の第3
の実施の形態の光学式3次元動画表示装置の構成図であ
る。同図(a)は側面図、同図(b)は平面図である。
ここで、1は本実施の形態の光学式3次元動画表示装
置、2はホログラムスクリーン、3はシリンドリカルレ
ンズ、4は画像表示装置、32は左右画像生成部、30
は液晶シャッタ眼鏡である。
【0056】以上のように構成された光学式3次元動画
表示装置について説明する。図10(a)に示すよう
に、基本的には第2の実施の形態と同様に、画像表示装
置4に表示された画像はシリンドリカルレンズ3によっ
てホログラムスクリーン2上に投影され、このホログラ
ムスクリーン2によって回折反射された画像は、その回
折反射領域によって#0〜#3の仮想表示面上に再生結
像される。
【0057】第1の実施の形態と同様に、ホログラムス
クリーンは周期的な4つの簾状の領域に分かれている。
この各々の領域に、図2に示したような映像の各々の領
域が対応するように画像が投射される。このようにし
て、図10にて各仮想表示面#0〜#3に映像が表示さ
れる。これを観察者17が観察する。以上の動作は、第
1の実施の形態と同じである。
【0058】ここで、第1の実施の形態と異なる点は、
第2の実施の形態と同様に観察者が左右独立映像を観察
でき、両眼立体視による奥行き表現を用いた映像を観察
することである。第2の実施の形態と異なるのは、偏光
による左右画像の分離ではなく、時分割立体画像を用い
て両眼にそれぞれ独立に映像を与える点である。
【0059】図10(b)において、映像表示装置4か
らの映像は時分割で、右・左・右・左・・・という風に
交互に表示される。その映像はシリンドリカルレンズを
通してホログラムスクリーン2に時間的に交互に投射さ
れる。投射された光はそれぞれ、ホログラムスクリーン
2の各領域に入射し、それぞれ設定された光学像の位置
(仮想表示面#0〜#3)に結像し、観察者は時分割映
像信号に同期したタイミングで右・左・右・左・・・の
ように交互の眼だけで映像を観察する。これによって、
画像表示装置4によって表示された映像R、Lはそれぞ
れ独立に観察者の右目、左目にのみ観察される。即ちい
わゆる立体画像として観察することになる。
【0060】あとの動作は第2の実施の形態と同じであ
る。即ち、図10(a)の各仮想表示面#0〜#3と
R、L立体画像の両眼視差による映像の奥行き再生位置
の関係は図9(a)に示される。ホログラムスクリーン
2の作用によって定位した4種類の映像は#0、#1、
#2、#3のそれぞれの空間位置に結像される。
【0061】それぞれの映像は#0〜#3の位置を基準
として前後に両眼視差によって奥行きを表現する。即
ち、両眼視差0の場合は#0〜#3の位置に映像が表示
され、それ以外の場合は、#0の仮想表示面での映像は
A0の範囲、#1はA1、#2はA2、#3はA3の範
囲に対応した位置に映像が表示される。
【0062】以上の動作により、本実施の形態において
も、仮想表示面を基準として両眼視差によって奥行きを
表現するため、立体画像の眼精疲労の原因と言われてい
る観察者の調節(眼のピント)と輻輳(両眼の視線の交
差する位置)の矛盾をある程度回避できる。
【0063】次に、各領域#0〜#3の時分割立体映像
信号をいかにして生成するかについての一例について説
明する。生成方法は第2の実施の形態とほぼ同じであ
る。
【0064】即ち、まず、3次元映像データ22は、奥
行き階層切り出し部23に入力される。奥行き階層切り
出し部23は、被写体の奥行きを図9(a)に示したよ
うに複数の領域に分け、それぞれの領域に入った被写体
の部分のみ切り出し、ある間隔にて水平に配置された2
台のカメラによって撮像したときの映像として出力され
る。
【0065】この時、領域A0の信号は#0R(右)、
#0L(左)の2種類であり、以下同様に領域A1の信
号は#1Rおよび#1L、領域A2は#2R及び#2
L、領域A3は#3R及び#3Lとなる。この切り出し
動作の時、Zバッファ24を用いた隠面処理を行い、更
に再配置部25により簾状の空間位置変換を行うことに
よって、左右眼の映像に対応したR、L信号を得る。こ
の信号を時分割多重部33によって時間的に切り換え、
時分割立体信号を得る。
【0066】これを図10の映像表示装置4に入力す
る。左右切り換えタイミングは液晶切り換えドライバに
伝えられ、それに対応した左右眼の液晶シャッタ眼鏡3
0を駆動する。以上の動作によって、観察者17は、複
数の仮想平面上に表示された時分割立体画像を立体視し
ながら観察することが出来る。
【0067】以上の様にすることによって、第2の実施
の形態と同様に、観察者は複数の奥行き位置に眼のピン
ト調節位置を有する映像を観察するので、両眼視差によ
る立体映像表示を行っても、調節(眼のピント)と輻輳
の矛盾が発生しにくく、自然で疲れにくい3次元映像を
表示することが出来る。また、時分割立体画像を用いて
いるので、観察者の首の角度が変化しても、左右画像間
のクロストークは発生しないと言う利点もある。
【0068】また、本実施の形態において、画像表示装
置4の前面に、電気的に偏光方向を切り換えることの出
来る光学的フィルタ素子(例えば電圧を印加することに
よって直線偏光の方向が90度変化するものや、円偏光
の回転方向が反転する光学フィルタ素子)を配置しても
同様の効果が得られる。この場合、右画像を表示してい
る期間と左画像を表示している期間で、光学フィルタ素
子の偏光特性が異なるように偏光特性切り換えタイミン
グを設定する。観察者は液晶シャッタ眼鏡30の代わり
に本発明の第2の実施の形態において使われた偏光眼鏡
21を装着して立体視することになる。
【0069】また、この場合、画像表示装置としては、
例えばCRT、PDLC、有機EL等の無偏光ディスプ
レイを用いることが出来る。
【0070】(実施の形態4)図12は、本発明の第4
の実施の形態の光学式3次元動画表示装置の構成図であ
る。同図(a)は側面図、同図(b)は平面図である。
ここで、1は本実施の形態の光学式3次元動画表示装
置、2はホログラムスクリーン、3はシリンドリカルレ
ンズ、18,19は画像表示装置、20は左右画像生成
部である。
【0071】以上のように構成された光学式3次元動画
表示装置について説明する。装置構成は第2の実施の形
態(図8)と似ているが、偏光フィルタ22a,bを用
いずに眼鏡無しで観察者17が立体視出来る点が異な
る。画像表示装置18から出射された左目用の映像の光
はシリンドリカルレンズ3でホログラムスクリーン2に
結像される。ホログラムスクリーン2によって光は観察
者の左目の存在する領域EL辺りに反射する。
【0072】同様に、右目用の映像の光はシリンドリカ
ルレンズ3でホログラムスクリーン2に結像される。ホ
ログラムスクリーン2によって光は観察者の左目の存在
する領域ER辺りに反射する。そして、光が結像する仮
想平面は、図12(a)に示したように、ホログラムス
クリーン2の空間的位置によって、#0〜#3の位置に
なるように構成されている。これは、図1(a)で示し
たホログラムスクリーン2上の#0〜#3の短冊状の位
置それぞれにおいて、光が結像する位置を変えるように
(図4のB、B2、B3、B4のように)ホログラムス
クリーンが作成されることによって実現される。
【0073】このような機能を有するホログラムスクリ
ーン2の作成方法は、第1の実施の形態と同様である
が、図13に示したように、平面図において、レーザビ
ーム7A、7Bに分けて2回ホログラム乾板5に露光す
ることが異なる。即ち、図13(a)において、レーザ
ビーム7Aと収束光A(点PAに向かった収束光)を露
光する。
【0074】次に、レーザビーム7Bと収束光B(点P
Bに向かった収束光)を露光する。この時、側面図であ
る図13(b)の配置は、本発明の実施の形態1におけ
る配置(図5)と同じになる。このようにすることによ
って、画像表示装置18,19から出射した左右眼用の
画像はそれぞれ観察者17の左右眼EL,ERの位置で
しか見えない状態になり、観察者17は眼鏡無しで両眼
立体視を行うことができる。
【0075】実際の露光では、前記2回の露光の配置そ
れぞれにおいて、仮想表示面#0〜#3に対応する領域
に分ける4種類のマスク(図6)をホログラフィ乾板5
の両面に配置して露光する。即ち、レーザビーム7A、
収束光Aを用いて、図6の4種類のマスクをホログラム
乾板5にかぶせてそれぞれの仮想表示面の位置をずらし
ながら(図4(b)のB、B2、B3、B4の位置)露
光を4回行う。露光は図5に示したように、仮想表示面
の位置によって発散光または収束光を用いる。
【0076】更に同様にして、レーザビーム7B、収束
光Bを用いて、図6の4種類のマスクをホログラム乾板
5にかぶせてそれぞれの仮想表示面の位置をずらしなが
ら露光を4回行う。
【0077】また、同じ機能を有するホログラムスクリ
ーン2を、別の手法で作成することもできる。作成方法
は、図13とほぼ同じであるが、露光時にRマスク(図
14(a))をホログラフィ乾板5の両面に配置して、
図13の収束光Aとレーザビーム7Aを露光し、次に図
14(b)のLマスクをホログラフィ乾板5の両面に配
置して、図13の収束光Bとレーザビーム7Bを露光す
る。
【0078】即ち、ホログラムスクリーン2の空間領域
を水平方向に交互に2つに分け、それぞれが左右画像の
うちのどちらかを観察者の対応する片眼に入射するよう
にするわけである。
【0079】実際の露光では、図14のR、Lマスクと
同時に、仮想表示面#0〜#3に対応する領域に分ける
マスクも重ねてホログラフィ乾板5の両面に配置して露
光する。即ち、図13に示すように、Rマスクではレー
ザビーム7A、収束光Aを用いて、図6の4種類のマス
クを更にかぶせてそれぞれの仮想表示面の位置をずらし
ながら露光を4回行う。更に、Lマスクでも同様にし
て、レーザビーム7B、収束光Bを用いて、図6の4種
類のマスクを更にかぶせてそれぞれの仮想表示面の位置
をずらしながら露光を4回行う。
【0080】このようにして出来上がったホログラムス
クリーンは、図15のように横短冊状に奥行き結像位置
が異なり、縦短冊状に水平方向の結像位置が異なるよう
なモザイク状の機能を有するものとなる。
【0081】以上のようにして得られたホログラムスク
リーン2は、図12(b)に示したように、観察者17
の左右眼それぞれに、画像表示装置18,19の映像を
独立して呈示することができる。この場合の映像の作成
方法は図2のように水平方向の短冊上にそれぞれの仮想
平面での画像が多重化されて表示されるので本発明の第
2の実施の形態と全く同じであり、図9の構成で作成す
ることが出来る。
【0082】このようにして、仮想表示面#0〜#4そ
れぞれに近い位置の被写体が、それぞれの仮想表示面に
分解されて表示されるような光学式3次元動画表示装置
を眼鏡無しで構成することが出来る。これによって、観
察者は複数の奥行き位置に眼のピント調節位置を有する
映像を観察するので、両眼視差による立体映像表示を行
っても、調節(眼のピント)と輻輳の矛盾が発生しにく
く、自然で疲れにくい3次元映像を表示することが出来
る。
【0083】なお、本実施の形態において、反射型のホ
ログラムスクリーンを用いたが、透過型のホログラムス
クリーンを作成しても同様の効果が得られる。即ち、図
12(b)において、画像表示装置18、19とシリン
ドリカルレンズ3をホログラムスクリーン2に対して線
対称(観察者と反対側)に配置する。この時、ホログラ
ムスクリーンの作成において、図13の右側からのレー
ザビーム7A、7Bはホログラム乾板5の左から照射す
ることとなる。
【0084】なお、第1、2、3、4の実施の形態にお
いて、ホログラムスクリーン2の領域は4つとしたが、
いくつに分割してもその基本的な動作は同じであり、図
2に示された構成画像の数が変化するだけである。
【0085】また、第2、第3、第4の実施の形態で
は、仮想表示面に表示する被写体を奥行きによって切り
出した映像としたが、被写体を構成する物体毎にそれぞ
れ仮想表示面を割り振っても良い。この場合は、奥行き
による切り出しは必要がなく、被写体毎の映像を独立に
生成する必要がある。
【0086】また、各実施の形態では、動画像を例に説
明したが、画像表示装置で静止画像を表示して光学式3
次元静止画表示装置として用いても良いことは言うまで
もない。
【0087】
【発明の効果】以上のように本発明は、空間内に仮想的
に設けられた複数の面に立体像の表示を行うため、光学
的に3次元的な形状を空間に表示できる。
【0088】また、複数の仮想面を用いて立体視を行う
ことにより、観察者の調節と輻輳の矛盾の少ない、自然
で疲れにくい3次元画像を観察することが出来る。
【図面の簡単な説明】
【図1】(a)本発明の実施の形態1における光学式3
次元動画表示装置による複数の仮想平面を示す図 (b)本発明の実施の形態1における光学式3次元動画
表示装置の側面図
【図2】本発明における複数の画像から投射する映像を
空間多重により得る方法を示す図
【図3】(a),(b)ホログラムスクリーン上に投影
結像された画像を示す図
【図4】(a),(b)ホログラムスクリーンの機能の
原理を示す概略図
【図5】(a),(b)ホログラムスクリーンの作製光
学系を示す図
【図6】(a)〜(d)ホログラムスクリーンを作成す
る際のマスクを示す図
【図7】(a),(b)光学式3次元動画表示装置の光
線追跡を示す図
【図8】(a)本発明の実施の形態2における光学式3
次元動画表示装置の側面図 (b)本発明の実施の形態2における光学式3次元動画
表示装置の構成図
【図9】(a)本発明の実施の形態2における奥行き再
生範囲を示す図 (b)本発明の実施の形態2における左右画像生成部の
構成図 (c)本発明の実施の形態2における各仮想平面に表示
する映像を得るための投影変換図 (d)本発明の実施の形態2における各仮想平面に表示
する映像の例を示す図
【図10】(a)本発明の実施の形態3における光学式
3次元動画表示装置の側面図 (b)本発明の実施の形態3における光学式3次元動画
表示装置の構成図
【図11】本発明の実施の形態3における左右画像生成
部の構成図
【図12】(a)本発明の実施の形態4における光学式
3次元動画表示装置の側面図 (b)本発明の実施の形態4における光学式3次元動画
表示装置の構成図
【図13】(a)本発明の実施の形態4におけるホログ
ラムスクリーンの作製光学系を示す平面図 (b)同側面図
【図14】(a),(b)本発明の実施の形態4におけ
るホログラムスクリーンの作製光学系に用いるマスクを
示す図
【図15】本発明の実施の形態4におけるホログラムス
クリーンの機能とその空間位置を示した図
【図16】従来の光学式画像表示装置を示す構成図
【符号の説明】
1 光学式3次元動画表示装置 2 ホログラムスクリーン 3 シリンドリカルレンズ 4,18,19 画像表示装置 5 ホログラム乾板 6,11,13,15 レンズ 7 レーザビーム 8,12,14 ピンホール 9 レーザビーム(収束光) 10 レーザビーム(発散光) 16 仮想表示面 17 観察者 20,32 左右画像生成部 21 偏光眼鏡 22a,22b 直線偏光板 23 奥行き階層切り出し部 24 Zバッファ 25 再配置部 26 左カメラ位置 27 右カメラ位置 28 被写体 29 投影面 30 液晶シャッタ眼鏡 31 液晶切り換えドライバ 33 時分割多重部
───────────────────────────────────────────────────── フロントページの続き (72)発明者 藏富 靖規 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 (72)発明者 筒井 博司 大阪府門真市大字門真1006番地 松下電器 産業株式会社内 Fターム(参考) 2H021 BA01 2H049 CA01 CA09 CA22 2K008 AA00 CC03 EE04 FF24 HH07 HH12 HH27 5C061 AA01 AA02 AA11 AA29 AB01 AB08 AB11 AB12 AB14 AB16 AB17 AB24

Claims (8)

    【特許請求の範囲】
  1. 【請求項1】画像表示装置と結像光学系とホログラムス
    クリーンとを有する光学式表示装置であって、前記ホロ
    グラムスクリーンはその表面が複数の領域に分割され、
    各々の領域毎において点光源からの光を反射して前記点
    光源とは異なるホログラムスクリーンを含む空間位置に
    実像である点像として結像するよう構成され、前記結像
    光学系は前記画像表示装置に表示された画像をその縦方
    向の焦点が前記ホログラムスクリーン上に一致するよう
    構成されていることを特徴とする光学式3次元動画表示
    装置。
  2. 【請求項2】2台の画像表示装置と結像光学系とホログ
    ラムスクリーンとを有する光学式表示装置であって、前
    記ホログラムスクリーンはその表面が複数の領域に分割
    され、各々の領域毎において点光源からの光を反射して
    前記点光源とは異なるホログラムスクリーンを含む空間
    位置に実像である点像として結像するよう構成され、前
    記結像光学系は前記画像表示装置に表示された画像をそ
    の縦方向の焦点が前記ホログラムスクリーン上に一致す
    るよう構成され、画像表示装置は互いに異なった偏光特
    性を持つ光を出射するように構成されそれぞれの映像は
    前記複数の領域に対応した空間位置を基準とした2視点
    からの映像であり、これを観察者が左右眼の偏光特性の
    異なる偏光眼鏡を装着することによって前記2視点から
    の映像を立体視して観察することを特徴とする光学式3
    次元動画表示装置。
  3. 【請求項3】1台の画像表示装置と結像光学系とホログ
    ラムスクリーンとを有する光学式表示装置であって、前
    記ホログラムスクリーンはその表面が複数の領域に分割
    され、各々の領域毎において点光源からの光を反射して
    前記点光源とは異なるホログラムスクリーンを含む空間
    位置に実像である点像として結像するよう構成され、前
    記結像光学系は前記画像表示装置に表示された画像をそ
    の縦方向の焦点が前記ホログラムスクリーン上に一致す
    るよう構成され、画像表示装置は前記複数の領域に対応
    した空間位置を基準とした2視点からの映像を時分割で
    切り替えて表示し、これを観察者が左右眼を交互に観察
    可能なシャッタ眼鏡を装着して前記2視点からの映像を
    立体視して観察することを特徴とする光学式3次元動画
    表示装置。
  4. 【請求項4】1台の画像表示装置と結像光学系とホログ
    ラムスクリーンとを有する光学式表示装置であって、前
    記ホログラムスクリーンはその表面が複数の領域に分割
    され、各々の領域毎において点光源からの光を反射して
    前記点光源とは異なるホログラムスクリーンを含む空間
    位置に実像である点像として結像するよう構成され、前
    記結像光学系は前記画像表示装置に表示された画像をそ
    の縦方向の焦点が前記ホログラムスクリーン上に一致す
    るよう構成され、画像表示装置は前記複数の領域に対応
    した空間位置を基準とした2視点からの映像を時分割で
    出射光の偏光特性を切り替えて表示し、これを観察者が
    左右眼で異なる偏光特性を有する偏光眼鏡を装着して前
    記2視点からの映像を立体視して観察することを特徴と
    する光学式3次元動画表示装置。
  5. 【請求項5】2台の画像表示装置と結像光学系とホログ
    ラムスクリーンとを有する光学式表示装置であって、前
    記ホログラムスクリーンはその表面が複数の領域に分割
    され、各々の領域毎において点光源からの光を反射して
    前記点光源とは異なるホログラムスクリーンを含む空間
    位置に実像である点像として結像するよう構成され、前
    記結像光学系は前記画像表示装置に表示された画像をそ
    の縦方向の焦点が前記ホログラムスクリーン上に一致す
    るよう構成され、前記ホログラムスクリーンはそれぞれ
    の画像表示装置からの光が異なった空間位置に結像する
    ように構成され、それぞれの映像は前記複数の領域に対
    応した空間位置を基準とした2視点からの映像であり、
    これを観察者が眼鏡無しで観察することによって前記2
    視点からの映像を立体視して観察することを特徴とする
    光学式3次元動画表示装置。
  6. 【請求項6】前記複数の領域はホログラムスクリーン上
    を短冊状に分割することを特徴とする請求項1〜5のい
    ずれかに記載の光学式3次元動画表示装置。
  7. 【請求項7】前記複数の領域は、結像する奥行き位置と
    水平位置を、それぞれホログラムスクリーン上で縦方向
    または横方向の短冊状に分割されることを特徴とする請
    求項5記載の光学式3次元動画表示装置。
  8. 【請求項8】画像表示装置と結像光学系とホログラムス
    クリーンとを有する光学式表示装置であって、前記ホロ
    グラムスクリーンはその表面が複数の領域に分割され、
    各々の領域毎において点光源からの光を反射して前記点
    光源とは異なるホログラムスクリーンを含む空間位置に
    実像である点像として結像するよう構成され、前記結像
    光学系は前記画像表示装置に表示された画像をその縦方
    向の焦点が前記ホログラムスクリーン上に一致するよう
    構成されていることを特徴とする光学式3次元静止画表
    示装置。
JP23245198A 1998-08-19 1998-08-19 光学式3次元動画表示装置 Expired - Fee Related JP4026242B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23245198A JP4026242B2 (ja) 1998-08-19 1998-08-19 光学式3次元動画表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23245198A JP4026242B2 (ja) 1998-08-19 1998-08-19 光学式3次元動画表示装置

Publications (2)

Publication Number Publication Date
JP2000066136A true JP2000066136A (ja) 2000-03-03
JP4026242B2 JP4026242B2 (ja) 2007-12-26

Family

ID=16939498

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23245198A Expired - Fee Related JP4026242B2 (ja) 1998-08-19 1998-08-19 光学式3次元動画表示装置

Country Status (1)

Country Link
JP (1) JP4026242B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008018560A1 (fr) * 2006-08-09 2008-02-14 Nhk Spring Co., Ltd. Support d'identification, son procédé de fabrication, article et procédé d'identification de support d'identification
JP2009507401A (ja) * 2005-05-26 2009-02-19 リアルデー 立体視投影を向上させるゴースト補償
JP2010026273A (ja) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd ヘッドマウントディスプレイ
JP2012128854A (ja) * 2010-12-09 2012-07-05 Korea Electronics Telecommun 増強型3次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法
JP2015156029A (ja) * 2002-11-13 2015-08-27 シーリアル、テクノロジーズ、ゲーエムベーハーSeereal Technologies Gmbh 映像ホログラムおよび映像ホログラム再生装置
WO2021149512A1 (ja) * 2020-01-22 2021-07-29 ソニーグループ株式会社 画像表示装置

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018028680A (ja) * 2002-11-13 2018-02-22 シーリアル、テクノロジーズ、ゲーエムベーハーSeereal Technologies Gmbh 映像ホログラムおよび映像ホログラム再生装置
JP2015156029A (ja) * 2002-11-13 2015-08-27 シーリアル、テクノロジーズ、ゲーエムベーハーSeereal Technologies Gmbh 映像ホログラムおよび映像ホログラム再生装置
US9288465B2 (en) 2005-05-26 2016-03-15 ReaID Inc. Ghost-compensation for improved stereoscopic images
JP2009507401A (ja) * 2005-05-26 2009-02-19 リアルデー 立体視投影を向上させるゴースト補償
US8400492B2 (en) 2005-05-26 2013-03-19 Reald Inc. Projection of stereoscopic images using linearly polarized light
EP2056134A1 (en) * 2006-08-09 2009-05-06 Nhk Spring Co.Ltd. Identifying medium, identifying medium manufacturing method, article and identifying medium identifying method
WO2008018560A1 (fr) * 2006-08-09 2008-02-14 Nhk Spring Co., Ltd. Support d'identification, son procédé de fabrication, article et procédé d'identification de support d'identification
US8168080B2 (en) 2006-08-09 2012-05-01 Nhk Spring Co., Ltd. Identifying medium, identifying medium manufacturing method, article, and identifying medium identifying method
EP2056134A4 (en) * 2006-08-09 2012-07-04 Nhk Spring Co Ltd IDENTIFICATION MEDIUM, METHOD FOR MANUFACTURING THE SAME, IDENTIFICATION MEDIUM IDENTIFICATION ARTICLE AND METHOD
JP2010026273A (ja) * 2008-07-22 2010-02-04 Dainippon Printing Co Ltd ヘッドマウントディスプレイ
JP2012128854A (ja) * 2010-12-09 2012-07-05 Korea Electronics Telecommun 増強型3次元立体映像を提示するための混合現実ディスプレイプラットフォーム及び運営方法
WO2021149512A1 (ja) * 2020-01-22 2021-07-29 ソニーグループ株式会社 画像表示装置
JP7567813B2 (ja) 2020-01-22 2024-10-16 ソニーグループ株式会社 画像表示装置

Also Published As

Publication number Publication date
JP4026242B2 (ja) 2007-12-26

Similar Documents

Publication Publication Date Title
JP4607208B2 (ja) 立体映像ディスプレイ方法
US6999110B2 (en) Three-dimensional image display system
EP0602934B1 (en) Autostereoscopic directional display apparatus
JP4560869B2 (ja) メガネなし表示システムおよびバックライトシステム
JP2891177B2 (ja) 立体表示装置
JP3942789B2 (ja) 背景付き立体像再生装置
JP2011034086A (ja) 立体映像ディスプレイ方法及びシステム並びに立体映像ディスプレイプログラムが記録された記録媒体
JPH08501397A (ja) 三次元光学観察装置
US20040184145A1 (en) Autostereoscopic display and method
JP2022520807A (ja) 高解像度3dディスプレイ
JP2003501682A (ja) 立体視映像ディスプレイのためのシステム及び方法並びにホログラフィック・ディスプレイ・スクリーン
KR100786860B1 (ko) 가변초점 렌즈를 구비한 입체 영상 디스플레이 장치
JP4213210B2 (ja) 3次元観察および投影用システム
Kakeya MOEVision: simple multiview display with clear floating image
JP4045347B2 (ja) 立体ディスプレイ装置
JP3810624B2 (ja) 光線再生と影絵型多眼パララックスを兼用した3次元画像表示システム
JP4081838B2 (ja) 特定視点画像表示装置及び多視点画像表示装置
JP4026242B2 (ja) 光学式3次元動画表示装置
Pastoor 3D Displays
JP2004226928A (ja) 立体画像表示装置
JP2017187707A (ja) 3次元像表示装置及び3次元像表示方法
JP2585614B2 (ja) 立体画像出力装置
JP3949361B2 (ja) 偽像を抑制した広視角3次元画像表示システム
JP2004258594A (ja) 広角度から鑑賞できる立体画像表示装置
JP2000333204A (ja) 三次元表示システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050727

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20050816

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070618

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070626

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070822

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070918

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071001

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees