JP2006522942A - 画像投影装置及び方法 - Google Patents

画像投影装置及び方法 Download PDF

Info

Publication number
JP2006522942A
JP2006522942A JP2006500228A JP2006500228A JP2006522942A JP 2006522942 A JP2006522942 A JP 2006522942A JP 2006500228 A JP2006500228 A JP 2006500228A JP 2006500228 A JP2006500228 A JP 2006500228A JP 2006522942 A JP2006522942 A JP 2006522942A
Authority
JP
Japan
Prior art keywords
screen
light modulator
spatial light
image
modulator means
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006500228A
Other languages
English (en)
Other versions
JP4653729B2 (ja
Inventor
リチャード ジョナサン ミラー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qinetiq Ltd
Original Assignee
Qinetiq Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qinetiq Ltd filed Critical Qinetiq Ltd
Publication of JP2006522942A publication Critical patent/JP2006522942A/ja
Application granted granted Critical
Publication of JP4653729B2 publication Critical patent/JP4653729B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3129Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM] scanning a light beam on the display screen
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/24Processes or apparatus for obtaining an optical image from holograms using white light, e.g. rainbow holograms
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/74Projection arrangements for image reproduction, e.g. using eidophor
    • H04N5/7416Projection arrangements for image reproduction, e.g. using eidophor involving the use of a spatial light modulator, e.g. a light valve, controlled by a video signal
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04Processes or apparatus for producing holograms
    • G03H1/08Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0808Methods of numerical synthesis, e.g. coherent ray tracing [CRT], diffraction specific
    • G03H2001/0833Look up table
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/221Element having optical power, e.g. field lens
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2202Reconstruction geometries or arrangements
    • G03H1/2205Reconstruction geometries or arrangements using downstream optical component
    • G03H2001/2213Diffusing screen revealing the real holobject, e.g. container filed with gel to reveal the 3D holobject
    • G03H2001/2215Plane screen
    • G03H2001/2218Plane screen being perpendicular to optical axis
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2263Multicoloured holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2249Holobject properties
    • G03H2001/2263Multicoloured holobject
    • G03H2001/2271RGB holobject
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2286Particular reconstruction light ; Beam properties
    • G03H2001/2292Using scanning means
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • G03H2001/2297Addressing the hologram to an active spatial light modulator using frame sequential, e.g. for reducing speckle noise
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/202D object
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2210/00Object characteristics
    • G03H2210/40Synthetic representation, i.e. digital or optical object decomposition
    • G03H2210/45Representation of the decomposed object
    • G03H2210/452Representation of the decomposed object into points
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2222/00Light sources or light beam properties
    • G03H2222/10Spectral composition
    • G03H2222/17White light
    • G03H2222/18RGB trichrome light
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2225/00Active addressable light modulator
    • G03H2225/60Multiple SLMs
    • G03H2225/61Multiple SLMs for multicolour processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

【課題】 画像投影装置、特にスクリーン上に二次元画像を形成するための画像投影装置を提供する。
【解決手段】 コヒーレント照明手段(42)、コヒーレント照明手段からの光の経路に位置する電気アドレス指定空間光変調器手段(46)、電気アドレス指定空間光変調器手段上に表示するためのコンピュータ生成ホログラム画像を生成するための手段(49)、及び電気アドレス指定空間光変調器手段によって回折した光をスクリーン(50)に向けるための光学要素(44)を含む、スクリーン(50)上に画像を形成するための装置。装置は、電気アドレス指定空間光変調器手段によって表示された1つ又は複数のコンピュータ生成画像がスクリーンに形成される2次元画像をもたらすように配置される。

Description

本発明は、画像投影装置、特にスクリーン上に二次元画像を形成するための画像投影装置に関する。
講義階段教室などで用いられるような画像投影装置は公知である。一般的には、画像は、電気アドレス指定空間光変調器(EASLM)に書き込まれ、光学的装置により、EASLMの拡大された画像がスクリーンに投影される。カラー画像は、赤、緑、及び青の画像をスクリーンに投影するための3つのEASLMチャンネルを用いて容易に形成することができる。
従来の投影技術は、テレビ画像などを表示するのに向いているが、表示することができる総ピクセル数は、EASLMのピクセル数に制限されている。以前は、ピクセル数の高い画像は、全体画像の部分領域を構築するためのいくつかの別々の投影機を用いて生成されていた。例えば、米国エネルギ省は、映像速度で作動する2千万色ピクセルの表示を生成するために、4×4の投影機アレイを用いた「高精度パワーウォール」の開発を終えている。
いくつかの別々の投影機装置の出力を調合して画像を生成することの短所は多い。例えば、マルチ投影機システムは、一般的に、各投影機の画像区域の境界に目立つほどのアーチファクトを生成する。これらの不要なアーチファクトを最小限にするための様々なソフトウエア及びハードウエアツールを開発する試みがこれまで為されてきたが、それらが特に有効であることは証明されていない。投影機の相対的アラインメントの調節に時間が掛かることを示すこともでき、レンズがもたらす歪みは、最終的に達成し得る補正の程度を制限することになる。更に、投影機のカラーバランスは経時的に変わることになり、画像に亘って色の均一性を保証することは、従って、投影機のカラー出力の頻繁な再較正を必要とする。
WO00/40018は、いわゆる能動タイリングシステムを用いて、高度に複雑な画像を光アドレス指定空間光変調器(OASLM)に連続して書き込むことができる方法を明らかにしている。OASLMによって記憶された高度に複雑な2次元画像は、次にスクリーンに投影することができる。代替的に、コンピュータ生成ホログラムをOASLMに書き込み、三次元(ボリュメトリックという用語も用いられる)画像を形成するために用いることができる。CGHを計算するのに用いられるいくつかの計算方法は、「計算の未来のための重要な技術」に関するSPIE会議、8月、サンディェゴ、米国で発表され、SPIE会報4109巻に掲載されたキャメロン他著「最先端の真の3Dホログラフィックディスプレイの計算的方法」、論文4109−23に説明されている。
WO00/40018に説明された種類のシステムは、3次元画像を形成するために空間光変調器からの大量のピクセル数が必要となる時に特に有利である。しかし、OASLMに対する必要性と共に多重能動タイリング投影チャンネルは、そのような装置を複雑で高価なものにし、2次元画像投影機としての使用に関してそれらを不適切にする。
WO00/40018 キャメロン他著「最先端の真の3Dホログラフィックディスプレイの計算的方法」、論文4109−23、「計算の未来のための重要な技術」に関するSPIE会議、8月、サンディェゴ、米国、SPIE会報4109巻に掲載
本発明の第一の態様によれば、スクリーン上に画像を形成するための装置は、コヒーレント照明手段、コヒーレント照明手段からの光の経路に位置する電気アドレス指定空間光変調器手段、電気アドレス指定空間光変調器手段上に表示するためのコンピュータ生成ホログラム画像を生成するための手段、及び電気アドレス指定空間光変調器手段によって回折した光をスクリーンに向けるための光学要素を含み、電気アドレス指定空間光変調器手段によって表示された1つ又は複数のコンピュータ生成画像は、スクリーンに形成される2次元画像をもたらすものである。
本発明の装置は、従って、CGHパターンを電気アドレス指定空間光変調器手段に書き込み、そこからの回折は、投影スクリーン上に画像を形成する。本発明は、従って、スクリーンで必要な画像を構築するために電気アドレス指定空間光変調器手段からの回折を用いるものである。この効果は、EASLM上に形成された画像のコピーがスクリーンに投影される(通常は、ある程度拡大して)従来技術の2次元投影システムとはかなり異なることに注意すべきである。
当業者は、コンピュータ生成ホログラム(CGH)画像という用語が、コヒーレント放射で照明された時に必要な回折パターンを生成する画像を意味することを認識するであろう。実際には、CGH画像は、スクリーンでの必要な干渉パターンを提供するために標準的技術を用いて計算される高度に複雑な回折格子である。
本発明の装置の利点は、一般的な従来技術のマルチ投影機装置に付随する不要な調合効果及びアーチファクトを伴わずに複数の画像をタイル表示する機能である。この恩典は、2次元スクリーン上の任意の点に光を回折させることができるコンピュータ生成ホログラム(CGH)画像を生成して表示することから生じるものである。装置を構成する光学構成要素のいかなる不均一性又はミスアラインメントも、従って、CGH画像の適切な設計により補正することができる。
特に、本発明は、投影光学要素に関して電気アドレス指定空間光変調器手段の正確なアラインメントを必要としないことが見出されている。システムを構成する構成要素の光学的品質もまた、標準的投影システムで必要とされるよりも低くてもよい。従来技術の装置では、非コヒーレント白色光源が照明手段として一般的に用いられ、コヒーレント光源は、不要な干渉効果を導入するので避けられてきた。対照的に、本発明は、スクリーンで必要な画像を実際に構築するために回折を用いている。
本発明はまた、WO00/40018に説明された能動タイリングシステムよりも利点を有するものである。特に、OASLMを設ける要件はなく、装置の全体経費を低減することになる。
好都合な態様では、電気アドレス指定空間光変調器手段は、複数の電気アドレス指定空間光変調器を含む。
複数のEASLMを用いて電気アドレス指定空間光変調器手段を形成すれば、高いピクセル数の達成が可能になる。従来技術のシステムと異なり、本発明では、各EASLMが、照明及び投影光学要素及びいずれの隣接するEASLMとも正確なアラインメントを保つ必要はない。各EASLMに書き込まれたCGH画像は、望ましい画像又は画像の一部をスクリーンに形成するために単に調節することができる。例えば、エッジアラインメント効果が除去されるように、システムの使用の前に較正処理を行うことが可能であろう。必要なピクセル数は、少数の高複雑性(例えば、8メガピクセル)ディスプレイ、又はより多数の低複雑性ディスプレイによって与えることができる。
有利な態様では、コヒーレント照明手段は、電気アドレス指定空間光変調器手段を赤、緑、及び青色光で照明する。赤、緑、及び青の照明を用いることにより、スクリーンにカラー画像を形成することができる。これらの3色の光よりも多くを用いれば、色域の更なる拡張を有利に可能にするであろう。
好都合な態様では、電気アドレス指定空間光変調器手段は、コヒーレント照明手段により赤、緑、及び青色光で連続して照明される。換言すれば、フィールドシーケンシャルカラー技術を用いて、スクリーンに形成される2次元カラー画像を構築することができるであろう。
代替的に、電気アドレス指定空間光変調器手段の別々の部分は、コヒーレント照明手段により赤、緑、及び青色光で同時に照明される。換言すれば、電気アドレス指定空間光変調器手段の異なる部分は、異なる色の光で連続して照明することができると考えられる。例えば、仮に電気アドレス指定空間光変調器手段が3つのEASLMを含むとすれば、各EASLMを異なる色の光で照明することができるであろう。このようにして、得られる2次元カラー画像を形成することができると考えられる。
好ましくは、電気アドレス指定空間光変調器手段のフレーム率は、スクリーンに形成される2次元画像のフレーム率よりも大きい。電気アドレス指定空間光変調器手段の高い更新速度を用いて、2次元スクリーンにより高複雑性の画像を構築することができる。
上述のように、CGHは、多くの方法で計算することができる。好都合な態様では、コンピュータ生成ホログラム画像を生成するための手段は、格納した複数の予め計算されたコンピュータ生成ホログラフィック要素又はいわゆる「hogel」を含む。これらの「hogel」の各々は、投影スクリーン上に単一のピクセルを生成する回折パターンである。これらの「hogel」は、次に、必要な投影パターンを作り出すために結合することができる。これは、計算速度を非常に高めることになる。
有利な態様では、コンピュータ生成ホログラム画像を生成するための手段は、スクリーン上にピクセルの規則的なアレイをもたらす、電気アドレス指定空間光変調器手段上に表示するためのコンピュータ生成ホログラム画像を生成するように構成される。
電気アドレス指定空間光変調器手段は、スクリーン上の任意の点への回折をもたらすCGH画像を用いて書き込むことができるが、2次元画像はピクセルのアレイから形成することが好ましい。例えば、2次元画像は、ピクセルの矩形アレイとして構成することができる。他よりも高いピクセル密度を有するスクリーンのいくつかの区域を設けることも可能であろう。そのようなピクセルアレイを用いることは、予め計算されたCGH画像と共に用いられる時に特に有利である。
好ましくは、スクリーン上のピクセルのアレイは、ブロックに再分割され、スクリーンでの画像は、1つ又はそれ以上のブロックをスクリーンに連続して書き込むことによって形成される。このようにして、2次元画像を容易に形成することができる。
好都合な態様では、コヒーレント照明手段は、少なくとも1つのレーザを含む。レーザを用いることにより、ディスプレイに亘る色の均一性と広い色域が保証される。これは、白色光源を用いる従来技術システムよりも有意な利点をもたらすものである。
有利な態様では、拡大された2次元画像をスクリーンに形成することができるように、付加的な拡大用光学要素が設けられる。
本発明の第二の態様によれば、スクリーン上に2次元画像を形成する方法は、(i)コヒーレント光で電気アドレス指定空間光変調器手段を照明し、(ii)電気アドレス指定型光変調器手段上にコンピュータ生成ホログラム画像を表示してそこから光を回折させ、(iii)電気アドレス指定空間光変調器手段によって回折した光を光学要素を用いてスクリーンに向け、それによって電気アドレス指定空間光変調器手段が、2次元画像をスクリーンに生成する1つ又は複数の画像を表示するように配置される段階を含む。
ここで、本発明を添付図面を参照して単に例示的に以下に説明する。
図1を参照すると、従来技術の多重チャンネル投影装置2が示されている。
図1aに示す装置2は、各々が投影スクリーン6上に表示される画像の一部分を形成するように同一場所に配置されたカラー投影機4a−4c(集合的に4で表す)の1次元アレイを含む。表示される画像は、映像供給源やコンピュータなどを含むことができる適切な画像作成手段8によって生成される。制御手段10は、画像をカラー投影機4の各々によって表示されることになる別々の部分に分割するために設けられる。
図1bに示すように、各カラー投影機4は、白色光源12、3つのEASLMS14a−14c、赤色カラーフィルタ16、緑色カラーフィルタ18、及び青色カラーフィルタ20を含む。各EASLMSによって表示される画像は、カラー画像が形成される画像平面24に投影光学要素22により拡大されて投影される。
図1を参照して示す実施例では、簡単にするためにカラー投影機の1次元アレイについて説明する。実際には、一般的にカラー投影機の2次元アレイが用いられる。より詳細に上述したように、そのような複数の投影機システムは、アラインメントが困難であり、不要なアーチファクトを受けやすく、色の均衡と強さの不均一性を示すことが明らかである。
図2には、本発明による画像投影システム40が示されている。画像投影システムは、コヒーレント光源42、フーリエ投影光学要素44、及び3つのEASLM46a−46c(集合的に46で表す)を含み、各EASLMは、関連する制御手段48を有する。画像供給手段49も、表示のための3つの別々のカラー画像を生成するために設けられる。コヒーレント光源42は、赤色光をEASLM46a、緑色光をEASLM46b、及び青色光をEASLM46cに向けるように配置される。
カラー「ピクセル」のアレイは、コンピュータ生成ホログラム(CGH)画像を適切なEASLMに書き込むことにより投影スクリーン50に作り出すことができる。換言すれば、各EASLMの各ピクセルからの回折を用いて、投影スクリーン50に必要なピクセルの配置を生成することができる。所定の色に対して(すなわち、所定の波長の光に対して)、投影スクリーン上の各ピクセルは、関連のEASLM上に形成された固有のCGHパターンを表示することにより作り出される。
EASLMにCGHパターンを書き込むこと及びそこからの回折を用いて投影スクリーン上に画像を形成することは、EASLM上に形成された画像のコピーがスクリーンに投影される(通常は、ある程度拡大して)従来技術の2次元投影システムとはかなり異なることが強調されるべきである。本発明においてEASLMによって表示されるCGH画像は、スクリーンに形成される2次元画像とは非常に異なっている。実際に、当業者は、スクリーンに生成されることになる特定の画像をEASLMに書き込まれた画像の視覚的検査によって予測することはできないであろう。
制御手段48は、EASLMに書き込まれるCGHパターンを計算する。特定の投影ピクセルに対するCGHパターンは、一般的に「hogel」と呼ばれ、予め計算されてルックアップテーブルに記憶することができる。投影スクリーンに個々のピクセルを生成する「hogel」パターンは、得られるCGHパターンを構築するために組み合わせることができる。得られるCGHパターンは、望ましいパターンでスクリーンに複数のピクセルを形成する。適切なCGHパターンの計算に関する更なる詳細は、他所に見出すことができ、例えば、「計算の未来のための重要な技術」に関するSPIE会議、8月、サンディェゴ、米国で発表され、SPIE会報4109巻に掲載されたキャメロン他著「最先端の真の3Dホログラフィックディスプレイの計算的方法」、論文4109−23を参照されたい。
図2に示すシステムにおいて、投影スクリーンでの画像はブロックに構築される。ブロックは、任意数のピクセルを含むことができ、例えば、ブロックは、1つ又はいくつかの線のピクセルを含むことができることに注意すべきである。代替的に、各ブロックは、投影スクリーンに亘って離間したピクセルを含むこともできる。低解像度画像に対しては、画像が単一ブロックから構成されることも可能であろう。各ブロックに含まれるピクセル数は、EASLM上に表示するためのCGH画像を生成するために結合する必要がある「hogel」の数も決めるものである。より小さなブロックサイズを用いれば、従って、必要なCGHパターンを計算するのに必要な計算の労力は減るが、ブロックサイズが小さくなると、所定の複雑性の画像を構成するのに、より多くの数のブロックが明らかに必要となる。
必要な画像を構成するために、カラーブロックの各々は、フレーム時間の一部分に亘って表示される。EASLM上のパターンは、次に、投影スクリーンの別の部分を照明するために変えられる。このようにして、全スクリーンは、1フレーム時間に亘って全色で照明される。スクリーンの1ブロックを3つのカラーチャンネルの全て同時に照明することは可能である。次に、3つのEASLMの各々パターンは、全フレーム画像が構築されるまで照明されたブロックが投影スクリーンを段階的に下へ移動するように書き換えることができるであろう。代替的に、図2に示すように、スクリーンの異なるブロックは、各色で同時に照明することもできる。
各EASLM及びそれに関連した制御手段は、必要な回折パターンを高速で連続して作成することができるべきであることは明らかである。必要な更新速度の程度は、単一EASLMを含むシステムの場合を考えることによって推定することができる。そのようなシステムからカラー画像を得るには、フィールドシーケンシャルカラー技術の使用が必要である。
最終的に望ましいディスプイ解像度が、bブロックに分割されたNピクセルであるとする。従って、各ブロックはN/bピクセルを有し、CGHパターンを作り出すためにN/b「hogel」が結合されるべきである。各ブロックは、フレームを構築するために連続して照明され、従って、視聴者にディスプレイ全体が照明されていると知覚させるために、各フレームは高速でなければならない。毎秒生成されるフレーム数がfの場合、毎秒のEASLMフレーム数はf*bで与えられる。これは、毎秒結合されるべき「hogel」の総数がf*Nであることを意味している。この結果は、ブロックサイズに依存せず、計算負荷を回避する唯一の方法は、計算を並列的に行うことであることを示唆している。典型的なフィールドシーケンシャルカラーフレーム率は、毎秒約200フレームであり、従って、単一EASLMを用いて生成される1千万ピクセル画像には、毎秒約2×109「hogel」が結合されるべきである。
赤、緑、及び青のEASLMチャンネルを有するシステムでは、各チャンネルが独立して作用し、それによってチャンネル当たりのフレーム率を3分の1に削減し、チャンネル当たりの計算負荷も3分の1に低減することができる。各々が投影スクリーンの独自の区域に専用の色毎のいくつかのチャンネルを考慮することも可能である。これは、ハードウエアよりもソフトウエアで各部分のアラインメントを生じさせ、また、「hogel」結合を並列的に起こし、それによってチャンネル当たりの計算負荷を更に低減することができる。全部で9EASLMを与える色毎の3チャンネルを考える場合、上述の実施例では、チャンネル当たりの「hogel」結合演算の回数は、約2×108になるであろう。
本発明のシステムはまた、グレースケールを与えるEASLMを高い回折効率、計算負荷の低減、及び低電力レーザを与えるように利用することを可能にする。高速グレースケール液晶EASLMの例には電子医療装置がある。EASLM装置が105ヘルツのフレーム率で作動し、全体装置フレーム率が66Hzであると仮定すれば、画像当たりのブロック数は、最高1500になる可能性がある。これは、1千万ピクセル画像の約2から3行である。
図3を参照すると、拡大された2次元画像をもたらす本発明の代替的な構成が示されている。実際には、図2の装置の2次元スクリーンは、共役ブロック60で置換されている。投影光学要素62もまた、共役ブロックに形成された画像をより大きな2次元スクリーン64に拡大するために設けられている。このようにして、画像の拡大を容易に制御することができる。
代替的に、投影画像全体は、複数のEASLMを用いて同時に投影することができるであろう。これらは、60Hzのフレーム率で作動する従来の投影EASLMとすることができ、全色をもたらすように3つ又はそれ以上のグループに分割することができる。これには、市販の既製構成部品を使うことができるという利点がある。
典型的な従来技術の多重チャンネル投影機システムを示す図である。 典型的な従来技術の多重チャンネル投影機システムを示す図である。 本発明による画像投影装置を示す図である。 拡大画像を形成するように構成された本発明の画像投影装置の概略図である。
符号の説明
42 コヒーレント照明手段
44 光学要素
46 電気アドレス指定空間光変調器手段
49 コンピュータ生成ホログラム画像を生成するための手段
50 スクリーン

Claims (13)

  1. スクリーン上に画像を形成するための装置であって、
    コヒーレント照明手段と、
    前記コヒーレント照明手段からの光の経路に位置する電気アドレス指定空間光変調器手段と、
    前記電気アドレス指定空間光変調器手段上に表示するためのコンピュータ生成ホログラム画像を生成するための手段と、
    前記電気アドレス指定空間光変調器手段によって回折した光を、スクリーンに向けるための光学要素と、
    を含み、
    前記電気アドレス指定空間光変調器手段によって表示される1つ又は複数の前記コンピュータ生成画像は、前記スクリーンに形成される2次元画像をもたらす、
    ことを特徴とする装置。
  2. 前記電気アドレス指定空間光変調器手段は、複数の電気アドレス指定空間光変調器を含むことを特徴とする請求項1に記載の装置。
  3. 前記コヒーレント照明手段は、赤、緑、及び青色光で前記電気アドレス指定空間光変調器手段を照明することを特徴とする請求項1から請求項2のいずれか1項に記載の装置。
  4. 前記電気アドレス指定空間光変調器手段は、前記コヒーレント照明手段により赤、緑、及び青色光で連続的に照明されることを特徴とする請求項3に記載の装置。
  5. 前記電気アドレス指定空間光変調器手段の別々の部分は、前記コヒーレント照明手段により赤、緑、及び青色光で同時に照明されることを特徴とする請求項3に記載の装置。
  6. 前記電気アドレス指定空間光変調器手段のフレーム率は、前記スクリーンに形成される前記2次元画像のフレーム率よりも大きいことを特徴とする請求項1から請求項5のいずれか1項に記載の装置。
  7. 前記コンピュータ生成ホログラム画像を生成するための手段は、格納した複数の予め計算されたコンピュータ生成ホログラフィック要素を含むことを特徴とする請求項1から請求項6のいずれか1項に記載の装置。
  8. 前記コンピュータ生成ホログラム画像を生成するための手段は、前記スクリーン上にピクセルの規則的なアレイを形成する、前記電気アドレス指定空間光変調器手段上に表示するためのコンピュータ生成ホログラム画像を生成するように構成されることを特徴とする請求項1から請求項7のいずれか1項に記載の装置。
  9. 前記スクリーン上の前記ピクセルのアレイは、ブロックに再分割され、該スクリーンでの画像は、1つ又はそれ以上のブロックを該スクリーンに連続的に書き込むことによって形成されることを特徴とする請求項8に記載の装置。
  10. 前記コヒーレント照明手段は、少なくとも1つのレーザを含むことを特徴とする請求項1から請求項9のいずれか1項に記載の装置。
  11. 拡大された2次元画像を前記スクリーンに形成することができるように、付加的な拡大用光学要素が設けられることを特徴とする請求項1から請求項10のいずれか1項に記載の装置。
  12. スクリーン上に2次元画像を形成する方法であって、
    i)コヒーレント光で電気アドレス指定空間光変調器手段を照明する段階と、
    ii)前記電気アドレス指定型光変調器手段上にコンピュータ生成ホログラム画像を表示して、そこから光を回折させる段階と、
    iii)前記電気アドレス指定空間光変調器手段によって回折した光を光学要素を用いてスクリーンに向ける段階と、
    を含み、
    前記電気アドレス指定空間光変調器手段は、前記スクリーンに2次元画像を生成する1つ又は複数の画像を表示するように配置される、
    ことを特徴とする方法。
  13. 実質的に図2及び図3を参照して本明細書に説明される、スクリーンに2次元画像を形成するための装置。
JP2006500228A 2003-01-21 2004-01-19 画像投影装置及び方法 Expired - Fee Related JP4653729B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
GBGB0301317.4A GB0301317D0 (en) 2003-01-21 2003-01-21 Image projection device and method
PCT/GB2004/000224 WO2004066037A1 (en) 2003-01-21 2004-01-19 Image projection device and method

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2010235750A Division JP2011022614A (ja) 2003-01-21 2010-10-20 画像投影装置及び方法

Publications (2)

Publication Number Publication Date
JP2006522942A true JP2006522942A (ja) 2006-10-05
JP4653729B2 JP4653729B2 (ja) 2011-03-16

Family

ID=9951492

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2006500228A Expired - Fee Related JP4653729B2 (ja) 2003-01-21 2004-01-19 画像投影装置及び方法
JP2010235750A Pending JP2011022614A (ja) 2003-01-21 2010-10-20 画像投影装置及び方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2010235750A Pending JP2011022614A (ja) 2003-01-21 2010-10-20 画像投影装置及び方法

Country Status (4)

Country Link
US (2) US7470028B2 (ja)
JP (2) JP4653729B2 (ja)
GB (2) GB0301317D0 (ja)
WO (1) WO2004066037A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8950871B2 (en) 2010-09-08 2015-02-10 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
JP2018518695A (ja) * 2016-03-03 2018-07-12 デュアリタス リミテッド ディスプレイシステム
KR20180113403A (ko) * 2017-04-06 2018-10-16 한국전자통신연구원 디지털 컬러 홀로그램 생성 방법 및 장치, 그리고 타일링을 이용한 디지털 컬러 홀로그래픽 디스플레이 장치

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4720424B2 (ja) * 2004-12-03 2011-07-13 コニカミノルタホールディングス株式会社 光学デバイスの製造方法
US7651227B2 (en) * 2005-09-13 2010-01-26 Texas Instruments Incorporated Projection system and method including spatial light modulator and compact diffractive optics
US9843790B2 (en) 2006-03-15 2017-12-12 Fovi 3D, Inc. Dynamic autostereoscopic displays
US20090273662A1 (en) * 2006-03-15 2009-11-05 Zebra Imaging, Inc. Systems and Methods for Calibrating a Hogel 3D Display
DE102006042326A1 (de) * 2006-09-01 2008-03-13 Seereal Technologies S.A. Holographische Kodiereinheit zum Generieren computergenerierter Videohologramme
DE102006042323B4 (de) * 2006-09-01 2014-09-04 Seereal Technologies S.A. Verfahren zum Generieren computer-generierter Videohologramme in Echtzeit mittels Propagation
DE102006042324B4 (de) * 2006-09-01 2014-06-18 Seereal Technologies S.A. Verfahren zum Generieren computer-generierter Videohologramme in Echtzeit mittels Teilhologrammen
JP2008216579A (ja) * 2007-03-02 2008-09-18 Olympus Corp ホログラフィックプロジェクション方法及びホログラフィックプロジェクション装置
JP5312748B2 (ja) * 2007-03-02 2013-10-09 オリンパス株式会社 ホログラフィックプロジェクション方法及びホログラフィックプロジェクション装置
US7950809B2 (en) * 2007-03-27 2011-05-31 Seiko Epson Corporation Hologram element, illumination device, projector, and method of manufacturing hologram element
US9104177B2 (en) 2009-08-25 2015-08-11 Lg Electronics Inc. Apparatus and a method for reconstructing a hologram
JP6432637B2 (ja) * 2011-04-15 2018-12-05 大日本印刷株式会社 照明装置、投射装置および投射型映像表示装置
US9104175B2 (en) * 2013-03-08 2015-08-11 Christie Digital Systems Usa, Inc. Light shaping for imaging using holography
US20160103330A1 (en) * 2014-10-10 2016-04-14 3DOO, Inc. System and method for adjusting parallax in three-dimensional stereoscopic image representation
JP6635045B2 (ja) 2014-12-18 2020-01-22 日本電気株式会社 投射装置およびインターフェース装置
WO2017149064A1 (en) * 2016-03-02 2017-09-08 Seereal Technologies S.A. Illumination device
CN105954993B (zh) * 2016-05-30 2018-06-12 苏州大学 一种基于空间划分的彩色全息三维显示方法及其系统
CN107885070B (zh) * 2017-06-27 2021-01-15 郑州大学 一种基于slm的非相干数字全息单次曝光成像方法与系统
CN111459005B (zh) * 2020-04-22 2021-08-27 北京航空航天大学 一种空分复用彩色全息再现系统及实现方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502615A (ja) * 1988-10-14 1991-06-13 ハインズ,ケネス エイ. コンピュータ・エイデッド・ホログラフィおよびホログラフィック・コンピュータ・グラフィックス
JPH07261125A (ja) * 1994-03-24 1995-10-13 Olympus Optical Co Ltd 投影型画像表示装置
JPH10222046A (ja) * 1996-12-06 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 計算機ホログラム作成方法及びその方法を記録した記録媒体及び動画ホログラム表示装置
JPH10307330A (ja) * 1996-12-25 1998-11-17 Genadiev Ivanov Anatory 映像を作成及び記録するための方法及び装置
JP2002236441A (ja) * 2001-02-08 2002-08-23 Art Nau:Kk ホログラム作成装置および方法

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8716369D0 (en) 1987-07-10 1987-08-19 Travis A R L Three-dimensional display device
US5012274A (en) * 1987-12-31 1991-04-30 Eugene Dolgoff Active matrix LCD image projection system
JP2795015B2 (ja) 1991-01-09 1998-09-10 松下電器産業株式会社 空間光変調素子および神経ネットワーク回路
JPH04293075A (ja) * 1991-03-22 1992-10-16 Seiko Epson Corp 光学装置
JP3292516B2 (ja) * 1992-09-18 2002-06-17 富士通株式会社 空間光変調装置および立体表示装置
GB2277396A (en) 1993-04-21 1994-10-26 Sharp Kk Optical image processor
GB2278480A (en) 1993-05-25 1994-11-30 Sharp Kk Optical apparatus
GB2284068A (en) 1993-11-12 1995-05-24 Sharp Kk Three-dimensional projection display apparatus
JPH086481A (ja) * 1994-03-31 1996-01-12 Texas Instr Inc <Ti> 空間光変調器を使用したホログラフィック画像発生方法及びホログラフィック画像ディスプレイシステム
GB2297389A (en) 1995-01-28 1996-07-31 Sharp Kk Three dimensional display having autostereoscopic and stereoscopic modes
JPH08240869A (ja) * 1995-03-01 1996-09-17 Tsushin Hoso Kiko 立体画像表示装置
US5897190A (en) * 1995-09-13 1999-04-27 Victor Company Of Japan, Ltd. Illumination optical system, projection optical system and display apparatus using the same
KR100189062B1 (ko) * 1995-12-11 1999-06-01 이해규 단색 엘씨디를 이용한 액정 프로젝터
US6016224A (en) 1995-12-18 2000-01-18 Olympus Optical Co., Ltd. Multiple image optics system
EP1978418A2 (en) 1996-12-06 2008-10-08 Nippon Telegraph And Telephone Corporation Method and system for producing computer generated holograms realizing real time holographic video production and display
GB2330471A (en) 1997-10-15 1999-04-21 Secr Defence Production of moving images for holography
US7094502B2 (en) * 1997-12-12 2006-08-22 Alcon Inc. Methods for transferring holographic images into metal surfaces
JP4443046B2 (ja) * 1998-07-10 2010-03-31 エスビージー ラブズ インコーポレイテッド 構成可変ホログラフィー光学系に基づく投影システム
US6082702A (en) 1998-12-17 2000-07-04 Flow-Rite Control, Ltd. Tubing pinch valve and mounting bracket assembly
GB9828287D0 (en) * 1998-12-23 1999-02-17 Secr Defence Brit Image display system
US6169565B1 (en) 1999-03-31 2001-01-02 Eastman Kodak Company Laser printer utilizing a spatial light modulator
JP2001142140A (ja) * 1999-11-10 2001-05-25 Victor Co Of Japan Ltd カラープロジェクション装置
JP2002162599A (ja) * 2000-11-24 2002-06-07 Sony Corp 立体画像表示装置
US6552842B2 (en) 2001-04-13 2003-04-22 Ut-Battelle, Llc Reflective coherent spatial light modulator
GB0114862D0 (en) * 2001-06-19 2001-08-08 Secr Defence Image replication system
GB2379347A (en) * 2001-08-30 2003-03-05 Holographic Imaging Llc Replay optics for holographic displays
GB2379351A (en) * 2001-09-04 2003-03-05 Holographic Imaging Llc Illuminating a computer generated hologram
US6637888B1 (en) * 2002-01-24 2003-10-28 Delta Electronics, Inc. Full color rear screen projection system using a single monochrome TFT LCD panel
GB0223119D0 (en) * 2002-10-05 2002-11-13 Holographic Imaging Llc Reconfigurable spatial light modulators
WO2004038515A2 (en) * 2002-10-22 2004-05-06 Zebra Imaging, Inc. Active digital hologram display
GB0307923D0 (en) * 2003-04-05 2003-05-14 Holographic Imaging Llc Spatial light modulator imaging system
CA2606571A1 (en) * 2005-05-06 2006-11-16 Seereal Technologies Gmbh Device for holographic reconstruction of three-dimensional scenes

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03502615A (ja) * 1988-10-14 1991-06-13 ハインズ,ケネス エイ. コンピュータ・エイデッド・ホログラフィおよびホログラフィック・コンピュータ・グラフィックス
JPH07261125A (ja) * 1994-03-24 1995-10-13 Olympus Optical Co Ltd 投影型画像表示装置
JPH10222046A (ja) * 1996-12-06 1998-08-21 Nippon Telegr & Teleph Corp <Ntt> 計算機ホログラム作成方法及びその方法を記録した記録媒体及び動画ホログラム表示装置
JPH10307330A (ja) * 1996-12-25 1998-11-17 Genadiev Ivanov Anatory 映像を作成及び記録するための方法及び装置
JP2002236441A (ja) * 2001-02-08 2002-08-23 Art Nau:Kk ホログラム作成装置および方法

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8950871B2 (en) 2010-09-08 2015-02-10 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
JP5796578B2 (ja) * 2010-09-08 2015-10-21 大日本印刷株式会社 投射装置および投射型映像表示装置
US9217879B2 (en) 2010-09-08 2015-12-22 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
US9423627B2 (en) 2010-09-08 2016-08-23 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
US10228573B2 (en) 2010-09-08 2019-03-12 Dai Nippon Printing Co., Ltd. Projection device and projection-type video display device
JP2018518695A (ja) * 2016-03-03 2018-07-12 デュアリタス リミテッド ディスプレイシステム
KR20180113403A (ko) * 2017-04-06 2018-10-16 한국전자통신연구원 디지털 컬러 홀로그램 생성 방법 및 장치, 그리고 타일링을 이용한 디지털 컬러 홀로그래픽 디스플레이 장치
KR102266803B1 (ko) * 2017-04-06 2021-06-18 한국전자통신연구원 디지털 컬러 홀로그램 생성 방법 및 장치, 그리고 타일링을 이용한 디지털 컬러 홀로그래픽 디스플레이 장치

Also Published As

Publication number Publication date
US7798650B2 (en) 2010-09-21
GB2412531A (en) 2005-09-28
JP4653729B2 (ja) 2011-03-16
GB0514449D0 (en) 2005-08-17
US20090122266A1 (en) 2009-05-14
GB0301317D0 (en) 2003-02-19
US20060181682A1 (en) 2006-08-17
WO2004066037A1 (en) 2004-08-05
JP2011022614A (ja) 2011-02-03
US7470028B2 (en) 2008-12-30

Similar Documents

Publication Publication Date Title
US7798650B2 (en) Image projection device and method
US10408390B2 (en) Multiple-laser light source
JP6349282B2 (ja) ホログラムを計算する方法
US8398243B2 (en) Projection device for the holographic reconstruction of scenes
KR100923523B1 (ko) 컴퓨터 생성 비디오 홀로그램을 인코딩하고 재구성하는방법 및 장치
US8208012B2 (en) Method for the multimodal representation of image contents on a display unit for video holograms, and multimodal display unit
TWI413877B (zh) Three - dimensional scene reconstruction method and device for omnidirectional display
US7325928B2 (en) Resolution multiplication technique for projection display systems
KR20110042319A (ko) 홀로그래픽 이미지 디스플레이 시스템
WO2013094011A1 (ja) 画像投射装置およびその制御方法
US9693048B2 (en) Color display and projection system
US20100033784A1 (en) Holographic Projection Device for the Reconstruction of Scenes
CN112639588A (zh) 具有扩展像素分辨率的紧凑型显示器
JP6660166B2 (ja) 立体像表示装置
US11953781B2 (en) Display apparatus that time-divisionally illuminates different pixel regions with diffracted color light beams
WO2020100695A1 (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20061208

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20100224

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20100303

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100520

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20100621

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20100708

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101020

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20101029

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20101124

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20101217

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131224

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees