JP2009117351A - 照明装置 - Google Patents

照明装置 Download PDF

Info

Publication number
JP2009117351A
JP2009117351A JP2008261573A JP2008261573A JP2009117351A JP 2009117351 A JP2009117351 A JP 2009117351A JP 2008261573 A JP2008261573 A JP 2008261573A JP 2008261573 A JP2008261573 A JP 2008261573A JP 2009117351 A JP2009117351 A JP 2009117351A
Authority
JP
Japan
Prior art keywords
irradiation light
irradiation
irradiated
projection
light projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2008261573A
Other languages
English (en)
Other versions
JP4270329B1 (ja
Inventor
Akira Kawamura
亮 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Electric Works Co Ltd
Original Assignee
Panasonic Electric Works Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Electric Works Co Ltd filed Critical Panasonic Electric Works Co Ltd
Priority to JP2008261573A priority Critical patent/JP4270329B1/ja
Application granted granted Critical
Publication of JP4270329B1 publication Critical patent/JP4270329B1/ja
Publication of JP2009117351A publication Critical patent/JP2009117351A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B15/00Special procedures for taking photographs; Apparatus therefor
    • G03B15/02Illuminating scene
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/005Projectors using an electronic spatial light modulator but not peculiar thereto
    • G03B21/006Projectors using an electronic spatial light modulator but not peculiar thereto using LCD's
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B21/00Projectors or projection-type viewers; Accessories therefor
    • G03B21/14Details
    • G03B21/147Optical correction of image distortions, e.g. keystone
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141Constructional details thereof
    • H04N9/3147Multi-projection systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/12Picture reproducers
    • H04N9/31Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179Video signal processing therefor
    • H04N9/3185Geometric adjustment, e.g. keystone or convergence

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Non-Portable Lighting Devices Or Systems Thereof (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Coating Apparatus (AREA)

Abstract

【課題】任意形状の被照射物体を高い精度で複数の照射光によってコーティングする。
【解決手段】複数の照射光投影部4A,4Bのそれぞれから被照射物体10に向けて投影する照射光LA、照射光LBを、照射光投影部4A,4Bのそれぞれから見た被照射物体10の輪郭にあわせるように補正する。これによって、照射光LA、照射光LAよりも狭い範囲の照射光LA’照射光LB’によって、被照射物体10の表面をコーティングする。
【選択図】図10

Description

本発明は、任意形状の被照射物体の表面を覆うように照射光を照射するコーティング照明装置に関する。
従来より、任意形状の照射光を照射する照明装置としては、投影機器にゴボやマスクなどと呼ばれるフィルタを取り付けて、当該投影機器から照射光が出射される投影部を遮光している。これにより、フィルタを通過した照射光は、特定の形に切り抜かれた状態となる。具体的には、従来の照明システムでは、丸、三角、四角などで構成されるベース形状で切り抜かれたフィルタ(ゴボなど)を投影機器に取り付けて、照射光の輪郭に形をつけている。
また、従来の照明システムにおいて、被照射物体だけに照射したい場合は、投影機器から出射された照射光の投影位置を被照射物体の位置に合わせた後、投影機器の絞り機能やズーム機能によって大まかな照射光の輪郭を被照射物体の形状に合わせる動作を行っている。
更に、従来においては、投影機器であるプロジェクタを照明器具(ライト)の代わりに使用して、下記の非特許文献1,2に記載されているような空間演出を行うムービングプロジェクタと呼ばれるものがある。このムービングプロジェクタは、照射光として映像光を出射する。このため、照射光の形、色を自由に設定して、動画として変化させることが可能である。
しかしながら、この照明システムであっても、照射光に形をつける場合は、従来の照明システムと同様に、ベース形状を映像に重ね合わせるマスク処理を用いて、大まかに被照射物体の形状に照射光の輪郭を合わせる手法が採用されている。
更にまた、従来においては、立体形状モデルに物体の表面テクスチャを効果的に表現することができる立体表示装置として、下記の特許文献1に記載された技術が知られている。
http://www.egghouse.com/gobo/about.htm http://www.ushiolighting.co.jp/product/productimage/pdf/dl2.pdf 特開2006−338181号公報
しかしながら、上述した従来の照明システムにおいては、予め用意しておいた形状フィルタや絞り、ズームを用いるので、被照射物体に対して大まかに照射光の形状をあわせることしかできない。また、ベース形状を映像に重ね合わせるマスク処理では、ベース形状を被照射物体の形状にあわせて作成することにより精度の高い形状あわせが可能であるが、ベース形状は2次元形状で作成される。このため、任意形状の被照射物体を異なる方向から見た場合には、異なるベース形状を用いる必要があり、異なる位置に配置された複数の投影装置によって、同時に被照射物体に向けて照明光を投影する技術には転用しがたい。
そこで、本発明は、上述した実情に鑑みて提案されたものであり、任意形状の被照射物体を高い精度で照射光によってコーティングすることができる照明装置を提供することを目的とする。
本発明は、任意形状の被照射物体に向けて照射光を投影する照明装置であって、前記被照射物体に照射光を投影する複数の照射光投影手段と、照射光信号を入力する照射光信号入力手段と、前記被照射物体に前記照射光を照射させたときに、前記被照射物体を照射光でコーティングさせるように前記照射光信号入力手段により入力した照射光信号を補正するコーティング補正手段と、前記コーティング補正手段により補正された照射光信号を用いて、照射光を生成して前記照射光投影手段から投影させる照射光生成手段とを備える。このような構成の照明装置は、上述の課題を解決するために、コーティング補正手段が、前記被照射物体の3次元形状、位置及び姿勢を含む被照射物体パラメータと、前記照射光投影手段ごとの位置及び姿勢を含む照射光投影パラメータとに基づく各照射光投影手段から見た前記被照射物体の輪郭に従って、前記照射光投影手段ごとに前記照射光信号を補正して、複数の前記照射光投影手段から照射された照射光によって前記被照射物体を多方向からコーティングさせるように前記照射光信号を補正する第1の照射光信号補正手段を有し、照射光生成手段が、前記第1の照射光信号補正手段により補正された前記照射光投影手段ごとの照射光信号を用いて、複数の照射光を生成する。
本発明に係る照明装置によれば、複数の照射光投影手段を用いて、任意形状の被照射物体を高い精度で照射光によってコーティングすることができる。
以下、本発明の実施の形態について図面を参照して説明する。
本発明は、例えば図1に示すように、パーソナルコンピュータ等によって構成される照射光信号入力部1,第1照射光信号補正部2と、照射光生成部3,プロジェクタ等によって構成される複数の照射光投影部4A,4B(以下、総称する場合には単に「照射光投影部4」と呼ぶ。)と、各種のインターフェースによって構成される被照射物体パラメータ入力部5,照射光投影パラメータ入力部6とを備えた照明装置に適用される。なお、以下の説明においては、照射光投影部4が2個の例について説明するが、更に多数の照射光投影部4を用いても良いことは勿論である。なお、図1に示した照明装置は、CPU、ROM、RAM、ストレージ装置などを備えたコンピュータによるハードウエアで構成されているが、図1においては便宜的に機能ブロック毎に分けて、説明を行う。
この照明装置は、任意形状の被照射物体に向けて複数の照射光を投影する。これにより、照明装置は、図2に示すように複数の照射光が被照射物体をコーティングしているように被照射物体を観察させる。また、照明装置は、単色の照射光に限らず、複数色、若しくは映像の照射光によって被照射物体をコーティングしても良い。これにより、照明装置は、大型の被照射物体へのマルチ投影や、多方向から被照射物体をコーティングする立体コーティングを実現する。
通常、照射光投影範囲の全体に亘って単色の照射光をあるプロジェクタから出射すると、図3に示すように、被照射物体以外にも照射光が照射され被照射物体の背後に影ができてしまう。これに対し、照明装置は、図2に示すように、被照射物体の表面のみに複数の照射光を投影し、被照射物体の背景には背景色の照射光を投影する。これによって、複数の照射光によって被照射物体をコーティングする。なお、以下の説明では、図2に示したような被照射物体をコーティングするための照射光を「コーティング光」と呼び、被照射物体の背景となる照射光を「背景光」と呼ぶ。
被照射物体は、図4に示すような任意形状の立体物である。この被照射物体は、コンピュータグラフィック技術によって、例えば、上面形状を表す上面形状データ100a、正面形状を表す正面形状データ100b、側面形状を表す側面形状データ100c、任意の角度からの形状を表す任意角度形状データ100dとして解析される。なお、コンピュータグラフィック技術により、前述の正面形状、側面形状、上面形状だけでなく、背面形状を加えて被照射物体を解析させても良い。この各面における被照射物体の形状データは、被照射物体パラメータ入力部5から第1照射光信号補正部2に供給されて、後述の第1照射光信号補正部2における補正処理に用いられる。
後述するように、照明装置は、被照射物体を照射光によってコーティングするために、照射光信号に補正処理を施して照射光を複数の照射光投影部4から出力する。従って、被照射物体は、特に限定するものではなく、凹凸物体や、一様な平面(または曲面)で構成される空間でもよい。また、被照射物体は、 例えば、壁、床、天井、風呂場の諸設備、など住宅を構成し表面に露出している部材であれば何でもよい。ただし、照射光投影部4から投影された照射光の色身の再現性を向上させるために、被照射物体の表面は、スクリーン素材などで加工されていることが望ましい。
照射光信号入力部1は、照射光信号を入力して、第1照射光信号補正部2に供給する。この照射光信号入力部1は、外部のパーソナルコンピュータから照射光信号を入力しても良く、単色光の色が指定されたことによって単色の照明光信号を生成しても良い。また、この照射光信号は、平面映像として生成されている。
この照射光信号は、例えば単色の照明光をコーティング光とする場合、照射光投影範囲の全体が単色の映像信号である。また、照射光信号入力部1は、複数色のパターン画像又は映像となっている照射光をコーティング光とする場合にも、照射光投影範囲の全体がパターン画像又は映像となっている映像信号である。この照射光信号入力部1によって入力又は生成された照射光信号は、第1照射光信号補正部2に供給される。
照射光生成部3は、第1照射光信号補正部2から供給された照射光投影部4A,4Bごとの照射光信号に従って照射光を生成して、光学系を含む照射光投影部4A,4Bに照射光を投影する。照射光投影部4A,4Bは、照射光生成部3を介して第1照射光信号補正部2から送信された照射光信号を受信して、コーティング光と背景光とからなる照射光を出射するプロジェクタからなる。
第1照射光信号補正部2は、被照射物体に複数の照射光を照射させたときに、被照射物体を照射光でコーティングさせるように照射光信号入力部1により入力した照射光信号を補正する処理を行う。具体的には、第1照射光信号補正部2は、被照射物体の3次元形状、位置及び姿勢を含む被照射物体パラメータを被照射物体パラメータ入力部5から取得すると共に、照射光投影部4A,4Bごとの位置及び姿勢を含む照射光投影パラメータを照射光投影パラメータ入力部6から取得する。そして、第1照射光信号補正部2は、被照射物体パラメータ及び照射光投影パラメータに基づいて、各照射光投影部4A,4Bから見た被照射物体の輪郭に従って、照射光投影部4A,4Bごとに照射光信号を補正する。この照射光信号の補正処理は、複数の照射光投影部4A,4Bから照射された照射光によって被照射物体を多方向からコーティングさせるように照射光信号を補正する。すなわち、第1照射光信号補正部2は、複数の照射光に含まれるコーティング光の輪郭を被照射物体の輪郭と合致するように複数の照射光信号を補正するものである。
第1照射光信号補正部2は、先ず、被照射物体の形状に合わせて照射光のうちのコーティング光の輪郭をカットするように各照射光信号を補正する。これにより、第1照射光信号補正部2は、被照射物体のみにコーティング光を投影し、被照射物体以外には背景光を投影するように、コーティング光の照射範囲をカッティング処理する。
具体的には、第1照射光信号補正部2は、以下に説明するように平面映像を、任意形状の被照射物体上のみにマッピングし、被照射物体以外の部分にはマッピングしていない映像とするマッピング処理を行う。
例えば図5に示すように、任意形状の被照射物体10として、ユーザUに対して距離Lだけ離間し、ユーザUに対して斜めに傾斜して配置された平板状物体10を考える。この平板状物体10は、ユーザUの視点位置P1から視野角θ1で視認される。ユーザUの視野中心と交差する平板状物体10上の点P2からユーザUまでは、距離L1だけ離間している。
視点位置P1と平板状物体10上の点P2との位置関係において、図6(a)に示すように、図6(b)に示す格子状の平面映像I(コーティング光)を、ユーザUから見る映像面U’を介して平板状物体10上で見る場合を考える。この場合、映像面U’に図6(b)に示す平面映像Iが表示されていると同じ映像を平板状物体10に表示させる場合、映像面U’上の各座標と平板状物体10上の各座標との対応関係を取得する必要がある。模式的に図6(a)に示しているが、映像面U’上の点b1,b2,b3,b4,b5は、平板状物体10上の点a1,a2,a3,a4,a5に対応している。したがって、平板状物体10上の点a1,a2,a3,a4,a5に表示された映像は、ユーザUからは映像面U’上における点b1,b2,b3,b4,b5として視認される。
また、図7に示すように、ユーザUの視線と平板状物体10とが交差する点P2と、照射光投影部4の投影位置P3とは、L2の距離となっている。また、照射光投影部4は、所定の投影画角θ2の範囲で投影光を投影する。
この場合、照射光投影部4の映像面P’と平板状物体10との位置関係は、図8に示すように、平板状物体10上の点a1,a2,a3,a4,a5が、映像面P’上の点c1,c2,c3,c4,c5に対応している。すなわち、照射光投影部4の投影位置P3から映像面P’上の点c1,c2,c3,c4,c5を延長した直線上の点が、平板状物体10の点a1,a2,a3,a4,a5となる。
このようなユーザUの視点位置P1及び視野角θ1、平板状物体10の位置、照射光投影部4の投影位置P3及び投影画角θ2の関係から、図8(a)に示した照射光投影部4における映像面P’上の点c1,c2,c3,c4,c5に映像を投影させると、平板状物体10上の点a1,a2,a3,a4,a5に映像が投影される。その結果、平板状物体10上の点a1,a2,a3,a4,a5が、図6(a)における映像面U’上の点b1,b2,b3,b4,b5として視認されることとなる。したがって、ユーザUに平面映像Iを視認させるためには、照射光投影部4は、映像面U’上の各座標に対応した平板状物体10上の各座標と、映像面P’上の各座標に対応した平板状物体10上の各座標との対応関係に基づいて、図8(b)に示すように歪ませた平面映像I’を投影する必要がある。
このような照明光の投影動作を実現するために、第1照射光信号補正部2は、図5に示すように、ユーザUの視点位置P1を示す視点位置及び視線方向を示す視点位置姿勢パラメータ及びユーザUの視野角θ1を示す視野角パラメータを取得する。これらのユーザUのパラメータは、上述した映像面U’を定める。
また、第1照射光信号補正部2は、照射光投影部4から出射された照明光を投影する平板状物体10の形状データを取得する。この形状データは、例えばCADデータである。ここで、視点位置姿勢パラメータは、3次元座標空間における、X,Y,Z軸上の位置および軸周りの回転角度を数値で定義したものである。この視点位置姿勢パラメータは、視点位置P1と平板状物体10との距離L1と、視点位置P1に対する平板状物体10の姿勢を一意に定める。また、平板状物体10の形状データとは、CAD等で作成された電子データを基に、3次元座標空間における形状領域を定義したものである。この形状データは、視点位置P1から見た平板状物体10の形状を一意に定める。このような平板状物体10の形状データとユーザUのパラメータとは、映像面U’の座標と平板状物体10上の座標との対応関係を定める。
また、図7に示すように照射光投影部4が設置されたことに対し、第1照射光信号補正部2は、照射光投影部4の投影位置P3及び当該照射光投影部4の光軸方向を示す位置姿勢パラメータ及び照射光投影部4の投影画角θ2を示す投影画角パラメータを取得する。この照射光投影部4の位置姿勢パラメータ及び投影画角パラメータは、照射光投影部4が平板状物体10に対して投影する映像面P’を表す。この映像面P’が定まると、照射光投影部4から投影される照明光が映像面P’を介して平板状物体10のどの座標に投影されるかが定められる。すなわち、照射光投影部4の位置姿勢パラメータ及び投影画角パラメータと、平板状物体10の位置姿勢パラメータ及び形状データとは、照射光投影部4から出射された照明光によって覆われる平板状物体10の範囲が一意に決まる。照射光投影部4がプロジェクタである場合、投影位置P3はバックフォーカス及び打ち込み角で定義され、投影画角θ2は投影位置P3から一定距離での水平及び垂直方向の投影範囲から算出される。
そして、第1照射光信号補正部2は、平板状物体10に表示される照明光の画素(a1,a2,a3,a4,a5)と照射光投影部4の投影位置P3とを結ぶ直線と、映像面P’との交点(c1,c2,c3,c4,c5)に画素を配置して平面映像I’を構成し、その平面映像I’を平板状物体10に投影させる。そして、映像面P’上の点c1,c2,c3,c4,c5、平板状物体10上の点a1,a2,a3,a4,a5、映像面U’上の点b1,b2,b3,b4,b5という経路でユーザUにとって歪みのない映像を視認させることができる。
同様に、被照射物体10が平板状物体10のような形状ではなく、ドーム型のような任意形状のものであっても歪みなく照明光でコーティングして、被照射物体10をユーザUに視認させることができる。図9(a)に示すように被照射物体10がドーム型物体10であり、図9(b)に示すように、ユーザUに格子状の照明光を視認させる場面を考える。この場合、ユーザUからは、映像面U’上の点b1,b2,b3,b4,b5の延長線上におけるドーム型物体10上の点a1,a2,a3,a4,a5が視認される。これに対し、照射光投影部4は、図10(a)に示すように映像面P’に投影光を投影する。この映像面P’における点c1,c2,c3,c4,c5を通過した投影光は、ドーム型物体10における点a1,a2,a3,a4,a5に投影されて、図9(a)に示す映像面U’の点b1,b2,b3,b4,b5として視認される。したがって、照射光投影部4は、映像面50Pに対して図10(b)に示すように歪ませた平面映像I’を投影する。これに対し、ユーザUは、図9(b)に示すような歪みのない平面映像Iを視認することができる。
このようなマッピング処理を行うことにより、第1照射光信号補正部2は、照射光信号入力部1から供給された平面映像を、任意形状の被照射物体上のみにマッピングし、被照射物体以外の部分にはマッピングしていない映像とすることができる。このマッピング処理を施した映像は、第1照射光信号補正部2によってコーティング光を被照射物体に投影するための映像信号となる。コーティング光に対する背景光は、コーティング光に相当する映像部分以外の映像部分となる映像信号となる。
ここで、照射光投影部4A,4Bの投影範囲の中心軸と被照射物体の中心位置(原点位置)とが一致する正対状態である場合には、上記のマッピング処理により補正した照射光信号によって、高い精度で被照射物体をコーティングすることができる。しかし、被照射物体の原点位置と照射光投影部4A,4Bの投影範囲の中心軸との配置関係が正対していない場合は、第1照射光信号補正部2だけでは、十分な補正ができない。すなわち、照射光投影部4A,4Bの光軸が、被照射物体の原点位置からずれている場合には、照射光投影部4A,4Bの位置をパラメータとして照射光信号に補正をする必要がある。
このために、照明装置は、被照射物体の原点位置と照射光投影部4A,4Bとの位置との関係に応じて、第1照射光信号補正部2によって、さらに照射光信号に補正処理を行う。この補正処理は、映像作成の際に必要な映像表示パラメータに平行移動変換及び回転移動変換を施して映像表示パラメータを変更する。この場合、照射光投影範囲に沿って映像表示パラメータを上下左右方向に非対称な値に変換して映像表示パラメータを変更する。これによって、被照射物体に対して照射光投影部4A,4Bから照射光を任意の方向から投射しても、照明装置は、コーティング光を被照射物体上のみに高精度に投影させるように、更にコーティング光の輪郭を補正する。
具体的には、第1照射光信号補正部2は、予め被照射物体の位置、照射光投影部4A,4Bの位置と、照射光投影部4A,4Bに対する被照射物体の姿勢パラメータとを補正パラメータとして被照射物体パラメータ入力部5及び照射光投影パラメータ入力部6から取得しておく。そして、第1照射光信号補正部2は、入力したパラメータに基づいて、平行移動変換及び回転移動変換を実行する。
また、照明装置は、照射光投影部4A,4Bと被照射物体との位置関係の他に、照射光投影部4A,4Bの投影画角、光軸シフト量等の照射光投影部4A,4Bの性能を含む照明光投影パラメータを用いて、照射光信号を補正することが望ましい。
つぎに、上述した照明装置において照射光投影部4A,4Bによって被照射物体をコーティングするように照射する時の動作手順について、図11等を参照して説明する。
先ず、ステップS1においては、照射光信号入力部1によって、照射光の色や輝度を指定した照射光信号を入力する。ステップS2においては、被照射物体パラメータ入力部5によって、図4に示すような被照射物体の3次元形状、位置及び姿勢を含む被照射物体パラメータを入力する。ステップS3においては、照射光投影パラメータ入力部6によって、照射光投影部4の性能(画角、バックフォーカス、打ち込み角)、位置及び姿勢を含む照射光投影パラメータを入力する。
次のステップS4においては、第1照射光信号補正部2によって、ステップS3にて入力した照射光投影パラメータと、現状において存在する照射光投影部4の数とを比較する。これによって、第1照射光信号補正部2は、被照射物体に対して照射光を投影する他の照射光投影部4が存在しないか否かを判定する。他の照射光投影部4が存在する場合には、ステップS5において、照射光投影パラメータ入力部6から照射光投影パラメータを追加して入力する。他の照射光投影部4が存在しない場合には、ステップS6に処理を進める。例えば、図1のように2台の照射光投影部4A,4Bからなる場合には、先ずステップS3にて照射光投影部4Aの照射光投影パラメータを入力し、ステップS5にて照射光投影部4Bの照射光投影パラメータを入力することとなる。
ステップS6においては、第1照射光信号補正部2によって、ステップS3及びステップS5にて入力した照射光投影パラメータとステップS2にて入力した被照射物体パラメータとに基づいて、ステップS1にて入力した照射光信号を補正する。照射光投影部4から見た被照射物体の輪郭に従って照射光のうちのコーティング光の輪郭をカットし、これにより、被照射物体の原点位置と照射光投影部4との位置関係に応じて更にコーティング光の輪郭を補正する。第1照射光信号補正部2は、照射光投影部4A,4Bといったように照射光投影部4が2台存在する場合には、照射光投影部4ごとに2回に亘って照射光信号の補正処理を行う。
次のステップS7においては、照射光生成部3によって、ステップS6にて補正された照射光投影部4の照射光信号に従って、照射光投影部4から投影する照射光を生成する。
次のステップS8においては、照射光生成部3によって、一方の照射光を照射光投影部4Aに出力する。
次のステップS9においては、ステップS6〜ステップS8にて照射光を出力した以外の他の照射光投影部4が存在しないか否かを判定する。他の照射光投影部4が存在する場合には、ステップS10において、当該他の照射光投影部4に照射光を出力する。他の照射光投影部4が存在しない場合には、複数の照射光投影部4によって照射光を被照射物体に向けて投影する。
このような動作を行う照明装置によれば、ステップS6において、照射光投影部4Aから見た被照射物体の輪郭に従って照射光のうちのコーティング光の輪郭をカットし、被照射物体の原点位置と照射光投影部4Aとの位置関係に応じて更にコーティング光の輪郭を補正する。同様に、照射光投影部4Bから見た被照射物体の輪郭に従って照射光のうちのコーティング光の輪郭をカットし、被照射物体の原点位置と照射光投影部4Bとの位置関係に応じて更にコーティング光の輪郭を補正することができる。
第1照射光信号補正部2によって補正を施さずに照射光投影部4から照射光を投影させた場合には、図12に示すように、被照射物体10以外にも広がる照射光Lとなってしまう。しかし、以上のような動作を行うことにより、照明装置は、図13に示すように被照射物体10のうちの照射光投影部4Aから見た輪郭内のコーティング領域10aのみに広がりが規制された照射光L’することができる。なお、以下の説明において、コーティング領域10a等のように被照射物体10や後述の背面物体上の範囲を説明する場合には、その位置関係を明確にするために、層状に示しているが、実際には、被照射物体10や背面物体上である。
また、この照明装置によれば、図14に示すように被照射物体10に向けて照射光投影部4Bが配置されていた場合には、照射光投影部4Bから補正後の照射光LB’を被照射物体10に照射することができる。すなわち、照射光投影部4Aと同様に、照射光を、照射光投影部4Bから見た輪郭内のコーティング領域10bのみに広がりが規制された照射光LB’とすることができる。
このように照明装置によれば、照射光投影部4Aと照射光投影部4Bとを同時に駆動する。これによって、照明装置は、図15に示すように、被照射物体10のコーティング領域10aのみに対して補正後の照射光LA’を投影し、被照射物体10のコーティング領域10bのみに対して補正後の照射光LB’を投影することができる。
また、この照明装置は、例えば図16に形状データを示すように、照射光投影部4A,4Bに対して複数の被照射物体10が存在する場合であっても、各照射光投影部4から見える複数の被照射物体10の輪郭のみをコーティング光に補正する。これによって、照明装置は、各被照射物体10をコーティングするように照射光を投影することができる。
以上説明したように、本発明を適用した照明装置によれば、被照射物体10のパラメータを3次元形状として入力するので、照射光投影部4ごとに3次元上の多方向(表面、側面、裏面、上面など)から観察される形状を認識することができる。これにより、照明装置によれば、被照射物体10に対して照射光投影部4を多数台配置した場合でも、高い精度で被照射物体10をコーティングするように照射光を補正できる。
また、この照明装置によれば、複数の照射光投影部4によって、被照射物体10をコーティングすることができるので、1台の照射光投影部4の投影領域では覆いきれない広い領域に亘って被照射物体10をコーティングすることができる。具体的には、被照射物体10の表側と裏側を同時に照射光を投影するといったように、3次元的に被照射物体10をコーティングすることができる。
更に、ある照射光投影部4から被照射物体10に投影された照射光によって発生した影部分に、他の照射光投影部4の照射光を投影することもでき、被照射物体10の影が存在しない照明環境を実現できる。
つぎに、本発明を適用した他の構成について、図17〜図19を参照して説明する。
この照明装置は、図17に示すように、被照射物体10の表面を分割するかのように、照射光投影部4A,4Bごとに投影領域を設定する。この場合、当該各照射光投影部4A,4Bによって各分割領域を照射した時に、隣り合う分割領域の境界を含む領域にて、異なる照射光投影部4A,4Bによって投影されている照射光が重複するように、複数の照射光投影部4A,4Bは、配置されている。
この照明装置は、全体の投影領域を、照射光投影部4Aから見た被照射物体10の輪郭内の投影領域と、照射光投影部4Bから見た被照射物体10の輪郭内の投影領域とに分割する。これにより、照明装置は、照射光投影部4A,4Bのそれぞれから、補正後の照射光LA’、補正後の照射光LB’を投影する。この時、被照射物体10上において、補正後の照射光LA’が投影されている領域と補正後の照射光LB’が投影されている領域との重複領域10cが発生する。この重複領域10cを設けるために、下記の演算によって、照射光投影部4A,4Bの配置は、決定される。
先ず、図18に示すように、被照射物体10、2つ以上の照射光投影部4が含まれる空間を3次元座標:α[X、Y、Z](世界座標)(不図示)によって指定する。なお、X、Y、Zは、3次元方向における各軸の座標であり、図18においては、被照射物体10及び照射光投影部4を上面から見た様子を示している。
次に、図3又は図16に示すような被照射物体10の3次元形状データを作成し、被照射物体10の表面領域を3次元座標:βo[x(a)、y(a)、z(a)]で表現する。被照射物体10と照射光投影部4との3次元座標空間α内における位置、姿勢に対応して被照射物体10の表面の3次元座標:βo[x(a)、y(a)、z(a)]を座標変換する。これにより、3次元座標空間α内の被照射物体10の表面の形状座標:β[x(a)、y(a)、z(a)]が算出される。
次に、照射光投影部4の投影領域を設定し、照射光投影部4の中心(光学中心)の位置、姿勢を特定する。これにより、3次元座標α内での投影領域の座標:γ[x(b)、y(b)、z(b)]を算出する。照射光投影部4の投影領域の座標:γ[x(b)、y(b)、z(b)]は、投影面形状(例えば、アスペクト比4:3の長方形など)と、水平・垂直方向の投影画角値とによって設定される。
次に、被照射物体10の表面の形状座標:β[x(a)、y(a)、z(a)]と、投影領域の座標:γ[x(b)、y(b)、z(b)]とが一致する座標領域:δ[x(c)、y(c)、z(c)]を抽出する。この座標領域:δは、照射光投影部4の投影領域に含まれる被照射物体10の表面の領域を特定するものである。なお、図18においては、被照射物体10の表面の形状座標:β[x(a)、y(a)、z(a)]の全てが投影領域の座標:γ[x(b)、y(b)、z(b)]に含まれている様子を示している。しかし、双方が一致する座標領域:δ[x(c)、y(c)、z(c)]には、照射光投影部4が投影可能な被照射物体10の表側の座標δと、投影できない被照射物体10の裏側の座標δとの双方を含む。このため、双方が一致する座標領域:δのうち、照射光投影部4から見て被照射物体10の裏側の座標δを除去する必要がある。
そこで、照射光投影部4の中心(光学中心)と、座標領域:δ[x(c)、y(c)、z(c)]を含む多数の直線式Sを算出する。各直線式S上に座標δが複数検出された場合には、当該直線式S上に検出された座標δのうち照射光投影部4に一番近い座標δのみを残し、それ以外の座標δを除去する。具体的には、図18に示した直線式S上に座標δ,δが検出された場合には、照射光投影部4の位置から近い方の座標δのみを残して、座標δを削除する。これにより、照射光投影部4からの照射光が投影される領域として、被照射物体10の表面のうち座標δ〜座標δ〜座標δまでの被照射物体10の表側の座標領域:ε[x(d)、y(d)、z(d)]のみを抽出できる。
このような座標演算を2台の照射光投影部4A,4Bについて行う。これにより、照明装置は、照射光投影部4Aによって被照射物体10上に投影可能な座標領域のε1[x1(e)、y1(e)、z1(e)]と、照射光投影部4Bによって被照射物体10上に投影可能な座標領域のε2[x2(f)、y2(f)、z2(f)]とを得ることができる。
次に、照射光投影部4Aの座標領域ε1と照射光投影部4Bの座標領域ε2とが重複した重複領域10cを設けるように被照射物体10上に分割領域を設定する。この分割領域ごとに、照射光投影部4A,4Bを配置する。これにより、被照射物体10上で重複領域10cを形成するような照射光投影部4A,4Bの配置環境を構築できる。
このように照射光投影部4A,4Bを配置した場合、被照射物体10上における重複領域10cは、座標領域ε1と座標領域ε2が重なる座標領域:ζ[x1(g)、y1(g)、z1(g)]として特定される。なお、照射光投影部4が3台存在する場合には、3台分の照射光Lがそれぞれ重複するように、上記の演算を行うことによって、重複領域10cを形成するように3台の照射光投影部4を配置できる。
このような照明装置によれば、被照射物体10上において重複領域10cが存在するように複数の照射光投影部4を配置する。これにより、各照射光投影部4によって投影されるコーティング光の間に隙間ができることなく、複数の照射光Lによって連続して被照射物体10をコーティングすることができる。
つぎに、本発明を適用した他の構成について、図19〜図24を参照して説明する。なお、上述した照明装置と同様の構成については、同一符号を付することによって、その詳細な説明を省略する。
この照明装置は、図19に示すように、背面物体に照射光Lを投影するための補正処理を行う第2照射光信号補正部21と、背面物体パラメータを入力する背面物体パラメータ入力部22と、照射光生成部3によって生成する照射光の特性を変化させる照射光特性設定部23とを備える点で、上述した図1に示す照明装置とは異なる。この照明装置は、第2照射光信号補正部21によって、被照射物体10の背後に存在する任意形状の背面物体の3次元形状、位置及び姿勢を含む背面物体パラメータに基づいて、各照射光投影部4によって照射する照射光を、被照射物体10をコーティングするコーティング光と被照射物体10の背景となる背景光とに分割するように照射光信号を補正する。
そして、照明装置は、照射光特性設定部23によって、第2照射光信号補正部21によって補正されたコーティング光を表す照射光信号と背景光を表す照射光信号とのそれぞれに照射光特性を設定して、照射光生成部3によってコーティング光及び背景光を含む照射光を生成させる。
このような照明装置は、その動作を図20に示すように、ステップS4にて全ての照射光投影部4についての照射光投影パラメータを入力したと判定した後に、ステップS21を行う。ステップS21においては、第2照射光信号補正部21によって、背面物体パラメータ入力部22から背面物体パラメータを入力する。この背景物体パラメータは、背景物体の位置及び姿勢に加えて、図21に示すように、板状の背景物体の上面形状を表す上面形状データ100a、正面形状を表す正面形状データ100b、側面形状を表す側面形状データ100c、任意の角度からの形状を表す任意角度形状データ100dを含む。
次に、ステップS22においては、第1照射光信号補正部2によって、照射光投影部4ごとの照射光投影パラメータと被照射物体パラメータとに基づいて、照射光信号を補正する。これによって、照射光投影部4から見た被照射物体の輪郭に従って照射光のうちのコーティング光の輪郭をカットし、被照射物体10の原点位置と照射光投影部4との位置関係に応じて更にコーティング光の輪郭を補正する。また、このステップS22においては、照射光投影パラメータ及び背面物体パラメータに基づいて、第1照射光信号補正部2によって補正された照射光信号を、コーティング光と背景光とに分割する。そして、被照射物体10の輪郭内にコーティング光を投影する照射光信号及び被照射物体10の輪郭外に背景光を投影する照射光信号は、照射光生成部3に供給される。
次のステップS23においては、照射光生成部3によって、照射光特性設定部23にて設定されている照射光特性を示す照射光パラメータを入力する。この照射光パラメータは、コーティング光の色や輝度、背景光の色や輝度を表す。
次のステップS24においては、照射光生成部3によって、ステップS23にて入力した照射光パラメータを参照して、ステップS22にて補正処理がなされたコーティング光の照射光信号、背景光の照射光信号に色や輝度などの照射光特性を設定する。これにより、照射光生成部3は、コーティング光及び背景光を含む照射光を生成する。
そして、照明装置は、照射光投影部4A,4Bといったように照射光投影部4が2台存在する場合には、照射光投影部4ごとに2回に亘って照射光信号の補正処理(ステップS21,22)及び照射光特性の設定処理(ステップS23,24)を行う。全ての照射光投影部4について照射光信号の補正処理及び照射光特性処理を行うことによって、それぞれの照射光投影部4は、照射光生成部3が生成した照射光を被照射物体10及び背景物体に投影することができる(ステップS11)。
このような動作によって、照明装置は、図22に示すように、被照射物体10のコーティング領域10aに投影するコーティング光の特性と、背面物体30の背景光投影領域30aに投影する背景光の特性とを、異なる照射光特性を設定して、照射光投影部4から照射光Lを投影することができる。また、照明装置は、図23に示すように、2台の照射光投影部4A,4Bのうちの照射光投影部4Bによって、被照射物体10のコーティング領域10b及び背面物体30の背景光投影領域30bに、異なる照射光特性を設定したコーティング光及び背景光を含む照射光LBを投影することができる。
そして、照明装置は、2台の照射光投影部4A,4Bによって同時に照射光LA及び照射光LBを投影する。これによって、図24に示すように、コーティング領域10a及びコーティング領域10bをコーティング光によってコーティングし、背景光投影領域30a及び背景光投影領域30bに背景光を投影することができる。
このように、照明装置によれば、照射光投影部4から投影されるコーティング光を被照射物体10に投影し、照射光投影部4から投影される背景光を背面物体30に投影する。これにより、照射光を有効に活用できる。また、被照射物体10に投影するコーティング光と背面物体30に投影する背面光とのそれぞれに異なる照射光特性(色や輝度)を設定する。ことによって、被照射物体10のプロジェクタと背面物体用のプロジェクタといったように、被照射物体10と背面物体30で個別にプロジェクタを設ける必要が無い。従って、照射光投影部4の個数を減らすことができる。
また、この照明装置は、図25に示すように、背面物体30上において照射光投影部4Aから投影した照射光LAと、照射光投影部4Bから投影した照射光LBとが重複する重複領域30cを設けるように、照射光投影部4A,4Bを配置しても良い。このような照明装置は、背面物体30の表面を分割した投影領域を照射光投影部4A,4Bごとに設定する。当該各照射光投影部4A,4Bによって各分割領域を照射した時に、隣り合う分割領域の境界を含む領域にて、異なる照射光投影部4A,4Bによって投影されている照射光が重複するように、複数の照射光投影部4A,4Bは、配置される。
このように重複領域30cを設けるための照射光投影部4A,4Bの配置位置は、図18を参照して説明した演算と同様の演算を行うことによって求められる。すなわち、空間を3次元座標:α[X、Y、Z](世界座標)のうちで背面物体30の表面の形状座標:β’[x(a)、y(a)、z(a)]及び照射光投影部4A,4Bの投影領域の座標:γ[x(b)、y(b)、z(b)]を仮に設定し、双方の座標が一致する座標領域:δ’[x(c)、y(c)、z(c)]を抽出する。これにより、照射光投影部4A,4Bから見た背面物体30の表側の座標領域:ε’[x(d)、y(d)、z(d)]を求める。そして、この背面物体30の表側の座標領域:ε’[x(d)、y(d)、z(d)]のうち、照射光投影部4A,4Bと背面物体30とを結ぶ直線上に被照射物体10の表面の形状座標:β[x(a)、y(a)、z(a)]が存在する場合には、当該直線上における背面物体30の表側の座標領域:ε’[x(d)、y(d)、z(d)]を削除する。
このような座標演算より、照明装置は、照射光投影部4Aによって背面物体30に投影する背景光投影領域30aと、照射光投影部4Bによって背面物体30に投影する背景光投影領域30bとが重複した重複領域30cの座標:ζ’[x1(g)、y1(g)、z1(g)]を求める。重複領域30cを設けるように、照射光投影部4A,4Bの配置は決定される。
このような照明装置によれば、背面物体30上において重複領域30cが存在するように複数の照射光投影部4を配置する。これにより、各照射光投影部4によって投影される背景光の間に隙間ができることなく、複数の照射光Lによって連続して背面物体30に光を投影できる。
更に、照明装置は、図26に示すように、照射光投影部4A,4Bのそれぞれから投影しているコーティング光によって重複領域10cを形成し、且つ、照射光投影部4A,4Bのそれぞれから投影している背景光によって重複領域30cを形成するように照射光投影部4A,4Bを配置しても良い。この場合、上述したような座標演算を行うことによって、重複領域10c及び重複領域30cの双方を形成することができるように照射光投影部4A,4Bの配置を決定することができる。
このような照明装置によれば、被照射物体10及び背面物体30の双方において重複領域10c,30cが存在するように複数の照射光投影部4を配置する。これにより、各照射光投影部4によって投影される光の間に隙間ができることなく、複数の照射光Lによって連続して被照射物体10及び背面物体30に光を投影できる。
つぎに、本発明を適用した他の構成について、図27〜図29を参照して説明する。なお、上述した照明装置と同様の構成については、同一符号を付することによって、その詳細な説明を省略する。
この照明装置は、第2照射光信号補正部21によって補正された照射光信号の輝度を補正する第1輝度補正部41を備える点で、上述した実施形態とは異なる。この第1輝度補正部41は、異なる照射光投影部4から照射されたコーティング光及び背面光が重複している重複領域10c,30c(図17,図25,図26を参照)を算出し、当該重複領域10c,30cの境界付近にて輝度が一様になるように各照射光投影部4から投影している照射光の輝度を補正するものである。
第1輝度補正部41は、重複領域10c,30cを特定する座標領域:ζ,ζ’[x1(g)、y1(g)、z1(g)]を保存しておく。実際に複数の照射光投影部4から被照射物体10、背面物体30に対して照射光を投影する場合には、当該照射光のそれぞれの照射光信号のうち、重複領域10c,30cに相当する部分の照射光部分の輝度調整を行う。
このとき、第1輝度補正部41は、例えば、重複領域10c,30cに照射光を投影している照射光投影部4を特定し、各照射光投影部4と重複領域10c,30cとの距離を算出する。この各照射光投影部4と重複領域10c,30cとの距離が近いほど、当該重複領域10c,30cにおける輝度が高いとする。そして、各照射光投影部4から単一の照射光が投影された時の輝度に対する複数の照射光投影部4の照射光が投影された重複領域10c,30cの輝度の上昇率が高いほど、この輝度の上昇率に反比例して、各照射光投影部4の輝度を低減するように輝度を調整する。このとき、各照射光投影部4の輝度を演算式によって求めても良い。又は、図29に示すように、重複領域10c,30c内の輝度分布を表す輝度マップ50において中央部50aよりも終端部50bの輝度を下げるように、各照射光投影部4に対応した照射光信号を変更しても良い。
このような照明装置は、その動作を図28に示すように、ステップS21の後に、ステップS22にて第1照射光信号補正部2及び第2照射光信号補正部21によって照射光信号の補正処理を行う。同時に、第1輝度補正部41によって各パラメータに基づいて照射光信号の輝度補正処理を行う。このとき、第1輝度補正部41は、被照射物体パラメータ、照射光投影パラメータ、背景物体パラメータに基づいて重複領域10c,30cを算出しても良い。又は、第1輝度補正部41は、予め設定されている照射光投影部4と被照射物体10と背面物体30との位置関係から求められている重複領域10c,30cを読み出しても良い。そして、第1輝度補正部41は、単一の照射光投影部4によって照射光を投影した時の重複領域10c,30cの輝度に対して、複数の照射光投影部4によって照射光を投影した時の重複領域10c,30cの輝度の上昇率に反比例するように照射光信号の輝度を補正する。
このように、照明装置によれば、被照射物体10及び背面物体30上においてコーティング光及び背景光の隙間ができないように重複領域10c,30cを設けた場合であっても、当該重複領域10c,30cが他の部分よりも高い輝度になることを回避するように輝度補正を行うことができる。これにより、被照射物体10及び背面物体30上における輝度ムラを抑制して、一様な輝度とすることができる。
つぎに、本発明を適用した他の構成について、図30〜図34を参照して説明する。なお、上述した照明装置と同様の構成については、同一符号を付することによって、その詳細な説明を省略する。
この照明装置は、図30に示すように、影/光重複領域特定部62、第2輝度補正部61を備える点で、上述した照明装置とは異なる。影/光重複領域特定部62は、照射光投影部4によって被照射物体10に照射光を投影した場合に背面物体30に発生する影領域を算出し、当該算出した影領域のうち、他の照射光投影部4から照射光が投影される照射領域と重複する影領域である影/光重複範囲を算出する。第2輝度補正部61は、照射光の輝度を補正する。
この影/光重複領域特定部62は、図31に示すように、ステップS21後に、ステップS41において背面物体30に形成される影領域を算出する。ステップS42においては、影/光重複領域特定部62によって、当該影領域に重複した他の照射光投影部4の照射光が投影される影/光重複領域を求める。
具体的には、影/光重複領域特定部62は、図32に示すように、照射光投影部4Aの照射光投影画角(投影範囲)、位置及び姿勢と、被照射物体10の形状、位置及び姿勢と、背面物体30の形状、位置及び姿勢とから、照射光投影部4Aが照射光を投影した時に背面物体30上に発生する被照射物体10の影領域30d_A(以下、影領域30dとも呼ぶ。)を算出する。影/光重複領域特定部62は、図33に示すように、照射光投影部4Bの投影画角(投影範囲)、位置及び姿勢と、被照射物体10の形状、位置及び姿勢と、背面物体30の形状、位置及び姿勢とから、照射光投影部4Bの照射光が投影される照射領域を求める。影/光重複領域特定部62は、当該照射領域と、影領域30d_Aとが重複する影/光重複領域30e_A(以下、影/光重複領域30eとも呼ぶ。)を算出する。
影/光重複領域特定部62は、このような演算を照射光投影部4ごとに行う。これにより、照射光投影部4Aについて求めた影領域30d_A、影/光重複領域30e_Aと同様に、照射光投影部4Bについても、図34に示すように、照射光投影部4Bが被照射物体10に照射光LBを投影した時に発生する背面物体30上の影領域30d_B、当該影領域30d_B上において照射光投影部4Aの照射光LAが照射される影/光重複領域30e_Bを求める。
このような影領域30dを求める座標演算を、図32を流用して説明する。
先ず、被照射物体10、照射光投影部4、背面物体30が含まれる空間を3次元座標:α[X、Y、Z](世界座標)(不図示)によって指定する。なお、X、Y、Zは、3次元方向における各軸の座標である。
次に、例えば図21に示したような背面物体30の3次元形状データを作成し、背面物体30の表面領域を3次元座標ηo:[x(h)、y(h)、z(h)]で表現する。3次元座標空間α内での位置、姿勢に対応して背面物体30の表面の3次元座標:ηo [x(h)、y(h)、z(h)]を座標変換する。これにより、3次元座標空間α内の背面物体30の表面の形状座標:η [x(h)、y(h)、z(h)]が算出される。
次に、照射光投影部4Aの中心(光学中心)と、被照射物体10上に照射光が投影される領域座標:ε1[x1(e)、y1(e)、z1(e)]を結ぶ直線式を算出し、背面物体30の表面の形状座標:η [x(h)、y(h)、z(h)]から、その直線式に含まれる座標領域:ι [x(i)、y(i)、z(i)]を抽出する。この座標領域:ιは、照射光投影部4の投影領域において、被照射物体10の存在によって背面物体30への照射が遮断される影領域30dを特定する。しかし、影領域30dが発生する背面物体30の表側と、影領域30dが発生しない背面物体30の裏側を含むため、裏側の座標を除去する必要がある。そこで、照射光投影部4の中心(光学中心)と、座標領域:ι[x(i)、y(i)、z(i)]を結ぶ直線式を算出し、同一の直線式が算出された場合は、照射光投影部4に一番近い座標のみを残し、それ以外の座標を除去する。これにより、影領域30dが発生する表側の座標領域を背面物体30に発生する影領域の座標:κ[x(j)、y(j)、z(j)]として抽出できる。このように求められた影領域30dの座標:κ[x(j)、y(j)、z(j)]は、他の照射光投影部4について求められた照射領域と照合され、一致する部分が影/光重複領域30eとして抽出される。
このように、照射光投影部4から投影された照射光の背景光において、他の照射光投影部4の照射光で発生する影領域30dをカバーできる影/光重複領域30eが特定できる。これによって、照明装置は、第2輝度補正部61による輝度補正や、ステップS23によって設定した照射光パラメータによって影/光重複領域30eでの色や輝度を任意に設定して照射光を投影できる。
以上のように、照明装置によれば、複数の照射光投影部4を用いることによって、一方の照射光投影部4の照射光が被照射物体10に投影される場合に発生する背面物体30上の影領域30dに対して、他方の照射光投影部4の照射光を投影することが可能となる。これによって、例えば、図34に示すように、互いの影領域(30d_A、30d_B)をカバーできる位置に照射光投影部4A,4Bを配置することにより、被照射物体10の背後の影領域(30d_A、30d_B)を照射光によって消し去ることができる。
なお、多数の照射光投影部4を用いることで、被照射物体10及び背面物体30のどこにも影領域30dの存在しない空間を構築することができる。また、照射光特性設定部23によって、影/光重複領域30eに投影される照射光の特性(色や輝度)を任意に設定できる。これにより、影領域30dを消去させるだけでなく、影領域30dを異なる色の照射光で投影したり、影領域30dの輝度を増加又は減少させたりすることができる。
このように、影/光重複領域30eの輝度等を調整できる第2輝度補正部61は、図36に示すように、照射光投影部4A,4Bの双方が照射光LA、照射光LBを投影する重複領域30gに対して投影される照射光も、当該重複領域30gの境界付近にて輝度が一様になるように、各照射光投影部4A,4Bから投影している照射光の輝度を補正することが望ましい。
図35に示すように、照射光投影部4A、被照射物体10及び背面物体30とが配置されている状況において、照射光投影部4Aより背面物体30に照射光を投影した場合、照射領域である背景光投影領域30aと、照射領域外領域30fと、被照射物体10によって照射できない影領域30dとに、空間が分類できる。
この場合、照明装置は、図36に示すように、照射光投影部4Aの背景光投影領域及び影領域30d_Bから影/光重複領域30e_Bを求めることができ、照射光投影部4Bの背景光投影領域及び影領域30d_Aから影/光重複領域30e_Aを求めて、背面物体30上において照射光が重畳している重複領域30gを求めることができる。そして、第2輝度補正部61は、重複領域30gに照射される照射光に相当する照射光信号に対し、輝度を補正する。これによって、重複領域30gと隣接する影/光重複領域30eにおいて一様な輝度とすることができる。これによって、背面物体30上における輝度ムラを抑えて一様な輝度で背面物体30上への投影を行うことができる。
更に、上述した照明装置は、図37に示すように、被照射物体10と背面物体30とが含まれる領域を算出し、当該領域と複数の照射光投影部4の重複投影領域30hとを一致させるように複数の照射光投影部4を配置する。これにより、照射光投影部4から照射される照射光を重ね合わせても良い。すなわち、各照射光投影部4の投影画角によって確定される投影可能範囲が、重複投影領域30hを含むように2つ以上の照射光投影部4A,4Bを配置する。ここで、照射光投影部4A,4Bが同じ重複投影領域30hに照射光を投影するためには、照明装置によって、それぞれの照射光投影部4A,4Bからみた背面物体30に合わせて補正処理を行うことによってこそ実現できるものである。
これによって、図38に示すように、照射対象領域が照射光投影部4の投影可能範囲で覆われる状態で照射光投影部4を増やす。これにより、重複投影領域30hの全体に対して輝度を増加させることができる。したがって、被照射物体10及び背面物体30を見た観察者からすれば、1個の照射光投影部4から出力したように複数の照射光で投影された被照射物体10及び背面物体30を観察させることができる。
更に、この照明装置は、上述したように照射光を被照射物体10及び背面物体30に投影する場合には、観察者の視点位置を補正パラメータとした映像歪み補正処理を行うことが望ましい。この補正処理は、予め推奨される被照射物体10の視点位置がある場合には、当該視点位置から被照射物体10、背面物体30のそれぞれを観察した時の映像歪みを補正するための補正テーブルを図示しないメモリに格納しておいて、参照する。そして、照明装置は、照射光信号が供給された場合に、補正テーブルに従って照射光信号のうち、コーティング光に相当する照射光信号、背景光に相当する照射光信号のそれぞれについて各画素を座標変換して、映像歪みがない映像とする。これにより、照明装置は、観察者の視点位置から被照射物体10に投影された映像を視認した場合に当該映像が歪みなく観察させるために映像光を歪ませることができる。
また、この照明装置は、観察者の視点位置を計測した値が入力される場合には、当該計測された値から視点位置パラメータを算出しても良い。これにより、照明装置は、視点位置の移動後も、視点位置から歪みなく観賞できるように被照射物体10をコーティングするコーティング光を生成でき、背面物体30へ歪み無く観賞できる背景光を生成できる。
これによって、照射光ではなく、被照射物体10、背面物体30に映像を投影しても、歪み無く映像を視認させることができる。例えば、商品形状を模擬した被照射物体10に対象の商品映像を表示し、背景物体に商品の説明映像などを表示して商品プレゼンを実施できる。また、家具や家電等の形を模擬した被照射物体10に家具や家電等の映像を表示し、背面物体30に室内空間映像を表示してバーチャルショウルームを実施できる。このように、映像を表示することで物体への単なる照明ではなく、バーチャルな空間演出や、デザインレビューなどが実現される。
更に、照明装置は、複数の照射光投影部4によって、相互に視差が与えられた映像光を出射して、被照射物体10、背面物体30に立体映像を表示させることもできる。この場合、照明装置は、立体映像を表示させるための照射光信号を照射光投影部4に供給して、被照射物体10,背面物体30に投影される映像を立体として観察させる。この照明装置は、相互に視差が与えられた右眼用の照射光信号と左眼用の照射光信号とを照射光信号入力部1によって生成し、それぞれの照射光信号に対して、補正処理を施す。
この場合、照明装置は、観察者に右眼と左眼とで透過する映像光の偏光方向が異なる偏光メガネを装着させて、偏光方式又は時分割方式で照射光投影部4から相互に視差が与えられ且つ偏光方向が異なる複数種の照射光を出射する。偏光方式で被照射物体10,背面物体30に立体映像を表示する場合、被照射物体10,背面物体30の表面材料として映像光の偏光方向を保持する素材(シルバー塗装)のものを使用し、照射光投影部4の2個の光出射口から偏光方向が異なる右眼用照射光と左眼用照射光を出射させる。また、時分割方式で被照射物体10,背面物体30に立体映像を表示する場合、1個の光出射口から右眼用照射光と左眼用照射光とを時分割で交互に出射し、右眼用照射光と左眼用照射光との出射タイミングと液晶シャッタメガネの右眼及び左眼シャッタの切り替えタイミングとの同期を取る。
これにより、この照明装置によれば、被照射物体10,背面物体30上の立体映像を歪み無く観察者に観察させることができる。
なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。
本発明を適用した照明装置の機能的な構成を示すブロック図である。 本発明を適用した照明装置によって任意形状の被照射物体をコーティングした様子を示す図である。 照射光投影範囲の全体に光を照射した様子を示す図である。 被照射物体の形状データを示す図である。 本発明を適用した照明システムにおいて、平板状の被照射物体に対するユーザの視点位置、視野角及び距離を示す図である。 本発明を適用した照明システムにおいて、ユーザから平板状の被照射物体を見たときにユーザが視認する映像について説明する図である。 本発明を適用した照明システムにおいて、平板状の被照射物体に対する照射光投影部の投影位置、投影画角及び距離を示す図である。 本発明を適用した照明システムにおいて、照射光投影部から平板状の被照射物体に光投影する様子を説明する図である。 本発明を適用した照明システムにおいて、ユーザからドーム型の被照射物体を見たときにユーザが視認する映像について説明する図である。 本発明を適用した照明システムにおいて、照射光投影部からドーム型の被照射物体に光投影する様子を説明する図である。 本発明を適用した照明装置の動作手順を示すフローチャートである。 本発明を適用した照明装置によって照射光を補正せずに投影した様子を示す上面図である。 本発明を適用した照明装置によって照射光を補正して投影した様子を示す上面図である。 本発明を適用した照明装置によって他の照射光投影部から補正した照射光を投影した様子を示す上面図である。 本発明を適用した照明装置によって複数の照射光投影部から補正した照射光を投影した様子を示す上面図である。 他の被照射物体の形状データを示す図である。 本発明を適用した照明装置において、複数の照射光投影部によって重複領域を形成した様子を示す上面図である。 本発明を適用した照明装置における座標演算について説明する上面図である。 本発明を適用した他の照明装置の機能的な構成を示すブロック図である。 本発明を適用した他の照明装置の動作手順を示すフローチャートである。 背面物体の形状データを示す図である。 本発明を適用した他の照明装置において、単一の照射光投影部によって被照射物体及び背面物体に照射光を投影する様子を示す上面図である。 本発明を適用した他の照明装置において、他の照射光投影部によって被照射物体及び背面物体に照射光を投影する様子を示す上面図である。 本発明を適用した他の照明装置において、複数の照射光投影部によって被照射物体及び背面物体に照射光を投影する様子を示す上面図である。 本発明を適用した他の照明装置において、背面物体上に重複領域を設けるように複数の照射光投影部することを説明する上面図である。 本発明を適用した他の照明装置において、被照射物体及び背面物体上に背面物体を設けるように複数の照射光投影部することを説明する上面図である。 本発明を適用した他の照明装置の機能的な構成を示すブロック図である。 本発明を適用した他の照明装置の動作手順を示すフローチャートである。 本発明を適用した他の照明装置において輝度を補正する輝度テーブルについて説明する図である。 本発明を適用した他の照明装置の機能的な構成を示すブロック図である。 本発明を適用した他の照明装置の動作手順を示すフローチャートである。 本発明を適用した他の照明装置において、単一の照射光投影部によって被照射物体及び背面物体に照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、他の照射光投影部によって被照射物体及び背面物体に照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、複数の照射光投影部によって被照射物体及び背面物体に照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、単一の照射光投影部によって被照射物体及び背面物体に照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、複数の照射光投影部によって被照射物体及び背面物体に照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、同一の重複投影領域に向けて複数の照射光投影部によって照射光を投影した様子を示す上面図である。 本発明を適用した他の照明装置において、同一の重複投影領域に向けて更に多数の照射光投影部によって照射光を投影した様子を示す上面図である。
符号の説明
1 照射光信号入力部
2 第1照射光信号補正部
3 照射光生成部
4A,4B 照射光投影部
5 被照射物体パラメータ入力部
6 照射光投影パラメータ入力部
10 被照射物体
10a,10b コーティング領域
10c,30c 重複領域
21 第2照射光信号補正部
22 背面物体パラメータ入力部
23 照射光特性設定部
30 背面物体
30a,30b 背景光投影領域
30c 重複領域
30d 影領域
30e 影/光重複領域
30f 照射領域外領域
30g 重複領域
30h 重複投影領域
41 第1輝度補正部
50 輝度マップ
50a 中央部
50b 終端部
61 第2輝度補正部
100 形状データ
100a 上面形状データ
100b 正面形状データ
100c 側面形状データ
100d 任意角度形状データ

Claims (10)

  1. 任意形状の被照射物体に向けて照射光を投影する照明装置であって、
    前記被照射物体に照射光を投影する複数の照射光投影手段と、
    照射光信号を入力する照射光信号入力手段と、
    前記被照射物体に前記照射光を照射させたときに、前記被照射物体を照射光でコーティングさせるように前記照射光信号入力手段により入力した照射光信号を補正するコーティング補正手段と、
    前記コーティング補正手段により補正された照射光信号を用いて、照射光を生成して前記照射光投影手段から投影させる照射光生成手段とを備え、
    前記コーティング補正手段は、前記被照射物体の3次元形状、位置及び姿勢を含む被照射物体パラメータと、前記照射光投影手段ごとの位置及び姿勢を含む照射光投影パラメータとに基づく各照射光投影手段から見た前記被照射物体の輪郭に従って、前記照射光投影手段ごとに前記照射光信号を補正して、複数の前記照射光投影手段から照射された照射光によって前記被照射物体を多方向からコーティングさせるように前記照射光信号を補正する第1の照射光信号補正手段を有し、
    前記照射光生成手段は、前記第1の照射光信号補正手段により補正された前記照射光投影手段ごとの照射光信号を用いて、複数の照射光を生成すること
    を特徴とする照明装置。
  2. 前記被照射物体の表面を分割した投影領域を前記照射光投影手段ごとに設定し、当該各照射光投影手段によって各分割領域を照射した時に、隣り合う分割領域の境界を含む領域にて、異なる照射光投影手段によって投影されている照射光が重複するように複数の照射光投影手段が配置されていることを特徴とする請求項1に記載の照明装置。
  3. 前記コーティング補正手段は、前記被照射物体の背後に存在する任意形状の背面物体の3次元形状、位置及び姿勢を含む背面物体パラメータに基づいて、各照射光投影手段によって照射する照射光を、前記被照射物体をコーティングするコーティング光と前記被照射物体の背景となる背景光とに分割するように前記照射光信号を補正する第2の照射光信号補正手段と、
    前記第2の照射光信号補正手段によって補正されたコーティング光を表す照射光信号と、前記背景光を表す照射光信号とのそれぞれに照射光特性を設定して、前記照射光生成手段によってコーティング光及び背景光を含む照射光を生成させる照射光特性設定手段と
    を備えることを特徴とする請求項1又は請求項2に記載の照明装置。
  4. 前記背面物体の表面を分割した投影領域を前記照射光投影手段ごとに設定し、当該各照射光投影手段によって各分割領域を照射した時に、隣り合う分割領域の境界を含む領域にて、異なる照射光投影手段によって投影されている照射光が重複するように複数の照射光投影手段が配置されていることを特徴とする請求項3に記載の照明装置。
  5. 異なる照射光投影手段から照射されたコーティング光及び背面光が重複している重複領域を算出し、当該重複領域の境界付近にて輝度が一様になるように各照射光投影手段から投影している照射光の輝度を補正する第1の輝度補正手段を備えることを特徴とする請求項2又は請求項4に記載の照明装置。
  6. 前記照射光投影手段から投影された照射光によって前記被照射物体を照射した場合に前記背面物体に発生する影領域を算出する影領域算出手段と、
    前記影領域算出手段により算出された影領域のうち、他の前記照射光投影手段から照射光が投影される照射領域と重複する前記影領域である影重複範囲を算出する影重複範囲算出手段とを備え、
    前記照射光特性設定手段は、前記影重複範囲算出手段で算出された影重複範囲に投影する照射光の照射光特性を設定し、
    前記照射光生成手段は、前記照射光特性設定手段により設定された影重複範囲に投影する照射光の照射光特性を設定すること
    を特徴とする請求項3乃至請求項5の何れか一項に記載の照明装置。
  7. 複数の前記照射光投影手段から前記背面物体に照射される照射光の重複領域を算出し、当該重複領域の境界付近にて輝度が一様になるように各照射光投影手段から投影している照射光の輝度を補正する第2の輝度補正手段を備えることを特徴とする請求項6に記載の照明装置。
  8. 前記被照射物体と前記背面物体とが含まれる領域を算出し、当該領域と複数の前記照射光投影手段の投影領域とを一致させるように複数の照射光投影手段を配置して、前記照射光投影手段から照射される照射光を重ね合わせることを特徴とする請求項1乃至請求項7の何れか一項に記載の照明装置。
  9. 前記照射光信号入力手段は、前記照射光信号として、時間軸上で画像を更新する映像光信号を入力し、
    前記被照射物体を観察する観察者の視点位置を入力する視点位置入力手段と、
    前記視点位置入力手段により入力した観察者の視点位置から前記被照射物体に投影された映像を視認した場合に当該映像が歪みなく観察させるために映像光を歪ませるように前記映像光信号に補正をする歪み補正手段と
    を備えることを特徴とする請求項1乃至請求項8の何れか一項に記載の照明装置。
  10. 前記照射光投影手段は、1又は複数の映像光出射部から相互に視差が与えられた映像光を出射して、前記被照射物体に立体映像を表示させることを特徴とする請求項9に記載の照明装置。
JP2008261573A 2007-10-17 2008-10-08 照明装置 Expired - Fee Related JP4270329B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008261573A JP4270329B1 (ja) 2007-10-17 2008-10-08 照明装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007270175 2007-10-17
JP2008261573A JP4270329B1 (ja) 2007-10-17 2008-10-08 照明装置

Publications (2)

Publication Number Publication Date
JP4270329B1 JP4270329B1 (ja) 2009-05-27
JP2009117351A true JP2009117351A (ja) 2009-05-28

Family

ID=40567322

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008261573A Expired - Fee Related JP4270329B1 (ja) 2007-10-17 2008-10-08 照明装置

Country Status (5)

Country Link
US (1) US8730320B2 (ja)
EP (1) EP2202448A4 (ja)
JP (1) JP4270329B1 (ja)
CN (1) CN101828068B (ja)
WO (1) WO2009051054A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011138893A1 (ja) * 2010-05-06 2011-11-10 パナソニック電工株式会社 光投影装置
WO2012160913A1 (ja) 2011-05-23 2012-11-29 パナソニック株式会社 光投影装置

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010137496A1 (ja) * 2009-05-26 2010-12-02 パナソニック電工株式会社 情報提示装置
JP6304618B2 (ja) * 2013-11-05 2018-04-04 パナソニックIpマネジメント株式会社 照明装置
US9693023B2 (en) * 2014-02-05 2017-06-27 Panasonic Intellectual Property Management Co., Ltd. Monitoring apparatus, monitoring system, and monitoring method
JP6494239B2 (ja) * 2014-10-27 2019-04-03 キヤノン株式会社 制御装置、制御方法、及び、プログラム
JP6726967B2 (ja) * 2016-01-19 2020-07-22 三菱電機株式会社 輝度ムラ測定装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05249428A (ja) * 1992-03-05 1993-09-28 Koudo Eizou Gijutsu Kenkyusho:Kk 投影システム
US6554431B1 (en) 1999-06-10 2003-04-29 Sony Corporation Method and apparatus for image projection, and apparatus controlling image projection
US7002589B2 (en) * 2000-03-17 2006-02-21 Sun Microsystems, Inc. Blending the edges of multiple overlapping screen images
JP3497805B2 (ja) 2000-08-29 2004-02-16 オリンパス株式会社 画像投影表示装置
US7068274B2 (en) * 2001-08-15 2006-06-27 Mitsubishi Electric Research Laboratories, Inc. System and method for animating real objects with projected images
US7001023B2 (en) * 2003-08-06 2006-02-21 Mitsubishi Electric Research Laboratories, Inc. Method and system for calibrating projectors to arbitrarily shaped surfaces with discrete optical sensors mounted at the surfaces
US7488079B2 (en) 2004-07-21 2009-02-10 Thinc Design, Inc. System and method for projecting images onto a moving screen
EP1784978B1 (de) * 2004-08-30 2010-11-10 Bauhaus-Universität Weimar Verfahren und vorrichtung zur darstellung eines digitalen bildes auf einer geometrisch und photometrisch nicht-trivialen oberfläche
JP4274154B2 (ja) 2005-05-31 2009-06-03 富士ゼロックス株式会社 立体表示装置
JP2007028273A (ja) * 2005-07-19 2007-02-01 Realviz:Kk 映像歪み補正方法及び同方法用プログラム
JP2007036543A (ja) * 2005-07-26 2007-02-08 Fuji Xerox Co Ltd 遠隔指示システム及び遠隔指示方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011138893A1 (ja) * 2010-05-06 2011-11-10 パナソニック電工株式会社 光投影装置
JP2011238370A (ja) * 2010-05-06 2011-11-24 Panasonic Electric Works Co Ltd 光投影装置
WO2012160913A1 (ja) 2011-05-23 2012-11-29 パナソニック株式会社 光投影装置
US9217865B2 (en) 2011-05-23 2015-12-22 Panasonic Intellectual Property Management Co., Ltd. Light projection device

Also Published As

Publication number Publication date
CN101828068A (zh) 2010-09-08
WO2009051054A1 (ja) 2009-04-23
CN101828068B (zh) 2011-11-30
US8730320B2 (en) 2014-05-20
JP4270329B1 (ja) 2009-05-27
EP2202448A1 (en) 2010-06-30
EP2202448A4 (en) 2013-04-24
US20100225748A1 (en) 2010-09-09

Similar Documents

Publication Publication Date Title
US11928838B2 (en) Calibration system and method to align a 3D virtual scene and a 3D real world for a stereoscopic head-mounted display
JP4379532B2 (ja) 照明装置
US11269244B2 (en) System and method for calibrating a display system using manual and semi-manual techniques
JP4270329B1 (ja) 照明装置
CN102449680B (zh) 信息呈现装置
US7068274B2 (en) System and method for animating real objects with projected images
JP7033606B2 (ja) 多視点コンテンツを配信するための表示システムおよび方法
US7019748B2 (en) Simulating motion of static objects in scenes
US20100110068A1 (en) Method, apparatus, and computer program product for generating stereoscopic image
US20050264559A1 (en) Multi-plane horizontal perspective hands-on simulator
CN101558655A (zh) 三维投影显示器
US20060126927A1 (en) Horizontal perspective representation
US10412527B1 (en) Head-related transfer function determination using base stations
KR101556481B1 (ko) 워터스크린 3차원 영상 맵핑 디스플레이 장치 및 방법
JP2004318612A (ja) 画像合成方法、装置、およびプログラム、ならびに立体モデルのレンダリング方法、装置、およびプログラム
JP5258387B2 (ja) 照明装置、空間演出システム
JP4925369B2 (ja) 照明装置
KR101860680B1 (ko) 3d 증강 프리젠테이션 구현 방법 및 장치
JP4627590B2 (ja) 曲面スクリーン
JP4704552B2 (ja) 曲面スクリーンの組立方法
JP4279446B2 (ja) 立体角表示装置
Domeneghetti et al. A Rendering Engine for Integral Imaging in Augmented Reality Guided Surgery
JP2002304635A (ja) 模様画像作成方法および装置
JP2002352264A (ja) 模様画像作成方法および装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090216

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4270329

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120306

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130306

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140306

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees