JP2003153136A - 画像投影システム - Google Patents

画像投影システム

Info

Publication number
JP2003153136A
JP2003153136A JP2001352110A JP2001352110A JP2003153136A JP 2003153136 A JP2003153136 A JP 2003153136A JP 2001352110 A JP2001352110 A JP 2001352110A JP 2001352110 A JP2001352110 A JP 2001352110A JP 2003153136 A JP2003153136 A JP 2003153136A
Authority
JP
Japan
Prior art keywords
image
position information
data
processing
projection system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2001352110A
Other languages
English (en)
Other versions
JP3733321B2 (ja
Inventor
Kenji Nakamura
健次 中村
Kensuke Ishii
謙介 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Optical Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Optical Co Ltd filed Critical Olympus Optical Co Ltd
Priority to JP2001352110A priority Critical patent/JP3733321B2/ja
Publication of JP2003153136A publication Critical patent/JP2003153136A/ja
Application granted granted Critical
Publication of JP3733321B2 publication Critical patent/JP3733321B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 【課題】 鑑賞位置に応じた良質な画像を鑑賞すること
が可能な画像投影システムを提供する。 【解決手段】 入力画像データ2に対して所定の処理を
施すための処理用データを記憶するデータ記憶手段17
と、処理用データを取得する際の測定位置情報を取得す
る測定位置情報取得手段16と、測定位置情報毎に記憶
された処理用データを用いて入力画像データに対して所
定の処理を施す画像処理手段4と、画像処理手段によっ
て処理された画像データに基づく画像の少なくとも一部
を投影する複数の画像投影手段7a〜7dとを具備す
る。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、複数台の画像投影
手段からの投影画像をスクリーン上で貼り合わせて1枚
の高精細な画像を表示する画像投影システムに関する。
【0002】
【従来の技術】複数台の画像投影手段からの投影画像を
スクリーン上で貼り合わせて(合成して)1枚の高精細
な画像を表示する画像投影システムが提案されている
(例えば、特開平9-326981号公報)。図19は、このよ
うなシステムの一例を示したものである。
【0003】図に示したシステムは、大きく分けて、画
像・原稿を作成して高精細画像データ2を出力するパー
ソナルコンピュータ(以下、パソコンと称する)1と、
パソコン1からの高精細画像データ2を処理・分割して
出力するプロジェクタ・コントローラ3と、複数のプロ
ジェクタ7a〜7dとで構成されている。
【0004】前記プロジェクタ・コントローラ3は、画
像処理・分割部4と、プロジェクタ配置記憶部5と、D
/A変換部6とからなる。また、ここでは図示していな
いが、各機能をコントロールする制御部も含まれてい
る。
【0005】パソコン1で作成された高精細画像データ
2は、プロジェクタ・コントローラ3の画像処理・分割
部4へと出力される。画像処理・分割部4では、予めプ
ロジェクタ配置記憶部5に記憶されたパラメータに基づ
いて、各プロジェクタ7a〜7dに高精細画像データ2
のどの部分を出力するかを決定し、所定の処理が行われ
る。画像処理・分割部4の信号は複数のD/A変換部6
へと出力され、D/A変換部6にてアナログ信号に変換
された後、プロジェクタ7a〜7dにより画像がスクリ
ーン8上に投影される。このようにして、スクリーン8
上に投影された投影画像9は、各画像が正確に位置合わ
せされた高精細な画像となる。
【0006】しかしながら、上述した従来技術では、観
客の視点位置を1箇所に想定して予めスクリーン8の撮
影を行い(1箇所という言及はされていないものの内容
的には明らかである)、その撮影位置で得られたパラメ
ータに基づいて画像処理・分割を行っている。そのた
め、その位置から見た場合には最適な画像となるが、撮
影位置から外れた位置から画像を鑑賞した場合には、ス
クリーンの指向性等によってつなぎ目が目立つという問
題が生じる。
【0007】ここで、指向性について図20を用いて説
明する。指向性とは、入射光に対してスクリーンでの拡
散光が一様でないため、鑑賞位置によって出力光の強さ
が変わってしまう現象である。ここでは説明の簡単化の
ため、2台のプロジェクタから画像をリア式スクリーン
へ投影したときの貼り合わせ画像を想定する。
【0008】プロジェクタ7a及び7dからスクリーン
8上に画像を投影し、投影画像9を鑑賞者10が鑑賞し
たと仮定する。撮影位置と同じ位置(例えば鑑賞者10
の位置)から鑑賞した場合、その位置におけるパラメー
タ情報を用いて投影画像9は作成されているため、鑑賞
者10には分割画像部9a、オーバーラップ部9e及び
分割画像部9dがきれいに貼り合わさった1枚の画像と
して認識される。しかしながら、同じ投影画像9を例え
ば鑑賞者11の位置から見た場合には、オーバーラップ
部9e付近の分割画像部9d’においては出力光が大き
く減少するのに対し、オーバーラップ部9eではプロジ
ェクタ7aからの出力光の強度12aの減少と同時にプ
ロジェクタ7dからの出力光の強度12dの増大が起こ
るため、オーバーラップ部9eでの出力光の強度の総和
は大きくは変化しない。その結果、分割画像部9d’で
は、オーバーラップ部9eと比べて全体に暗く鑑賞さ
れ、つなぎ目が認識されるようになってしまう。鑑賞者
11と反対の位置(鑑賞者13)などから鑑賞した場合
も同様の現象が起こる。
【0009】また、作成された高精細画像を鑑賞する時
に、ある時は暗室であったり、ある時は任意の色温度を
持った照明下であったり、周囲の状況は常に一定である
とは限らない。従来の技術では、高精細画像を任意の照
明下で鑑賞した場合には、本来コンテンツの持っている
正しい色とは異なった状態で鑑賞されてしまう。
【0010】さらに、立体映像を表示させる場合におい
て、前記鑑賞者10から鑑賞した場合には立体として認
識されるが、鑑賞者11或いは13から鑑賞した場合に
は立体として認識されないといった問題も生じる。
【0011】
【発明が解決しようとする課題】以上のように、複数台
の画像投影手段からの投影画像をスクリーン上で貼り合
わせて1枚の高精細な画像を表示する画像投影システム
が提案されているが、従来は、1箇所の撮影位置(パラ
メータ取得位置)で得られたパラメータデータに基づい
て画像処理・分割処理を行っていたため、それ以外の位
置からスクリーン上の画像を鑑賞した場合には、つなぎ
目が目立つ、正しい色が再現できない、立体映像が立体
として認識されない等、良質な画像を鑑賞できないとい
う問題があった。
【0012】本発明は上記従来の課題に対してなされた
ものであり、鑑賞位置に応じた良質な画像を鑑賞するこ
とが可能な画像投影システムを提供することを目的とし
ている。
【0013】
【課題を解決するための手段】本発明に係る画像投影シ
ステムは、入力画像データに対して所定の処理を施すた
めの処理用データを記憶するデータ記憶手段と、前記処
理用データを取得する際の測定位置情報を取得する測定
位置情報取得手段と、前記測定位置情報毎に記憶された
前記処理用データを用いて入力画像データに対して所定
の処理を施す画像処理手段と、前記画像処理手段によっ
て処理された画像データに基づく画像の少なくとも一部
を投影する複数の画像投影手段と、を具備することを特
徴とする(発明Aとする)。
【0014】前記発明Aの好ましい態様は以下の通りで
ある。
【0015】・前記処理用データを取得するためのデー
タ取得手段を、さらに具備する。
【0016】・鑑賞者の鑑賞位置情報を取得する鑑賞位
置情報取得手段と、前記鑑賞位置情報に関連した前記測
定位置情報に基づく前記処理用データを用いて処理され
た画像データの選択及び切替えを行う画像選択切替え手
段と、をさらに具備する。
【0017】また、本発明に係る画像投影システムは、
入力画像データに対して所定の処理を施すための処理用
データを取得するデータ取得手段と、前記処理用データ
を取得する際の測定位置情報を取得する測定位置情報取
得手段と、鑑賞者の鑑賞位置情報を取得する鑑賞位置情
報取得手段と、前記測定位置情報及び前記鑑賞位置情報
に基づき、前記処理用データを用いて入力画像データに
対して所定の処理を施す画像処理手段と、前記画像処理
手段によって処理された画像データに基づく画像の少な
くとも一部を投影する複数の画像投影手段と、を具備す
ることを特徴とする(発明Bとする)。
【0018】前記発明A及び発明Bの好ましい態様は以
下の通りである。
【0019】・前記測定位置情報取得手段は、前記処理
用データを取得する際の複数の測定位置情報を記憶する
測定位置情報記憶手段を含む。
【0020】・前記画像処理手段は、前記複数の画像投
影手段によって正確な画像を投影するための処理に必要
なパラメータであって前記測定位置情報毎に記憶された
配置パラメータを用いて画像分割処理を行う画像分割処
理手段と、前記画像分割処理手段によって得られた画像
データを前記測定位置情報毎に区別して保持する画像保
持手段と、を含む。
【0021】・前記画像処理手段は、前記複数の画像投
影手段によって投影される画像の色味を調整するための
処理に必要なパラメータであって前記測定位置情報毎に
記憶された色情報パラメータを用いて画像分割処理を行
う画像分割処理手段を含む。
【0022】・前記画像処理手段は、前記複数の画像投
影手段によって正確な画像を投影するための処理に必要
なパラメータであって前記測定位置情報毎に算出された
配置パラメータを用いて画像分割処理を行う画像分割処
理手段と、前記画像分割処理手段によって得られた画像
データを前記測定位置情報毎に区別して保持する画像保
持手段と、を含む。
【0023】・前記画像処理手段は、前記複数の画像投
影手段によって投影される画像の色味を調整するための
処理に必要なパラメータであって前記測定位置情報毎に
算出された色情報パラメータを用いて画像分割処理を行
う画像分割処理手段を含む。
【0024】・前記色情報パラメータは、三原色の色
味、γ、シェーディング及びゲインに関するパラメータ
のなかの少なくとも一つを含む。
【0025】・前記鑑賞位置情報取得手段は、鑑賞者の
分布を検出する鑑賞分布検出手段を含む。
【0026】・前記鑑賞位置情報取得手段は、位置信号
を発信する鑑賞位置発信手段と、前記鑑賞位置発信手段
が発信した位置信号を検出する鑑賞位置検出手段と、を
含む。
【0027】・前記画像投影手段によって立体映像表示
を行うための立体映像表示手段をさらに具備する。
【0028】・平面映像表示と立体映像表示の切替えを
行う表示切替え手段をさらに具備する。
【0029】・前記画像投影手段によって三次元映像を
表示するための三次元映像表示手段をさらに具備する。
【0030】・表示されているコンテンツを撮影したと
きの照明条件を取得する撮影照明条件取得手段と、前記
撮影されたコンテンツを鑑賞しているときのスクリーン
への照明条件を取得する鑑賞照明条件取得手段と、前記
撮影照明条件取得手段によって取得された照明条件及び
前記鑑賞照明条件取得手段によって取得された照明条件
に応じて前記色情報パラメータを修正する色情報修正手
段と、をさらに具備する。
【0031】・表示されている画像を取得する表示画像
取得手段と、前記表示画像取得手段によって取得された
画像のコンテンツに基づいて鑑賞環境を設定する環境設
定手段と、前記環境設定手段からの命令に基づいて鑑賞
環境を変化させる環境操作手段と、をさらに具備する。
【0032】・前記測定位置情報を、スクリーンに取り
付けられた撮影手段によって撮影された撮影情報に基づ
いて取得する。
【0033】・前記測定位置情報は、前記データ取得手
段の位置情報に基づいて取得される。
【0034】・前記入力画像データは、デジタルデータ
又はアナログデータである。
【0035】
【発明の実施の形態】以下、本発明の実施形態を図面を
参照して説明する。
【0036】(第1の実施形態)図1は、本発明の第1
の実施形態に係る画像投影システムの構成例を示した図
である。
【0037】図1に示したシステムは、画像や原稿を作
成して高精細画像データ2を出力するパーソナルコンピ
ュータ(パソコン)1と、パソコン1からの高精細画像
データ2に画像処理や分割処理を施して、処理された画
像データを出力するプロジェクタ・コントローラ3と、
プロジェクタ・コントローラ3からの画像データに基づ
いてスクリーン8上に画像を投影する複数のプロジェク
タ7a〜7dとを有しており、プロジェクタ7a〜7d
から投影された画像がスクリーン8上で合成されて1枚
の高精細な画像として表示される。
【0038】プロジェクタ・コントローラ3は、画像処
理・分割部4と、画像処理・分割部4で処理されたデー
タをD/A変換するD/A変換部6と、画像処理・分割
部4での処理に用いる処理データ等を記憶するデータ記
憶部17とを備えている。また、このプロジェクタ・コ
ントローラ3には、各機能をコントロールする制御部
(図示せず)も含まれている。なお、図1においてはデ
ータ記憶部17はプロジェクタ・コントローラ3に含ま
れているが、データ記憶部17はプロジェクタ・コント
ローラ3の外部に別体で備えてもよい(図示せず)。あ
るいは、パソコン1がデータ記憶部17の役割を兼ねて
もよい。
【0039】データ記憶部17には、デジタルカメラ1
4及び測色計15で得られたデータが入力するようにな
っている。デジタルカメラ14及び測色計15は、スク
リーン8上に基準画像や単色画像といった所定の画像を
投影したときのスクリーン8上の表示状態に関するデー
タを取得する(測定する)ためのものである。データ取
得に際しては、スクリーン8に対するデジタルカメラ1
4及び測色計15の位置(方向)を変えて、複数の測定
位置でデータ測定を行う。デジタルカメラ14及び測色
計15は、スクリーン8とプロジェクタ7a〜7dを含
んだプロジェクションシステムに内蔵されていてもよい
し、プロジェクションシステムから分離して設けられて
いてもよい。
【0040】デジタルカメラ14及び測色計15による
データ取得位置情報(測定位置情報)は、データ取得位
置入力部(例えばキーボード等)16からデータ記憶部
17へ供給するようにしてもよいし、デジタルカメラ1
4や測色計15にGPS機能を設け、測定データ取得時
に測定データとともに供給するようにしてもよい。
【0041】デジタルカメラ14がカラーに対応してい
る場合には、測色計15を設ける必要はない。この場
合、必ずしもカラーカメラでなくともよく、モノクロカ
メラにカラーフィルタを取り付ける等、色情報が取得で
きるものであればよい。また、プロジェクタ7a〜7d
がデジタル出力に対応していれば、D/A変換部6を設
ける必要はない。
【0042】図2は、図1のデータ記憶部17の詳細を
示したものである。このデータ記憶部17は、デジタル
カメラ14及び測色計15によって取得された測定デー
タからパラメータを算出するパラメータ算出部18と、
算出されたパラメータを記憶するパラメータ記憶部19
とから構成されている。また、このデータ記憶部17に
は、データ取得位置入力部16からのデータ取得位置情
報すなわち測定位置情報(或いはデジタルカメラ14及
び測色計15から直接供給される測定位置情報)を記憶
する測定位置情報記憶部が含まれていてもよい。
【0043】図3は、図1の画像処理・分割部4の詳細
を示したものである。表示画像選択部20には、パソコ
ン1から高精細画像データ2が入力され、入力画像デー
タはプロジェクタの個数に対応したn個の画像データ
(図1に示した例では、プロジェクタ7a〜7dに対応
した4個の画像データ)に分割される。n個の画像デー
タはそれぞれ演算部21−1〜21−nに入力し、演算
部21−1〜21−n及び係数設定部22等によって演
算処理が行われる。演算部21−1〜21−n及び係数
設定部22には、パラメータ記憶部19から、デジタル
カメラ14及び測色計15の各測定位置(本例では、測
定位置はi箇所とする)におけるパラメータ情報が入力
するようになっており、測定位置毎の演算が行われる。
各測定位置の演算結果は、それぞれ分割画像保存部23
−1〜23−iに記憶される。各分割画像保存部23−
1〜23−iには、それぞれプロジェクタn台分のn枚
の画像が含まれ、分割画像保存部23−1〜23−i全
体としてはn台×i箇所=n×i枚の画像が保持され
る。
【0044】分割画像保存部23−1〜23−iには分
割画像選択・切替部24が接続されており、想定鑑賞位
置入力部25からの鑑賞位置情報に基づき、鑑賞位置に
対応する測定位置の画像データが分割画像選択・切替部
24によって選択され、選択された画像データがD/A
変換部6へ送られる。
【0045】図4は、図2のパラメータ記憶部19の詳
細を示したものである。パラメータ算出部18によって
測定位置毎に算出された配置パラメータ27−1〜27
−i及び色情報パラメータ28−1〜28−iは、パラ
メータ部26−1〜26−iに保持される。パラメータ
部26−1〜26−iにはパラメータ選択・切替部29
が接続されており、想定鑑賞位置入力部25からの鑑賞
位置情報に基づき、鑑賞位置に対応する測定位置のパラ
メータがパラメータ選択・切替部29によって選択され
たパラメータが画像処理・分割部4へと送られる。
【0046】図5は、図2のパラメータ算出部18の詳
細を示したものである。デジタルカメラ14及び測色計
15によって測定位置毎に取得された配置データ31−
1〜31−i及び色情報データ32−1〜32−iは、
データ部30−1〜30−iに入力する。例えば、配置
データ31−1からは、あおり量算出部33、あおり量
補正部34及びシフト・回転量算出部35によって配置
パラメータが算出され、パラメータ記憶部19内のパラ
メータ部26−1に送られる(詳細は、特開平09-32698
1号公報に開示されている)。また、色情報データ32
−1からは、色マトリックス算出部36、γ補正算出部
37及びシェーディング・ゲイン係数算出部38によっ
て色情報パラメータが算出され、パラメータ記憶部19
内のパラメータ部26−1に送られる。図示しないが、
配置データ31−2〜31−i及び色情報データ32−
2〜32−iも同様にして処理が行われ、パラメータ記
憶部19に送られる。
【0047】以上のように、本実施形態では、デジタル
カメラや測色計等により、予め複数の測定位置において
スクリーン上の表示状態に関するデータを測定位置毎に
取得しておく。そして、測定位置毎のデータを用いて入
力画像データに対して画像処理等を行い、鑑賞位置に対
応する測定位置情報に基づいて処理された画像を、複数
台のプロジェクタからスクリーン上に投影して1枚の高
精細な画像を表示する。したがって、従来のように測定
位置(データ取得位置)と鑑賞位置とが異なることに起
因してスクリーン上の画像の見映えが低下するといった
問題を回避することができ、鑑賞位置によらず高品質の
画像を鑑賞することができる。
【0048】(第2の実施形態)本発明の第2の実施形
態を図6及び図7を参照して説明する。なお、第1の実
施形態で示した構成要素と対応する構成要素には同一の
参照番号を付し、それらの詳細な説明は省略する(他の
実施形態も同様)。
【0049】本実施形態は、図6に示すように、カメラ
(例えば監視カメラのようなもの)39により、観客の分
布(様子)を常に把握できるようにしたものである。す
なわち、カメラ39で撮影された画像情報が観客分布観
測部40に送られ、観客分布観測部40によって得られ
た観客の分布情報がプロジェクタ・コントローラ3へ送
られる。
【0050】図7は、観客分布観測部40の詳細を示し
たものである。カメラ39で得られた映像に基づき観客
分布算出部41によって観客の分布状態が算出され、観
客分布算出部41での算出結果は観客分布記憶部42に
記憶される。観客分布記憶部42からの情報は最適位置
方向選択部43に送られ、最適位置方向選択部43によ
って好ましい位置(一般的には最も観客の多い位置)に
最も近いデータ取得位置を選択し、その位置情報を分割
画像選択・切替部24に送る。分割画像選択・切替部2
4によって、送られてきた位置情報に基づいて最適な画
像を選択することで、最も好ましい画像をより多くの観
客に提供することができる。なお、図7の例では観客分
布記憶部42を設けたが、この観客分布記憶部42を省
略して観客分布算出部41からの情報を最適位置方向選
択部43へ直接入力するようにしてもよい。
【0051】上述した一連の処理は、例えば、最初に作
業者がモニターで分布情報の取得を行い、その後は画像
の切替・表示までをオートで行う。或いは、時間だけを
最初に設定しておき、例えば15分おきに自動的に分布
情報を取得するようにして、フルオート化してもよい。
また、最も好ましい位置を観客数で判断するのではな
く、特定の人物(VIP)に重みをかけて判断するように
してもよい。
【0052】モニター(カメラ39)はスクリーン8に
取り付けられていてもいなくてもよく、その機構は、レ
ール上に設置され水平・垂直方向に移動可能で観客席全
体にわたってモニター可能なものでもよいし、位置は固
定で回転して観客席全体が180度近くパンニングでき
るものでもよい。両者が混在する機構でもよい。要する
に、観客席全体の情報が取得できるのであれば、その方
式は問わない。
【0053】このように、本実施形態では、観客(鑑賞
者)の位置情報を取得し、その位置情報に対応するデー
タ取得位置を選択し、選択された位置に応じた画像をス
クリーンに投影するため、観客の分布等に応じた最適な
画像を提供することが可能となる。
【0054】(第3の実施形態)上述した第2の実施形
態では、カメラ39からのデータに基づいて算出された
位置情報を分割画像選択・切替部24に送るようにした
が、例えば記憶容量の都合上等により分割画像をそれほ
ど多く保存できない場合(例えば、図3の分割画像保存
部23−1〜23−i等に保存できない場合)もある。
そのような場合には、図8に示すように、観客分布観測
部40からの最適位置情報をパラメータ選択・切替部2
9に送り、その情報に基づいてパラメータ26−1〜2
6−iを選択し(図4参照)、選択されたパラメータに
よって画像処理・分割を行い、画像処理・分割結果を保存
せずにダイレクトに最適な表示に切り替えてもよい。
【0055】本実施形態では、第2の実施形態のように
予め様々な撮影位置でのデータによって画像処理・分割
処理した画像を保持しておく場合に比べて、画像処理・
分割処理に時間を要することになるが、画像処理・分割
された画像を予め保存できないような場合に効果的であ
る。
【0056】(第4の実施形態)上述した第2の実施形
態では、カメラ39は観客の分布をモニタリングするた
めにのみ用いたが、本実施形態では、このカメラ39を
それ以外の目的にも用いている。具体的には、本実施形
態では、図9に示すように、カメラ39によってデジタ
ルカメラ14等のデータ取得用機器の位置をデータ取得
位置毎に撮影し、その撮影結果に基づきデータ取得位置
算出部44によってデータ取得用機器の位置を算出し、
その算出結果からデータ取得時の位置情報を得るように
する。
【0057】(第5の実施形態)本発明の第5の実施形
態を図10を参照して説明する。
【0058】上述した第1〜第4の実施形態では、観客
の動きがさほどない(ゆるやかな)場合を想定したが、
本実施形態では、観客が例えばコースター45等の乗り
物に乗りながらスクリーン8を見た場合にも対応できる
ようにしている。すなわち、対象とする乗り物等に発信
部46(センサ)を取り付けて、位置受信部47でコー
スター45の位置を受信しながら最適位置を決定し、コ
ースター45の動きに合わせて自動的に最適な画像に画
面が切り替わるようにしている。
【0059】また、第2の実施形態において特定の人物
(VIP)に重みを置いて最適位置の算出を行う方法に
ついて述べたが、一人の対象者を完全に決め、その対象
者の位置を検出しながら検出位置に対応したパラメータ
に基づいた画面に切り替えるようにしてもよい。対象者
の位置の検出方法としては、カメラでチェックする、セ
ンサや発信機付きの入場カードを対象者にわたす、鑑賞
エリアの床一体にセンサを配置させておく等、対象者が
特定できればその方法は問わない。また、コースター4
5に取り付ける発信部46の位置は前後左右問わない
し、その個数が2以上でもよい。また、走っている線路
(コース)上に発信部46を取り付けておいてもよい。
【0060】本実施形態においても、図7や図8に示し
たのと同様、図11や図12に示すように、位置受信部
47からのデータに基づいて算出された最適位置情報
を、分割画像選択・切替部24に適用してもよいし(図
11)、パラメータ選択・切替部29に適用してもよい
(図12)。
【0061】このように、本実施形態では、鑑賞位置か
らの位置信号によって位置情報を取得するので、観客等
が移動するような場合にも、移動位置に応じて的確な画
像を供給することができる。
【0062】(第6の実施形態)本実施形態は、第1〜
第5の実施形態における表示画像として、平面映像のみ
ならず、立体映像或いは三次元映像の表示も可能とする
ものである。ここで、立体映像とは2眼で撮影された左
右画像の映像を、三次元映像とは物体を多方向から撮影
した立体映像を表す。
【0063】通常、立体映像の場合、鑑賞者は一方向か
らしか立体映像を認識することができないが、上述した
各実施形態の手法と同様の手法により、データ取得位置
毎に左眼用及び右眼用の画像を作成し、鑑賞者の位置に
応じた画像を表示することで、鑑賞者の位置が変わって
も立体映像を鑑賞することが可能となる。
【0064】立体映像の表示方法には、種々の文献等
(例えば「三次元映像の基礎」NHK放送技術研究所
編)で紹介されている全ての方法が適用可能である。
【0065】図13は、最も一般的な方法として、偏光
メガネ50を使用した方法について示したものである。
各投影画面には左眼用及び右眼用の2台のプロジェクタ
が用いられ(図の例では、向かって左側の投影画面はプ
ロジェクタ49a及び49bによって画像が作成され、
向かって右側の投影画面はプロジェクタ49c及び49
dによって画像が作成される)、両画像に視差を持たせ
て重ね合わせる。4画面の貼り合わせであれば、4×2
=8台のプロジェクタを用いる。
【0066】なお、偏光メガネ50の代わりにメガネの
片方にNDフィルタ等を入れて両目に透過してくる光の
量を変えることで、立体を認識させるブルフリッヒ効果
を利用した方法を用いてもよい。また、プロジェクタの
台数を2倍にせずに、シャッター付きのメガネを使用し
て左眼用と右眼用の映像を交互に表示させる時分割方式
などを用いてもよい。さらに、スクリーン8として特殊
なレンチキュラースクリーンを用い、メガネを必要とし
ない方法も適用可能である。
【0067】システム(装置)としては、平面映像専用、
立体映像専用とした表示システムでもよいし、1台のシ
ステムで平面映像と立体映像の両方に対応可能なシステ
ムでもよい。後者の例では、例えば4画面の貼り合わせ
を想定して8台のプロジェクタを設けた場合、次元切替
部48によって平面映像表示が選択された場合には、各
投影画面に対してそれぞれ1台のプロジェクタが選択さ
れ、選択されなかった4台には黒の信号が送られる。或
いは、選択されなかった4台を何らかの遮光部材によっ
て遮光するようにしてもよい。要するに、選択されなか
った4台が完全に遮光されればよい。次元切替部48に
よって立体表示が選択された場合には、8台全てに信号
が送られ(或いは遮光部材が取り除かれ)、各投影画面に
おいて視差のある画像が表示される。
【0068】なお、ここでは立体映像の場合について詳
述したが、三次元映像の場合にも上述したような方法を
同様に適用可能である。
【0069】以上のように、表示映像として立体映像或
いは三次元映像を用いた場合にも、第1〜第5の実施形
態で述べたような方法を適用することで、鑑賞者の位置
によらず、的確な画像を鑑賞することが可能となる。
【0070】(第7の実施形態)本発明の第7の実施形態
を説明する。
【0071】特開平11-85952号公報には、画像出力装置
に画像を再現する際に、画像入力装置情報と撮影時の照
明光データにより対象物自体の分光反射率を算出して撮
影時の照明光の影響を無くし、観察時の照明光データに
より対象物の観察照明光下での色を算出し、入力画像が
少ない情報しか持たなくても高精度に色再現画像を推定
する色補正部を有する色再現装置が提案されている。本
実施形態は、このような技術を利用するものである。以
下、図14及び図15を参照して本実施形態の一例を説
明する。
【0072】表示するコンテンツを撮影した時の照明条
件を撮影照明光取得部51によって取得しておき、また
鑑賞時の照明条件を鑑賞照明光取得部52によって取得
し(図14参照)、上述した先行例のような方法によっ
て、両者のデータから色情報修正係数算出部53によっ
て補正係数を算出し(図15参照)、補正された色情報
パラメータを作成する。補正された色情報パラメータを
作成する場合、図15に示すように、色情報データ32
−1〜32−iに基づいて補正係数を考慮したうえで色
情報パラメータを作成し直してもよいが、色情報パラメ
ータを補正係数を考慮して更新してもよい。
【0073】このように、本実施形態では、コンテンツ
を撮影時の照明条件と鑑賞時のスクリーンの照明条件と
に応じて色情報パラメータを修正することにより、どの
ような照明条件下においても、色再現性の高い高精細画
像を鑑賞することが可能となる。
【0074】(第8の実施形態)本発明の第8の実施形態
を図16を参照して説明する。
【0075】本実施形態では、表示画像を例えばビデオ
カメラ55によって常時撮影し、撮影された画像コンテ
ンツから連想される環境(例えば、温度:暑/寒、風:
強/中/弱、照明の色味、振動、音、等)を環境設定部
56によって選択し、その選択結果を環境操作部57に
送り、環境操作部57により環境を変化させる。
【0076】例えば、雷のコンテンツであれば環境操作
部57により鑑賞者の周りに配置されたフラッシュを光
らせる、電車が通ったり象が歩くコンテンツであれば床
(あるいは椅子)を振動させる、嵐のコンテンツであれ
ば突風を鑑賞者に向かって吹かせる、夏の景色のコンテ
ンツであれば温度を高くする、冬の景色のコンテンツで
あれば温度を低くする、等である。
【0077】なお、画像操作部57による環境変化が表
示コンテンツに対して遅れる場合もあるため、予め表示
のスクリプトが決まっているような場合には、予め命令
を作成しておき、コンテンツ開始と同時に命令を送っ
て、表示の変化に同期して環境が自動的に変わるように
してもよい。また、環境操作部57を、例えば第5の実
施形態で示したようなコースター等の乗り物に内蔵させ
るようにしてもよい。
【0078】このように、本実施形態では、表示されて
いるコンテンツに応じて環境設定を行うので、臨場感の
増大等をはかることが可能となる。
【0079】(第9の実施形態)本発明の第9の実施形態
を図17を参照して説明する。上述した各実施形態で
は、取込む高精細画像のソースとしてパソコンを想定し
たが、本実施形態では、パソコン1等からのデジタルソ
ースだけでなく、DVD58やNTSC・HDTV59
のようなアナログソースにも対応させている。アナログ
ソースの場合には、画像処理・分割部4の前にA/D変
換部60を設け、アナログデータをデジタルデータに変
換する。なお、プロジェクタ・コントローラ3内にA/
D変換部60を備えてもかまわない(図示せず)。
【0080】(第10の実施形態)本発明の第10の実施
形態を図18を参照して説明する。上述した各実施形態
では、スクリーン8の形状について特に説明しなかった
が、スクリーンには平面型スクリーン(図18
(a))、凸型スクリーン(図18(b))、凹型スク
リーン(図18(c))、ドーム型スクリーン(図18
(d))等を用いることが可能であり、これらの種々の
スクリーンに対しても上述した各実施形態は有効に適用
可能である。
【0081】以上、本発明の実施形態を説明したが、本
発明は上記実施形態に限定されるものではなく、その趣
旨を逸脱しない範囲内において種々変形して実施するこ
とが可能である。さらに、上記実施形態には種々の段階
の発明が含まれており、開示された構成要件を適宜組み
合わせることによって種々の発明が抽出され得る。例え
ば、開示された構成要件からいくつかの構成要件が削除
されても、所定の効果が得られるものであれば発明とし
て抽出され得る。
【0082】
【発明の効果】本発明によれば、鑑賞位置に応じた画像
を投影することが可能となり、鑑賞位置に応じた良質な
画像を鑑賞することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る画像投影システ
ムの構成例を示した図。
【図2】図1に示した画像投影システムの一部について
その詳細を示した図。
【図3】図1に示した画像投影システムの一部について
その詳細を示した図。
【図4】図1に示した画像投影システムの一部について
その詳細を示した図。
【図5】図1に示した画像投影システムの一部について
その詳細を示した図。
【図6】本発明の第2の実施形態に係る画像投影システ
ムの構成例を示した図。
【図7】図6に示した画像投影システムの一部について
その詳細を示した図。
【図8】本発明の第3の実施形態に係る画像投影システ
ムの一部についてその詳細を示した図。
【図9】本発明の第4の実施形態に係る画像投影システ
ムの構成例を示した図。
【図10】本発明の第5の実施形態に係る画像投影シス
テムの構成例を示した図。
【図11】図10に示した画像投影システムの一部につ
いてその詳細を示した図。
【図12】図10に示した画像投影システムの一部につ
いてその詳細を示した図。
【図13】本発明の第6の実施形態に係る画像投影シス
テムの構成例を示した図。
【図14】本発明の第7の実施形態に係る画像投影シス
テムの構成例を示した図。
【図15】図14に示した画像投影システムの一部につ
いてその詳細を示した図。
【図16】本発明の第8の実施形態に係る画像投影シス
テムの構成例を示した図。
【図17】本発明の第9の実施形態に係る画像投影シス
テムの構成例を示した図。
【図18】本発明の第10の実施形態に係り、種々のス
クリーンの形状の例を示した図。
【図19】従来技術に係る画像投影システムの構成例を
示した図。
【図20】従来技術の問題点を説明するための図。
【符号の説明】
1…パーソナルコンピュータ 2…高精細画像デー
タ 3…プロジェクタ・コントローラ 4…画像処理・
分割部 5…プロジェクタ配置記憶部 6…D/A変換部 7a〜7d…プロジェクタ 8…スクリーン 9…投影画像 10、11、13…鑑賞者 12a、12d…出力光強度ベクトル 14…デジ
タルカメラ 15…測色計 16…データ取得位置入力部 17…データ記憶部 18…パラメータ算出部 19…パラメータ記憶部 20…表示画像選択部 21−1〜21−n…演算部 22…係数設定部 23−1〜23−i…分割画像保存部 24…分割
画像選択・切替部 25…想定鑑賞位置入力部 26−1〜26−i…
パラメータ部 27−1〜27−i…配置パラメータ 28−1〜28−i…色情報パラメータ 29…パラメータ選択・切替部 30−1〜30−
i…データ部 31−1〜31−i…配置データ 32−1〜32−i…色情報データ 33…あおり量算出部 34…あおり量補正部 35…シフト・回転量算出部 36…色マトリック
ス算出部 37…γ補正算出部 38…シェーディング・ゲイ
ン係数算出部 39…カメラ 40…観客分布観測部 41…観客分布算出部 42…観客分布記憶部 43…最適位置方向選択部 44…データ取得位置
算出部 45…コースター 46…発信部 47…位置受信部 48…次元切替部 49a〜49d…重ね合わせ用プロジェクタ 50
…偏光メガネ 51…撮影照明光取得部 52…鑑賞照明光取得部 53…色情報修正係数算出部 54…鑑賞照明 55…ビデオカメラ 56…環境設定部 57…環境操作部 58…DVD 59…NTSC、HDTV 60…A/D変換部
フロントページの続き Fターム(参考) 5C058 BA21 BA23 BB11 BB25 EA02 EA03 5C061 AA02 AA23 AB14 AB18 AB20

Claims (20)

    【特許請求の範囲】
  1. 【請求項1】入力画像データに対して所定の処理を施す
    ための処理用データを記憶するデータ記憶手段と、 前記処理用データを取得する際の測定位置情報を取得す
    る測定位置情報取得手段と、 前記測定位置情報毎に記憶された前記処理用データを用
    いて入力画像データに対して所定の処理を施す画像処理
    手段と、 前記画像処理手段によって処理された画像データに基づ
    く画像の少なくとも一部を投影する複数の画像投影手段
    と、 を具備することを特徴とする画像投影システム。
  2. 【請求項2】前記処理用データを取得するためのデータ
    取得手段を、 さらに具備することを特徴とする請求項1に記載の画像
    投影システム。
  3. 【請求項3】鑑賞者の鑑賞位置情報を取得する鑑賞位置
    情報取得手段と、 前記鑑賞位置情報に関連した前記測定位置情報に基づく
    前記処理用データを用いて処理された画像データの選択
    及び切替えを行う画像選択切替え手段と、 をさらに具備することを特徴とする請求項1に記載の画
    像投影システム。
  4. 【請求項4】入力画像データに対して所定の処理を施す
    ための処理用データを取得するデータ取得手段と、 前記処理用データを取得する際の測定位置情報を取得す
    る測定位置情報取得手段と、 鑑賞者の鑑賞位置情報を取得する鑑賞位置情報取得手段
    と、 前記測定位置情報及び前記鑑賞位置情報に基づき、前記
    処理用データを用いて入力画像データに対して所定の処
    理を施す画像処理手段と、 前記画像処理手段によって処理された画像データに基づ
    く画像の少なくとも一部を投影する複数の画像投影手段
    と、 を具備することを特徴とする画像投影システム。
  5. 【請求項5】前記測定位置情報取得手段は、前記処理用
    データを取得する際の複数の測定位置情報を記憶する測
    定位置情報記憶手段を含むことを特徴とする請求項1乃
    至4のいずれかに記載の画像投影システム。
  6. 【請求項6】前記画像処理手段は、前記複数の画像投影
    手段によって正確な画像を投影するための処理に必要な
    パラメータであって前記測定位置情報毎に記憶された配
    置パラメータを用いて画像分割処理を行う画像分割処理
    手段と、前記画像分割処理手段によって得られた画像デ
    ータを前記測定位置情報毎に区別して保持する画像保持
    手段と、を含むことを特徴とする請求項1又は4に記載
    の画像投影システム。
  7. 【請求項7】前記画像処理手段は、前記複数の画像投影
    手段によって投影される画像の色味を調整するための処
    理に必要なパラメータであって前記測定位置情報毎に記
    憶された色情報パラメータを用いて画像分割処理を行う
    画像分割処理手段を含むことを特徴とする請求項1又は
    4に記載の画像投影システム。
  8. 【請求項8】前記画像処理手段は、前記複数の画像投影
    手段によって正確な画像を投影するための処理に必要な
    パラメータであって前記測定位置情報毎に算出された配
    置パラメータを用いて画像分割処理を行う画像分割処理
    手段と、前記画像分割処理手段によって得られた画像デ
    ータを前記測定位置情報毎に区別して保持する画像保持
    手段と、を含むことを特徴とする請求項1又は4に記載
    の画像投影システム。
  9. 【請求項9】前記画像処理手段は、前記複数の画像投影
    手段によって投影される画像の色味を調整するための処
    理に必要なパラメータであって前記測定位置情報毎に算
    出された色情報パラメータを用いて画像分割処理を行う
    画像分割処理手段を含むことを特徴とする請求項1又は
    4に記載の画像投影システム。
  10. 【請求項10】前記色情報パラメータは、三原色の色
    味、γ、シェーディング及びゲインに関するパラメータ
    のなかの少なくとも一つを含むことを特徴とする請求項
    7又は9に記載の画像投影システム。
  11. 【請求項11】前記鑑賞位置情報取得手段は、鑑賞者の
    分布を検出する鑑賞分布検出手段を含むことを特徴とす
    る請求項3又は4に記載の画像投影システム。
  12. 【請求項12】前記鑑賞位置情報取得手段は、位置信号
    を発信する鑑賞位置発信手段と、前記鑑賞位置発信手段
    が発信した位置信号を検出する鑑賞位置検出手段と、を
    含むことを特徴とする請求項3又は4に記載の画像投影
    システム。
  13. 【請求項13】前記画像投影手段によって立体映像表示
    を行うための立体映像表示手段をさらに具備することを
    特徴とする、請求項1又は4に記載の画像投影システ
    ム。
  14. 【請求項14】平面映像表示と立体映像表示の切替えを
    行う表示切替え手段をさらに具備することを特徴とする
    請求項13に記載の画像投影システム。
  15. 【請求項15】前記画像投影手段によって三次元映像を
    表示するための三次元映像表示手段をさらに具備するこ
    とを特徴とする請求項1又は4に記載の画像投影システ
    ム。
  16. 【請求項16】表示されているコンテンツを撮影したと
    きの照明条件を取得する撮影照明条件取得手段と、前記
    撮影されたコンテンツを鑑賞しているときのスクリーン
    への照明条件を取得する鑑賞照明条件取得手段と、 前記撮影照明条件取得手段によって取得された照明条件
    及び前記鑑賞照明条件取得手段によって取得された照明
    条件に応じて前記色情報パラメータを修正する色情報修
    正手段と、 をさらに具備することを特徴とする請求項7又は9に記
    載の画像投影システム。
  17. 【請求項17】表示されている画像を取得する表示画像
    取得手段と、 前記表示画像取得手段によって取得された画像のコンテ
    ンツに基づいて鑑賞環境を設定する環境設定手段と、 前記環境設定手段からの命令に基づいて鑑賞環境を変化
    させる環境操作手段と、 をさらに具備することを特徴とする請求項1又は4に記
    載の画像投影システム。
  18. 【請求項18】前記測定位置情報を、スクリーンに取り
    付けられた撮影手段によって撮影された撮影情報に基づ
    いて取得することを特徴とする請求項1又は4に記載の
    画像投影システム。
  19. 【請求項19】前記測定位置情報は、前記データ取得手
    段の位置情報に基づいて取得されることを特徴とする請
    求項2又は4に記載の画像投影システム。
  20. 【請求項20】前記入力画像データは、デジタルデータ
    又はアナログデータであることを特徴とする請求項1又
    は4に記載の画像投影システム。
JP2001352110A 2001-11-16 2001-11-16 画像投影システム Expired - Fee Related JP3733321B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001352110A JP3733321B2 (ja) 2001-11-16 2001-11-16 画像投影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001352110A JP3733321B2 (ja) 2001-11-16 2001-11-16 画像投影システム

Publications (2)

Publication Number Publication Date
JP2003153136A true JP2003153136A (ja) 2003-05-23
JP3733321B2 JP3733321B2 (ja) 2006-01-11

Family

ID=19164333

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001352110A Expired - Fee Related JP3733321B2 (ja) 2001-11-16 2001-11-16 画像投影システム

Country Status (1)

Country Link
JP (1) JP3733321B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352171A (ja) * 2004-06-10 2005-12-22 Sony Corp 画像投射システム及び画像投射装置
WO2007004502A1 (ja) 2005-06-30 2007-01-11 Ricoh Company, Ltd. 投影画像表示装置
JP2007300540A (ja) * 2006-05-02 2007-11-15 Hitachi Ltd 映像表示システム
JP2008236550A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置
US7607779B2 (en) 2005-03-28 2009-10-27 Seiko Epson Corporation Stereoscopic image display device and image display device
JP2011172107A (ja) * 2010-02-19 2011-09-01 Nec Corp マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム
JP2011182079A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
WO2013145070A1 (ja) * 2012-03-26 2013-10-03 Necディスプレイソリューションズ株式会社 色むら補正装置、プロジェクタおよび色むら補正方法
WO2015146001A1 (ja) * 2014-03-24 2015-10-01 パナソニックIpマネジメント株式会社 プロジェクタ制御装置、プロジェクタシステムおよびプロジェクタ制御方法

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005352171A (ja) * 2004-06-10 2005-12-22 Sony Corp 画像投射システム及び画像投射装置
JP4591751B2 (ja) * 2004-06-10 2010-12-01 ソニー株式会社 画像投射システム及び画像投射装置
US7607779B2 (en) 2005-03-28 2009-10-27 Seiko Epson Corporation Stereoscopic image display device and image display device
US7959300B2 (en) 2005-06-30 2011-06-14 Ricoh Company, Ltd. Projected image display unit
WO2007004502A1 (ja) 2005-06-30 2007-01-11 Ricoh Company, Ltd. 投影画像表示装置
JP2007300540A (ja) * 2006-05-02 2007-11-15 Hitachi Ltd 映像表示システム
JP2008236550A (ja) * 2007-03-22 2008-10-02 Matsushita Electric Works Ltd 映像表示装置
JP2011172107A (ja) * 2010-02-19 2011-09-01 Nec Corp マルチディスプレイシステム、マルチディスプレイ調整方法およびプログラム
JP2011182079A (ja) * 2010-02-26 2011-09-15 Seiko Epson Corp 補正情報算出装置、画像補正装置、画像表示システム、補正情報算出方法
WO2013145070A1 (ja) * 2012-03-26 2013-10-03 Necディスプレイソリューションズ株式会社 色むら補正装置、プロジェクタおよび色むら補正方法
WO2015146001A1 (ja) * 2014-03-24 2015-10-01 パナソニックIpマネジメント株式会社 プロジェクタ制御装置、プロジェクタシステムおよびプロジェクタ制御方法
JPWO2015146001A1 (ja) * 2014-03-24 2017-04-13 パナソニックIpマネジメント株式会社 プロジェクタ制御装置、プロジェクタシステムおよびプロジェクタ制御方法
US9794532B2 (en) 2014-03-24 2017-10-17 Panasonic Intellectual Property Management Co., Ltd. Projector control apparatus, projector system, and projector control method

Also Published As

Publication number Publication date
JP3733321B2 (ja) 2006-01-11

Similar Documents

Publication Publication Date Title
US10438633B2 (en) Method and system for low cost television production
US8223192B2 (en) Free viewpoint video
JP3978392B2 (ja) 立体映像信号生成回路及び立体映像表示装置
US20140098185A1 (en) Interactive user selected video/audio views by real time stitching and selective delivery of multiple video/audio sources
KR101259559B1 (ko) 멀티 카메라 연동 장치 및 방법
CA2316167A1 (en) A method and apparatus for an automatic camera selection system
US20180338093A1 (en) Eye-tracking-based image transmission method, device and system
KR20150141172A (ko) 다면 영상 생성 방법 및 시스템
JP3733321B2 (ja) 画像投影システム
CN101483742A (zh) 组合式大屏幕前向投影显示方法及控制装置
US20120154543A1 (en) Document camera, method for controlling document camera, program, and display processing system
JP3232408B2 (ja) 画像生成装置,画像呈示装置及び画像生成方法
KR101715563B1 (ko) 다면 영상용 카메라 연동 시스템
US7154528B2 (en) Apparatus for placing primary image in registration with lenticular lens in system for using binocular fusing to produce secondary 3D image from primary image
JPH11308608A (ja) 動画像生成方法,動画像生成装置及び動画像呈示装置
JP4505559B2 (ja) スタジオセット用遠見パネルおよびこれを用いたスタジオセット
JP3911456B2 (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JPH04241593A (ja) 立体テレビジョンシステム
JPS6318894A (ja) 立体画像再生方法
US20120212586A1 (en) Device and method for convergence of stereoscopic digital imaging
KR100189487B1 (ko) 디지탈 입체 동영상 라이브 서빙 장치
JPH0434595A (ja) 画面合成方法
CN108965836B (zh) 一种图像全色彩采样的实现方法
US20050209012A1 (en) Illumination system
JP2019009700A (ja) 多視点映像出力装置、および、多視点映像システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050712

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050912

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20051011

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20051017

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20091021

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101021

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111021

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees