JP2008288714A - 映像投影システム - Google Patents

映像投影システム Download PDF

Info

Publication number
JP2008288714A
JP2008288714A JP2007129620A JP2007129620A JP2008288714A JP 2008288714 A JP2008288714 A JP 2008288714A JP 2007129620 A JP2007129620 A JP 2007129620A JP 2007129620 A JP2007129620 A JP 2007129620A JP 2008288714 A JP2008288714 A JP 2008288714A
Authority
JP
Japan
Prior art keywords
video
projector
image
screen
projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007129620A
Other languages
English (en)
Other versions
JP5224721B2 (ja
Inventor
Takayuki Ohira
貴之 大平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
OHIRA GIKEN KK
Original Assignee
OHIRA GIKEN KK
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by OHIRA GIKEN KK filed Critical OHIRA GIKEN KK
Priority to JP2007129620A priority Critical patent/JP5224721B2/ja
Publication of JP2008288714A publication Critical patent/JP2008288714A/ja
Application granted granted Critical
Publication of JP5224721B2 publication Critical patent/JP5224721B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Instructional Devices (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

【課題】複数のプロジェクタを用いて構成されるマルチプロジェクションシステムにおいて、複数の投影面の重なりあう部分を遮光する遮光マスクを用いる際、シーンや演出目的に応じて映像全体の明るさを変えるため、プロジェクタの投影レンズの絞りを開閉して開口数を変えても、継ぎ目の明度ムラが起きず、一様に繋がってみえる映像を投影する。
【解決手段】遮光マスクを付加されたプロジェクタ3から投影されたスクリーン上の映像をビデオカメラ6で撮影しプロジェクタ画面上における投影像の明度分布(光学プロファイル)を得る。開口数が複数の状態における複数の光学プロファイルを取得し、投影時の光学プロファイルをこれらの複数の光学プロファイルから補間演算によって算出する。この光学プロファイルと実際に投影すべき、予め設定された目標プロファイルの比から補正プロファイルを得て、この補正プロファイルに基づいて映像の輝度を補正し投影する。
【選択図】 図1A

Description

本発明は、複数のプロジェクタを用いてドームスクリーン上に映像を投影し、プラネタリウムなどに応用される映像投影システムに関する。
ドームスクリーンに映像を投影するに際し、複数のプロジェクタを用いて高解像度の映像を得るマルチプロジェクションシステムがプラネタリウム装置として多用されている。
これは単一のプロジェクタでは投影できない高解像度の映像を投影できる特長があり極めて有用である。ドームスクリーン全体に映像を投影するドーム映像装置では、魚眼レンズを使用する単眼式に比べてマルチプロジェクション方式は高解像度が得やすく、魚眼レンズ特有の周辺像の収差、すなわち地平線付近の画質の劣化や周辺減光による地平線付近の明度不足などの問題が生じにくいため、中〜大規模のドームシアターにおける映像投影ではマルチプロジェクション方式が好んで使用されている。また、このプラネタリウム施設に光学式プラネタリウムを併用する場合、プロジェクタを中心に設置せずドーム周辺に設置できるマルチプロジェクション方式は極めて有用である。
マルチプロジェクション方式の映像システムでは、共通のスクリーン面に対し複数のプロジェクタから映像を投影する。この際、それぞれにあらかじめ投影する領域を別々に設定しておき、おのおののプロジェクタから投影される映像が一つに繋がるように境界線を設定してドームスクリーン全体の映像を形成する。それぞれのプロジェクタから投影される映像がつながって一つの映像として見えるためには、当然ながらそれぞれの投影位置の違いや特性のばらつきに起因するさまざまな映像の歪みを補正し、スクリーン面の継ぎ目でぴったり一致するように投影しなければならないのはむろんである。マルチプロジェクション方式における位置あわせについては特許文献1および2などで提案されている。
こうした歪み補正には複雑な演算が必要なため、歪み補正機能を有する映像送出装置や、映像変形装置を用い、実際の歪み補正演算にはコンピュータを用いることがほとんどである。
しかし、実際には投影に僅かな誤差を完全にゼロにすることができないので、それぞれの投影面の継ぎ目を目立たなくするため、継ぎ目付近では、継ぎ目を挟む複数の投影面の映像をある程度の幅にわたって重複させた上、それぞれにグラデーションをかけて継ぎ目を目立たなくするような処理を行う。これをエッジブレンディングと呼ぶ。
エッジブレンディングには、大まかにわけて電子式ブレンディングと光学式ブレンディングがある。
電子式ブレンディングは、各プロジェクタから投影される画面で、別のプロジェクタの投影面に重なるため投影する必要のない範囲は、映像そのものにあらかじめマスキング処理をするか、または電気的に映像信号にマスキング処理を行う方法である。
一方、光学式ブレンディングは、プロジェクタの投影レンズ前に、所定の形状の透過窓が開けられた光学マスクを設置するもので、それぞれの投影画面で不必要な部分を遮光してしまうものである。遮光板には投影レンズの焦点が合わないため、結果的に光学マスクの影にはある程度のぼけが生じ、グラデーション効果をもたらす(特許文献3)。
電子式ブレンディングでは、境界線をソフトウエアで自在に設定でき、コンピュータによる演算を駆使し、またカメラによる撮像によりブレンディング自体を自動化可能な技術も存在する(特許文献1)。
ただし、プロジェクタとして多く用いられる液晶式やDLP式、レーザー投影式プロジェクタでは、あらかじめ照射した光を光学素子により各画素ごとに制御する方式なので、原理的に完全な黒を作ることが難しい。すなわち、プロジェクタの光源が点灯している限り、真っ黒であるべき部分も僅かに黒浮きして見えてしまい、映像のコントラストが低下する。特にプラネタリウムにおいて、恒星と共に投影する場合、この黒浮き現象によるフレームが見えてしまい、恒星の見え方に影響する。特にスクリーン上で多数の投影面が重なる領域では、黒浮きが投影面の分だけ加算されることになり益々不自然さが誇張される。電子式ブレンディング方式だけではこの問題を解決することが困難である。
特許3497805号 特開2006−337682号公報 特開平5−19346号公報
そこで光学式ブレンディングが使用されている。光学式ブレンディングでは、余分な部分の光を物理的にカットしてしまうので、電子式のような背景のフレームが出てしまう問題を軽減できる。また、光学マスクである程度余裕を残して余分な光をカットして、電子的な補正で継ぎ目付近の明度を一様に補正することにより良好なつながりを得る方法も実施されている。
ところで、近年のプラネタリウムでは、光学式恒星投影機とプロジェクタから投影されるディジタル映像を併用する複合型プラネタリウムが有効性を増している。
恒星は光学式恒星投影機から投影したほうが美しく投影でき、また複雑な演出効果はプロジェクタが得意とするためである。しかし光学式恒星投影機とプロジェクタを併用して使用する場合、光学式恒星投影機から恒星を投影し、星座線や星座絵などをプロジェクタから投影する場合、プロジェクタの黒浮きは星空の見え方に大いに影響するので、最小限にしなければならない。また、星座絵や星座線などは星との明るさのバランスからさほど明るく投影される必要はない。
そこで星空と共存させるためにはプロジェクタの光量を絞って使用することになるが、この際、絞りを絞って投影するのが最も理想的である。それは市販品の多くのプロジェクタがこうした絞り機構を内蔵していることに加え、絞りを絞ることにより明暗部のコントラストが向上する効果があるため、明るい部分に対して黒浮きが一層抑制されて好都合になるためである。しかし恒星と併用しない、または映像の明るさや華やかさを重視したい場合は絞りを絞った状態では光量が不足するため、絞りを開いて投影したい場合も多く出てくる。したがって、演出シーンによって絞りを開いたり閉じたりできることが望ましい。
しかし、光学式ブレンディングでは、たとえばプロジェクタの投影レンズの開口数が変わると、焦点深度が変わりグラデーション効果が変わるという特質がある。絞りが閉じられると、焦点深度が深まるため光学マスクの影はくっきりするし、開くとぼやける。
しかし、前記のような映像補正方法では絞りの開口数の変化に伴う、こうした光学マスクの特性の変化は考慮されておらず、特定の開口数においてはムラのない投影ができるが、開口数を変えるとムラが生じてしまう問題点があった。したがって、在来のマルチプロジェクションシステムでは、絞りを開放したり絞ったりして投影することが難しく、明るく華やかな演出と、星空との親和性の維持を両立しにくいという問題点があった。
上記背景から従来は、ドームスクリーンに高品位の映像を投影するために、魚眼レンズを用いた投影機をドーム中央に設置する方法では、解像度に制限がある上、地平線付近の映像が劣化する問題があった。また複数の画面に投影する方式では、基準マークを用いる方法等によって複数の画面の位置関係を正確に維持することはできるものの、エッジブレンディングに技術的な問題があった。すなわち、液晶方式やDLP方式などの大多数のプロジェクタでは、黒を完全に黒く表現できず黒浮き現象があるため、映像の不要な部分をマスキングするソフトウエアエッジブレンディングでは、背景の黒浮き現象が起きて、各プロジェクタの投影フレーム枠が不自然に見えてしまったり、複数のプロジェクタの投影面が重なる部分では特にこの黒浮きが目立ってしまったりするという問題点があった。
一方、光学的マスクを使用した場合は前記の問題は起きにくくなるが、物理的なマスクのみによる補正では、分割境界線におけるマスクの形状を正確に調整することが極めて困難で、また正確な調整がなされたとしても、光ムラにより継ぎ目が不自然になる問題点があった。また光学マスクとソフトウエアによるエッジブレンディングを併用する方法では、前記の問題を解決することができるが、明るい映像を鮮明に見せるために絞りを開いて上映する時と、星空と共に映像を投影する際に暗い映像を表示する際に、プロジェクタの絞りを変えることが望ましいが、光学マスクによる影のパターンは開口数によって変わるために、分割境界線の変化パターンが変化してしまうため絞りの開口数を変えると、分割境界線において光量ムラが顕著に生じてしまう問題点があった。
この発明は、前記のような問題を解決するためになされたものである。
本件出願人は、光学マスクを用いるマルチプロジェクションシステムにおいて、プロジェクタの絞りを制御して開口数を変化させた際に起きる、光学系による投影光量分布、すなわち光学プロファイルの変化に着目し、この変化を相殺して映像の明度分布を補正する手法を提案するものである。
すなわち、まずあらかじめ設定された分割投影の設定に基づき、各プロジェクタが投影すべき投影光量分布、すなわち目標プロファイルを算出し、一方、光学マスクによる影響を受けたプロジェクタの投影光量分布たる光学プロファイルと比較演算を行って、映像の各部の補正量を割り出し、これを補正プロファイルとし、この補正プロファイルに基づいて映像の明度を補正することにより、目標プロファイルに一致する明度の映像を得るものである。
本発明の目的はコンピュータやビデオ装置などから出力される映像をスクリーンに投影し、複数のプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムにおいて、プロジェクタの開口数が変わっても、投影面の継ぎ目付近に輝度のムラを生じにくく、明るい映像も星空と調和して暗い映像も投影することができる高品位な映像投影システムを提供することにある。
前記目的を達成するために本発明の請求項1は、コンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数の、開口数を可変可能なプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、前記スクリーンに投影された投影像のデータを取得可能な投影像取得手段と、前記投影像のデータを基に投影時の開口数における映像補正データを算出する映像補正データ算出手段とを備え、前記映像補正データを用いて映像の輝度の補正を行ってプロジェクタの開口数が投影時と異なる値においてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする。
本発明の請求項2は、コンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数の開口数を可変可能なプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、前記スクリーンに投影された映像を撮影可能なカメラを有するとともに各プロジェクタ毎に開口数を所定の値に設定してスクリーンに投影されたテストパターンを撮影し、撮影して得た、それぞれのプロジェクタの投影像の撮像データを得る撮影像取得手段と、各プロジェクタの絞りの開口数を、前記テストパターン撮影時と異なる値に設定して映像を投影する場合、前記撮像データ,前記撮影時の各プロジェクタの開口数および該投影時の開口数をもとに、所定の演算を行って映像の輝度を補正する補正データを求める映像補正データ算出手段と、前記映像補正データにより映像の輝度の補正を行って投影する映像補正投影手段を備え、前記プロジェクタの開口数が前記撮影時と異なる値に設定されてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする。
本発明の請求項3はコンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数のプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、前記スクリーンに投影された映像を撮影可能なカメラを有するとともに前記複数のプロジェクタのそれぞれは、外部からの指令により開閉可能な絞りを有し、各プロジェクタ毎に絞りの開口数を所定の値に設定してスクリーンに投影されたテストパターンを撮影し、撮影して得た、それぞれのプロジェクタの投影像の撮像データを得る撮影像取得手段と、前記撮影像取得手段の撮像データより得られる光学プロファイルと、各プロジェクタが投影するべき光量を画面上の位置に応じて示す、あらかじめ設定した目標プロファイルまたは目標ブレンドマスクをもとに、所定の演算によって映像の各位置の輝度を補正する補正データを求める映像補正データ算出手段と、前記映像補正マップにより映像の輝度の補正を行って投影する映像補正投影手段を備え、前記プロジェクタの開口数が前記撮影時と異なる値に設定されてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする
上記光学プロファイルは、遮光マスクの影響を受けるプロジェクタでテストパターンをスクリーンに投影し、投影像をカメラで撮像することで取得することができる。例えば、開口数が複数異なる(開放値と最小絞りなど)場合における光学プロファイルを取得し、これから実際の使用時の開口数における光学プロファイルを得るか、または所定の開口数における光学プロファイルを取得した後、数値手段により撮影時とは異なる開口数における光学プロファイルを推定し、これに基づき補正演算するものである。そして補正演算した映像を投影するものである。
本発明の請求項4は請求項1,2または3記載の発明において前記スクリーンは、曲面を有するドーム状スクリーンであることを特徴とする。
本発明の請求項5は請求項2,3または4記載の発明において前記撮影像取得手段は、プロジェクタの開口数が既知である複数の値において複数の撮像データを得、前記映像補正データ作成手段が用いるデータは、前記複数の撮像データ,前記既知の開口数であることを特徴とする。
本発明の請求項6は請求項2,3,4または5記載の発明において前記プロジェクタの前面には、画面周辺の光を遮光する遮光マスクを有することを特徴とする。
本発明の請求項7は請求項6記載の発明において前記所定の演算は、絞りの開口部が前記遮光マスクのエッジによってある位置関係で遮光されるときの位置と透過光量の関係を関数化したグラデーション関数を用いて行うことを特徴とする。
本発明の請求項8は請求項7記載の発明において前記遮光マスクにより形成される光学グラデーション領域と、投影面の重複領域が、少なくとも一部重複していることを特徴とする。
本発明の請求項9は請求項2乃至8記載の発明において前記カメラは、恒星投影機に搭載され、該カメラの方向を恒星投影機の回転軸の角位置制御によって設定する手段を有することを特徴とする。
前記構成によれば、複雑でコストのかかる人為的な調整作業を行わずとも、自動的に調整された上で、ドームスクリーンに対し複数のプロジェクタを用いて投影される映像にムラを生じずに、一様な明るさで映像を投影することができる。
また、プロジェクタの黒レベルが十分低くないとき、余分な部分の光を除去する目的で光学的マスクと併用した場合、光学マスクの透過窓の形状を決めるに際して、最適な形状を表示し、試行錯誤によらず、容易に透過窓を作成することができる。
さらに、撮像に使用するカメラは、映像の歪み補正に使用するものと併用できるため、恒星投影機に搭載して高精度の位置あわせを行うカメラと共用することにより、位置と映像の明るさや色を追加ハードウエアなしに補正することができる。これにより、高品位のドーム映像を、容易かつ安定かつ低コストで提供することが可能となる。
以下、図面等を参照して本発明の実施の形態を詳しく説明する。
図1Aは、本発明による映像投影システムの外観を説明するための斜視図である。
ドームスクリーン1の中心にはビデオカメラ6を取り付けた光学式恒星投影機2が設置されている。なお、この実施の形態では光学式恒星投影機2は恒星投影機能は用いられず、後述するビデオカメラ6の搭載手段として使用するものである。
ドームスクリーン1の周囲にはビデオプロジェクタ3が複数台設置され、それぞれから投影された映像はドームスクリーン上で重なり、ドームスクリーン1の全面を被うようにそれぞれの位置と姿勢角に固定されて設置されている。本図ではそのうちの2台とそれから投影された画面のみを図示している。
ビデオプロジェクタ3で投影される映像は、映像生成PC4からアナログRGB信号またはDVI信号などで供給される。映像生成PC4は、制御PC5と通信線で接続され、映像生成のためなどの各種のコマンドやデータの送受信が可能である。
なお、各プロジェクタ3の位置と姿勢角は既知であり、各プロジェクタ3の投影画面上の座標とドームスクリーン1上の地平座標は、座標変換により相互変換が可能な状態であるとする。地平座標からプロジェクタ画面上の座標変換をプロジェクション変換とし、その逆変換をプロジェクション逆変換と呼ぶこととする。
例えば恒星投影機2に備わった基準マーク手段を用いてプロジェクション変換およびプロジェクション逆変換を高精度に行うことが可能である。図1Bにドームスクリーンの地平座標の表示例を示す。
図2は、ドームスクリーン中心に設置される恒星投影機の構造の斜視図である。
台座10の上に、方位軸を中心に回転可能にベース11が設置され、その上に架台フォーク12が取り付けられている。ベース11と架台フォーク12は、図示しない方位軸サーボモータにより、任意に回転制御可能である。また、架台フォーク12には、水平に取り付けられた、緯度を調整する緯度回転軸13が設置され、この緯度回転軸13を中心にして円柱状の日周ベース14が回転可能な構造で設置されている。緯度軸を中心とした日周ベース14の回転運動も、図示しない緯度軸サーボモータにより任意に回転制御可能である。また、恒星を投影する機能を有する北天恒星球15と南天恒星球16は、日周ベース14上に、緯度軸と直交して設置された日周軸を中心に任意に回転可能である。しかしこの実施の形態ではこの日周運動は用いられない。
日周ベース14には、緯度軸と日周軸いずれとも直交する方向に投影像取得手段として、ビデオカメラ6が取り付けられている。ビデオカメラはCCDカメラ等の電子的な撮影ができるカメラであり、撮像結果は、ビデオ信号またはLVDSによるデジタル映像信号などの形で得られ、図示しないが緯度軸スリップリングまたは方位軸スリップリングを介して外部に映像信号を送ることが可能である。また映像送信の方法は無線などを利用することもできる。
カメラの主点は、緯度軸からCOFSだけ離れて設置されている。
このような恒星投影機2に搭載したビデオカメラ6の向きは、緯度軸と方位軸の回転制御により任意に向けることができる。この場合、カメラの光軸の方位角AZM は方位軸の回転制御により、また光軸の仰角ALT は緯度軸の回転制御により設定可能である。
例えば北天恒星球15が上になり日周軸が直立した状態であれば仰角は0度で、日周軸が水平になったときには仰角は90度または−90度になる。南北水平線は、この恒星投影機を恒星投影に使用した際の南方地平線と北方地平線を結ぶ直線であり、ビデオカメラ6の仰角はこの南北水平線とカメラ光軸のなす角である。
ビデオカメラ6は、ゲインや絞りを自動的に変える機能を持つものが多いが、この実施の形態では常にゲイン,絞りともに固定の状態で用いる。また、物理的な輝度と撮像データ(ビデオカメラのCCD撮像素子の各画素から得られるデータ)から得られる輝度は直線的な関係ではないものが多い(カメラのガンマ特性)が、ガンマ特性は事前に測定され、ビデオカメラの画素を読み込む際には、このガンマ特性関数により補正され、実際の物理量としての輝度とのリニアリティがとれた輝度データが得られるようにしてある。
このガンマ関数は、被写体の照度をあらかじめ分かる形で変えてビデオカメラで撮影し、撮像結果から得られた輝度データと、その際の照度をもとに取得することが可能であるが、この手順は公知かつ容易に推察可能であり、本発明の本質ではないため具体的な手順は省く。以後、カメラから得られる輝度データは、特に断り書きがない限り、すべてこのガンマ補正後の輝度として扱う。
本発明において、カメラ撮像手段としてビデオカメラを恒星投影機に搭載することは必須ではない。しかし本発明の一つの目的である、プラネタリウムでの使用においては多くの場合、恒星投影機がドームスクリーンの中心に設置される。この恒星投影機にビデオカメラを搭載することにより、恒星投影機を移動させることなく、ドーム球心を基準とした理想的な位置で死角なくドーム全面を撮像できる上、カメラの方向を制御する手段も恒星投影機の運動機能によって実現されるので、別途特別な駆動機構を用意する必要がなくなる。また、恒星投影機2に搭載したビデオカメラは、基準マークを用いる他の、映像の歪みを自動的かつ高精度に補正する装置と併用することができるため好都合である。この実施の形態では上記のような理由から恒星投影機に搭載したビデオカメラで説明を行う。
なお、恒星投影機が存在しない場合には、他の手段によってビデオカメラの方向を任意に制御することも可能であり、そのような実施の形態も本発明の範疇に含まれる。
図3は、本発明に用いるプロジェクタの実施の形態を示す斜視図である。
プロジェクタ3は液晶またはDLP素子を用いた市販のビデオプロジェクタであり、映像入力ケーブル21から入力された映像信号(映像生成PCからの映像信号)を投影する機能を有する。投影レンズ22内には、電動で開口数を変化可能な可動絞り(図中には現れない)が内蔵されている。制御信号ケーブル23から入力された制御信号(たとえばRS−232Cのコマンド)により、可動絞りの開口数をプロジェクタ固有の仕様で設定された範囲(たとえばF3.2−F8 )の範囲で制御可能である。絞りを開くと、投影される映像は明るくなるが、コントラスト比は低めになる。絞りを閉じると、投影される映像は暗くなるがコントラスト比は上昇する。
プロジェクタ3はベース24の上に取り付けられており、ベース24を介して投影レンズ22の前には、十分な透明度を持つガラス基板25が直立して設置され、投影像はガラス基板25のガラス板を透過するようになっている。ガラスの透過率は極めて高いが、表面反射があると投影像にゴーストが発生することもあるため、片面または両面には反射防止膜が施されている。このガラス板の表面には、光を通さない遮光マスク27が貼られている。遮光マスク27の材質は、表面が黒く塗られた薄アルミニウム板などを用いる。この遮光マスク27には、プロジェクタの投影する光を半ば通すように、所定の形状の投影窓28が設置されている。投影窓28は、プロジェクタ3から投影される映像の大部分を通すが、周辺部分の光は遮光し、ドームスクリーンに投影された映像の周辺部をぼんやりと暗くマスキングする効果を有する。この投影窓の形状については後述する。
つぎにビデオカメラの画角について説明する。
ビデオカメラの画面解像度は、幅がCW画素,高さがCH画素,CCD素子のピッチがCPとなっている。
カメラの焦点距離がFとすると、横画角QW、縦画角QHは
QW=atan(CW*CP/(2*F)*2) ・・・(1)
QH=atan(CH*CP/(2*F)*2) ・・・(2)
となる。
これにより、ドーム曲率半径R、恒星投影機に搭載したカメラの方位角がAZM 、高度がALT が決まると、ビデオカメラ画面の任意の画素(CX、CY) に映るドームスクリーン上の座標は座標変換により計算できる。具体的な計算方法は公知であるので省略する。
つぎに図1Aを用いてシステム接続構成を説明する。
複数のビデオプロジェクタでに投影する画面は、各プロジェクタに割り当てられた映像生成PC4によってそれぞれ生成される。制御PC5は、すべての映像生成PC4と通信線で接続され、制御PC5からは、通信ポートから所定の命令により任意の図形や映像を映像生成PC4によって生成することができる。例えば点や直線、円などのベクトル図形、または動画である。また、プロジェクタ3に備わっている開口数を変えられる可動絞りの開閉は、映像生成PC4から絞り制御線によって制御可能であり、制御PCから一括して全てのプロジェクタの絞りの開口数を制御可能となっている。
制御PC5は恒星投影機2とも通信線で接続され、サーボI/Fから所定の移動量に相当するパルス列を出力し、サーボ制御装置を介して、恒星投影機の回転角位置や回転角速度制御も行えるようになっている。また、恒星投影機2には、既に述べたようにビデオカメラ6が内蔵されており、ビデオカメラ6で撮像された映像信号は、制御PC5のフレームグラバにより制御PC5内に取り込めるようになっている。フレームグラバには、取得された映像の各画素の輝度情報が格納されており、任意の画素の輝度がアクセス可能であり、ビデオカメラの同期信号ごとに更新される。
図4は、複数のプロジェクタを用いてドームスクリーン全面に映像を投影するレイアウトの一例を示す図である。本図は、ドームマスターと呼ぶ表現方法で、正方形の内接円を地平線とし、中心が天頂に相当する。すなわち、ドームマスター上の座標は、容易にドームスクリーン上の高度,方位角(地平座標)と相互変換可能である。全天はS1〜S6の6面に分割され、それぞれ個別のプロジェクタで投影される。
但し、それぞれのプロジェクタの投影面の境界線を完全に一致させることは極めて困難なため、投影面相互の間はそれぞれある程度の幅をもった重複領域を設けて、お互いにグラデーションをかけてオーバーラップさせるように投影する必要がある。これをエッジブレンディングと呼ぶ。
図5Aはドームマスター上で各プロジェクタの投影画面の重複領域を加えて示した図である。
重複領域は、それぞれの投影面の境界線に、一定の幅を持って設けられる。ここで複数のプロジェクタによりドームスクリーン全面に白い映像(全白映像)を所定の輝度(目標輝度)で投影することを考える。それぞれの投影面の占有領域は、それぞれ対応のプロジェクタによってのみ投影される。重複領域は境界線を挟んで隣り合う2面以上のプロジェクタからの投影光が合成される。このとき、重複領域の輝度は、占有領域と一致させなければならない。そのためには、それぞれのプロジェクタから投影される光量を重複領域では一定の比率で落とすことが必要になる。図5BはS1面とS2面の境界線において、S1面のプロジェクタによる輝度と、S2面のそれを合わせて図示したものである。重複領域においてS1とS2それぞれの光量をクロスさせて変化させることにより両者の和は占有領域の輝度と等しくなる。このような条件にすれば、占有領域と重複領域いずれも一様な明るさで見えることになる。
分割投影する際の各プロジェクタが投影するべき光量を画面上の位置に応じて示したものを目標プロファイルと呼ぶ。目標プロファイルは、分割境界線の位置や境界線の幅などのデータを元に都度算出することもできるが、実際には、一度、ドームスクリーンの全面にわたって計算し、2次元のデータとする方が計算量が減るので良い。これはドームマスター上で表すものと、投影画面上で表すものがあるが、この実施の形態では投影画面上のものを使用する。目標プロファイルは、ブレンドマスクと同義のものであり、ドームマスター型のブレンドマスクから、プロジェクション変換またはプロジェクション逆変換を用いて投影画面に変形して作ることができる。目標プロファイルは各投影面ごとに用意される。
例えばドームマスター型のブレンドマスクは、所定の解像度たとえば縦横2000PIXEL のモノクロ256階調の画像で作成される。それぞれのピクセルの明度がその位置の輝度に相当する。たとえばピクセルの明度が0であれば輝度がゼロであり、その画面では投影されない位置であり、255であれば占有領域となる。全投影面のドームマスター型の目標ブレンドマスクの各画素を全て加算すると、すべてが1(256階調で255)となる。
図6は、図4の例におけるS1面のドームマスター型のブレンドマスクをドームマスター型で示した一例である。また、図7は同じく各投影面のドームマスター型のブレンドマスクを図示したものである。
ここで、具体的な実施の形態の手順の説明の前に、遮光マスクを備えたプロジェクタにおいて出力される光学プロファイルの基本的特性を説明し、実際の映像の輝度を補正して目標プロファイルに一致させる基本原理と、補正するために用いる補正プロファイルについて説明する。
図8は、遮光マスクを取り付けたビデオプロジェクタから投影される映像の輝度分布を説明するための図である。複数台使用されるうちの1台のみ図示している。
ビデオプロジェクタ3の投影レンズ22の主点には絞り29が内蔵されており、所定の開口数に設定されている。このビデオプロジェクタ3の前方に遮光マスク27が設置されており、ビデオプロジェクタ3から投影される投影光は遮光マスク27の投影窓を十分被う範囲をカバーしているものとする。ここでビデオプロジェクタ3から一様な明るさの映像、例えば全白の映像を投影した場合、遮光マスク27によりドームスクリーン1の周辺部分の光はケラれて遮光されるが、遮光マスク27にはピントが合っていないのでその影は大きくぼけたものになる。
ビデオプロジェクタ3自体に投影ムラがないとしたときの、プロジェクタが何ら輝度補正を施さない全白画面を投影したときのスクリーン上の輝度分布を、最大値を「1」として表したものを光学プロファイルと呼ぶことにする。光学プロファイルは、遮光マスクの影の影響を受けない全透過領域ではほぼ一定の値になっている。
一方、遮光マスク27の影で全く映像が映らない領域を全遮光領域という。全透過領域と全遮光領域の間には、ある幅をもって明度が連続的に変化する光学グラデーション領域ができる。非投影領域とは、他の投影面の占有領域でもある。
本図を見れば明らかなように、目標プロファイルのパターンは、光学プロファイルよりも下回っている。しかし光学プロファイルのグラデーション領域と、目標プロファイルの重複領域は一部で重なっている。
光学プロファイルは物理的に投影できる最大の輝度を表すものであるから、目標プロファイルは投影画面の全ての位置で光学プロファイル以下でなければならない。本図では光学プロファイルと目標プロファイルを一次元の関数で関係付けているが、実際には2次元の映像を扱うため、いずれのプロファイルも2次元の関数で表現されることとなる。
厄介なのは、ビデオプロジェクタの開口数を変えることにより、光学プロファイルのカーブが変化することである。
図9は、ビデオプロジェクタの絞りの開口数を変えたときの光学プロファイルの変化を説明するための図である。遮光マスクの位置も図示してある。図9(a)は、開口数がF8,図9(b)がF3.2の例である。光学プロファイルは、いずれも遮光マスクのエッジ位置を挟んでほぼ対称に変化しているが、F8の場合の方が絞りが狭い分被写界深度が深くなり、変化が急激になっていることが分かる。
このような関係の上で、映像を投影する場合、映像の輝度分布を目標プロファイルに一致させるには、映像自体にあらかじめ補正をかけるか、映像信号に補正をかけてやればよい。この目標プロファイルに輝度値を補正するもの、すなわち目標プロファイルと光学プロファイルの比から輝度値の補正量を示すものを補正プロファイルと呼ぶこととし、図9に図示している。但し、補正は減光させることしかできないため、補正プロファイルはつねに画面上の全ての位置で1以下にならなければならない。
図9(a)と(b)はいずれもこの条件を満足しており、開口数の違いによって、補正プロファイルが変わる様子を示している。
つぎに補正マップ作成方法について説明する。
ビデオプロジェクタの開口数の高い状態と低い状態の2状態で撮影してそれぞれの状態の補正マップを得て、実際の投影時の開口数に応じて2つの補正マップから補間演算により投影時補正マップを作成する手順である。
図10は、補正マップを得る手順を示すフローチャートで、複数ある投影面のうち1面についての流れ図である。
ビデオプロジェクタの絞りは、F3.2〜F8の範囲で任意に設定可能であり、ビデオプロジェクタの投影画面と地平座標は相互変換可能になっているものとする。
まず、あらかじめ各投影面のドームマスター型ブレンドマスクをメモリ部に読み込む(ステップ(以下、「S」という)001)。つづいてビデオプロジェクタの全画素の座標から地平座標への変換手段を用いて、前記メモリ部からブレンドマスクのデータを読み込み、プロジェクタ画面上の目標プロファイルデータとして、目標プロファイルデータメモリ部に格納する。図11に、S1面の目標プロファイルを画像化した一例を示す。
つづいて、プロジェクタの開口数を開放(F3.2)とする(S002)。これでカメラ撮影を行い(カメラ撮影は後で詳述)、補正マップ1を得る(S003,S004)。これを開放補正マップとする。
次に開口数を最小(F8)にする。この開口数でカメラ撮影を行い補正マップ2を得る(S006,S007)。これを最小絞り補正マップ2とする。
つぎに、カメラ撮影手順の詳細を説明する。
図12はカメラ撮影の状態を図示したものである。
ビデオプロジェクタからの映像は、図中のプロジェクタ投影範囲30にわたって投影可能となっており、制御PC(図示していない)からの指令により、任意の形状と色の図形を表示できる状態とする。
ドームスクリーン1中心に設置された恒星投影機2に搭載したビデオカメラ6が、恒星投影機2の回転角位置制御により方位角AZM 、仰角ALT に向いている。この場合、カメラ撮像範囲は矩形となり、図示している通りドームスクリーン1の一部を撮像可能である。
ここで、ビデオプロジェクタ3はカメラ撮像範囲31の中心を通る縦の所定の広さの白い直線をテストパターン32として、色の補正を一切行わずに、カメラ撮影範囲31より上下に十分溢れるように投影する。
その様子をカメラ画面上で表示したのが図13である。カメラの方位角AZM は60度,仰角ALT がおよそ58度に設定されたときのカメラ画面である。斜線で塗りつぶされたのが投影されるテストパタ−ン32である。このテストパタ−ン32の太さがある程度あれば、カメラ画面上において、画面中心を通る縦一列の画素は、テストパターンに重なる。例えばカメラの解像度が640×480画素であったとすると、X=320,Y=0〜X=320,Y=479の合計480画素である。今後、カメラ撮影ではこの縦一列の画素(取得画素)のデータを使用するものとする。
例えば(320,0)と、(320,479)の2点のカメラ画面座標を、カメラの方位角と仰角を参照して地平座標に変換する。この2点の地平座標をビデオプロジェクタの投影画面上の座標に変換して、プロジェクタ投影画面上で、たとえば太さが10ピクセル〜20ピクセル程度で、この2点を結ぶ白線を描画すれば、図13のような状態が得られる。もしゆがみが大きいときは、2点でなくカメラ画面上のより多くの点を結ぶようにしてもよい。いずれしても、カメラの向きが分かっていれば、座標変換によりカメラ画面の中心を通る直線を描画することができる。カメラ撮影時は常にこの状態を維持する。
簡易に求めるには、このような描画でなく、プロジェクタ全画面に全白に塗りつぶした図形を表示する方法もあるが、全白画面を表示した場合、散乱光による誤差が出る可能性があるため、図形表示は取得範囲を被うぎりぎりの部分に留めるのが良い。
図14は、カメラの方向を変えてビデオプロジェクタの投影画面全面の明度を撮影する範囲を図示したものである。
点線で示されたプロジェクタの投影画面33を十分被うように、カメラの方位角と仰角を変えながら撮影を行う。本図では、カメラの仰角を3段階に分け、それぞれの仰角において、方位角を一定速度で動かしながら撮影をする。仮に画面中心の方位角が0度であったとすれば、第1スキャンでは、方位角を-WAZM1からWAZM1 まで移動させる。同様に第2,第3スキャンも行う。
スキャン撮影の様子を図16に示す。
この移動中に、カメラの取得画素から輝度データを逐次取得すれば、投影画面の全面を被って撮影できることになる。
図15はこの投影画像から補正マップを得るシステムのブロック図であり、本図を用いて手順とデータの流れを説明する。
あらかじめビデオプロジェクタの絞りは開口数設定部41により第1の状態にして、撮影する画面以外のプロジェクタはオフにしておく。
まず、入力装置43で撮像位置設定部42にカメラの向きを設定する。例えば、撮像位置設定部42をカメラ画面中心の高度と方位角を投影画面の隅にあたる位置に設定し、方位角を一定の速さで動し、これを画面全面を被うように繰り返すように指令を入力する。
恒星投影機2のサーボ制御装置44がこの指令に基づいて恒星投影機2を動かし、ビデオカメラ6の向きを上記のように変化させる。
サーボ制御装置44は、恒星投影機2の方位軸と緯度軸の回転角位置を随時保持しており、この値よりカメラ画面中心の高度と方位角を割り出すことができる。取得画素設定部45は、カメラ画面上の取得画素が設定されており、たとえば(320,0)〜(320,479)の値を随時繰り返し出力する。カメラ画素座標−地平座標変換部46は、ビデオカメラ画面中心の高度と方位角を参照することにより、カメラ画面上の取得画素を地平座標に変換する。この地平座標はさらに、プロジェクション変換部47で投影画面上の座標に変換される。
一方、取得画素座標をもとに、ビデオカメラ6からフレームグラバ48を通じてその画素の撮像データが読み出される。撮像データはガンマ補正部49によるビデオカメラのガンマ関数で補正される。このようにして得た補正済撮像データは、光学プロファイルのデータになるが、このままでは、物理量をそのまま記憶した値でもあるので、変換しなければならない。そのために、補正済撮像データは撮像データメモリ部50に格納する。撮像データメモリ部50は、プロジェクタの投影画素数に等しい画素数をもつ2次元配列で、この配列上の前記投影画面上の座標に、前記補正済撮像データを格納する。
なお、このような撮影と書き込みでは、同じ画素が複数回指定されることもあるが、その場合は上書きするか、または既に撮像データメモリ部50に登録されている値との平均値を得てそれを書き込む等をしてもよい。逆に、ビデオカメラの解像度が荒かったり、方位角を移動させる速度が速すぎる場合は、撮像データメモリの全ての画素が埋められるとは限らず、データが格納されない部分もあり得るので、この場合は補間計算により近くの値から近似値を得て書き込む必要がある。
光学プロファイルデータメモリ部51も、プロジェクタの投影画面と同じ画素数を持つ2次元配列である。光学プロファイルデータメモリ部51は撮像データメモリ部50からピーク値を取得し、ピーク値で除算して光学プロファイルを得、これを書き込む。
このような処理により、ビデオカメラで投影画面の全面をスキャンすれば、光学プロファイルデータメモリ部51に値が格納される。
また別の方法として、ビデオプロジェクタの遮光マスクを一時的に退避させて撮像を行い、非遮光撮像データメモリ部(図示しない)に撮像結果を書き込み、その後に遮光マスクを復帰させた状態で撮像された結果である撮像データを非遮光撮像データメモリ部の値で画素ごとに除算して光学プロファイルを求めてもよい。この場合、ビデオプロジェクタの光学投影ムラがあっても、純粋な遮光マスクの影響だけを抽出することができる。
この光学プロファイルデータメモリ部51に格納されたデータを参照し、目標プロファイルデータメモリ部53の目標プロファイルデータによって補正プロファイル算出部52は演算し、補正プロファイルが算出される。補正プロファイルは、補正マップ部54の補正マップ1に書き込まれる。
同様の手順で、開口数を第2の状態にして同様の処理により、補正マップ2を取得することができる。
この実施の形態では、ビデオカメラの画角があまり広くないため、ビデオカメラの方向を変えてスキャン撮影する場合を説明したが、より簡便にはビデオカメラに画角の広いものを用いてビデオカメラをビデオプロジェクタの投影画面中心に向けて静止させた状態で、投影画面全面の輝度を得てもよい。また、ビデオカメラ画面にビデオプロジェクタの投影面が収まらない場合でも、カメラの方向を複数の値で静止させてビデオカメラ画面の全画素を読み取り、合成して同様の効果を得ても良い。この場合、より短時間に撮影が完了する。ただし、この場合はカメラ画面の周辺まで使うため、ビデオカメラおよびカメラレンズの周辺減光の影響を受けやすくなるので、あらかじめカメラレンズの周辺減光特性を取得して、撮影データに補正することが望ましい。
図17は、このようにして得た得た補正マップ1と補正マップ2を用いて、実際に投影する開口数における補正マップを補間演算により得る流れを説明するためのブロック図である。
たとえば、ある画素において、開口数F3.2の補正マップ1のデータが0.62,開口数F8の補正マップ2のデータが0.44であるとする。
投影する際に開口数がF6のときのデータは、
A=(0.44−0.62)/(8−3.2) ・・・(3)
B=0.62−A*3.2 = 0.74 ・・・(4)
データ=A*6+B=0.515 ・・・(5)
となる。これを全ての画素について行えば良い。
なお、補間演算はあくまで近似計算であり、大きく状態の異なる2状態の中間を正しく表すものではない。より精度を上げるには、プロジェクタの開口数がより多くの状態で補正マップを得て補間演算するのが良い。もちろん、開口数を3つ以上の状態で3つ以上の補正マップを得て補間演算することも本発明の範疇に含まれる。
つづいて補正マップを用いて映像の表示の実施の形態を説明する。
図18は、リアルタイムに映像に補正をかけて上映する場合の映像生成PCの実施の形態を示すブロック図である。
映像の補正は、ビデオプロジェクタ3に映像信号を送る映像生成PC4の内部で行う。 そのため、あらかじめ制御PC5で取得した補正マップ1と補正マップ2のデータを映像生成PC内部の補正マップメモリ部61に転送しておく。
映像描画部62は、投影する元の画像を生成するものであり、あらかじめ編集されて作成された映像を再生する場合もあれば、リアルタイムにベクトル図形を描く場合もある。あらかじめ編集された映像は、たとえばAVI 形式やWMV 形式の動画ファイルであり、ドームマスター等の全天映像から、あらかじめ地平座標−プロジェクタ画面座標変換によって、それぞれのビデオプロジェクタに応じた変形を行って作成しておき、これを描画する。ベクトル図形を描画する場合は、図形の特徴点の座標は、そのまま地平座標か、または他の座標(たとえば赤道座標)から座標変換によって地平座標に変換されて指定されるので、これを描画時に地平座標からプロジェクタ画面上座標に変換して描画を行う。
いずれにしても、描画はいきなりビデオプロジェクタに出力するフレームバッファ66に行うのでなく、画面には現れないオフスクリーンバッファ63に対して行う。
開口数設定部60は、上映時のビデオプロジェクタの開口数が設定される。これは入力装置により開口数を入力してもよいし、あらかじめ設定されたシーケンスに基づいて設定されてもよい。ここで設定された開口数はビデオプロジェクタ3に送られてビデオプロジェクタの絞りが作動してこの開口数に設定される。
一方、補間演算部64にもこの開口数が送られ、この値をもとに、補正マップ1と補正マップ2の間で補間演算を行い、上映時の開口数に即した補正マップを作成する。本図では、開口数に即した補正マップを独立した形で設けるのではなく、二つの補正マップから、毎回全画素に対して毎回演算して得た画素ごとの補正値を映像補正部65に送る構成として示しているが、もちろん開口数に即した補正マップを独立して設け、二つの補正マップから得た補正マップデータをいったんメモリ部に格納して使用する構成にしてもよい。
映像補正部65は、オフスクリーンバッファ63に描画された画面に対して、補正データに基づいた演算をかけて補正を行い、これを出力フレームバッファ66に書き出す。
映像補正部65の補正演算は、投影する画素のデータに補正マップから得た各画素の補正データを乗算して行う。但し、単に乗算するのでは好ましくない。それはビデオプロジェクタが投影する輝度は一般に入力信号に対して比例せず、非線形のカーブを持った特性(ビデオプロジェクタのガンマ特性)を持つためである。ビデオプロジェクタのガンマ特性の一例を図19に示す。具体的特性は機種や設定によっても変わるので、実際の使用時の特性を実測するかメーカーの仕様書などで入手しておく必要がある。
ここでオフスクリーンバッファの描画出力から出力フレームバッファに出力するまでの手順について説明する。
1.オフスクリーンバッファの各画素のデータを読み出す。
2.カラー映像の場合、R,G,Bの3つの値があるので、R,G,Bの輝度を分離して得る。
3.R,G,Bそれぞれをガンマ関数によって変換し、実際に投影されるガンマ補正値R1,G1,B1を得る。
4.このガンマ補正値に各画素ごとの補正値を乗算する。得た値をR2,G2,B2とする。
5.補正値を、ガンマ関数の逆関数によって逆変換し、データ用の輝度にする。R3,G3,B3とする。
6.このR3,G3,B3を合成してもとのカラーデータに戻し、出力フレームバッファの該当画素に書き出す。
この処理をフレーム周期ごとに繰り返して映像を出力すると、ドームスクリーンには補正された正しい輝度の映像が投影される。
また、リアルタイムに補正するのでなく、あらかじめ再生する映像に補正をかける方法もある。
図20は、あらかじめ作成された映像データに補正をかけて補正済み映像データを作るためのブロック図である。
元映像データ71は、図18と同様、あらかじめ歪み補正は行われているものとする。また、ビデオプロジェクタの開口数は、あらかじめ再生時間に応じてシーケンス化して開口数シーケンスとして用意しておく。処理内容はつぎの通りである。
1.補正演算部74は元映像データ71から、1フレームずつ画像を取り出す。
2.そしてそのフレームに相当する時間を割り出し、その瞬間の開口数を開口数制御シーケンス72から割り出す。
3.この開口数をもとに、補正マップ部70の補正マップ1,2から補間演算部73で投影時の補正データを作る。
4.補正演算部74は、補正データをもとに元映像データ71に補正をかける。
5.補正後の映像データをフレームとして書き出し、これを補正済映像データ75とする。
このようにして作成された補正済映像データ75を、そのまま再生してビデオプロジェクタから投影すれば、正しい輝度の映像が投影される。
つぎに第2の実施の形態を説明する。
基本的な手順は第1の実施の形態と同様だが、補正マップを得るための撮影を複数回行わずに1回だけ行い、この撮影結果をもとに任意の開口数における補正マップを得る方法である。
まず、基本原理を説明する。
光学プロファイルの光学グラデーションは、ビデオプロジェクタの投影レンズにある、ほぼ円形の開口部を遮光マスクが遮ることにより生じる。
図21(a)は投影レンズの出射瞳と遮光板をスクリーン側から図示したものである。
スクリーン面からみたレンズの出射瞳90に対する遮光板91の位置Pは、スクリーン面の位置によって変わる。
図22は、ビデオプロジェクタから投影された光が遮光マスクにより周辺部が遮光される際の、ドームスクリーン上の3点から見た出射瞳と遮光板の位置関係を図示したものである。出射瞳90に遮光板91が影を作ることによりドームスクリーンの輝度が下がる。出射瞳80を通る光束分布が一様であると仮定すると、ドームスクリーン面の所定の位置から見た出射瞳の面積が、その位置におけるスクリーン面の輝度に比例する。
本図では半径Rの出射瞳の中心に対して遮光板91のエッジがPだけずれてレンズ面を被っている。
この時の出射瞳90の露出部分の面積を、全開の状態を「1」とすると、図21(b)で示す式で算出できる。
Rを「1」として、この関数をグラフ化すると図23のようになる。この関数を基本グラデーション関数とする。また、この逆関数を逆基本グラデーション関数とする。すなわち光学グラデーションのカーブがこの関数になる原理を利用する。
光学グラデーションの幅は、図9の例で明かなように、プロジェクタの絞りの開口数によって決まる。そして絞りの開口部の大きさに比例することは図8からみて明かである。図24は、遮光マスクのエッジ付近の光学プロファイルを、開口数がF3.2,F5.6,F8の3つのケースについて、ピーク光学輝度を100%として図示したものである。図を見れば分かるとおり、グラデーションの曲線形状はほとんど変化がなく、単にグラデーションは幅が開口数に反比例して伸縮していることが分かる。逆に言えば、ある開口数における光学プロファイルを得れば、ここから他の光学プロファイルを推定可能であると考えてよい。
そこで、一つの開口数における光学プロファイルをカメラ撮影によって求め、投影時の開口数に応じた光学プロファイルを推定した後、補正マップを作成する実施の形態を説明する。
図25は、本発明による映像システムの回路構成の第2の実施の形態を示すもので、光学プロファイル推定法による補正マップ算出を行う回路のブロック図である。
基本的な回路構成は第1の実施の形態と同じであるので、その部分の説明は省略する。 まず、絞りがたとえば開放の状態(F3.2)で前回同様の撮影を行い、ビデオプロジェクタの光学プロファイルを得る。その後、異なるのは、光学プロファイルから算出される補正マップでなく、ここで得た光学プロファイルのデータを保存することである。これを撮影時光学プロファイルと呼び、そのメモリ部を撮影時光学プロファイルデータメモリ部80とする。
映像投影時に、開口数設定部41によって設定された開口数をもとに、撮像時光学プロファイルから投影時光学プロファイルを算出し、投影時光学プロファイルデータメモリ部81に格納する。この算出方法は後述する。
その後の処理は前回同様、補正プロファイル算出部82によって目標プロファイルをこの投影時光学プロファイルで除算して補正マップを得、補正マップ部83に格納する。この補正マップを用いた映像の投影の方法は、前回の実施の形態と同様である。演算対象となる光学プロファイルが、「1」をピークとする相対光学プロファイルであるので、目標プロファイル算出のための目標輝度は、「1」未満、例えば0.8〜0.9程度の値を設定する。
ついで撮影時光学プロファイルから基本グラデーション関数を用いて、投影時光学プロファイルを求める演算方法を説明する。
図26は、相対光学プロファイルから投影時光学プロファイルを求める原理を図示したものである。相対光学プロファイルの一つのデータの値をY1であるとする。ここでY1値のグラデーション上のX座標Sは、Y1を逆基本グラデーション関数に入れて算出できる。撮影時の開口数がK1、投影時の開口数がK2であるとすると、開口数比はK2/K1 である。そこでS値に開口数比を乗算し、これを基本グラデーション関数によって変換すると、Y2を算出できる。
つぎに、撮影時の開口数がF3.2で、投影時の開口数がF7として、相対光学プロファイルのある画素のデータY1が0.61であったとしたときのY2の算出例を次に示す。
図27は、基本グラデーション関数の値を、Xを0.01刻みで示した図である。
計算例の説明補助のため、行番号と列番号を付記している。本図より数値を読み取って計算を進めることとなる。
なお、説明便宜のため誤差をある程度含んでいるが、この図から近似の値を読み取り、そのまま採択する。しかし実際にはコンピュータにより補間計算を行って精度を上げることもできる。
0.61の逆基本グラデーション関数による演算値S は、この図からY が最も0.61に近い値を探すと、3列目の38行目のX=0.17,Y=0.608 である。
開口数比は、7/3.2=2.189 であるから、S'は0.17*2.189=0.372となる。これをグラデーション関数に入力する。すなわちこの図のX=0.372の値に最も近い値を探すと、4列目の18行目、X=0.37,Y=0.73を求めることができる。
このYの値が、投影時光学プロファイルのデータとなる。この演算を、全ての画素について行えば良い。
実際の演算においては、この図の内容をコンピュータに読み込み、補間計算により上述の計算を行う。
この実施の形態では説明の便宜のため、開口数が一つの状態において光学プロファイルを求めて、他の開口数における光学プロファイルは数値演算によって得る例を示したが、実際には複数の光学プロファイルを用いる第1の実施の形態と併用して、より精度を高めることもできる。
以上の第1および第2の実施の形態では、投影像取得手段としてビデオカメラを用いた例を説明したが、実際にはディジタルスチルカメラを用いて、連続的に画像を取得するか、複数回撮影した画像を取得して、上記同様の演算により光学プロファイルを求めても良い。たとえばカメラに魚眼レンズを装着してドーム全面を撮像可能な構成としてドームスクリーン全面に渡り一括して撮像して光学プロファイルを取得してもよいし、カメラの向く方向を制御可能として複数方向にわたり撮像して光学プロファイルを求めても良い。
複数のプロジェクタを用いてドームスクリーンに映像を投影するマルチプロジェクションシステムを用いたプラネタリウム施設に設置されるシステムで、特に恒星投影機と併用した際、明るい映像と星空を調和する暗くてコントラストの高い映像を投影可能なシステムである。
本発明による映像投影システムの外観を説明するための斜視図である。 ドームスクリーンの地平座標の表示例を示す。 ドームドーム中心に設置される恒星投影機の構造の斜視図である。 本発明に用いるプロジェクタの実施の形態を示す斜視図である。 複数のプロジェクタを用いてドームスクリーン全面に映像を投影するレイアウトの一例を示す図である。 ドームマスター上で各プロジェクタの投影画面の重複領域を加えて示した図である。 重複領域の輝度の制御方法を説明するための図である。 図4の例におけるS1面のドームマスター型のブレンドマスクをドームマスター型で示す図である。 図4の例におけるS1〜S6面のドームマスター型のブレンドマスクの投影面の一例をドームマスター型のブレンドマスクで示す図である。 遮光マスクを取り付けたプロジェクタから投影される映像の輝度分布を説明した図である。 プロジェクタの絞りの開口数を変えたときの光学プロファイルの変化を説明するための図である。 補正マップを得る手順を示すフローチャートである。 S1面の目標プロファイルを画像化した一例を示す図である。 カメラ撮影の状態を示す図である。 テストパターンをカメラ画面上で表示した図である。 カメラの方向を変えてビデオプロジェクタの投影画面全面の明度を撮影する範囲を説明するための図である。 本発明による映像投影システムの回路構成の第1の実施の形態を示すもので、光学プロファイを投影画像から補正マップを得るシステムのブロック図である。 スキャン撮影の様子を説明するための図である。 補正マップ1と補正マップ2を用いて実際に投影する開口数における補正マップを補間演算により得る流れを説明するためのブロック図である。 リアルタイムに映像に補正をかけて上映する場合の映像生成PCの実施の形態を示すブロック図である。 ビデオプロジェクタのガンマ特性の一例を示す図である。 あらかじめ作成された映像データに補正をかけて補正済み映像データを作るためのブロック図である。 投影レンズの出射瞳と遮光板をスクリーン側から示した図である。 ビデオプロジェクタから投影された光が遮光マスクにより周辺部が遮光される際の、スクリーン上の3点から見た出射瞳と遮光板の位置関係を示す図である。 出射瞳の露出部分の面積に対する関係をグラフ化した図である。 遮光マスクのエッジ付近の光学プロファイルを開口数がF3.2、F5.6、F8の3つのケースの例を示す図である。 本発明による映像システムの回路構成の第2の実施の形態を示すもので、光学プロファイル推定法による補正マップ算出を行う回路のブロック図である。 相対光学プロファイルから投影時光学プロファイルを求める原理を説明するための図である。 基本グラデーション関数の値を、Xを0.01刻みで示した図である。
符号の説明
1 ドームスクリーン
2 恒星投影機(光学式恒星投影機)
3 プロジェクタ(ビデオプロジェクタ)
4 映像生成PC
5 制御PC
6 ビデオカメラ
10 台座
11,24 ベース
12 架台フォーク
13 緯度回転軸
14 日周ベース
15 北天恒星球
16 南天恒星球
21 映像入力ケーブル
22 投影レンズ
23 制御信号ケーブル
24 ベース
25 ガラス基板
27 遮光マスク
28 投影窓
29 絞り
30 プロジェクタ投影範囲
31 カメラ撮像範囲
32 テストパターン
33 プロジェクタの投影画面
41 開口数設定部
42 撮像位置設定部
43 入力装置
44 サーボ制御装置
45 取得画素設定部
46 カメラ画素座標−地平座標変換部
47 プロジェクション変換部
48 フレームグラバ
49 ガンマ補正部
50 撮像データメモリ部
51 光学プロファイルデータメモリ部
52 補正プロファイル算出部
53 目標プロファイルデータメモリ部
54,61,83 補正マップ(メモリ)部
62 映像描画部
63 オフスクリーンバッファ
64 補間演算部
65 映像補正部
66 出力フレームバッファ
80 撮像時光学プロファイルデータメモリ部
81 投影時光学プロファイルデータメモリ部
82 補正プロファイル算出部

Claims (9)

  1. コンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数の、開口数を可変可能なプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、
    前記スクリーンに投影された投影像のデータを取得可能な投影像取得手段と、
    前記投影像のデータを基に投影時の開口数における映像補正データを算出する映像補正データ算出手段とを備え、
    前記映像補正データを用いて映像の輝度の補正を行ってプロジェクタの開口数が投影時と異なる値においてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする映像投影システム。
  2. コンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数の開口数を可変可能なプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、
    前記スクリーンに投影された映像を撮影可能なカメラを有するとともに各プロジェクタ毎に開口数を所定の値に設定してスクリーンに投影されたテストパターンを撮影し、撮影して得た、それぞれのプロジェクタの投影像の撮像データを得る撮影像取得手段と、
    各プロジェクタの絞りの開口数を、前記テストパターン撮影時と異なる値に設定して映像を投影する場合、前記撮像データ,前記撮影時の各プロジェクタの開口数および該投影時の開口数をもとに、所定の演算を行って映像の輝度を補正する補正データを求める映像補正データ算出手段と、
    前記映像補正データにより映像の輝度の補正を行って投影する映像補正投影手段を備え、
    前記プロジェクタの開口数が前記撮影時と異なる値に設定されてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする映像投影システム。
  3. コンピュータやビデオ装置などの映像生成手段から出力される映像をスクリーンに投影し、複数のプロジェクタによって投影された画面をスクリーン上で重ね合わせてひとつの映像を形成させる映像投影システムであって、
    前記スクリーンに投影された映像を撮影可能なカメラを有するとともに前記複数のプロジェクタのそれぞれは、外部からの指令により開閉可能な絞りを有し、
    各プロジェクタ毎に絞りの開口数を所定の値に設定してスクリーンに投影されたテストパターンを撮影し、撮影して得た、それぞれのプロジェクタの投影像の撮像データを得る撮影像取得手段と、
    前記撮影像取得手段の撮像データより得られる光学プロファイルと、各プロジェクタが投影するべき光量を画面上の位置に応じて示す、あらかじめ設定した目標プロファイルまたは目標ブレンドマスクをもとに、所定の演算によって映像の各位置の輝度を補正する補正データを求める映像補正データ算出手段と、
    前記映像補正マップにより映像の輝度の補正を行って投影する映像補正投影手段を備え、
    前記プロジェクタの開口数が前記撮影時と異なる値に設定されてもスクリーンにムラの少ない映像を投影可能にしたことを特徴とする映像投影システム。
  4. 前記スクリーンは、曲面を有するドーム状スクリーンであることを特徴とする請求項1,2または3記載の映像投影システム。
  5. 前記撮影像取得手段は、
    プロジェクタの開口数が既知である複数の値において複数の撮像データを得、
    前記映像補正データ作成手段が用いるデータは、前記複数の撮像データ,前記既知の開口数であることを特徴とする請求項2,3または4記載の映像投影システム。
  6. 前記プロジェクタの前面には、画面周辺の光を遮光する遮光マスクを有することを特徴とする請求項2,3,4または5記載の映像投影システム。
  7. 前記所定の演算は、
    絞りの開口部が前記遮光マスクのエッジによってある位置関係で遮光されるときの位置と透過光量の関係を関数化したグラデーション関数を用いて行うことを特徴とする請求項6記載の映像投影システム。
  8. 前記遮光マスクにより形成される光学グラデーション領域と、投影面の重複領域が、少なくとも一部重複していることを特徴とする請求項7記載の映像投影システム。
  9. 前記カメラは、
    恒星投影機に搭載され、該カメラの方向を恒星投影機の回転軸の角位置制御によって設定する手段を有することを特徴とする請求項2乃至8記載の映像投影システム。
JP2007129620A 2007-05-15 2007-05-15 映像投影システム Active JP5224721B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007129620A JP5224721B2 (ja) 2007-05-15 2007-05-15 映像投影システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007129620A JP5224721B2 (ja) 2007-05-15 2007-05-15 映像投影システム

Publications (2)

Publication Number Publication Date
JP2008288714A true JP2008288714A (ja) 2008-11-27
JP5224721B2 JP5224721B2 (ja) 2013-07-03

Family

ID=40148055

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007129620A Active JP5224721B2 (ja) 2007-05-15 2007-05-15 映像投影システム

Country Status (1)

Country Link
JP (1) JP5224721B2 (ja)

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686022A (zh) * 2012-09-13 2014-03-26 武汉麦塔威科技有限公司 异面体投影系统
CN103713457A (zh) * 2013-12-12 2014-04-09 浙江大学 用于360°环幕多投影系统的几何校正装置和方法
CN104122740A (zh) * 2014-08-05 2014-10-29 江苏卡罗卡国际动漫城有限公司 一种球体投影装置
JP2015043571A (ja) * 2013-08-26 2015-03-05 シゼイ シジブイ カンパニー リミテッド 上映劇場パラメータの管理装置及び方法
JP2016024331A (ja) * 2014-07-20 2016-02-08 公益財団法人日本科学技術振興財団 映像投影システム及び映像投影方法
JP2016031514A (ja) * 2014-07-30 2016-03-07 株式会社クリプトン マルチプロジェクション装置
CN105702150A (zh) * 2014-12-16 2016-06-22 伍少昊 一体式光学-数字天象仪
CN108563981A (zh) * 2017-12-31 2018-09-21 广景视睿科技(深圳)有限公司 一种基于投影机和摄相机的手势识别方法和装置
JP2018175069A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175061A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175068A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175076A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175066A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175077A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175064A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175060A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175067A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
KR101931788B1 (ko) * 2016-06-30 2018-12-21 엘지전자 주식회사 빔 프로젝터 및 그의 동작 방법
JP2019220781A (ja) * 2018-06-18 2019-12-26 日本放送協会 映像補正装置及びそのプログラム
WO2020105519A1 (ja) * 2018-11-20 2020-05-28 コニカミノルタプラネタリウム株式会社 投影システムおよび投影レンズユニット
JP2020134882A (ja) * 2019-02-25 2020-08-31 キヤノン株式会社 投射制御装置、画像投射装置および投射制御方法
JP2021076719A (ja) * 2019-11-08 2021-05-20 シャープ福山セミコンダクター株式会社 プロジェクタ装置、プロジェクタ装置の制御方法、プログラム、および、記録媒体
WO2022019086A1 (ja) * 2020-07-20 2022-01-27 有限会社大平技研 光学式プラネタリウム及びそれを有するプラネタリウムシステム
CN114363592A (zh) * 2021-12-10 2022-04-15 河南中光学集团有限公司 一种降低不同投影仪画面色差的方法
CN115514944A (zh) * 2022-09-21 2022-12-23 南京创斐信息技术有限公司 一种智能家居投影角度校正系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023003527A1 (en) * 2021-07-22 2023-01-26 Slyusarenko Vitaliy Serhiiovych Method for calibration of an optical-digital projection system

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519346A (ja) * 1991-06-18 1993-01-29 Matsushita Electric Ind Co Ltd 投写型画像表示装置
JPH09326981A (ja) * 1996-06-06 1997-12-16 Olympus Optical Co Ltd 画像投影システム
JP2006178080A (ja) * 2004-12-21 2006-07-06 Olympus Corp プロジェクタ
JP2006337682A (ja) * 2005-06-01 2006-12-14 Takayuki Ohira 映像投影システム
JP2007011144A (ja) * 2005-07-01 2007-01-18 Olympus Corp マルチディスプレイ装置の輝度調整機構

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0519346A (ja) * 1991-06-18 1993-01-29 Matsushita Electric Ind Co Ltd 投写型画像表示装置
JPH09326981A (ja) * 1996-06-06 1997-12-16 Olympus Optical Co Ltd 画像投影システム
JP2006178080A (ja) * 2004-12-21 2006-07-06 Olympus Corp プロジェクタ
JP2006337682A (ja) * 2005-06-01 2006-12-14 Takayuki Ohira 映像投影システム
JP2007011144A (ja) * 2005-07-01 2007-01-18 Olympus Corp マルチディスプレイ装置の輝度調整機構

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103686022A (zh) * 2012-09-13 2014-03-26 武汉麦塔威科技有限公司 异面体投影系统
JP2015043571A (ja) * 2013-08-26 2015-03-05 シゼイ シジブイ カンパニー リミテッド 上映劇場パラメータの管理装置及び方法
US9632405B2 (en) 2013-08-26 2017-04-25 Cj Cgv Co., Ltd. Theater parameter management apparatus and method
US9671684B2 (en) 2013-08-26 2017-06-06 Cj Cgv Co., Ltd. Theater parameter management apparatus and method
CN103713457A (zh) * 2013-12-12 2014-04-09 浙江大学 用于360°环幕多投影系统的几何校正装置和方法
JP2016024331A (ja) * 2014-07-20 2016-02-08 公益財団法人日本科学技術振興財団 映像投影システム及び映像投影方法
JP2016031514A (ja) * 2014-07-30 2016-03-07 株式会社クリプトン マルチプロジェクション装置
CN104122740A (zh) * 2014-08-05 2014-10-29 江苏卡罗卡国际动漫城有限公司 一种球体投影装置
CN105702150A (zh) * 2014-12-16 2016-06-22 伍少昊 一体式光学-数字天象仪
KR101931788B1 (ko) * 2016-06-30 2018-12-21 엘지전자 주식회사 빔 프로젝터 및 그의 동작 방법
JP2018175064A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175061A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175068A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175076A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175066A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175077A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175069A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175060A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
JP2018175067A (ja) * 2017-04-05 2018-11-15 株式会社ユニバーサルエンターテインメント 遊技機
CN108563981B (zh) * 2017-12-31 2022-04-15 广景视睿科技(深圳)有限公司 一种基于投影机和摄相机的手势识别方法和装置
CN108563981A (zh) * 2017-12-31 2018-09-21 广景视睿科技(深圳)有限公司 一种基于投影机和摄相机的手势识别方法和装置
JP2019220781A (ja) * 2018-06-18 2019-12-26 日本放送協会 映像補正装置及びそのプログラム
WO2020105519A1 (ja) * 2018-11-20 2020-05-28 コニカミノルタプラネタリウム株式会社 投影システムおよび投影レンズユニット
JPWO2020105519A1 (ja) * 2018-11-20 2021-10-14 コニカミノルタプラネタリウム株式会社 投影システムおよび投影レンズユニット
US11762264B2 (en) 2018-11-20 2023-09-19 Konica Minolta Planetarium Co., Ltd. Projection system and projection lens unit
JP7455070B2 (ja) 2018-11-20 2024-03-25 コニカミノルタプラネタリウム株式会社 投影システム
JP2020134882A (ja) * 2019-02-25 2020-08-31 キヤノン株式会社 投射制御装置、画像投射装置および投射制御方法
JP7179648B2 (ja) 2019-02-25 2022-11-29 キヤノン株式会社 投射制御装置、画像投射装置および投射制御方法
JP2021076719A (ja) * 2019-11-08 2021-05-20 シャープ福山セミコンダクター株式会社 プロジェクタ装置、プロジェクタ装置の制御方法、プログラム、および、記録媒体
WO2022019086A1 (ja) * 2020-07-20 2022-01-27 有限会社大平技研 光学式プラネタリウム及びそれを有するプラネタリウムシステム
CN114363592A (zh) * 2021-12-10 2022-04-15 河南中光学集团有限公司 一种降低不同投影仪画面色差的方法
CN115514944A (zh) * 2022-09-21 2022-12-23 南京创斐信息技术有限公司 一种智能家居投影角度校正系统

Also Published As

Publication number Publication date
JP5224721B2 (ja) 2013-07-03

Similar Documents

Publication Publication Date Title
JP5224721B2 (ja) 映像投影システム
JP3735158B2 (ja) 画像投影システム、画像処理装置
JP3908255B2 (ja) 画像投影システム
US8311366B2 (en) System and method for calibrating and adjusting a projected image of a projection apparatus
JP3497805B2 (ja) 画像投影表示装置
US6983082B2 (en) Reality-based light environment for digital imaging in motion pictures
TWI242374B (en) Image processing system, projector, program, information storing medium, and image processing method
WO2022206527A1 (zh) 投影图像的校正方法及激光投影设备
KR20160034847A (ko) 단초점 카메라를 이용하여 디스플레이 시스템을 캘리브레이팅하기 위한 시스템 및 방법
JP2008533501A (ja) コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
MXPA06007550A (es) Sistema y metodo para ocultar costuras en despliegues reticulados.
JP2005354680A (ja) 画像投影システム
KR101725024B1 (ko) 룩업테이블 기반의 실시간 360도 vr 동영상 제작 시스템 및 이를 이용한 360도 vr 동영상 제작 방법
JP2004015205A (ja) マルチプロジェクションシステム及びマルチプロジェクションシステムにおける補正データ取得方法
JPH11242737A (ja) 画像処理方法及び装置並びに情報記録媒体
JP4751084B2 (ja) マッピング関数生成方法及びその装置並びに複合映像生成方法及びその装置
KR101704362B1 (ko) 룩업테이블 기반의 실시간 파노라마 영상 제작 시스템 및 이를 이용한 실시간 파노라마 영상 제작 방법
WO2019155904A1 (ja) 画像処理装置、画像処理方法、プログラム、および投影システム
JP2006285482A (ja) 映像ジオメトリ補正装置
JP3709395B2 (ja) 画像投影システム
JP2010266714A (ja) 映像処理装置、映像表示装置および映像処理方法
WO2022183721A1 (zh) 投影校正方法、装置及投影系统
JP4355508B2 (ja) ドームスクリーンにおけるビデオ画像投映装置
JP2004282712A (ja) 調整装置
JPH07135605A (ja) 画像合成装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20080716

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20100223

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120313

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120507

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130305

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130312

R150 Certificate of patent or registration of utility model

Ref document number: 5224721

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250