JP2004147143A - 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 - Google Patents
複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 Download PDFInfo
- Publication number
- JP2004147143A JP2004147143A JP2002310513A JP2002310513A JP2004147143A JP 2004147143 A JP2004147143 A JP 2004147143A JP 2002310513 A JP2002310513 A JP 2002310513A JP 2002310513 A JP2002310513 A JP 2002310513A JP 2004147143 A JP2004147143 A JP 2004147143A
- Authority
- JP
- Japan
- Prior art keywords
- projector
- image
- projection
- projectors
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Abstract
【課題】映像のつなぎ目が目立たないように投影するマルチ映像投影方法において、高速で画像処理ができ、任意形状のスクリーンに対応できるようにする。
【解決手段】予め、投影範囲が隣接するプロジェクタのうちの１台の投影錘台を使用したマッピングを行い、該プロジェクタの視錘台によりスクリーン形状を描画し、得られる重なり画像に対してグラデーションをかけ、得られた画像を該プロジェクタのための輝度調整用画像データとして保存する。他のプロジェクタについても同様の処理を行い、各プロジェクタのための輝度調整用画像データとして保存する。各プロジェクタにて入力映像をフレームバッファに取り込む際に、１フレーム分画像データ格納を終了する度に、グラフィックス・アクセラレータのブレンディング関数を「乗算」に設定して、入力する画像データに輝度調整用画像データを１ピクセル毎に乗算してその値でフレームバッファを更新する。
【選択図】 図１
【解決手段】予め、投影範囲が隣接するプロジェクタのうちの１台の投影錘台を使用したマッピングを行い、該プロジェクタの視錘台によりスクリーン形状を描画し、得られる重なり画像に対してグラデーションをかけ、得られた画像を該プロジェクタのための輝度調整用画像データとして保存する。他のプロジェクタについても同様の処理を行い、各プロジェクタのための輝度調整用画像データとして保存する。各プロジェクタにて入力映像をフレームバッファに取り込む際に、１フレーム分画像データ格納を終了する度に、グラフィックス・アクセラレータのブレンディング関数を「乗算」に設定して、入力する画像データに輝度調整用画像データを１ピクセル毎に乗算してその値でフレームバッファを更新する。
【選択図】 図１
Description
【０００１】
【発明の属する技術分野】
本発明は、複数台のプロジェクタを用いてスクリーンに映像を投影する場合に、映像のつなぎ目が目立たないように投影する方法、同方法の実現のために用いられるプロジェクタ装置、同方法用プログラム及び同プログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
外部から入力される映像を、複数台のプロジェクタにより、スクリーン上に例えばマトリックス状に投影する場合がある。外部から入力される映像には、コンピュータにより生成された画像、又はテレビやビデオ再生機などから入力されるものがある。従来の投影方法においては、各プロジェクタから投影される映像のエッジが重なり合う部分（映像の重合部分）は他の部分よりも輝度が高くなるため、つなぎ目が目立つ不自然な映像が投影される。これを避けるために、従来は映像の重合部分を幾何学的に特定し、その重合部分の輝度を下げる方向に調節するのが一般的であった。
【０００３】
【発明が解決しようとする課題】
しかし、映像の重合部分を幾何学計算により特定する方法には、次のような難点がある。すなわち、
平面スクリーン以外のスクリーンでは、重合部分を特定するための計算が非常に複雑である。異なる形状のスクリーンに対しては、異なる計算が必要となる。パラメトリック表現ができない形状のスクリーンに対しては、計算が不可能である。
【０００４】
また、仮に重合部分を特定できたとしても、ソフトウェア的に輝度調整を行うためには、次の処理が必要となる。
フレームバッファに取込まれた画像データを一旦メインメモリに転送する。
メインメモリ上で重合部分について演算により各ピクセルの輝度を操作する。
処理済みの画像データを再びフレームバッファに書き戻す。
【０００５】
従って、上記の処理を行うには、膨大な処理時間が必要となる。そのため、リアルタイム性を必要とされる場合は、ハードウェアにより映像のつなぎ目部分の輝度調整を行うのが一般的であるが、そのようなハードウェアは非常に高価である。
【０００６】
本発明は、上記の事情に鑑みてなされたものであり、第１の課題は、複数台のプロジェクタを用いて映像を投影する場合、輝度調整を行って映像のつなぎ目が目立たないように投影するマルチ映像投影方法において、リアルタイムで高速に画像データの処理ができ、かつ、任意の形状のスクリーンに随時対応することができるようにすることにある。
また、第２の課題は、映像のつなぎ目が目立たないように投影するマルチ映像投影方法を実現するマルチ映像投影装置を提供することにある。
さらに、第３の課題は、映像のつなぎ目が目立たないように投影するマルチ映像投影方法をリアルタイムで高速の画像データ処理により実現できるプログラム及びそのプログラムを格納した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記第１の課題を解決するため、本発明方法は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影する方法において、（ａ）前処理として、スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理と、を行い、この合成処理により得られた画像を、当該プロジェクタのための輝度調整用画像データとしてファイルに保存し、当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとしてそれぞれファイルに保存し、（ｂ）投影時処理として、グラフィックス・アクセラレータのブレンディング関数を「置換」にしたまま入力映像の１フレーム分の映像の取り込みを終了する度に、前記ブレンディング関数を「乗算」に設定して前記輝度調整用画像を上書きすることにより、前記グラフィックス・アクセラレータに前記入力映像と前記輝度調整用画像データを１ピクセル毎に乗算させ、その乗算後の値で前記フレームバッファを更新することを特徴としている。
【０００８】
上記方法の作用を説明すると、前処理における投影マッピング処理においては、隣接プロジェクタが投影する映像により、物理的スクリーンが影響を受ける領域に対応するスクリーン形状データ上に画像がマッピングされる。スクリーン描画処理においては、当該プロジェクタの投影する映像と、隣接プロジェクタの投影する映像とが重なり合う部分（重なり映像。重合部分という場合もある。）が特定される。グラデーション処理においては、前記重なり画像に前記当該プロジェクタによる映像の中心から隣接するプロジェクタによる映像の中心に向かって輝度が徐々に低くなるようにグラデーションが付けられ、そのグラデーション付き重なり画像は、当該プロジェクタのための輝度調整用画像として画像ファイルに保存される。上記の処理は、隣接するプロジェクタの各々に対しても同様に行われる。
投影時処理においては、プログラム開始時に、一度画像ファイルから輝度調整用画像が読み出され、テクスチャメモリに保存される。原画像の１フレーム分がフレームバッファに格納される度に、ブレンディング関数が「乗算」に設定され前記輝度調整用画像がフレームバッファに転送される。従って、次いで、先にフレームバッファに格納された原画像データと輝度調整用画像データが１ピクセル毎に乗算され、その乗算の結果の値でフレームバッファが更新される。すなわち、原画像は結果的に重なり画像に対して１ピクセル毎に輝度調整されて保存され、その輝度調整された映像が出力される。
【０００９】
第２の課題を解決するため、上記マルチ映像投影方法を使用するためのマルチ映像投影装置である請求項２の発明は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法を使用するためのプロジェクタ装置であって、（ａ）スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理とを行う画像処理手段と、（ｂ）前記各プロジェクタに対する上記画像処理手段の処理により得られた合成画像データを当該プロジェクタの輝度調整用画像データとして保存する画像ファイルと、（ｃ）前記各プロジェクタに入力される映像をフレームバッファに取り込むグラフィックス・アクセラレータと、（ｄ）前記グラフィックス・アクセラレータのブレンディング関数を、前記フレームバッファに１フレーム分の映像の取り込みを終了する度に「乗算」に設定して前記輝度調整用画像を上書きする格納制御手段と、を備えていることを特徴としている。
【００１０】
第３の課題を解決するため、上記マルチ映像投影方法を使用するためのプログラムである請求項３の発明は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法において用いられるプログラムであって、スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用した投影マッピングを行う第１ステップと、当該プロジェクタの視錘台により前記スクリーン形状データを描画する第２ステップと、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得る第３ステップと、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する第４ステップと、この合成処理により得られた画像を当該プロジェクタのための輝度調整用画像データとして、当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとして、それぞれファイルに保存する第５ステップと、前記各プロジェクタに入力する原画像を１フレーム分ごとフレームバッファに格納する第６ステップと、原画像データの１フレーム分の格納を終了する度に前記グラフィックス・アクセラレータのブレンディング関数を「乗算」に設定して前記輝度調整用画像を上書きする第７ステップと、前記原画像データと前記輝度調整用画像データの１ピクセルごとの乗算の結果を出力用画像データとして前記フレームバッファに格納する第８ステップとを含むことを特徴としている。
また、第３の課題を解決するため、上記マルチ映像投影方法を使用するための記録媒体である請求項４の発明は、請求項３に記載されたマルチ映像投影用プログラムを格納したものであることを特徴としている。
【００１１】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照しながら説明する。
図１は複数台のプロジェクタを用いてスクリーンに複数の映像を隣接して投影する場合の平面図、図２は同配置のプロジェクタによりスクリーン上に複数の映像を投影する場合の表示形態の一例を示す正面図、図３は１台のプロジェクタ装置の概略構成を示すブロック図、図４は前処理の動作の流れを示すフローチャート、図５は一つのプロジェクタの投影像と他のプロジェクタの投影像との重合部分に対する処理の内容を説明する概念図、図６は図２のマルチ映像の場合の画像処理部による各処理の結果の一例を示すものであり、（ａ）は一つのプロジェクタによる投影画像と、右側に隣接するプロジェクタによる投影画像の重なり画像を、（ｂ）は一つのプロジェクタによる投影画像と、斜め右下側に隣接するプロジェクタによる投影画像の重なり画像を、（ｃ）は一つのプロジェクタによる投影画像と、下側に隣接するプロジェクタによる投影画像の重なり画像を、（ｄ）は（ａ）〜（ｃ）のすべての重なり画像の合成の結果を示す。図７はグラデーション処理の結果を説明する図である。図８は投影時処理の内容を示すフローチャート、図９は一つのプロジェクタの映像重合部分に対する輝度調整及びその結果を説明するための図である。
【００１２】
図１は、４台のプロジェクタＰ１〜Ｐ４を左右上下に配置し、図２に示すように、スクリーンＳ上の上下左右に隣接する４個の画面ＰＡ１〜ＰＡ４にそれぞれ映像を投影する場合のプロジェクタとスクリーンの配置状態を示している。各プロジェクタＰ１〜Ｐ４と画面ＰＡ１〜ＰＡ４とはそれぞれ１対１で対応しているとする。
【００１３】
プロジェクタＰ１〜Ｐ４はいずれも同様の構成を有する。図３を参照して１台のプロジェクタ（特定のプロジェクタを指称しない場合は符合Ｐを用いる。）の構成を説明する。
プロジェクタＰは、従来品と同様に、映像入力部１と、映像出力部であるフレームバッファ２と、このフレームバッファに対する書き込み（格納）を行うグラフィックス・アクセラセレータ３とを有する。
グラフィックス・アクセラセレータ３は、その機能の一つとして、ブレンディングを行う。ブレンディングとは、フレームバッファに既に格納されている画素（ＤＳＴ）とフレームバッファに新たに格納されようとする画素（ＳＲＣ）の演算をいい、その演算結果がフレームバッファに格納される。演算条件を規定するブレンディング関数には、「置換」（ＤＳＴ＝ＳＲＣ）、「乗算」（ＤＳＴ＝ＤＳＴｘＳＲＣ）、「加算」（ＤＳＴ＝ＤＳＴ＋ＳＲＣ）の３種類などがある。ブレンディング関数を上記３種類のいずれに設定するかは、格納条件制御部４によって決定される。
通常のプロジェクタにおいては、ブレンディング関数は「置換」に設定されていて、前の書き込みサイクルにおいて書き込まれた１フレーム分の画像データに次の書き込みサイクルにおいて次の１フレーム分の画像データを置き換えるようになっている。従って、映像入力部１より入力した画像はそのままフレームバッファ２２から出力されてスクリーンの所定画面に投影される。
【００１４】
これに対して、本発明においては、格納条件制御部４が、グラフィックス・アクセラセレータ３によるブレンディング関数を、映像入力部１より入力される画像の１フレーム分のデータの格納を終了する度に、「置換」から「乗算」にサイクリックに変えるように構成されている。
【００１５】
また、本発明方法を実施するためのプロジェクタＰには、互いに隣接して投影される映像の重合部分に対して輝度調整をするための画像処理部５が設けられている。
画像処理部５は、プロジェクタＰによる映像投影を行う前に、前処理として、図４に示され後述される第１処理Ｓ１から第５処理Ｓ６までを行って、スクリーーンに後に投影される映像の重合部分に対応する輝度調整用画像データを生成するものである。次に、各処理について項を分けて説明する。
【００１６】
［前処理］
第１処理（Ｓ１）：スクリーン形状の投影マッピング処理
任意の一つのプロジェクタをＰｉｊ（ただし、０≦ｉ≦Ｘ，０≦ｊ≦Ｙ）、これに隣接するプロジェクタをＰｎｍ（ただし、ｉ − １≦ｎ≦ｉ＋１，ｎ≠ｉ，ｊ−１≦ｍ≦ｊ＋１，ｍ≠ｊ）とすると、第１処理は、プロジェクタＰｉｊによるスクリーン形状への投影面に対し、プロジェクタＰｎｍの投影錘台による投影マッピング処理を次のように行う。
すなわち、Ｐｎｍのビューポートの解像度（ｗ×ｈ）と同じ解像度のテクスチャを投影するためのテクスチャ座標配列を、スクリーン形状の各頂点に対応して求める。
【００１７】
図５は、理解を容易にするため、二つのプロジェクタを用いる場合の、各処理の内容及びその結果を図示する。同図（ａ）は、一つのプロジェクタの投影面ｐａ１に右隣のプロジェクタの投影錘台による投影マッピング（Ｓｉ）を行った状態のイメージである。
【００１８】
第２処理（Ｓ２）：スクリーン形状の描画処理
この処理においては、プロジェクタＰｉｊの視錘台を用いて、次の手順でスクリーン形状をフレームバッファ２に描画する。すなわち、
ｉ）フレームバッファ２を黒（０，０，０）でクリアする。
ｉｉ）解像度Ｗ×Ｈのテクスチャを作成する。
ｉｉｉ） テクスチャを白（２５５，２５５，２５５）でクリアする。
ｉｖ） 第１処理において求めたテクスチャ座標を使用してテクスチャマッピングを適用し、スクリーン形状をフレームバッファ２上に描画する。
【００１９】
なお、フレームバッファ２上に描画されるｗ×ｈの画像範囲外の部分（画素データが記録されていない部分）は、３ＤＣＧにおいて周知のプログラムによるクランプ処理により、画像の端部の画素データと同一の画素データが自動的に画面エッジまで展開されるようになっているのが通常であるので、乗算（輝度調整）のデータ処理の際に映像部分と輝度調整の対象とすべき重合部分との識別が困難になる。これを避けるため、慣用技術ではあるが、上記ｉｉ）の処理においては、投影範囲を限定するためのボーダーを黒（０，０，０）にするための処理が行われる。
【００２０】
図５（ｂ）は、左側のプロジェクタＰ１の投影面ｐａ１に対する右側のプロジェクタＰ２のスクリーン形状データの投影マッピング後に、左側のプロジェクタＰ１のスクリーン形状データを描画した状態を示している。ＯＶＬＰがプロジェクタＰ１の投影面とプロジェクタＰ２の投影面との重合部分である。
上記ｉ）からｉｖ） の処理により、図５（ｃ）に示すような映像の重合部分（ＯＶＬＰ）に対応する重なり画像が得られる。
この第２処理の結果として、プロジェクタＰｉｊとＰｎｍの投影面が重なる部分（重合部分）ＯＶＬＰが白のピクセルとして現われ、フレームバッファ２に格納されることになる。
【００２１】
図２の４画面に投影する場合の例について説明すると、左上画面ＰＡ１に対応するプロジェクタＰ１においては、隣接する他の３台のプロジェクタＰ２〜Ｐ４との間の第１処理及び第２処理を順次行うことにより、図６（ａ）〜（ｃ）に示すような重なり画像が得られる。
【００２２】
第３処理（Ｓ３）：グラデーション処理
この処理においては、上記スクリーン形状の描画処理の結果をフレームバッファ２から取得し、各ピクセルを（ｎ−ｉ，ｍ−ｊ）方向の直線状にスキャンし、その直線上で最初に白が現われたピクセル（すなわち、重合部分の始点）から、ｗ×ｈの画像範囲外までのピクセル（すなわち、重合部分の終点）に対して、白から黒の方向に輝度が漸減するグラデーション処理を行い、グラデーション付き重なり画像を得る。図７の（ａ）（ｂ）は、図２の左上の画面ＰＡ１の右辺及び下辺の重合部分に対してグラデーション付き重なり画像を示している。
【００２３】
ＣＰＵ１１は、ステップＳ４において、プロジェクタＰ１（Ｐｉｊ）に隣接する全プロジェクタに対して上記第１処理Ｓ１から第３処理Ｓ３までの処理を終了したか否かを調べ、終了していない場合は、終了するまでその処理を繰り返す。
【００２４】
第４処理（Ｓ５）：合成処理
全ての隣接プロジェクタに対する第１処理から第３処理までの処理を終了すると、次に、プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理を行う。
【００２５】
第５処理：輝度調整用画像データの作成・保存処理
前処理の最後の処理として、各Ｐｎｍに対する上記第１〜第４処理により得られた全映像をピクセル単位で乗算し、その乗算により得られる値を、プロジェクタＰ１（Ｐｉｊ）の輝度調整用画像データとして、画像ファイル７に保存する。図６（ｄ）は、図２の画面ＰＡ１に対してこの第５処理の乗算が行われた結果として得られた輝度調整用画像を示す。
【００２６】
フレームバッファ２には、１画面分の例えば５１２×５１２画素のデータが、コンポーネント（ＲＧＢ）ごと記録される。従って、ピクセル単位で乗算するとは、ＲＧＢの各値同志で乗算することである。例えば、図７に示すように、（ａ）の右側の隣接プロジェクタとの重なり画像と、（ｂ）の下側の隣接プロジェクタとの重なり画像とをピクセル単位で乗算すると、その結果として（ｃ）に示された画像が得られる。
このようにして、プロジェクタＰｉｊの輝度調整用画像が作成され、ディスクなど記憶部７の画像ファイルに保存される。
【００２７】
［投影時処理］
各プロジェクタＰｉｊは、上記前処理を終了した後は、投影時処理として映像入力部１から入力する映像に対して、その画像の各ピクセルに対して、図８に示すように、Ｓ１１からＳ１６の手順で各処理を行い、前記輝度調整用画像の対応する座標のピクセル値を乗算することによって、入力する画像の各ピクセルに対して輝度調整を行う。続いて、図８の各処理について説明する。
【００２８】
Ｓ１１において、記憶部７から輝度調整画像を格納した画像ファイルをテクスチャメモリに転送する。また、Ｓ１２において、格納制御部４はブレンディング関数を「置換」にする。次いで、Ｓ１３において、映像入力部１から原画像が入力するか否かを監視する。
映像入力部１から原画像を入力すると、Ｓ１４において、その原画像をフレームバッファ２に転送して格納する。プロジェクタからスクリーンＳに投影する映像に、当該プロジェクタの位置やスクリーン形状などに基づき映像に歪みが生じる場合は、映像入力部１から入力する原画像に対して、既知の歪み補正プログラムにより歪み補正処理が施された後の画像がフレームバッファ２に格納されることとなる。
【００２９】
次に、Ｓ１５において、格納制御部４は、１フレーム分の画像データの格納サイクルを終了した時は、グラフィックス・アクセラセレータ３のブレンディング関数を「乗算」に設定する。
【００３０】
続いて、Ｓ１６において、画像ファイル６に格納されている輝度調整用画像データをフレームバッファ２に転送して描画する。これにより、グラフィックス・アクセラセレータ３はフレームバッファ２に格納されている画像データと転送されてき輝度調整用画像データとをピクセルごとに１対１で、さらに詳しくは、各ピクセルのコンポーネント（ＲＧＢ）のそれぞれについて乗算する。
【００３１】
例えば、図９の（ａ）が原画像データ、（ｂ）が輝度調整用画像データとすると、フレームバッファ２の任意の記憶番地Ａ１のピクセルについては、そのピクセルのコンポーネントの輝度データ（Ｒ，Ｇ，Ｂ）と画像ファイル６の対応する記憶番地のａ１のピクセルのコンポーネントの輝度データ（Ｒ´，Ｇ´，Ｂ´）とが乗算され、先のＡ１のピクセルのコンポーネントの輝度データ（Ｒ，Ｇ，Ｂ）が、乗算後の各値（Ｒ×Ｒ´，Ｇ×Ｇ´，Ｂ×Ｂ´）に書き替えられる。すなわち、Ｒ＝Ｒ×Ｒ´，Ｇ＝Ｇ×Ｇ´，Ｂ＝Ｂ×Ｂ´の処理がされて、ブレンディングが行われる。このような処理はフレームバッファ２及び画像ファイル６の１フレーム分の画像データのすべてのピクセルに対して行われ、フレームバッファ２には輝度調整がなされた画像データが格納される。従って、１フレーム分の輝度調整が終了した次のサイクルでは、その輝度調整がなされた画像データが出力されて、スクリーンＰＡ１に映像が投影される。
他のプロジェクタについても映像に対して同様の輝度調整がされて、スクリーンＰＡ２〜ＰＡ４に投影される。
【００３２】
上記の処理により、目的とするブレンディング効果、すなわち、複数の映像の重合部分に輝度調整を施された画像データが得られ、その画像を各プロジェクタからスクリーンに投影されることにより、映像のつなぎ目が目立たないように投影される。
【００３３】
上記実施の形態において述べたように、複数のプロジェクタの内、一つのプロジェクタの投影範囲に隣接する投影範囲を有するプロジェクタの投影錘台を使用したマッピングをし、これに当該プロジェクタの視錘台によりスクリーン形状を描画することにより、互いに隣接するプロジェクタの映像の重合部分を特定するようにしたので、任意のスクリーン形状に対しても、その映像の繋ぎ目の高輝度化を防止してマルチ映像に自然に連続する映像を投影することが可能である。
また、入力映像をフレームバッファに取り込むグラフィックス・アクセラレータのブレンディング関数を、１フレーム分の画像データの取り込みを終了する度に「乗算」に設定することにより、フレームバッファに取り込まれた画像データに対して輝度調整用画像データを１ピクセル毎に乗算させ、その乗算後の値でフレームバッファを更新するようにしたので、ハードウェアで高速処理が可能なフレームバッファ及びグラフィックス・アクセラレータを活用することができるため、映像の重合部分の輝度調整をリアルタイムで高速に行うことができることとなった。
【００３４】
【発明の効果】
上述のように、本発明によれば、複数台のプロジェクタを用いてスクリーン上の隣接する複数の画面に映像をそのつなぎ目が目立たないように投影する場合、リアルタイムで高速に画像データの処理ができ、かつ、任意の形状のスクリーンに随時対応することができる。
【図面の簡単な説明】
【図１】複数台のプロジェクタを用いてスクリーンに複数の画面を隣接して投影する場合の平面図。
【図２】プロジェクタによりスクリーン上の隣接する複数の画面に映像を投影する場合の表示形態の一例を示す正面図。
【図３】１台のプロジェクタ装置の概略構成を示すブロック図。
【図４】前処理の動作の流れを示すフローチャート。
【図５】一つのプロジェクタに他の一つのプロジェクタが隣接する場合の各処理の内容を説明する概念図。
【図６】図２のマルチ映像の場合の投影面の重なり画像の一例を示す概念図。
【図７】グラデーション処理及び乗算の結果の説明図。
【図８】投影時処理の内容を示すフローチャート。
【図９】一つのプロジェクタの映像重合部分に対する輝度調整及びその結果の説明図。
【符号の説明】
Ｓ スクリーン
Ｐ１〜Ｐ４ プロジェクタ
ＰＡ１〜ＰＡ４ 画面
１ 映像入力部
２ 映像出力部（フレームバッファ）
３ グラフィックス・アクセラレータ
４ 格納制御部
５ 画像処理部
６ 記憶部（ 画像ファイル）
【発明の属する技術分野】
本発明は、複数台のプロジェクタを用いてスクリーンに映像を投影する場合に、映像のつなぎ目が目立たないように投影する方法、同方法の実現のために用いられるプロジェクタ装置、同方法用プログラム及び同プログラムを格納した記録媒体に関する。
【０００２】
【従来の技術】
外部から入力される映像を、複数台のプロジェクタにより、スクリーン上に例えばマトリックス状に投影する場合がある。外部から入力される映像には、コンピュータにより生成された画像、又はテレビやビデオ再生機などから入力されるものがある。従来の投影方法においては、各プロジェクタから投影される映像のエッジが重なり合う部分（映像の重合部分）は他の部分よりも輝度が高くなるため、つなぎ目が目立つ不自然な映像が投影される。これを避けるために、従来は映像の重合部分を幾何学的に特定し、その重合部分の輝度を下げる方向に調節するのが一般的であった。
【０００３】
【発明が解決しようとする課題】
しかし、映像の重合部分を幾何学計算により特定する方法には、次のような難点がある。すなわち、
平面スクリーン以外のスクリーンでは、重合部分を特定するための計算が非常に複雑である。異なる形状のスクリーンに対しては、異なる計算が必要となる。パラメトリック表現ができない形状のスクリーンに対しては、計算が不可能である。
【０００４】
また、仮に重合部分を特定できたとしても、ソフトウェア的に輝度調整を行うためには、次の処理が必要となる。
フレームバッファに取込まれた画像データを一旦メインメモリに転送する。
メインメモリ上で重合部分について演算により各ピクセルの輝度を操作する。
処理済みの画像データを再びフレームバッファに書き戻す。
【０００５】
従って、上記の処理を行うには、膨大な処理時間が必要となる。そのため、リアルタイム性を必要とされる場合は、ハードウェアにより映像のつなぎ目部分の輝度調整を行うのが一般的であるが、そのようなハードウェアは非常に高価である。
【０００６】
本発明は、上記の事情に鑑みてなされたものであり、第１の課題は、複数台のプロジェクタを用いて映像を投影する場合、輝度調整を行って映像のつなぎ目が目立たないように投影するマルチ映像投影方法において、リアルタイムで高速に画像データの処理ができ、かつ、任意の形状のスクリーンに随時対応することができるようにすることにある。
また、第２の課題は、映像のつなぎ目が目立たないように投影するマルチ映像投影方法を実現するマルチ映像投影装置を提供することにある。
さらに、第３の課題は、映像のつなぎ目が目立たないように投影するマルチ映像投影方法をリアルタイムで高速の画像データ処理により実現できるプログラム及びそのプログラムを格納した記録媒体を提供することにある。
【０００７】
【課題を解決するための手段】
上記第１の課題を解決するため、本発明方法は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影する方法において、（ａ）前処理として、スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理と、を行い、この合成処理により得られた画像を、当該プロジェクタのための輝度調整用画像データとしてファイルに保存し、当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとしてそれぞれファイルに保存し、（ｂ）投影時処理として、グラフィックス・アクセラレータのブレンディング関数を「置換」にしたまま入力映像の１フレーム分の映像の取り込みを終了する度に、前記ブレンディング関数を「乗算」に設定して前記輝度調整用画像を上書きすることにより、前記グラフィックス・アクセラレータに前記入力映像と前記輝度調整用画像データを１ピクセル毎に乗算させ、その乗算後の値で前記フレームバッファを更新することを特徴としている。
【０００８】
上記方法の作用を説明すると、前処理における投影マッピング処理においては、隣接プロジェクタが投影する映像により、物理的スクリーンが影響を受ける領域に対応するスクリーン形状データ上に画像がマッピングされる。スクリーン描画処理においては、当該プロジェクタの投影する映像と、隣接プロジェクタの投影する映像とが重なり合う部分（重なり映像。重合部分という場合もある。）が特定される。グラデーション処理においては、前記重なり画像に前記当該プロジェクタによる映像の中心から隣接するプロジェクタによる映像の中心に向かって輝度が徐々に低くなるようにグラデーションが付けられ、そのグラデーション付き重なり画像は、当該プロジェクタのための輝度調整用画像として画像ファイルに保存される。上記の処理は、隣接するプロジェクタの各々に対しても同様に行われる。
投影時処理においては、プログラム開始時に、一度画像ファイルから輝度調整用画像が読み出され、テクスチャメモリに保存される。原画像の１フレーム分がフレームバッファに格納される度に、ブレンディング関数が「乗算」に設定され前記輝度調整用画像がフレームバッファに転送される。従って、次いで、先にフレームバッファに格納された原画像データと輝度調整用画像データが１ピクセル毎に乗算され、その乗算の結果の値でフレームバッファが更新される。すなわち、原画像は結果的に重なり画像に対して１ピクセル毎に輝度調整されて保存され、その輝度調整された映像が出力される。
【０００９】
第２の課題を解決するため、上記マルチ映像投影方法を使用するためのマルチ映像投影装置である請求項２の発明は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法を使用するためのプロジェクタ装置であって、（ａ）スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理とを行う画像処理手段と、（ｂ）前記各プロジェクタに対する上記画像処理手段の処理により得られた合成画像データを当該プロジェクタの輝度調整用画像データとして保存する画像ファイルと、（ｃ）前記各プロジェクタに入力される映像をフレームバッファに取り込むグラフィックス・アクセラレータと、（ｄ）前記グラフィックス・アクセラレータのブレンディング関数を、前記フレームバッファに１フレーム分の映像の取り込みを終了する度に「乗算」に設定して前記輝度調整用画像を上書きする格納制御手段と、を備えていることを特徴としている。
【００１０】
第３の課題を解決するため、上記マルチ映像投影方法を使用するためのプログラムである請求項３の発明は、複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法において用いられるプログラムであって、スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用した投影マッピングを行う第１ステップと、当該プロジェクタの視錘台により前記スクリーン形状データを描画する第２ステップと、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得る第３ステップと、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する第４ステップと、この合成処理により得られた画像を当該プロジェクタのための輝度調整用画像データとして、当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとして、それぞれファイルに保存する第５ステップと、前記各プロジェクタに入力する原画像を１フレーム分ごとフレームバッファに格納する第６ステップと、原画像データの１フレーム分の格納を終了する度に前記グラフィックス・アクセラレータのブレンディング関数を「乗算」に設定して前記輝度調整用画像を上書きする第７ステップと、前記原画像データと前記輝度調整用画像データの１ピクセルごとの乗算の結果を出力用画像データとして前記フレームバッファに格納する第８ステップとを含むことを特徴としている。
また、第３の課題を解決するため、上記マルチ映像投影方法を使用するための記録媒体である請求項４の発明は、請求項３に記載されたマルチ映像投影用プログラムを格納したものであることを特徴としている。
【００１１】
【発明の実施の形態】
次に、本発明の実施の形態について、図面を参照しながら説明する。
図１は複数台のプロジェクタを用いてスクリーンに複数の映像を隣接して投影する場合の平面図、図２は同配置のプロジェクタによりスクリーン上に複数の映像を投影する場合の表示形態の一例を示す正面図、図３は１台のプロジェクタ装置の概略構成を示すブロック図、図４は前処理の動作の流れを示すフローチャート、図５は一つのプロジェクタの投影像と他のプロジェクタの投影像との重合部分に対する処理の内容を説明する概念図、図６は図２のマルチ映像の場合の画像処理部による各処理の結果の一例を示すものであり、（ａ）は一つのプロジェクタによる投影画像と、右側に隣接するプロジェクタによる投影画像の重なり画像を、（ｂ）は一つのプロジェクタによる投影画像と、斜め右下側に隣接するプロジェクタによる投影画像の重なり画像を、（ｃ）は一つのプロジェクタによる投影画像と、下側に隣接するプロジェクタによる投影画像の重なり画像を、（ｄ）は（ａ）〜（ｃ）のすべての重なり画像の合成の結果を示す。図７はグラデーション処理の結果を説明する図である。図８は投影時処理の内容を示すフローチャート、図９は一つのプロジェクタの映像重合部分に対する輝度調整及びその結果を説明するための図である。
【００１２】
図１は、４台のプロジェクタＰ１〜Ｐ４を左右上下に配置し、図２に示すように、スクリーンＳ上の上下左右に隣接する４個の画面ＰＡ１〜ＰＡ４にそれぞれ映像を投影する場合のプロジェクタとスクリーンの配置状態を示している。各プロジェクタＰ１〜Ｐ４と画面ＰＡ１〜ＰＡ４とはそれぞれ１対１で対応しているとする。
【００１３】
プロジェクタＰ１〜Ｐ４はいずれも同様の構成を有する。図３を参照して１台のプロジェクタ（特定のプロジェクタを指称しない場合は符合Ｐを用いる。）の構成を説明する。
プロジェクタＰは、従来品と同様に、映像入力部１と、映像出力部であるフレームバッファ２と、このフレームバッファに対する書き込み（格納）を行うグラフィックス・アクセラセレータ３とを有する。
グラフィックス・アクセラセレータ３は、その機能の一つとして、ブレンディングを行う。ブレンディングとは、フレームバッファに既に格納されている画素（ＤＳＴ）とフレームバッファに新たに格納されようとする画素（ＳＲＣ）の演算をいい、その演算結果がフレームバッファに格納される。演算条件を規定するブレンディング関数には、「置換」（ＤＳＴ＝ＳＲＣ）、「乗算」（ＤＳＴ＝ＤＳＴｘＳＲＣ）、「加算」（ＤＳＴ＝ＤＳＴ＋ＳＲＣ）の３種類などがある。ブレンディング関数を上記３種類のいずれに設定するかは、格納条件制御部４によって決定される。
通常のプロジェクタにおいては、ブレンディング関数は「置換」に設定されていて、前の書き込みサイクルにおいて書き込まれた１フレーム分の画像データに次の書き込みサイクルにおいて次の１フレーム分の画像データを置き換えるようになっている。従って、映像入力部１より入力した画像はそのままフレームバッファ２２から出力されてスクリーンの所定画面に投影される。
【００１４】
これに対して、本発明においては、格納条件制御部４が、グラフィックス・アクセラセレータ３によるブレンディング関数を、映像入力部１より入力される画像の１フレーム分のデータの格納を終了する度に、「置換」から「乗算」にサイクリックに変えるように構成されている。
【００１５】
また、本発明方法を実施するためのプロジェクタＰには、互いに隣接して投影される映像の重合部分に対して輝度調整をするための画像処理部５が設けられている。
画像処理部５は、プロジェクタＰによる映像投影を行う前に、前処理として、図４に示され後述される第１処理Ｓ１から第５処理Ｓ６までを行って、スクリーーンに後に投影される映像の重合部分に対応する輝度調整用画像データを生成するものである。次に、各処理について項を分けて説明する。
【００１６】
［前処理］
第１処理（Ｓ１）：スクリーン形状の投影マッピング処理
任意の一つのプロジェクタをＰｉｊ（ただし、０≦ｉ≦Ｘ，０≦ｊ≦Ｙ）、これに隣接するプロジェクタをＰｎｍ（ただし、ｉ − １≦ｎ≦ｉ＋１，ｎ≠ｉ，ｊ−１≦ｍ≦ｊ＋１，ｍ≠ｊ）とすると、第１処理は、プロジェクタＰｉｊによるスクリーン形状への投影面に対し、プロジェクタＰｎｍの投影錘台による投影マッピング処理を次のように行う。
すなわち、Ｐｎｍのビューポートの解像度（ｗ×ｈ）と同じ解像度のテクスチャを投影するためのテクスチャ座標配列を、スクリーン形状の各頂点に対応して求める。
【００１７】
図５は、理解を容易にするため、二つのプロジェクタを用いる場合の、各処理の内容及びその結果を図示する。同図（ａ）は、一つのプロジェクタの投影面ｐａ１に右隣のプロジェクタの投影錘台による投影マッピング（Ｓｉ）を行った状態のイメージである。
【００１８】
第２処理（Ｓ２）：スクリーン形状の描画処理
この処理においては、プロジェクタＰｉｊの視錘台を用いて、次の手順でスクリーン形状をフレームバッファ２に描画する。すなわち、
ｉ）フレームバッファ２を黒（０，０，０）でクリアする。
ｉｉ）解像度Ｗ×Ｈのテクスチャを作成する。
ｉｉｉ） テクスチャを白（２５５，２５５，２５５）でクリアする。
ｉｖ） 第１処理において求めたテクスチャ座標を使用してテクスチャマッピングを適用し、スクリーン形状をフレームバッファ２上に描画する。
【００１９】
なお、フレームバッファ２上に描画されるｗ×ｈの画像範囲外の部分（画素データが記録されていない部分）は、３ＤＣＧにおいて周知のプログラムによるクランプ処理により、画像の端部の画素データと同一の画素データが自動的に画面エッジまで展開されるようになっているのが通常であるので、乗算（輝度調整）のデータ処理の際に映像部分と輝度調整の対象とすべき重合部分との識別が困難になる。これを避けるため、慣用技術ではあるが、上記ｉｉ）の処理においては、投影範囲を限定するためのボーダーを黒（０，０，０）にするための処理が行われる。
【００２０】
図５（ｂ）は、左側のプロジェクタＰ１の投影面ｐａ１に対する右側のプロジェクタＰ２のスクリーン形状データの投影マッピング後に、左側のプロジェクタＰ１のスクリーン形状データを描画した状態を示している。ＯＶＬＰがプロジェクタＰ１の投影面とプロジェクタＰ２の投影面との重合部分である。
上記ｉ）からｉｖ） の処理により、図５（ｃ）に示すような映像の重合部分（ＯＶＬＰ）に対応する重なり画像が得られる。
この第２処理の結果として、プロジェクタＰｉｊとＰｎｍの投影面が重なる部分（重合部分）ＯＶＬＰが白のピクセルとして現われ、フレームバッファ２に格納されることになる。
【００２１】
図２の４画面に投影する場合の例について説明すると、左上画面ＰＡ１に対応するプロジェクタＰ１においては、隣接する他の３台のプロジェクタＰ２〜Ｐ４との間の第１処理及び第２処理を順次行うことにより、図６（ａ）〜（ｃ）に示すような重なり画像が得られる。
【００２２】
第３処理（Ｓ３）：グラデーション処理
この処理においては、上記スクリーン形状の描画処理の結果をフレームバッファ２から取得し、各ピクセルを（ｎ−ｉ，ｍ−ｊ）方向の直線状にスキャンし、その直線上で最初に白が現われたピクセル（すなわち、重合部分の始点）から、ｗ×ｈの画像範囲外までのピクセル（すなわち、重合部分の終点）に対して、白から黒の方向に輝度が漸減するグラデーション処理を行い、グラデーション付き重なり画像を得る。図７の（ａ）（ｂ）は、図２の左上の画面ＰＡ１の右辺及び下辺の重合部分に対してグラデーション付き重なり画像を示している。
【００２３】
ＣＰＵ１１は、ステップＳ４において、プロジェクタＰ１（Ｐｉｊ）に隣接する全プロジェクタに対して上記第１処理Ｓ１から第３処理Ｓ３までの処理を終了したか否かを調べ、終了していない場合は、終了するまでその処理を繰り返す。
【００２４】
第４処理（Ｓ５）：合成処理
全ての隣接プロジェクタに対する第１処理から第３処理までの処理を終了すると、次に、プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理を行う。
【００２５】
第５処理：輝度調整用画像データの作成・保存処理
前処理の最後の処理として、各Ｐｎｍに対する上記第１〜第４処理により得られた全映像をピクセル単位で乗算し、その乗算により得られる値を、プロジェクタＰ１（Ｐｉｊ）の輝度調整用画像データとして、画像ファイル７に保存する。図６（ｄ）は、図２の画面ＰＡ１に対してこの第５処理の乗算が行われた結果として得られた輝度調整用画像を示す。
【００２６】
フレームバッファ２には、１画面分の例えば５１２×５１２画素のデータが、コンポーネント（ＲＧＢ）ごと記録される。従って、ピクセル単位で乗算するとは、ＲＧＢの各値同志で乗算することである。例えば、図７に示すように、（ａ）の右側の隣接プロジェクタとの重なり画像と、（ｂ）の下側の隣接プロジェクタとの重なり画像とをピクセル単位で乗算すると、その結果として（ｃ）に示された画像が得られる。
このようにして、プロジェクタＰｉｊの輝度調整用画像が作成され、ディスクなど記憶部７の画像ファイルに保存される。
【００２７】
［投影時処理］
各プロジェクタＰｉｊは、上記前処理を終了した後は、投影時処理として映像入力部１から入力する映像に対して、その画像の各ピクセルに対して、図８に示すように、Ｓ１１からＳ１６の手順で各処理を行い、前記輝度調整用画像の対応する座標のピクセル値を乗算することによって、入力する画像の各ピクセルに対して輝度調整を行う。続いて、図８の各処理について説明する。
【００２８】
Ｓ１１において、記憶部７から輝度調整画像を格納した画像ファイルをテクスチャメモリに転送する。また、Ｓ１２において、格納制御部４はブレンディング関数を「置換」にする。次いで、Ｓ１３において、映像入力部１から原画像が入力するか否かを監視する。
映像入力部１から原画像を入力すると、Ｓ１４において、その原画像をフレームバッファ２に転送して格納する。プロジェクタからスクリーンＳに投影する映像に、当該プロジェクタの位置やスクリーン形状などに基づき映像に歪みが生じる場合は、映像入力部１から入力する原画像に対して、既知の歪み補正プログラムにより歪み補正処理が施された後の画像がフレームバッファ２に格納されることとなる。
【００２９】
次に、Ｓ１５において、格納制御部４は、１フレーム分の画像データの格納サイクルを終了した時は、グラフィックス・アクセラセレータ３のブレンディング関数を「乗算」に設定する。
【００３０】
続いて、Ｓ１６において、画像ファイル６に格納されている輝度調整用画像データをフレームバッファ２に転送して描画する。これにより、グラフィックス・アクセラセレータ３はフレームバッファ２に格納されている画像データと転送されてき輝度調整用画像データとをピクセルごとに１対１で、さらに詳しくは、各ピクセルのコンポーネント（ＲＧＢ）のそれぞれについて乗算する。
【００３１】
例えば、図９の（ａ）が原画像データ、（ｂ）が輝度調整用画像データとすると、フレームバッファ２の任意の記憶番地Ａ１のピクセルについては、そのピクセルのコンポーネントの輝度データ（Ｒ，Ｇ，Ｂ）と画像ファイル６の対応する記憶番地のａ１のピクセルのコンポーネントの輝度データ（Ｒ´，Ｇ´，Ｂ´）とが乗算され、先のＡ１のピクセルのコンポーネントの輝度データ（Ｒ，Ｇ，Ｂ）が、乗算後の各値（Ｒ×Ｒ´，Ｇ×Ｇ´，Ｂ×Ｂ´）に書き替えられる。すなわち、Ｒ＝Ｒ×Ｒ´，Ｇ＝Ｇ×Ｇ´，Ｂ＝Ｂ×Ｂ´の処理がされて、ブレンディングが行われる。このような処理はフレームバッファ２及び画像ファイル６の１フレーム分の画像データのすべてのピクセルに対して行われ、フレームバッファ２には輝度調整がなされた画像データが格納される。従って、１フレーム分の輝度調整が終了した次のサイクルでは、その輝度調整がなされた画像データが出力されて、スクリーンＰＡ１に映像が投影される。
他のプロジェクタについても映像に対して同様の輝度調整がされて、スクリーンＰＡ２〜ＰＡ４に投影される。
【００３２】
上記の処理により、目的とするブレンディング効果、すなわち、複数の映像の重合部分に輝度調整を施された画像データが得られ、その画像を各プロジェクタからスクリーンに投影されることにより、映像のつなぎ目が目立たないように投影される。
【００３３】
上記実施の形態において述べたように、複数のプロジェクタの内、一つのプロジェクタの投影範囲に隣接する投影範囲を有するプロジェクタの投影錘台を使用したマッピングをし、これに当該プロジェクタの視錘台によりスクリーン形状を描画することにより、互いに隣接するプロジェクタの映像の重合部分を特定するようにしたので、任意のスクリーン形状に対しても、その映像の繋ぎ目の高輝度化を防止してマルチ映像に自然に連続する映像を投影することが可能である。
また、入力映像をフレームバッファに取り込むグラフィックス・アクセラレータのブレンディング関数を、１フレーム分の画像データの取り込みを終了する度に「乗算」に設定することにより、フレームバッファに取り込まれた画像データに対して輝度調整用画像データを１ピクセル毎に乗算させ、その乗算後の値でフレームバッファを更新するようにしたので、ハードウェアで高速処理が可能なフレームバッファ及びグラフィックス・アクセラレータを活用することができるため、映像の重合部分の輝度調整をリアルタイムで高速に行うことができることとなった。
【００３４】
【発明の効果】
上述のように、本発明によれば、複数台のプロジェクタを用いてスクリーン上の隣接する複数の画面に映像をそのつなぎ目が目立たないように投影する場合、リアルタイムで高速に画像データの処理ができ、かつ、任意の形状のスクリーンに随時対応することができる。
【図面の簡単な説明】
【図１】複数台のプロジェクタを用いてスクリーンに複数の画面を隣接して投影する場合の平面図。
【図２】プロジェクタによりスクリーン上の隣接する複数の画面に映像を投影する場合の表示形態の一例を示す正面図。
【図３】１台のプロジェクタ装置の概略構成を示すブロック図。
【図４】前処理の動作の流れを示すフローチャート。
【図５】一つのプロジェクタに他の一つのプロジェクタが隣接する場合の各処理の内容を説明する概念図。
【図６】図２のマルチ映像の場合の投影面の重なり画像の一例を示す概念図。
【図７】グラデーション処理及び乗算の結果の説明図。
【図８】投影時処理の内容を示すフローチャート。
【図９】一つのプロジェクタの映像重合部分に対する輝度調整及びその結果の説明図。
【符号の説明】
Ｓ スクリーン
Ｐ１〜Ｐ４ プロジェクタ
ＰＡ１〜ＰＡ４ 画面
１ 映像入力部
２ 映像出力部（フレームバッファ）
３ グラフィックス・アクセラレータ
４ 格納制御部
５ 画像処理部
６ 記憶部（ 画像ファイル）
Claims (4)
- 複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影する方法において、
（ａ）前処理として、
（ａ１）スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、
（ａ２）当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、
（ａ３）前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、
（ａ４）当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理と、を行い、
（ａ５）この合成処理により得られた画像を、当該プロジェクタのための輝度調整用画像データとしてファイルに保存し、
（ａ６）当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとしてそれぞれファイルに保存し、
（ｂ）投影時処理として、
（ｂ１）前記各プロジェクタにおいて、グラフィックス・アクセラレータのブレンディング関数を「置換」にしたまま入力映像の１フレーム分の映像の取り込みを終了する度に、前記ブレンディング関数を「乗算」に設定して前記輝度調整画像を上書きすることにより、前記グラフィックス・アクセラレータに前記入力映像と前記輝度調整用画像データを１ピクセル毎に乗算させ、その乗算後の値で前記フレームバッファを更新すること、
を特徴とする複数台のプロジェクタによるマルチ映像投影方法。 - 複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法を使用するためのプロジェクタ装置であって、
（ａ）スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用したマッピングを行う投影マッピング処理と、当該プロジェクタの視錘台により前記スクリーン形状データを描画するスクリーン描画処理と、前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得るグラデーション処理と、当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する合成処理とを行う画像処理手段と、
（ｂ）前記各プロジェクタに対する上記画像処理手段の処理により得られた合成画像データを当該プロジェクタの輝度調整用画像データとして保存する画像ファイルと、
（ｃ）前記各プロジェクタに入力される映像をフレームバッファに取り込むグラフィックス・アクセラレータと、
（ｄ）前記グラフィックス・アクセラレータのブレンディング関数を、前記フレームバッファに１フレーム分の映像の取り込みを終了する度に「乗算」に設定する格納制御手段と、
を備えていることを特徴とするプロジェクタ装置。 - 複数台のプロジェクタを用いて、任意の形状のスクリーンに対し、Ｘ又はＹ方向もしくはＸ及びＹ方向に隣接する映像を投影するマルチ映像投影方法において用いられるプログラムであって、
（ａ）スクリーン形状データに、一つのプロジェクタ（以下、当該プロジェクタという。）の投影範囲に隣接する投影範囲を持つプロジェクタ（以下、隣接プロジェクタという。）の投影錘台を使用した投影マッピングを行う第１ステップと、
（ｂ）当該プロジェクタの視錘台により前記スクリーン形状データを描画する第２ステップと、
（ｃ）前記投影マッピング処理及び前記スクリーン描画処理により得られる、両プロジェクタの投影像の重なり部分を表す画像（以下、重なり画像という。）に対して、当該プロジェクタの投影範囲の中心から隣接プロジェクタの投影範囲の中心に向かう方向にグラデーションを施してグラデーション付き重なり画像を得る第３ステップと、
（ｄ）当該プロジェクタに対する全てのグラデーション付き重なり画像をピクセル毎に乗算して合成する第４ステップと、
（ｅ）この合成処理により得られた画像を当該プロジェクタのための輝度調整用画像データとして、当該プロジェクタ以外の全てのプロジェクタについても、上記と同様の処理を行って、得られた画像を当該プロジェクタのための輝度調整用画像データとして、それぞれファイルに保存する第５ステップと、
（ｆ）前記各プロジェクタに入力する原画像を１フレーム分ごとフレームバッファに格納する第６ステップと、
（ｇ）原画像データの１フレーム分の格納を終了する度に前記グラフィックス・アクセラレータのブレンディング関数を「乗算」に設定して前記輝度調整用画像を上書きする第７ステップと、
（ｈ）前記原画像データと前記輝度調整用画像データの１ピクセルごとの乗算の結果を出力用画像データとして前記フレームバッファに格納する第８ステップとを含むマルチ映像投影用プログラム。 - 請求項３に記載されたマルチ映像投影用プログラムを格納した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002310513A JP4008333B2 (ja) | 2002-10-25 | 2002-10-25 | 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002310513A JP4008333B2 (ja) | 2002-10-25 | 2002-10-25 | 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004147143A true JP2004147143A (ja) | 2004-05-20 |
| JP4008333B2 JP4008333B2 (ja) | 2007-11-14 |
Family
ID=32455988
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002310513A Expired - Fee Related JP4008333B2 (ja) | 2002-10-25 | 2002-10-25 | 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4008333B2 (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033672A (ja) * | 2004-07-21 | 2006-02-02 | Victor Co Of Japan Ltd | 曲面マルチスクリーン投射方法及び曲面マルチスクリーン投射装置 |
| JP2008026686A (ja) * | 2006-07-24 | 2008-02-07 | Seiko Epson Corp | 表示装置、マルチディスプレイシステム、表示方法、制御プログラム、および記録媒体 |
| KR100975128B1 (ko) * | 2010-01-11 | 2010-08-11 | (주)올라웍스 | 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP2013172307A (ja) * | 2012-02-21 | 2013-09-02 | Canon Inc | 投影装置及びその制御方法 |
| WO2015008765A1 (ja) * | 2013-07-19 | 2015-01-22 | 株式会社Ｊｖｃケンウッド | マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム |
| CN104506833A (zh) * | 2014-12-24 | 2015-04-08 | 北京凯视达科技有限公司 | 投影融合区亮度处理方法及装置 |
| JP2015118282A (ja) * | 2013-12-18 | 2015-06-25 | キヤノン株式会社 | 投射型画像表示装置、投射型画像表示装置の制御方法及びプログラム |
| WO2020079900A1 (ja) | 2018-10-18 | 2020-04-23 | ソニー株式会社 | 符号化装置、符号化方法、復号装置 |
-
2002
- 2002-10-25 JP JP2002310513A patent/JP4008333B2/ja not_active Expired - Fee Related
Cited By (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006033672A (ja) * | 2004-07-21 | 2006-02-02 | Victor Co Of Japan Ltd | 曲面マルチスクリーン投射方法及び曲面マルチスクリーン投射装置 |
| JP2008026686A (ja) * | 2006-07-24 | 2008-02-07 | Seiko Epson Corp | 表示装置、マルチディスプレイシステム、表示方法、制御プログラム、および記録媒体 |
| US8842134B2 (en) | 2010-01-11 | 2014-09-23 | Intel Corporation | Method, system, and computer-readable recording medium for providing information on an object using viewing frustums |
| WO2011083929A3 (ko) * | 2010-01-11 | 2011-11-03 | (주)올라웍스 | 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| US8587615B2 (en) | 2010-01-11 | 2013-11-19 | Intel Corporation | Method, system, and computer-readable recording medium for providing information on an object using viewing frustums |
| KR100975128B1 (ko) * | 2010-01-11 | 2010-08-11 | (주)올라웍스 | 뷰잉 프러스텀을 이용하여 객체에 대한 정보를 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 |
| JP2013172307A (ja) * | 2012-02-21 | 2013-09-02 | Canon Inc | 投影装置及びその制御方法 |
| WO2015008765A1 (ja) * | 2013-07-19 | 2015-01-22 | 株式会社Ｊｖｃケンウッド | マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム |
| JP2015038590A (ja) * | 2013-07-19 | 2015-02-26 | 株式会社Ｊｖｃケンウッド | マルチプロジェクタシステム、プロジェクタ装置、調整装置および調整方法、ならびに、調整プログラム |
| JP2015118282A (ja) * | 2013-12-18 | 2015-06-25 | キヤノン株式会社 | 投射型画像表示装置、投射型画像表示装置の制御方法及びプログラム |
| CN104506833A (zh) * | 2014-12-24 | 2015-04-08 | 北京凯视达科技有限公司 | 投影融合区亮度处理方法及装置 |
| CN104506833B (zh) * | 2014-12-24 | 2017-04-05 | 北京凯视达科技有限公司 | 投影融合区亮度处理方法及装置 |
| WO2020079900A1 (ja) | 2018-10-18 | 2020-04-23 | ソニー株式会社 | 符号化装置、符号化方法、復号装置 |
| KR20210071986A (ko) | 2018-10-18 | 2021-06-16 | 소니그룹주식회사 | 부호화 장치, 부호화 방법, 복호 장치 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP4008333B2 (ja) | 2007-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6545685B1 (en) | Method and system for efficient edge blending in high fidelity multichannel computer graphics displays | |
| JP5603014B2 (ja) | 超解像表示の補正 | |
| US6756985B1 (en) | Image processor and image display | |
| CN111192552B (zh) | 一种多通道led球幕几何校正方法 | |
| JP3752448B2 (ja) | 画像表示システム | |
| JP2002527953A (ja) | キーストーン歪みを防止する方法および装置 | |
| US20030142883A1 (en) | Image correction data calculation method, image correction data calculation apparatus, and multi-projection system | |
| JPH10187966A (ja) | 画像フィルタリング方法及びその装置 | |
| EP1550979A1 (en) | Image conversion device, image conversion method, and image projection device | |
| US7280117B2 (en) | Graphical user interface for a keyer | |
| JPH11242737A (ja) | 画像処理方法及び装置並びに情報記録媒体 | |
| JP2004147143A (ja) | 複数台のプロジェクタによるマルチ映像投影方法、同方法を使用するためのプロジェクタ装置、プログラム及び記録媒体 | |
| JP2002014611A (ja) | プラネタリウムのまたは球面スクリーンへのビデオ投映方法と装置 | |
| US7916969B2 (en) | Varying the exposure of a digital image by region | |
| WO2007001298A1 (en) | Selective edge blending based on displayed content | |
| JP2006033672A (ja) | 曲面マルチスクリーン投射方法及び曲面マルチスクリーン投射装置 | |
| CN116034397A (zh) | 一种混合现实显示的方法、混合现实设备及存储介质 | |
| JP2002092625A (ja) | 画像処理装置および方法、並びに記録媒体 | |
| JP2001306024A (ja) | 輝度修正画像作成装置及び作成方法 | |
| JPH11328443A (ja) | 三次元パノラマ画像生成システム、三次元パノラマ画像生成方法及び記録媒体 | |
| JPH06161404A (ja) | 画像表示装置 | |
| JP5387276B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP2011259107A (ja) | 投影装置及びその制御方法 | |
| JP3154741B2 (ja) | 画像処理装置及びその方式 | |
| JP2005012407A (ja) | 画像投射装置および画像処理方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050809 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070515 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070717 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070821 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070829 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100907 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4008333 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110907 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120907 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130907 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |