JP2022077773A - 投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラム - Google Patents

Abstract

【課題】 プロジェクタにおいて、映像領域のみにパターン画像を投射することで適切な自動補正ができるようにする。【解決手段】 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置において、投射される画像情報がスクリーン上で表示される映像領域を特定する特定手段と、画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、特定された映像領域に投射されるように生成された調整パターンを、投射手段により前記スクリーン上に投射させる投射制御手段と、を配する。【選択図】 図１

Description

本発明は、投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラムに関する。

プロジェクタを用いてスクリーン等の被投射面に画像を投射する場合、投射画像に対する外光補正や経時劣化補正、マルチプロジェクションでの色域や輝度の補正等の各種自動補正が行われている。多くの場合、自動補正は、スクリーン上に投射された調整パターンからなる自動補正用のパターン画像を撮像装置（以下、カメラという）で撮影し、そこから得られる画素値等の情報を元に行われる。

ここで、スクリーンの外にこの自動調整用のパターン画像がはみ出る場合、誤ってはみ出した領域の画像もスクリーン上の画像として認識してしまう可能性がある。このようなはみ出し領域から得た画素値を自動補正の計算に使用すると、補正の精度が低下するおそれがある。なお、スクリーンに表示させたい投射画像をカメラにより撮影し、画像の投射領域を特定することも行われる。特許文献１には、カメラによる撮像画像中の投射領域を特定し、投射領域の外側をマスキングするプロジェクタが開示されている。また特許文献２には、カメラ等によりスクリーンの形状を取得し、スクリーン領域とそれ以外の領域で異なる画像を投射するプロジェクタが開示されている。

特開２０１７－１２９７７１号公報 特開２０１７－２２９０７３号公報

特許文献１および２にて開示されたプロジェクタでは、スクリーンに表示させたい投射画像が表示される投射領域は、カメラにより正しく特定されている。しかし、上述したパターン画像のスクリーンへの投射に際しては、該パターン画像の投射領域とスクリーンとの関係は特定されておらず、これら文献に開示されるプロジェクタではスクリーン外の投射光の悪影響を低減できない可能性がある。

本発明は、映像領域のみにパターン画像を投射することで適切な自動補正ができるようにした投射制御装置、画像投射システム、投射制御装置の作動方法、およびプログラムの提供をその目的の一つとする。

上述した目的を達成するために、本発明の一態様に係る投射制御装置は、
入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置であって、
前記投射される画像情報が前記スクリーン上で表示される映像領域を特定する特定手段と、
前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させる投射制御手段と、
を備えることを特徴とする。

本発明の一態様によれば、映像領域のみにパターン画像を投射することで適切な自動補正ができるようになる。

本発明の実施例１に係る投射制御装置を含む画像投射システムの構成を示すブロック図である。 実施例１に係る投射制御装置の作動方法における色調整方法を示すフローチャートである。 実施例１における変形パラメータを示す説明図である。 実施例１におけるマスクパラメータを示す説明図である。 実施例１における第１の映像領域を示す説明図である。 実施例１における第２の映像領域を示す説明図である。 実施例１における第１の調整パターンを示す説明図である。 実施例１における第２の調整パターンを示す説明図である。 本発明の実施例２に係る投射制御装置の作動方法における色調整方法を示すフローチャートである。 実施例２における第１の撮像画像を示す説明図である。 実施例２における第２の撮像画像を示す説明図である。 実施例２における第３の映像領域を示す説明図である。 実施例２における第４の映像領域を示す説明図である。

以下、本発明の例示的な実施の形態について、図面を参照しながら以下に詳細に説明する。ただし、以下の実施例で例示する寸法、形状、および構成要素の相対的な位置等は任意であり、本発明が適用される装置の構成あるいは様々な条件に応じて変更可能である。また、図面において、同一であるかあるいは機能的に類似している要素を示すために図面間で同じ参照符号を用いる。

［実施例１］
＜装置構成＞
図１から図８を用いて、本発明の実施例１に係る画像投射システム、投射制御装置および該投射制御装置の作動方法について説明する。図１は、本発明の実施例１に係る投射制御装置を含む画像投射システム１００の構成を示している。本画像投射システム１００は、画像生成装置（２）と、カメラ３と、投射制御装置（４）と、プロジェクタ１ａ，１ｂとを備える。なお、本実施例では、第１のプロジェクタ（投射手段）１ａと第２のプロジェクタ（投射手段）１ｂとの２つのプロジェクタを有するシステムを例として述べるが、プロジェクタの数は例示であってこれに限られない。また、これらプロジェクタ１ａ、１ｂは、各々から投射された画像が水平方向（重力方向に対して水平）に並んでスクリーン上に表示されるように配置されているが、投射される画像の配置はこれに限られず例えば垂直方向に並べる等、任意に配されてもよい。画像投射システム１００は、スクリーン５に対して画像を投射する。

本実施例において、画像生成装置にはパーソナルコンピュータ（ＰＣ２）を用いる。ＰＣ２は、入力される画像信号に基づいて、プロジェクタ１ａ，１ｂで投射する画像に対応した画像信号を生成し、これを出力する。出力された画像信号は、入力情報として後述する画像信号入力部１０４に入力される。また、本実施例において、ＰＣ２は後述する変形画像あるいはマスク画像に対応した画像信号も生成する。第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂは、スクリーン５等の被投射面にＰＣ２で生成した画像信号に基づく画像あるいは画像情報を投射する。カメラ３は、本実施例における撮像手段として、プロジェクタ１ａ，１ｂによりスクリーン５に投射された画像を撮像する。本実施例において投射制御手段として機能するパーソナルコンピュータ（ＰＣ４）は、カメラ３から得られる撮像画像に関するデータ（以降撮像画像と称する。）に基づいて、プロジェクタ１ａ，１ｂを制御する。

本実施例において、ＰＣ４は、特定部４ａと、調整パターン生成部４ｂと、投射制御部４ｃとを有する。特定部４ａは、ＰＣ２から出力される上述した入力情報を用いて、スクリーン５に表示したい画像が表示される映像領域を特定する。調整パターン生成部４ｂは、例えば該映像領域にのみ調整パターンを表示させることができるように調整パターンを生成する処理を行う。また、ＰＣ４は、カメラ３から得た撮像画像を用いてプロジェクタ１ａ，１ｂが投射する調整パターンの投射領域を検出する処理や、プロジェクタ１ａ，１ｂの色域や輝度が略一致するよう調整する処理を実行することもできる。投射制御部４ｃは、後述する制御部１０６を制御して、プロジェクタ１ａ，１ｂに対してスクリーン５上への調整パターンの投射を実行させる。なお、本実施例において調整パターンとは、投射される画像の色域や輝度等を確認し、これらを調整するための情報を得るために作成された専用の色彩、パターン等を有する、自動補正用のパターン画像を指す。ＰＣ４は、この調整パターンを撮像することで得られた情報から、第１のプロジェクタ１ａと第２のプロジェクタ１ｂとから出射される画像各々の色域、輝度等の表示態様の調整を行う。

第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂは、各々光源１０１と、光変調部１１０と、投射光学系１０３を含むレンズユニット１１１とを有する。レンズユニット１１１は、投射光学系１０３のズーム、フォーカスおよびシフトを駆動するレンズ駆動部１０７を有する。なお、これらプロジェクタは同様の構成を有することから、以下では、一方のプロジェクタの説明のみを行い、これにより両プロジェクタの説明に換えることとする。

光源１０１は、放電発光管、ＬＥＤ、あるいはレーザにより構成され、照明光を発する。光変調部１１０は、光変調パネル（光変調素子）１０２と、画像信号入力部１０４と、画像処理部１０５と、操作部１０８と、制御部１０６とを有する。画像信号入力部１０４は、プロジェクタの外部からのＶＧＡ信号、ＤＶＩ信号、ＨＤＭＩ（登録商標）信号等の各種画像信号を入力するための端子と、それらの端子を通じてＰＣ２より入力された画像信号を受信するレシーバＩＣ等を有する。本実施例において、画像信号入力部１０４は、入力された画像信号を画像処理部１０５に出力する。

画像処理部１０５は、入力された画像信号に対して色むら補正、ガンマ補正、コントラスト補正、色変換、エッジブレンド補正、およびキーストーン補正等の各種画像処理を行う。また、画像処理部１０５は、画像処理後の画像信号から光変調パネル１０２を駆動するためのパネル駆動信号を生成する。また、画像処理部１０５は、画像処理後の画像信号に対して、各種設定用のメニュー等を表示するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を表示するためのＯＳＤ画像信号を付加したパネル駆動信号を生成する。

光変調パネル１０２は、液晶パネルやデジタルマイクロミラーデバイス等により構成され、画像処理部１０５から入力されたパネル駆動信号に応じて光源１０１からの照明光を変調して画像光を生成する。投射光学系１０３は、光変調パネル１０２からの画像光を不図示のスクリーン５等の被投射面に拡大投射する。これにより、入力された画像信号に応じた画像が被投射面に対して投射表示される。

操作部１０８は、プロジェクタ１ａ，１ｂの各々に対する各種設定を行うユーザによって操作される操作部材やリモコンからの赤外線信号を受信する赤外線受信部等を含む。操作部１０８は、該操作部１０８に対して行われた操作あるいは受信した赤外線信号に応じて生成した操作信号を、制御部１０６に出力する。制御部１０６は、ＣＰＵやメモリ等を含むマイクロコンピュータにより構成され、操作部１０８より入力された操作信号に応じて画像処理部１０５に指示を与え、レンズ駆動部１０７を制御する。

本実施例において、ＰＣ２は、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂに対し、有線あるいは無線により接続される。また、ＰＣ２は、画像信号の変形処理やマスク処理等を行い、これらプロジェクタ１ａ，１ｂから投射する画像に対応する信号を生成する。ＰＣ４は、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂと、ＰＣ２と、カメラ３とに対し、有線あるいは無線により接続される。また、ＰＣ４は、これらプロジェクタ１ａ，１ｂに対して、テストパターン（調整パターン）の投射を指示する。更にＰＣ４は、ＰＣ２に対して変形処理に使用した設定値（変形パラメータ）やマスク処理に使用した設定値（マスクパラメータ）の送信を指示し、カメラ３に対して撮像を指示する。

また、本実施例では、第１のプロジェクタ１ａと、第２のプロジェクタ１ｂと、ＰＣ２と、カメラ３と、ＰＣ４とが互いに別々の装置として構成されている。しかし、ＰＣ２とＰＣ４の処理を同時に行うＰＣ（不図示）が存在してもよい。また、カメラ３が、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂの各々に内蔵されていてもよい。ＰＣ２とＰＣ４とが、共に両プロジェクタ１ａ，１ｂに対して１対配置されているが、これを各々のプロジェクタに対応して配置させることもできる。また、操作部１０８が各々のプロジェクタ１ａ、１ｂに配置されているが、単一の操作部によってプロジェクタ１ａ，１ｂに指示を入力できるようにしてもよい。即ち、上述した各構成要素の配置や構成の態様、個数等は、実施例１として例示した構成に限定されない。

＜調整処理＞
次に、図２のフローチャートを参照し、ＰＣ４によって実行される処理について述べる。ＰＣ４により実行される処理には、調整パターンの投射領域の設定処理と該調整パターンを撮像して得た撮像画像に基づく色調整処理とが含まれる。本実施例における投射領域の設定処理は、主として第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂによる調整パターンの投射領域を設定する処理である。また、本実施例における色調整処理は、例えば第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂにより投射された画像の色域や輝度を略一致するよう調整する処理である。

ＰＣ４は、例えばユーザが操作部１０８を操作することで呼び出されるメニューを選択し、選択したメニューの実行指示を行うことにより、選択されたメニューに係る処理を実行する。図２に示す処理は、ユーザが、例えばカメラ３の使用によるプロジェクタの調整メニューを選択することに応じて、コンピュータプログラムに従ってその実行が開始される。なお、ＰＣ４は、外部からの調整メニューの実行の命令を受けたり、一定時間ごとに調整を実行する命令が自動的に発行されたりしたときに、この調整メニューに係る処理を開始してもよい。当該処理が開始されると、ＰＣ４はフローをステップＳ１００に移行させる。なお、本実施例において、入力情報に基づく画像が投射されるスクリーン５のサイズと該投射される画像のサイズとは予め定められており、入力情報には、このサイズに関する情報も含まれる。従って、投射される画像がスクリーン５からはみ出すことはない。

ステップＳ１００において、ＰＣ４は、ＰＣ２からの入力情報を受信する。入力情報には、投射したい画像をＰＣ２で生成した際に使用した設定値あるいは入力画像（設定値と入力画像を合わせて入力情報と定義する）が含まれる。ここで、設定値には、画像信号を変形させる後述する変形パラメータや、画像信号の一部をマスキングする後述するマスクパラメータが含まれる。ＰＣ４は、これらパラメータを用いて以下に述べる第１の入力画像２０ｂあるいは第２の入力画像２１ｂを生成する。

ＰＣ４が設定値として変形パラメータあるいはマスクパラメータをＰＣ２から受信した場合には、該パラメータを用いて、以下の手順に従ってマスク画像が生成される。ここで、変形パラメータについて、図３の説明図を参照して説明する。図３（ａ）は、ＰＣ２に画像信号として入力された原画像２０ａの一例を示している。また、図３（ｂ）は、原画像２０ａに基づいてＰＣ２により生成された第１の入力画像２０ｂを示している。ＰＣ２では、原画像２０ａ上の点Ｐ００ａ、Ｐ０１ａ、Ｐ０２ａ、Ｐ１０ａ、Ｐ１１ａ、Ｐ１２ａを、点Ｐ００ｂ、Ｐ０１ｂ、Ｐ０２ｂ、Ｐ１０ｂ、Ｐ１１ｂ、Ｐ１２ｂで示される位置にそれぞれ変換することで第１の入力画像２０ｂを生成する。

この時、各点は（ｘ，ｙ）の座標情報を持ち、原画像２０ａの画像サイズの範囲内の値を取り得るとする。具体的には、画像が１９２０×１２００の解像度を持つとき、各点は（ｘ，ｙ）＝（０，０）から（ｘ，ｙ）＝（１９１９，１１９９）の値をとる。変形パラメータとは、例えば原画像２０ａにおける点Ｐ００ａが第１の入力画像２０ｂにおけるどの点に移動したかを紐づけるパラメータである。点Ｐ００ａから点Ｐ００ｂへの変形パラメータをＱ００とし、Ｐ００ａ＝（０，０）、Ｐ００ｂ＝（０，３００）とすると、Ｑ００＝｛（０，０），（０，３００）｝が保持される。点Ｐ０１ａ～Ｐ１２ａから点Ｐ０１ｂ～Ｐ１２ｂへの変形でも同様に変形パラメータＱ０１～Ｑ１２が保持される。なお、図３に示した例では、変形パラメータの数はＱ００～Ｑ１２の６個が存在するが、６個より少なくても多くてもよく、その数はここで例示した数に限定されない。

次に、マスクパラメータについて、図４の説明図を参照して説明する。図４（ａ）は、ＰＣ２に画像信号として入力された原画像２０ａの一例を示している。また、図４（ｂ）は、原画像２０ａに基づいてＰＣ２により生成された第２の入力画像２１ｂを示している。ＰＣ２では、図４（ｂ）に示すマスク２２，２３を原画像２０ａに付与することで、第２の入力画像２１ｂを生成する。

この時、マスク内の画素値は０に置き換えられる。マスクパラメータとは、例えばマスク２２，２３各々の左上の頂点の座標および幅と高さを保持するパラメータである。マスク２２のマスクパラメータをＭ０とし、マスク２２の左上の頂点を（０，０）、マスク２２の幅と高さを（１９２０，３００）とすると、Ｍ０＝｛（０，０），（１９２０，３００）｝が保持される。マスク２３に関しても、同様に設定されるマスクパラメータＭ１が保持される。なお、図４に示した例では、マスクパラメータの数はＭ０，Ｍ１の２個が存在するが、２個より少なくても多くてもよく、その数はここで例示した数に限定されない。また、ここでは四角形のマスクを例示したが、マスクの形は四角形に限定されず、円形や三角形、あるいはそれらの組み合わせ等、用途に応じて任意に変形することができる。

より一般的には、マスクパラメータにより規定される画像とは、例えば本実施例における第２の入力画像２１ｂと同じ解像度を持つ画像（以下、マスク画像という）である。例えば、マスクが存在する座標の画素値を１、それ以外の座標の画素値を０に設定する。図４（ｂ）で説明すると、マスク２２，２３が付与された灰色の領域の画素値が１に設定され、それ以外の領域の画素値が０に設定される。

また、マスク画像の生成方法はこの例に限られず、例えば変形パラメータを用いてマスク画像を生成してもよい。その場合、ＰＣ４による変形によって原画像が写像されない座標の画素値を１、それ以外の座標の画素値を０に設定する。図３（ｂ）に示す第１の入力画像２０ｂを例に説明すると、原画像が写像されない灰色の領域の画素値が１に設定され、それ以外の領域の画素値が０に設定される。

更に、マスク画像の生成はＰＣ２により行ってもよいし、変形パラメータＱ００やマスクパラメータＭ０を受信したＰＣ４により行ってもよい。ＰＣ２によりマスク画像を生成した場合には、変形パラメータあるいはマスクパラメータとしてマスク画像がＰＣ４で受信される。なお、以降の説明では、説明の簡略化のため変形パラメータおよびマスクパラメータにより変形された画像はマスク画像を示すものとする。

一方で、ＰＣ４がＰＣ２から、設定値ではなく入力画像を受信する場合には、入力画像の各画素に対して以下の計算を行い、マスク画像Ｆを生成する。

ここで、Ｆ（ｘ，ｙ）はマスク画像の（ｘ，ｙ）座標での画素値、Ｐｉｘ（ｘ，ｙ）は入力画像の（ｘ，ｙ）座標での画素値、Ｔｈは閾値を表す。即ち、マスク画像は、閾値Ｔｈよりも暗い値を持つ画素をマスクする。

なお、上述した計算はある時点の入力画像（一枚の入力画像）で計算してもよいが、望ましくは一定期間に入力される入力画像（複数の入力画像）で計算することが望ましい。一定期間に入力される入力画像を計算する場合には、一定期間で入力される映像において閾値Ｔｈよりも暗い値が持続する画素をマスクする。このように複数の画像を用いて入力画像を計算することによって、映像領域ではあるが、特定画像でたまたま画素値が低くなってマスクされる画素を低減することができる。また、望ましくは閾値Ｔｈよりも十分大きな画素値をとる原画像により入力画像を生成するとよい。マスク画像の生成後、ＰＣ４はフローをステップＳ１０１に移行させる。

ステップＳ１０１では、ＰＣ４（特定部４ａ）は、ステップＳ１００で生成したマスク画像（あるいは変形画像）から入力画像における映像領域を設定する。ここで映像領域とは、入力画像において原画像の変化に追従する領域を表す。図４（ｂ）を例とすると、第２の入力画像２１ｂにおいてマスク２２，２３が付与されていない領域が対応する。一方で、映像領域でない領域（以下、非映像領域という。）は、上述したように画像情報の画素値が、一定期間、閾値以下となる画素からなる領域であって、原画像をいかに変化させても同一の画素値をとる領域である。図４（ｂ）を例とすると、マスク２２，２３が付与されている領域が対応する。これに対し、映像領域は、一定期間で閾値より大きな値を一度でも示す画素からなる領域となる。ここでは、マスク画像の画素値が０となる座標の集合を映像領域、画素値が１となる座標の集合を非映像領域に設定する。

図５および図６を参照して、変形後あるいはマスク付与後の映像領域について説明する。図５は、第１の入力画像２０ｂあるいは変形パラメータＱ００～Ｑ１２によって生成された第１の映像領域３０を示している。また、図６は、第２の入力画像２１ｂあるいはマスクパラメータＭ０～Ｍ１によって生成された第２の映像領域３１を示している。変形パラメータあるいはマスクパラメータを用いて映像領域が設定されると、ＰＣ４はフローをステップＳ１０２に移行させる。

ステップＳ１０２では、ＰＣ４（調整パターン生成部４ｂ）は、ステップＳ１０１で設定した映像領域の内側に調整パターンが投射されるように該調整パターンを生成する。ステップＳ１０２で生成される調整パターンの例について、図７あるいは図８を参照して説明する。図７は、第１の映像領域３０の内側に生成された第１の調整パターン４０（点線で囲まれた領域）を示している。また、図８は、第２の映像領域３１の内側に生成された第２の調整パターン４１（点線で囲まれた領域）を示している。

調整パターンは、例えば画像処理部１０５にて光変調パネル１０２と同一解像度のパターンを生成し、目標の調整パターン位置に表示されるようキーストーン補正等の歪み補正を行うことで得る。上述したように、本実施例では映像領域の内部に位置するように調整パターンを生成している。このため、得られた調整パターンがスクリーン内部に確実に投射されることとなるため、自動調整を好適に行うことができる。

なお、本実施例では、図７あるいは図８に例示した態様で調整パターンを生成し、歪み補正を行った後にこれを投射している。しかし、画像処理部１０５が映像領域と同一サイズかそれよりも小さいパターンを生成できる場合は、歪み補正を行うことなく投射を行ってもよい。また、調整パターンの位置は映像領域の内側、即ち該領域の一部に投射されればよく、映像領域の外縁と調整パターンの外縁とが完全に一致していなくてもよい。更に、図７および図８では、調整パターンを一つの矩形パターンとしているが、これを多角形や円等のパターン形状としてもよいし、それらの組み合わせとしてもよい。調整パターンの生成後、ＰＣ４はフローをステップＳ１０３に移行させる。

ステップＳ１０３では、ＰＣ４（投射制御部４ｃ）は、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂにより、スクリーン５上にステップＳ１０２で生成した調整パターンを投射させる。ここで調整パターンは、輝度最大の白色光、赤色光、緑色光、および青色光各々の階調パターンであることが望ましい。中間階調の色域や輝度の調整を行う場合には、対応する階調の白色パターン、赤色パターン、緑色パターン、青色パターンを使用してもよい。そしてＰＣ４は、これら調整パターンを順次スクリーン５に投射させ、カメラ３にこのスクリーン５上の画像を撮像させる。カメラ３による画像の撮像後、ＰＣ４はフローをステップＳ１０４に移行させる。

ステップＳ１０４では、ＰＣ４は、ステップＳ１０３で得られた撮像画像を使用して、調整パターンが投射される投射領域の位置検出を行う。投射領域の検出は、カメラ３で得た撮像画像のうち、所定画素値以上の画素値を有する連続した領域を検出し、これらを一つの投射領域とする。なお、本実施例において連続した領域とは、例えば垂直方向あるいは水平方向に隣接する画素の画素値の変化の微分値が所定量以下になる画素からなる領域、あるいは任意の画素の周辺画素の分散値が所定量以下になる画素からなる領域を指す。調整パターンの投射領域の位置が検出されると、ＰＣ４はフローをステップＳ１０５に移行させる。

ステップＳ１０５では、ＰＣ４は、ステップＳ１０３で得られた撮像画像、およびステップＳ１０４で検出した投射領域を使用して、プロジェクタの色域や輝度の調整を行う。以下、本実施例において実行される調整処理の詳細について説明する。

まず、ステップＳ１０４にて検出した投射領域において、調整に使用する代表値を生成する。代表値とは、ステップＳ１０３で得られた撮像画像のうち、各プロジェクタの投射領域に属する画素値の平均値や中央値、最大輝度値等が対応する。その後、各プロジェクタ、本実施例では第１のプロジェクタ１ａと第２のプロジェクタ１ｂとの代表値が略一致するように、調整値を求める。例えば、調整パターンとして輝度最大の白色画像を投射した際、第１のプロジェクタ１ａの代表値を

、第２のプロジェクタ１ｂの代表値を

とする。ここでＲ_ｗ１ａおよびＲ_ｗ１ｂは各々のプロジェクタの赤色光についての輝度の代表値であり、Ｇ_ｗ１ａおよびＧ_ｗ１ｂは緑色光についての輝度の代表値であり、Ｂ_ｗ１ａおよびＢ_ｗ１ｂは青色光についての輝度の代表値となる。そして、それらが略一致するようにゲイン係数

を算出する。ｒ_ｗ１は赤色光についてのゲイン係数であり、ｇ_ｗ１は緑色光についてのゲイン係数であり、ｂ_ｗ１は青色光についてのゲイン係数である。これらのゲイン係数は、

を満たすような数値である。

なお、上述した例では第１のプロジェクタ１ａの代表値を基準として第２のプロジェクタ１ｂの代表値を調整するようなゲイン係数を算出しているが、基準となるプロジェクタは任意に変更可能である。また、輝度最大の白色パターンを使ってゲイン係数を算出しているが、赤色パターン、緑色パターン、青色パターンのいずれか、あるいはこれらの複数のパターンの代表値を使ってゲイン係数を算出してもよい。また、本実施例ではゲイン係数を調整値として算出していたが、中間階調の色域や輝度の調整を行う場合には、ガンマ係数やガンマテーブルを調整値として算出してもよい。あるいは、３ＤＬＵＴ（３Ｄ Ｌｏｏｋ Ｕｐ Ｔａｂｌｅ）を調整値として算出することもできる。なお、本ステップＳ１０５で実行される処理は、公知であって、代替可能であれば処理方法はここで述べた態様に限定されない。調整終了後、ＰＣ４はフローをステップＳ１０６に移行させる。

最後にステップＳ１０６では、ＰＣ４は、ステップＳ１０５で算出した調整値を第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂに書き込む。具体的には、得られた調整値は、各々対応するプロジェクタの制御部１０６のメモリに記憶される。そして、記憶された調整値は、画像処理部１０５がパネル駆動信号等を生成する際に適用される。そして、プロジェクタ１ａ，１ｂは、この調整値に基づいて表示態様が調整された画像情報を、各々スクリーン５に対して投射する。これにより、第１のプロジェクタ１ａと第２のプロジェクタ１ｂとが投射する画像の各々において、色域、輝度等が同じとなり、個別のプロジェクタから投射されて合成される画像が違和感なく一体化して見られることとなる。

なお、本実施例では、２つのプロジェクタ１ａ，１ｂがスクリーン５に対して左右方向に並ぶ画像を投射する場合について説明したが、上下方向に並ぶ画像を投射してもよい。また、本実施例では２つのプロジェクタ１ａ，１ｂの投射領域がスクリーン５上で重ならないような状態で各々の画像を投射している。しかし、これら投射画像が重なるような状態で投射してもよい。また、プロジェクタが２つの場合について説明したが、３つ以上のプロジェクタを用いた場合でも同様に上述した調整パターンの投射領域の設定方法は適用可能である。

また、本実施例では、マルチプロジェクションの色域や輝度を調整する際の調整パターンの投射領域の設定方法について説明した。しかし本発明の適用例は上述した実施例に限られず、経時劣化後のプロジェクタを経時劣化前の状態に戻すように色域や輝度を調整する場合の調整パターンの投射時に使用されてもよい。

以上に述べたように、本実施例１に係るＰＣ４（投射制御装置）は、入力情報に基づいて生成された画像情報をスクリーン５上に投射するようにプロジェクタ１ａ，１ｂ（投射手段）を制御する。ここで、ＰＣ４は、特定部４ａ（特定手段）と投射制御部４ｃ（投射制御手段）とを備える。特定部４ａは、投射される画像情報（２０ｂ，２１ｂ）がスクリーン５上で表示される映像領域（３０，３１）を特定する。特定部４ａが特定した映像領域に投射されるように生成された調整パターンを、プロジェクタ１ａ，１ｂに対してスクリーン５上に投射させる。なお、調整パターンは、画像情報の表示態様である例えば色域や輝度を調整する際に用いる調整値を得るため用いられる。

上述した入力情報は、スクリーン５のサイズに応じてあらかじめ定められている。本実施例において、特定部４ａは、ＰＣ２から入力された入力情報（２０ｂ，２１ｂ）を用いて映像領域３０，３１を特定する。なお、その際、特定部４ａは、入力情報における画素値が一定期間閾値以下となる画素からなる領域を非映像領域とし、一定期間において一度でも閾値より大きくなる画素からなる領域を映像領域として特定することもできる。非映像領域は、例えば図５あるいは図６における灰色の領域に対応し、映像領域は第１の映像領域３０あるいは第２の映像領域３１に対応する。

また、投射制御部４ｃは、映像領域に対応した歪み補正処理を施した調整パターンをプロジェクタ１ａ，１ｂによりスクリーン５上に投射させる。歪み補正処理は、調整パターン生成部４ｂにより実行される。その際、投射制御部４ｃは、映像領域の一部に表示されるようにスクリーン５上に調整パターンを投射させるように、プロジェクタ１ａ，１ｂを制御することができる。図７に第１の調整パターン４０として示し、図８に第２の調整パターン４１として示すように、映像領域の外縁と調整パターンの外縁とが一致するようにしてもよく、映像領域３０，３１内の任意の位置に配置することとしてもよい。

なお、画像情報の生成に際して、上述したように、ＰＣ２は、変形パラメータを用いて入力情報の外縁を変形させている。しかし、ＰＣ４における特定部４ａにこの機能を配することもできる。あるいは、ＰＣ２で実行される、入力情報の外縁の少なくとも一部に対応する画像情報の画素値を所定の値とするマスクパラメータを用いて生成されたマスクを入力情報に付与する機能を、特定部４ａで実行することもできる。入力情報の外縁の一部には、例えば画素値を灰色一色とする所定の画素値として生成したマスク２２，２３を付与している。マスクによって覆われる範囲やその画素値は、上述したようにマスクパラメータに定められている。

なお、投射制御部４ｃは、プロジェクタ１ａ，１ｂに対し、表示態様として色域や輝度が調整された画像情報をスクリーン５上に投射させる。即ち、本実施例に係る画像投射システム１００は、以上に述べたＰＣ４（投射制御装置）と、入力情報に基づいて画像情報を生成するＰＣ２（画像生成装置）と、プロジェクタ１ａ，１ｂ（投射手段）とを備える。また、上述したように、ＰＣ４は、その作動方法として、投射される画像情報がスクリーン上で表示される映像領域を特定するステップと、上述した調整パターンをスクリーン上の投射させるステップとを含む。

以上に述べたように、本実施例によれば、入力情報を解析してスクリーン５に投射したい画像の映像領域を特定し、映像領域内にのみ調整パターンを投射することとしている。これにより、調整パターンがスクリーン５外にはみ出して投射される可能性を低減し、適切に投射領域を定めることができ、色域、輝度等の調整の精度を向上させることができる。

［実施例２］
上述した実施例１では、入力画像あるいは入力画像生成時の設定値（変形パラメータやマスクパラメータを示す。）を使用して、スクリーン５上に画像が投射される映像領域を算出した。本実施例２は、例えばＰＣ２から実施例１で述べた設定値が入力されない場合を想定したものであって、設定値に基づいた映像領域の特定に代えて、カメラにより撮像した画像から映像領域を算出する方法を示す。より詳細には、カメラにより撮像した撮像画像上において、実施例１で述べた映像領域と非映像領域とを生成し、生成した映像領域から投射領域を検出することとしている。

なお、実施例２で用いる画像投射システムの構成は実施例１で述べた構成と同様であるため、ここでの説明は省略する。また、以降の説明を簡略化するために、実施例１と同様の構成要素や処理におけるステップに関しては実施例１で用いた参照番号等と同一の参照番号等を与え、以降での説明を省略する。

ここで、図９のフローチャートを参照し、ＰＣ４によって実行される実施例２に係る処理について述べる。ＰＣ４により実行される処理には、撮像画像に基づく調整パターンの投射領域の設定処理と調整パターンを撮像して得た撮像画像に基づく色調整処理とが含まれる。実施例１と同様に、投射領域の設定処理は、主として第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂによる調整パターンの投射領域を設定する処理である。また、色調整処理は、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂにより投射された画像の色域や輝度等を略一致するよう調整する処理である。

ＰＣ４は、例えばユーザが操作部１０８を操作することで呼び出されるメニューを選択し、選択したメニューの実行指示を行うことにより、選択されたメニューに係る処理を実行する。図９に示す処理は、ユーザが、例えばカメラ３の使用によるプロジェクタの調整メニューが選択されることに応じて、コンピュータプログラムに従ってその実行が開始される。なお、ＰＣ４は、外部からの調整メニューの実行の命令を受けたり、一定時間ごとに調整を実行する命令が自動的に発行されたりしたときに、この調整メニューに係る処理を開始してもよい。当該処理が開始されると、ＰＣ４はフローをステップＳ２００に移行させる。

ステップＳ２００において、ＰＣ４は、ＰＣ２により生成された入力画像を、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂによりスクリーン５上に順次投射させる。また、ＰＣ４は、カメラ３により、スクリーン５上に投射されている画像を撮像させる。

なお、本実施例で投射対象とする入力画像には、例えば図３（ｂ）に示されるような変形パラメータにより生成された第１の入力画像２０ｂが用いられる。また、図４（ｂ）に示されるようなマスクパラメータにより生成された第２の入力画像２１ｂを用いてもよい。図１０は、カメラ３によって、スクリーン５に投射された第１の入力画像２０ｂを撮像することで取得された第１の撮像画像５０を示している。また、図１１は、カメラ３によって、スクリーン５に投射された第２の入力画像２１ｂを撮像することで取得された第２の撮像画像５１を示している。例示した撮像画像が取得されると、ＰＣ４はフローをステップＳ２０１に移行させる。

ここで、実施例１と同様に、映像領域とは、入力画像において原画像の変化に追従する領域を表す。一方で、非映像領域は原画像をいかに変化させても略同一の画素値をとる領域である。なお、本実施例において、例えば部屋の照明をつけた際の外光や投射面を横切る物体等、撮像画像に映るおそれのある外乱の影響は無視できるものとする。

本実施例において、映像領域の設定は、異なる二つのタイミングで撮像された２枚の画像を比較することにより実行される。具体的には、第１のタイミングで取得された撮像画像Ｉ_１と第２のタイミングで取得された撮像画像Ｉ_２とにおいて、同一画素の差分が閾値以内に収まるか否かを判定する。閾値以上であればこれら画素が映像領域内の画素として、閾値より小さければこれら画素が非映像領域内の画素として設定される。

なお、ここでは、第２のタイミングは、第１のタイミングから所定時間経過した後のタイミングとする。第１のタイミングと第２のタイミングとでは、入力画像生成時の変形あるいはマスクパラメータの設定値は変化しないとする。また、閾値との比較に際して大きな差分が得られることから、望ましくは第１のタイミングと第２のタイミングで入力画像の画素値が大きく変化する原画像を使用するとよい。図１２は、第１の入力画像２０ｂの場合にスクリーン５上に設定された第３の映像領域３２を示している。また、図１３は、第２の入力画像２１ｂの場合にスクリーン５上に設定された第４の映像領域３３を示している。これら図中において、グレーで示される領域が非映像領域に対応する。映像領域が設定されると、ＰＣ４はフローをステップＳ２０２に移行させる。

ステップＳ２０２では、ＰＣ４は、第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂに、設定した映像領域に対して調整パターンを投射させる。ここで、調整パターンとは、例えば実施例１のステップＳ１０２で用いた調整パターンであってもよいし、光変調パネル１０２の全面に一様な値が入ったパターンであってもよい。即ち、実施例１で例示した調整パターンの態様に限定されない。なお、本実施例においては、調整パターンの階調は、上述したステップＳ１０２と同様にして生成する。ＰＣ４は、これら調整パターンを順次映像領域上に投射させ、投射された調整パターンをカメラ３に撮像させる。調整パターンの撮像後、ＰＣ４はフローをステップＳ２０３に移行させる。

ステップＳ２０３では、ＰＣ４は、ステップＳ２０１で設定した映像領域およびステップＳ２０２で得られた撮像画像を使用して、調整パターンが投射される投射領域の位置検出を行う。なお、投射領域の検出方法に関しては、実施例１で述べたステップＳ１０４で実行する処理と同様の処理を実行する。これにより、ステップＳ２０３では、スクリーン５上において、ステップＳ２０１で設定した映像領域内にて投射領域が検出されることとなる。投射領域の検出と調整パターンの画像の取得が終わると、ＰＣ４はフローをステップＳ１０５に移行させる。

以降、ＰＣ４によって、色域や輝度を調整する処理（ステップＳ１０５）、および算出した調整値を第１のプロジェクタ１ａおよび第２のプロジェクタ１ｂに書き込む処理（ステップＳ１０６）が実行される。なお、これら処理に関しては、実施例１ですでに述べていることからここでの説明は省略する。

上述したように、本実施例２ではカメラ３（撮像手段）により、入力情報に応じてスクリーン５に投射された画像情報を撮像し、その撮像結果に応じて映像領域を特定している。撮像された画像情報から映像領域を求める際には、例えば２つのタイミング（時間）において撮像した画像情報間での比較が行われる。具体的には、第１のタイミング（第１の時間）にカメラ３により撮像した画像情報における画素値と、第２のタイミング（第２の時間）にカメラ３により撮像した画像情報における画素値との差分を用いる。なお、第２のタイミングは、第１のタイミングに対して所定時間経過した際のタイミングとなる。特定部４ａは、求めた差分が所定値よりも大きい画素値からなる領域を映像領域として特定し、所定値以下の画素値からなる領域を非映像領域として特定する。

以上に述べたように、本実施例によれば、スクリーン５上に投射される入力情報を撮像して調整パターンが投射可能となる映像領域を特定し、特定された映像領域から投射領域を検出することとしている。これにより、調整パターンが映像領域外にはみ出して投射される可能性を低減し、結果としてスクリーン５の外部にて投射領域が検出されることがなくなるように適切に投射領域を定めることができ、色域、輝度等の調整の精度を向上させることができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータがプログラムを読出し実行する処理でも実現可能である。該コンピュータは、１又は複数のプロセッサー又は回路を有し、コンピュータが実行可能命令を読み出して実行するために、分離した複数のコンピュータ又は分離した複数のプロセッサー又は回路のネットワークを含みうる。プロセッサー又は回路は、中央演算処理装置（ＣＰＵ）、マイクロプロセッシングユニット（ＭＰＵ）、グラフィクスプロセッシングユニット（ＧＰＵ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートウェイ（ＦＰＧＡ）を含みうる。また、プロセッサー又は回路は、デジタルシグナルプロセッサ（ＤＳＰ）、データフロープロセッサ（ＤＦＰ）、又はニューラルプロセッシングユニット（ＮＰＵ）を含みうる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像投射システム
１ａ、１ｂ プロジェクタ
２ 画像生成ＰＣ
３ カメラ
４ 制御ＰＣ

Claims (13)

1. 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置であって、
   前記投射される画像情報が前記スクリーン上で表示される映像領域を特定する特定手段と、
   前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させる投射制御手段と、
   を備えることを特徴とする投射制御装置。
2. 前記入力情報は、前記スクリーンのサイズに応じてあらかじめ定められており、
   前記特定手段は、前記入力情報を用いて前記映像領域を特定することを特徴とする請求項１に記載の投射制御装置。
3. 前記特定手段は、前記入力情報における画素値が一定期間閾値以下となる画素からなる領域を非映像領域とし、前記一定期間において前記閾値より一度でも大きくなる画素からなる領域を前記映像領域として特定することを特徴とする請求項１又は２に記載の投射制御装置。
4. 前記投射される画像情報を撮像する撮像手段を更に備え、
   前記特定手段は、前記撮像された画像情報に基づいて前記映像領域を特定することを特徴とする請求項１に記載の投射制御装置。
5. 前記特定手段は、第１の時間に前記撮像手段により撮像した画像情報における画素値と、前記第１の時間に対し所定時間経過した第２の時間に前記撮像手段により撮像した画像情報における画素値との差分が所定値よりも大きい画素値からなる領域を前記映像領域として特定し、前記所定値以下の画素値からなる領域を非映像領域とすることを特徴とする請求項４に記載の投射制御装置。
6. 前記投射制御手段は、前記映像領域に対応した歪み補正処理を施した前記調整パターンを前記投射手段により前記スクリーン上に投射させることを特徴とする請求項１乃至５のいずれか１項に記載の投射制御装置。
7. 前記投射制御手段は、前記映像領域の一部に表示されるように、前記投射手段に前記スクリーン上に前記調整パターンを投射させることを特徴とする請求項１乃至６のいずれか１項に記載の投射制御装置。
8. 前記画像情報の生成に際して、変形パラメータを用いて前記入力情報の外縁を変形させる手段を更に備えることを特徴とする請求項１乃至７のいずれか１項に記載の投射制御装置。
9. 前記画像情報の生成に際して、前記入力情報の外縁の少なくとも一部に対応する前記画像情報の画素値を所定の値とするマスクパラメータを用いて生成されたマスクを前記入力情報に付与する手段を更に備えることを特徴とする請求項１乃至８のいずれか１項に記載の投射制御装置。
10. 前記投射制御手段は、前記投射手段に、前記表示態様が調整された画像情報を前記スクリーン上に投射させることを特徴とする請求項１乃至９のいずれか１項に記載の投射制御装置。
11. 請求項１乃至１０のいずれか１項に記載の投射制御装置と、
    前記入力情報に基づいて前記画像情報を生成する画像生成装置と、
    前記投射手段と、
    を備えることを特徴とする画像投射システム。
12. 入力情報に基づいて生成された画像情報をスクリーン上に投射する投射手段を制御する投射制御装置の作動方法であって、
    前記投射される画像情報が前記スクリーン上で表示される映像領域を特定するステップと、
    前記画像情報の表示態様を調整する際に用いる調整値を得るための調整パターンであって、前記特定された映像領域に投射されるように生成された調整パターンを、前記投射手段により前記スクリーン上に投射させるステップと、
    を含むことを特徴とする投射制御装置の作動方法。
13. コンピュータに、請求項１２に記載の投射制御装置の作動方法に従う処理を実行させることを特徴としたコンピュータプログラム。

Images