JP2023102634A - 制御装置、画像投射システム、制御方法、およびプログラム - Google Patents

Abstract

【課題】適切な輝度分布を生成することが可能な制御装置を提供する。【解決手段】入力情報に基づいて複数の投射画像をそれぞれ同時に投射する複数の画像投射装置（１）と、複数の投射画像を撮像して撮像画像を出力する撮像装置（３）とを制御する制御装置（４）であって、複数の投射画像の輝度分布における勾配情報または最大輝度情報を取得する取得手段（４０１）と、撮像画像と、勾配情報または最大輝度情報とに基づいて、投射画像の目標輝度分布を生成する生成手段（４０１）とを有する。【選択図】図１

Description

本発明は、制御装置、画像投射システム、制御方法、およびプログラムに関する。

従来、複数のプロジェクタ（画像投射装置）を用いて、スクリーン等の被投射面に複数の投射画像を仮想的に一つの画面として投射するマルチプロジェクションシステム（画像投射システム）が知られている。また、画像投射システムにおいて、投射画像をカメラで撮像し、投射画像全体の輝度むらや色むらを自動で補正する方法（マルチむら補正）が知られている。

特許文献１には、投射画像が重畳する領域（重畳領域）と重畳領域以外の投射画像の領域（非重畳領域）との境界部の輝度に基づいて、より輝度の低いプロジェクタの重畳領域と非重畳領域において自動でむら補正を行う画像処理装置が開示されている。特許文献２には、プロジェクタの輝度特性に基づいて、結合投影領域の水平または垂直１ラインにおける２点間の輝度分布が凹関数により規定される輝度分布となるように自動でマルチむら補正を行うマルチプロジェクションシステムが開示されている。

特開２０１３－０２５０７６号公報 特開２０１３－２２９８４６号公報

特許文献１に開示された画像処理装置では、輝度の低いプロジェクタの重畳領域と非重畳領域の一部のみ補正するため、投射画像全体として最適な輝度分布を生成できない場合がある。特許文献２に開示されたマルチプロジェクションシステムでは、輝度分布が凹関数により規定されるため、プロジェクタの輝度分布によっては輝度が低下する場合がある。

そこで本発明は、適切な輝度分布を生成することが可能な制御装置を提供することを目的とする。

本発明の一側面としての制御装置は、入力情報に基づいて複数の投射画像をそれぞれ同時に投射する複数の画像投射装置と、前記複数の投射画像を撮像して撮像画像を出力する撮像装置とを制御する制御装置であって、前記複数の投射画像の輝度分布における勾配情報または最大輝度情報を取得する取得手段と、前記撮像画像と、前記勾配情報または前記最大輝度情報とに基づいて、前記投射画像の目標輝度分布を生成する生成手段とを有する。

本発明の他の目的及び特徴は、以下の実施形態において説明される。

本発明によれば、適切な輝度分布を生成することが可能な制御装置を提供することができる。

本実施形態における画像投射システムの構成図である。 本実施形態におけるマルチむら補正前の輝度分布を示す図である。 本実施形態におけるマルチむら補正後の輝度分布を示す図である。 本実施形態におけるマルチむら補正後の輝度分布を示す図である。 本実施形態における画像投射システムのブロック図である。 本実施形態におけるマルチむら補正処理を示すフローチャートである。 本実施形態における検出用画像の撮像画像の説明図である。 本実施形態における補正用画像の輝度分布を示す図である。 本実施形態における目標輝度分布の第１の生成方法を示す説明図である。 本実施形態における目標輝度分布の第２の生成方法を示す説明図である。 本実施形態におけるＧＵＩの説明図である。 本実施形態における目標輝度分布の第三の生成方法を示す説明図である。

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。

まず、図１を参照して、本実施形態における画像投射システム１００について説明する。図１は、画像投射システム１００の構成図である。画像投射システム１００は、プロジェクタ（画像投射装置）１ａ、１ｂ、１ｃ、カメラ（撮像装置）３、およびＰＣ（パーソナルコンピュータ）４を有する。ＰＣ４は、入力情報に基づいて複数の投射画像をそれぞれ同時に投射する複数のプロジェクタ１ａ、１ｂ、１ｃ、および複数の投射画像を撮像して撮像画像を出力するカメラ３を制御する制御装置である。ただし本実施形態は、これに限定されるものではなく、制御装置としての機能の少なくとも一部をプロジェクタ１ａ、１ｂ、１ｃの少なくとも一つに設けてもよい。

プロジェクタ１ａ、１ｂ、１ｃは、投射画像２ａ、２ｂ、２ｃをスクリーン（被投射面）２に投射する。投射画像２ａ～２ｃはそれぞれ、水平方向において隣接し、重畳して投射を行う重畳領域を有する。そして、投射画像２ａ～２ｃをカメラ３により撮像し、ＰＣ４がカメラ３から取得される撮像画像（撮像画像データ）を用いて、プロジェクタ１ａ～１ｃを制御する。ＰＣ４が行う制御は具体的には、カメラ３から取得された撮像画像を用いて、投射画像２ａ～２ｃの輝度分布を目標輝度分布に略一致するようプロジェクタ１ａ～１ｃをむら補正する処理である。なお本実施形態では、３つのプロジェクタ１ａ～１ｃを有する画像投射システム１００を例として述べるが、これに限定されるものではなく、２つのプロジェクタまたは４つ以上のプロジェクタを有していてもよい。またプロジェクタ１ａ～１ｃは、投射画像が水平方向（重力方向に対して水平方向）に並んでスクリーン２上に表示されるように配置されているが、投射画像の配置はこれに限定されるものではなく、例えば垂直方向に並べるなど、任意に配置することができる。

次に、図２乃至図４を参照して、ユーザの入力に応じて目標輝度分布を変化させる理由を説明する。図２は、投射画像２ａ～２ｃをカメラ３により撮像した撮像画像のうち、投射画像の垂直中心の輝度分布を示す一例である。図２において、横軸は水平方向（プロジェクタ１ａ～１ｃの配列方向）の位置、縦軸は投射画像の輝度、実線はマルチむら補正前の輝度分布５０をそれぞれ示す。

図１に示されるように、左側から右側へ順に、投射画像２ａ、２ｂ、２ｃが重畳されて配置されている。一般的に、投射画像の輝度分布は中心が最も輝度が高く、端部に向かうほど輝度が低くなるため、それに則した輝度分布となっている。また、投射画像の輝度は投射画像２ｃ、２ａ、２ｂの順に高くなっており、重畳領域の輝度は隣接した非重畳領域の輝度よりも高くなっている。なお、重畳領域には電気的なエッジブレンディング処理や光学ブレンダによる減光処理が適用されていることが望ましい。ただし、後述するマルチむら補正の補正量を確保するため、重畳領域の輝度が高くなるよう設定することが望ましい。図２に示されるように、マルチむら補正を行う前の状態では重畳領域の輝度が急峻に変化しているため、大画面映像の画質に影響を及ぼす。

図３は、マルチむら補正後の輝度分布の一例を示す。図３において、点線はマルチむら補正前の輝度分布５０、実線はマルチむら補正後の輝度分布５１をそれぞれ示す。輝度分布５１は、最も輝度の低い投射画像２ｂに合わせて全体の輝度を下げるように補正されている。これにより、全体の輝度変化が少なく滑らかな輝度分布を実現することができる。なお、隣接する画素間での輝度差が十分低い場合、輝度分布５１のように波のような形状になっていても違和感がないことが実験的に分かっている。輝度変化の少なさを重視するユーザに対して輝度分布５１は適切である一方、投射画像２ａ、２ｃの輝度を下げたためプロジェクタの輝度を重視するユーザに対しては適さない可能性がある。

図４は、マルチむら補正後の輝度分布の他の一例を示す。図４において、点線はマルチむら補正前の輝度分布５０、実線は補正後の輝度分布５２をそれぞれ示す。輝度分布５２は、それぞれのプロジェクタの輝度を最大限使うように補正されている。これにより、全体として輝度の範囲は広いものの滑らかな輝度分布を実現することができる。プロジェクタの輝度を重視するユーザに対して輝度分布５２は適切である一方、輝度変化の少なさを重視するユーザに対しては適さない可能性がある。

以上のように、マルチむら補正を全自動で行うと、輝度変化の少なさを重視するユーザおよびプロジェクタの輝度を重視するユーザに対して、両者を満足させるような輝度分布に補正することは難しい。このため、補正の際にユーザの入力に応じて目標輝度分布を変化させることが好ましい。

次に、図５を参照して、画像投射システム１００について詳述する。図５は、画像投射システム１００のブロック図である。プロジェクタ１ａ～１ｃはそれぞれ、光源１０１、光変調部１１０、および投射光学系１２０を有する。光変調部１１０は、光変調パネル（光変調素子）１１１、むら補正部１１２、画像信号入力部１１３、画像処理部１１４、操作部１１５、および制御部１１６を有する。投射光学系１２０は、投射レンズ１２１およびレンズ駆動部１２２を有する。なお本実施形態において、プロジェクタ１ａ～１ｃは同様の構成を有するため、以下では、プロジェクタ１ａの説明のみ行い、これによりプロジェクタ１ａ～１ｃの説明に換えることとする。

光源１０１は、発電発光管、ＬＥＤ、またはレーザにより構成され、照明光を発する。画像信号入力部１１３は、プロジェクタ１ａの外部からのＤＶＩ信号、ＨＤＭＩ（登録商標）信号、ＤＰ（Ｄｉｓｐｌａｙ Ｐｏｒｔ）（登録商標）信号等の各種画像信号を受信するレシーバＩＣ等を有する。本実施形態において、画像信号入力部１１３は、入力された画像信号を画像処理部１１４に出力する。

画像処理部１１４は、入力された画像信号に対してガンマ補正、コントラスト補正、色変換、エッジブレンド補正、およびキーストーン補正等の各種画像処理を行う。また画像処理部１１４は、画像処理後の画像信号に対して、各種設定用のメニュー等を表示するＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）画像を表示するためのＯＳＤ画像信号を付加した画像信号を生成する。ＯＳＤ画像は、予め用意されたビットマップ画像等の画像データだけでなく、直線、矩形、文字または画素単位の描画指示に基づいて生成された各種画像を含む。また画像処理部１１４は、スクリーン２に投射する所定のテストパターン（例えば、ラスタパターンやカラーバーと言われる画像）を生成可能である。

むら補正部１１２は、画像処理部１１４により生成された画像信号の画素位置およびＲＧＢそれぞれの階調値に、むら補正値を加算することでむら補正を実行する。むら補正部１１２は、プロジェクタ１ａの起動時に記憶部（不図示）からむら補正値を読み出す。むら補正値はＲＧＢごとに画像の座標および階調値に対して離散的に与えられ、むら補正部１１２の補間処理により該当する画素位置およびＲＧＢそれぞれの階調値に対応した補正値が生成される。むら補正部１１２は、ＲＧＢ独立にむら補正値を加算することで輝度むらと色むらを同時に補正することができる。輝度むらとは投射画像２ａにおける明るさの差異に起因する白色のむらであり、色むらとは投射画像２ａにおける色バランスの差異に起因するむらである。補正された画像信号はパネル駆動信号に変換され、光変調パネル１１１の各画素に入力される。

光変調パネル１１１は、液晶パネルやデジタルマイクロミラーデバイス等により構成され、むら補正部１１２から入力されたパネル駆動信号に応じて光源１０１からの照明光を変調して画像光を生成する。投射レンズ１２１は、光変調パネル１１１からの画像光をスクリーン２等の被投射面に拡大投射する。これにより、入力された画像信号に応じた画像が被投射面に対して投射表示される。レンズ駆動部１２２は、投射レンズ１２１のズーム、シフトおよびフォーカスを駆動させ、投射画像の位置やサイズを変更し、またピントを調整する。

操作部１１５は、ユーザが操作入力するためのボタン、リモコンからの赤外線を受信するための赤外線受光部、および有線／無線により制御コマンドを受信する通信部等を備え、入力された操作を制御部１１６に通知する。入力される操作の種類には、例えば、電源のオン／オフ、決定、キャンセル、各種設定や、情報確認を行うためのメニューの呼び出しおよび上下左右の方向指示等がある。制御部１１６は、ＣＰＵやメモリ等を含むマイクロコンピュータにより構成され、操作部１１５より入力された操作信号に応じて画像処理部１１４に指示を与え、レンズ駆動部１２２を制御する。

カメラ３は、撮像光学系とＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ ＭＯＳ）等のセンサ（撮像素子）を有し、投射画像を撮像し、また撮像画像を送信する。

ＰＣ４は、制御部４０１と記憶部４０２とを有し、プロジェクタ１ａ～１ｃおよびカメラ３に有線／無線により接続されている。制御部４０１は、カメラ３に対して撮像を指示し、各プロジェクタに対してテストパターンの投射を指示する。また制御部４０１は、前述のように、カメラ３の撮像画像を用いてマルチむら補正の処理を行う。制御部４０１は、マルチむら補正の処理において、取得手段、生成手段、および補正手段としての機能を有する。取得手段は、複数の投射画像の輝度分布における勾配情報または最大輝度情報を取得する。生成手段は、撮像画像と、勾配情報または最大輝度情報とに基づいて、投射画像の目標輝度分布を生成する。補正手段は、目標輝度分布に基づいて複数の投射画像の輝度分布を補正する。記憶部４０２は、カメラ３から送信される撮像画像、および制御部４０１のマルチむら補正の処理にて用いられる勾配情報または最大輝度情報、および勾配情報または最大輝度情報に関する閾値等のパラメータを記憶する記憶手段である。なお本実施形態において、記憶部４０２はＰＣ４に設けられているが、これに限定されるものではなく、ＰＣ４とは異なる装置（外部装置）に設けてもよい。この場合、制御部（取得手段）４０１は、外部装置に設けられた記憶部から所定の情報を取得することができる。

本実施形態において、プロジェクタ１ａ～１ｃ、カメラ３、およびＰＣ４はそれぞれ、互いに別々の装置として構成されている。ただし本実施形態は、これに限定されるものではなく、カメラ３がプロジェクタ１ａ～１ｃに内蔵されていてもよい。ＰＣ４が、プロジェクタ１ａ～１ｃに対して１対で配置されているが、これを各々のプロジェクタ１ａ～１ｃに対応して配置させることもできる。すなわち、前述の各構成要素の配置や構成の態様、個数等は、本実施形態として例示した構成に限定されるものではない。

次に、図６を参照して、ＰＣ４によって実行されるマルチむら補正処理について説明する。図６は、マルチむら補正処理（制御方法）を示すフローチャートである。本実施形態におけるマルチむら補正処理は、プロジェクタ１ａ～１ｃにより投射された複数の画像（投射画像）の輝度分布が目標輝度分布に略一致するように補正する処理である。ＰＣ４は、例えば、ユーザが操作部１１５のユーザ操作によって呼び出されるメニューにおいてマルチむら補正が選択されることに応じて、本処理の実行を開始する。またＰＣ４は、外部からの補正メニューの実行の命令を受け、または、一定時間ごとに補正を実行する命令が自動的に発行されたときに、この補正メニューにおける処理を開始してもよい。この処理が開始されると、ＰＣ４はステップＳ１００に進む。

まずステップＳ１００において、ＰＣ４は、プロジェクタ１ａ～１ｃに同時に検出用画像（投射画像）を投射させる。ここで、検出用画像とは全面輝度最大の白色画像（全白画像）であることが好ましい。ただし本実施形態は、これに限定されるものではなく、中間階調の白色画像やその他の色（赤色、緑色、青色など）の画像を投射してもよい。検出用画像は、画像処理部１１４で生成されたり、画像信号として画像信号入力部１１３に入力されたりすることで投射される。そしてＰＣ４は、カメラ３にこれらの検出用画像を撮像させる。

続いてステップＳ１０１において、ＰＣ４は、プロジェクタ１ａに単独で検出用画像を投射させるとともに、それ以外のプロジェクタ１ｂ、１ｃを制御して全面輝度最小の黒色画像（全黒画像）を投射させる。ここで、ステップＳ１００と同様に、検出用画像は全白画像であることが好ましい。そしてＰＣ４は、カメラ３を制御して、これら全白画像および全黒画像を撮像させる。この際、プロジェクタ１ｂ、１ｃに全黒画像を投射させることに代えて、プロジェクタ１ｂ、１ｃの光源１０１を消灯させたり、不図示のシャッタにより光変調パネル１１１への照明光の入射を遮断させたりしてもよい。これらの処理をプロジェクタの台数分繰り返し、ＰＣ４は、プロジェクタ１ａ～１ｃが単独で検出用画像をスクリーン２に投射した３枚の撮像画像を取得する。

ここで、図７を参照して、検出用画像の撮像画像について説明する。図７は、検出用画像の撮像画像の説明図であり、図６のステップＳ１００においてプロジェクタ１ａ～１ｃのそれぞれにより投射領域３１ａ～３１ｃに投射された全白画像（検出用画像）を撮像することにより得られた撮像画像３１を示す。なお、ステップＳ１０１においてプロジェクタ１ａ～１ｃのそれぞれにより単独で投射された全白画像を撮像することで得られた撮像画像では、投射領域３１ａ～３１ｃの単一の投射画像がそれぞれ認識可能な画像となっている（不図示）。

続いて、ステップＳ１０２において、ＰＣ４は、ステップＳ１００、Ｓ１０１にて取得された撮像画像を用いて、投射領域の位置検出を行う。それぞれの投射領域の検出は、ラプラス作用素やハリス作用素等により投射された全白画像の頂点を検出し、それらの頂点を結んだ直線により囲まれる領域として検出する。またＰＣ４は、撮像画像のうち所定画素値以上の画素値を有する連続した領域のうち、最も大きい領域を投射領域として検出することもできる。

続いてステップＳ１０３において、ＰＣ４は、プロジェクタ１ａ～１ｃに同時に補正用画像（複数の投射画像）を投射させる。ここで補正用画像とは、例えば全白画像や中間階調の白色画像や全黒画像などの無彩色画像であることが望ましい。有彩色のむら補正も行いたい場合、対応する階調の赤色画像、緑色画像、青色画像を使用しても良い。補正用画像は、画像処理部１１４で生成されたり、画像信号として画像信号入力部１１３に入力されたりすることで投射される。そしてＰＣ４は、カメラ３にこれらの補正用画像を撮像させる。

続いてステップＳ１０４において、ＰＣ４は、プロジェクタ１ａ～１ｃのマルチむら補正処理を行うための目標輝度分布を生成する。ここで、図８を参照して、補正用画像の輝度分布について説明する。図８は、補正用画像の輝度分布を示す図であり、補正用画像を撮像した撮像画像３１のうち、投射領域３１ａ～３１ｃの垂直中心の輝度分布を示す。本実施形態では、補正用画像として無彩色の中間階調を投射し、その階調をむら補正した例を示す。図８において、図２と同様に、横軸は水平方向の位置、縦軸は撮像画像の輝度（画素値）、実線は投射領域３１ａ～３１ｃの垂直中心の輝度分布３１０をそれぞれ示す。左側から右側へ順に、投射領域３１ａ、３１ｂ、３１ｃの輝度分布が示されている。ここで、投射領域３１ａ、３１ｂ、３１ｃの非重畳領域での最大輝度となる点を点３１０ａ、３１０ｂ、３１０ｃで表している。ＰＣ４は、輝度分布３１０を入力として目標輝度分布を生成する。

目標輝度分布の第１の生成方法において、ＰＣ４は、最大輝度値を結ぶ直線の勾配の絶対値を閾値（第１のパラメータ）として目標輝度分布を生成する。すなわち第１の生成方法において、勾配情報は、複数の投射画像のうち隣接する二つの投射画像の最大輝度となる点を結ぶ直線の勾配に関する情報である。

図９（ａ）～（ｃ）は、目標輝度分布の第１の生成方法を示す説明図である。図９（ａ）～（ｃ）では、簡単のため、図８と同様の部分は同一の符号を与え、その説明を省略する。図９（ａ）において、直線３１０ａｂは点３１０ａと点３１０ｂとを結ぶ直線であり、直線３１０ｂｃは点３１０ｂと点３１０ｃとを結ぶ直線である。すなわち直線は３１０ａｂ、３１０ｂｃはそれぞれ、隣接する投射領域の最大輝度値を結ぶ直線である。直線３１０ａｂ、３１０ｂｃの勾配を算出するため、横軸の位置をＸ座標、縦軸の輝度をＹ座標とし、仮に点３１０ａ～３１０ｃの座標を以下のように設定する。

点３１０ａ：（ｘ_３１０ａ，ｙ_３１０ａ）＝（０．２５００，０．９０００）
点３１０ｂ：（ｘ_３１０ｂ，ｙ_３１０ｂ）＝（０．６５００，０．８０００）
点３１０ｃ：（ｘ_３１０ｃ，ｙ_３１０ｃ）＝（１．０５００，１．００００）
したがって、直線３１０ａｂ、３１０ｂｃはそれぞれ、以下のように算出される。

直線３１０ａｂ：ｙ＝－０．２５００ｘ＋０．９６２５
直線３１０ｂｃ：ｙ＝０．５０００ｘ＋０．４７５０
ここで、勾配の絶対値の閾値（第１のパラメータ）が０．２５００であるとする。直線３１０ａｂの勾配の絶対値は０．２５００であるため、閾値を超えていない。一方、直線３１０ｂｃの勾配の絶対値は０．５０００であるため、閾値を超えている。このように閾値を超えた勾配に関しては、ＰＣ４は、閾値を超えないように勾配の値を閾値の値に更新（補正）する。図９（ｂ）において、直線３１１ｂｃは、直線３１０ｂｃの勾配を更新したものである。直線３１１ｂｃは、直線３１０ｂｃが結ぶ二つの点３１０ｂ、３１０ｃのうち、より輝度の低い点３１０ｂを通り、勾配が０．２５００となる直線である。なお、勾配を閾値に更新する際には、元の勾配の符号は変化させないようにする。したがって、直線３１１ｂｃは、以下のように算出される。

直線３１１ｂｃ：ｙ＝０．２５００ｘ＋０．６３７５
勾配の絶対値の閾値によって勾配が更新された点３１０ｃは、直線３１１ｂｃを通るように点３１１ｃに更新（補正）される。

点３１１ｃ：（ｘ_３１１ｃ，ｙ_３１１ｃ）＝（１．０５００，０．９０００）
したがって、勾配の更新によって投射領域３１ｃは輝度が低くなり、目標輝度分布は全体の輝度変化が少なく滑らかな輝度分布になる。図９（ｃ）において、輝度分布３１１は、勾配の絶対値の閾値を更新することで生成された目標輝度分布である。輝度分布３１１は、点３１０ａ、３１０ｂ、３１１ｃを通るような曲線である。

目標輝度分布の生成の一例として、三次スプライン曲線で近似したものが輝度分布３１１である。三次スプライン曲線の算出に与える点を点３１０ａ、３１０ｂ、３１１ｃの三点のみとすると、元の輝度分布から大きく変化する。このため、例えば輝度分布の両端の位置（不図示）や、それぞれの重複領域にて最も輝度が低下する位置（不図示）などを追加することで、元の輝度分布の形状に則した目標輝度分布を生成することができる。なお、目標輝度分布の曲線の生成方法は、前述の方法に限定されるものではない。ただし、点３１０ａ、３１０ｂ、３１１ｃを通ること、輝度分布の範囲で連続であること（条件１）、最大階調を補正する場合には元の輝度分布を超えないこと（条件２）、最小階調を補正する場合には元の輝度分布を下回らないこと（条件３）が条件となる。

最大階調の補正時に元の輝度分布を超える場合、目標輝度分布の曲線を算出する際に与える点を変化させたり増やしたりするなどして、元の輝度分布を下回るまで繰り返し生成する。最小階調の補正時も同様に、元の輝度分布を上回るまで繰り返し生成する。また、それぞれの直線の勾配において閾値を超えるものがない場合には、最大輝度値を更新せずに目標輝度分布を生成する。この場合、それぞれのプロジェクタの輝度を最大限使うように補正されることになる。

次に、図１０（ａ）～（ｃ）を参照して、目標輝度分布の第２の生成方法について説明する。第２の生成方法では、制御部（生成手段）４０１は、各投射領域の最大輝度値を通るような目標輝度分布を初期値として、その目標輝度分布の勾配の絶対値を閾値（第１のパラメータ）に目標輝度分布を生成する。すなわち勾配情報は、目標輝度分布における各位置での接線の勾配に関する情報である。

図１０（ａ）～（ｃ）は、目標輝度分布の第２の生成方法を示す説明図である。図１０（ａ）～（ｃ）では、簡単のため、図８と同様の部分は同一の符号を与え、その説明を省略する。図１０（ａ）において、輝度分布３１２は、点３１０ａ、３１０ｂ、３１０ｃを通るように生成された目標輝度分布の初期値である。この生成方法は目標輝度分布の第１の生成方法と同様であるため、説明を省略する（具体的には、直線の勾配の閾値を超えるものがない場合の生成方法である）。この目標輝度分布の各位置での接線の勾配を算出したところ、図１０（ｂ）のようであったとする。図１０（ｂ）において、横軸は水平方向の位置、縦軸は勾配、実線は輝度分布３１２の勾配曲線３２０をそれぞれ示す。勾配曲線３２０では、点３１０ａ、３１０ｂ、３１０ｃの位置の勾配は０となり、その他の位置では輝度分布３１２の接線の勾配に応じた値となっている。

ここで、勾配の絶対値の閾値（第１のパラメータ）は点線３３０ａ、３３０ｂであるとする。点線３３０ａはプラス側の勾配の閾値であり、点線３３０ｂは点線３３０ａを正負反転させたマイナス側の勾配の閾値である。勾配曲線３２０のうち、点線３３０ａを上回る勾配および点線３３０ｂを下回る勾配がある場合には、閾値を超えないように目標輝度分布を再生成する。具体的には、相対的に輝度の高い点３１０ａ、３１０ｃの位置の輝度を、隣接する点３１０ｂの輝度値に近づけると勾配が小さくなる。よって、点３１０ａ、３１０ｃの輝度値を所定量下げた状態で目標輝度分布を再生成する。なお、この目標輝度分布の再生成方法に関しては、目標輝度分布の第１の生成方法と同様であるため、その説明を省略する。また、目標輝度分布の曲線の生成方法は、前述の方法に限定されるものではない。ただし、最終的に生成する目標輝度分布の勾配の絶対値は全て閾値を下回ることが条件となる（すなわち、勾配曲線３２０が点線３３０ａと点線３３０ｂとの間に全て含まれる状態となる）。また、条件１～３も満たすことが必要となる。目標輝度分布の更新によって投射領域３１ａ、３１ｃは輝度が低くなり、目標輝度分布は全体の輝度変化が少なく滑らかな輝度分布となる。

図１０（ｃ）において、輝度分布３１３は、初期の目標輝度分布を更新することで生成された目標輝度分布である。ここで、目標輝度分布を再生成する際に点３１０ａ、３１０ｃの輝度値を点３１３ａ、３１３ｃの輝度値に変更したとする。目標輝度分布３１３は、点３１３ａ、３１０ｂ、３１３ｃを通るような曲線である。なお、初期の目標輝度分布の勾配の絶対値において閾値を超えるものがない場合、それ以降の再生成の処理は行わない。この場合、それぞれのプロジェクタの輝度を最大限使うように補正されることになる。

このように本実施形態において、制御部（取得手段）４０１は、勾配情報に関する閾値（第１のパラメータ）を取得する。そして制御部（生成手段）４０１は、勾配情報が閾値を超える場合、目標輝度分布を補正する。なお、目標輝度分布の第１生成方法および第２の生成方法において、閾値（第１のパラメータ）は、得られた最大の勾配を１００％、勾配０を０％として、百分率にて表されるものであってもよい。また、この閾値は、予め規定値としてＰＣ４の記憶部４０２に設定されていてもよいが、ＰＣ４のＧＵＩ上からユーザが設定する値であることが望ましい。

図１１（ａ）、（ｂ）は、閾値を設定する際のＰＣ４のＧＵＩの説明図である。ＧＵＩは、ウィンドウ４０、撮像画像表示部４１、プロジェクタ情報表示部４２、閾値設定部４３ａ、および補正開始ボタン４４により構成される。ウィンドウ４０は、マルチむら補正を実行するアプリケーションを起動する際に、ＰＣ４の画面上に表示されるものである。撮像画像表示部４１には、投射領域３１ａ～３１ｃを撮像した画像が表示される。具体的には、図７の撮像画像３１が表示される。プロジェクタ情報表示部４２には、プロジェクタ名やＩＰアドレスなど、プロジェクタ固有の情報が表示される。上記以外にも、プロジェクタのシリアル番号や製品名などが表示されていても良い。

閾値設定部４３ａは、ユーザが閾値（パラメータ）を設定可能な設定手段である。閾値設定部４３ａには、目標輝度分布の勾配の閾値を設定するスライダーなどが表示される。閾値が大きいほどプロジェクタの輝度が高いまま補正され（輝度優先）、閾値が小さいほど全体の輝度変化が少なく滑らかに補正される（滑らかさ優先）。閾値が百分率として表される場合、輝度優先が１００％、滑らかさ優先が０％に対応する。スライダーを左右に動かすことで閾値を範囲内で変更することができる。補正開始ボタン４４は、マルチむら補正の処理を開始させるものである。ボタンを押下すると、ステップＳ１００からの一連の処理が開始される。

なお本実施形態において、閾値の設定方法は図１１（ａ）の例に限定されるものではなく、例えば図１１（ｂ）の閾値設定部４３ｂのように、ラジオボタンにより二値で設定するものであっても良い。その場合、アプリケーション内部に記憶してある対応した閾値が設定される。すなわち、閾値設定部４３ｂは、第１の補正モード（輝度優先モード）または第２の補正モード（滑らかさ優先モード）を設定可能な第２の設定手段である。ＰＣ４は、第１の補正モードと第２の補正モードとで閾値（パラメータ）を異ならせる。第１の補正モードは、第２の補正モードよりも、投射画像の輝度の損失が少ないようにむら補正を行うモード（閾値は１００％または１００％に近い）である。第２の補正モードは、第１の補正モードよりも、投射画像の輝度分布における輝度差が少ないようにむら補正を行うモードである（閾値は０％または０％に近い）。

なお本実施形態において、ＰＣ４には特定の閾値が予め設定されていてもよい。この場合、閾値設定部４３ａまたは閾値設定部４３ｂは不要である。特定の閾値が１００％である場合、閾値が設定されていないことと等しい。

次に、図１２（ａ）、（ｂ）を参照して、目標輝度分布の第三の生成方法について説明する。第三の生成方法では、制御部（生成手段）４０１は、最大輝度値を閾値（第２のパラメータ）として目標輝度分布を生成する。図１２（ａ）、（ｂ）は、目標輝度分布の第三の生成方法を示す説明図である。図１２（ａ）、（ｂ）では、簡単のため、図８と同様の部分は同一の符号を与え、その説明を省略する。

図１２（ａ）において、最大輝度値の閾値（第２のパラメータ）は点線３３１であるとする。輝度分布３１０のうち、点線３３１を上回る輝度がある場合には、閾値を超えないように目標輝度分布を生成する。具体的には、閾値を超えている最大輝度値の点３１０ａ、３１０ｃの位置の輝度を、輝度の閾値まで下げた目標輝度分布にする。なお、目標輝度分布の生成方法に関しては、目標輝度分布の第１の生成方法と同様であるため、説明を省略する。また、目標輝度分布の曲線の生成方法は、前述の方法に限定されるものではない。ただし、最終的に生成する目標輝度分布の輝度は全て閾値を下回ることが条件となる。また、条件１～３も満たすことが必要となる。目標輝度分布の更新によって投射領域３１ａ、３１ｃは輝度が低くなり、目標輝度分布は全体の輝度変化が少なく滑らかな輝度分布となる。

図１２（ｂ）において、輝度分布３１４は、輝度の閾値を更新することで生成された目標輝度分布である。ここで、点３１０ａ、３１０ｃの輝度値を点３１４ａ、３１４ｃの輝度値に変更したとする。目標輝度分布３１４は、点３１４ａ、３１０ｂ、３１４ｃを通るような曲線である。なお、全ての輝度値において閾値を超えるものがない場合、最大輝度値を更新せずに目標輝度分布を生成する。この場合、それぞれのプロジェクタの輝度を最大限使うように補正されることになる。

このように本実施形態において、制御装置（取得手段）４０１は、最大輝度情報に関する閾値（第２のパラメータ）を取得する。そして制御装置（生成手段）４０１は、最大輝度情報が閾値を超える場合、目標輝度分布を補正する。最大輝度値の閾値（第２のパラメータ）は、特定の閾値としてＰＣ４の記憶部４０２に予め設定されていてもよいが、ＰＣ４のＧＵＩ上からユーザが設定可能に構成してもよい。なおＧＵＩに関しては、図１１（ａ）、（ｂ）を参照して説明したものと同様であるため、その説明を省略する。

以上の目標輝度分布の第１～第三の生成方法により、輝度分布３１０を入力として目標輝度分布３１１、３１３、３１４などが生成される。なお、前述では水平方向の１つの直線上における輝度分布として目標輝度分布を算出している。よって、投射面である平面のむら補正を行うために縦解像度に応じて、繰り返し目標輝度分布を生成する。これにより、平面状の目標輝度分布が生成される。目標輝度分布を垂直方向に算出した場合も同様に、横解像度に応じて繰り返すことで平面状の目標輝度分布を生成する。

続いてステップＳ１０５において、ＰＣ４は、投射領域３１ａ～３１ｃの輝度分布が目標輝度分布と略一致するようにむら補正値を算出する。なお、処理時間と記憶されるデータ量の削減や回路の簡易化の観点から、むら補正の解像度はパネル解像度よりも小さいことが一般的であるため、投射領域の解像度からむら補正の解像度にはスケーリング処理を行うことが必要である。ここで、複数のプロジェクタの投射領域を一つのプロジェクタの投射領域だと仮定してむら補正値を算出する。例えば、むら補正部１１２におけるむら補正の解像度が１００×５０であり、撮像画像３１の重畳領域の幅がそれぞれ２５％である場合、一つのプロジェクタと仮定した際のむら補正の解像度は２５０×５０となる。よって、投射領域３１ａ～３１ｃをそれぞれ１００×５０にスケーリング処理した画像を生成し、重畳領域に関しては対応する複数の画素値を平均化するなどして、２５０×５０の合成画像を算出する。

また、目標輝度分布に関しても、合成画像の解像度と一致するようにスケーリング処理を行う。そして、それぞれの輝度値を比較することで補正値を算出する。なお、スケーリング処理は、画像の平面的な歪みに対応するために射影変換処理を適用してもよい。また、ステップＳ１０４の目標輝度分布の生成を行う前に撮像画像のスケーリング処理を行うことで、目標輝度分布のスケーリング処理を省略することが望ましい。

続いてステップＳ１０６において、ＰＣ４は、算出したむら補正値をプロジェクタ１ａ～１ｃそれぞれのむら補正値に振り分ける。電気的なエッジブレンド補正を行っている場合、重畳領域の輝度の割合に応じて補正値を割り振る。一方、光学ブレンダによりエッジブレンドを行っている場合、重畳領域の同一の点では同一の補正値を割り振る。その後、それぞれのプロジェクタの投射輝度に応じて補正値を正規化する。

最後にステップＳ１０７において、ＰＣ４は、ステップＳ１０６にて算出されたむら補正値をプロジェクタ１ａ～１ｃの記憶部（不図示）に書き込む。その後、記憶したむら補正値を読み出し、むら補正部１１２に適用させる。

以上説明したように、目標輝度分布に関する閾値（第１のパラメータまたは第２のパラメータ）を変更させることで、マルチプロジェクションにおける投射画像の輝度分布をユーザの入力に応じて望む形状に微調整することができる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

本実施形態によれば、適切な輝度分布を生成することが可能な制御装置、画像投射システム、制御方法、およびプログラムを提供することができる。また本実施形態によれば、マルチプロジェクションにおける投射画像の輝度分布をユーザの入力に応じて望む形状に微調整することができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１ａ、１ｂ、１ｃ プロジェクタ（画像投射装置）
２ａ、２ｂ、２ｃ 投射画像
３ カメラ（撮像装置）
４ ＰＣ（制御装置）
４０１ 制御部（取得手段、生成手段）

Claims (14)

1. 入力情報に基づいて複数の投射画像をそれぞれ同時に投射する複数の画像投射装置と、前記複数の投射画像を撮像して撮像画像を出力する撮像装置とを制御する制御装置であって、
   前記複数の投射画像の輝度分布における勾配情報または最大輝度情報を取得する取得手段と、
   前記撮像画像と、前記勾配情報または前記最大輝度情報とに基づいて、前記投射画像の目標輝度分布を生成する生成手段と、を有することを特徴とする制御装置。
2. 前記目標輝度分布に基づいて前記複数の投射画像の前記輝度分布を補正する補正手段を更に有することを特徴とする請求項１に記載の制御装置。
3. 前記勾配情報または前記最大輝度情報を記憶する記憶手段を更に有し、
   前記取得手段は、前記記憶手段に記憶された前記勾配情報または前記最大輝度情報を取得することを特徴とする請求項１または２に記載の制御装置。
4. 前記勾配情報は、前記複数の投射画像のうち隣接する二つの投射画像の最大輝度となる点を結ぶ直線の勾配に関する情報であることを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
5. 前記勾配情報は、前記目標輝度分布における各位置での接線の勾配に関する情報であることを特徴とする請求項１乃至３のいずれか一項に記載の制御装置。
6. 前記取得手段は、前記勾配情報に関する閾値を取得し、
   前記生成手段は、前記勾配情報が前記閾値を超える場合、前記目標輝度分布を補正することを特徴とする請求項１乃至５のいずれか一項に記載の制御装置。
7. 前記取得手段は、前記最大輝度情報に関する閾値を取得し、
   前記生成手段は、前記最大輝度情報が前記閾値を超える場合、前記目標輝度分布を補正することを特徴とする請求項１乃至５のいずれか一項に記載の制御装置。
8. ユーザが前記閾値を設定可能な設定手段を更に有することを特徴とする請求項６または７に記載の制御装置。
9. 第１の補正モードまたは第２の補正モードを設定可能な第２の設定手段を更に有し、
   前記生成手段は、前記第１の補正モードと前記第２の補正モードとで前記閾値を異ならせることを特徴とする請求項６乃至８のいずれか一項に記載の制御装置。
10. 前記第１の補正モードは、前記第２の補正モードよりも、前記投射画像の輝度の損失が少ないようにむら補正を行うモードであり、
    前記第２の補正モードは、前記第１の補正モードよりも、前記投射画像の前記輝度分布における輝度差が少ないようにむら補正を行うモードであることを特徴とする請求項９に記載の制御装置。
11. 前記輝度分布は、前記複数の投射装置の配列方向における一つの直線上の輝度値であることを特徴とする請求項１乃至１０のいずれか一項に記載の制御装置。
12. 複数の画像投射装置と、
    前記複数の画像投射装置により投射された投射画像を撮像する撮像装置と、
    請求項１乃至１１のいずれか一項に記載の制御装置と、を有することを特徴とする画像投射システム。
13. 入力情報に基づいて複数の投射画像をそれぞれ同時に投射する複数の画像投射装置と、前記複数の投射画像を撮像して撮像画像を出力する撮像装置とを制御する制御方法であって、
    前記複数の投射画像の輝度分布における勾配情報または最大輝度情報を取得するステップと、
    前記撮像画像と、前記勾配情報または前記最大輝度情報とに基づいて、前記投射画像の目標輝度分布を生成するステップと、を有することを特徴とする制御方法。
14. 請求項１３に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。