JP2021081680A - 投影制御装置、投影システム、投影制御方法 - Google Patents

Abstract

【課題】大きく変化する動画像を投影している場合にも、投影領域を補正することを可能にする。【解決手段】投影制御装置は、マーカーが描画された第１フレームと、前記マーカーが描画されていない第２フレームとを含む動画を投影面に投影するように投影手段を制御する制御手段と、前記投影面での前記動画における複数の前記第１フレームの撮像結果に基づく第１画像と、前記投影面での前記動画における複数の前記第２フレームの撮像結果に基づく第２画像との差分に基づき前記動画の投影領域を補正する補正手段と、を有することを特徴とする。【選択図】図１２

Description

本発明は、投影制御装置、投影システム、投影制御方法に関する。

近年、複数のプロジェクタで投影するマルチ投影システムが増加している。例えば、複数のプロジェクタの投影画像を投影面上に並べて投影することで解像度を高めるマルチ投影が行われている。また、複数のプロジェクタの投影画像を投影面上の略同一の位置に重ねて投影することで表示輝度を向上させるスタック投影が行われている。

これらの技術は、高解像度または高表示輝度が必要なプロジェクションマッピングやパブリックビューイングなどのイベントで利用されている。この場合に、イベント前に各プロジェクタの投影領域（投影位置）の調整を行ったとしても、イベント中での外的要因（ゆれ、温度、経時）などにより、投影領域にずれが生じる可能性がある。

投影領域のずれを画像投影中に調整するシステムが特許文献１では提案されている。特許文献１では、投影コンテンツの各フレームに正負のいずれかのマーカーを重畳した投影画像を撮像し、投影画像のフレーム間の差分を取ることでマーカーを検出する技術が開示されている。マーカーとは、投影画像に重畳することで投影面に対する投影領域を特定可能にするものである。この技術によれば、鑑賞用の投影画像を投影している場合においても、検出したマーカーの位置関係に基づいて、投影領域を補正することができる。

特許３４４５７５９号公報

しかしながら、特許文献１に記載された技術では、投影画像の内容によっては、マーカーを検出することができない場合がある。具体的には、動きの激しい動画像では、フレームごとに内容が大きく変わる可能性があり、正のマーカーを重畳したフレームと負のマーカーを重畳したフレームの差分をとっても、マーカー以外が残ってしまう。このため、システムは、撮像した画像から、マーカーを正確に抽出（分離）することができない。従って、従来技術では、動画像投影中に投影領域を補正することができないことがあるという課題があった。

そこで、本発明は、大きく変化する動画像を投影している場合にも、投影領域を補正することを可能にすることを目的にする。

本発明の第１の態様は、
マーカーが描画された第１フレームと、前記マーカーが描画されていない第２フレームとを含む動画を投影面に投影するように投影手段を制御する制御手段と、
前記投影面での前記動画における複数の前記第１フレームの撮像結果に基づく第１画像と、前記投影面での前記動画における複数の前記第２フレームの撮像結果に基づく第２画像との差分に基づき前記動画の投影領域を補正する補正手段と、
を有する、
ことを特徴とする投影制御装置である。

本発明の第２の態様は、
マーカーが描画された第１フレームと、前記マーカーが描画されていない第２フレームとを含む動画を投影面に投影するように投影手段を制御する制御工程と、
前記投影面での前記動画における複数の前記第１フレームの撮像結果に基づく第１画像と、前記投影面での前記動画における複数の前記第２フレームの撮像結果に基づく第２画像との差分に基づき前記動画の投影領域を補正する補正工程と、
を有する、
ことを特徴とする投影制御方法である。

本発明によれば、大きく変化する動画像を投影している場合にも、投影領域を補正することが可能になる。

実施形態に係る投影システムの構成図である。 実施形態に係る投影装置および投影制御装置の内部ブロック図である。 実施形態に係る射影変換を説明する図である。 実施形態に係るマーカーの重畳を説明する図である。 実施形態に係るマーカーの重畳タイミングを説明する図である。 実施形態に係るマーカーの重畳および撮像タイミングを説明する図である。 実施形態に係る投影画像を示す図である。 実施形態に係るマーカー検出部の内部ブロック図である。 実施形態に係る撮像画像の分離を説明する図である。 実施形態に係る巡回フィルタ処理を説明する図である。 実施形態に係るマーカーの抽出を説明する図である。 実施形態に係る投影領域の補正処理を説明するフローチャートである。 実施形態に係る投影領域の補正を説明する図である。

＜実施形態＞
本実施形態に係る投影システムの構成図を図１に示す。図１に示すように、投影システムは、画像再生装置１００、投影装置１０１、投影装置１０２、投影制御装置１０３、撮像装置１０４、スクリーン１０５を有する。

画像再生装置１００は、投影装置１０１に画像（画像信号；入力画像信号；動画；映像）ＩＤ０を出力し、投影装置１０２に画像（画像信号；入力画像信号；動画；映像）ＩＤ１を出力する。なお、画像（画像信号）の色空間はＲＧＢであり、ＲＧＢの階調分解能（ｂｉｔ深度）は８ｂｉｔ（０〜２５５の２５６階調である）として以下説明する。Ｒ，Ｇ，Ｂはそれぞれ、画像における赤、緑、青の色彩を示す。

投影装置１０１は、画像再生装置１００から入力される画像ＩＤ０に基づいた画像をスクリーン１０５に投影する。投影装置１０１は、投影制御装置１０３から出力される制御信号ＰＡＲＡＭ＿Ａにより投影（投影画像）を制御する。

投影装置１０２は、画像再生装置１００から入力される画像ＩＤ１に基づいた画像をスクリーン１０５に投影する。投影装置１０２は、投影制御装置１０３から出力される制御信号ＰＡＲＡＭ＿Ｂにより投影（投影画像）を制御する。投影装置１０２の基本的な動作は、投影装置１０１と同様である。

投影制御装置１０３は、投影装置１０１、投影装置１０２、および撮像装置１０４を制御する。具体的には、投影制御装置１０３は、投影装置１０１および投影装置１０２が画像（画像信号；動画）にマーカーを重畳する重畳タイミングを制御する。重畳タイミングを示す信号は、投影装置１０１に出力される制御信号ＰＡＲＡＭ＿Ａ、および投影装置１０２に出力される制御信号ＰＡＲＡＭ＿Ｂにマーカー重畳信号として含まれている。制御信号ＰＡＲＡＭ＿Ａは、マーカー重畳信号ＴＩＭ１および幾何変形パラメータＰＡＲＡＭ１を含み、制御信号ＰＡＲＡＭ＿Ｂは、マーカー重畳信号ＴＩＭ２および幾何変形パラメータＰＡＲＡＭ２を含む。

また、投影制御装置１０３は、重畳タイミングの制御と同時に、撮像装置１０４を制御することにより、スクリーン１０５に表示された投影画像とその周辺部を撮像する。このとき、投影制御装置１０３は、撮像指示信号ＳＩＧによって撮像装置１０４の撮像を制御する。

撮像装置１０４は、スクリーン１０５を撮像して画像を取得するものであり、投影装置１０１および投影装置１０２が投影した画像（投影画像）を撮像することができる。撮像装置１０４は、投影制御装置１０３の生成した撮像指示信号ＳＩＧに基づいて撮像することにより撮像画像ＰＩＣを取得して、撮像画像ＰＩＣを投影制御装置１０３に出力する。撮像装置１０４は、撮像によって得た画像（画像信号；動画）を、静止画像データや動画像データに変換して記憶する。撮像装置１０４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、光学像をアナログ信号に変換する撮像素子、アナログ信号をデジタル信号に変換するＡＤ変換部などを含む。

スクリーン１０５は、投影装置１０１および投影装置１０２が投影する画像が表示される投影面である。本実施形態においては、投影装置１０１および投影装置１０２が同じ座標位置に投影することで表示輝度を高めるスタック投影がされる前提で説明するが、投影領域を並べて投影するマルチ投影時の位置合わせでも効果を得ることができる。

［投影装置および制御装置の詳細な構成について］
次に、図２を用いて、投影装置１０１および投影制御装置１０３の内部ブロックの詳細を説明する。投影装置１０２は、投影装置１０１と同様の構成であるため、詳細な説明は省略する。

（投影装置の構成について）
投影装置１０１は、画像処理部２０１、幾何変形部２０２、マーカー重畳部２０３、パネル制御部２０４、パネル部２０５、光源制御部２０６、光源部２０７を有する。

画像処理部２０１は、ノイズリダクション処理、スケーリング処理、エッジ強調処理、色補正処理、階調補正処理などの一般的な高画質化処理を画像に対して施す。画像処理部２０１は、画像ＩＤ０に画像処理を施した画像を画像（画像信号；動画）ＩＤＴとして幾何変形部２０２に出力する。例えば、画像処理部２０１は、画像ＩＤ０の解像度とパネル部２０５の解像度（パネル解像度）とが異なる場合には、パネル解像度に合った解像度の画像ＩＤＴが取得できるように拡大／縮小処理（スケーリング処理）を画像ＩＤ０に行う。

幾何変形部２０２は、画像ＩＤＴに幾何学補正を行う。幾何学補正とは、投影面（スクリーン１０５）の法線方向に対して投影方向（一般的には投影光学系の光軸）が同一でないときに投影画像に生じる台形歪みを相殺するように、対象の画像を幾何学的に変換（変形）する補正である。幾何変形部２０２は、画像ＩＤＴの変換後画像（変形された画像）
を、画像（画像信号；動画）ＫＳＤＴとしてマーカー重畳部２０３に出力する。

なお、画像の幾何学補正は、座標に対してパラメータを適用する射影変換によって実現できる。このため、幾何学補正は、幾何学補正の補正量である射影変換のパラメータの画像への適用であるといえる。なお、変形量算出部３０３が、スクリーン１０５に投影された投影画像の領域（投影領域）に対する目標とする投影領域（目標投影領域）からの各頂点の移動量および移動方向に基づいて射影変換のパラメータを決定し、幾何変形部２０２に与える。

図３を用いて幾何変形部２０２が或る画像（元画像）を変形する方法を説明する。変形前の元画像内の或る画素の座標を（ｘｓ，ｙｓ）とし、これに対応する射影変換による変形後の画像の座標を（ｘｄ，ｙｄ）とすると、これらの関係は以下の式１によって表わされる。

ここで、行列Ｍは３×３行列であり、元画像から変形後の画像への射影変換行列である。行列Ｍは、一般的に、元画像の４隅座標と変形後画像の４隅座標とを用いて連立方程式を解くことで求めることができる。例えば、図３に示すように、実線によって示された矩形の領域が変形前の元画像の領域を示し、破線によって示された領域が変形後の画像の領域を示すものとする。ここで、元画像の左上の頂点は座標（ｘｓｏ，ｙｓｏ）であり、座標（ｘｄｏ，ｙｄｏ）は元画像の座標（ｘｓｏ，ｙｓｏ）に対応する変形後の画像の座標である。このため、式１は、行列Ｍの逆行列Ｍ^−１と座標（ｘｓｏ，ｙｓｏ），（ｘｄｏ，ｙｄｏ）に基づいて式２に変形できる。

ここで、逆行列Ｍ^−１と座標（ｘｓｏ，ｙｓｏ），（ｘｄｏ，ｙｄｏ）は、幾何変形パラメータＰＡＲＡＭ１として、後述する変形量算出部３０３により幾何変形部２０２に与えられる。幾何変形部２０２は、式２に従って、変形後の任意の座標（ｘｄ，ｙｄ）から、当該座標に対応する元画像座標（ｘｓ，ｙｓ）を求める。

さらに、幾何変形部２０２は、変形後の画像の全ての画素の画素値を算出する。式２によって算出された元画像座標（ｘｓ，ｙｓ）が整数であれば、幾何変形部２０２は、元画像座標（ｘｓ，ｙｓ）の画素値をそのまま変形後の画像の座標（ｘｄ，ｙｄ）の画素値として決定することができる。一方、式２によって算出された元画像座標（ｘｓ，ｙｓ）が整数でない場合、幾何変形部２０２は、元画像座標（ｘｓ，ｙｓ）に相当する画素値を、元画像座標（ｘｓ，ｙｓ）の複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えば、バイキュービックなどの、公知の補間演算を用いて行うことができる。

なお、式２によって算出された元画像座標（ｘｓ，ｙｓ）が、元画像の内部である領域（有効画素領域）内にない場合には、補間に用いる参照画素が存在しない。このような場合には、幾何変形部２０２は、変形後の画像の座標（ｘｄ，ｙｄ）の画素値を、黒の画素
値（Ｒ，Ｇ，Ｂの各階調値が０である画素値）またはユーザーが設定した背景色の画素値に決定する。このようにして、幾何変形部２０２は、変形後の画像の全座標についての画素値を求め、変換後画像を生成することができる。なお、図３に示す例では、実線によって示した矩形の内部が有効画素領域である。

マーカー重畳部２０３は、マーカー制御部３０１から取得したマーカー重畳信号ＴＩＭ１（マーカー重畳のタイミングを示す信号）に応じて、投影領域の検出用のマーカーを画像ＫＳＤＴに重畳する。マーカー重畳部２０３は、マーカーを重畳した画像を画像（画像信号；動画）ＭＤＴとして、パネル制御部２０４、光源制御部２０６に出力する。ここで、画像ＭＤＴは、マーカーが描画されたフレームと、マーカーが描画されていないフレームとを含む。

ここで、画像にマーカーを重畳する処理について図４（Ａ）〜図４（Ｃ）を用いて説明する。図４（Ａ）は、マーカーの重畳前の原画像４００（画像ＫＳＤＴ）を示し、図４（Ｂ）は、原画像４００に重畳するマーカー画像４１０（マーカー画像ＭＡＲＫ）を示している。本実施形態では、マーカー画像４１０はマーカー４１１を含み、マーカー４１１は、原画像４００の領域内に重畳される。また、図４（Ｃ）は、原画像４００にマーカー４１１が重畳されたマーカー重畳画像４２０を示している。本実施形態におけるマーカー４１１は、白色とするが、色彩が付されていても構わない。また、マーカー画像４１０におけるマーカー４１１以外の領域の色は問わないが、重畳する際に、画像ＫＳＤＴの画質を損なわない色（例えば黒）が好ましい。

マーカー重畳後の画像ＭＤＴは、下記の式３によって生成できる。つまり、マーカー重畳部２０３は、式３の処理を行うことにより、画像ＫＳＤＴ（Ｒ，Ｇ，Ｂ）に対してマーカー画像ＭＡＲＫ（Ｒ，Ｇ，Ｂ）を重畳して、画像ＭＤＴを生成する。なお、式３において、ＭＤＴ（Ｒ），ＭＤＴ（Ｇ），ＭＤＴ（Ｂ）は、画像ＭＤＴのＲ，Ｇ，Ｂの階調値である。ＫＳＤＴ（Ｒ），ＫＳＤＴ（Ｇ），ＫＳＤＴ（Ｂ），ＭＡＲＫ（Ｒ），ＭＡＲＫ（Ｇ），ＭＡＲＫ（Ｂ）も同様である。

ＭＤＴ（Ｒ） ＝ ＫＳＤＴ（Ｒ） ＋ ＭＡＲＫ（Ｒ）
ＭＤＴ（Ｇ） ＝ ＫＳＤＴ（Ｇ） ＋ ＭＡＲＫ（Ｇ） ・・・ （式３）
ＭＤＴ（Ｂ） ＝ ＫＳＤＴ（Ｂ） ＋ ＭＡＲＫ（Ｂ）
（２５５の値をとる場合には、当該値を２５５とする）

なお、マーカーの画素値は、なるべくユーザーに視認されにくい値であることが好ましい。また、マーカー重畳部２０３は、重畳する元画像の画素値（特徴量）に基づいて、重畳するマーカーの画素値（階調値）を制御してもよい。例えば、マーカー重畳部２０３は、元画像内において画素値が大きいような明るい領域には大きい画素値（２５６階調で階調値３２）のマーカーにし、画素値が小さいような暗い領域には小さい画素値（２５６階調で階調値８）のマーカーにするように制御する。このように制御することによれば、ユーザーがマーカーを視認する可能性を低減することができる。

次に、マーカー重畳部２０３が画像ＫＳＤＴにマーカーを重畳するタイミングについて、図５を用いて説明する。

図５は、画像ＫＳＤＴの同期タイミングを示す同期信号Ｖｓｙｎｃと、画像ＫＳＤＴと、マーカー重畳信号ＴＩＭ１との時間変化を示している。なお、同期信号Ｖｓｙｎｃおよびマーカー重畳信号ＴＩＭ１の状態には、「Ｈｉｇｈ」と「Ｌｏｗ」の２つの状態がある。

同期信号Ｖｓｙｎｃは、画像ＫＳＤＴのフレームの切替タイミングを示す信号である。

画像ＫＳＤＴは、複数のフレームから構成されており、図５ではフレームＴ１〜Ｔ５が示されている。ここで、画像ＫＳＤＴは、同期信号Ｖｓｙｎｃに同期して処理されるため、同期信号Ｖｓｙｎｃが「Ｈｉｇｈ」のタイミングで画像ＫＳＤＴのフレームが切り換わる。

マーカー重畳信号ＴＩＭ１は、「Ｌｏｗ」のときにはマーカーを重畳せず、「Ｈｉｇｈ」のときにはマーカーを重畳することを示す信号である。従って、マーカー重畳信号ＴＩＭ１が「Ｈｉｇｈ」であれば、マーカー重畳部２０３は、画像ＫＳＤＴにマーカーを重畳（描画）する。一方、マーカー重畳信号ＴＩＭ１が「Ｌｏｗ」であれば、マーカー重畳部２０３は、画像ＫＳＤＴにマーカーを重畳（描画）しない。

図５の例では、画像ＫＳＤＴのフレームＴ１，Ｔ２，Ｔ５のときには、マーカーが重畳しないため、図４（Ａ）のような画像が投影される。また、画像ＫＳＤＴのフレームＴ３，Ｔ４のときには、マーカーが重畳するため、図４（Ｃ）のような画像が投影される。なお、マーカーを重畳する位置は、フレーム間において同一（所定の位置）であるとよい。

パネル制御部２０４は、マーカー重畳部２０３の画像ＭＤＴに基づいて、パネル部２０５の透過率を変調するための電圧ＰＤを生成する。

パネル部２０５は、光源部２０７が照射する光を、パネル制御部２０４から入力される電圧ＰＤに基づく透過率で透過させることにより、画像光ＰＤＴをスクリーン１０５に出力する。そして、画像光ＰＤＴによりスクリーン１０５に投影画像が表示される。

光源制御部２０６は、光源部２０７に制御信号ＣＯＮを送信し、光源部２０７のオン／オフや、光量制御を行う。光源制御部２０６は、制御信号ＣＯＮを、画像ＭＤＴの画像情報に基づいて生成する。なお、制御信号ＣＯＮは、不図示の操作入力部を介したユーザー指定などに基づいて生成されてもよい。

例えば、光源制御部２０６は、画像ＭＤＴが明るい画像である場合には光源を明るく制御し、画像ＭＤＴが暗い画像である場合には光源を暗くするような制御を行う。また、幾何変形やマーカー重畳による輝度変動を抑制するために、光源制御部２０６は、画像ＩＤＴに基づいて光源の制御量を決定してもよい。

光源部２０７は、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであり、制御信号ＣＯＮに基づいた光量によってパネル部２０５に光を照射する。

（投影制御装置の構成について）
次に、投影制御装置１０３の構成について、図２を用いて詳細に説明する。投影制御装置１０３は、マーカー制御部３０１、マーカー検出部３０２、変形量算出部３０３を有する。

マーカー制御部３０１は、マーカー重畳部２０３に、マーカー重畳信号ＴＩＭ１を送信する。また、マーカー制御部３０１は、投影画像を撮像するための撮像指示信号ＳＩＧを、撮像装置１０４に送信する。撮像指示信号ＳＩＧは、投影画像の撮像を開始するスタートタイミングと投影画像の撮像を終了するエンドタイミングの２つを含む。ここで、撮像開始から終了までの間（撮像指示信号ＳＩＧを「Ｈｉｇｈ」の状態に継続させている間）には、マーカー制御部３０１は、マーカー重畳信号ＴＩＭ１が１フレームごとに「Ｈｉｇｈ」と「Ｌｏｗ」が切り替わるように制御する。なお、撮像指示信号ＳＩＧには、撮像装
置１０４が有する撮像素子への露光時間や撮像感度などの撮像パラメータが含まれていてもよい。

マーカー制御部３０１は、本実施形態では、１フレームごとにマーカーをＯＮ／ＯＦＦする（マーカーの重畳および非重畳を切り替える）ように、マーカー重畳信号ＴＩＭ１，ＴＩＭ２によって投影装置１０１および投影装置１０２を制御する。つまり、マーカー制御部３０１は、投影画像にマーカーが描画された期間と、投影画像にマーカーが描画されていない期間とが１フレームごとに切り替わるように投影装置１０１および投影装置１０２を制御する。

以下では、図６を用いて、マーカー制御部３０１が投影装置１０１に送信するマーカー重畳信号ＴＩＭ１および当該信号に基づいたマーカーの重畳について説明する。図６は、マーカー重畳のタイミングチャートを示す。図６では、画像ＫＳＤＴの同期タイミングを示す同期信号Ｖｓｙｎｃと、画像ＫＳＤＴと、マーカー重畳信号ＴＩＭ１と、撮像指示信号ＳＩＧとの関係を示している。

画像ＫＳＤＴは、同期信号Ｖｓｙｎｃに同期して処理され、同期信号Ｖｓｙｎｃが「Ｈｉｇｈ」のタイミングでフレームが切り換わる。

マーカー重畳信号ＴＩＭ１は、同期信号Ｖｓｙｎｃと同期して「Ｌｏｗ」と「Ｈｉｇｈ」とに切り変わる。マーカー重畳信号ＴＩＭ１は、「Ｌｏｗ」のときはマーカーを重畳せず、「Ｈｉｇｈ」のときにマーカーを重畳することを示す信号である。撮像指示信号ＳＩＧが「Ｈｉｇｈ」である状態が続いていれば、マーカー重畳信号ＴＩＭ１が「Ｈｉｇｈ」と「Ｌｏｗ」を交互に繰り返している。このため、図６の例では、画像ＫＳＤＴのフレームＴ（−１），Ｔ０，Ｔ１，Ｔ３，Ｔ５，Ｔ７，Ｔ９，Ｔ１０，Ｔ１１のときには、マーカーが重畳されない。また、画像ＫＳＤＴのフレームＴ２，Ｔ４，Ｔ６，Ｔ８のときには、マーカーが重畳される。

画像ＫＳＤＴにマーカーが重畳された例を図７（Ａ）〜図７（Ｈ）に示す。図７（Ａ）〜図７（Ｈ）はそれぞれ、フレームＴ１〜Ｔ８を示しており、車５００が右から左方向に移動している様子を示している。また、フレームＴ１〜Ｔ８において１フレームごとに、マーカー５０１がＯＮ／ＯＦＦを繰り返していることが分かる。

マーカー検出部３０２は、撮像装置１０４が取得した撮像画像ＰＩＣ（投影面上の投影画像）から、マーカーを抽出（検出）する。つまり、マーカー検出部３０２は、スクリーン１０５におけるマーカーを検出する。マーカー検出部３０２は、抽出したマーカーをマーカー画像ＭＡＲＫＥＲとして変形量算出部３０３に出力する。マーカー画像ＭＡＲＫＥＲの抽出方法の詳細については後述する。

変形量算出部３０３は、撮像画像ＰＩＣから取得したマーカーの位置に応じて、スクリーン１０５における投影画像の位置（領域）を補正するように幾何変形部２０２を制御する補正部である。より詳細には、変形量算出部３０３は、マーカー画像ＭＡＲＫＥＲに基づいて、目標投影領域ＴＡＧＴ＿ＰＯＳＩに画像を投影するために必要な幾何変形パラメータＰＡＲＡＭ１を算出して、幾何変形部２０２に送信する。幾何変形パラメータＰＡＲＡＭ１には、投影画像の座標をパネル座標に逆変換して戻すための逆行列Ｍ^−１と座標（ｘｓｏ，ｙｓｏ），（ｘｄｏ，ｙｄｏ）が含まれる。目標投影領域ＴＡＧＴ＿ＰＯＳＩは、スクリーン１０５における投影画像が表示されるべき領域である。目標投影領域ＴＡＧＴ＿ＰＯＳＩは、当該領域の４隅の座標の情報から特定できる。具体的には、目標投影領域ＴＡＧＴ＿ＰＯＳＩは、左上座標（ｘｕｌ，ｙｕｌ）、右上座標（ｘｕｒ，ｙｕｒ）、左下座標（ｘｄｌ，ｙｄｌ）、右下座標（ｘｄｒ，ｙｄｒ）の４つの隅の座標の情報によ
って特定できる。

目標投影領域ＴＡＧＴ＿ＰＯＳＩは、例えば、撮像画像ＰＩＣ上でユーザーが予め指定をした領域でもよく、不図示の操作入力部によってユーザーが選択することで指定した領域でもよい。

（（マーカー検出部の構成について））
マーカー検出部３０２の詳細な構成について図８を用いて説明する。マーカー検出部３０２は、分離部４０１、フレームメモリ４０２、巡回フィルタ処理部４０３、減算部４０４を有する。

分離部４０１は、撮像装置１０４が撮像した撮像画像ＰＩＣ（投影画像；動画）から、マーカーなし画像ＭＤＴ＿ＯＦＦとマーカー重畳画像ＭＤＴ＿ＯＮを分離（抽出；判定）する。分離部４０１は、マーカー重畳画像ＭＤＴ＿ＯＮとマーカーなし画像ＭＤＴ＿ＯＦＦを、巡回フィルタ処理部４０３に出力する。

例えば、図７（Ａ）〜図７（Ｈ）に示すようなフレーム（静止画像）が順に投影画像として投影されている場合に、分離部４０１が撮像画像ＰＩＣを分離する処理を説明する。分離部４０１は、マーカーが重畳されたフレームをマーカー重畳画像ＭＤＴ＿ＯＮとして分離し、マーカーが重畳されていないフレームをマーカーなし画像ＭＤＴ＿ＯＦＦとして分離する。投影画像において１フレームごとにマーカーの有無が切り替っているため、マーカー重畳画像ＭＤＴ＿ＯＮとマーカーなし画像ＭＤＴ＿ＯＦＦとが交互に取得可能である。

図９（Ａ）は、マーカーなし画像ＭＤＴ＿ＯＦＦであり、投影画像におけるマーカーが重畳されてないフレームの撮像結果を示す。図９（Ｂ）は、マーカー重畳画像ＭＤＴ＿ＯＮであり、投影画像におけるマーカーが重畳されているフレームの撮像結果を示す。図９（Ａ）に示すように、マーカーなし画像ＭＤＴ＿ＯＦＦとして、投影画像におけるフレームＴ１，Ｔ３，Ｔ５，Ｔ７が抽出されている。また、図９（Ｂ）に示すように、マーカー重畳画像ＭＤＴ＿ＯＮとして、投影画像におけるフレームＴ２，Ｔ４，Ｔ６，Ｔ８が抽出されている。このように、分離部４０１は、撮像画像ＰＩＣから、マーカーなし画像ＭＤＴ＿ＯＦＦとマーカー重畳画像ＭＤＴ＿ＯＮとを分離する。

フレームメモリ４０２は、巡回フィルタ処理部４０３から取得する、巡回フィルタ処理後の画像ＭＤＴ＿ＯＮ＿ＦＩＬおよびＭＤＴ＿ＯＦＦ＿ＦＩＬを蓄積する。そして、フレームメモリ４０２は、画像ＭＤＴ＿ＯＮ＿ＦＩＬ，ＭＤＴ＿ＯＦＦ＿ＦＩＬを１フレーム分だけ遅延させて、画像ＭＤＴ＿ＯＮ＿ＦＩＬ＿ＤＬＹ，ＭＤＴ＿ＯＦＦ＿ＦＩＬ＿ＤＬＹとして巡回フィルタ処理部４０３に出力する。即ち、巡回フィルタ処理部４０３からＮ番目のフレーム（Ｎフレームの画像）がフレームメモリ４０２に入力されたタイミングで、フレームメモリ４０２から、Ｎ−１番目のフレーム（Ｎ−１フレームの画像）が出力される。

巡回フィルタ処理部４０３は、入力された画像（フレーム）に対して、時系列的な巡回フィルタ処理を行う。巡回フィルタ処理は、以下の式４に基づいて実行される。つまり、巡回フィルタ処理が実行されることにより、画像ＭＤＴ＿ＯＮ＿ＦＩＬ＿ＤＬＹと画像ＭＤＴ＿ＯＮとの平均値が、巡回フィルタ処理後の画像ＭＤＴ＿ＯＮ＿ＦＩＬにされる。より詳細には、巡回フィルタ処理部４０３は、時系列的に現在のフレーム（現在の処理対象の画像ＭＤＴ＿ＯＮ）に近いほど大きな重みで複数の画像ＭＤＴ＿ＯＮを合成することによって画像ＭＤＴ＿ＯＮ＿ＦＩＬを生成する。

ＭＤＴ＿ＯＮ＿ＦＩＬ
＝（ＭＤＴ＿ＯＮ ＋ ＭＤＴ＿ＯＮ＿ＦＩＬ＿ＤＬＹ）／２ ・・・ （式４）

このように、フィルタ処理後の画像ＭＤＴ＿ＯＮ＿ＦＩＬをフレーム巡回させることで、連続する複数のフレームの情報に基づく画像が生成できる。なお、画像ＭＤＴ＿ＯＦＦ＿ＦＩＬについても、同様に生成できる。また、上記の説明は、投影装置１０１がマーカーを重畳する場合を示したが、投影装置１０２がマーカーを重畳する場合も同様である。

図１０（Ａ）、図１０（Ｂ）はそれぞれ、巡回フィルタ処理された、マーカーなし画像とマーカー重畳画像とを示す。図１０（Ａ）は、マーカーなし画像の巡回フィルタ処理後の画像を示し、図１０（Ｂ）はマーカー重畳画像の巡回フィルタ処理後の画像を示す。図１０（Ｂ）が示す画像にはマーカー６０１が重畳されているのに対して、図１０（Ａ）が示す画像にはマーカーが重畳されていない。

減算部４０４は、画像ＭＤＴ＿ＯＮ＿ＦＩＬから、画像ＭＤＴ＿ＯＦＦ＿ＦＩＬを減算することにより、マーカー画像ＭＡＲＫＥＲ（マーカー）を抽出する。図１１は、抽出されたマーカー画像ＭＡＲＫＥＲを示す。図１１に示すように、背景画像が除去（減算）されて、マーカー部分のみが抽出されている。

このように、巡回フィルタを用いて背景画像をぼかすことにより、減算処理で生成されるマーカー画像ＭＡＲＫＥＲに含まれる背景画像は、巡回フィルタを用いない場合の背景画像と比べ目立ちにくい。よって、動きの激しい動画であってもマーカー画像ＭＡＲＫＥＲ（マーカー）を抽出することができる。

なお、本実施形態では、巡回フィルタ処理を行うことで複数のフレームの情報から画像ＭＤＴ＿ＯＮ＿ＦＩＬと画像ＭＤＴ＿ＯＦＦ＿ＦＩＬを生成した。しかし、これに限らず、複数のフレームを平均化して画像ＭＤＴ＿ＯＮ＿ＦＩＬと画像ＭＤＴ＿ＯＦＦ＿ＦＩＬを生成するなどの他の方法を用いても構わない。

［投影領域の補正処理について］
以下、本実施形態に係る投影領域の補正の処理について図１２のフローチャートを用いて詳細に説明する。なお、図１２のフローチャートにおける各処理は、投影制御装置１０３における不図示の記憶部に記憶されたプログラムに基づいて、投影制御装置１０３における不図示の制御部（ＣＰＵ）が各機能ブロックを制御することによって実現する。

Ｓ５０１では、変形量算出部３０３は、投影領域の位置補正開始の指示があるか否かを判定する。位置補正開始の指示がある場合は、Ｓ５０２に移行する。補正開始の指示がなかった場合、Ｓ５０１において、変形量算出部３０３は、当該指示の有無を再度判定する。

本実施形態において、投影領域の位置補正開始の指示は、不図示のリモコンによる補正の実行指示であるとするが、補正開始の指示はこれに限らない。例えば、補正開始の指示は、投影装置１０１に搭載された不図示の加速度センサに基づき投影装置１０１の物理的な動きを検知したときに、投影装置１０１から投影制御装置１０３に通知されるものであってもよい。また、補正実行の時刻（間隔）をユーザーが投影制御装置１０３に予め入力しておき、決まったタイミングで補正開始の指示が発生してもよい。

また、マーカー重畳部２０３が、画像ＫＳＤＴの特徴量から、重畳されるマーカーが視聴者に視認されづらいシーンであることを判定すると、補正開始の指示が発生してもよい。このとき、例えば、マーカー重畳部２０３は、画像ＫＳＤＴにおける所定サイズの領域
ごとのＡＰＬ（ブロックＡＰＬ；平均階調値）を取得する。そして、マーカー重畳部２０３は、所定の閾値以下のブロックＡＰＬが存在しない場合に、マーカーが視聴者に視認されづらい明るいシーンであると判定するとよい。人間の視覚認知能力は、暗部に比べ、明部の微小変化に比較的鈍感であるためである。

Ｓ５０２では、変形量算出部３０３は、変形量算出部３０３に対して目標投影領域ＴＡＧＴ＿ＰＯＳＩが指定されているか否かを判定する。目標投影領域ＴＡＧＴ＿ＰＯＳＩが指定されている場合、Ｓ５０４に移行する。目標投影領域ＴＡＧＴ＿ＰＯＳＩが指定されていない場合、Ｓ５０３に移行する。

Ｓ５０３では、変形量算出部３０３は、目標投影領域ＴＡＧＴ＿ＰＯＳＩをユーザーに指定させる制御を行う。具体的には、変形量算出部３０３は、目標投影領域ＴＡＧＴ＿ＰＯＳＩの入力をユーザーに促す表示を不図示の表示部に行う。入力を促されたユーザーは、目標投影領域ＴＡＧＴ＿ＰＯＳＩの指定を行う。

例えば、ユーザーは、他の投影装置の投影画像を見ながら、当該投影画像の領域（４頂点座標）に基づいて目標投影領域ＴＡＧＴ＿ＰＯＳＩを指定する。もしくは、投影制御装置１０３が、不図示のリモコンからの指示に基づいて、目標投影領域ＴＡＧＴ＿ＰＯＳＩの４頂点に対応する位置を示すＵＩを含む画像を表示し、ユーザーに当該ＵＩの位置を調整させる。そして、変形量算出部３０３は、ＵＩを含む画像を撮像した撮像画像ＰＩＣを撮像装置１０４から取得し、当該ＵＩを検出することによって、撮像画像ＰＩＣにおけるＵＩの座標を目標投影領域ＴＡＧＴ＿ＰＯＳＩの４頂点として決定してもよい。

また、上述した方法では、ユーザーが目標投影領域を指定したが、変形量算出部３０３が、１つの投影装置の投影領域を基準にして、他の投影装置の投影領域を合わせる（一致させる）ように目標投影領域ＴＡＧＴ＿ＰＯＳＩを決定する方式でも構わない。

Ｓ５０４では、マーカー制御部３０１は、マーカー重畳部２０３にマーカー重畳信号ＴＩＭ１を送信する。すると、マーカー重畳部２０３は、マーカー重畳信号ＴＩＭ１が示すタイミングに基づいて、画像ＫＳＤＴにマーカーを重畳した画像ＭＤＴを生成する。マーカー重畳部２０３は、画像ＭＤＴをパネル制御部２０４および光源制御部２０６に出力する。そして、画像ＭＤＴに基づいて、パネル制御部２０４がパネル部２０５を制御して、光源制御部２０６が光源部２０７を制御することによって、スクリーン１０５に、画像ＭＤＴに基づいた画像（投影画像）が投影される。ここでは、フレームごとに交互に、マーカーが描画された画像と、マーカーが描画されていない画像とがスクリーン１０５に表示される。Ｓ５０４では、マーカー制御部３０１が、画像ＫＳＤＴにマーカーを重畳した画像ＭＤＴに基づいた画像をスクリーン１０５に投影するように投影装置１０１を制御しているといえる。

Ｓ５０５では、マーカー制御部３０１は、「Ｈｉｇｈ」を示す撮像指示信号ＳＩＧを撮像装置１０４に送信することによって、撮像装置１０４に撮像の開始を指示する。「Ｈｉｇｈ」を送信することにより、撮像装置１０４は撮像を開始して、その後、撮像指示信号ＳＩＧから「Ｌｏｗ」が送信されるまで撮像し続ける。

ここで、撮像指示信号ＳＩＧは１ｂｉｔの信号であり、「Ｈｉｇｈ」または「Ｌｏｗ」のいずれかを示す。「Ｈｉｇｈ」は、撮像開始処理および撮像継続ステータスであることを示し、「Ｌｏｗ」は、撮像終了処理および非撮像ステータスであることを示す。図６の例では、画像ＫＳＤＴがフレームＴ１のタイミングで撮像が開始され、画像ＫＳＤＴがフレームＴ９のタイミングで撮像が終了する例を示している。なお、図６の例では、制御の反映から投影されるまでの遅延、撮像されるまでの遅延が０の場合であるとしているが、
実際にはそれぞれの遅延を考慮して発生タイミングを制御する必要があるので、製品仕様に応じて適宜設定すればよい。

Ｓ５０６では、マーカー検出部３０２は、撮像装置１０４がスクリーン１０５（投影画像）を撮像することによって取得した撮像画像ＰＩＣを取得する。本実施形態では、撮像画像ＰＩＣは動画像である。撮像におけるフレームレートは投影画像のフレームレート以上であることが好ましい。なお、撮像画像ＰＩＣは動画像以外でもよく、複数の画像（フレーム）を順番に取得できればよい。例えば、撮像装置１０４には、１秒に３００フレーム撮影できるような高速カメラを用いることが好ましい。

Ｓ５０７では、マーカー制御部３０１は、「Ｌｏｗ」を示す撮像指示信号ＳＩＧを撮像装置１０４に送信することによって、撮像装置１０４に撮像の終了を指示する。撮像装置１０４は、当該指示を取得すると、撮像を終了する。なお、その後、「Ｈｉｇｈ」を示す撮像指示信号ＳＩＧが送信されるまで、撮像装置１０４は非撮像状態を維持し続ける。これにより、マーカーを重畳したフレーム（コンテンツ）とマーカーを重畳していないフレームが混合した動画像を、所望のタイミングで撮像することができる。

本実施形態では、以下のようにするとよい。まず、投影装置１０１がマーカー重畳画像を投影し、投影された画像（投影画像）を撮像装置１０４が撮像する。そして、投影装置１０１による投影画像の撮像が完了した段階で、次に、投影装置１０２がマーカー重畳画像を投影し、その投影画像を撮像装置１０４が撮像する。このように、マーカー制御部３０１は、投影装置１０１と投影装置１０２とのマーカー重畳タイミング（撮像タイミング）が時間的に重ならないように制御するとよい。つまり、マーカーが重畳された画像ＭＤＴに基づいた画像を投影装置１０１が投影している期間には、投影装置１０２は、画像ＭＤＴではなく、マーカーが重畳されていない画像ＫＳＤＴに基づいた画像を投影するとよい。

Ｓ５０８では、マーカー検出部３０２は、撮像画像ＰＩＣからマーカーを抽出（検出）することにより、マーカー画像ＭＡＲＫＥＲを生成して変形量算出部３０３に送信する。

Ｓ５０９では、変形量算出部３０３は、マーカー画像ＭＡＲＫＥＲに基づき、投影領域と目標投影領域ＴＡＧＴ＿ＰＯＳＩのずれを算出して、画像ＩＤＴの変形による補正が必要であるか否かを判定する。変形量算出部３０３が変形による補正が必要であると判定した場合は、Ｓ５１０に移行し、変形による補正が不要である判定した場合は、Ｓ５１１に移行する。

ここで、Ｓ５０９における変形量算出部３０３の処理について、図１３（Ａ）〜図１３（Ｃ）を用いて詳細に説明する。図１３（Ａ）は、パネル部２０５の座標（パネル座標）系における、マーカー重畳部２０３にて重畳される元のマーカー画像６００を示している。マーカー画像６００の４頂点の座標を（ｘｐ＿ｉ，ｙｐ＿ｉ）として示しており（ｉ＝１〜４）、重畳するマーカーそれぞれの重心位置の座標を（ｘｍ＿ｉ，ｙｍ＿ｉ）として示している（ｉ＝１〜４）。重心位置の座標（ｘｍ＿ｉ，ｙｍ＿ｉ）は、例えば、マーカーの輝度重心位置を示す。なお、本実施形態ではマーカー画像６００とパネル部２０５の解像度は同じであるとし、マーカー画像６００の４頂点とパネル部２０５の４頂点は（ｘｐ＿ｉ，ｙｐ＿ｉ）であり、互いに一致するものとする。

また、図１３（Ｂ）は、撮像範囲６１０（スクリーン１０５）における、マーカー画像ＭＡＲＫＥＲを示している。また、図１３（Ｂ）では、撮像範囲６１０における、投影領域６１１と目標投影領域ＴＡＧＴ＿ＰＯＳＩをそれぞれ示している。マーカー画像ＭＡＲＫＥＲにおいて抽出されたマーカーそれぞれの重心位置の座標は（ｘｍｃ＿ｉ，ｙｍｃ＿
ｉ）である（ｉ＝１〜４）。また、目標投影領域ＴＡＧＴ＿ＰＯＳＩは、図１３（Ｂ）に示す座標（ｘｔｃ＿ｉ，ｙｔｃ＿ｉ）によって示される（ｉ＝１〜４）。

まず、Ｓ５０９にて、変形量算出部３０３は、マーカー画像ＭＡＲＫＥＲとマーカー画像６００を用いて、パネル部２０５における座標（パネル座標）とスクリーン１０５における座標（投影面座標）の対応を示す射影変換行列Ｈを算出する。射影変換行列Ｈは、元のマーカー画像６００とマーカー画像ＭＡＲＫＥＲの任意の点の座標の関係性を示す、３×３の行列である。射影変換行列Ｈは、パネル座標におけるマーカーの重心位置（ｘｍ＿ｉ，ｙｍ＿ｉ）と、投影面座標におけるマーカー検出部３０２による抽出したマーカーの重心位置（ｘｍｃ＿ｉ，ｙｍｃ＿ｉ）とにより計算でき、式５のように表される。

図１３（Ｃ）は、パネル座標における、目標投影領域ＴＡＧＴ＿ＰＯＳＩをパネル座標系に射影した目標投影領域ＴＡＧＴ＿ＰＯＳＩ＿ｐと、マーカー画像６００との位置関係を説明するものである。変形量算出部３０３は、目標投影領域ＴＡＧＴ＿ＰＯＳＩの４座標（ｘｔｃ＿ｉ，ｙｔｃ＿ｉ）から、下記の式６に基づき、パネル座標系に射影した目標投影領域ＴＡＧＴ＿ＰＯＳＩ＿ｐの４頂点座標（ｘｔ＿ｉ，ｙｔ＿ｉ）を算出する（ｉ＝１〜４）。

変形量算出部３０３は、算出した４つの座標（ｘｔ＿ｉ，ｙｔ＿ｉ）とマーカー画像の４頂点座標（ｘｐ＿ｉ，ｙｐ＿ｉ）を比較し、４つの全ての座標が完全に一致しているとき、変形による補正が必要でないと判定する。また、変形量算出部３０３は、算出された４つの座標（ｘｔ＿ｉ，ｙｔ＿ｉ）とマーカー画像の４頂点座標（ｘｐ＿ｉ，ｙｐ＿ｉ）を比較し、１つでも違う座標がある場合には変形による補正が必要であると判定する。

なお、本実施形態においては（ｘｔ＿ｉ，ｙｔ＿ｉ）とマーカー画像の４頂点座標（ｘｐ＿ｉ，ｙｐ＿ｉ）の全てが一致している場合に、補正が必要でないとするが、変形による補正の必要性を判定できる基準であれば判定基準はこの限りではない。例えば、投影領域の４頂点の座標と目標投影領域の４頂点の座標のずれ量の総和が或る閾値以下である場合や、全ての頂点で目標座標とのずれが予め決められた閾値以下の場合、補正が必要でないと判定されてもよい。もしくは、投影領域の各頂点の座標とそれに対応する目標投影領域の頂点の座標のずれ量が閾値以下である場合に、補正が必要でないと判定されてもよい。その場合、投影領域の１つの頂点でも目標投影領域の対応する頂点との座標のずれが或る閾値を超えた場合、補正が必要であると判定される。

Ｓ５１０では、変形量算出部３０３は、幾何変形パラメータＰＡＲＡＭ（ＰＡＲＡＭＡ１およびＰＡＲＡＭ２）を計算し、幾何変形部２０２に送信する。このように、変形量算出部３０３は、幾何変形パラメータＰＡＲＡＭを算出することによって、投影画像の投影領域を補正している。なお、Ｓ５１０は、Ｓ５０９において投影領域が目標投影領域ＴＡＧＴ＿ＰＯＳＩからずれていると判定された場合に実行する処理ステップである。幾何変形パラメータＰＡＲＡＭは、逆行列Ｍ＿Ｐ^−１と座標（ｘｔ＿１，ｙｔ＿１），（ｘｐ＿
１，ｙｐ＿１）を含む。また、逆行列Ｍ＿Ｐ^−１は、３×３で表される元画像から変形後の画像への射影変換行列Ｍ＿Ｐの逆行列であり、射影変換行列Ｍ＿Ｐと座標（ｘｔ＿１，ｙｔ＿１），（ｘｐ＿１，ｙｐ＿１）は以下の式７を満たす。

その後、幾何変形部２０２は、幾何変形パラメータＰＡＲＡＭに基づき画像ＩＤＴを変形して画像ＫＳＤＴを生成し、マーカー重畳部２０３に送信する。以降、幾何変形パラメータＰＡＲＡＭに基づき幾何変形部２０２が幾何変形（補正）を行った画像が投影されるため、目標投影領域ＴＡＧＴ＿ＰＯＳＩと投影装置の投影領域が一致する。

Ｓ５１１では、マーカー制御部３０１は、本フローチャートの処理の終了条件が満たされているか否かを判定する。本実施形態では、不図示のリモコン操作によるユーザーの処理終了の指示があることが終了条件である。終了条件が満たされていない場合には、Ｓ５０１に戻り、終了条件が満たされている場合には、本フローチャートの全ての処理が終了する。

本実施形態において、マーカー制御部３０１は、１フレームごとに、画像ＫＳＤＴに対するマーカーの重畳をＯＮ／ＯＦＦするような制御を行ったが、これに限定されることない。或る一定周期ごとにマーカーの重畳をＯＮ／ＯＦＦする構成であれば同様の効果を得ることができる。この場合、マーカーが重畳された画像と重畳されていない画像とが同様の画像になるように、ＯＮ／ＯＦＦの周期は短いことが好ましい。

なお、本実施形態では、説明を簡単にするために投影装置の台数を２台としたが、３台以上でも適用できる。その場合は、本実施形態に示した処理を１台ずつ順番に行えばよい。また、投影制御装置１０３が、画像処理部２０１、幾何変形部２０２、マーカー重畳部２０３を有していてもよく、変形してマーカーを重畳した画像ＭＤＴを投影装置１０１，１０２のそれぞれに送信する構成であってもよい。さらに、投影制御装置１０３が撮像装置１０４を有していてもよい。

また、複数台のマルチ投影に限定されることなく、単体の投影にも適用できる。この場合には、投影装置自体が、さらに投影制御装置１０３と撮像装置１０４を有していてもよい。また、この場合も、マルチ投影と同様に、目標投影領域ＴＡＧＴ＿ＰＯＳＩについては、ユーザーが適宜指定すればよい。例えば、ユーザーがＵＩを自分で操作して目標投影領域ＴＡＧＴ＿ＰＯＳＩをスクリーンの端に設定するような構成や、撮像装置で撮像した画像から投影領域を自動で判定して設定する構成などがある。

また、スクリーン前面から投影装置が光を投射する構成を示したが、スクリーン背面から投影装置が光を投射する構成においても実現できる。

なお、上述の実施形態では、フレーム間で同一の位置（所定の位置）にマーカーを重畳する例を説明したが、これには限られない。例えば、マーカー重畳部２０３は、所定の画素数、マーカーの重畳位置をフレーム（所定期間）ごとに、ずらしながら画像にマーカーを重畳してもよい。この場合には、マーカー検出部３０２は、まず、マーカーをずらした量だけ、ずらした方向の逆方向にフレームの位置（フレームの各画素の位置）をずらす。このフレームの位置をずらす処理は、マーカーが重畳されたフレーム（マーカー重畳画像）のみならず、マーカーが重畳されていないフレーム（マーカーなし画像）についても行
われる。マーカーなし画像については、例えば、当該画像（フレーム）の１つ前のマーカー重畳画像のマーカーをずらした量だけフレームの位置がずらされればよい。その後、マーカー検出部３０２は、複数のマーカー重畳画像ごと、および複数のマーカーなし画像ごとに平均化した画像を生成する。そして、マーカー検出部３０２は、平均化されたマーカー重畳画像と、平均化されたマーカーなし画像との、差分によってマーカー画像を抽出する。こうすることにより、より平均化された画像（よりぼかした画像）を得ることが可能になるため、より精度の高いマーカー画像を抽出できる。

以上説明したように、マーカー重畳画像とマーカーなし画像をそれぞれ巡回フィルタ処理した画像同士の差分からずれ量を算出することで、画像投影中に画像によらず、マーカーを抽出することができる。従って、画像投影中に画像によらず、位置合わせ調整を行うことが可能になり、ユーザー利便性を向上することができる。

なお、上記の各実施形態の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

（その他の実施形態）
本発明は、上記の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０１，１０２：投影装置、１０３：投影制御装置、１０４：撮像装置、
１０５：スクリーン、３０１：マーカー制御部、３０３：変形量算出部

Claims (12)

1. マーカーが描画された第１フレームと、前記マーカーが描画されていない第２フレームとを含む動画を投影面に投影するように投影手段を制御する制御手段と、
   前記投影面での前記動画における複数の前記第１フレームの撮像結果に基づく第１画像と、前記投影面での前記動画における複数の前記第２フレームの撮像結果に基づく第２画像との差分に基づき前記動画の投影領域を補正する補正手段と、
   を有する、
   ことを特徴とする投影制御装置。
2. 前記制御手段は、前記投影面での前記動画に前記マーカーが描画された期間と、前記投影面での前記動画に前記マーカーが描画されていない期間とが、所定の周期で切り替わるように前記投影手段を制御する、
   ことを特徴とする請求項１に記載の投影制御装置。
3. 前記第１画像と前記第２画像の差分に基づき、前記投影面における前記マーカーを検出する検出手段をさらに有し、
   前記補正手段は、前記検出手段によって検出された前記マーカーの位置に基づいて、目標投影領域に一致させるように前記投影領域を補正する、
   ことを特徴とする請求項１または２に記載の投影制御装置。
4. 前記目標投影領域は、他の投影手段が投影した画像の領域またはユーザーが指定した画像の領域である、
   ことを特徴とする請求項３に記載の投影制御装置。
5. 前記検出手段は、さらに、前記撮像結果から前記第１フレームおよび前記第２フレームを抽出した後に、前記複数の第１フレームから前記第１画像を生成し、前記複数の第２フレームから前記第２画像を生成する、
   ことを特徴とする請求項３または４に記載の投影制御装置。
6. 前記検出手段は、時系列的に現在のフレームに近いほど大きな重みで前記複数の第１フレームを合成することによって前記第１画像を生成し、時系列的に現在のフレームに近いほど大きな重みで前記複数の第２フレームを合成することによって前記第２画像を生成する、
   ことを特徴とする請求項５に記載の投影制御装置。
7. 前記検出手段は、前記複数の第１フレームを平均化することにより前記第１画像を生成し、前記複数の第２フレームを平均化することにより前記第２画像を生成する、
   ことを特徴とする請求項５に記載の投影制御装置。
8. 前記制御手段は、
   複数の前記投影手段を制御しており、
   １つの投影手段が前記投影面に第１フレームと第２フレームを含む動画を投影するように制御している期間には、他の投影手段が、第１フレームと第２フレームを含む動画を投影しないように制御する、
   ことを特徴とする請求項１から７のいずれか１項に記載の投影制御装置。
9. 請求項１から８のいずれか１項に記載の投影制御装置と、
   画像を投影する少なくとも１つの投影手段と、
   前記投影面を撮像する撮像手段と、
   を有する、
   ことを特徴とする投影システム。
10. マーカーが描画された第１フレームと、前記マーカーが描画されていない第２フレームとを含む動画を投影面に投影するように投影手段を制御する制御工程と、
    前記投影面での前記動画における複数の前記第１フレームの撮像結果に基づく第１画像と、前記投影面での前記動画における複数の前記第２フレームの撮像結果に基づく第２画像との差分に基づき前記動画の投影領域を補正する補正工程と、
    を有する、
    ことを特徴とする投影制御方法。
11. コンピュータを、請求項１から８のいずれか１項に記載の投影制御装置の各手段として機能させるプログラム。
12. コンピュータを、請求項１から８のいずれか１項に記載の投影制御装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。

Images