JP2021061541A - 制御装置、制御方法、投影システム、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】スクリーンの揺れが発生する環境であっても、プロジェクタの投影領域を好適に補正できる。【解決手段】本発明の制御装置は、投影装置に投影画像を投影させるように制御する制御手段と、前記投影装置が前記投影画像を投影面に投影している状態で、前記投影面における前記投影装置の投影領域を含む範囲を撮像した複数の撮像画像を取得する取得手段と、前記複数の撮像画像のそれぞれに含まれる前記投影画像に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する決定手段と、前記決定手段により決定された撮像画像に基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する生成手段と、を有する。【選択図】図１０

Description

本発明は、制御装置、制御方法、投影システム、プログラムおよび記憶媒体に関する。

近年、プロジェクタを用いて様々な場所にコンテンツを投影することが一般的になっている。ここで、スクリーン（投影面）におけるプロジェクタの投影領域（投影位置）を調整する機能として、例えば、キーストーン補正機能やレンズシフト機能が用いられている。キーストーン補正機能は、プロジェクタとスクリーンの相対角に起因する台形歪みを画像処理で幾何学的に低減する機能である。レンズシフト機能は、プロジェクタの位置や角度を変えずに投影可能領域をシフトする機能である。

また、カメラを用いてプロジェクタの投影領域を所望の領域に自動で合わせるシステムが知られている。特許文献１では、プロジェクタの投影領域全体を撮像し、撮像画像を解析することで台形歪みを低減するための射影変換パラメータを算出する手法について開示している。

特開２００５−１０２２７７号公報

ここで、投影対象がスクリーン等の柔らかいものである場合、スクリーンの揺れが発生する場合がある。スクリーンの揺れは、例えば、屋外で使用する場合は風によって発生したり、屋内使用する場合は空調の風や人物の移動によって発生する。そのため、特許文献１に開示された技術では、スクリーンの揺れが大きい時点の撮像画像に基づいて投影領域を補正すると、スクリーンが揺れていない状態では、投影領域と所望の領域とのズレが生じてしまう虞がある。

そこで、本発明は、スクリーンの揺れが発生する環境であっても、プロジェクタの投影領域を好適に補正できる技術を提供することを目的とする。

本発明の一態様は、
投影装置に投影画像を投影させるように制御する制御手段と、
前記投影装置が前記投影画像を投影面に投影している状態で、前記投影面における前記投影装置の投影領域を含む範囲を撮像した複数の撮像画像を取得する取得手段と、
前記複数の撮像画像のそれぞれに含まれる前記投影画像に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する決定手段と、
前記決定手段により決定された撮像画像に基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する生成手段と、
を有することを特徴とする制御装置である。

本発明の一態様は、
上記の制御装置と、
複数の投影装置と、
撮像装置と、
を有することを特徴とする投影システムである。

本発明の一態様は、
投影装置に投影画像を投影させるように制御する制御ステップと、
前記投影装置が前記投影画像を投影面に投影している状態で、前記投影面における前記投影装置の投影領域を含む範囲を撮像した複数の撮像画像を取得する取得ステップと、
前記複数の撮像画像のそれぞれに含まれる前記投影画像に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する決定ステップと、
前記決定ステップで決定された撮像画像に基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する生成ステップと、
を有することを特徴とする制御方法である。

本発明の一態様は、上記方法の各ステップをコンピュータに実行させるためのプログラムである。本発明の一態様は、上記方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体である。

本発明によれば、スクリーンの揺れが発生する環境であっても、プロジェクタの投影領域を好適に補正できる。

実施形態１に係る投影システムの構成の一例を示す図である。 実施形態１に係る各装置の構成の一例を示す図である。 実施形態１に係るキーストーン補正の一例を示す図である。 実施形態１に係る投影領域の補正処理の一例を示すフローチャートである。 実施形態１に係るテストパターンの表示例を示す図である。 実施形態１に係るテストパターンの表示例を示す図である。 実施形態２に係る投影システムの構成の一例を示す図である。 実施形態２に係る制御処理の一例を示すフローチャートである。 実施形態２に係るＧＵＩの一例を示す図である。 実施形態２に係る投影領域の補正処理の一例を示すフローチャートである。 実施形態２に係るテストパターンの表示例を示す図である。 実施形態２に係るテストパターンの表示例を示す図である。 実施形態２に係る投影画像の一例を示す図である。 実施形態２に係る投影画像の一例を示す図である。 実施形態２に係る射影変換の一例を示す図である。 実施形態２に係るテストパターンの表示例を示す図である。

（実施形態１）
＜システム構成＞
図１は、本実施形態に係る投影システム１０の構成の一例を示す図である。本実施形態に係る投影システム１０は、プロジェクタ１００、ＰＣ２００およびカメラ３００等を有する。プロジェクタ１００は、スクリーン（投影面）に画像を投影する投影装置である。ＰＣ２００は、プロジェクタ１００およびカメラ３００の動作を制御する投影制御装置（制御装置）である。カメラ３００は、スクリーンに投影された投影画像を撮像するための撮像装置である。符号Ａは、プロジェクタ１００の投影領域を示す。本実施形態では、ス
クリーンに揺れがある状況であっても、投影面の揺れがない状態に対応するときに撮像された撮像画像に基づいて投影領域の補正を行うことで、投影領域と所望の領域とのずれを軽減する投影システム１０について説明する。

プロジェクタ１００は、ＰＣ２００と通信可能に接続される。プロジェクタ１００とＰＣ２００との通信は、有線通信であっても無線通信であってもよく、また、通信プロトコルにも特に限定されない。本実施形態では一例として、プロジェクタ１００およびＰＣ２００は、ＴＣＰ／ＩＰを通信プロトコルとして用いるローカルエリアネットワーク（ＬＡＮ）で装置間の通信が行われるものとする。また、カメラ３００は、ＰＣ２００と通信可能に接続される。カメラ３００とＰＣ２００との通信は、有線通信であっても無線通信であってもよく、また、通信プロトコルにも特に限定されない。本実施形態では一例として、ケーブルを用いてカメラ３００とＰＣ２００の間の有線通信が行われるものとする。

図２は、投影システム１０に含まれるプロジェクタ１００、ＰＣ２００およびカメラ３００の構成例を示す図である。

≪プロジェクタ１００≫
プロジェクタ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、投影部１０４、投影制御部１０５、ＶＲＡＭ１０６、操作部１０７、ネットワークＩ／Ｆ１０８、画像処理部１０９、画像入力部１１０等を有する。これらは内部バス１１１によって互いに通信可能に接続される。これらの機能部（機能ブロック）の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。なお、プロジェクタ１００は、ＰＣ２００から予め定められたコマンドを受信することにより、動作制御されてもよい。この場合、プロジェクタ１００は、ＰＣ２００から受信したコマンドに応じた動作を行い、動作の結果をＰＣ２００に送信する。

ＣＰＵ１０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ１０３に格納されたプログラムをＲＡＭ１０２に読み込んで実行することにより、プロジェクタ１００の動作を実現する。

ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとして用いられる記憶部である。ＲＡＭ１０２には、プログラムやプログラムの実行に用いる変数などが格納される。また、ＲＡＭ１０２は、他の用途に（例えばデータバッファとして）用いられてもよい。

ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが格納される記憶部である。ＲＯＭ１０３に格納されている情報（データ）は書き換え可能であってもよい。

投影部１０４は、光源、投影光学系などを有し、投影制御部１０５から供給される投影用画像に基づいて光学像を投影する。本実施形態では、投影部１０４は、液晶パネルを光変調デバイスとして用いる。そして、投影部１０４は、光源からの光の反射率もしくは透過率の分布を投影用画像に従って制御することにより、投影用画像に基づく光学像を生成する。生成された光学像は、投影光学系によって投影面に投影される。

投影制御部１０５は、画像処理部１０９から供給される投影用画像のデータを投影部１０４に供給する。

ＶＲＡＭ１０６は、外部装置（例えばＰＣやメディアプレーヤー）から受信した投影用画像のデータを格納するためのビデオメモリである。

操作部１０７は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ１００への指示を受け付ける。ＣＰＵ１０１は操作部１０７に対する操作を監視しており、操作部１０７に対する操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ１００がリモートコントローラを有する場合、操作部１０７はリモートコントローラから受信した操作信号をＣＰＵ１０１に通知してもよい。

ネットワークＩ／Ｆ１０８は、プロジェクタ１００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態では、プロジェクタ１００は、ネットワークＩ／Ｆ１０８を通じて、ＰＣ２００と共通のＬＡＮに接続される。したがって、プロジェクタ１００とＰＣ２００との通信はネットワークＩ／Ｆ１０８を通じて実行される。

画像処理部１０９は、画像入力部１１０に供給され、ＶＲＡＭ１０６に格納された画像データ（映像信号）に対して様々な画像処理を必要に応じて施す。画像処理後の画像データは、投影制御部１０５に供給される。画像処理部１０９は、例えば、画像処理用のマイクロプロセッサである。なお、画像処理部１０９に相当する機能を、ＣＰＵ１０１がＲＯＭ１０３に格納されたプログラムを実行することによって実現してもよい。画像処理部１０９は、例えば、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのＯＳＤを重畳させる処理、キーストーン補正処理、エッジブレンディング処理等の画像処理を行うものとするが、画像処理はこれらに限定されない。

画像入力部１１０は、外部装置（本実施形態ではＰＣ２００）が出力する画像データを直接または間接的に受信するインタフェースであって、サポートする画像データに応じた構成を有する。画像入力部１１０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子のうち少なくともいずれか１つ以上を含むものとする。また、画像入力部１１０は、アナログ映像信号を受信した場合、デジタル映像信号に変換してＶＲＡＭ１０６に格納する。

≪ＰＣ２００≫
ＰＣ２００は、外部ディスプレイと接続可能な汎用コンピュータ（制御装置）であって、汎用コンピュータに準じた機能構成を有する。ＰＣ２００は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）と捉えることもできる。ＰＣ２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、ネットワークＩ／Ｆ２０６、画像出力部２０７、通信部２０８等を有する。また、これらの機能ブロックは内部バス２０９によって互いに通信可能に接続される。これらの機能ブロックの一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。なお、ＰＣ２００は、プロジェクタ１００に対して、予め定められたコマンドを送信することにより、プロジェクタ１００の動作を制御することができる。また、ＰＣ２００は、カメラ３００に対して、予め定められたコマンドを送信することにより、カメラ３００の動作を制御することができる。

ＣＰＵ２０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ２０３に格納されたプログラム（ＯＳやアプリケーションプログラム）をＲＡＭ２０２に読み込んで実行することにより、ＰＣ２００の動作を実現する。

ＲＡＭ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして用いられる記憶部である。ＲＡＭ２０２には、プログラムや当該プログラムの実行に用いる変数
などが格納される。また、ＲＡＭ２０２は、他の用途に（例えばデータバッファとして）用いられてもよい。

ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラムや、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが格納される記憶部である。ＲＯＭ２０３に格納されている情報（データ）は書き換え可能であってよい。なお、ＰＣ２００は、ＲＯＭ２０３よりも大容量の記憶装置（ＨＤＤやＳＳＤ）を有してもよい。この場合、ＰＣ２００は、ＯＳやアプリケーションプログラムといった容量の大きいプログラムを記憶装置に格納してもよい。

操作部２０４は、キーボード、ポインティングデバイス（マウスなど）、タッチパネル、スイッチなどの入力デバイスを有し、ユーザからＰＣ２００への指示を受け付ける。なお、キーボードはソフトウェアキーボードであってもよい。ＣＰＵ２０１は操作部２０４に対する操作を監視しており、操作部２０４に対する操作を検出すると、検出した操作に応じた処理を実行する。

表示部２０５は、ＯＳやアプリケーションプログラムが提供する画面の表示を行う表示部であって、例えば液晶パネルや有機ＥＬパネルである。なお、表示部２０５は外部装置であってもよい。また、表示部２０５はタッチを検出する機能を備えるタッチディスプレイであってもよい。なお、本実施形態では、プロジェクタ１００の投影領域の調整機能を有する投影制御アプリケーションプログラムのＵＩ画面を表示部２０５に表示するものとするが、後述する画像出力部２０７に接続された外部機器にＵＩ画面を表示させてもよい。

ネットワークＩ／Ｆ２０６は、ＰＣ２００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態においてＰＣ２００は、ネットワークＩ／Ｆ２０６を通じて、プロジェクタ１００と共通のＬＡＮに接続される。したがって、ＰＣ２００とプロジェクタ１００との通信はネットワークＩ／Ｆ２０６を通じて実行される。

画像出力部２０７は、外部装置に画像データを送信するインタフェースであり、サポートする画像データに応じた構成を有する。本実施形態では、画像出力部２０７は、プロジェクタ１００に画像データを送信する例について説明するが、映像分配器等に画像データを送信してもよい。画像出力部２０７は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子のうち少なくとも１つ以上を含むものとする。

通信部２０８は、外部機器とシリアル通信等の通信を行うための通信インタフェースであって、例えば、ＵＳＢインタフェースである。通信部２０８は、ＲＳ−２３２Ｃなど他の規格に準じた構成を有してもよい。本実施形態では、カメラ３００は通信部２０８に接続されるものとするが、カメラ３００とＰＣ２００との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した有線通信または無線通信を行うことができる。なお、通信部２０８は、外部機器から撮像画像データなどを取得する取得部と捉えることもできる。

≪カメラ３００≫
カメラ３００は、例えばデジタルカメラ、ウェブカメラ、ネットワークカメラ等の撮像装置である。カメラ３００は、プロジェクタ１００またはＰＣ２００に内蔵されたカメラであってもよい。本実施形態では、カメラ３００は、撮像範囲が投影面全体を含むように設置され、撮像範囲が変わらないように固定されるものとする。なお、ＰＣ２００とは別
体のカメラを用いる場合は、当該カメラはＰＣ２００と通信可能に接続されるものとする。カメラ３００は、ＰＣ２００からの要求に応じて撮像を行い、得られた画像データをＰＣ２００に送信することができる。

＜キーストーン補正＞
図３は、投影画像の台形補正の一例であるキーストーン補正を示す図である。キーストーン補正は、投影面の法線方向と投影方向（一般的には投影光学系の光軸）とのずれに応じて投影画像に生じる台形歪みを相殺するように元画像を幾何学的変換（変形、射影変換）する補正（幾何補正）である。画像の幾何学的変換は射影変換によって実現できる。例えば、ＣＰＵ１０１は、矩形上の元画像の各頂点の移動量と移動方向に基づいて射影変換行列を決定し、画像処理部１０９に与えることができる。画像処理部１０９は、当該射影変換行列に基づいて投影画像を生成する。

具体的には、元画像の座標値を（ｘｓ，ｙｓ）とすると、射影変換による変形後の画像の座標値（ｘｄ，ｙｄ）は以下の式（１）で表される。ここで、Ｍは、３×３の行列であって、元画像から変形後の画像への射影変換行列である。射影変換行列Ｍは、一般的に元画像の４隅の座標値と変形後の画像の４隅の座標値とに基づいて決定できる。ｘｓｏ、ｙｓｏは、元画像（図３の実線３１０で示す画像）の左上の頂点の座標値である。ｘｄｏ、ｙｄｏは、変形後の画像（図３に一点鎖線３２０で示す画像）における、元画像の頂点（ｘｓｏ，ｙｓｏ）に対応する頂点の座標値である。

また、変形後の画像の座標値（ｘｄ，ｙｄ）から元画像の座標値（ｘｓ，ｙｓ）への変換は、以下の式（２）で表される。射影変換行列Ｍ^−１は、射影変換行列Ｍの逆行列である。ＣＰＵ１０１は、変形するためのパラメータとして、射影変換行列Ｍ^−１とオフセット値であるｘｓｏ，ｙｓｏ，ｘｄｏ，ｙｄｏとを画像処理部１０９に与える。画像処理部１０９は、式（２）に従って変形後の座標値（ｘｄ，ｙｄ）に対応する元画像の座標（ｘｓ，ｙｓ）を求める。なお、射影変換行列Ｍ^−１は、射影変換行列Ｍと同様に、元画像の４隅の座標値と変形後の画像の４隅の座標値とに基づいて決定できる。

ここで、式（２）で得られる元画像の座標ｘｓ，ｙｓがいずれも整数であれば、画像処理部１０９は元画像の座標値（ｘｓ，ｙｓ）をそのまま変形後の画像の座標値（ｘｄ，ｙｄ）とすることができる。一方、式（２）で得られる元画像の座標が整数にならない場合、画像処理部１０９は、元画像の座標値（ｘｓ，ｙｓ）を、複数の周辺画素の値を用いた補間演算により求めることができる。例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを行うことができる。なお、式（２）で得られる元画像の座標が、元画像の外部の領域の座標である場合、画像処理部１０９は、変形後の画像の座標値（ｘｄ，ｙｄ）を黒（画素階調値０）またはユーザが設定した背景色とするとよい。このようにして、画像処理部１０９は、変形後の画像の全座標についての画素値を求め、変形後の画像を作成することができる。ここでは、プロジェクタ１００のＣＰＵ１０１から画像処理部１０９に、射影変換行列Ｍ^−１が供給されるものとしたが、ＣＰＵ１０１は射影変換行列Ｍを画像処理部１０９に供給し、画像処理部１０９が射影変換行列Ｍ^−１を求めてもよい。

画像処理部１０９は、変形後の画像の頂点の座標を、ユーザ入力に基づいて取得するとよい。例えば、画像処理部１０９は、投影画像の各頂点を移動させる入力をユーザから受け付けて、移動後の投影画像における各頂点の座標を、変形後の画像における各頂点の座標として取得してもよい。この際、ユーザ入力を支援するため、ＣＰＵ２０１は、投影制御アプリケーションプログラムの機能を用いて、プロジェクタ１００にテストパターン（テストパターン画像）を投影させるようにしてもよい。なお、画像処理部１０９は、投影画像における各頂点の移動量の入力をユーザから受け付けて、当該移動量に応じて、変形後の画像における各頂点の座標を取得してもよい。

＜処理内容＞
図４は、本実施形態に係る投影領域の補正（位置合わせ）処理の一例を示すフローチャートである。この処理は、ＲＯＭ２０３に記録されたプログラムをＲＡＭ２０２に展開してＣＰＵ２０１が実行することで実現する。

Ｓ４０１では、ＣＰＵ２０１は、プロジェクタ１００に対して、テストパターンの投影指示を行う。例えば、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を通じて、プロジェクタ１００内に格納されているテストパターンを投影させるコマンド（信号）をプロジェクタ１００に送信することによって投影指示を行う。なお、ＣＰＵ２０１は、画像出力部２０７を介して、ＰＣ２００内に格納されているテストパターンをプロジェクタ１００に送信することによって、投影指示を行ってもよい。

Ｓ４０２では、ＣＰＵ２０１は、投影面を所定時間、動画撮影して得られた撮影データを取得する。具体的には、ＣＰＵ２０１は、カメラ３００に対して、投影面を所定時間、動画撮影する指示を行う。カメラ３００は、動画撮影する指示を受け付けると、投影面を所定時間、動画撮影して、得られた撮影データをＰＣ２００に送信する。ＣＰＵ２０１は、受信した撮影データをＲＡＭ２０２またはＲＯＭ２０３に格納する。カメラ３００が撮影する範囲には、少なくともＳ４０１の投影指示によって投影されたテストパターンが含まれているものとする。なお、ＣＰＵ２０１は、プロジェクタ１００の投影領域を含む範囲を撮像した複数の撮像画像（撮像画像データ）を取得していると捉えることもできる。

Ｓ４０３では、ＣＰＵ２０１は、Ｓ４０２でカメラ３００から受信した撮影データに基づいて、スクリーンの揺れ周期の中心に対応する撮像画像（フレーム）を決定する。具体的には、ＣＰＵ２０１は、まず、Ｓ４０２で取得した撮影データのうち、テストパターンのサイズが最大となるときの撮像画像と、当該サイズが最小となるときの撮像画像とを取得する。次に、ＣＰＵ２０１は、撮影データのうちテストパターンのサイズが中間の値（上記の最大のサイズと最小のサイズとの平均）であるときのスクリーンの位置を算出する。そして、ＣＰＵ２０１は、スクリーンの位置が上記の算出された位置であるときの撮像画像を、スクリーンの揺れ周期の中心に対応する撮像画像として決定する。ＣＰＵ２０１は、決定した撮像画像をＲＡＭ２０２に格納する。なお、ＣＰＵ２０１は、複数の撮像画像のうち、投影面の揺れがない状態に対応するときに撮像された撮像画像を決定していると捉えることもできる。また、ＣＰＵ２０１は、複数の撮像画像のうち、スクリーンが静止する位置と予測される位置にあるときに撮像された撮像画像を決定していると捉えることもできる。

図５Ａは、本実施形態に係るテストパターンの一例を示す図である。説明の簡単化のため、図１に示すように上辺が固定されたスクリーンを例に説明する。また、テストパターンは、格子模様であるものとする。以降の説明では、格子模様の上辺の長さをａ、下辺の長さをｂ、高さをｈとして説明を行う。

図５Ｂは、スクリーンの揺れを示す図である。上辺が固定されたスクリーンは、図５Ｂに示すように前後に微小に揺れることがある。符号Ｐ１は、揺れによってスクリーンが最も奥側（プロジェクタ１００と反対側）にあるときのスクリーンの位置（下辺の位置）を示す。符号Ｐ２は、揺れによってスクリーンが最も手前側（プロジェクタ１００側）にあるときのスクリーンの位置を示す。符号Ｐ０は、スクリーンの揺れ周期の中心に対応するスクリーンの位置を示す。プロジェクタ１００によって投影が行われると、プロジェクタ１００とスクリーンとの距離が大きいほど撮像画像におけるテストパターンのサイズ（面積）が大きくなり、当該距離が小さいほど撮像画像におけるテストパターンのサイズが小さくなる。

本実施形態では、ＣＰＵ２０１は、ＲＡＭ２０２またはＲＯＭ２０３に格納された投影面の撮影データにおける各フレームのテストパターンの上辺の長さａ、下辺の長さｂ、高さｈを算出する。そして、ＣＰＵ２０１は、上辺の長さａ、下辺の長さｂ、高さｈに基づいて、テストパターン領域の面積が最大および最小となる２つのフレームを取得する。ここで、テストパターン領域とは、テストパターンが表示される範囲を示す領域であって、例えば、図５Ａ〜図５Ｅに示す例では、四角形で囲まれるテストパターン全体を示す領域である。

図５Ｃは、スクリーンが位置Ｐ１の場合の撮像画像におけるテストパターンを示す図である。図５Ｄは、スクリーンが位置Ｐ２の場合の撮像画像におけるテストパターンを示す図である。図５Ｅは、スクリーンが位置Ｐ０の場合の撮像画像におけるテストパターンを示す図である。図５Ｅに示すテストパターンは、図５Ｃおよび図５Ｄの上辺、下辺および高さの平均をとることで得られるテストパターンである。本実施形態では、ＣＰＵ２０１は、図５Ｅに示すように、各辺の長さとして、図５Ｃの値と図５Ｄの値との平均値を用いて、スクリーンの揺れ周期の中心に対応する撮像画像を決定する。

なお、スクリーンの揺れ周期の中心に対応する撮像画像の決定（取得）方法は特に限定されない。例えば、ＣＰＵ２０１は、複数の撮像画像のうち、テストパターンのサイズが、複数の撮像画像のそれぞれに含まれるテストパターンのサイズの平均値、中央値、最頻値などの他の代表値であるときに対応する撮像画像を取得してもよい。なお、テストパターンのサイズの代表値であるときに対応する撮像画像がない場合は、ＣＰＵ２０１は、当該代表値に最も近い値であるときに対応する撮像画像を取得してもよい。また、ＣＰＵ２０１は、テストパターンのサイズが最大となる時刻Ｔ１とテストパターンの面積が最小となる時刻Ｔ２の間の時刻（例えば、時刻（Ｔ１＋Ｔ２）／２）に撮像された撮像画像を取得してもよい。また、スクリーン上端が固定される場合を例に説明したが、スクリーンの使用形態は特に限定されない。例えば、スクリーン下端が固定される場合や、スクリーンの左右が固定される場合であってもよい。なお、ＣＰＵ２０１は、テストパターンのサイズの代わりに、テストパターンの位置に応じて撮像画像を取得してもよい。

なお、撮像画像にテストパターンが含まれていない場合や、テストパターンの面積の算出が不可能である場合には、スクリーンの揺れ周期の中心に対応する撮像画像の決定に失敗することも考えられる。この場合は、ＣＰＵ２０１は、スクリーンの揺れ周期の中心に対応する位置の算出に失敗した旨を示す所定の警告メッセージを表示部２０５に表示して本処理フローを終了してもよい。ここで、テストパターンの面積の算出が不可能である場合としては、例えば、スクリーンが波打っている場合や、テストパターンが投影される領域とそれ以外の領域が外光の影響で判別不能である場合などが挙げられる。

Ｓ４０４では、ＣＰＵ２０１は、Ｓ４０３で決定した撮像画像の座標系（撮像座標系）からプロジェクタ１００の投影画像データ上の座標系であるパネル座標系に射影変換を行うための変換行列を算出する。具体的には、ＣＰＵ２０１は、Ｓ４０３で決定した撮像画
像の座標系におけるテストパターンの特徴点と、プロジェクタ１００のパネル座標系における特徴点とを対応付けることにより上記の変換行列を算出する。特徴点とは、例えば、テストパターンの頂点や交点である。変換行列として、例えば、３×３の行列である射影変換行列を用いることで、撮像画像上の任意の点の座標値をプロジェクタ１００のパネル上の座標値に変換することができる。また、プロジェクタ１００のパネル上の任意の点の座標値を撮像画像上の座標値に変換することもできる。ＣＰＵ２０１は、算出した変換行列をＲＡＭ２０２に記録する。なお、Ｓ４０３で決定した撮像画像の座標系とパネル座標系との関連付けができればよく、２つの座標系の関係（変換関係）を示すものは上記の変換行列に限定されない。

Ｓ４０５では、ＣＰＵ２０１は、投影領域を変形させるための目標領域（変形目標）を設定する。本実施形態では、ＣＰＵ２０１は、Ｓ４０３で決定した撮像画像をＲＡＭ２０２から読み出して表示部２０５に表示させて、操作部２０４を介してユーザから目標領域の入力を受け付ける。そして、ユーザによって目標領域が入力され、確定されると、当該目標領域をＲＡＭ２０２に格納する。以下、目標領域をユーザに入力させる方法について説明する。

図６Ａおよび図６Ｂは、本実施形態に係る目標領域設定画面（変形目標設定画面）の一例を示す図である。ＣＰＵ２０１は、図６Ａおよび図６Ｂに示すＧＵＩを表示部２０５に表示させる。ＧＵＩは、領域６００（ウィンドウ）を有し、領域６００には、Ｓ４０３で決定した撮像画像を表示する領域６０１および決定ボタン６０６が含まれる。さらに、ＣＰＵ２０１は、撮像画像に含まれるテストパターンの頂点を示すマーク６０２〜６０５を撮像画像に重ね合わせて領域６０１に表示する。ここでは、ユーザに選択されたマークを実線の丸形状（マーク６０２）で示し、未選択状態のマークを破線の丸形状（マーク６０３〜６０５）で示す。ユーザは、マーク６０２〜６０５をドラッグすることにより、目標領域を設定することができる。例えば、図６Ａの状態が初期状態であり、マーク６０２を右下にドラッグすることで、目標領域を図６Ｂの破線で示す領域とすることができる。同様にして、ユーザは、マーク６０３〜６０５を移動させることもできる。ユーザは、目標領域の設定が終了すると、決定ボタン６０６を押下することで、目標領域を確定（決定）することができる。なお、Ｓ４０３で決定した撮像画像を用いて目標領域を設定することで、目標領域の設定中におけるスクリーンの揺れによる影響を抑制することができる。

Ｓ４０６では、ＣＰＵ２０１は、撮像画像の座標系における目標領域の４つの頂点に対応するパネル座標系における４つの頂点を算出して、変換パラメータとして、ネットワークＩ／Ｆ２０６を介してプロジェクタに送信する。具体的には、ＣＰＵ２０１は、Ｓ４０５で設定された目標領域の４つの頂点の座標値と、Ｓ４０４で算出した変換行列とを用いて、上記の変換パラメータを算出する。プロジェクタ１００は、上記の変換パラメータを受信すると、画像処理部１０９を制御して投影画像の変形処理（キーストーン補正処理）を実施する。

＜本実施形態の有利な効果＞
本実施形態によれば、プロジェクタの投影画像の補正において、スクリーンの揺れが発生する環境であっても、当該揺れの影響を低減して投影領域を好適に補正することができる。

（実施形態２）
＜システム構成＞
図７は、本実施形態に係る投影システム２０の構成の一例を示す図である。本実施形態に係る投影システム２０は、プロジェクタ１００ａ〜１００ｃ（以下、特に区別する必要がない場合は、単にプロジェクタ１００と称する。）、ＰＣ２００およびカメラ３００等
を有する。本実施形態では、投影システム２０は、複数のプロジェクタ１００を用いて、スクリーン（投影面）上において当該複数のプロジェクタ１００の投影領域を一致させるスタック投影を行う。スタック投影を行うことによって、投影画像（光学像）のダイナミックレンジの拡大、輝度の向上、もしくは３Ｄ表示を図る。なお、図７では、プロジェクタ１００ａ〜１００ｃの３台を有し、それぞれの投影領域Ａ〜Ｃを一致させる投影システムの例を示しているが、プロジェクタの台数は２台であってもよいし、４台以上であってもよい。以下、実施形態１と同じ構成要素については、同一の符号を付与し、説明を省略する。本実施形態では、前提条件として、プロジェクタ１００ａ〜１００ｃとカメラ３００は固定されるものとする。

＜処理内容＞
図８は、本実施形態に係る処理全体の一例を示すフローチャートである。この処理は、ＲＯＭ２０３に記録されたプログラムをＲＡＭ２０２に展開してＣＰＵ２０１が実行することで実現する。

≪Ｓ８０１：プロジェクタの選択≫
Ｓ８０１では、ＣＰＵ２０１は、ＰＣ２００と通信可能なプロジェクタ１００の中から投影領域の補正対象（調整対象）とするプロジェクタ１００をユーザに選択させる。

図９Ａは、プロジェクタ選択画面（ウィンドウ９００）の一例を示す図である。検索ボタン９０１は、選択可能なプロジェクタ１００を検索するための操作部である。リストビュー９０２は、選択可能なプロジェクタ１００を表示するための領域である。初期表示の時点では、リストビュー９０２にはプロジェクタは表示されていないものとする。チェックボックス９０３は、表示されたプロジェクタ１００を選択するための操作部である。Ｎｅｘｔボタン９０４は、後述するカメラ選択画面へ遷移するための操作部である。

ＣＰＵ２０１は、ユーザによって検索ボタン９０１が押下されたことを検出すると、選択可能なプロジェクタ１００をリストビュー９０２に表示する。具体的には以下の処理が行われる。まず、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を通じて、プロジェクタ名やＩＰアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、要求する情報はプロジェクタ名やＩＰアドレスに限定されず、例えば、プロジェクタ１００の解像度、キーストーン補正機能の有無、行われているキーストーン補正の変形量、タイル投影におけるエッジブレンディングの設定値などであってもよい。プロジェクタ１００は、ネットワークＩ／Ｆ１０８を通じて上記のコマンドを受信すると、要求された情報を含むデータをＰＣ２００に対して送信する。ＣＰＵ２０１は、コマンドに応答してプロジェクタ１００から送信されたデータを受信し、当該データに含まれる情報を抽出してリストビュー９０２に表示する。なお、リストビュー９０２に表示されるプロジェクタの並び順は、検出された順であってもよいし、特定の規則に基づいてソートされた順であってもよい。

次に、ＣＰＵ２０１は、ユーザの操作に応じてプロジェクタ１００の選択を受け付ける。図９Ａに示す例では、プロジェクタＡ（ＩＰアドレスがｘｘｘ．ｘｘｘ．ｘｘｘ．ｘ）は、図７に示すプロジェクタ１００ａである。また、プロジェクタＢ（ＩＰアドレスがｙｙｙ．ｙｙｙ．ｙｙｙ．ｙ）は、図７に示すプロジェクタ１００ｂである。また、プロジェクタＣ（ＩＰアドレスがｚｚｚ．ｚｚｚ．ｚｚｚ．ｚ）は、図７に示すプロジェクタ１００ｃである。また、図９Ａに示す例では、プロジェクタＡ〜Ｃが選択されている。ＣＰＵ２０１は、ユーザによってＮｅｘｔボタン９０４が押下されたことを検出するとＳ８０２に進む（ウィンドウ９００の内容がカメラ選択画面に更新される）。

≪Ｓ８０２：カメラの選択≫
Ｓ８０２では、ＣＰＵ２０１は、ＰＣ２００と通信可能なカメラ３００の中から後述する投影領域の補正処理に用いるカメラ３００の選択をユーザから受け付ける。

図９Ｂは、カメラ選択画面の一例を示す図である。検索ボタン９０５は、カメラ３００を検索するための操作部である。ドロップダウンボックス９０６は、選択可能なカメラ３００を選択するための操作部である。ＣＰＵ２０１は、検索ボタン９０５に対する操作を検出すると、ＰＣ２００に接続されたカメラの情報を取得し、ドロップダウンボックス９０６に表示するよう制御を行う。カメラの情報は、例えば、カメラの製品名や品番等が挙げられる。本実施形態では、ユーザは検索された複数のカメラの中から所望のカメラを１台選択するものとするが、投影領域の補正処理に用いるカメラを２台以上選択できてもよい。本実施形態では、図７のカメラ３００を示す「Ｃａｍｅｒａ００１」が選択されたものとする。

画像領域９０７は、選択されたカメラ３００が撮像した画像を表示するための領域である。ＣＰＵ２０１は、カメラ３００が選択されると、カメラ３００に対して撮像を指示するコマンドを送信する。そして、ＣＰＵ２０１は、カメラ３００によって撮像された撮像画像を取得して、当該撮像画像を画像領域９０７に表示する。画像領域９０７に表示される画像は、ライブビュー画像であることが望ましいが、静止画像であってもよい。ユーザは、画像領域９０７を観察することで、カメラ３００の撮像範囲内にプロジェクタ１００の投影画像を全て収めるための調整（撮像装置の設置位置の調整やズーム調整等）を容易に行うことができる。

Ｂａｃｋボタン９０８は、プロジェクタ選択画面へ遷移するための操作部である。ＣＰＵ２０１は、Ｂａｃｋボタン９０８に対する操作を検出すると、図９Ａに示すプロジェクタ選択画面に戻るよう制御を行う。Ａｄｊｕｓｔボタン９０９は、カメラ３００の設定を行うための操作部である。ＣＰＵ２０１は、Ａｄｊｕｓｔボタン９０９に対する操作を検出すると、選択されたカメラ３００に対して撮像を促すコマンドを送信して、カメラ３００によって撮像された撮像画像を取得する。そして、ＣＰＵ２０１は、撮像画像を解析してカメラ３００の各種パラメータ（絞り数値やシャッタースピードなど）を適切に設定する。なお、カメラ３００が各種パラメータを設定してもよい。

≪Ｓ８０３：投影領域の補正処理≫
Ｓ８０３では、ＣＰＵ２０１は、ユーザによって選択された複数のプロジェクタの投影領域の補正処理（合致させる処理；自動位置合わせ処理）を実行する。

図１０は、本実施形態に係る投影領域の補正処理（Ｓ８０３）の一例を示すフローチャートである。この処理は、ＲＯＭ２０３に格納されたプログラムをＲＡＭ２０２に展開してＣＰＵ２０１が実行することにより実現する。

Ｓ１００１では、ＣＰＵ２０１は、後述する第２のテストパターンを投影させるプロジェクタを決定する。第２のテストパターンを投影させるプロジェクタは、例えば輝度が最も高いプロジェクタのように所定の基準によって決定されてもよいし、ユーザによって所定の１台を選択させることにより決定されてもよい。本実施形態では、第２のテストパターンを投影させるプロジェクタとして、プロジェクタ１００ｃが決定されたものとする。

図１１Ａ〜図１１Ｃは、プロジェクタ１００によって投影されるテストパターンの一例を示す図である。本実施形態では、テストパターンとして、第１のテストパターン（第１のパターン画像）および第２のテストパターン（第２のパターン画像）を用いる。図１１Ａは、第１のテストパターンの一例を示す図である。図１１Ｂは、第２のテストパターンの一例を示す図である。図１１Ｃは、第１のテストパターンと第２のテストパターンを合
成したパターン（第３のパターン画像）を示す図である。

第１のテストパターンは、本実施形態では、複数色のドットを有する。また、ドットは、第１のテストパターン内の位置によって色、サイズ、配置等が異なるように設けられるものとする。これにより、ＰＣ２００は、第１のテストパターンを解析することによって、あるドット（ドット群）が第１のテストパターン内のどの位置のものであるかを識別することができる。なお、ドットは単色でもよい。また、パターンはドットのみに限定されず、線もしくは図形またはこれらの組み合わせであってもよい。第２のテストパターンは、本実施形態では、投影画像の４つの頂点付近にそれぞれ１つずつ設けられたドット１１０１〜１１０４を有する。なお、第１のテストパターンおよび第２のテストパターンは上記に限定されず、第１のテストパターンと第２のテストパターンとで輝度、波長域、形状のいずれかが異なっていればよい。

Ｓ１００２では、ＣＰＵ２０１は、全てのプロジェクタ（ＰＪ）に対して処理が完了したか否かを判断する。全てのプロジェクタに対して処理が完了している場合はＳ１０１８に進み、そうでない場合はＳ１００３に進む。本実施形態では、本処理フローの対象のプロジェクタは、プロジェクタ１００ａ〜１００ｃであるものとして説明する。

Ｓ１００３では、ＣＰＵ２０１は、現在の処理対象となっているプロジェクタ（対象プロジェクタ）が、Ｓ１００１で決定されたプロジェクタと同一であるか否かを判断する。同一である場合はＳ１００６に進み、そうでない場合はＳ１００４に進む。対象プロジェクタの決定方法は特に限定されない。本実施形態では、プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃの順に処理対象のプロジェクタを切り替える例について説明する。また、本実施形態では、Ｓ１００１で決定されたプロジェクタ（第２のテストパターンを投影するプロジェクタ）はプロジェクタ１００ｃである。よって、同一である場合とは、対象プロジェクタがプロジェクタ１００ｃの場合である。また、同一でない場合とは、対象プロジェクタがプロジェクタ１００ａまたはプロジェクタ１００ｂの場合である。

Ｓ１００４では、ＣＰＵ２０１は、対象プロジェクタに対して第１のテストパターンの投影を指示する。投影を指示する方法は特に限定されない。例えば、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を介して第１のテストパターンを投影させるコマンドを対象プロジェクタに送信してもよいし、画像出力部２０７を介して第１のテストパターンを対象プロジェクタに送信してもよい。

Ｓ１００５では、ＣＰＵ２０１は、Ｓ１００１で決定されたプロジェクタ（所定のプロジェクタ）に対して第２のテストパターンの投影を指示する。投影を指示する方法は特に限定されない。例えば、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を介して第２のテストパターンを投影させるコマンドを所定のプロジェクタに送信してもよいし、画像出力部２０７を介して第２のテストパターンを所定のプロジェクタに送信してもよい。

Ｓ１００６では、ＣＰＵ２０１は、対象プロジェクタに対して第１のテストパターンおよび第２のテストパターンの投影（第３のパターン画像の投影）を指示する。ここで、対象プロジェクタは、Ｓ１００１で決定されたプロジェクタ（所定のプロジェクタ）と同一である。投影を指示する方法は特に限定されない。例えば、ＣＰＵ２０１は、ネットワークＩ／Ｆ２０６を介して第１のテストパターンおよび第２のテストパターンを投影させるコマンドを対象プロジェクタに送信してもよい。あるいは、ＣＰＵ２０１は、図１１Ｃに示すような第１のテストパターンおよび第２のテストパターンを合成したテストパターンを生成し、画像出力部２０７を介して、生成したテストパターンを対象プロジェクタに送信してもよい。

Ｓ１００７では、ＣＰＵ２０１は、投影面の撮像画像を取得する。具体的には、ＣＰＵ２０１は、カメラ３００に対して、投影面の撮像（撮影）を指示する信号を送信する。カメラ３００は、撮影を指示する信号を受信すると投影面を撮影し、得られた撮像画像（撮影画像）をＰＣ２００に送信する。そして、ＣＰＵ２０１は、カメラ３００によって送信された撮像画像を取得する。ＣＰＵ２０１は、取得した撮像画像をＲＡＭ２０２またはＲＯＭ２０３に格納する。なお、撮像画像には、投影面上の第１のテストパターンおよび第２のテストパターンの少なくとも一方が含まれているものとする。

図１２Ａ〜図１２Ｄは、本実施形態のテストパターンを示す図である。図１２Ａは、投影面上のテストパターンの一例を示す図である。図１２Ｂは、Ｓ１００７で取得した撮像画像の一例を示す図である。図１２Ｃは、Ｓ１００７で取得した撮像画像のうち第１のテストパターンのみを示す図である。図１２Ｄは、Ｓ１００７で取得した撮像画像のうち第２のテストパターンのみを示す図である。

Ｓ１００８では、ＣＰＵ２０１は、Ｓ１００７で取得した撮像画像に含まれる第１のテストパターンおよび第２のテストパターンの特徴点を検出する。具体的には、ＣＰＵ２０１は、第１のテストパターンおよび第２のテストパターンの座標（座標値）を検出する。このとき、第１のテストパターンおよび第２のテストパターンのそれぞれから特徴点の座標を少なくとも４組ずつ検出できればよい。例えば、第１のテストパターンの場合、種々の方法によって得られる４つ以上の特徴点の座標を検出すればよい。また、第２のテストパターンの場合、図１１Ｂに示すドット１１０１〜１１０４のそれぞれの重心座標を検出すればよい。特徴点の検出方法は特に限定されないが、例えば、輝度ヒストグラムを用いる手法、相関演算を用いる手法などを用いるとよい。また、ＣＰＵ２０１は、第１のテストパターンおよび第２のテストパターンを含む撮像画像から特徴点を検出してもよい。また、ＣＰＵ２０１は、図１２Ｃと図１２Ｄに示すように撮像画像から第１のテストパターンと第２のテストパターンを一旦分離して、それぞれの画像から特徴点の検出してもよい。なお、第１のテストパターンと第２のテストパターンを分離する方法も特に限定されない。例えば、輝度情報に基づくクラスタリングなどの方法を用いてもよい。ＣＰＵ２０１は検出した第１のテストパターンの特徴点と第２のテストパターンの特徴点とをＲＡＭ２０２に格納する。

Ｓ１００９では、ＣＰＵ２０１は、Ｓ１００８において第１のテストパターンおよび第２のテストパターンの特徴点の検出に成功したか否かを判断する。成功した場合はＳ１０１０に進み、そうでない場合はＳ１０１１に進む。

Ｓ１０１０では、ＣＰＵ２０１は、テストパターンを投影している全てのプロジェクタ（対象プロジェクタ以外のプロジェクタも含む）に対して、テストパターンを投影しないように指示を行う。その後、ＣＰＵ２０１は、対象プロジェクタを切り替えて、上記と同様にＳ１００２以降の処理を行う。

Ｓ１０１１では、ＣＰＵ２０１は、Ｓ１００８において第１のテストパターンの特徴点の検出に成功したか否かを判断する。成功した場合はＳ１０１２に進み、そうでない場合はＳ１０１３に進む。

Ｓ１０１２では、ＣＰＵ２０１は、警告メッセージをアプリケーション上に表示する。例えば、ＣＰＵ２０１は、対象プロジェクタに対して、警告メッセージを投影するよう指示する。警告メッセージの一例として「調整結果に誤差が生じる可能性があります」が挙げられる。このように、警告メッセージによって、最終的な調整結果に誤差が生じる可能性がある旨をユーザに通知できればよい。

Ｓ１０１３では、ＣＰＵ２０１は、第２のテストパターンを投影するプロジェクタに対して、第２のテストパターンの投影を止めるように指示をする。

Ｓ１０１４では、ＣＰＵ２０１は、Ｓ１００７と同様に投影面の撮像画像を取得する。

Ｓ１０１５では、ＣＰＵ２０１は、Ｓ１０１４で取得した撮像画像に基づいて第１のテストパターンの特徴点を検出する。

Ｓ１０１６では、ＣＰＵ２０１は、Ｓ１０１５で第１のテストパターンの特徴点の検出に成功したか否かを判断する。成功した場合はＳ１０１２に進み、そうでない場合はＳ１０１７に進む。

Ｓ１０１７では、ＣＰＵ２０１は、テストパターンを投影しているプロジェクタに対して、テストパターンの投影を止めるよう指示する。そして、ＣＰＵ２０１は、本処理フローを終了する（異常終了）。なお、ＣＰＵ２０１は、「自動調整に失敗しました」等の調整が失敗したことを示すメッセージをアプリケーション上に表示してもよい。

Ｓ１０１８では、ＣＰＵ２０１は、ＲＡＭ２０２に格納された撮像画像内の投影画像に基づいて、複数の撮像画像のうち、スクリーンの揺れがない状態に対応するときに撮像された撮像画像を決定（推測）する。本処理は、すべてのプロジェクタに対して上述の処理が完了されたと判断（Ｓ１００２−Ｙｅｓ）されると実行される。本実施形態では、撮像画像内の第２のテストパターンにおける特徴点の座標値に基づいて、スクリーンの揺れ量が最も小さいときに撮像された撮像画像を決定する。例えば、第２のテストパターンが図１１Ｂに示すドット１１０１〜１１０４を含む場合、ＣＰＵ２０１は、当該４つのドット１１０１〜１１０４のそれぞれについて、複数の撮像画像におけるドットの重心座標の最大値と最小値に基づいて中央値を算出する。そして、ＣＰＵ２０１は、複数の撮像画像において、座標値が上記の中央値付近であるドットを最も多く含む撮像画像を、上記のスクリーンの揺れ量が最も小さいときに撮像された撮像画像として決定することができる。なお、撮像画像の決定方法は上記に限定されない。例えば、ＣＰＵ２０１は、複数回撮影した撮像画像群の中から、ユーザによって一つの画像を選択させて、当該選択された画像を最もスクリーンの揺れ量が最も小さい時点に撮影された撮像画像として決定してもよい。なお、ＣＰＵ２０１は、第２のテストパターン（例えば、ドットの座標値の最大値と最小値の差分）に基づいて、スクリーンに所定量以上の揺れが発生していることを検出した場合は、警告メッセージを表示部２０５に表示してもよい。

Ｓ１０１９では、ＣＰＵ２０１は、射影変換行列を算出する。具体的には、ＣＰＵ２０１は、プロジェクタの座標系（パネル座標系）からカメラの座標系に変換するための射影変換行列（例えば、後述のＭａ〜Ｍｃ）を算出する。また、ＣＰＵ２０１は、カメラの座標系における複数のプロジェクタの投影領域を、Ｓ１０１８で決定した撮像画像内の投影領域に変形するための射影変換行列（例えば、後述のＭ１２，Ｍ３２）を算出する。

Ｓ１０２０では、ＣＰＵ２０１は、各プロジェクタの変換パラメータを算出する。具体的には、まず、ＣＰＵ２０１は、カメラの座標系（共通座標系）におけるスタック投影の目標領域を決定する。目標領域の決定方法は特に限定されないが、例えば、ＧＵＩを用いてユーザに指定された領域を目標領域として決定してもよいし、複数のプロジェクタ１００のうちいずれか１台のプロジェクタ１００の投影領域を目標領域として決定してもよい。次に、ＣＰＵ２０１は、決定したカメラの座標系における目標領域を各プロジェクタ１００のパネル座標系における目標領域に射影する。そして、ＣＰＵ２０１は、プロジェクタ１００ごとに、各プロジェクタ１００のパネル座標系における全領域を当該パネル座標
系における目標領域に変換（変形）するための射影変換行列（変換パラメータ）を算出する。

Ｓ１０２１では、ＣＰＵ２０１は、Ｓ１０２０で算出した各プロジェクタ１００の変換パラメータをネットワークＩ／Ｆ２０６を介して対応するプロジェクタに送信する。なお、各プロジェクタ１００は、上記の変換パラメータを受信すると、画像処理部１０９を制御して、当該変換パラメータに基づく変形処理を実行する。なお、第２のテストパターンの特徴点の抽出に失敗した場合に、ＣＰＵ２０１は、カメラの座標系における複数のプロジェクタの投影領域からＳ１０１８で決定した撮像画像内の投影領域に変形するための射影変換行列の算出を行わないものとする。

図１３は、Ｓ１００７の撮像処理の際に、プロジェクタ１００ａ〜１００ｃが投影している画像（テストパターン）の一例を示す図である。図１３に示す例では、２回目に撮影された撮像画像が、スクリーンの揺れ量が最も小さいときに撮像された撮像画像であることを示している。この場合、Ｓ１０１９では、ＣＰＵ２０１は、第２のテストパターンに含まれる４つの特徴点に基づいて、撮影１回目および撮影３回目の座標系を変換するための射影変換行列Ｍ１２，Ｍ３２を算出する。なお、上述のように、本実施形態では、第２のテストパターンを投影するプロジェクタ（図１３の例ではプロジェクタ１００ｃ）が１台となるように制御している。これは、複数のプロジェクタが第２のテストパターンを投影すると、第２のテストパターンの特徴点の検出が困難となるためである。

図１４は、Ｓ１００７で複数回（３回）の撮像処理が行われる場合に、プロジェクタ１００ａ〜１００ｃが投影している画像（テストパターン）の一例を示す図である。撮像処理の回数が多い程、様々なスクリーン揺れに対応することができるが、撮像処理の回数と実行時間とはトレードオフの関係である。撮像処理の回数（撮像枚数）は、あらかじめ決められた所定の回数でもよいし、ユーザによって変更可能としてもよい。なお、Ｓ１００７で複数回の撮像処理が行われる場合には、ＣＰＵ２０１は、当該複数回の撮像処理によって得た撮像画像のうちいずれか１つを用いるとよい。例えば、ＣＰＵ２０１は、撮影５回目がスクリーンの揺れ量が最も小さいとすると、撮影１回目〜３回目の中のいずれか、および撮影７回目〜撮影９回目の中のいずれかの座標系を変換するための射影変換行列を算出するとよい。

図１５は、Ｓ１０１９で算出された射影変換行列を示す図である。射影変換行列Ｍ１２，Ｍ３２は、カメラの座標系における複数のプロジェクタの投影領域を、Ｓ１０１８で決定した撮像画像内の投影領域に変形するための射影変換行列である。例えば、撮影１回目の座標系から撮影２回目の座標系に射影するための射影変換行列Ｍ１２は、撮影１回目の画像と撮影２回目の画像から得られた第２のテストパターンの特徴点の組に基づいて算出される。また、射影変換行列Ｍａ〜Ｍｃは、それぞれプロジェクタの座標系（パネル座標系）からカメラの座標系に射影変換するための射影変換行列である。射影変換行列Ｍａ〜Ｍｃは、第１のテストパターンの少なくとも４つ以上の特徴点に基づいて算出される。例えば、射影変換行列Ｍａは、プロジェクタ１００ａのパネル座標系における第１のテストパターンの特徴点の組と撮影１回目の撮像画像内の（プロジェクタ１００によって投影された）第１のテストパターンの特徴点の組とに基づいて算出される。これらの射影変換行列Ｍ１２，Ｍ３２，Ｍａ〜Ｍｃを用いることで、各プロジェクタのパネル座標系をカメラの座標系に変換することができる。例えば、プロジェクタ１００ａのパネル座標系におけるある座標をカメラの座標系における座標に変換するためには、射影変換行列ＭａおよびＭ１２を順に適用すればよい。また、例えば、カメラの座標系における目標領域をプロジェクタ１００ａのパネル座標系における目標領域に射影するには、射影変換行列Ｍ１２の逆行列と、射影変換行列Ｍａの逆行列を順に適用すればよい。なお、カメラの座標系は、スクリーン面の座標系が射影されたものであるため、本実施形態では、撮像座標系を共通
座標系としているが、Ｓ１０１８で決定した撮像画像内のスクリーン座標系を共通座標系として変換パラメータを算出してもよい。

なお、上述の例では、第２のテストパターンの一例として４つの特徴点を用いる例について説明したが、５つ以上の特徴点を用いてもよい。例えば、図１６に示すように第２のテストパターンとして、複数の特徴点を格子状に配置し、格子毎に射影変換行列Ｍｐ，Ｍｑを算出することで、スクリーンの部分的な揺れに対しても対応することができる。

＜本実施形態の有利な効果＞
本実施形態を適用することによって、複数台のプロジェクタの投影領域を補正する場合において、変換パラメータを決定するための座標系を特定の座標系に統一することができるため、スクリーン揺れが発生した場合の計算誤差を低減することができる。

また、第１または第２のテストパターンの特徴点の検出に失敗した場合でも、Ｓ１００９〜Ｓ１０１７の処理を行うことによって、他のプロジェクタの調整を継続することができる。また、Ｓ１０１２で警告メッセージを表示部２０５に表示することで、対象プロジェクタの調整結果にスクリーン揺れ対策が施されていないことをユーザに通知できる。

＜変形例＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。また、上述の実施形態で説明した構成要素の全てが本発明に必須とは限らない。上述の実施形態における個々の機能ブロックは、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能ブロックは複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能ブロックを実現してもよい。また、１つ以上の機能ブロックは、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。１つ以上の機能ブロックをハードウェアで実現する場合、ディスクリート回路や、ＦＰＧＡ、ＡＳＩＣといった集積回路によって実現することができる。

上述の実施形態では、スタンドアロンタイプの投影装置（プロジェクタ）に本発明を適用した構成について説明した。しかし、上記に限定されず、例えばパーソナルコンピュータ、スマートフォン、タブレット端末、ゲーム機、デジタル（ビデオ）カメラといった一般的な電子機器に内蔵されたプロジェクタにも本発明を適用可能である。

上述の実施形態では、制御装置としてＰＣを用いる例について説明したが、制御装置としてスマートフォンやタブレットなど、その他の情報処理装置を用いてもよい。

上述の実施形態では、ＰＣやプロジェクタと別体のカメラを用いる例について説明したが、ＰＣやプロジェクタに内蔵されたカメラを用いてもよい。

上述の実施形態では、ＧＵＩを示す図を用いたが、これらは一例であり、ＧＵＩのレイアウトやコンポーネントの種類、画面遷移などは本発明の要旨を逸脱しない範囲で、省略、置き換え、変更を行うことができる。

（その他）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：プロジェクタ １０５：投影制御部
２００：ＰＣ ２０１：ＣＰＵ ２０７：画像入力部
３００：カメラ

Claims (17)

1. 投影装置に投影画像を投影させるように制御する制御手段と、
   前記投影装置が前記投影画像を投影面に投影している状態で、前記投影面における前記投影装置の投影領域を含む範囲を撮像した複数の撮像画像を取得する取得手段と、
   前記複数の撮像画像のそれぞれに含まれる前記投影画像に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する決定手段と、
   前記決定手段により決定された撮像画像に基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する生成手段と、
   を有することを特徴とする制御装置。
2. 前記投影画像は、所定のパターン画像を含み、
   前記決定手段は、前記所定のパターン画像のサイズまたは座標値に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する、
   ことを特徴とする請求項１に記載の制御装置。
3. 前記決定手段は、前記複数の撮像画像のうち、前記所定のパターン画像のサイズが前記複数の撮像画像のそれぞれに含まれる前記所定のパターン画像のサイズの平均値、中央値および最頻値のいずれかの値に最も近い値である撮像画像を、前記投影面の揺れがない状態に対応するときに撮像された撮像画像として決定する、
   ことを特徴とする請求項２に記載の制御装置。
4. 前記決定手段は、前記複数の撮像画像のうち、前記所定のパターン画像の座標値が前記複数の撮像画像のそれぞれに含まれる前記所定のパターン画像の座標値の平均値、中央値および最頻値のいずれかの値に最も近い値である撮像画像を、前記投影面の揺れがない状態に対応するときに撮像された撮像画像として決定する、
   ことを特徴とする請求項２に記載の制御装置。
5. 前記制御手段は、複数の投影装置に１台ずつ第１のパターン画像を投影させるとともに、前記複数の投影装置のうち所定の投影装置に前記第１のパターン画像とは異なる第２のパターン画像を投影させるように制御し、
   前記取得手段は、前記第１のパターン画像および前記第２のパターン画像が投影されている状態で、前記投影面を撮像した撮像画像を、前記投影装置ごとに取得し、
   前記決定手段は、前記取得手段によって取得された複数の撮像画像のそれぞれに含まれる前記第２のパターン画像に基づいて、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定し、
   前記生成手段は、前記取得手段によって取得された複数の撮像画像のそれぞれに含まれる前記第１のパターン画像に基づいて求められる第１のパラメータと、前記決定手段によって決定された撮像画像および他の撮像画像の前記第２のパターン画像に基づいて求められる第２のパラメータとに基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する、
   ことを特徴とする請求項１から４のいずれか一項に記載の制御装置。
6. 前記生成手段は、前記第１のパターン画像に基づいて、各投影装置の投影画像データ上の座標系であるパネル座標系から前記撮像画像の座標系に射影変換するための第１のパラメータを前記投影装置ごとに算出する、
   ことを特徴とする請求項５に記載の制御装置。
7. 前記生成手段は、前記第２のパターン画像に基づいて、前記撮像画像の座標系で各投影装置の投影領域を前記決定手段によって決定された撮像画像における投影領域に射影変換するための第２のパラメータを算出する、
   ことを特徴とする請求項５または６に記載の制御装置。
8. 前記制御手段は、前記第１のパターン画像の検出が成功し、前記第２のパターン画像の検出が失敗した場合に、所定の警告メッセージを表示手段に表示するように制御する、
   ことを特徴とする請求項５から７のいずれか一項に記載の制御装置。
9. 前記制御手段は、前記第１のパターン画像および前記第２のパターン画像の検出に失敗した場合に、前記第２のパターン画像の投影を止め、前記第１のパターン画像のみを投影させるように制御する、
   ことを特徴とする請求項５から８のいずれか一項に記載の制御装置。
10. 前記制御手段は、前記第１のパターン画像のみを投影しているときに撮像された撮像画像からの前記第１のパターン画像の検出が失敗した場合に、所定のメッセージを表示手段に表示するように制御する、
    ことを特徴とする請求項９に記載の制御装置。
11. 前記制御手段は、前記撮像画像に含まれる前記第２のパターン画像に基づいて、前記投影面に所定量以上の揺れが発生していることが検出される場合に、所定の警告メッセージを表示手段に表示するように制御する、
    ことを特徴とする請求項５から１０のいずれか一項に記載の制御装置。
12. 前記制御装置は、前記第１のパターン画像を投影する投影装置と前記第２のパターン画像を投影する投影装置が同一である場合に、前記第１のパターン画像と前記第２のパターン画像とを合成した第３のパターン画像を生成し、前記所定の投影装置に前記第３のパターン画像を投影するように制御する、
    ことを特徴とする請求項５から１１のいずれか一項に記載の制御装置。
13. 前記制御手段は、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定できなかった場合に、所定の警告メッセージを表示手段に表示するように制御する、
    ことを特徴とする請求項１から１２のいずれか一項に記載の制御装置。
14. 請求項１から１３のいずれか一項に記載の制御装置と、
    複数の投影装置と、
    撮像装置と、
    を有することを特徴とする投影システム。
15. 投影装置に投影画像を投影させるように制御する制御ステップと、
    前記投影装置が前記投影画像を投影面に投影している状態で、前記投影面における前記投影装置の投影領域を含む範囲を撮像した複数の撮像画像を取得する取得ステップと、
    前記複数の撮像画像のそれぞれに含まれる前記投影画像に基づいて、前記複数の撮像画像のうち、前記投影面の揺れがない状態に対応するときに撮像された撮像画像を決定する決定ステップと、
    前記決定ステップで決定された撮像画像に基づいて、前記投影装置の投影領域を変形するための変換パラメータを生成する生成ステップと、
    を有することを特徴とする制御方法。
16. 請求項１５に記載の制御方法の各ステップをコンピュータに実行させるためのプログラム。
17. 請求項１５に記載の制御方法の各ステップをコンピュータに実行させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
    

Images