JP2020194998A - 制御装置、投影システム、制御方法、プログラムおよび記憶媒体 - Google Patents

Abstract

【課題】位置合わせにかかる時間を短縮し、スクリーンの揺れが発生する環境であっても、複数台のプロジェクタの投影画像の位置合わせを行う。【解決手段】本発明の制御装置は、複数の投影装置それぞれに対してパターン画像を投影させるように制御する制御手段と、前記複数の投影装置が前記パターン画像を同時に投影している状態で、投影面における前記複数の投影装置の投影領域を含む範囲を撮像した第１の撮像画像データを取得する取得手段と、前記第１の撮像画像データに基づいて、前記複数の投影装置それぞれの投影領域の少なくともいずれかを変形するための第１のパラメータを生成する生成手段と、を有し、各パターン画像は、パターンを表示するパターン表示領域を含む画像であって、前記制御手段は、前記複数の投影装置が投影する前記パターン表示領域が前記投影面上で重なり合わないように各パターン画像の前記パターン表示領域を決定する。【選択図】図７

Description

本発明は、制御装置、投影システム、制御方法、プログラムおよび記憶媒体に関する。

近年、複数のプロジェクタを用いて様々な場所にコンテンツを投影することが一般的になっている。例えば、複数台のプロジェクタの投影画像を重ね合わせることによって高輝度、高コントラストを実現するスタック投影や、複数台のプロジェクタの投影画像を一部の領域を重畳させて並べることによって大画面を形成するタイル投影などが行われている。ここで、スタック投影やタイル投影では、各プロジェクタの投影位置を正確に合わせることが必要である。

個々のプロジェクタの投影位置を調整する機能としては、例えば、キーストーン補正機能やレンズシフト機能が用いられている。キーストーン補正機能は、プロジェクタとスクリーンの相対角に起因する台形歪みを画像処理で幾何学的に補正する機能である。レンズシフト機能は、本体位置や角度を変えずに投影可能領域をシフトする機能である。

複数のプロジェクタの投影領域を所望の領域に位置合わせする技術としては、カメラを用いて位置合わせ行うシステムが知られている。特許文献１では、各プロジェクタの投影領域全体をプロジェクタごとに撮像し、撮像画像を解析することで台形歪みを補正するための射影変換パラメータを算出する手法について開示している。このとき、スタック投影の場合は複数の投影領域の大部分の領域が重なり合い、タイル投影の場合は複数の投影領域の一部の領域が重なり合う。そのため、システムを構成する複数のプロジェクタについて、１台ずつ投影領域を撮像している。

特開２００５−１０２２７７号公報

しかしながら、特許文献１に開示された技術では、複数のプロジェクタについて１台ずつ画像を投影して当該投影された画像を撮像するため、プロジェクタの台数が増えると位置合わせにかかる時間が増大する。また、投影対象がスクリーン等の柔らかいものである場合、スクリーンの揺れが発生する場合がある。スクリーンの揺れは、例えば、屋外で使用する場合は風によって発生したり、屋内使用する場合は空調の風や人物の移動によって発生する。このとき、プロジェクタに対して１台ずつ投影および撮像して位置合わせを行うと、各プロジェクタの投影画像を撮像した瞬間のスクリーンの状態が上記揺れによってそれぞれ異なる場合、それぞれの補正後の投影画像の位置がずれてしまう虞がある。そのため、スタック投影やタイル投影で複数台のプロジェクタの投影画像を重ね合わせても、ずれが発生してしまう。

本発明は、上記課題に鑑み、位置合わせにかかる時間を短縮し、スクリーンの揺れが発生する環境であっても、複数台のプロジェクタの投影画像の位置合わせが可能な技術を提供することを目的とする。

本発明の一態様は、
複数の投影装置それぞれに対してパターン画像を投影させるように制御する制御手段と、
前記複数の投影装置が前記パターン画像を同時に投影している状態で、投影面における前記複数の投影装置の投影領域を含む範囲を撮像した第１の撮像画像データを取得する取得手段と、
前記第１の撮像画像データに基づいて、前記複数の投影装置それぞれの投影領域の少なくともいずれかを変形するための第１のパラメータを生成する生成手段と、
を有し、
各パターン画像は、パターンを表示するパターン表示領域と、パターンを表示しないパターン非表示領域とを含む画像であって、
前記制御手段は、前記複数の投影装置が投影する前記パターン表示領域が前記投影面上で重なり合わないように各パターン画像の前記パターン表示領域を決定する、
ことを特徴とする制御装置である。

本発明の一態様は、
複数の投影装置それぞれに対してパターン画像を投影させるように制御する制御ステップと、
前記複数の投影装置が前記パターン画像を同時に投影している状態で、投影面における前記複数の投影装置の投影領域を含む範囲を撮像した第１の撮像画像データを取得する取得ステップと、
前記第１の撮像画像データに基づいて、前記複数の投影装置それぞれの投影領域の少なくともいずれかを変形するための第１のパラメータを生成する生成ステップと、
を有し、
各パターン画像は、パターンを表示するパターン表示領域と、パターンを表示しないパターン非表示領域とを含む画像であって、
前記制御ステップでは、前記複数の投影装置が投影する前記パターン表示領域が前記投影面上で重なり合わないように各パターン画像の前記パターン表示領域を決定する、
ことを特徴とする制御方法である。

本発明によれば、位置合わせにかかる時間を短縮し、スクリーンの揺れが発生する環境であっても、複数台のプロジェクタの投影画像の位置合わせを行うことができる。

実施形態１に係る投影システムの構成の一例を示す図である。 実施形態１に係る各装置の構成の一例を示す図である。 実施形態１に係るキーストーン補正の一例を示す図である。 実施形態１に係る制御処理の一例を示すフローチャートである。 実施形態１に係るプロジェクタを選択するためのＧＵＩの一例を示す図である。 実施形態１に係る撮像装置選択用ＧＵＩの一例を示す図である。 実施形態１に係る位置合わせ処理の一例を示すフローチャートである。 実施形態１に係るパターン画像及び撮像画像の一例を示す図である。 実施形態１に係るパターン画像及び撮像画像の一例を示す図である。 実施形態１に係るパターン画像及び撮像画像の一例を示す図である。 実施形態１に係る射影変換の一例を示す図である。 実施形態２に係る投影システムの構成の一例を示す図である。 実施形態２に係るパターン画像及び撮像画像の一例を示す図である。

（実施形態１）
＜概要＞
本実施形態では、スタック投影を行う投影システムの例について説明する。スタック投影は、複数のプロジェクタの投影画像を重ね合わせることによって高輝度、高コントラストを実現する投影方法である。複数のプロジェクタの投影画像を高精度に重ね合わせるために、本実施形態に係る投影システムは、撮像装置、複数のプロジェクタ（投影装置）および投影制御装置を用いて投影画像の位置合わせを行う。具体的には、複数のプロジェクタによって画像（パターン画像）が同時に投影されている状態で投影面を撮像した撮像画像データを用いて、プロジェクタ１００の投影領域の少なくともいずれかを変形するための射影変換行列Ｍ（第１のパラメータ）を求める。そして、射影変換行列を用いて、各プロジェクタ１００の投影領域の位置合わせを行う。投影領域の変形については、後述するキーストーン補正を行うことで実現される。

パターン画像は、パターンを表示するパターン表示領域と、パターンを表示しないパターン非表示領域とを含む画像である。パターン表示領域は、パターン画像内の広い範囲に点在する複数の領域である。本実施形態では、異なるプロジェクタが投影する複数のパターン表示領域が重なり合わないように当該パターン表示領域を設ける。これによって、１枚の撮像画像データに基づいて各プロジェクタが投影する画像に分離することができる。パターン非表示領域は、パターン画像内において上述のパターン表示領域以外の領域であって、パターンが表示されない領域である。本実施形態では、パターン非表示領域内の画素を黒（画素階調値０）にしてパターン画像を生成する。複数のプロジェクタが同時に画像を投影する場合、各プロジェクタは、他のプロジェクタのパターン表示領域を含む範囲に対して画像を投影することになる。ここで、本実施形態では、各プロジェクタのパターン非表示領域は、他のプロジェクタにおけるパターン表示領域に対応している。そこで、他のプロジェクタのパターン表示領域に対して光を投影しないために、各プロジェクタのパターン非表示領域内の画素を黒にしている。

パターンは、本実施形態では、複数色のドットの組み合わせであるドットパターンである。ドットパターンは、パターン画像内の位置によってドットの色、サイズ、配置等が異なるように設けられるものとする。これにより、投影制御装置は、パターン表示領域のドットパターンを解析することによって、当該ドットパターンがパターン画像内のどの位置であるかを識別することができる。なお、ドットパターンは単色でもよい。また、パターンはドットパターンに限定されず、線もしくは図形またはこれらの組み合わせであってもよい。

＜システム構成＞
図１は、本実施形態に係る投影システム１０の構成の一例を示す図である。本実施形態に係る投影システム１０は、プロジェクタ１００ａ、１００ｂ（以下、特に区別する必要がない場合は、単にプロジェクタ１００と称する。）、投影制御装置２００および撮像装置３００等を有する。本実施形態では、投影システム１０は、複数のプロジェクタ１００を用いて、投影面４００（スクリーン）上において当該複数のプロジェクタ１００の投影領域を一致させるスタック投影を行う。スタック投影を行うことによって、投影画像（光学像）のダイナミックレンジの拡大、輝度の向上、もしくは３Ｄ表示を図る。なお、図１では、プロジェクタ１００ａ、１００ｂの２台を有し、それぞれの投影領域Ａ、Ｂを一致させる投影システムである例を示しているが、３台以上のプロジェクタを有してもよい。

図２は、投影システム１０に含まれるプロジェクタ１００、投影制御装置２００および撮像装置３００の構成例を示す図である。プロジェクタ１００と、投影制御装置２００および撮像装置３００との通信は、有線通信であっても無線通信であってもよく、通信プロトコルも特に限定されない。本実施形態では一例として、プロジェクタ１００および投影
制御装置２００は、ＴＣＰ／ＩＰを通信プロトコルとして用いるローカルエリアネットワーク（ＬＡＮ）で装置間の通信が行われるものとする。また、撮像装置３００および投影制御装置２００は、ケーブル等を用いて有線で装置間の通信が行われるものとする。

≪プロジェクタ１００≫
プロジェクタ１００は、投影制御装置２００と通信可能に接続される投影装置である。プロジェクタ１００は、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、投影部１０４、投影制御部１０５、ＶＲＡＭ１０６、操作部１０７、ネットワークＩＦ１０８、画像処理部１０９、映像入力部１１０等を有する。これらは内部バス１１１によって通信可能に接続されている。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。なお、プロジェクタ１００は、投影制御装置２００から予め定められたコマンドを受信することにより、動作制御されてもよい。この場合、プロジェクタ１００は、投影制御装置２００から受信したコマンドに応じた動作を行い、動作の結果を投影制御装置２００に送信する。

ＣＰＵ１０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ１０３に記憶されているプログラムをＲＡＭ１０２に読み込んで実行することにより、プロジェクタ１００の動作を実現する。

ＲＡＭ１０２は、ＣＰＵ１０１がプログラムを実行する際のワークメモリとして用いられる記憶部である。ＲＡＭ１０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ１０２は、他の用途（例えばデータバッファとして）に用いられてもよい。

ＲＯＭ１０３は、ＣＰＵ１０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータなど各種の設定値などが記憶される記憶部である。ＲＯＭ１０３は書き換え可能であってもよい。

投影部１０４は、光源、投影光学系などを有し、投影制御部１０５から供給される投影用画像に基づいて光学像を投影する。本実施形態では、投影部１０４は、液晶パネルを光学変調素子として用いる。そして、投影部１０４は、光源からの光の反射率もしくは透過率を投影用画像に従って制御することにより、投影用画像に基づく光学像を生成し、投影光学系によって投影面に投影する。

投影制御部１０５は、画像処理部１０９から供給される投影用画像のデータを投影部１０４に供給する。

ＶＲＡＭ１０６は、外部装置（例えばＰＣやメディアプレーヤー）から受信した投影用画像のデータを格納するビデオメモリである。

操作部１０７は、キーボタン、スイッチ、タッチパネルなどの入力デバイスを有し、ユーザからプロジェクタ１００への指示を受け付ける。ＣＰＵ１０１は操作部１０７の操作を監視しており、操作部１０７の操作を検出すると、検出した操作に応じた処理を実行する。なお、プロジェクタ１００がリモートコントローラを有する場合、操作部１０７はリモートコントローラから受信した操作信号をＣＰＵ１０１に通知してもよい。

ネットワークＩＦ１０８は、プロジェクタ１００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態では、プロジェクタ１００は、ネットワークＩＦ１０８を通じて、投影制御装置２００と共通のローカルネットワークに接続される。したがって、プロジェクタ１００と投影
制御装置２００との通信はネットワークＩＦ１０８を通じて実行される。

画像処理部１０９は、映像入力部１１０に供給され、ＶＲＡＭ１０６に格納された映像信号に対して様々な画像処理を必要に応じて適用し、投影制御部１０５に供給する。画像処理部１０９は、例えば画像処理用のマイクロプロセッサであってよい。あるいは、画像処理部１０９に相当する機能を、ＣＰＵ１０１がＲＯＭ１０３に記憶されたプログラムを実行することによって実現してもよい。画像処理部１０９は、例えば、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー画面などのＯＳＤを重畳させる処理、キーストーン補正処理、エッジブレンディング処理等の画像処理を行うものとするが、これらに限定されない。

映像入力部１１０は、外部装置（本実施形態では投影制御装置２００）が出力する映像信号を直接または間接的に受信するインタフェースであって、サポートする映像信号に応じた構成を有する。映像入力部１１０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子のうち少なくともいずれか１つ以上を含むものとする。また、映像入力部１１０は、アナログ映像信号を受信した場合、デジタル映像信号に変換してＶＲＡＭ１０６に格納する。

≪投影制御装置２００≫
投影制御装置２００は、外部ディスプレイが接続可能な汎用コンピュータであって、汎用コンピュータに準じた機能構成を有する。投影制御装置２００は、演算装置（プロセッサ）、メモリ、記憶装置、入出力装置等を含む情報処理装置（コンピュータ）と捉えることもできる。投影制御装置２００は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、操作部２０４、表示部２０５、ネットワークＩＦ２０６、映像出力部２０７、通信部２０８等を有する。また、これの機能ブロックは内部バス２０９によって通信可能に接続されている。それらの機能の一部または全部は、ＡＳＩＣやＦＰＧＡなどの専用の論理回路により実現されてもよい。なお、投影制御装置２００は、プロジェクタ１００ａおよび１００ｂに対して、予め定められたコマンドを送信することにより、プロジェクタ１００ａおよび１００ｂの動作を制御することができる。また、投影制御装置２００は、撮像装置３００に対して、予め定められたコマンドを送信することにより、撮像装置３００の動作を制御することができる。

ＣＰＵ２０１は、プログラマブルプロセッサの一例であり、例えばＲＯＭ２０３に記憶されているプログラム（ＯＳやアプリケーションプログラム）をＲＡＭ２０２に読み込んで実行することにより、投影制御装置２００の動作を実現する。

ＲＡＭ２０２は、ＣＰＵ２０１がプログラムを実行する際のワークメモリとして用いられる記憶部である。ＲＡＭ２０２には、プログラムやプログラムの実行に用いる変数などが記憶される。また、ＲＡＭ２０２は、他の用途（例えばデータバッファとして）に用いられてもよい。

ＲＯＭ２０３は、ＣＰＵ２０１が実行するプログラム、メニュー画面などの表示に用いるためのＧＵＩデータ、各種の設定値などが記憶される記憶部である。ＲＯＭ２０３は書き換え可能であってよい。なお、投影制御装置２００は、ＲＯＭ２０３よりも大容量の記憶装置（ＨＤＤやＳＳＤ）を有してもよく、この場合ＯＳやアプリケーションプログラムといった容量の大きいプログラムは記憶装置に記憶してもよい。

操作部２０４は、キーボード、ポインティングデバイス（マウスなど）、タッチパネル、スイッチなどの入力デバイスを有し、ユーザから投影制御装置２００への指示を受け付
ける。なお、キーボードはソフトウェアキーボードであってもよい。ＣＰＵ２０１は操作部２０４の操作を監視しており、操作部２０４の操作を検出すると、検出した操作に応じた処理を実行する。

表示部２０５は、ＯＳやアプリケーションプログラムが提供する画面の表示を行う表示部であって、例えば液晶パネルや有機ＥＬパネルである。なお、表示部２０５は外部装置であってもよい。また、表示部２０５はタッチを検出する機能を備えるタッチディスプレイであってもよい。なお、本実施形態では、プロジェクタ１００の投影領域の調整機能を有する投影制御アプリケーションプログラムのＵＩ画面を表示部２０５に表示するものとするが、後述する映像出力部２０７に接続された外部機器にＵＩ画面を表示させてもよい。

ネットワークＩＦ２０６は、投影制御装置２００を通信ネットワークに接続するインタフェースであり、サポートする通信ネットワークの規格に準拠した構成を有する。本実施形態において投影制御装置２００は、ネットワークＩＦ２０６を通じて、プロジェクタ１００と共通のローカルネットワークに接続される。したがって、投影制御装置２００とプロジェクタ１００との通信はネットワークＩＦ２０６を通じて実行される。

映像出力部２０７は、外部装置（本実施形態ではプロジェクタ１００または映像分配器）に映像信号を送信するインタフェースであり、サポートする映像信号に応じた構成を有する。本実施形態では、映像出力部２０７は、外部装置としてプロジェクタ１００に映像信号を送信する例について説明するが、映像分配器等に映像信号を送信してもよい。映像出力部２０７は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子のうち少なくとも１つ以上を含むものとする。

通信部２０８は、外部機器とシリアル通信等の通信を行うための通信インタフェースであって、例えば、ＵＳＢインタフェースである。通信部２０８は、ＲＳ−２３２Ｃなど他の規格に準じた構成を有してもよい。本実施形態では、撮像装置３００は通信部２０８に接続されるものとするが、撮像装置３００と投影制御装置２００との通信方法に特に制限はなく、両者がサポートしている任意の規格に準拠した有線通信または無線通信を行うことができる。なお、通信部２０８は、外部機器から撮像画像データなどを取得する取得部と捉えることもできる。

≪撮像装置３００≫
撮像装置３００は、例えばデジタルカメラ、ウェブカメラ、ネットワークカメラ等の撮像装置である。撮像装置３００は、プロジェクタ１００または投影制御装置２００等の内蔵カメラであってもよい。本実施形態では、撮像装置３００は、投影面４００の全体を撮像範囲として含むように設置され、撮像範囲が変わらないように固定されているものとする。なお、投影制御装置２００等の外部のカメラを用いる場合は、投影制御装置２００と通信可能に接続されるものとする。撮像装置３００は、投影制御装置２００からの要求に応じて撮像を行い、得られた画像データを投影制御装置２００に送信することができる。

＜キーストーン補正＞
図３は、投影画像の台形補正の一例であるキーストーン補正を示す図である。キーストーン補正は、投影面の法線方向と投影方向（一般的には投影光学系の光軸）とのずれに応じて投影画像に生じる台形歪みを相殺するように元画像を幾何学的変換（変形、射影変換）する補正（幾何補正）である。画像の幾何学的変換は射影変換によって実現できるため、キーストーン補正は幾何補正の変換パラメータを決定する処理であると捉えることもできる。例えば、ＣＰＵ１０１は、矩形上の元画像の各頂点の移動量と移動方向に基づいて
射影変換行列を決定し、画像処理部１０９に与えることができる。

例えば、元画像の座標値を（ｘｓ，ｙｓ）とすると、射影変換による変形後の画像の座標値（ｘｄ，ｙｄ）は以下の式（１）で表わされる。ここで、Ｍは、３×３の行列であって、元画像から変形後の画像への射影変換行列である。射影変換行列Ｍは、一般的に元画像の４隅の座標値と変形後の画像の４隅の座標値とに基づいて決定される。ｘｓｏ、ｙｓｏは、元画像（図３の実線３１０で示す画像）の左上の頂点の座標値である。ｘｄｏ、ｙｄｏは、変形後の画像（図３に一点鎖線３２０で示す画像）において、元画像の頂点（ｘｓｏ，ｙｓｏ）に対応する頂点の座標値である。

また、変形後の画像の座標値（ｘｄ，ｙｄ）から元画像の座標値（ｘｓ，ｙｓ）への変換は、以下の式（２）で表される。射影変換行列Ｍ^-1は、射影変換行列Ｍの逆行列である。ＣＰＵ１０１は、変形するためのパラメータとして、射影変換行列Ｍ^-1とオフセット値であるｘｓｏ、ｙｓｏ、ｘｄｏ、ｙｄｏとを画像処理部１０９に与える。画像処理部１０９は、式（２）に従って変形後の座標値（ｘｄ，ｙｄ）に対応する元画像の座標（ｘｓ、ｙｓ）を求める。

ここで、式（２）で得られる元画像の座標ｘｓ、ｙｓがいずれも整数であれば、画像処理部１０９は元画像の座標値（ｘｓ，ｙｓ）をそのままキーストーン補正後の画像の座標値（ｘｄ，ｙｄ）とすることができる。一方、式（２）で得られる元画像の座標が整数にならない場合、画像処理部１０９は、元画像の座標値（ｘｓ，ｙｓ）を、複数の周辺画素の値を用いた補間演算により求めることができる。補間演算は、例えばバイリニア、バイキュービックなど、公知の補間演算のいずれかを用いて行うことができる。なお、式（２）で得られる元画像の座標が、元画像の外部の領域の座標である場合、画像処理部１０９は、キーストーン補正後の画像の座標値（ｘｄ，ｙｄ）を黒（画素階調値０）またはユーザが設定した背景色とするとよい。このようにして、画像処理部１０９は、キーストーン補正後の画像の全座標についての画素値を求め、変形後の画像を作成することができる。ここでは、プロジェクタ１００のＣＰＵ１０１から画像処理部１０９に、射影変換行列Ｍ^−１が供給されるものとしたが、ＣＰＵ１０１は射影変換行列Ｍを画像処理部１０９に供給し、画像処理部１０９が射影変換行列Ｍ^−１を求めてもよい。

なお、画像処理部１０９は、キーストーン補正後の画像の頂点の座標は、例えば投影画像の個々の頂点について、頂点が所望の位置に投影されるように操作部１０７を通じてユーザから移動量を入力させることにより取得してもよい。この際、ユーザから移動量の入力を支援するため、ＣＰＵ２０１は、投影制御アプリケーションプログラムの機能を用い、プロジェクタ１００にテストパターン（画像）を投影させるようにしてもよい。

＜処理内容＞
図４は、本実施形態に係る投影制御装置２００によって行われる投影制御処理の一例を示すフローチャートである。本処理は、ＣＰＵ２０１が投影制御に関するアプリケーションプログラムを実行することにより後述のステップＳ４０１〜Ｓ４０５等の処理が実装される。

≪ステップＳ４０１≫
Ｓ４０１では、ＣＰＵ２０１は、投影制御装置２００が通信可能なプロジェクタ１００のうち、位置合わせ処理の対象とする複数のプロジェクタ１００の選択を受け付け、レイアウトを設定する。

図５Ａ〜図５Ｃは、表示部２０５に表示されるＧＵＩ画面の一例を示す図である。ユーザは投影制御装置２００の操作部２０４を通じてＧＵＩ画面を操作する。

図５Ａは、レイアウト選択画面５００の一例を示す図である。ユーザは、まず、レイアウト選択画面５００において、所望のレイアウトを選択する。本実施形態では、レイアウトとしてスタック投影を選択するためのボタン５０１、タイル投影を選択するためのボタン５０２が表示される例について示す。スタック投影を行う場合はボタン５０１を押下する。また、タイル投影を行う場合はボタン５０２を押下する。本実施形態では、スタック投影を行う例について示す。

図５Ｂは、プロジェクタ選択画面５０３の一例を示す図である。ＣＰＵ２０１は、図５Ａに示すボタン５０１が押下されたことを検出すると、図５Ｂに示すプロジェクタ選択画面５０３を表示部２０５に表示するよう制御を行う。検索ボタン５０４は、選択可能なプロジェクタ１００を検索するための操作部である。リストビュー５０５は、選択可能なプロジェクタ１００を表示するための領域である。初期表示の時点では、リストビュー５０５にはプロジェクタは表示されていない。Ｎｅｘｔボタン５０６は、後述する撮像装置選択画面へ遷移するための操作部である。本実施形態では、プロジェクタ１００を未選択の場合は、例えば、Ｎｅｘｔボタン５０６を非活性にして、押下することができないようにする。ＣＰＵ２０１は、ユーザによって検索ボタン５０４が押下されたことを検出すると、選択可能なプロジェクタ１００をリストビュー５０５に表示する。具体的には以下の処理が行われる。

まず、ＣＰＵ２０１は、ネットワークＩＦ２０６を通じて、プロジェクタ名やＩＰアドレスに関する情報を要求する所定のコマンドをネットワーク上にブロードキャストする。なお、このときに要求する情報は、プロジェクタ名やＩＰアドレスに限らず、例えばキーストーン補正の有無、キーストーン補正を行っている場合は変形量、タイル投影の場合にはエッジブレンディングの設定値などを要求してもよい。

ネットワークに接続されている個々のプロジェクタ１００のＣＰＵ１０１は、ネットワークＩＦ１０８を通じて上記のコマンドを受信すると、要求された情報を含むデータを投影制御装置２００に対して送信する。ＣＰＵ２０１は、コマンドに応答してプロジェクタ１００から送信されたデータを受信し、当該データに含まれる情報を抽出してリストビュー５０５に表示する。なお、リストビュー５０５に表示されるプロジェクタの並び順は、検出された順であってもよいし、特定の規則に基づいてソートしてもよい。

図５Ｃは、検索結果の表示の一例を示す図である。図５Ｃに示すリストビュー５０５には、投影制御装置２００に接続されているプロジェクタ１００ａ、１００ｂの２台が表示されている。なお、スタック投影を構成するプロジェクタ以外のプロジェクタが同一ネットワークに接続されていれば、同様にリスト表示される。

次に、ＣＰＵ２０１は、ユーザの操作に応じてプロジェクタ１００の選択を受け付ける。チェックボックス５０７は、プロジェクタ１００を選択するための操作部である。図５Ｃに示す例では、プロジェクタＡ（ＩＰアドレスがxxx.xxx.xxx.x）は、図１に示すプロ
ジェクタ１００ａである。また、プロジェクタＢ（ＩＰアドレスがyyy.yyy.yyy.y）は、
図１に示すプロジェクタ１００ｂである。スタック投影に使用しないプロジェクタがリストビュー５０５に表示されている場合は、ユーザはチェックボックス５０７にチェックを入れなければよい。選択されたプロジェクタに関する情報（例えば、プロジェクタ名、ＩＰアドレス、パネル解像度など）は投影制御装置２００のＲＡＭ２０２に格納される。ＣＰＵ２０１は、ユーザによってＮｅｘｔボタン５０６が押下されたことを検出すると、は図４のＳ４０２の処理に遷移する。

≪ステップＳ４０２≫
Ｓ４０２では、ＣＰＵ２０１は、Ｓ４０１で選択されたプロジェクタそれぞれに対して、ネットワークＩＦ２０６を通じてテストパターンの投影を指示するコマンドを送信する。このとき、上述のキーストーン補正によって変形が行われている場合には、キーストーン補正の解除を指示するコマンドも送信するものとする。本実施形態では、テストパターンは、各プロジェクタで生成される例について説明する。表示させるテストパターンは、各プロジェクタ１００の投影可能領域の大きさや位置を確認しやすくするためのテストパターンであり、例えばラスタ画像やクロスハッチ画像などが挙げられる。ここで、投影可能領域は、投影できる最大の領域であって、例えばプロジェクタ１００が全白画像を変形なしで投影した場合に、投影面に投影される全白画像（投影画像）の範囲（形状）を示す。なお、テストパターンは特に限定されず、直線や図形、文字列等でもよいが、これらだけではなく、投影可能領域の外形が認識できるようなパターンと組み合わせて用いるとよい。プロジェクタ１００のＣＰＵ１０１は、ネットワークＩＦ１０８を通じてコマンドを受信すると、受信したコマンドに従ってＶＲＡＭ１０６上にテストパターンを生成し、投影制御部１０５を制御して当該テスパターンを投影する。なお、プロジェクタ１００のＣＰＵ１０１は、投影制御装置２００から取得したテストパターンを投影してもよい。具体的には、投影制御装置２００は、投影制御装置２００が保持している（または生成した）所定のテストパターンの表示を指示するコマンドを個々のプロジェクタ１００に対して送信する。そして、プロジェクタ１００のＣＰＵ１０１は、投影制御装置２００から取得したテストパターンを投影する。Ｓ４０１で選択されたすべてのプロジェクタにテストパターンを投影するコマンドを送信すると、Ｓ４０３の処理に遷移する。

≪ステップＳ４０３≫
Ｓ４０３では、ＣＰＵ２０１は、位置合わせ処理に用いる撮像装置３００の選択を受け付ける。

図６は、投影制御装置２００の表示部２０５に表示される撮像装置選択画面６００の一例を示す図である。検索ボタン６０１は、撮像装置３００を検索するための操作部である。ドロップダウンリスト６０２は、選択可能な撮像装置３００を選択するための操作部である。ＣＰＵ２０１は、検索ボタン６０１の操作を検出すると、投影制御装置２００に接続された撮像装置の情報を取得し、ドロップダウンリスト６０２に表示するよう制御を行う。撮像装置の情報は、例えば、撮像装置の製品名や品番等が挙げられる。本実施形態では、ユーザは検索された複数の撮像装置の中から所望の撮像装置を１台選択するものとするが、位置合わせ処理に用いる撮像装置を２台以上選択できてもよい。本実施形態では、図１の撮像装置３００を示す「Ｃａｍｅｒａ００１」が選択されたものとする。

画像領域６０３は、選択された撮像装置３００が撮像した画像を表示するための領域である。ＣＰＵ２０１は、撮像装置３００が選択されると、撮像装置３００に対して撮像を指示するコマンドを送信する。そして、ＣＰＵ２０１は、撮像装置３００によって撮像された撮像画像データを取得して、撮像画像を画像領域６０３に表示する。画像領域６０３に表示される画像は、ライブビュー画像であることが望ましいが、静止画像であってもよい。領域６０４ａ、６０４ｂは、それぞれプロジェクタ１００ａ、１００ｂの投影画像を示す。この段階では、後述する位置合わせ処理を実行する前であるため、領域６０４ａ、
６０４ｂの形状や位置は必ずしも一致していない。図６では、各プロジェクタの投影可能領域を区別しやすくするために便宜的にハッチングパターンを変えているが、各プロジェクタが投影するテストパターンは同一であってもよく、異なってもよい。ユーザは、画像領域６０３を観察することで、撮像装置３００の撮像範囲内にプロジェクタ１００の投影画像が全て収まるための調整（撮像装置の設置位置の調整やズーム調整等）を容易に行うことができる。

Ｂａｃｋボタン６０５は、プロジェクタ選択画面へ遷移するための操作部である。ＣＰＵ２０１は、Ｂａｃｋボタン６０５の操作を検出すると、図５Ｃに示すプロジェクタ選択画面に戻るよう制御を行う。Ａｄｊｕｓｔボタン６０６は、撮像装置３００の設定を行うための操作部である。ＣＰＵ２０１は、Ａｄｊｕｓｔボタン６０６の操作を検出すると、選択された撮像装置３００に対して撮像を促すコマンドを送信して、撮像装置３００によって撮像された撮像画像データを取得する。そして、ＣＰＵ２０１は、撮像画像データを解析して撮像装置３００の各種パラメータ（絞り数値やシャッタースピードなど）を適切に設定する。なお、撮像装置３００が各種パラメータを設定してもよい。

≪ステップＳ４０４≫
Ｓ４０４では、ＣＰＵ２０１は、Ｓ４０２においてテストパターンを投影するコマンドを送信したプロジェクタ１００のそれぞれに対して、ネットワークＩＦ２０６を通じて、テストパターンを非表示にするコマンドを送信する。

≪ステップＳ４０５≫
Ｓ４０５では、ＣＰＵ２０１は位置合わせ処理を行う。本実施形態に係る位置合わせ処理は、複数のプロジェクタの投影領域を合わせる処理である。

図７は、本実施形態に係る位置合わせ処理の一例を示すフローチャートである。

Ｓ７０１では、ＣＰＵ２０１は、ネットワークＩＦ２０６を通じて、Ｓ４０１で選択されたプロジェクタ１００のうちのいずれか１台に対して全白画像を投影させるコマンドを送信する。コマンドを受信したプロジェクタ１００のＣＰＵ１０１は、ＶＲＡＭ１０６上に全白画像を生成して、投影制御部１０５を制御して全白画面を投影する。ここで、Ｓ４０２においてキーストーン補正は解除されているため、投影面には補正処理を行う前の投影領域が表示される。

なお、Ｓ７０１でＣＰＵ２０１が投影させる画像は全白画像以外でもよく、投影可能領域の位置または形状が認識できる画像であればよい。また、全白画像はプロジェクタ１００以外で生成されてもよい。例えば、不図示の信号源を制御することによって生成されてもよい。また、全白画像は、投影制御装置２００によって生成されてもよい。この場合、投影制御装置２００は映像出力部２０７を通じて全白画像を出力し、プロジェクタ１００は外部入力画像である全白画像を映像入力部１１０から入力すればよい。

Ｓ７０２では、ＣＰＵ２０１は、投影面を撮像した撮像画像データを取得する。具体的には、ＣＰＵ２０１は、撮像装置３００に対して投影面を撮像させるコマンドを送信する。そして、ＣＰＵ２０１は、通信部２０８を介して、撮像装置３００から撮像画像データを取得する。ここで、撮像画像は、１台のプロジェクタ１００（プロジェクタ１００ａまたは１００ｂ）が投影可能領域の全体に所定の画像を投影した状態で撮像された画像である。

Ｓ７０３では、ＣＰＵ２０１は、Ｓ７０２で取得した撮像画像データを解析して、共通座標系からパネル座標系に変換するための射影変換行列Ｔ（第２のパラメータ）を求める
。具体的には、ＣＰＵ２０１は、撮像画像データを解析することによりＳ７０１で投影させたプロジェクタ１００の投影可能領域の形状や位置を検出する。解析手法は、公知の種々の技術を用いることができる。そして、ＣＰＵ２０１は、共通座標系における座標値をＳ７０１で投影させたプロジェクタ１００の投影するパネル座標系の座標値に射影する射影変換行列Ｔを求める。共通座標系は、本実施形態では、撮像画像データ上の座標系（撮像座標系）である。また、パネル座標系は、各プロジェクタの投影画像データ上の座標系である。射影変換行列Ｔは、図３を用いて説明したキーストーン補正の射影変換行列の算出と同様の方法で求められる。ここで、キーストーン補正は同一座標平面上での変形であり、Ｓ７０３では異なる座標平面間での座標変換であるが、２つの四角形の間の射影変換という意味では同じである。ＣＰＵ２０１は、求めた射影変換行列Ｔを各プロジェクタ１００に対応付けてＲＡＭ２０２に格納する。Ｓ７０３の処理では、Ｓ７０２で取得した投影画像のみが撮像画像中に存在する例について説明したが、実際には撮像画像には外光等が含まれる場合がある。この場合は、あらかじめ、全てのプロジェクタが投影していない状態で撮像し、Ｓ７０２で取得した撮像画像との差分をとることで、投影画像のみが得られるようにしてもよい。

Ｓ７０４では、ＣＰＵ２０１は、Ｓ４０１においてユーザに選択されたすべてのプロジェクタ１００（プロジェクタ１００ａ、１００ｂ）について射影変換行列Ｔ（射影変換行列Ｔａ、Ｔｂ）が算出されたか否かを判断する。ここで、射影変換行列Ｔａは、共通座標系からプロジェクタ１００ａのパネル座標系に変換するための射影変換行列である。また、射影変換行列Ｔｂは、共通座標系からプロジェクタ１００ｂのパネル座標系に変換するための射影変換行列である。ユーザに選択されたすべてのプロジェクタ１００について射影変換行列Ｔが算出されている場合はＳ７０５に遷移する。ユーザに選択されたすべてのプロジェクタ１００について射影変換行列Ｔが算出されていないプロジェクタ１００がある場合はＳ７０１に遷移する。

Ｓ７０５では、ＣＰＵ２０１は、共通座標系におけるパターン表示領域を決定する。

図８Ａは、共通座標系における複数の投影可能領域を示す図である。画像８００は、Ｓ７０３で算出した各プロジェクタの投影可能領域を重ね合わせた画像を示す。領域８０１ａは、プロジェクタ１００ａの投影可能領域を示す。また、領域８０１ｂは、プロジェクタ１００ｂの投影可能領域を示す。投影制御装置２００のＣＰＵ２０１は、画像８００において、全てのプロジェクタの投影可能領域を含む領域に対して各プロジェクタのパターン表示領域を決定する。

図８Ｂは、共通座標系におけるに各プロジェクタのパターン表示領域を示す図である。図８Ｂでは、図１に示す投影システムのような２台のプロジェクタを用いた場合のパターン表示領域の一例を示している。領域８０２内の「１」と記載された領域は、プロジェクタ１００ａのパターン表示領域を示す。また、領域８０２内の「２」と記載された領域は、プロジェクタ１００ｂのパターン表示領域を示す。図８Ｂの例では、プロジェクタ１００ａおよび１００ｂのパターン表示領域をチェック模様状に配置している例を示しているがこれに限定されず、複数のプロジェクタが投影するパターン表示領域が投影面上で重なり合わなければよい。

ここで、ＣＰＵ２０１は、投影可能領域の広範囲にパターン表示領域を分布することが望ましい。これは、パターン表示領域が投影可能領域の一部に偏ると、パターン表示領域が多く存在する領域については高精度に位置合わせできるが、パターン表示領域が少ない領域については位置合わせの精度が低下するからである。本実施形態では、パターン表示領域をチェック模様状に広く分布させることで、パターン表示領域が偏らないようにしている。ここで、撮像装置３００の撮像座標系は、スクリーン面の座標系が射影されたもの
であるため、撮像座標系で重ならないように決定したパターン表示領域は、スクリーン面上でも重ならない。そのため、本実施形態では、撮像座標系を共通座標系としてパターン表示領域を決定しているが、スクリーン座標系を共通座標系としてテストパターン表示領域を決定してもよい。

Ｓ７０６では、ＣＰＵ２０１は、各プロジェクタ１００の射影変換行列Ｔを用いて、共通座標系におけるパターン表示領域内の座標値をパネル座標系における座標値に変換する。

図８Ｃは、図８Ｂに示す共通座標系におけるパターン表示領域を、プロジェクタ１００ａ、１００ｂのパネル座標系に変換した領域の例を示す。図８Ｃの「１」、「２」で示す領域は、プロジェクタ１００ａ、１００ｂそれぞれのパターン画像８０３ａ、８０３ｂにおけるパターン表示領域である。図８Ｃの黒で示す領域は、プロジェクタ１００ａ、１００ｂそれぞれのパターン画像８０３ａ、８０３ｂにおけるパターン非表示領域である。共通座標系では、パターン表示領域は整列しているが、図８Ｃに示すように、パネル座標系では、パターン画像８０３ａのパターン表示領域とパターン画像８０３ｂのパターン表示領域は歪んでいることがわかる。

Ｓ７０７では、ＣＰＵ２０１は、各プロジェクタのパターン表示領域（図８Ｃの「１」、「２」で示される領域）を表す情報を各プロジェクタに送信して、パターン画像を投影させる指示を行う。プロジェクタ１００のＣＰＵ１０１は、自プロジェクタのパターン表示領域を表す情報を受信して、位置合わせ用の基準画像（基準テストパターン）を加工したパターン画像を投影する。基準画像は、全面にパターンが表示された画像である。

図８Ｄは、本実施形態に係る基準画像８０４の一例を示す図である。本実施形態では、基準画像８０４は、プロジェクタ１００のＲＯＭ１０３に格納されている。また、基準画像８０４のサイズは、パターン画像のサイズと同じのサイズとする。基準画像８０４は、当該基準画像８０４内の位置（座標）に応じて異なるドットパターンを有している。これにより、後述する処理において基準画像８０４の一部の領域のみが取得される場合でも、ＣＰＵ２０１は、ドットパターンを解析することにより、当該一部の領域が基準画像８０４内のどの領域であるかを特定できる。

プロジェクタ１００のＣＰＵ１０１は、上記のパターン表示領域を表す情報および画像投影指示を受け付けると、ＲＯＭ１０３から基準画像８０４を読み出す。そして、ＣＰＵ１０１は、パターン表示領域を表す情報を用いて、上記の基準画像の一部をマスクする。具体的には、ＣＰＵ２０１は、パターン表示領域と基準画像８０４とを照らし合わせて、基準画像８０４のうちパターン非表示領域内の画素を黒（画素階調値０）にする。なお、マスクを行う方法は特に限定されず、パターン非表示領域に光が投影されないように制御すればよい。また、各プロジェクタ１００は、それぞれ異なる基準画像を有していてもよい。

図８Ｅは、各プロジェクタ１００によって投影される投影画像データを示す図である。投影画像データ８０５ａ、８０５ｂは、それぞれプロジェクタ１００ａ、１００ｂによって投影される投影画像データの一例を示す画像である。各プロジェクタ１００のＣＰＵ１０１は、それぞれ生成した投影画像データ８０５ａ、８０５ｂをＶＲＡＭ１０６上に展開し、投影制御部１０５を制御して画像を投影する。

なお、パターン画像の生成は、他の方法により行われても良い。例えば、パターン画像は投影制御装置２００によって生成されてもよい。この場合、パターン画像は、映像出力部２０７を通じて出力され、外部入力画像としてプロジェクタの映像入力部１１０へ入力
することができる。あるいは、不図示の信号源を制御することにより基準画像（基準テストパターン）を生成して、各プロジェクタでは上記のパターン非表示領域をマスクする処理のみを行ってもよい。

Ｓ７０８では、投影制御装置２００のＣＰＵ２０１は、Ｓ７０２と同様に、撮像装置３００に対して撮像を指示するコマンドを送信して、投影面を撮像した画像データを取得する。ここで、投影面には、各投影装置１００それぞれのパターン画像が投影されている。

図８Ｆは、Ｓ７０８で取得した撮像画像データの一例を示す図である。画像８０６は、プロジェクタ１００ａ、１００ｂによって投影された画像である。上述の投影画像データ８０５ａ、８０５ｂにおけるパターン表示領域が重なることなく投影されるので、画像８０６が取得される。図８Ｆでは、便宜的に、各プロジェクタの投影領域、及びパターン表示領域（「１」、「２」）を表示しているが、実際には各プロジェクタから基準画像８０４の一部が投影されている。

Ｓ７０９では、ＣＰＵ２０１は、ネットワークＩＦ２０６を通じて各プロジェクタ１００にコマンドを送信し、投影していたパターン画像を非表示にさせる。

Ｓ７１０では、ＣＰＵ２０１は、Ｓ７０８で取得した撮像画像データを解析して、各プロジェクタが投影する画像に分離する。具体的には、Ｓ７０５で決定した各プロジェクタのパターン表示領域に基づいて、各プロジェクタが投影する画像に分離する。これにより、全てのプロジェクタがパターン画像を（同時に）投影している状態で、投影面を１回撮像した撮像画像データのみで、各プロジェクタのパターン画像に相当する画像を取得することができる。よって、各プロジェクタの位置合わせ処理の処理時間を短縮することができる。

Ｓ７１１では、ＣＰＵ２０１は、Ｓ７１０で分離した画像から特徴点を検出して、パネル座標系の座標と対応付ける。具体的には、ＣＰＵ２０１は、検出した撮像画像のプロジェクタ毎の特徴点と、対応するプロジェクタの投影画像データ８０５ａまたは８０５ｂにおけるパターン表示領域の特徴点との組を対応付ける。本実施形態では、上述の通り、基準画像８０４内の位置（座標）に応じて異なるドットパターンが設けられているため、検出した各特徴点（共通座標系）が、パネル座標系内のどの座標に対応するかを特定できる。これにより、後述の通り、共通座標系からパネル座標系に変換するための射影変換行列を算出することができる。なお、特徴点の取得方法は特に限定されないが、例えば、図８Ｄに示す基準画像との相関演算を用いてもよい。

Ｓ７１２では、ＣＰＵ２０１は、プロジェクタ１００ａ、１００ｂの投影領域が目標領域と一致するように投影領域を変形するための射影変換行列Ｍａ、Ｍｂ（第１のパラメータ）を算出する。本実施形態では、射影変換行列Ｍａ、Ｍｂは、パネル座標系における投影画像を、当該パネル座標系における目標領域に変形するための射影変換行列である。

図８Ｇは、共通座標系における目標領域（領域８０７）の例を示す図である。目標領域の決定方法は特に限定されない。例えば、ＣＰＵ２０１が表示部２０５にＧＵＩを表示して、ユーザによる目標領域の指定を促してもよい。あるいは、複数台のプロジェクタのうち１台を基準プロジェクタとしてユーザに選択させ、選択されたプロジェクタの投影領域を目標領域としてもよい。また、撮像画像データから投影面４００の枠を検知して当該枠内の領域を目標領域としてもよい。

図９は、Ｓ７１２における射影変換行列Ｍａ、Ｍｂの算出方法の一例を示す図である。ＣＰＵ２０１は、共通座標系からパネル座標系に変換するための射影変換行列Ｔａ’、Ｔ
ｂ’を求める。具体的には、Ｓ７１１で対応付けたプロジェクタごとの４つ以上の特徴点と、対応するプロジェクタの投影画像データ８０５ａ、８０５ｂの特徴点との組に基づいて射影変換行列Ｔａ’、Ｔｂ’を求める。そして、ＣＰＵ２０１は、共通座標系における目標領域を射影変換行列Ｔａ’、Ｔｂ’で変換して、パネル座標系における目標領域を求める。そして、ＣＰＵ２０１は、パネル座標系における全領域を目標領域に変換するための射影変換行列Ｍａ、Ｍｂを求める。本処理では、ＣＰＵ２０１は、第１のパラメータを生成する生成部と捉えることもできる。

ここで、基準画像８０４を用いて投影画像データ８０５ａ、８０５ｂを生成することにより、Ｓ７０３で算出される射影変換行列Ｔａ、Ｔｂ（第２のパラメータ）よりも精度が高い射影変換行列Ｔａ’、Ｔｂ’を得ることができる。この理由として、Ｓ７０３で算出される射影変換行列Ｔａ、Ｔｂは、プロジェクタ１００ごとに画像を投影した状態で投影面を撮像することにより、それぞれの投影可能領域を取得して、当該投影可能領域の形状に基づいて求められている。それに対して、Ｓ７１２で算出される射影変換行列Ｔａ’、Ｔｂ’は、複数のプロジェクタ１００がパターン画像を同時に投影している状態で投影面を撮像することにより、それぞれの投影画像から得られる特徴点に基づいて求められている。よって、Ｓ７１２では、同時に投影している状態で投影面を撮像することにより、個別に投影している間の投影面（スクリーン等）の揺れの影響を受けないため、当該揺れによって生じる各プロジェクタ間の位置合わせの誤差を低減している。また、射影変換行列Ｔａ’、Ｔｂ’は、多くの（４つ以上の）特徴点を用いて求められることも精度が高い理由として挙げられる。これは、多くの特徴点を用いることで１つの特徴点における計測誤差の影響が少なるためである。誤差が生じる要因としては、例えば、部分的なスクリーンの歪みや障害物等が挙げられる。

図８Ｈは、パネル座標系における目標領域を示す。領域８０８ａ、８０８ｂは、それぞれプロジェクタ１００ａ、１００ｂのパネル全面（パネルの表示可能領域）を示す。領域８０９ａ、８０９ｂは、それぞれプロジェクタ１００ａ、１００ｂのパネル座標系における目標領域を示す。

Ｓ７１３では、ＣＰＵ２０１は、Ｓ７１２で算出したプロジェクタ１００ごとの射影変換行列Ｍａ、Ｍｂを、ネットワークＩＦ２０６を通じて各プロジェクタに送信する。各プロジェクタ１００のＣＰＵ１０１は、ネットワークＩＦ１０８を通じて射影変換行列Ｍａ、Ｍｂを受信すると、画像処理部１０９に対して受信した射影変換行列Ｍａ、Ｍｂを設定して変形処理を実行する。以上により、位置合わせ処理が完了する。

＜本実施形態の有利な効果＞
本実施形態によれば、複数台のプロジェクタの位置合わせにおいて、各プロジェクタのパターン表示領域を投影面上で重ならない位置に投影することで、１回の撮像で複数台のプロジェクタの投影画像の位置合わせが可能となる。それにより、位置合わせの処理時間を短縮することができるとともに、投影面の揺れが発生した場合の位置合わせ誤差を低減することができる。

（実施形態２）
本実施形態では、タイル投影を行う投影システムの例について説明する。タイル投影は、複数台のプロジェクタの投影面を一部の領域を重畳させて並べることによって大画面を形成する投影方法である。本実施形態では、４台のプロジェクタ１００を用いる例について説明する。

＜システム構成＞
図１０は、本実施形態に係る投影システム１１の一例を示す図である。本実施形態に係
る投影システム１１は、プロジェクタ１００ａ〜１００ｄ、投影制御装置２００および撮像装置３００等を有する。図１０では、４台のプロジェクタ１００ａ〜１００ｄそれぞれの投影可能領域Ａ〜Ｄの一部を投影面４００上で重畳させ、位置合わせが完了した状態を示している。図１０において、図１と同じ構成要素については、同一の符号を付与し、説明を省略する。

＜処理内容＞
本実施形態では、タイル投影を行う場合の位置合わせ処理について説明する。本実施形態の処理は、Ｓ４０１のレイアウト選択で、ユーザによって「タイル投影」が選択された場合の処理である。また、本実施形態では、実施形態１のパターン表示領域を決定する処理（Ｓ７０５）とは、共通座標系におけるパターン表示領域の決定方法が異なる。その他の処理は、上述の実施形態１と同様に図４および図７のフローチャートに示す処理によって実行される。

図１１Ａ〜図１１Ｃは、本実施形態に係るパターン画像および撮像画像を示す図である。図１１Ａは、Ｓ７０３で算出した各プロジェクタの投影可能領域１０００ａ〜１０００ｄを重ね合わせた画像（画像１０００）を示す図である。図１１Ｂは、共通座標系におけるパターン表示領域の一例を示す図である。

本実施形態の投影システム１１は、４台のプロジェクタ１００ａ〜１００ｄを用いたタイル投影を行う。プロジェクタ１００ａ〜１００ｄのそれぞれ投影領域１０００ａ〜１０００ｄは重畳領域と非重畳領域とを有する。重畳領域とは、複数のプロジェクタからの投影画像が重なっている領域である。非重畳領域とは、複数のプロジェクタからの投影画像が重なっていない領域である。重畳領域では、ＣＰＵ２０１は、重なっている領域に対して画像を投影しているプロジェクタの台数に応じてパターン表示領域を割り振る。図１１Ｂ中の「１」と記載された領域は、プロジェクタ１００ａのパターン表示領域を示す。同様に、図１１Ｂ中の「２」〜「４」と記載された領域は、それぞれプロジェクタ１００ｂ〜１００ｄのパターン表示領域を示す。

図１１Ｃは、図１１Ｂとは別のパターン表示領域の例を示す図である。図１１Ｃの例では、ＣＰＵ２０１は、プロジェクタ１００ごとに、重畳領域におけるパターン表示領域の割合を、非重畳領域におけるパターン表示領域の割合よりも高くなるようにパターン表示領域を決定している。一般に、複数の投影領域のずれが顕著に視認されるのは重畳領域であると考えられる。よって、プロジェクタ１００ごとの重畳領域におけるパターン表示領域の割合を非重畳領域におけるパターン表示領域の割合より高くすることにより、Ｓ７１１において検出される特徴点も多くなるため、重畳領域の位置合わせがより高精度になる。

なお、タイル投影を行う場合、Ｓ７１２において決定する目標領域はタイル投影の外形であると考えられる。そのため、プロジェクタ１００の配置と重畳領域の幅等に基づいて、ＣＰＵ２０１が、共通座標系における各プロジェクタ１００ａ〜１００ｄの目標領域を求めてもよい。

＜本実施形態の有利な効果＞
以上説明したように、本実施形態によれば、タイル投影時の位置合わせにおいて、パターン表示領域を投影面上で重ならない位置に投影することで、１回の撮像で複数台のプロジェクタの投影画像の位置合わせが可能となる。これにより、位置合わせの処理時間を短縮することができるとともに、投影面の揺れが発生した場合の位置合わせ誤差を低減することができる。

（変形例）
上述の実施形態のＳ７０１〜Ｓ７０３では、ユーザに選択されたプロジェクタ１００について、１台ずつパターン画像を投影した状態で撮像を行ったが、複数のプロジェクタ１００がパターン画像を投影した状態で撮像を行ってもよい。例えば、図１に示す投影システムのように２台のプロジェクタ１００を用いる場合、各プロジェクタ１００に投影させるパターン画像の色を変えてそれぞれ投影する。そして、２台のプロジェクタ１００が異なる色のパターン画像を投影している状態で投影面を撮像し、当該撮像された画像を解析することにより、各プロジェクタの投影可能領域を検出してもよい。このように、プロジェクタ１００ごとにパターン画像の色を変える場合は、Ｓ７０１で複数のプロジェクタ１００に（同時に）異なるパターン画像を表示させる。そして、Ｓ７０２で、当該複数のプロジェクタ１００が投影している状態で撮像する。Ｓ７０３で、各プロジェクタそれぞれの投影可能領域を検出して射影変換行列を算出する。

上述の実施形態のＳ７０１〜Ｓ７０３では、投影面の撮像画像データに基づいて、複数の投影可能領域を取得したが、例えば、ユーザがＧＵＩを用いて複数の投影可能領域を指定してもよい。

上述の実施形態では、スタック投影またはタイル投影を行う例について説明したが、複数の投影領域を重畳させる投影であれば上述の処理を適用可能である。

なお、本発明は上述の実施形態に限定されない。また、実施形態で説明された構成要素の全てが本発明に必須とは限らない。実施形態における個々の機能（機能ブロック）は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアとの組み合わせによって実現することができる。また、１つの機能は複数のハードウェアで実現されてもよい。また、１つのハードウェアが複数の機能を実現してもよい。また、１つ以上の機能は、１つ以上のプログラマブルプロセッサ（ＣＰＵ、ＭＰＵなど）がメモリに読み込まれたコンピュータプログラムを実行することにより実現されてもよい。１つ以上の機能をハードウェアで実現する場合、ディスクリート回路や、ＦＰＧＡ、ＡＳＩＣといった集積回路によって実現することができる。

また、実施形態の説明において、ＧＵＩを示す図を用いたが、それらは一例であり、ＧＵＩのレイアウトやコンポーネントの種類、画面遷移などは本発明の要旨を逸脱しない範囲で、省略、置き換え、変更を行うことができる。

（その他）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：プロジェクタ １０５：投影制御部
２００：投影制御装置 ２０１：ＣＰＵ２０１ ２０７：映像入力部
３００：撮像装置

Claims (13)

1. 複数の投影装置それぞれに対してパターン画像を投影させるように制御する制御手段と、
   前記複数の投影装置が前記パターン画像を同時に投影している状態で、投影面における前記複数の投影装置の投影領域を含む範囲を撮像した第１の撮像画像データを取得する取得手段と、
   前記第１の撮像画像データに基づいて、前記複数の投影装置それぞれの投影領域の少なくともいずれかを変形するための第１のパラメータを生成する生成手段と、
   を有し、
   各パターン画像は、パターンを表示するパターン表示領域と、パターンを表示しないパターン非表示領域とを含む画像であって、
   前記制御手段は、前記複数の投影装置が投影する前記パターン表示領域が前記投影面上で重なり合わないように各パターン画像の前記パターン表示領域を決定する、
   ことを特徴とする制御装置。
2. 前記取得手段は、各投影装置がそれぞれの投影可能領域の全体に所定の画像を投影した状態で撮像された前記投影面の第２の撮像画像データを前記投影装置ごとに取得し、
   前記制御手段は、前記第２の撮像画像データに基づいて、前記投影可能領域を前記投影装置ごとに検出する、
   ことを特徴とする請求項１に記載の制御装置。
3. 前記取得手段は、複数の投影装置がそれぞれの投影可能領域の全体に所定の画像を投影した状態で撮像された前記投影面の第２の撮像画像データを取得し、
   前記制御手段は、前記第２の撮像画像データに基づいて、前記投影可能領域を前記投影装置ごとに検出する、
   ことを特徴とする請求項１に記載の制御装置。
4. 前記制御手段は、各投影装置の前記投影可能領域に基づいて、投影装置ごとに各パターン画像の前記パターン表示領域を決定する、
   ことを特徴とする請求項２または３に記載の制御装置。
5. 前記制御手段は、
   共通座標系における各投影装置の前記投影可能領域に基づいて、共通座標系からパネル座標系に射影変換するための第２のパラメータを前記投影装置ごとに取得し、
   前記共通座標系で前記パターン表示領域が重なり合わないように各パターン表示領域を決定し、
   前記第２のパラメータを用いて、前記共通座標系の前記パターン表示領域を射影変換することで、前記パネル座標系の前記パターン表示領域を前記投影装置ごとに決定する、
   ことを特徴とする請求項２から４のいずれか一項に記載の制御装置。
6. 各パターン表示領域は、前記投影可能領域の広範囲に分布する、
   ことを特徴とする請求項２から５のいずれか一項に記載の制御装置。
7. 各パターン画像は、所定の基準画像に対して、前記パターン非表示領域をマスクした画像である、
   ことを特徴とする請求項１から６のいずれか一項に記載の制御装置。
8. 前記制御手段は、タイル投影を行う場合、前記投影装置ごとに、前記複数の投影装置の投影領域が重畳する領域における前記パターン表示領域の割合を、前記重畳する領域以外
   の領域における前記パターン表示領域の割合より高くする、
   ことを特徴とする請求項１から７のいずれか一項に記載の制御装置。
9. 前記制御手段は、前記複数の投影装置の投影領域が重畳する領域内に、投影領域が重畳するすべての投影装置の前記パターン表示領域が含まれるように前記パターン表示領域を割り振る、
   ことを特徴とする請求項１から８のいずれか一項に記載の制御装置。
10. 請求項１から９のいずれか一項に記載の制御装置と、
    複数の投影装置と、
    撮像装置と
    を有することを特徴とする投影システム。
11. 複数の投影装置それぞれに対してパターン画像を投影させるように制御する制御ステップと、
    前記複数の投影装置が前記パターン画像を同時に投影している状態で、投影面における前記複数の投影装置の投影領域を含む範囲を撮像した第１の撮像画像データを取得する取得ステップと、
    前記第１の撮像画像データに基づいて、前記複数の投影装置それぞれの投影領域の少なくともいずれかを変形するための第１のパラメータを生成する生成ステップと、
    を有し、
    各パターン画像は、パターンを表示するパターン表示領域と、パターンを表示しないパターン非表示領域とを含む画像であって、
    前記制御ステップでは、前記複数の投影装置が投影する前記パターン表示領域が前記投影面上で重なり合わないように各パターン画像の前記パターン表示領域を決定する、
    ことを特徴とする制御方法。
12. コンピュータを、請求項１から９のいずれか一項に記載された制御装置の各手段として機能させるためのプログラム。
13. 請求項１２に記載のプログラムを記憶するコンピュータが読み取り可能な記憶媒体。

Images