JP2019161397A

JP2019161397A - 制御装置、プログラム、及び制御方法

Info

Publication number: JP2019161397A
Application number: JP2018044353A
Authority: JP
Inventors: 雄太浦野; Yuta Urano
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2018-03-12
Filing date: 2018-03-12
Publication date: 2019-09-19
Also published as: US20190281266A1

Abstract

【課題】マルチ投影やスタック投影する場合にも、マーカー画像を所定の分解能以上で撮影でき、複数台投影の位置合わせを精度よく行うことができる制御装置を提供すること。【解決手段】制御装置５００は、複数の投影装置５１０と撮影装置５２０を制御する。制御装置５００は、マーカー画像を複数の投影装置５１０へ出力する画像出力手段６０４と撮影装置５２０を制御する撮影制御手段６０３と撮影画像を処理する画像処理手段６０９を有する。撮影制御手段６０３は、複数の投影装置５１０のうちの少なくとも１つの投影装置によって投影されているマーカー画像の少なくとも一部を撮影装置５２０で撮影する。画像処理手段６０９は、撮影画像に含まれているマーカー画像の少なくとも一部を検出する。撮影制御手段６０３は、マーカー画像の検出結果に基づいて、撮影装置５１０を制御する。【選択図】図６

Description

本発明は、複数の投影装置と撮影装置とを制御する制御装置、プログラム、及び制御方法に関する。

投影面の高解像度化や大画面化、高輝度化のために、投影装置を複数台用いたマルチ投影やスタック投影という投影方法が知られている。マルチ投影とは、複数台の投影装置が投写する投影画面を繋ぎ合わせて、投影面上に一つの画像を表示する方法である。また、スタック投影とは、複数台の投影装置が同じ画像を同一箇所に重ね合わせるように投影することで、高輝度化を図る方法である。

特許文献１では、ユーザ操作によってマルチ投影における位置合わせを行う投影装置について提案されている。

また、マルチ投影やスタック投影の位置合わせは煩雑であるため、投影装置がスクリーン上に位置合わせ用のマーカー画像を投影し、撮影装置によるマーカー画像の撮影結果に基づいて自動で位置合わせを行うシステムが存在する。

このとき、マーカー画像を撮影するために、撮影装置のズーム倍率や姿勢を適切に設定する必要がある。特許文献２では、撮影装置の最大撮影有効範囲と投影装置の投影有効範囲に基づいて、撮影装置と投影装置の相対的な位置関係を求め、撮影装置の調整を支援するシステムが提案されている。

特開２０１６−６５９９５号公報特開２００９−１０７８２号公報

マーカー画像の検出精度が低いと補正精度が低下するため、マーカー画像を所定の分解能以上で撮影することが望ましい。また、複数台投影の位置合わせにおいては、複数の投影装置が投影するマーカー画像を撮影することで、複数の投影面の関係を同一平面上に変換する必要がある。

しかしながら、特許文献２では、複数台の投影装置が投影するマーカー画像を撮影する場合に撮影装置を調整することについては開示されておらず、マルチ投影やスタック投影に対応できない。

そこで本発明は、マルチ投影やスタック投影する場合にも、マーカー画像を所定の分解能以上で撮影でき、複数台投影の位置合わせを精度よく行うことができる制御装置を提供することを目的とする。

その目的を達成するために、本発明の一側面としての制御装置は、投影画像を投影する複数の投影装置と、前記投影画像を撮影して撮影画像を取得する撮影装置と、を制御する制御装置であって、マーカー画像を前記複数の投影装置へ出力する画像出力手段と、前記撮影装置を制御する撮影制御手段と、前記撮影画像を処理する画像処理手段と、を有し、前記撮影制御手段は、前記複数の投影装置のうちの少なくとも１つの投影装置によって投影されている前記マーカー画像を前記撮影装置で撮影し、前記画像処理手段は、前記撮影画像に含まれている前記マーカー画像の少なくとも一部を検出し、前記撮影制御手段は、前記マーカー画像の検出結果に基づいて、前記撮影装置を制御することを特徴とする。

本発明の一側面としての制御装置によれば、マルチ投影やスタック投影する場合にも、マーカー画像を所定の分解能以上で撮影でき、複数台投影の位置合わせを精度よく行うことができる。

本発明のその他の側面については、以下で説明する実施の形態で明らかにする。

液晶プロジェクタ１００の全体の構成を示す図である。本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフローチャートである。第１の実施例の画像処理部１４０の内部構成を示す図である。第１の実施例の変形処理部の処理を説明するための図である。第１の実施例の表示システムの斜視図である。第１の実施例の情報処理装置の機能ブロック図を示す図である。第１の実施例の重畳領域の４点補正処理を説明するための図である。第１の実施例の投影面上のマーカーについて説明するための図である。第１の実施例の補正処理を説明するためのフローチャートである。第１の実施例の投影面、プロジェクタのパネル平面、撮影画像の関係を説明するための図である。第１の実施例のズーム調整処理を詳細に説明するためのフローチャートである。第１の実施例のマーカーが撮影画像からはみ出している場合について説明するための図である。第１の実施例の撮影領域の個数が異なる場合について説明するための図である。第１の実施例の射影変換について説明するための図である。第２の実施例のズーム調整処理を詳細に説明するためのフローチャートである。第２の実施例のマーカーのはみ出し方向に応じた処理を説明するための図である。第３の実施例の表示システムの斜視図である。第３の実施例の投影面上のマーカーについて説明するための図である。第１の実施例のマーカー形状を変形する場合について説明するための図である。第２の実施例の撮影装置の画角について説明するための図である。第１の実施例の撮影領域設定メニューについて説明するための図である。

以下、図面を参照して本発明の実施例を詳細に説明するが、この発明は以下の実施の形態に限定されるものではない。

本実施例では、投影型表示装置の一例として、透過型液晶パネルを用いたプロジェクタについて説明する。しかし、本発明は、表示デバイスとして透過型液晶パネルを用いたプロジェクタに限らず、ＤＬＰ、ＬＣＯＳ（反射型液晶）パネルなどの表示デバイスを用いたどのようなものであっても適用可能である。また、液晶プロジェクタには、単板式、３板式などが一般に知られているが、どちらの方式であっても良い。

本実施例の液晶プロジェクタは、表示するべき画像に応じて、液晶素子の光の透過率を制御して、液晶素子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。

以下、このような液晶プロジェクタについて説明する。

＜液晶プロジェクタの構成＞
まず、図１を用いて、本実施例の液晶プロジェクタの全体構成を説明する。

図１は、本実施例の液晶プロジェクタ１００の全体の構成を示す図である。

本実施例の液晶プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、液晶プロジェクタ１００は、さらに、液晶制御部１５０、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、液晶プロジェクタ１００は、さらに、記録再生部１９１、記録媒体接続部１９２、通信部１９３を有する。さらに、撮像部１９４、表示制御部１９５、表示部１９６を有していてもよい。

ＣＰＵ１１０は、液晶プロジェクタ１００の各動作ブロックを制御するものある。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムやデータを格納するものである。記録再生部１９１は、記録媒体接続部１９２に接続されたＵＳＢメモリ等の記録媒体から、静止画データや動画データを再生する。ＣＰＵ１１０は、その再生された静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、ＣＰＵ１１０は、通信部１９３より受信した静止画データや動画データを一時的に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、それぞれの画像や映像を再生したりすることもできる。また、撮像部１９４により得られた画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムを用いて、静止画データや動画データに変換して記録媒体接続部１９２に接続されたＵＳＢメモリ等の記録媒体に記録させることもできる。

また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信するものであり、例えば、スイッチやダイヤル、表示部１９６上に設けられたタッチパネルなどからなる。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３や、通信部１９３から入力された制御信号を受信して、液晶プロジェクタ１００の各動作ブロックを制御する。

画像入力部１３０は、外部装置から映像信号を受信するものであり、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。また、アナログ映像信号を受信した場合には、受信したアナログ映像信号をデジタル映像信号に変換する。そして、受信した映像信号を、画像処理部１４０に送信する。ここで、外部装置は、映像信号を出力できるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機など、どのようなものであってもよい。

画像処理部１４０は、映像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信するものであり、例えば画像処理用のマイクロプロセッサからなる。また、画像処理部１４０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が画像処理部１４０と同様の処理を実行しても良い。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、メニュー等のＯＳＤ重畳処理、歪み補正処理（キーストン補正処理）、エッジブレンディングといった機能を実行することが可能である。また、画像処理部１４０は、映像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像や映像に対して前述の変更処理を施すこともできる。

液晶制御部１５０は、画像処理部１４０で処理された映像信号に基づいて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。液晶制御部１５０は、制御用のマイクロプロセッサからなる。また、液晶制御部１５０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が液晶制御部１５０と同様の処理を実行しても良い。たとえば、画像処理部１４０に映像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。液晶パネル１５１Ｒは、赤色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、赤色の光の透過率を調整するためのものである。液晶パネル１５１Ｇは、緑色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、緑色の光の透過率を調整するためのものである。液晶パネル１５１Ｂは、青色に対応する液晶パネルであって、光源１６１から出力された光のうち、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離された光のうち、青色の光の透過率を調整するためのものである。

この液晶制御部１５０による液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの具体的な制御動作や液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの構成については、後述する。

光源制御部１６０は、光源１６１のオン／オフを制御や光量の制御をするものであり、制御用のマイクロプロセッサからなる。また、光源制御部１６０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光源制御部１６０と同様の処理を実行しても良い。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであっても良い。また、色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。また、色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成するものであり、例えば、ダイクロイックミラーやプリズムなどからなる。そして、色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。このとき、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。そのため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示されることになる。

光学系制御部１７０は、投影光学系１７１を制御するものであり、制御用のマイクロプロセッサからなる。また、光学系制御部１７０は、専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が光学系制御部１７０と同様の処理を実行しても良い。また、投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影するためのものである。投影光学系１７１は、複数のレンズ、レンズ駆動用のアクチュエータからなり、レンズをアクチュエータにより駆動することで、投影画像の拡大、縮小、焦点調整などを行うことができる。

記録再生部１９１は、記録媒体接続部１９２に接続されたＵＳＢメモリ等の記録媒体から静止画データや動画データを再生するものである。また、記録再生部１９１は、撮像部１９４により得られた画像や映像の静止画データや動画データをＣＰＵ１１０から受信して記録媒体に記録する。また、通信部１９３より受信した静止画データや動画データを記録媒体に記録しても良い。記録媒体接続部１９２は、記録媒体と電気的に接続するインタフェースであって、記録再生部１９１は、記録媒体接続部１９２を介して記録媒体と通信するためのマイクロプロセッサもしくは専用回路からなる。また、記録再生部１９１には、専用のマイクロプロセッサを含む必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が記録再生部１９１と同様の処理を実行しても良い。

通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などであってよく、通信方式を特に限定するものではない。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信を行うものであっても良い。ここで、外部装置は、液晶プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

撮像部１９４は、本実施例の液晶プロジェクタ１００の周辺を撮像して画像信号を取得するものであり、投影光学系１７１を介して投影された画像を撮影（スクリーン方向を撮影）することができる。撮像部１９４は、得られた画像や映像をＣＰＵ１１０に送信し、ＣＰＵ１１０は、その画像や映像を一時的にＲＡＭ１１２に記憶し、ＲＯＭ１１１に記憶されたプログラムに基づいて、静止画データや動画データに変換する。撮像部１９４は、被写体の光学像を取得するレンズ、レンズを駆動するアクチュエータ、アクチュエータを制御するマイクロプロセッサ、レンズを介して取得した光学像を画像信号に変換する撮像素子などからなる。また、撮像部１９４は、スクリーン方向を撮影するものに限られず、例えば、スクリーンと逆方向の視聴者側を撮影しても良い。

表示制御部１９５は、液晶プロジェクタ１００に備えられた表示部１９６に液晶プロジェクタ１００を操作するための操作画面やスイッチアイコン等の画像を表示させるための制御をするものであり、表示制御を行うマイクロプロセッサなどからなる。また、表示制御部１９５専用のマイクロプロセッサである必要はなく、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が表示制御部１９５と同様の処理を実行しても良い。また、表示部１９６は、液晶プロジェクタ１００を操作するための操作画面やスイッチアイコンを表示するものである。表示部１９６は、画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。また、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施例の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各ブロックと同様の処理を行うことのできる単数または複数のマイクロプロセッサあっても良い。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各ブロックと同様の処理を実行しても良い。

＜プロジェクタの基本動作＞
次に、図１、図２を用いて、本実施例の液晶プロジェクタ１００の基本動作を説明する。

図２は、本実施例の液晶プロジェクタ１００の基本動作の制御を説明するためのフローチャートである。図２の動作は、基本的にＣＰＵ１１０が、ＲＯＭ１１１に記憶されたプログラムに基づいて、各機能ブロックを制御することにより実行されるものである。図２のフローチャートは、操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示した時点をスタートとしている。

操作部１１３や不図示のリモコンによりユーザが液晶プロジェクタ１００の電源のオンを指示すると、ＣＰＵ１１０は、不図示の電源部からプロジェクタ１００の各部に不図示の電源回路から電源を供給するとともに、投影開始処理を実行する（Ｓ２０１）。具体的には、光源制御部１６０に指示して光源１６１の点灯制御、液晶制御部１５０に指示して液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの駆動制御、画像処理部の動作設定などである。

次に、画像入力部１３０から入力信号変化があったか否かを判定する（Ｓ２０２）。入力信号変化が無かった場合にはＳ２０４に進み、入力信号変化があった場合は、入力切替処理を実行する（Ｓ２０３）。具体的には、入力信号の解像度、フレームレートなどを検知して、それに適したタイミングで入力画像をサンプリングし、必要な画像処理を実施した上で投影する。

次に、ユーザ操作があったか否かを判定する（Ｓ２０４）。ユーザによる操作部１１３やリモコンの操作が無かった場合にはＳ２０８に進み、ユーザ操作が行われた場合は、終了操作か否かを判定する（Ｓ２０５）。終了操作であった場合は、投影終了処理を実行し、終了する（Ｓ２０６）。具体的には、光源制御部１６０に指示して光源１６１の消灯制御、液晶制御部１５０に指示して液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの駆動停止制御、必要な設定のＲＯＭ１１１への保存などである。

ユーザ操作が終了操作でなかった場合には、ユーザ操作の内容に対応したユーザ処理を実行する（Ｓ２０７）。例えば、設置設定の変更、入力信号の変更、画像処理の変更、情報の表示などである。

次に、通信部１９３からコマンド受信があったか否かを判定する（Ｓ２０８）。コマンド受信が無かった場合には、Ｓ２０２に戻る。コマンド受信があった場合には、終了操作か否かを判定する（Ｓ２０９）。終了操作であった場合は、Ｓ２０６に進む。終了操作ではなかった場合には、受信したコマンドの内容に対応したコマンド処理を実行する（Ｓ２１０）。例えば、設置設定、入力信号設定、画像処理設定、状態取得などである。

本実施例のプロジェクタ１００では、画像入力部１３０より入力された映像のほか、記録再生部１９１により記録媒体１９２から読み出された静止画データや動画データの画像や映像をＲＡＭ１１２に展開して表示することもできる。また、通信部１９３から受信した静止画データや動画データの画像や映像をＲＡＭ１１２に展開して表示することもできる。

＜プロジェクタの画像処理部＞
図３は、図１の画像処理部１４０の内部構成を詳しく説明するためのブロック図である。

画像処理部１４０は、各種画像処理部３１０、ＯＳＤ重畳部３２０、減光処理部３３０、変形処理部３４０を含む。

元画像信号ｓｉｇ３０１は、前述のように、表示モードに応じて画像入力部１３０、記録再生部１９１、通信部１９３などから入力される。また、タイミング信号ｓｉｇ３０２は、元画像信号ｓｉｇ３０１に同期した垂直同期信号、水平同期信号、クロックなどのタイミング信号であって、元画像ｓｉｇ３０１の供給元から供給される。画像処理部１４０内の各ブロックは、タイミング信号ｓｉｇ３０２に基づいて動作するが、画像処理部１４０の内部でタイミング信号を作り直して使用してもよい。

各種画像処理部３１０は、ＣＰＵ１１０と連携して、元画像信号ｓｉｇ３０１を入力し、各種画像処理を施したりして生成した画像処理信号ｓｉｇ３０３をＯＳＤ重畳部３２０に対して出力する。各種画像処理とは、画像信号のヒストグラムやＡＰＬをはじめとする統計情報を取得や、ＩＰ変換、フレームレート変換、解像度変換、γ変換、色域変換、色補正、エッジ強調などである。

また、これらの画像処理の詳細については公知であるので説明を割愛する。

ＯＳＤ重畳部３２０は、ＣＰＵ１１０の指示により、ユーザ用のメニューや操作のためのガイド情報をＯＳＤ画像として画像処理信号ｓｉｇ３０３に重畳し、生成したＯＳＤ重畳信号ｓｉｇ３０４を減光処理部３３０に対して出力する。

減光処理部３３０は、ＣＰＵ１１０の指示により、ＯＳＤ重畳部３２０から受信したＯＳＤ重畳信号ｓｉｇ３０４に対し、エッジブレンドの減光処理を行ない、生成した重畳部減光信号ｓｉｇ３０５を変形処理部３４０に対して出力する。減光処理としては、マルチ投影の重畳領域において、非重畳領域との境界から端部に向かって徐々に減光するようなゲインをかける。

変形処理部３４０は、変形の式に基づいて、重畳部減光信号ｓｉｇ３０５に変形処理を施し、変形後画像信号ｓｉｇ３０６を出力する。キーストーン補正は射影変換で実現できるため、ＣＰＵ１１０から射影変換のためのパラメータを入力する。元画像の座標を（ｘｓ、ｙｓ）とすると、変形後画像の座標（ｘｄ、ｙｄ）は式Ａで表わされる。

ここで、Ｍは３×３行列で、ＣＰＵ１１０から入力される元画像から変形後画像への射影変換行列である。ｘｓｏ、ｙｓｏは、図４に実線で示す元画像の１つの頂点の座標であり、ｘｄｏ、ｙｄｏは、図４に一点鎖線で示す変形後画像の、元画像の頂点（ｘｓｏ、ｙｓｏ）に対応する頂点の座標値である。

ＣＰＵ１１０から、式Ａの行列Ｍの逆行列Ｍ^−１とオフセット（ｘｓｏ，ｙｓｏ）、（ｘｄｏ，ｙｄｏ）が入力され、式Ｂに従って変形後の座標値（ｘｄ、ｙｄ）に対応する元画像の座標（ｘｓ、ｙｓ）を求める。

式Ｂに基づいて求められた元画像の座標が整数になれば、元画像座標（ｘｓ、ｙｓ）が持つ画素値をそのまま変換後座標（ｘｄ、ｙｄ）の持つ画素値としてもよい。しかし、式Ｂに基づいて求められた元画像の座標は整数になるとは限らないので、周辺画素の値を用いて補間することで、変形後座標（ｘｄ、ｙｄ）の持つ画素値を求める。補間の方法は、バイリニア、バイキュービック、その他の任意の補間方法を用いればよい。また、式Ｂに基づいて求められた元画像の座標が、元画像領域の範囲外である場合には、その画素値は黒またはユーザが設定した背景色とする。

このようにして、変換後座標の全てについて画素値を求め、変換後画像を作成する。

上記説明では、ＣＰＵ１１０から画像処理部１４０には、行列Ｍとその逆行列Ｍ^−１が入力されるとした。しかし、画像処理部１４０に逆行列Ｍ^−１のみを入力して画像処理部１４０の内部で行列Ｍを求めてもよいし、画像処理部１４０に行列Ｍのみを入力して画像処理部１４０の内部で逆行列Ｍ^−１を求めてもよい。

＜表示システムの構成＞
次に図５を用いて本実施例の特徴的な構成について説明する。

図５はマルチ投影における表示システムの概略図を示したものである。図５に示す表示システムは、プロジェクタ５１０ａ、プロジェクタ５１０ｂ、撮影装置５２０、情報処理装置５００から構成される。本実施例では、プロジェクタ２台と撮影装置１台を横並びに設置しているが、各装置の数や配置はこれに限らない。例えば、３台以上のプロジェクタを用いても良い。

情報処理装置５００は、プロジェクタ２台と撮影装置１台を制御する制御装置であり、スイッチングハブ５４０を介して、プロジェクタ５１０ａ、プロジェクタ５１０ｂ、撮影装置５２０と接続されており、相互に通信可能である。なお、各装置が相互に通信できるならば、ネットワーク通信に限らず、例えばシリアル通信など、どのような通信形態を用いても構わない。

また、情報処理装置５００は映像ケーブル５５０ａ、５５０ｂを介してプロジェクタ５１０ａ、プロジェクタ５１０ｂにそれぞれ画像信号を供給する。

この表示システムは、分割された画像をプロジェクタ５１０ａ、プロジェクタ５１０ｂにそれぞれ供給し、各プロジェクタはスクリーン５３０上に重畳領域５６０が形成されるように投影する。このとき、各プロジェクタの減光処理部３３０は、投影する画像の重畳領域５６０に対して減光処理を施す。

＜情報処理装置の構成＞
次に、図６を用いて本実施例の表示システムにおける情報処理装置５００について説明する。図６は、本実施例の表示システムのシステム構成及び情報処理装置５００の機能ブロックの説明図である。

情報処理装置５００は補正パラメータ出力部６０１、画像受信部６０２、撮影制御部６０３、画像出力部６０４、画像処理部６０９、保存部６１０、操作部６１１、表示部６１２を有する。

さらに、画像処理部６０９は補正量算出部６０５、マーカー検出部６０６、制御量算出部６０７、マーカー生成部６０８から構成される。

情報処理装置５００として、デスクトップＰＣ、ノートＰＣ、タブレットＰＣ等、映像信号を送信できる装置を用いることができる。

情報処理装置５００は不図示のＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）とＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）を備えている。

ＣＰＵは情報処理装置５００の各部を制御するものであり、ＲＯＭはＣＰＵの処理手順を記述した制御プログラムを記憶するためのものであり、ＲＡＭは一時的に作業中のデータを格納するためのものである。情報処理装置５００の各部の機能は、ＣＰＵがＲＯＭに格納されたプログラムコードを順次読み出し実行することで実現される。

＜情報処理装置の機能ブロック＞
補正パラメータ出力部６０１は、各プロジェクタの位置調整を行うためのコマンドをプロジェクタ５１０ａ、プロジェクタ５１０ｂにそれぞれ送信する。

画像受信部６０２には、撮影装置５２０が撮影した画像データが入力される。

撮影制御部６０３は、撮影装置１２０に対して撮影やズーム等の指示をする。

画像出力部６０４は、マーカー生成部６０８で生成されたマーカー画像をプロジェクタ５１０ａ、プロジェクタ５１０ｂにそれぞれ送信する。

補正量算出部６０５は、プロジェクタ５１０ａ、プロジェクタ５１０ｂがそれぞれ投影面５３０上において所定のアスペクト比の長方形となるような補正を行うために必要なパラメータを算出する。

マーカー検出部６０６は、画像受信部６０２によって受信された画像データからマーカーを検出し、前記マーカーに含まれる各特徴点の座標を取得する。また、マーカーが撮影装置の画角からはみ出しているか否かを検出する。

制御量算出部６０７は、マーカー検出部６０６によって検出されたマーカーの座標に応じて前記撮影装置５２０の制御量を算出する。制御量算出部６０７の処理の詳細は後述する。

マーカー生成部６０８は、各プロジェクタが投影し、自動補正に用いるマーカー形状を決定し、投影画像に対してマーカーを重畳することでマーカー画像を生成する。

保存部６１０はマーカー検出部６０６によって検出されたマーカーに含まれる特徴点の座標を保存する手段であり、データを保存する対象としてＲＡＭやＲＯＭ、ＨＤＤ等があげられる。

操作部６１１はユーザからの操作指示を受け付ける。入力手段として、情報処理装置５００に備えられているボタンやダイヤル、表示部６１２上に設けられたタッチパネルを用いても良い。また、その他の入力手段として、マウスやキーボード等の外部入力装置を用いても良い。操作部６１１がユーザからの操作指示を受け取ると、情報処理装置のＣＰＵは操作指示を画像処理部６０９に通知をし、画像処理部６０９は操作指示に対して該当する処理を行う。

表示部６１２は情報処理装置を操作するための操作画面を表示するためのものである。表示部６１２は画像を表示できればどのようなものであっても良い。例えば、液晶ディスプレイや有機ＥＬディスプレイ、ＬＥＤディスプレイであって良い。

＜マルチ投影面の補正＞
次に本実施例での特徴的な構成であるマルチ投影の位置合わせにおける補正フローについて説明する。本実施例では特許文献１に示された位置合わせのための手法を用いて、マルチ投影面の自動補正を行う場合について説明する。なお、位置合わせのための手法はこれに限らず、他の手法に対して、本実施例の手法を適用しても良い。

特許文献１では変形を行う前の投影画像における重畳領域の位置と、変形を行った後の投影画像における重畳領域の位置との関係に基づいて投影画像の変形処理を行う手法について述べられている。以後、この変形処理を重畳領域の４点補正と呼ぶ。

重畳領域の４点補正について、図７を用いて説明する。図７（ａ）の７０１はプロジェクタ５１０ａの投影画像を、７０２はプロジェクタ５１０ｂの投影画像をそれぞれ表す。補正済みであるプロジェクタ５１０ａの投影画像７０１に対して、プロジェクタ５１０ｂの投影画像７０２を合わせることで、マルチ投影の位置合わせを行う。

具体的には、プロジェクタ５１０ｂの重畳領域の左上頂点７０３、右上頂点７０４、右下頂点７０５、左下頂点７０６を調整点とし、各調整点をプロジェクタ５１０ａの重畳領域の頂点に合わせるように調整することで位置合わせを行う。

図７（ｂ）に調整後の状態を示す。図７（ｂ）において、プロジェクタ５１０ｂの重畳領域の左上頂点７０３’、右上頂点７０４’、右下頂点７０５’、左下頂点７０６’はそれぞれ各調整点をプロジェクタ５１０ａの重畳領域の各頂点と重なりあっている。このとき、各調整点の移動に合わせて、投影画像７０２の右上頂点７０７、左上頂点７０８の位置も移動する。

各調整点は個別に移動させることができる。しかし、移動させる調整点の順によっては、投影画像がプロジェクタのパネル外に出てしまい、補正ができない場合がある。図７（ｃ）に調整点７０３のみを内側に移動させた場合の様子を示す。調整点７０３のみを内側に移動させる際、投影画像７０２の右上頂点７０７及び左上頂点７０８の位置が外側に移動するため、投影画像がプロジェクタのパネルからはみ出してしまう場合がある。

そこで、本実施例では、調整点７０３、調整点７０４、調整点７０５、調整点７０６の移動量をそれぞれ個別に求め、最後にそれらの調整点を同時に移動させる処理を行うことで、投影画像がプロジェクタのパネル外に出てしまうことを防止する。

この調整手法を用いることで、複数台のプロジェクタの位置合わせを行うことができる。

次に、本実施例におけるマーカー画像をプロジェクタ５１０ａ及びプロジェクタ５１０ｂが投影面５１０上に投影した様子を図８に示す。

プロジェクタ５１０ａは重畳領域の左上部にマーカー８０１ａを、重畳領域の右上部にマーカー８０２ａを、重畳領域の右下部にマーカー８０３ａを、重畳領域の左下部にマーカー８０４ａをそれぞれ投影する。

同様に、プロジェクタ５１０ｂは重畳領域の左上部にマーカー８０１ｂを、重畳領域の右上部にマーカー８０２ｂを、重畳領域の右下部にマーカー８０３ｂを、重畳領域の左下部にマーカー８０４ｂをそれぞれ投影する。

ここで、後のマーカー検出処理のために各マーカーに特定の色情報や輝度情報を持たせる。例えば、情報処理装置５００のＣＰＵはマーカー生成部６０８によってプロジェクタ５１０ａに対して赤色のマーカー画像を、プロジェクタ５１０ｂに対して緑色のマーカー画像をそれぞれ生成する。

次に、情報処理装置５００のＣＰＵは画像出力部６０４によってプロジェクタ５１０ａ及びプロジェクタ５１０ｂにマーカー画像を供給する。プロジェクタ５１０ａ及びプロジェクタ５１０ｂはマーカー画像を受信すると、マーカー画像を投影面５３０上にそれぞれ投影する。

次に、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置に投影面５３０の撮影を指示し、撮影装置によって撮影された撮影画像を画像受信部６０２によって受信する。

受信した撮影画像は情報処理装置５００のＣＰＵによってマーカー検出部に送られ、撮影画像におけるマーカーがどのプロジェクタから投影されたものなのかを色情報に基づいて判定する。なお、このときに用いる色については、赤や緑に限定されず、どのような色を用いても良いし、色ではなく輝度値を用いても良い。また、プロジェクタごとに、色を異ならせる代わりに、形状を異ならせてもよい。

情報処理装置５００のＣＰＵは、マーカー検出部６０６によって、撮影画像に含まれるマーカーに基づいてプロジェクタ５１０ａ及びプロジェクタ５１０ｂの重畳領域の頂点座標を公知のコーナー検出等の手法により検出する。

そして、情報処理装置５００のＣＰＵは補正算出部６０５に指示をして、検出された頂点座標から、プロジェクタ５１０ｂの変形量を算出する。

＜補正フロー＞
次に、図９を用いてマルチ投影の位置合わせの制御フローを説明する。本実施例では、重畳領域の４点補正を用いてプロジェクタ５１０ａに対してプロジェクタ５１０ｂの重畳領域を合わせることで位置合わせを行う場合について説明する。

ユーザが情報処理装置５００の操作部６１１を介して不図示のメニュー操作によって位置合わせの開始を指示することによって、情報処理装置のＣＰＵは図９に示すマルチ投影の位置合わせの制御フローを開始する。

まず、情報処理装置５００のＣＰＵが指示をして、マーカー生成部６０８がマルチ投影の位置合わせのために用いるマーカーを生成する（Ｓ９０１）。

後の撮影装置のズーム制御によって所定の分解能以上で撮影するために、以下に示す方法でマーカーの大きさを設定する。

＜マーカーの大きさの決め方＞
まず、位置合わせに用いる各プロジェクタの補正機能における補正点の最小移動量を算出する。本実施例で用いる重畳領域の４点補正における補正点の最小移動量は以下の式で求められる。
ｄｐ＝ｘｗ／ｐｘ（１）

ここで、ｘｗは重畳領域の横幅を、ｐｘは投影画像の横方向の画素数を、ｄｐは補正点の最小移動量をそれぞれ表す。

次に、図１０を用いてマーカーの大きさの算出方法について説明する。

図１０（ａ）に各プロジェクタによってマーカー画像が投影された投影面５３０を示す。図１０（ａ）の１００５はプロジェクタ５１０ａの投影画像を、１００６はプロジェクタ５１０ｂの投影画像をそれぞれ表す。

図１０（ｂ）にマーカー画像を投影中のプロジェクタ５１０ａのパネル平面を示す。図１０（ｂ）のＰｘは投影画像におけるマーカーのｘ軸方向の画素数を、Ｐｙは投影画像におけるマーカーのｙ軸方向の画素数をそれぞれ表す。

図１０（ｃ）に図１０（ａ）の１００１に示した領域を撮影した撮影画像を示す。図１０（ｃ）のＣｘは撮影画像におけるマーカーのｘ軸方向の画素数を、Ｃｙは撮影画像におけるマーカーのｙ軸方向の画素数をそれぞれ表す。また、Ｘは撮影画像のｘ軸方向の画素数を、Ｙはｙ軸方向の画素数をそれぞれ表す。

撮影画像１画素にプロジェクタの画素が何画素含まれているかを表す標本化間隔はｘ軸方向がＰｘ／Ｃｘ、ｙ軸方向がＰｙ／Ｃｙである。

また、投影画像におけるマーカーをｄｐ画素の細かさで撮影するときの最大周波数は１／ｄｐである。標本化定理より、最大周波数１／ｄｐを表現するためには２／ｄｐ以上の周波数で撮影する必要があり、以下に示す式が成り立つ。

式（２）はｘ軸方向において、所定の分解能で撮影するためのＰｘ、Ｃｘ、ｄｐの条件を表す。式（３）はｙ軸方向において、所定の分解能で撮影するためのＰｙ、Ｃｙ、ｄｐの条件を表す。

図１０（ｃ）においてＣｘの画素数をλ・Ｘ、Ｃｙの画素数をλ・Ｙとすると、さらに以下の式が成り立つ。ここで、λは撮影画像の画素数と撮影画像のマーカーの画素数の比を表す。例えば、撮影画像の９０％の大きさでマーカーを撮影する場合は、λ＝０．９である。

Ｘ、Ｙ、ｄｐの値は既知であるため、式（４）、式（５）より、各プロジェクタが投影するマーカーの画素数Ｐｘ、Ｐｙを決定することができる。また、このときのλの値は情報処理装置５００の不図示のＲＯＭに格納された既定値であり、マーカー生成部６０８はこの既定値に基づいて、Ｐｘ、Ｐｙの値を決定する。

なお、λの値は、情報処理装置５００の操作部６１１を介してユーザが入力してもよい。

マーカーの生成が完了すると、情報処理装置５００は画像出力部６０４によって、マーカー画像をプロジェクタ５１０ａ及びプロジェクタ５１０ｂに供給する。各プロジェクタのＣＰＵは、画像入力部１３０を介してマーカー画像を受信すると、投影面５３０上にマーカー画像を投影する（Ｓ９０２）。

次に、情報処理装置５００のＣＰＵは撮影制御部６０３に指示をしてマーカー画像を所定の分解能で撮影するために撮影装置５２０のズーム制御を行う。

＜ズーム制御＞
図１１を用いて、情報処理装置５００の撮影制御部６０３による撮影装置５２０のズーム制御の詳細を説明する。なお、以下の制御は撮影装置の画角にマーカーが収まっている状態であるとする。

まず、情報処理装置５００のＣＰＵは、撮影制御部６０３によって撮影装置５２０に指示をして投影面５３０上のマーカーを撮影し、画像受信部６０２によって撮影画像を受信する（Ｓ１１０１）。

次に、情報処理装置５００のＣＰＵはマーカー検出部６０６によって撮影画像からマーカー領域を検出する（Ｓ１１０２）。マーカー領域の検出は、例えば、マーカーに特定の色情報や輝度情報を持たせ、マーカー検出部６０６が撮影画像全体を走査し、該色情報や輝度情報を有する画素を検出することで実現できる。

さらに、情報処理装置５００のＣＰＵはマーカー検出部６０６によって撮影画像においてマーカーが撮影画角からはみ出しているか否かを判定する（Ｓ１１０３）。

図１２を用いて画角からはみ出ているか否かの判定方法について説明する。図１２は撮影装置５２０によって撮影された撮影画像であって、マーカー１２０２及びマーカー１２０３が撮影画像の画角１２０１からはみ出している状態を表す。なお、マーカー１２０２及びマーカー１２０３はそれぞれ異なるプロジェクタが投影している。

マーカー１２０２は撮影画像の下部で、マーカー１２０３は撮影画像の左部でそれぞれはみ出している。各マーカーがはみ出しているか否かを検出するためには以下に示す方法を用いればよい。なお、ここでは撮影画像の画素数が１９２０ｘ１０８０であるものとして説明する。

（上部のはみ出し判定）
撮影画像中のｙ＝０である画素を走査し、該色情報や輝度情報を有する画素が存在するか否かを判定する。

（下部のはみ出し判定）
撮影画像中のｙ＝１０７９である画素を走査し、該色情報や輝度情報を有する画素が存在するか否かを判定する。

（左部のはみ出し判定）
撮影画像中のｘ＝０である画素を走査し、該色情報や輝度情報を有する画素が存在するか否かを判定する。

（右部のはみ出し判定）
撮影画像中のｘ＝１９１９である画素を走査し、該色情報や輝度情報を有する画素が存在するか否かを判定する。

以上の判定は情報処理装置５００のマーカー検出部６０６によって行われ、マーカーがどの方向にはみ出しているかを判定する。

Ｓ１１０３において、マーカーがはみ出していると判断された場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって、撮影装置がこれ以上ズームアウトできるか否かを判定する（Ｓ１１０７）。

ズームアウトできるか否かの判定のためにまず、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０から最小ズーム量、最大ズーム量及びズームのステップ数を取得し、情報処理装置５００のＲＡＭやＲＯＭに格納する。なお、既に撮影装置５２０の最小ズーム量、最大ズーム量及びズームのステップ数が情報処理装置５００のＲＡＭやＲＯＭに格納されている場合はこの処理は行わなくても構わない。

次に、情報処理装置５００のＣＰＵは撮影制御部６０３を介して、現在のズーム量を取得する。最後に、情報処理装置５００のＣＰＵが撮影制御部６０３によって情報処理装置５００のＲＡＭやＲＯＭに保存された撮影装置の最小ズーム量と現在のズーム量を比較することで、ズームアウトできるか否かを判定する。

これ以上ズームアウトできないと判断された場合は、情報処理装置５００のＣＰＵは表示部６１２を介して撮影画角にマーカーが収まらないことをユーザに通知し（Ｓ１１１０）、処理を終了する。

ズームアウトが可能である場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０に指示をして、ズームアウトを行う（Ｓ１１０８）。

情報処理装置５００のＣＰＵはＲＡＭ或いはＲＯＭに格納された現在のズーム量とズームのステップ数に基づいて、撮影制御部６０３に指示をして現在のズーム量から１ステップ広角に撮影できる方向に撮影装置５２０のズーム量を制御する。

Ｓ１１０３において、マーカーがはみ出していないと判断された場合は、情報処理装置５００のＣＰＵは制御量算出部６０７によって現在のズーム倍率が適切か否かを判定する（Ｓ１１０４）。ズーム倍率が適切か否かの判定方法について、図１０に戻り説明する。

ズーム倍率が適切か否かの判定は投影画像におけるマーカーの画素数Ｐｘ、Ｐｙ及び、撮影画像におけるマーカーの画素数Ｃｘ、Ｃｙを用いる。ｘ軸方向の標本化間隔Ｐｘ／Ｃｘとｙ軸方向のＰｙ／Ｃｙをそれぞれ求め、画素数Ｃｘ、Ｃｙが所定値よりも小さいために標本化間隔Ｐｘ／Ｃｘ、Ｐｙ／Ｃｙが閾値を超えているかを判定することで、ズーム倍率が適切か否かを判定できる。閾値は例えば、ｄｐ／２とすればよい。ここで、ｄｐは補正点の最小移動量を表す。

Ｃｘ、Ｃｙの算出には、マーカー検出部６０６の検出結果を用いればよく、具体的には、マーカーの頂点座標をコーナー検出等の既知の手法によって検出し、頂点同士の距離を求めればよい。なお、マーカーとしてｘ軸方向用マーカーとｙ軸方向用マーカーを用いる場合等には、それぞれＰｘ／Ｃｘ又はＰｙ／Ｃｙだけを判定に用いれば良い。

撮影装置の画角に複数のマーカーを収めたい場合は、該当するプロジェクタ全てが適切なズーム倍率である必要があるため、上記の判定を全てのプロジェクタについて行う。このとき、図１０（ｃ）に示すように複数のマーカーが重なり合っている場合は、情報処理装置５００のＣＰＵはマーカー検出部６０６によって、マーカーの色や輝度に基づいてマーカーをプロジェクタ毎に分離する。

例えば、プロジェクタ５１０ａが赤色のマーカーを、プロジェクタ５１０ｂが緑色のマーカーをそれぞれ投影している場合、情報処理装置５００のマーカー検出部６０６は投影画像のＲＧＢ値より、マーカーがどのプロジェクタから投影されたかを判定する。

Ｓ１１０４において、現在のズーム倍率が適切であると判断された場合は、ズーム調整処理を終了する。

Ｓ１１０４において、現在のズーム倍率が適切ではないと判断された場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって、撮影装置がこれ以上ズームインできるか否かを判定する（Ｓ１１０５）。

ズームインできるか否かの判定のためにまず、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０から最小ズーム量及び最大ズーム量及びズームのステップ数を取得し、情報処理装置５００のＲＡＭやＲＯＭに格納する。

なお、既に撮影装置５２０の最小ズーム量、最大ズーム量及びズームのステップ数が情報処理装置５００のＲＡＭやＲＯＭに格納されている場合はこの処理は行わなくても構わない。

次に、情報処理装置５００のＣＰＵは撮影制御部６０３を介して現在のズーム量を取得する。最後に、情報処理装置５００のＣＰＵが撮影制御部６０３によって情報処理装置５００のＲＡＭやＲＯＭに保存された撮影装置の最大ズーム量と現在のズーム量を比較することで、ズームインできるか否かを判定する。

判定の結果、これ以上ズームインできないと判断された場合は、情報処理装置５００のＣＰＵは表示部６１２を介してズーム倍率が不足していることをユーザに通知し（Ｓ１１０９）、処理を終了する。

ズームインが可能である場合は、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、ズームインを行う（Ｓ１１０６）。

情報処理装置５００のＣＰＵはＲＡＭ或いはＲＯＭに格納された現在のズーム量とズームのステップ数に基づいて、撮影制御部６０３に指示をして現在のズーム量から１ステップ望遠に撮影できる方向に撮影装置５２０のズーム量を望遠制御する。

撮影装置５２０のズームイン（Ｓ１１０６）もしくはズームアウト（Ｓ１１０８）を終えた後は、Ｓ１１０１へ戻る。

図９に戻り、マルチ投影の位置合わせの制御フローについて説明する。

撮影装置のズーム調整（Ｓ９０３）を終えると、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、投影面５３０上のマーカーを撮影し、画像受信部６０２によって撮影画像を受信する（Ｓ９０４）。

次に、情報処理装置５００のＣＰＵはマーカー検出部６０６によって撮影画像におけるマーカー画像の特徴点の座標を検出し、検出した特徴点座標を情報処理装置５００の保存部６１０を介して格納する。図８に示すマーカー形状の場合、特徴点としてマーカー８０１ａ、マーカー８０１ｂの頂点を用いる。

Ｓ９０３において、撮影装置５２０のズーム倍率が不足していると判定された場合、Ｓ９０４及びＳ９０５において、情報処理装置５００のマーカー生成部６０８によってマーカー形状を変更しても良い。

図１９（ａ）に変更前のマーカー形状を、図１９（ｂ）に変更後のマーカー形状を示す。撮影画像１９０１においてマーカー１９０２はプロジェクタ５１０ａから投影されたマーカーを、マーカー１９０３はプロジェクタ５１０ｂから投影されたマーカーをそれぞれ表す。

プロジェクタ５１０ａから投影される形状変更後のマーカー１９０４は、形状変更前のマーカー１９０２と同一の領域に配置され、取得できる特徴点の数が増えるような形状に変更される。

同様に、プロジェクタ５１０ｂから投影される形状変更後のマーカー１９０５は、形状変更前のマーカー１９０５と同一の領域に配置され、取得できる特徴点の数が増えるような形状に変更される。

図１９においては、一つの四角形から構成されたマーカーから四つの四角形から構成されたマーカーへと変更することで、検出できる特徴点の数を増やすことができる。なお、形状変更後のマーカーの形状はこれに限らず、その他の形状を用いても良いし、形状ではなく模様を変更することにより特徴点の数を増やしても良い。

特徴点の数を増やすことで、後の射影変換において、既知の最小二乗法等の手法が適用できるので、さらに精度を向上することができる。

情報処理装置５００によってマーカーの特徴点座標が保存された後、撮影されていない撮影領域が残っているか否かを判定する（Ｓ９０６）。撮影されていない撮影領域が残っているか否かは、Ｓ９０５においてマーカー画像の特徴点が検出される度に情報処理装置のＣＰＵが撮影装置５２０の撮影領域と撮影順の対応表を確認することで、判定される。情報処理装置のＣＰＵは、その対応表をＲＡＭやＲＯＭに予め格納しておく。

撮影領域と撮影順の対応表を作成するために、ユーザが情報処理装置５００の操作部６１１を介して不図示のメニュー操作を用いて各プロジェクタの投影領域と、撮影装置の撮影領域及び撮影順を指定する。

各プロジェクタの投影領域の指定について、図５に戻り説明する。ユーザは投影面５３０を確認しながら、情報処理装置５００の操作部６１１を介して不図示のメニュー操作を用いて、各プロジェクタが投影面５３０のどの位置に投影しているかを情報処理装置５００に通知する。図５の場合、ユーザは情報処理装置５００に対して、プロジェクタ５１０ａが投影領域Ａに、プロジェクタ５１０ｂが投影領域Ｂに投影していることを通知する。

撮影装置５２０の撮影領域と撮影順の対応表について、図２１を用いて説明する。情報処理装置のＣＰＵは各プロジェクタが投影面５３０のどの位置に投影しているかの情報に基づいて、図２１に示すメニュー画面を表示部６１２に表示する。図２１の左側に示す表は、左側の列が撮影順を、右側の列が撮影領域を表す。

ユーザは情報処理装置５００の操作部６１１を介して図２１に示すメニュー画面を用いて、投影領域と撮影順の対を入力する。例えば、図１０において撮影領域１００１、撮影領域１００２、撮影領域１００３、撮影領域１００４の順で撮影を行う場合は、ユーザは図２１の左側に示す表の左側の列に撮影領域１、撮影領域２、撮影領域３、撮影領域４の順に入力する。

このユーザの入力に基づいて、情報処理装置のＣＰＵは撮影領域と撮影順の対応表を生成し、ＲＡＭ或いはＲＯＭに格納する。

撮影領域が残っている場合は、ユーザによって撮影領域を切り替えるために撮影装置５１０の姿勢を調整する。その際、情報処理装置５００はユーザによって撮影装置５１０の姿勢の調整が完了するまで待つ（Ｓ９０９）。

撮影装置５１０の姿勢の調整が完了後、ユーザが情報処理装置５００の操作部６１１を介して不図示のメニュー操作によって撮影領域の切替え完了を通知する。情報処理装置のＣＰＵが撮影領域の切替え完了通知を受け取ると、Ｓ９０１に戻る。

図１０（ａ）における撮影領域１００１のマーカーの特徴点の検出を終えると、次に撮影領域１００２、撮影領域１００３、撮影領域１００４の順でマーカーの特徴点の検出を行う。なお、撮影領域の順はこれに限らず、その他の順で撮影しても良い。

それらの撮影領域を撮影する撮影装置は、全ての撮影領域に等しい撮影装置を用いても良いし、撮影領域ごとに異なる撮影装置を用いても良い。

複数の撮影装置を用いる場合は、情報処理装置５００のＣＰＵによって撮影装置と撮影領域の対応表を予めＲＡＭに格納しておき、対応表に基づいて撮影装置を切り替えた後にＳ９０１に戻る。

また、撮影領域数は図１０に示すように４か所でなくても構わない。例えば、図１３に示すようにマーカー幅を重畳領域の幅と一致させ、撮影領域を撮影領域１３０３及び撮影領域１３０４の２か所としてもよい。ここで、図１３の１３０１ａはプロジェクタ５１０ａが投影する重畳領域の上部に位置するマーカーを、１３０２ａはプロジェクタ５１０ａが投影する重畳領域の下部に位置するマーカーをそれぞれ表す。

また、図１３の１３０１ｂはプロジェクタ５１０ｂが投影する重畳領域の上部に位置するマーカーを、１３０２ｂはプロジェクタ５１０ｂが投影する重畳領域の下部に位置するマーカーをそれぞれ表す。

全ての領域のマーカーの撮影を終えると、Ｓ９０７において投影画像の補正を行う。情報処理装置５００の補正量算出部６０５は、保存部６１０に格納された各マーカーの特徴点座標を基に補正量を算出する。

図１４を用いて、本実施例における補正量の算出方法を説明する。図１４（ａ）にプロジェクタ５１０ａのマーカーとプロジェクタ５１０ｂのマーカーを含むように撮影したときの撮影画像平面を示す。図１４（ｂ）はプロジェクタ５１０ｂのパネル平面を示す。

図１４（ａ）における、プロジェクタ５１０ｂが投影するマーカー１４０１の左上頂点１４０２、右上頂点１４０３、右下頂点１４０４、左下頂点１４０５はそれぞれＳ００５において検出済みである。

また、図１４（ｂ）における、プロジェクタ５１０ｂが投影するマーカーの左上頂点１４０２’、右上頂点１４０３’、右下頂点１４０４’、左下頂点１４０５’は既知の座標である。

まず、これらの頂点座標に基づいて、既知の手法により撮影画像平面からプロジェクタのパネル平面への射影変換行列を算出する。

＜射影変換行列について＞
射影変換行列は以下の手法によって算出する。

撮影画像平面上の座標を（ｘｉ，ｙｉ）、プロジェクタのパネル平面上の座標を（Ｘｉ，Ｙｉ）とすると（ｉは自然数を表す）、射影変換式は式６、式７で表される。このとき、ｉが等しい変数はそれぞれ対応していることを表す。

また、式６、式７の分母を払い、一次多項式に展開すると式８、式９のように表される。
ｘ_ｉ＝ａＸ_ｉ＋ｂＹ_ｉ＋ｃ−ｇｘ_ｉＸ_ｉ−ｈｘ_ｉＹ_ｉ（式８）
ｙ_ｉ＝ｄＸ_ｉ＋ｅＹ_ｉ＋ｆ−ｇｙ_ｉＸ_ｉ−ｈｙ_ｉＹ_ｉ（式９）

式８、式９に対応する４組の点（ｘ１、ｙ１、Ｘ１、Ｙ１）、（ｘ２、ｙ２、Ｘ２、Ｙ２）、（ｘ３、ｙ３、Ｘ３、Ｙ３）、（ｘ４、ｙ４、Ｘ４、Ｙ４）をそれぞれ代入し、連立方程式を解くことによって、射影変換行列Ｍを算出できる。式１０に式８、式９を行列で表現した式を示す。なお、式１０のｔは正規化のための変数である。

次に、図１４（ａ）におけるプロジェクタ５１０ａが投影するマーカー１４０６の左上頂点１４０７に対して上記射影変換を適用することによって、プロジェクタ平面へ左上頂点１４０７を射影することができる。

図１４（ｂ）の１４０７’は射影変換後のプロジェクタ５１０ａが投影するマーカーの左上頂点を表す。

最後に、図１４（ｂ）が示すプロジェクタ５１０ｂのパネル平面において、プロジェクタ５２０ｂが投影するマーカーの頂点と、対応するプロジェクタ５２０ａが投影するマーカーの頂点との差分を求めることで、補正量を算出する。例えば、プロジェクタ５２０ｂの重畳領域の左上座標の補正量は、頂点１４０２’と頂点１４０７’の差分より算出できる。

以上の手順を重畳領域の各頂点に対して行うことで、重畳領域の４頂点の補正量を求めることができる。

全ての頂点において補正量の算出を終えると、情報処理装置５００の補正パラメータ出力部６０１はプロジェクタ５２０ｂに対して、補正コマンドを送信する。

補正コマンドはプロジェクタ５２０ｂに対する補正指示及び各頂点の補正量から構成される。

プロジェクタ５２０ｂのＣＰＵ１１０は通信部１９３によって補正コマンドを受信すると、変形処理部３４０に指示をして、受信した補正量に基づいて投影画像の幾何学変形を行う。

補正コマンドの送信を終えると、情報処理装置５００のＣＰＵが画像出力部に指示をしてマーカー画像の供給を止めることで、各プロジェクタはマーカー画像の投影を終了させる（Ｓ９０８）。

以上より、本実施例によれば、位置合わせ用マーカーを所定の分解能以上で撮影することができ、複数台投影の位置合わせを精度よく行うことができる。

実施例２では、ズーム制御に加えてパン・チルト制御が可能な撮影装置を用いる場合について説明する。実施形態は図５に示したものと同様である。なお、本実施例においても、各装置の台数や配置について図５と異なる形態を用いてもよい。

基本的な処理フローは実施例１と同等である。実施例１との差異は図９に示すフローチャート中の撮影装置のズーム調整（Ｓ９０３）の処理である。

図１５を用いて、実施例２における情報処理装置５００による撮影装置５２０のズーム制御の詳細を説明する。

情報処理装置５００のＣＰＵが撮影制御部６０３によって撮影装置５２０に指示をして、撮影装置５２０の画角が広角端となるようにズーム制御を行う（Ｓ１５０１）。

図２０の撮影領域２００７は投影画像２００５及び投影画像２００６を広角端で撮影する際の撮影範囲を表す。このとき、撮影装置５２０の画角内に、プロジェクタ５２０ａ及びプロジェクタ５２０ｂの重畳領域が収まっているものとする。

撮影領域２００１を撮影する場合は、情報処理装置５００のＣＰＵはマーカー生成部６０８によって重畳領域の左上に位置するマーカー２００８ａ及び２００８ｂのみをマーカー画像として生成する。情報処理装置５００のＣＰＵは画像出力部６０４を介して生成されたマーカー画像を各プロジェクタに供給し、各プロジェクタはマーカー画像を投影面５３０上に投影する。この状態で以下に説明する手法を用いることで撮影領域２００１に画角を合わせることができる。

まず、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０に指示をして、投影面５３０上のマーカーを撮影し、画像受信部６０２によって撮影画像を受信する（Ｓ１５０２）。

次に、情報処理装置５００のＣＰＵはマーカー検出部６０６に指示をして撮影画像からマーカー領域を検出する（Ｓ１５０３）。

次に、情報処理装置５００のマーカー検出部６０６は撮影画像においてマーカーが撮影画角からはみ出しているか否かを判定する（Ｓ１５０４）。この判定は実施例１のＳ１１０３と同じ手法を用いれば良い。

Ｓ１５０４において、マーカーがはみ出していないと判定された場合は、現在のズーム倍率が適切かどうかを判定する（Ｓ１５０５）。この判定も実施例１のＳ１１０４と同じ手法を用いればよい。

Ｓ１５０５において、ズーム倍率が適切であると判定された場合は、ズーム調整処理（Ｓ９０３）を終了する。

Ｓ１５０５において、ズーム倍率が適切ではないと判定された場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって、撮影装置がこれ以上ズームインできるか否かを判定する（Ｓ１５０６）。

ズームインが可能である場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０に指示をして、ズームインを行う（Ｓ１５０７）。ズームインの処理は実施例１のＳ１１０６と同等である。

このときの投影画像におけるマーカーの状態を図１６（ａ）に示す。図１６の１６０１は撮影画像を、１６０２はプロジェクタ５１０ａが投影するマーカーを、１６０３はプロジェクタ５１０ｂが投影するマーカーをそれぞれ表す。また、図１６（ａ）の左図はズームイン前の状態を、図１６（ａ）の右図はズームイン後の状態を表す。

Ｓ１５０４において、マーカーがはみ出していると判定された場合は、マーカー検出部６０６によって検出されたマーカーが撮影画角のどの方向にはみ出しているかの情報に基づいて、はみ出している方向が１方向か否かを判定する（Ｓ１５０９）。マーカーが撮影画角において、ある１方向に対してはみ出しているときの状態の例を図１６（ｂ）の左図に示す。

はみ出している方向が１方向である場合、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、はみ出している方向に応じたパン・チルト制御を行う（Ｓ１５１０）。

パン・チルト制御のために情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０からパン・チルトのステップ数を取得し、情報処理装置５００のＲＡＭやＲＯＭに格納する。なお、既に撮影装置５２０のパン・チルトのステップ数が情報処理装置５００のＲＡＭやＲＯＭに格納されている場合はこの処理は行わなくても構わない。

情報処理装置５００のＣＰＵはＲＡＭ或いはＲＯＭに格納された現在のステップ数に基づいて、撮影制御部６０３に指示をして現在のステップ数から１ステップだけ撮影装置５２０のパン・チルトを制御する。

図１６（ｂ）の左図では撮影画像において、上方向にマーカーがはみ出している。この場合、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、撮影装置５２０を投影面に対して上向きに傾けるように制御する。姿勢制御後の状態を図１６の右図に示す。

はみ出している方向が１方向でない場合、図１６（ｃ）の左図に示すように、撮影画像の対辺においてマーカーが共にはみ出しているか否かを判定する（Ｓ１５０１）。

撮影画像の対辺においてマーカーが共にはみ出している場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって、撮影装置がこれ以上ズームアウトできるか否かを判定する（Ｓ１５１２）。

これ以上ズームアウトできないと判断された場合は、情報処理装置５００のＣＰＵは表示部６１２を介して撮影画角にマーカーが収まらないことをユーザに通知し（Ｓ１５１５）、処理を終了する。

ズームアウトが可能である場合は、情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影装置５２０に指示をして、ズームアウトを行う（Ｓ１５１３）。ズームアウト後の状態を図１６（ｃ）の右図に示す。ズームアウト処理については実施例１のＳ１１０８と同等である。

撮影画像の対辺においてマーカーが共にはみ出していない場合を図１６（ｄ）の左図に示す。このような場合は、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、はみ出している方向に応じたパン・チルト制御を行う（Ｓ１５１４）。

図１６（ｄ）の左図では撮影画像において、下方向及び左方向にマーカーがはみ出している。この場合、情報処理装置５００の撮影制御部６０３が撮影装置５２０に指示をして、撮影装置５２０を投影面５３０に対して下向き或いは左向きに傾けるように制御する。姿勢制御後の状態を図１６の右図に示す。

撮影装置５２０の各制御（ズームイン、ズームアウト、パン・チルト制御）を終えた後は、Ｓ１５０２に戻る。

本実施例によれば、パン・チルト制御を用いることで、マーカーが画角からはみ出している場合であっても、より高い分解能でマーカー画像を撮影することができる。

次に本発明の第３の実施例について説明する。なお、基本的な構成は第１、第２の実施例と同等であり、以下の説明では第２の実施例と異なる点について説明する。

図１７に本実施例における表示システムの概略図を示したものである。表示システムの構成は第１、第２の実施例と同等であるため説明を省略する。第１、第２の実施例との差異は、プロジェクタ５１０ａ及びプロジェクタ５１０ｂが同じ画像を同一の投影面１７０１に重ね合わせるようにスタック投影する点である。なお、本実施例では、プロジェクタ２台をスタック投影しているが、３台以上のプロジェクタをスタック投影しても良い。

本実施例では、投影面１７０１におけるプロジェクタ５１０ａ及びプロジェクタ５１０ｂの投影画像のずれを自動で補正する方法について説明する。

図９を用いて、本実施例の処理フローについて説明する。各プロジェクタがＳ９０１において生成されたマーカー画像を投影面１７０１に投影したときの様子を図１８に示す。Ｓ９０１において、情報処理装置５００のマーカー生成部６０８はマーカーの位置が投影画像の各頂点に配置されるようにマーカー画像を生成する。なお、このときのマーカーの大きさのついては第１、第２の実施例と同様に決定すれば良い。

プロジェクタ５１０ａが投影する投影画像１８００ａは左上にマーカー１８０１ａ、右上にマーカー１８０２ａ、右下にマーカー１８０３ａ、左下にマーカー１８０４ａを有する。

同様に、プロジェクタ５１０ｂが投影する投影画像１８００ｂは左上にマーカー１８０１ｂ、右上にマーカー１８０２ｂ、右下にマーカー１８０３ｂ、左下にマーカー１８０４ｂを有する。

本実施例では、投影画像１８００ａに対して投影画像１８００ｂを重ね合わせるために、投影画像の頂点を調整点として歪み補正を行う４点補正を用いる。４点補正については公知であるため、説明を省略する。投影画像１８００ｂの各頂点を投影画像１８００ａの各頂点に重ね合わせるための調整量を、撮影画像から算出すれば良い。

Ｓ９０１からＳ９０６は第１、第２の実施例と同等であるため説明を省略する。具体的には以下の手順でマーカーの頂点座標を検出する。

（左上のマーカー検出）
情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影領域１８０５のマーカー１８０１ａ及び１８０１ｂを撮影し、マーカー検出部６０８によってマーカー１８０１ａ及び１８０１ｂの各頂点座標を検出する。

（右上のマーカー検出）
情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影領域１８０６のマーカー１８０２ａ及び１８０１２を撮影し、マーカー検出部６０８によってマーカー１８０２ａ及び１８０２ｂの各頂点座標を検出する。

（右下のマーカー検出）
情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影領域１８０７のマーカー１８０３ａ及び１８０３ｂを撮影し、マーカー検出部６０８によってマーカー１８０３ａ及び１８０３ｂの各頂点座標を検出する。

（左下のマーカー検出）
情報処理装置５００のＣＰＵは撮影制御部６０３によって撮影領域１８０８のマーカー１８０４ａ及び１８０４ｂを撮影し、マーカー検出部６０８によってマーカー１８０４ａ及び１８０４ｂの各頂点座標を検出する。

Ｓ９０１からＳ９０６によって、全てのマーカーの頂点座標が取得されると、情報処理装置５００のＣＰＵは補正量算出部によってプロジェクタ５１０ｂの補正量を算出する（Ｓ９０７）。補正量の算出は第１の実施例と同様に、撮影画像平面からプロジェクタのパネル平面への射影変換を用いることで算出できる。

全ての頂点において補正量の算出を終えると、情報処理装置５００のＣＰＵは補正パラメータ出力部６０１に指示をしてプロジェクタ５２０ｂに対して、補正コマンドを送信する。

以上、本実施形態によれば、複数台の投影装置が同じ画像を同一箇所に重ね合わせるように投影するスタック投影においても、位置合わせ用マーカーを所定の分解能以上で撮影することができ、位置合わせを精度よく行うことができる。

［その他の実施例］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、装置に供給することによっても、達成されることは言うまでもない。このとき、供給された装置の制御部を含むコンピュータ（またはＣＰＵやＭＰＵ）は、記憶媒体に格納されたプログラムコードを読み出し実行する。

この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、プログラムコード自体及びそのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等を用いることができる。

また、上述のプログラムコードの指示に基づき、装置上で稼動しているＯＳ（基本システムやオペレーティングシステム）などが処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読み出されたプログラムコードが、装置に挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれ、前述した実施形態の機能が実現される場合も含まれることは言うまでもない。このとき、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部又は全部を行う。

５００情報処理装置（制御装置）
５１０ａ，５１０ｂプロジェクタ（投影装置）
５２０撮影装置
６０３撮影制御部（撮影制御手段）
６０４画像出力部（画像出力手段）
６０８マーカー生成部（マーカー生成手段）
６０９画像処理部（画像処理手段）

Claims

投影画像を投影する複数の投影装置と、前記投影画像を撮影して撮影画像を取得する撮影装置と、を制御する制御装置であって、
マーカー画像を前記複数の投影装置へ出力する画像出力手段と、
前記撮影装置を制御する撮影制御手段と、
前記撮影画像を処理する画像処理手段と、を有し、
前記撮影制御手段は、前記複数の投影装置のうちの少なくとも１つの投影装置によって投影されている前記マーカー画像の少なくとも一部を前記撮影装置で撮影し、
前記画像処理手段は、前記撮影画像に含まれている前記マーカー画像の少なくとも一部を検出し、
前記撮影制御手段は、前記マーカー画像の検出結果に基づいて、前記撮影装置を制御する
ことを特徴とする制御装置。
前記画像処理手段は、前記撮影画像における前記マーカー画像の大きさを検出し、
前記撮影制御手段は、前記マーカー画像の大きさに基づいて、前記撮影装置のズーム制御を行う
ことを特徴とする請求項１に記載の制御装置。
前記画像処理手段は、前記撮影画像における前記マーカー画像の画素数を検出する
ことを特徴とする請求項２に記載の制御装置。
前記撮影制御手段は、前記マーカー画像の大きさが所定値よりも小さい場合に、前記撮影装置の望遠制御を行う
ことを特徴とする請求項２又は３に記載の制御装置。
前記撮影制御手段は、前記マーカー画像の検出結果に基づいて、前記撮影装置の姿勢制御を行う
ことを特徴とする請求項１に記載の制御装置。
前記撮影制御手段は、前記複数の投影装置によって投影されている複数のマーカー画像を前記撮影装置で撮影し、前記複数のマーカー画像が前記撮影画像からはみ出している場合に、前記撮影装置の姿勢制御を行う
ことを特徴とする請求項５に記載の制御装置。
前記複数の投影装置は、マルチ投影又はスタック投影することで、前記投影画像を投影し、
前記マーカー画像は、前記投影画像の重畳領域の位置合わせに使用される
ことを特徴とする請求項１乃至６のいずれか１項に記載の制御装置。
前記マーカー画像を生成するマーカー生成手段を有し、
前記マーカー生成手段は、前記検出に使用される第１のマーカー画像と、前記第１のマーカー画像と特徴点の数が異なり且つ前記位置合わせに使用される第２のマーカー画像と、を生成する
ことを特徴とする請求項７に記載の制御装置。
前記マーカー画像を生成するマーカー生成手段を有し、
前記マーカー生成手段は、前記マーカー画像の検出結果に基づいて、前記マーカー画像を第１のマーカー画像から前記第１のマーカー画像と特徴点の数が異なる第２のマーカー画像に変更する
ことを特徴とする請求項１乃至７のいずれか１項に記載の制御装置。
投影画像を投影する複数の投影装置と、前記投影画像を撮影して撮影画像を取得する撮影装置と、を制御するプログラムであって、
マーカー画像を前記複数の投影装置へ出力する画像出力工程と、
前記撮影装置を制御する撮影制御工程と、
前記撮影画像を処理する画像処理工程と、をコンピュータに実行させ、
前記撮影制御工程では、前記複数の投影装置のうちの少なくとも１つの投影装置によって投影されている前記マーカー画像の少なくとも一部を前記撮影装置で撮影し、
前記画像処理工程では、前記コンピュータに、前記撮影画像に含まれている前記マーカー画像の少なくとも一部を検出させ、
前記撮影制御工程では、前記コンピュータに、前記マーカー画像の検出結果に基づいて前記撮影装置を制御させる
ことを特徴とするプログラム。
複数の投影装置と撮影装置とを制御する制御方法であって、
前記複数の投影装置のそれぞれでマーカー画像を投影する工程と、
前記複数の投影装置のうちの少なくとも１つの投影装置によって投影されている前記マーカー画像の少なくとも一部を前記撮影装置で撮影することにより、撮影画像を取得する工程と、
前記撮影画像に含まれている前記マーカー画像の少なくとも一部を検出する工程と、
前記マーカー画像の検出結果に基づいて前記撮影装置を制御する工程と、を有する
ことを特徴とする制御方法。