JP2020150481A - 情報処理装置、投影システム、情報処理方法、及び、プログラム - Google Patents

Abstract

【課題】マルチ投影において、ユーザが設定する領域を用いて、重畳領域の位置や形状をより正確に合わせることができる。【解決手段】情報処理装置は、プロジェクタが投影するテストパターンの投影画像を撮像した撮像画像を取得する画像取得手段と、ユーザから前記撮像画像における調整領域の設定を受け付ける受付手段と、前記調整領域の前記撮像画像における座標と前記テストパターンにおける座標との対応関係を解析する解析手段と、前記解析手段が解析した前記対応関係に基づいて、前記プロジェクタが投影する画像を補正するための補正関数を取得する取得手段と、を備える。【選択図】図４

Description

本発明は、情報処理装置、投影システム、情報処理方法、及び、プログラムに関する。

プロジェクタの投影方法として、スタック投影やブレンド投影といった、複数台のプロジェクタを用いて一つの投影面を構成するマルチ投影が知られている。スタック投影は、各プロジェクタの投影面を重ねて、高輝度な投影を実現する投影方法である。ブレンド投影は、各プロジェクタが全体の表示画像から一部を切り出した映像を表示し、各プロジェクタの投影領域の一部を重ね合わせて投影する投影方法である。

マルチ投影を行う場合、各プロジェクタの投影領域の一部を重ね合わせた重畳領域（ブレンド部）は位置や形状を合わせるように調整される。ユーザは、光学ズームやレンズシフト、幾何学補正といった機能を用いて、ブレンド部同士の位置や形状を合わせる調整をすることができる。位置や形状を合わせる調整の操作負荷を軽減するため、カメラを用いて投影面を解析し、投影面形状を補正する技術が知られている。

マルチ投影では、投影面が平面以外の場合がある。投影面が平面でない場合、各プロジェクタのブレンド部同士の位置や形状を合わせる調整は困難であるという課題がある。例えば、経年劣化により平面スクリーンが歪んでいる場合、各プロジェクタの投影面の平面性が異なるため、各プロジェクタのブレンド部同士の位置を合わせるのは困難である。特許文献１では、ブレンド部とブレンド部以外とでそれぞれに対応した幾何補正関数を用いることで、ブレンド部における幾何的な整合性をとる技術が提案されている。

特開２００５−２５２８０４号公報

しかし、特許文献１では、プロジェクタは、ブレンド部とブレンド部以外とでそれぞれ異なる幾何学補正を適用できる機能を有することが前提とされる。この機能は、例えば、画像の歪補正処理を実行することができるワーピングチップにより実現される。このように、プロジェクタは、ブレンド部とブレンド部以外とでそれぞれ異なる幾何学補正関数を生成しなければならず、また、ワーピングチップを搭載することでコストは増大する。

そこで、本発明は、マルチ投影において、ユーザが設定する領域を用いて、重畳領域の位置や形状をより正確に合わせることができるプロジェクタの提供を目的とする。

上記課題を解決するために、本発明の一側面としての情報処理装置は、
プロジェクタが投影するテストパターンの投影画像を撮像した撮像画像を取得する画像取得手段と、
ユーザから前記撮像画像における調整領域の設定を受け付ける受付手段と、
前記調整領域の前記撮像画像における座標と、前記テストパターンにおける座標との対応関係を解析する解析手段と、
前記解析手段が解析した前記対応関係に基づいて、前記プロジェクタが投影する画像を補正するための補正関数を取得する取得手段と、を備える。

本発明によれば、マルチ投影において、ユーザが設定する領域を用いて、重畳領域の位置や形状をより正確に合わせることができる。

実施形態に係る投影システムの構成例を示す図である。 プロジェクタの構成を例示する図である。 情報処理装置および撮像装置の構成を例示する図である。 情報処理装置による位置合わせ処理を例示するフローチャートである。 撮像画像にマスクをかける処理を例示するフローチャートである。 調整領域の設定およびマスクをかける処理を説明するための図である。 マスク画像および撮像画像の解析処理を説明するための図である。

以下、図面を参照して本発明の実施形態を詳細に説明するが、本発明は以下の実施の形態に限定するものではない。

＜実施形態＞
本実施形態に係る投影システムは、プロジェクタ、情報処理装置および撮像装置を含む。投影システムにおいて、情報処理装置は、複数台のプロジェクタおよび撮像装置を制御することによって、各プロジェクタがスクリーンなどに投影する投影領域の形状を制御する。具体的には、情報処理装置は、撮像装置により撮像されたスクリーンの撮像画像において、ユーザが設定した任意の領域内で、各プロジェクタの投影領域同士の位置や形状が合うように、投影領域の形状を調整する。なお、各プロジェクタによる投影領域の配置は、スクリーンの同じ位置に投影するスタック投影でもよいし、一部を重ね合わせて投影するブレンド投影でも良い。

以下では、まず、投影システムの基本的な構成について説明する。次に、投影システムに含まれるプロジェクタ、情報処理装置、撮像装置の各構成について説明する。なお、本実施形態では、透過型液晶パネルを用いた液晶プロジェクタを複数台含む投影システムについて説明する。

［投影システム］
図１を用いて、投影システム１について説明する。図１は、実施形態に係る投影システム１の構成例を示す図である。投影システム１は、プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄ、情報処理装置５００、撮像装置６００を有する。なお、プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄは、それぞれ同じ構成を有する。プロジェクタ１００ａからプロジェクタ１００ｄは、以下、総称してプロジェクタ１００とも称される。

プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄは、投影対象であるスクリーン３００に対して投影を行う。スクリーン３００は、スクリーン枠８００およびスクリーン本体９００を含む。プロジェクタ１００ａがスクリーン３００に対して投影している領域は、投影領域４００ａである。同様に、スクリーン３００に対し、プロジェクタ１００ｂが投影している領域は投影領域４００ｂ、プロジェクタ１００ｃが投影している領域は投影領域４００ｃ、プロジェクタ１００ｄが投影している領域は投影領域４００ｄである。

情報処理装置５００は、ケーブル２００ａを介してプロジェクタ１００ａに接続されて
いる。同様に、情報処理装置５００は、ケーブル２００ｂ、ケーブル２００ｃ、ケーブル２００を介して、それぞれプロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄに接続されている。

撮像装置６００は、投影対象であるスクリーン３００を撮像する。本実施形態では、撮像装置６００は、投影領域４００ａ、投影領域４００ｂ、投影領域４００ｃ、投影領域４００ｄを撮影できる位置に設置されている。

ケーブル２００ａは、情報処理装置５００とプロジェクタ１００ａとの間で通信を行うため伝送路である。ケーブル２００ｂは、情報処理装置５００とプロジェクタ１００ｂとの間で通信を行うため伝送路である。ケーブル２００ｃは、情報処理装置５００とプロジェクタ１００ｃとの間で通信を行うため伝送路である。ケーブル２００ｄは、情報処理装置５００とプロジェクタ１００ｄとの間で通信を行うため伝送路である。ケーブル２００ａ、ケーブル２００ｂ、ケーブル２００ｃ、ケーブル２００ｄは、例えばＬＡＮケーブルやＵＳＢケーブルなどであって、形式は問わない。なお、情報処理装置５００とプロジェクタ１００とは、ケーブルなどによる有線接続ではなく、無線接続によって通信してもよい。

ケーブル７００は、情報処理装置５００と撮像装置６００との間で通信を行うための伝送路である。ケーブル７００は、例えばＬＡＮケーブルやＵＳＢケーブルなどであって、形式は問わない。つまり、撮像装置６００は、情報処理装置５００とケーブル７００を介して接続されている。

なお、図１は、プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄによる投影において、各投影領域の位置調整を行う前の状態を示している。本発明は、スタック投影およびブレンド投影のいずれにも適用し得るが、本実施形態では、プロジェクタ１００ａ、プロジェクタ１００ｂ、プロジェクタ１００ｃ、プロジェクタ１００ｄによって、ブレンド投影をする場合について説明する。

［プロジェクタ］
図２を用いて、本実施形態のプロジェクタ１００について説明する。図２は、プロジェクタ１００の構成を例示する図である。プロジェクタ１００は、投影装置であれば任意のものを用いてもよい。例えば、プロジェクタ１００は、表示デバイスとして透過型液晶パネルを用いる液晶プロジェクタの他、ＤＬＰ、ＬＣＯＳ（反射型液晶）パネルなどの表示デバイスを用いたものであってもよい。また、プロジェクタ１００は、単板式や３板式などが一般に知られているが、いずれの方式であってもよい。なお、本実施形態のプロジェクタ１００は、表示すべき画像に応じて、液晶素子の光の透過率を制御して、液晶素子を透過した光源からの光をスクリーンに投影することで、画像をユーザに提示する。

プロジェクタ１００は、ＣＰＵ１１０、ＲＯＭ１１１、ＲＡＭ１１２、操作部１１３、画像入力部１３０、画像処理部１４０を有する。また、プロジェクタ１００は、さらに、液晶制御部１５０、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂ、光源制御部１６０、光源１６１、色分離部１６２、色合成部１６３、光学系制御部１７０、投影光学系１７１を有する。また、プロジェクタ１００は、さらに、記録再生部１９１、記録媒体１９２、通信部１９３、表示制御部１９５、表示部１９６を有してもよい。なお、図２における点線は、光源１６１から照射する光が通る経路を示している。

ＣＰＵ１１０は、プロジェクタ１００の各機能部を制御する。ＲＯＭ１１１は、ＣＰＵ１１０の処理手順を記述した制御プログラムを記憶する。ＲＡＭ１１２は、ワークメモリとして一時的に制御プログラムおよびデータを格納する。ＣＰＵ１１０は、通信部１９３
より受信した静止画データまたは動画データを一時的にＲＡＭ１１２に記憶することができる。また、ＣＰＵ１１０は、記録再生部１９１により記録媒体１９２から取得して再生される静止画データまたは動画データを一時的にＲＡＭ１１２に記憶することができる。そして、ＣＰＵ１１０は、ＲＯＭ１１１に記憶されたプログラムを用いて、ＲＡＭ１１２に記憶したデータに応じた画像や映像を再生することもできる。

また、操作部１１３は、ユーザの指示を受け付け、ＣＰＵ１１０に指示信号を送信する。例えば、操作部１１３は、スイッチ、ダイヤル、表示部１９６上に設けられたタッチパネルなどによりユーザの指示を受け付ける。また、操作部１１３は、例えば、リモコンからの信号を受信する信号受信部（赤外線受信部など）で、受信した信号に基づいて所定の指示信号をＣＰＵ１１０に送信するものであってもよい。また、ＣＰＵ１１０は、操作部１１３からの指示信号、または通信部１９３から入力された制御信号を受信して、プロジェクタ１００の各機能部を制御する。

画像入力部１３０は、外部装置から映像信号を受信する。画像入力部１３０は、例えば、コンポジット端子、Ｓ映像端子、Ｄ端子、コンポーネント端子、アナログＲＧＢ端子、ＤＶＩ−Ｉ端子、ＤＶＩ−Ｄ端子、ＨＤＭＩ（登録商標）端子等を含む。画像入力部１３０は、アナログ映像信号を受信した場合、受信したアナログ映像信号をデジタル映像信号に変換する。画像入力部１３０は、受信した映像信号を、画像処理部１４０に送信する。なお、外部装置は、映像信号を出力できるものであればよく、例えば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機などであってもよい。

画像処理部１４０は、画像入力部１３０から受信した映像信号にフレーム数、画素数、画像形状などの変更処理を施して、液晶制御部１５０に送信する。画像処理部１４０は、例えば、画像処理用のマイクロプロセッサにより構成される。また、画像処理部１４０は、専用のマイクロプロセッサでなくてもよく、例えば、ＣＰＵ１１０がＲＯＭ１１１に記憶されたプログラムによって、画像処理部１４０と同様の処理を実行してもよい。画像処理部１４０は、フレーム間引き処理、フレーム補間処理、解像度変換処理、歪み補正処理（キーストン補正処理）といった機能を実行することが可能である。また、画像処理部１４０は、画像入力部１３０から受信した映像信号以外にも、ＣＰＵ１１０によって再生された画像または映像に対して、上述の変更処理を施すこともできる。画像処理部１４０は、後述する光学調整を行う際のテストパターンを生成することもできる。

液晶制御部１５０は、画像処理部１４０で処理の施された映像信号に基づいて、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの画素の液晶に印可する電圧を制御して、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂの透過率を調整する。液晶制御部１５０は、制御用のマイクロプロセッサにより構成される。また、液晶制御部１５０は、専用のマイクロプロセッサでなくてもよく、例えば、ＣＰＵ１１０がＲＯＭ１１１に記憶されたプログラムによって、液晶制御部１５０と同様の処理を実行してもよい。例えば、画像処理部１４０に映像信号が入力されている場合、液晶制御部１５０は、画像処理部１４０から１フレームの画像を受信する度に、画像に対応する透過率となるように、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを制御する。

液晶パネル１５１Ｒは、赤色に対応する液晶パネルである。光源１６１から出力された光は、色分離部１６２で赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離される。液晶パネル１５１Ｒは、色分離部１６２で分離された光のうち、赤色の光の透過率を調整する。液晶パネル１５１Ｇは、緑色に対応する液晶パネルであって、色分離部１６２で分離された光のうち、緑色の光の透過率を調整する。液晶パネル１５１Ｂは、青色に対応する液晶パネルであって、色分離部１６２で分離された光のうち、青色の光の透過率を調整する。

光源制御部１６０は、光源１６１のオン／オフを制御したり、光量を制御したりする。光源制御部１６０は、制御用のマイクロプロセッサにより構成される。また、光源制御部１６０は、専用のマイクロプロセッサでなくてもよく、例えば、ＣＰＵ１１０がＲＯＭ１１１に記憶されたプログラムによって、光源制御部１６０と同様の処理を実行してもよい。また、光源１６１は、不図示のスクリーンに画像を投影するための光を出力するものであり、例えば、ハロゲンランプ、キセノンランプ、高圧水銀ランプなどであってもよい。

色分離部１６２は、光源１６１から出力された光を、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）に分離する。色分離部１６２は、例えば、ダイクロイックミラーやプリズムなどにより構成される。なお、光源１６１として、各色に対応するＬＥＤ等を使用する場合には、色分離部１６２は不要である。

色合成部１６３は、液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂを透過した赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の光を合成する。色合成部１６３は、例えば、ダイクロイックミラーやプリズムなどにより構成される。色合成部１６３により赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の成分を合成した光は、投影光学系１７１に送られる。液晶パネル１５１Ｒ、１５１Ｇ、１５１Ｂは、画像処理部１４０から入力された画像に対応する光の透過率となるように、液晶制御部１５０により制御されている。このため、色合成部１６３により合成された光は、投影光学系１７１によりスクリーンに投影されると、画像処理部１４０により入力された画像に対応する画像がスクリーン上に表示される。

光学系制御部１７０は、投影光学系１７１を制御する。光学系制御部１７０は、制御用のマイクロプロセッサにより構成される。光学系制御部１７０は、投影光学系１７１を制御することにより、投影領域（投影画像）の拡大、縮小、移動、焦点などの調整を行うことができる。

投影光学系１７１は、色合成部１６３から出力された合成光をスクリーンに投影する。投影光学系１７１は、例えば、複数のレンズおよびレンズ駆動用のアクチュエータにより構成される。投影光学系１７１は、レンズをアクチュエータにより駆動することによって、投影領域（投影画像）の拡大、縮小、移動、焦点などの調整を実現することができる。

記録再生部１９１は、記録媒体１９２に記録された静止画データまたは動画データを再生する。記録再生部１９１は、例えば、記録媒体１９２と電気的に接続するインタフェースおよび記録媒体１９２と通信するためのマイクロプロセッサにより構成される。また、記録再生部１９１には、専用のマイクロプロセッサを含まなくてもよく、例えば、ＣＰＵ１１０がＲＯＭ１１１に記憶されたプログラムによって、記録再生部１９１と同様の処理を実行してもよい。

記録媒体１９２は、静止画データ、動画データ、およびプロジェクタ１００に必要な制御データなどを記録することができる。記録媒体１９２は、例えば、磁気ディスク、光学式ディスク、半導体メモリなどのあらゆる方式の記録媒体であってもよい。また、記録媒体１９２は、着脱可能な記録媒体であっても、内蔵型の記録媒体であってもよい。記録媒体１９２は、通信部１９３より受信した静止画データおよび動画データを記録してもよい。

通信部１９３は、外部機器からの制御信号や静止画データ、動画データなどを受信する。通信部１９３は、通信方式を特に限定するものではなく、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いて通信する。また、画像入力部１３０の端子が、例えばＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ通信
を行うものであってもよい。ここで、外部装置は、プロジェクタ１００と通信を行うことができるものであれば、パーソナルコンピュータ、カメラ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコンなど、どのようなものであってもよい。

表示制御部１９５は、プロジェクタ１００が有する表示部１９６に、プロジェクタ１００を操作するための操作画面およびスイッチアイコン等の画像を表示させる制御をする。表示制御部１９５は、表示制御を行うマイクロプロセッサなどにより構成される。また、表示制御部１９５専用のマイクロプロセッサでなくてもよく、例えば、ＣＰＵ１１０がＲＯＭ１１１に記憶されたプログラムによって、表示制御部１９５と同様の処理を実行してもよい。

表示部１９６は、プロジェクタ１００を操作するための操作画面およびスイッチアイコンを表示する。表示部１９６は、画像を表示できればどのようなものであってもよい。例えば、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、ＬＥＤディスプレイであってよい。また、表示部１９６は、特定のボタンをユーザに認識可能に掲示するために、各ボタンに対応するＬＥＤ等を発光させるものであってもよい。

なお、本実施形態の画像処理部１４０、液晶制御部１５０、光源制御部１６０、光学系制御部１７０、記録再生部１９１、表示制御部１９５は、これらの各機能部と同様の処理を行うことのできる単数または複数のマイクロプロセッサあってもよい。または、例えば、ＲＯＭ１１１に記憶されたプログラムによって、ＣＰＵ１１０が各機能部と同様の処理を実行してもよい。

［情報処理装置］
図３（Ａ）を用いて、本実施形態の情報処理装置５００について説明する。図３（Ａ）は、情報処理装置５００の構成を例示する図である。情報処理装置５００は、ＣＰＵ５１０、ＲＯＭ５１１、ＲＡＭ５１２、操作部５１３、通信部５９３、表示部５９６を有する。なお、情報処理装置５００におけるＣＰＵ５１０以外の各機能部は、プロジェクタ１００における同名の機能部と同様の処理を行うため説明は省略する。

ＣＰＵ５１０は、情報処理装置５００の画像取得手段、受付手段、解析手段、取得手段、指示手段などの各機能部および全体の制御を司る制御手段として機能する。ＣＰＵ５１０は、ＲＯＭ５１１に格納されるプログラムに従い、プロジェクタ１００および撮像装置６００を制御することによって投影領域を調整する。

具体的には、ＣＰＵ５１０は、撮像装置６００によって撮像された撮像画像を、通信部５９３を介して受信する。ＣＰＵ５１０は、投影画像の調整に用いるための領域（以下、調整領域とも称する）として、ユーザが操作部５１３を介して設定した領域を特定する。ＣＰＵ５１０は、ユーザが設定した領域内の画像データに基づいてスクリーン３００に投影される画像全体の補正関数を生成（算出）する。ＣＰＵ５１０は、生成した補正関数によって、各プロジェクタ１００の投影領域の位置や形状を調整する。補正関数は、例えば、画像データ上の座標を、投影領域での座標（プロジェクタパネル上の座標）に変換する変換行列である。生成された補正関数は、ＲＡＭ５１２に格納される。ＣＰＵ５１０は、調整済のプロジェクタ１００については、ＲＡＭ５１２に格納された補正関数を取得して投影画像を補正することも可能である。

［撮像装置］
図３（Ｂ）を用いて、本実施形態の撮像装置６００について説明する。図３（Ｂ）は、撮像装置６００の構成を例示する図である。本実施形態の撮像装置６００は、ＣＰＵ６１０、ＲＯＭ６１１、ＲＡＭ６１２、操作部６１３、通信部６９３、撮像部６９４、表示部
６９６を有する。なお、撮像装置６００におけるＣＰＵ６１０および撮像部６９４以外の各機能部は、液晶プロジェクタ１００における同名の機能部と同様の処理を行うため説明は省略する。

撮像部６９４は、不図示の撮影光学系を介して周囲を撮影し、画像信号を取得する。撮像部６９４は、画像信号から得られた撮像画像をＣＰＵ６１０に出力する。

ＣＰＵ６１０は、撮像装置６００の各機能部を制御する。また、ＣＰＵ６１０は、撮像部６９４から取得する撮像画像を、ＲＯＭ６１１に記憶されたプログラムに基づいて、静止画データまたは動画データに変換して、一時的にＲＡＭ６１２に記憶することができる。ＣＰＵ６１０は、撮像部６９４から出力される撮像画像を、通信部６９３を介して情報処理装置５００に送信する。

［位置合わせ処理］
図４を用いて、本実施形態の特徴的な動作である複数台のプロジェクタによる投影領域の位置合わせ処理について説明する。図４は、情報処理装置による位置合わせ処理を例示するフローチャートである。図４に示す位置合わせ処理は、例えば、情報処理装置５００の操作部５１３がユーザからの入力を受け付けたこと、または通信部５９３が外部機器から指示信号を受信したことを契機として開始される。

Ｓ３０１では、ＣＰＵ５１０は、位置合わせをするための初期設定を行う。初期設定は、調整対象のプロジェクタ１００の選択、使用する撮像装置６００の選択、各プロジェクタ１００の配置設定などである。ＣＰＵ５１０は、調整対象のプロジェクタ１００を選択し、未調整であるか否かの情報とともにＲＡＭ５１２に記録する。配置設定は、スタック調整を行うか、ブレンド調整を行うかの設定を含む。また、ブレンド調整の場合、配置設定は、プロジェクタ１００の物理的な配置情報およびブレンド幅の情報についての設定なども含む。

初期設定は、ユーザによって情報処理装置５００の操作部５１３を介して設定され、ＲＡＭ５１２に記録された情報とすることができる。また、初期設定は、あらかじめＲＯＭ５１１またはＲＡＭ５１２に記憶されている情報を用いても良い。なお、調整対象プロジェクタ１００の選択および撮像装置６００の選択処理の前に、情報処理装置５００は、通信部５９３を介して、情報処理装置５００に接続されている機器の検索処理をする。これらの処理は、既知の技術で実現可能であるため、説明は省略する。

Ｓ３０２では、ＣＰＵ５１０は、Ｓ３０１で選択された調整対象プロジェクタ１００のうち、調整が終わっていないプロジェクタ１００を、制御対象プロジェクタ１００として1台選択する。制御対象プロジェクタ１００は、ユーザにより情報処理装置５００の操作
部５１３を介して選択され、ＲＡＭ５１２に記録される。なお、制御対象プロジェクタ１００は、Ｓ３０１において、あらかじめＲＯＭ５１１またはＲＡＭ５１２に記録された順に選択されるようにしてもよい。

Ｓ３０３では、ＣＰＵ５１０は、調整に用いるテストパターンを生成しＲＡＭ５１２に記録する。ＣＰＵ５１０は、通信部５９３を介して、生成したテストパターンを制御対象プロジェクタ１００へ送信する。Ｓ３０４では、ＣＰＵ５１０は、通信部５９３を介して制御対象プロジェクタ１００のＣＰＵ１１０へテストパターンの表示を指示する。なお、Ｓ３０３およびＳ３０４の処理は、ＣＰＵ５１０が、制御対象プロジェクタ１００のＣＰＵ１１０に対して、制御対象プロジェクタ１００のＲＯＭ１１１に記録されているテストパターンの表示を指示する処理で代替してもよい。

Ｓ３０５では、ＣＰＵ５１０（画像取得手段）は、通信部５９３を介して、撮像装置６００に対し、制御対象プロジェクタ１００の投影面の撮像を指示する。撮像装置６００は、撮像画像をＲＡＭ６１２またはＲＯＭ６１１に記録し、通信部６９３を介して、撮像画像を情報処理装置５００へ送信する。情報処理装置５００のＣＰＵ５１０は、受信した撮像画像をＲＡＭ５１２もしくはＲＯＭ５１１に記録する。

Ｓ３０６では、ＣＰＵ５１０（受付手段）は、撮像装置６００から受信した撮像画像に対して、ユーザから調整領域の設定を受け付け、マスク画像を生成してＲＡＭ５１２に記録する。ここで、調整領域の設定について、図５を用いて詳細に説明する。

図５は、撮像画像にマスクをかける処理を例示するフローチャートである。Ｓ３０６の処理は、各調整対象プロジェクタ１００の投影領域のうち、調整に用いる領域を設定するための処理である。図５に示す処理は、図４のＳ３０５の処理の後に開始される。

Ｓ３２０では、ＣＰＵ５１０は、通信部５９３を介して、すべての調整対象のプロジェクタ１００に対し、テストパターンの投影を指示する。Ｓ３２０で各調整対象のプロジェクタ１００に投影させるテストパターンは、図４のＳ３０４で投影する位置合わせのための調整用テストパターンと異なるものであってよい。Ｓ３２０においてスクリーンに投影されるテストパターンは、調整に用いる領域を簡易に設定するために使用される。調整領域の設定にはスクリーン３００に投影されたテストパターンの撮像画像が使用されるため、テストパターンは、各調整対象のプロジェクタ１００による投影面同士の位置関係がわかるように白ラスタ画像などであることが望ましい。

Ｓ３２１では、ＣＰＵ５１０は、通信部５９３を介して、撮像装置６００に対し、スクリーン３００に投影されている投影面の撮像を指示する。図１に示す投影システム１の例では、ＣＰＵ５１０は、スクリーン３００に投影されている投影面４００ａ、投影面４００ｂ、投影面４００ｃ、投影面４００ｄを撮像装置６００に撮像させる。ＣＰＵ５１０は、撮像装置６００が撮像した撮像画像を、通信部５９３を介して取得し、ＲＡＭ５１２に記録する。

Ｓ３２２では、ＣＰＵ５１０は、撮像画像を表示部５９６に表示する。ＣＰＵ５１０は、ユーザから、操作部５１３を介して、表示部５９６に表示された撮像画像における調整領域の設定を受け付ける。ここで、図６を用いて調整領域の設定および撮像画像にマスクをかける処理について説明する。

図６は、調整領域の設定およびマスクをかける処理を説明するための図である。図６（Ａ）は、表示部５９６に表示された撮像画像および調整領域を示す。撮像画像は、撮像画像表示領域６０１に表示される。撮像画像は、静止画であっても、ライブビュー画像であってもよい。

ユーザは、操作部５１３を介して、撮像画像表示領域６０１内で調整領域６０２を設定する。ユーザは、例えば、マウス等のポインティングデバイスにより調整対象とする領域を選択することで、調整領域６０２を自由に設定することができる。調整領域６０２は、各プロジェクタ１００による投影領域のうち、調整に用いられる領域を示す。

図６（Ａ）では、調整領域６０２は、縦方向および横方向のブレンド部に設定されている。調整に用いられる領域は、これに限られず、横方向のブレンド部のみ、スクリーン３００の中央部のみのように、調整したいスクリーン３００の形状に応じて、ユーザが自由に設定することができる。

各プロジェクタ１００の投影面のブレンド部同士の位置や形状を合わせるためには、調整領域６０２は、ブレンド部であって平面状の（平面性の高い）領域を可能な範囲で広く設定することが望ましい。調整領域６０２は、障害物などを避けて設定されることが望ましい。また、調整領域６０２は、調整用のテストパターンの誤検出を防ぐため、投影対象のスクリーン３００上の色彩または模様がある部分を避けて設定されてもよい。ＣＰＵ５１０は、ユーザによって設定された調整領域６０２の情報をＲＡＭ５１２に記録する。

図５のＳ３２３では、ＣＰＵ５１０は、ＲＡＭ５１２に記録した調整領域６０２の情報を用いて、図４のＳ３０５で撮像した位置調整用テストパターンの撮像画像にマスクを施す。ＣＰＵ５１０は、位置調整用テストパターンの撮像画像にマスクを施すことで、マスク画像６０３を生成する。図６（Ｂ）は、図６（Ａ）のように調整領域６０２を設定した場合の、投影領域４００ａのテストパターンを撮像した撮像画像のマスク画像６０３を示す。マスク領域６０４は、撮像画像のうち、調整に用いない領域である。

マスク領域６０４は、図４のＳ３０７の解析処理において、マスク領域であることが識別できるように、例えば黒色として領域内の画素の色を変更することにより設定される。マスク領域の設定方法は、これに限られない。マスク領域は、調整に用いる領域、または用いない領域の画素位置または範囲を記録しておくことで設定されてもよい。ＣＰＵ５１０は、マスク画像６０３をＲＡＭ５１２に記録し、図５に示す処理は終了する。

なお、Ｓ３２２およびＳ３２３の処理は、調整対象の領域ではなく、調整の対象外とする調整除外領域の設定を受け付けるものであってもよい。図６(Ｃ)は、表示部５９６に表示された撮像画像と調整除外領域を示す。撮像画像は、撮像画像表示領域６０１に表示される。ユーザは操作部５１３を介して、撮像画像表示領域６０１内で調整除外領域６０５を設定する。調整除外領域６０５は、各プロジェクタ１００による投影領域のうち、調整に用いない領域である。

図６(Ｃ)では、調整除外領域６０５は、縦方向のブレンド部以外に設定されている。調整に用いない領域は、これに限られず、調整したいスクリーン３００の形状に応じて、ユーザが自由に設定することができる。ＣＰＵ５１０は、ユーザによって設定された調整除外領域６０５の情報をＲＡＭ５１２に記録する。

ＣＰＵ５１０は、ＲＡＭ５１２に記録した調整除外領域６０５の情報を用いて、図４のＳ３０５で撮像した位置調整用テストパターンの撮像画像にマスクを施す。ＣＰＵ５１０は、位置調整用テストパターンの撮像画像にマスクを施すことで、マスク画像６０３を生成する。図６（Ｄ）は、図６（Ｃ）に示すように縦方向のブレンド部以外を調整除外領域６０５として設定した場合の、投影領域４００ａのテストパターンを撮像した撮像画像のマスク画像６０３を示す。マスク領域６０６は、撮像画像のうち調整に用いない領域である。

図４のＳ３０７では、ＣＰＵ５１０（解析手段）は、Ｓ３０６で生成されたマスク画像を解析し、プロジェクタ１００のパネル座標と撮像画像の座標とを対応付ける。

ここで、図７を用いて、プロジェクタ１００のパネル座標と撮像画像の座標とを対応付ける処理について説明する。図７は、マスク画像および撮像画像解析処理を説明するための図である。

図４のＳ３０４で投影されるテストパターンは、テストパターンの撮像画像における、ある任意の座標が、プロジェクタ１００のパネル上のどこに表示されているかを算出可能なテストパターンである。図７(Ａ)は、マスク画像６０３を解析した結果を示す。図７(
Ａ)に示すマスク画像６０３において、投影面４００ａのブレンド部には、１２個の撮像
画像の座標が×印で示される。図７(Ｂ)は、プロジェクタ１００ａのパネルを表す。図７(Ｂ)に示すパネルには、図７(Ａ)の投影面４００ａにおいて×印で示された撮像画像の座標に対応する、パネル上での座標（以下、パネル座標とも称する）が×印で示される。図７(Ａ)の撮像画像の座標は、図７(Ｂ)のパネル座標と対応関係にある。例えば、図７(Ａ)の撮像画像の座標６１０は、図７(Ｂ)のパネル座標６１１と対応している。

なお、図７(Ａ)および図７(Ｂ)に示す例では、１２個の座標による対応関係を図示して説明したが、撮像画像の座標とパネル座標とは、調整領域に含まれる任意の座標おいて対応づけることが可能である。ＣＰＵ５１０は、マスク画像６０３の解析によって取得した、プロジェクタ１００のパネル座標と撮像画像の座標との対応関係（対応する点群）の情報をＲＡＭ５１２に記録する。

図４のＳ３０８では、ＣＰＵ５１０（取得手段）は、撮像画像と制御対象プロジェクタ１００の表示映像との間の変換行列を取得する。具体的には、ＣＰＵ５１０は、Ｓ３０７で取得したパネル座標と撮像画像の座標との対応関係から、プロジェクタ１００のパネル座標と撮像画像の座標との変換関係を算出する。

変換関係の一例としては、射影変換行列があげられる。３×３の行列である射影変換行列を用いると、撮像画像上の任意の点の座標は、プロジェクタパネル上の対応する座標に変換することができる。また、プロジェクタパネル上の任意の点の座標は、撮像画像上の対応する座標に変換することができる。Ｓ３０８で算出された変換行列は、補正関数の一例である。なお、制御対象プロジェクタ１００に対し、変換行列が既に算出されている場合、ＣＰＵ５１０は、ＲＡＭ５１２に格納された変換行列を取得すればよい。

ＣＰＵ５１０は、算出した変換行列をＲＡＭ５１２に記録する。また、ＣＰＵ５１０は、制御対象プロジェクタ１００について、調整領域６０２に対する調整が終わったことを、ＲＡＭ５１２に記録する。

なお、Ｓ３０４のテストパターン投影処理、Ｓ３０５のテストパターン撮像処理、Ｓ３０７の撮像画像の解析処理は対応関係があり、解析対象のテストパターンに応じて各処理が行われる。なお、プロジェクタのパネル座標と撮像画像の座標との対応付けが可能なテストパターンは、既知の技術で実現可能である。1台のプロジェクタ１００につき複数の
テストパターンが用いられるアルゴリズムでは、Ｓ３０３からＳ３０６までの処理は、テストパターンの数に応じて複数回繰り返される。

Ｓ３０９では、ＣＰＵ５１０は、ＲＡＭ５１２を参照して、すべての調整対象プロジェクタ（ＰＪ）１００に対して、Ｓ３０２からＳ３０８までの調整処理が完了しているか否かを判定する。すべての調整対象プロジェクタ１００に対して調整処理が完了している場合（Ｓ３０９：Ｙｅｓ）、処理はＳ３１０に進む。すべての調整対象プロジェクタ１００に対して調整処理が完了していない場合（Ｓ３０９：Ｎｏ）、処理はＳ３０２に戻る。

Ｓ３１０では、ＣＰＵ５１０は、ブレンド投影の全体形状の調整目標形状を設定する。例えば、ＣＰＵ５１０は、通信部５９３を介して撮像装置６００に撮像を指示し、撮像装置６００から撮像画像を取得して表示部５９６に表示させる。ユーザは、操作部５１３を介して、表示部５９６に表示された撮像画像上で全体形状の調整目標となる４点（端点）を指定することにより調整目標形状を設定することができる。また、ＣＰＵ５１０は、通信部５９３を介して、調整対象プロジェクタ１００の表示部１９２に、調整目標となる４点を示すカーソル等を、ユーザの操作部５１３への入力に応じて表示させてもよい。さらに、ＣＰＵ５１０は、撮像画像を解析し、スクリーン３００の端点４点を取得し、調整目
標点として設定してもよい。

Ｓ３１１では、ＣＰＵ５１０は、各調整対象プロジェクタ１００の液晶パネル上での調整目標形状を算出する。調整目標形状は、Ｓ３１０で設定された全体形状の調整目標形状の４点と、Ｓ３０１で設定したブレンド幅の情報と、Ｓ３０８で算出した変換行列とを用いて算出される。ＣＰＵ５１０（指示手段）は、各調整対象プロジェクタ１００の液晶パネル上での調整目標形状に含まれる画像を変換行列によって補正する。ＣＰＵ５１０は、補正した画像を、各プロジェクタ１００に送信し、スクリーン３００に投影するように指示する。なお、ＣＰＵ５１０は、各プロジェクタ１００に投影画像を補正させてもよい。この場合、ＣＰＵ５１０は、各プロジェクタ１００に対し、通信部５９３を介して当該プロジェクタ１００での調整目標形状、変換行列および投影画像の情報を送信し、投影画像の補正および投影を指示する。

本実施形態では、プロジェクタ１００の投影領域４００のうち、ユーザが設定した一部の領域のみを用いて、プロジェクタ１００の投影面全体に対する変換行列を算出し、その行列を用いて補正を行うという例を示した。

スクリーン３００の全体が平面状で、ブレンド部とブレンド部以外とが同一平面とみなせる場合は、本実施形態の処理を行わずとも、ブレンド投影全体の形状を調整する過程で、プロジェクタ同士のブレンド部の位置や形状が合う。しかし、経年劣化や熱の影響などで、平面スクリーンが歪んでいて、ブレンド部とブレンド部以外が同一平面とみなせない場合がある。この場合、ブレンド部のうち平面状の部分を調整領域として設定し、設定した領域を用いて調整を行うことで、ブレンド部の形状を合わせることができる。そのため、歪んだスクリーン３００に対して位置調整を行う場合は、本実施形態のように、ユーザが平面状の部分を調整領域として設定できるような処理が望ましい。

［変形例１］
上述の実施形態では、図４のＳ３０４およびＳ３０５において、制御対象プロジェクタ１００の位置合わせに用いられるテストパターンが投影および撮像される。また、Ｓ３０６では、すべての調整対象のプロジェクタ１００のテストパターンが投影および撮像される(図５のＳ３２０およびＳ３２１)。ユーザは、Ｓ３２１で撮像された撮像画像において、調整に用いる領域を設定する(Ｓ３２２)。これに対して変形例１では、図４のＳ３０６の処理のうち、各調整対象のプロジェクタ１００のテストパターンの投影処理および撮像処理、ならびにユーザが調整領域を設定する処理(図５のＳ３２０からＳ３２２)をＳ３０４の前に行う。この場合、ＣＰＵ５１０は、ユーザが設定した調整領域をＲＡＭ５１２に記録しておき、Ｓ３０５の処理の後、Ｓ３０６においてＲＡＭ５１２に記録された調整領域の情報を用いて、撮像画像にマスクを施す(図５のＳ３２３)。

［変形例２］
上述の実施形態および変形例１では、ユーザが設定した調整領域に応じて、撮像画像にマスクを施した。これに対し変形例２では、撮像画像にマスクを施す代わりに、まずＳ３０７で撮像画像を解析した後、解析結果のデータに対して、ユーザが入力した調整領域の情報に基づきフィルタリングを行う。変形例２におけるフィルタリング処理を、図４および図７を用いて説明する。

本変形例２では、ＣＰＵ５１０は、図４のＳ３０６の処理のうち、テストパターンの投影処理および撮像処理、ならびにユーザが調整領域を設定する処理(図５のＳ３２０から
Ｓ３２２)の後、図５のＳ３２３および図４のＳ３０７の処理を行わない。ＣＰＵ５１０
は、マスク画像を解析する代わりに、Ｓ３０５で撮像した撮像画像を解析する。

図７(Ｃ)は、Ｓ３０５で撮像した撮像画像６０７を解析した結果を示す。図７(Ｄ)は、プロジェクタ１００のパネルにおいて、図７（Ｃ）の解析結果で示される座標に対応する座標を示す。図７(Ｃ)において×印で示される座標は、図７(Ｄ)の×印で示されるパネル座標と対応関係にある。例えば、図７(Ｃ)の撮像画像６０７における座標６１２は、図７(Ｄ)のパネル座標６１３と対応している。ＣＰＵ５１０は、撮像画像６０７の解析によって取得した、プロジェクタ１００のパネル座標と撮像画像６０７の座標との対応関係（対応する点群）の情報をＲＡＭ５１２に記録する。

変形例２のＳ３０８では、ＣＰＵ５１０は、撮像画像６０７の解析により取得したパネル座標と撮像画像の座標との対応関係、および図５のＳ３２２でＲＡＭ５１２に記録した調整領域の情報を用いて、フィルタリング処理をする。フィルタリング処理は、調整領域に含まれる点（座標）以外を、対応関係の情報（点群リスト）から削除する処理である。

図７(Ｅ)および図７(Ｆ)は、フィルタリング処理をした後の撮像画像６０７の座標とプロジェクタ１００のパネル座標との対応関係を示す。図７(Ｅ)において×印で示される座標は、図７(Ｆ)の×印で示されるパネル座標と対応関係にある。変形例２のＳ３０８では、フィルタリング処理された後の座標（点群）の対応関係に基づいて、プロジェクタ１００のパネル座標と撮像画像の座標との変換行列を算出する。

［変形例３］
上述の実施形態および変形例１、２では、ユーザは、調整領域を撮像画像上で設定する。これに対し変形例３では、ユーザは、スクリーン３００への投影面上で調整領域を設定する。例えば、ＣＰＵ５１０は、ユーザの操作部５１３への入力に応じて、制御対象プロジェクタ１００の投影面に、調整領域の端点を示すカーソル等を表示することができる。すなわち、ユーザは、操作部５１３介して、投影面上で複数の端点を指定し、各端点をつないで囲まれる領域を調整領域として設定することができる。

ＣＰＵ５１０は、投影面上のカーソル位置（端点）を、撮像装置６００に撮像させ、撮像画像を解析することで、ユーザが設定した調整領域を特定することができる。調整領域の設定以外の処理は、実施形態または他の変形例と同様であるため、説明を省略する。

なお、投影面上の調整領域は、プロジェクタ１００のパネル座標上で設定されてもよい。また、投影面上で設定された調整領域を用いて、変形例２と同様に、撮像画像の解析データがフィルタリング処理されてもよい。

また、投影面上での調整領域の設定は、調整対象プロジェクタ１００ごとに行ってもよく、調整対象プロジェクタ１００全体に対して行ってもよい。調整対象プロジェクタ１００全体に対して調整領域を設定した場合、各プロジェクタ１００の調整領域は、プロジェクタ１００のパネル座標と撮像画像の座標との変換行列から算出することができる。

なお、上記の各実施形態や各変形例の各機能部は、個別のハードウェアであってもよいし、そうでなくてもよい。２つ以上の機能部の機能が、共通のハードウェアによって実現されてもよい。１つの機能部の複数の機能のそれぞれが、個別のハードウェアによって実現されてもよい。１つの機能部の２つ以上の機能が、共通のハードウェアによって実現されてもよい。また、各機能部は、ＡＳＩＣ、ＦＰＧＡ、ＤＳＰなどのハードウェアによって実現されてもよいし、そうでなくてもよい。例えば、装置が、プロセッサと、制御プログラムが格納されたメモリ（記憶媒体）とを有していてもよい。そして、装置が有する少なくとも一部の機能部の機能が、プロセッサがメモリから制御プログラムを読み出して実行することにより実現されてもよい。

＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

５００ 情報処理装置
５１０ ＣＰＵ
５１３ 操作部
５９３ 通信部

Claims (9)

1. プロジェクタが投影するテストパターンの投影画像を撮像した撮像画像を取得する画像取得手段と、
   ユーザから前記撮像画像における調整領域の設定を受け付ける受付手段と、
   前記調整領域の前記撮像画像における座標と、前記テストパターンにおける座標との対応関係を解析する解析手段と、
   前記解析手段が解析した前記対応関係に基づいて、前記プロジェクタが投影する画像を補正するための補正関数を取得する取得手段と、を備える、
   情報処理装置。
2. 前記補正関数によって補正された画像を投影するように前記プロジェクタに指示する指示手段を、さらに備える
   請求項１に記載の情報処理装置。
3. 前記解析手段は、前記撮像画像において、前記プロジェクタの投影領域のうち前記調整領域に含まれない領域を除外したマスク画像を生成し、前記マスク画像の前記撮像画像における座標と、前記テストパターンにおける座標との前記対応関係を解析する
   請求項１または２に記載の情報処理装置。
4. 前記解析手段は、前記プロジェクタの投影領域の前記撮像画像における座標と、前記テストパターンにおける座標との前記対応関係を解析し、前記調整領域の画像に含まれない座標に対する前記対応関係を削除する
   請求項１または２に記載の情報処理装置。
5. 前記受付手段は、前記ユーザが表示部に表示された前記撮像画像に対して設定した前記調整領域の情報を受け付ける
   請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記受付手段は、前記ユーザが前記投影画像に対して設定した前記調整領域の情報を受け付ける
   請求項１から４のいずれか１項に記載の情報処理装置。
7. 投影画像の少なくとも一部を重ねて投影する複数のプロジェクタと、
   前記投影画像を撮像する撮像装置と、
   前記投影画像を補正した画像を投影するように前記複数のプロジェクタに指示する情報処理装置と、を含み、
   前記情報処理装置は、
   前記プロジェクタが投影するテストパターンの投影画像を、前記撮像装置により撮像した撮像画像を取得する画像取得手段と、
   ユーザから前記撮像画像における調整領域の設定を受け付ける受付手段と、
   前記調整領域の前記撮像画像における座標と前記テストパターンにおける座標との対応関係を解析する解析手段と、
   前記解析手段が解析した前記対応関係に基づいて、前記プロジェクタが投影する画像を補正するための補正関数を取得する取得手段と、を備える、
   投影システム。
8. プロジェクタが投影するテストパターンの投影画像を撮像した撮像画像を取得する画像取得ステップと、
   ユーザから前記撮像画像における調整領域の設定を受け付ける受付ステップと、
   前記調整領域の前記撮像画像における座標と前記テストパターンにおける座標との対応関係を解析する解析ステップと、
   前記解析ステップにおいて解析した前記対応関係に基づいて、前記プロジェクタが投影する画像を補正するための補正関数を取得する取得ステップと、を含む、
   情報処理方法。
9. コンピュータを、請求項１から６のいずれか１項に記載された情報処理装置の各手段として機能させるためのプログラム。

Images