JP2015158658A - 投影システム、画像処理装置、校正方法、システムおよびプログラム - Google Patents

Abstract

【課題】 複数の投影手段により投影体上に像を投影するための投影システムを提供すること。
【解決手段】 投影システム１００は、与えられた複数の投影手段１５０各々の投影像と被投影領域との関係に基づいて、複数の投影手段１５０各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段１２０と、
投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、複数の投影手段１５０に対する補正係数を計算する補正係数計算手段１３０とを含む。ここで、被投影領域の外側の領域を担当する投影手段１５０に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、被投影領域内に収められて投影できるように、余白部が設けられる。
【選択図】図２

Description

本発明は、投影システム、画像処理装置、校正方法、システムおよびプログラムに関する。本発明は、より詳細には、複数の投影手段により投影体上に像を投影するための投影システム、該投影システムを構成する画像処理装置、コンピュータが実行する校正方法、該画像処理装置を実現するためのプログラムと投影装置とを含むシステム、および該画像処理装置を実現するためのプログラムに関する。

近年、複数のプロジェクタからの投影像を互いに重複領域を持たせながら並べて、単一の高解像度な画像をスクリーン上に投影するマルチ・プロジェクション技術が注目を集めている。

上述したマルチ・プロジェクション技術に関しては、例えば、特許第３９０８２５５号（特許文献１）が知られている。特許文献１の画像投影システムでは、校正の際に、予め座標位置が既知である４つ以上の特徴点を有する基準画像を各プロジェクタからスクリーンに投影する。ここで、基準画像は、例えば一定間隔に輝点や十字を並べた格子模様等既知の画像である。そして、デジタルカメラにより撮像した基準画像中の上記特徴点の位置を検出し、その検出された各プロジェクタの４つ以上の特徴点の位置に基づき、各プロジェクタ毎の投影画像を変形し、かつ重複領域を検出してブレンディング処理を施す。この変形およびブレンディング処理された画像を複数のプロジェクタから互いに重複領域を持たせつつスクリーン上に並べて投影することによって、１つの高解像度な画像を投影することができる。

その他、マルチ・プロジェクションまたはスタック・プロジェクションにおける校正に関して、特開２０１３−０７４４７５号公報（特許文献２）も知られている。

上記従来技術の投影システムでは、壁のような広いスクリーンの中に特に投影像の位置は気にせず投影できる状況が想定されている。しかしながら、展示イベント、広告などで、足つきホワイトボードのように壁から離れた平面スクリーンの中に投影像をぴったり収めたい場合や、壁から離れていなくても、大理石など模様のある壁に貼った専用のスクリーンの被投影領域中に投影像をぴったり収めたいという要望がある。

しかしながら、上記従来技術では、その校正用の画像として、投影可能な全画像領域内に特徴点を隅々まで格子状に配置したものを固定的に用いていた。このため、特徴点のパターンが投影すべき被投影領域外にはみ出さないように、かつ、隙間なく画像を投影できるように、投影像の位置や大きさをプロジェクタのズームや投射角度などを調整しようとしても、条件によっては調整できない場合があった。これは、投影すべき被投影領域のアスペクト比などの形状特性と、プロジェクタの投影可能領域のアスペクト比や連結数などの設置条件との関係により、調整可能な範囲が限定されているためである。

本発明は、上記従来技術における不充分な点に鑑みてなされたものであり、本発明は、複数の投影手段各々の投影像と複数の投影手段により全体として画像が投影される被投影対象領域との関係に合わせて、複数の投影手段の校正作業を簡便に行うことができる、投影システム、画像処理装置、校正方法、システムおよびプログラムを提供することを目的とする。

本発明では、上記課題を解決するために、下記特徴を有する投影システムを提供する。本投影システムは、複数の投影手段により全体としての画像を投影するための投影システムであり、与えられた複数の投影手段各々の投影像と被投影領域との関係に基づいて、複数の投影手段各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段と、投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、複数の投影手段に対する補正係数を計算する補正係数計算手段とを含む。ここで、被投影領域の外側の領域を担当する投影手段に対し生成される校正用画像には、与えられた複数の投影手段各々の投影像と被投影領域との関係の下で、上記複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、被投影領域内に収められて投影できるように、余白部が設けられる。

上記構成により、複数の投影手段各々の投影像と複数の投影手段により全体として画像が投影される被投影対象領域との関係に合わせて、複数の投影手段の校正作業を簡便に行うことができるようになる。

本実施形態による投影システムの全体構成を示す概略図。 本実施形態による投影システムの機能ブロック図。 校正処理における課題を説明する図（１／２）。 校正処理における課題を説明する図（２／２）。 第１の実施形態において、投影像を横一列に並べた３台のプロジェクタに対して生成される３つの校正用画像を例示する図。 図５に示した校正用画像を用いる場合の投影状態を示す図。 第１の実施形態による校正処理の全体的な処理の流れを示すフローチャート。 第１の実施形態による画像処理装置が複数のプロジェクタから投影させる校正用投影シーンを例示する図。 本実施形態による幾何補正係数計算部が実行する幾何補正係数の計算処理を示すフローチャート。 統合された校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図。 １回目の校正後における統合座標系上における３つのプロジェクタの投影可能領域、投影目標領域およびコンテンツ画像のマッピングを説明する図。 １回目の校正後におけるプロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。 プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図。 （Ａ）幾何補正係数および（Ｂ）ブレンディング係数のデータ構造を例示する図。 本実施形態による補正処理部が実行する、補正係数に基づく補正処理を説明する図。 好適な実施形態において、投影目標領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する図。 調整後における統合座標系上における３つのプロジェクタの投影可能領域、投影目標領域および等倍コンテンツ画像のマッピングを説明する図。 調整後におけるプロジェクタ・メモリ上の各座標と、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置との対応付けを説明する図。 本実施形態による校正処理を適用することができるマルチ・プロジェクションの他の態様を例示する図。 他の実施形態において複数のプロジェクタから投影させる校正用投影シーンを例示する図。 超短焦点プロジェクタの投影像と設置条件との関係を説明する図。 プロジェクタの投影像とスクリーンとの種々の幾何学的条件に基づき（Ａ）校正パターンがスクリーンを好適にカバーできる場合、（Ｂ）校正パターンがスクリーンから上へはみ出てしまっている場合、および（Ｃ）校正パターンがスクリーンから上下左右にはみ出てしまっている場合の投影状態を説明する図。 第２の実施形態による校正処理の全体的な処理の流れを示すフローチャート。 スクリーン対応領域指定マーカを含む初期校正用画像および該初期校正用画像を投影した初期校正用投影像を説明する図。 第２の実施形態における余白計算処理を説明する模式図。 アスペクト比入力に基づく余白指定モードと、スクリーン対応領域指定に基づく余白指定モードとを好適に適用できる状況を説明する図。 本実施形態による汎用コンピュータ装置のハードウェア構成を示す図。

以下、本実施形態について説明するが、本実施形態は、以下に説明する実施形態に限定されるものではない。なお、以下に説明する実施形態では、投影システムの一例として、投影手段である複数のプロジェクタと、撮像手段である１つのカメラと、全体制御を行う画像処理装置とを含む投影システム１００を用いて説明する。

（全体構成）
図１は、本実施形態による投影システム１００の全体構成を示す概略図である。図１に示す投影システム１００は、システムの全体制御を行う画像処理装置１１０と、複数のプロジェクタ１５０と、カメラ１６０と、入力装置１７０とを含み構成される。なお、投影システム１００は、特に限定されるものではないが、説明する実施形態では、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を投影面上で合成し、単一のプロジェクタよりも大きな領域に画像を投影する、いわゆるマルチ・プロジェクションに対応した構成とされている。

画像処理装置１１０は、典型的には、パーソナル・コンピュータ、ワークステーションなどの汎用コンピュータとして構成される。なお、画像処理装置１１０は、汎用コンピュータに限定されるものではなく、専用コントローラとして実装されてもよいし、いずれかのプロジェクタ１５０に組み込まれてもよいし、タブレット・コンピュータのようなデバイスに組み込まれてもよい。

プロジェクタ１５０は、それぞれ、液晶方式、ＤＬＰ（Digital Light Processing）方式、ＬＣＯＳ（Liquid Crystal On Silicon）方式などを採用する投影装置である。カメラ１６０は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge Coupled Device）などのイメージセンサと、イメージセンサの受光領域上に結像するためレンズなどの結像光学系とを含む撮像装置である。カメラ１６０は、ＷＥＢ（World Wide Web）カメラ、デジタル・スチル・カメラ、デジタル・ビデオ・カメラなどの専用デバイスとして構成されてもよいし、あるいは、スマートフォン端末やタブレット端末などのデバイスに組み込まれて構成されてもよい。

入力装置１７０は、マウス、キーボード、タッチパネル、操作パネルなどの入力装置であり、ユーザからの指示を受け付ける。入力装置１７０は、校正のための画像を生成する際や校正結果を微調整の際に利用される。なお、入力装置１７０は、画像処理装置１１０、プロジェクタ１５０またはカメラ１６０に接続されたデバイスとして構成されてもよく、あるいは、これらの装置に組み込まれたデバイスとして構成されてもよい。

本投影システム１００においては、被投影領域を提供する投影体であるスクリーン１０２が設置されている。プロジェクタ１５０は、それぞれ、投影中心の位置をずらしながらスクリーン１０２上に投影するように設置されている。画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃに投影させる複数の投影画像を生成し、対応するプロジェクタ１５０各々に投影画像各々を出力する。プロジェクタ１５０は、それぞれ、画像処理装置１１０から入力される投影画像をスクリーン１０２上に投影する。スクリーン１０２上には、図１に示すように、複数のプロジェクタ１５０ａ〜１５０ｃ各々からの複数の投影像１０４ａ〜１０４ｃが投影されている。この複数の投影像１０４ａ〜１０４ｃは、投影面上で重なり合わせられて、単一の投影像１０６に合成される。

投影システム１００では、投影モード前に、通常、校正処理が行われる。図１に示すカメラ１６０は、この校正処理の際に用いられる。画像処理装置１１０は、校正モード中、複数のプロジェクタ１５０それぞれに校正用の画像を出力し、スクリーン１０２上に投影像を投影させる。そして、所定のプロジェクタ１５０により投影されたスクリーン１０２上の投影像が画角内に収まるように、カメラ１６０の視点および視野が設定され、典型的には複数回の校正用の撮像が行われることになる。

カメラ１６０で撮像された撮像画像（以下、校正用投影像が写り込んだ撮像画像を校正用撮像画像と参照する。）は、それぞれ、無線ＬＡＮ（Local Area Network）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ワイヤレスＵＳＢ（Universal Serial Bus）などの無線接続、または有線ＵＳＢや有線ＬＡＮなどの有線接続を介して、画像処理装置１１０へ送信される。あるいは、撮像された画像は、ＳＤカード（登録商標）やコンパクトフラッシュ（登録商標）などのリムーバブル・メディアを介して、画像処理装置１１０で読み取られる。

画像処理装置１１０は、入力された１以上の校正用撮像画像を用いて、校正処理を行い、校正完了後、校正結果に基づいてコンテンツ画像を補正しながら投影を行う。以下、図２を参照しながら、校正処理および校正後の投影処理に関連する機能構成について説明する。

（機能構成）
図２は、本実施形態による投影システム１００の機能ブロック図である。画像処理装置１１０は、コンテンツ格納部１１２を含み、さらに、プロジェクタ毎に、補正処理部１１４ａ〜１１４ｃと、投影画像出力部１１６ａ〜１１６ｃと、切替部１２４ａ〜１２４ｃとを含む。画像処理装置１１０は、さらに、校正条件受付部１１８と、校正用シーン生成部１２０と、校正用画像格納部１２２と、校正用撮像画像入力部１２６と、補正係数算出部１３０とを含み構成される。

コンテンツ格納部１１２は、単一の投影像１０６として投影する信号原のコンテンツ画像を格納する。コンテンツ格納部１１２は、ＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。

なお、投影対象となるコンテンツ画像は、プレゼンテーションなどのアプリケーションでファイルを実行した場合の表示画面として与えられてもよいし、静止画像ファイルとして与えられてもよいし、動画ファイル中の任意のタイミングのフレームとして与えられてもよい。また、コンテンツ画像は、オペレーティング・システムの実行により生成する画面、外部入力される映像として与えられてもよい。以下、説明の便宜上、静止画像としてコンテンツ画像が与えられた場合を一例に説明する。

補正処理部１１４ａ〜１１４ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。補正処理部１１４は、それぞれ、コンテンツ格納部１１２からコンテンツ画像を読み出し、補正処理を施し、対応するプロジェクタ用の投影画像を生成する。

投影画像出力部１１６ａ〜１１６ｃは、システム１００に含まれるプロジェクタ１５０ａ〜１５０ｃに対応して設けられている。投影画像出力部１１６は、それぞれ、対応するプロジェクタ１５０に接続されるディスプレイ出力インタフェースを含み構成され、接続されるプロジェクタ１５０に対し、切替部１２４で選択された入力画像を映像出力する。

切替部１２４ａ〜１２４ｃは、当該システム１００の動作モードに応じて、画像信号のフローを切り替える。コンテンツ画像を投影する投影モード中は、切替部１２４は、補正処理部１１４の出力に入力側を切り替える。校正モード中は、切替部１２４は、校正用画像格納部１２２の出力に入力側を切り替える。これに伴い、投影画像出力部１１６は、それぞれ、校正用画像格納部１２２から読み出された校正用画像を映像出力する。

校正用画像格納部１２２は、校正モード中に各プロジェクタ１５０から投影させるための校正用画像を格納する。校正用画像格納部１２２は、ＲＡＭ、ＨＤＤ、ＳＳＤ、着脱可能なリムーバブル・メディアなどの記憶領域として構成される。校正用画像は、校正用シーン生成部１２０により、校正条件受付部１１８が受け付けた各種条件に基づいて、典型的には静止画像として生成される。なお、校正用画像の生成処理の詳細については、後述する。

本実施形態による校正処理では、複数回に分けて、校正のための撮像が行われる。画像処理装置１１０は、校正用画像格納部１２２から各校正用画像を読み出して、複数のプロジェクタ１５０ａ〜１５０ｃ各々から適時に出力させる。このとき、画像処理装置１１０は、複数のプロジェクタ１５０の投影像の位置関係を把握しており、全体として過不足なくすべてのプロジェクタ１５０の校正結果が得られるように、校正用画像を校正処理の各段階に応じて選択して投影する。各校正処理の段階における各プロジェクタが画像を投影して構成されるシーンを、以下、校正用投影シーンと参照する。

ユーザは、カメラ１６０を用いて、校正用投影シーン毎に、投影された校正用投影像が画角に収まるようにして撮像を行う。校正用撮像画像入力部１２６は、カメラ１６０からの無線接続、有線接続、リムーバブル・メディアを介した各撮像画像の入力を受け、複数の校正用撮像画像を取得する。

補正係数算出部１３０は、投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、上記複数のプロジェクタに対する補正係数を計算する。補正係数算出部１３０は、より詳細には、特徴点抽出統合部１３２と、幾何補正係数計算部１３４と、ブレンディング係数計算部１３６とを含む。

特徴点抽出統合部１３２は、上述した１以上の校正用投影シーンに対応して校正用撮像画像入力部１２６で取得された１以上の校正用撮像画像各々から、各特徴点を抽出する。ここでは、各校正用撮像画像と、上述した校正用投影シーンとが対応付けられて校正用撮像画像入力部１２６に与えられるものとする。説明する実施形態では、校正用画像には、この校正用画像を投影するプロジェクタの投影像の歪みを検出するための校正パターンの配列が含まれる。特徴点抽出統合部１３２は、この校正パターンの配列が規定する校正点の組を抽出する。各校正用撮像画像から抽出された特徴点は、抽出元画像の座標系上の座標位置として抽出されるが、適宜、単一の座標系上に統合される。

幾何補正係数計算部１３４は、各プロジェクタ１５０毎の校正点の組に基づいて、幾何補正係数を計算し、補正処理部１１４ａ〜１１４ｃに対し設定する。幾何補正係数は、位置合わせ、スケール合わせ、歪み補正などの幾何学的な補正を織り込んだ補正係数であり、プロジェクタ１５０各々から投影する投影画像を与えるものである。

ブレンディング係数計算部１３６は、同様に、投影像のブレンディングの補正係数を算出し、補正処理部１１４ａ〜１１４ｃに設定する。ブレンディング係数は、重複領域の重ね合わせの際の色および輝度調整を行うための補正係数である。ブレンディング係数計算部１３６は、より具体的には、複数のプロジェクタ１５０各々に対し、注目するプロジェクタの投影像と、この注目するプロジェクタに隣接するプロジェクタ各々の投影像との間の重複領域を検出し、重複領域の検出結果に基づき、ブレンディング係数を計算する。このプロジェクタ毎のブレンディング係数により、スクリーン１０２上における複数のプロジェクタ１５０の投影像が重なる部分において、画像が滑らかに合成される。

補正処理部１１４は、それぞれ、幾何補正係数計算部１３４およびブレンディング係数計算部１３６によって計算された各種補正係数に基づき、全体として投影すべきコンテンツ画像から、プロジェクタ毎に出力すべき投影画像を生成する。計算された幾何補正係数に基づき、全体としての画像から、プロジェクタ毎の中間画像が生成される。また、計算されたブレンディング係数に基づき、上記中間画像から、プロジェクタ毎の最終的な投影画像が生成される。コンテンツ画像を投影する投影モード中、切替部１２４は、補正処理部１１４の出力に入力側を切り替え、これに伴い、投影画像出力部１１６は、それぞれ、対応する補正処理部１１４の処理結果として与えられる投影画像を映像出力する。

なお、図２に示す実施形態では、各機能部１１２〜１３６が単一の画像処理装置１１０上で実現されるものとして説明したが、投影システム１００の実施形態は、図２に示すものに限定されるものではない。他の実施形態では、台数の増加に伴う画像処理装置に集中する負荷を軽減するため、補正処理部１１４ａ〜１１４ｃ各々をプロジェクタ１５０ａ〜１５０ｃ各々上で実現してもよい。さらに他の実施形態では、各機能部１１２〜１３６を複数の画像処理装置上に分散実装してもよいし、すべての機能部１１２〜１３６をいずれかのプロジェクタ１５０上で実装してもよいし、画像処理装置１１０の機能と、複数のプロジェクタの機能とを備える単一の装置として構成してもよい。さらに、他の実施形態では、補正係数算出部１３０の機能をサービスとしてネットワークを介して提供するサーバとして実装してもよい。

（第１の実施形態における校正用画像の生成処理）
以下、図３〜図６を参照しながら、第１の実施形態において上述した校正用画像を生成する生成処理について、より詳細を説明する。上述したように、投影システム１００においては、校正用投影シーン毎に、プロジェクタ１５０各々から校正用画像が投影され、投影された投影像が画角に収まるようにしてカメラ１６０により撮像が行われる。

従来技術における校正では、図３（Ａ）に示すような、投影可能な全画像領域内に校正点を規定する校正パターン（図３（Ａ）では円パターンである。）を隅々まで格子状に配置した校正用画像５００が固定的に用いられていた。このため、校正パターンがスクリーン外にはみ出さないように、かつ、隙間なく画像を投影できるように、投影像の位置や大きさをプロジェクタのズームや投射角度などで調整しようとしても、条件によっては調整できないケースがあった。これは、投影すべきスクリーンのアスペクト比などの形状特性と、プロジェクタの投影可能領域のアスペクト比や連結数などの設置条件との関係によって、調整可能な範囲が限定されてしまうためである。

ここで、図３（Ｂ）に示すようなＭ：Ｎのアスペクト比のコンテンツ画像をＭ：Ｎのアスペクト比のスクリーン５０２にぴったり収めて投影した投影像５０６を得ることを考える。ここでは、スクリーンおよびコンテンツ画像のアスペクト比が４８：１０の横長であり、解像度１２８０×８００のアスペクト比が１６：１０である３台のプロジェクタを横一列に並べて用いるものとする。

校正パターンがスクリーン５０２の外にはみ出してしまわないように投影することを考えると、図３（Ｃ）に示すように、全く重複領域が取れない状態で校正用画像５００ａ〜５００ｃを投影せざるを得なくなる。実際上は投影像の歪みなども生じるので、全く重複領域を取れないとなると、図３（Ｄ）に示すように、連結された投影像５０６において隙間が生じたりして、投影像間を良好に連結することは困難である。

一方で、適正な量で重複領域を確保しようとすると、図４（Ａ）に示すように、校正用画像５００ａ〜５００ｃの校正パターンの一部が、スクリーン５０２外にはみ出してしまうことになる。このようなはみ出しは、スクリーン面の内外で段差がなければ問題ないが、足つきホワイトボードのように壁から離れた平面スクリーンを用いる場合などは、はみ出した校正パターンが、離れた場所に投影されてしまう。また、スクリーン５０２の境界付近に校正パターンがあると、校正パターンのはみ出した一部が欠けたり、図４（Ｂ）に示すように段差により変形したりして、重心がずれ、その位置情報が正しく抽出できず、ひいては校正結果に歪みが生じたりする可能性がある。

また、図４（Ｃ）に示すように、スクリーン５０２が大理石の壁に貼り付けられる場合などは、スクリーン外の模様のある部分に校正パターンが投影されて、この模様がノイズとなって、スクリーン境界部分でパターンと癒着したりする。またノイズそのものをパターンと誤検出したりすることも起こる。校正パターンと模様の癒着があると、パターンの重心がずれてしまい、その位置情報が正しく抽出できなくなり、校正結果に歪みが生じたりする可能性がある。また、本来検出されるべきではない誤検出があると、格子パターンをプロジェクタ・メモリ上の座標にうまく対応づけられず、抽出エラーとなる可能性がある。

さらに、超短焦点プロジェクタのようなスクリーンの至近距離から投影するプロジェクタの場合は、わずかなスクリーンの凹凸によって投影像に非線形な歪みが発生してしまう。このため、図４（Ｄ）に示すように、校正パターンがスクリーン外へはみ出したり、図４（Ｄ）および（Ｅ）に示すように、スクリーン５０２内に投影不能な領域を生じさせ、本来投影すべきコンテンツ画像が欠けた状態で投影されてしまったりすることが、通常のものよりも起こり易い。

そこで、第１の実施形態による投影システム１００では、校正条件受付部１１８によって、ユーザからプロジェクタ１５０の設置条件およびスクリーン１０２の形状特性の入力を受け付け、校正用シーン生成部１２０によって、これらの関係に応じて各プロジェクタ１５０の最適化された校正用画像を生成する構成を備える。さらに、好ましい実施形態では、スクリーン１０２の四隅に位置合わせするための目安となる四隅マーカを校正用画像に含ませて、コンテンツ画像が投影される領域をスクリーン１０２に一致させる調整作業をユーザが簡便に行えるようなユーザ・インタフェースを提供する。上記プロジェクタ１５０の設置条件およびスクリーン１０２の形状特性は、第１の実施形態において、複数のプロジェクタ１５０各々の投影像とスクリーン１０２との関係、より具体的には幾何学的な関係を規定するものである。

図５（Ａ）〜（Ｃ）は、第１の実施形態において、投影像を横一列に並べた３台のプロジェクタ１５０ａ〜１５０ｃに対して生成される３つの校正用画像を例示する図である。図５に示す校正用画像は、スクリーンのアスペクト比が４８：１０であり、アスペクト比が１６：１０である３台のプロジェクタを用いて、隣接プロジェクタ間で投影像の横幅の４／１６の重複領域を少なくとも確保するという条件下で生成したものである。

図５に示すように、校正用画像２００は、投影像の歪みを検出するための校正点を規定する校正パターンの配列を含み構成される。校正パターンの配列は、プロジェクタ・メモリ上の座標を規定するものであり、任意の図形要素が所定の規則で配置されてなす模様として構成される。スクリーン１０２上に投影された校正パターンの配列がカメラにより撮像され、その校正点の組が抽出され、座標が検出されることにより、各プロジェクタにおける投影像の台形歪みや局所的な歪みが検出される。したがって、高精度な校正を実現するためには、スクリーン１０２内に校正パターンの配列が欠けることなく収められて投影されることが望ましい。

校正用画像２００は、所与の条件に基づいて生成されることになるが、第１の実施形態による校正条件受付部１１８は、まず、ユーザから、投影すべきスクリーン１０２のアスペクト比などの形状特性と、プロジェクタ１５０の投影可能領域のアスペクト比、連結数、重複領域の割合、投影様式（横一列なのか、縦一列なのか、何行何列なのかなど）などの設置条件の入力を受ける。これらのすべてが入力値として与えられる必要はなく、いくつかの条件値は、デフォルト値として与えられてもよいし、画像処理装置１１０が判断してもよい。例えば、各プロジェクタのアスペクト比は、オペレーティング・システムの画面解像度の設定情報から判断できるであろう。

第１の実施形態による校正用シーン生成部１２０は、入力された条件に基づいて、各プロジェクタ１５０用の校正用画像２００を生成し、校正用画像格納部１２２に格納する。このとき、校正用シーン生成部１２０は、スクリーン１０２の外側の領域を担当するプロジェクタに対しては、図５に示すように、与えられた設置条件および形状特性の下で、校正パターンの配列が、隣接するプロジェクタとの間で重複を有しながら、スクリーン１０２内に収められて投影できるよう、校正パターンの配列の外側に余白部を設けた校正用画像を生成する。余白部は、典型的には背景色であるが、校正パターンの配列等の抽出に影響を与えない範囲で模様があることを妨げない。なお、図５に示す例では、投影像を横一列に並べて横長のスクリーンをカバーするものであるため、すべてのプロジェクタ１５０ａ〜１５０ｃは、それぞれ投影像の上下にスクリーン外側に投影されるべき領域が含まれ、外側の領域を担当するプロジェクタとなる。

また、余白の設定の仕方は、以下の通りである。スクリーン１０２のアスペクト比およびプロジェクタ１５０のアスペクト比、連結数、および隣接するプロジェクタ間で確保されるべき重複領域の割合が与えられると、与えられた条件下で、少なくとも上記割合の重複領域を持たせながら投影する場合に、各プロジェクタの投影可能領域のうちのスクリーン１０２内に収めるべき領域が定められる。そして、この領域内に、特徴点が抽出される部分すべてが収まっていることが望ましいということになる。対応した校正用画像における領域を校正用領域と参照し、図５に一点鎖線で示している。図５に示す例では、余白部は、投影可能領域全体のうちの校正用領域の上下外側に設けられている。

この校正用領域内に校正パターンを格子状に配列させたものを用いてもよいが、好適な実施形態では、校正用領域内における校正パターンの配列が設けられる校正パターン領域（図では破線で示される。）の外側に、さらに余白部が設けられる。そして、スクリーン１０２の隅の領域を担当するプロジェクタに対し生成される校正用画像には、さらに、校正パターン領域の外側の領域に四隅マーカが設けられる。横一列の場合、左右端のプロジェクタ１５０ａ，１５０ｃがスクリーンの隅の領域を担当するプロジェクタとなる。四隅マーカは、スクリーン１０２の四隅に位置合わせする目安となる基準点を規定するものであり、ユーザは、投影される四隅マーカがスクリーン１０２内に収まるように、複数のプロジェクタ１５０の投影角度、ズームを調整すればよい。

図５（Ａ）に例示する第１プロジェクタ用の第１校正用画像２００ａでは、プロジェクタ１５０の全投影領域を横に１６ブロック、縦に１０ブロックに分割し、そのうちの中央右寄せで１４×６ブロックに２×２ブロックを単位として円形状を格子状に並べたものが用いられている。図５（Ｂ）に例示する第２校正用画像２００ｂでは、中央１６×６ブロックに円形状を格子状に並べたものが用いられ、図５（Ｃ）に例示する第３校正用画像２００ｃでは、中央左寄せで１４×６ブロックに円形状を格子状に並べたものが用いられている。また、四隅マーカは、図５に示す例では、左端に対応する第１校正用画像２００ａにおいて、上下各１ブロックの余白部を除く１６×８ブロックからなる校正用領域の左上および左下、右端に対応する第３校正用画像２００ｃの校正用領域の右上および右下に設けられている。

なお、上述した校正パターンの配列の配置位置および四隅マーカの配置位置のような校正用画像を生成するための生成パラメータは、与えられた条件に基づいて所定計算式により算出してもよいし、事前に製造者側で典型的な条件の組み合わせに対して生成パラメータを対応付け、入力された条件をキーとして生成パラメータを読み出して取得してもよい。また、他の実施形態では、事前に製造者側で典型的な条件の組み合わせに対して校正用画像を生成し、対応付けて記憶しておき、ユーザ入力された条件をキーとして適切な校正用画像を読み出して取得してもよい。なお、好適な実施形態では、抽出精度を維持するため、上記校正点を規定する円形状の大きさを余白の大きさに関わらず一定とし、円パターンの列数および行数の増減により、余白の大きさに対応することができる。

本投影システム１００の校正処理では、上述した校正用撮像画像から抽出された四隅マーカの基準点によって、複数のプロジェクタ１５０が全体としての画像を投影する投影目標領域が画定される。補正係数算出部１３０は、四隅の基準点に基づいて定められる投影目標領域にコンテンツ画像が投影されるように、複数のプロジェクタ１５０ａ〜１５０ｃに対する補正係数を計算する。

また、好適な実施形態では、微調整のためのユーザ・インタフェースにより、コンテンツ画像が投影目標領域に投影された状態で、投影目標領域を画定する基準点を移動させる移動指示を受け付け、実際のスクリーン１０２の四隅に合わせて投影目標領域の四隅を規定する４つの基準点の位置を微調整することができる。ユーザが目視により微調整を繰り返させることにより、最終的に、投影目標領域がスクリーン１０２の四隅に位置合わせされ、スクリーン１０２にぴったりにコンテンツ画像が投影できるようになる。

第１の実施形態では、スクリーン１０２（が提供する被投影領域）の形状特性およびプロジェクタ１５０の設置条件に応じて校正用領域の外側に余白部を設けた校正用画像２００ａ〜２００ｃが生成される。このため、プロジェクタの投影像を重複なしで単純に連結された場合よりも高いアスペクト比のスクリーンにコンテンツ画像をぴったり投影したいような場合でも、ユーザは、図６（Ａ）に示すように、校正パターンの配列すべてがスクリーン１０２に収まるように各校正用投影像２１０ａ〜２１０ｃを投影させることができるようになる。また、校正パターンの配列がスクリーン１０２内に収まるように容易に投影できるので、段差によるはみ出し変形や、外部の模様との癒着などが起こらず、校正パターンの誤検出なとも起こり難くなり、校正の精度が向上する。

さらに好ましい実施形態では、校正パターンの周辺部に四隅マーカがさらに設けられているので、補正後の投影目標となる領域のおおよその初期位置をユーザに標示することができる。ユーザは、この四隅マーカを目安に複数のプロジェクタ１５０のズームや投射角度などを調整すればよいことになり、ユーザ作業が容易となる。

好ましい実施形態では、さらに、校正用領域内において、校正パターン領域の外側にさらに余白部が設けられ、この部分に四隅マーカが設けられている。このため、超短焦点プロジェクタを用いる場合でも、四隅マーカでおおよその位置合わせをすれば、図６（Ｂ）に示すように、校正パターンがスクリーン１０２の外にはみ出したり、投影可能領域がへこんでスクリーン内に投影できない領域ができてしまったりすることが起こり難くなる。

なお、図５を参照しながら具体的なパターンについて説明したが、校正パターンおよび四隅マーカの具体的実施態様は、特に限定されるものではない。校正パターンとしては、ロバストに校正点を抽出する観点からは、背景に対してコントラストを有する円形状を２次元格子状に配列した円模様が好ましい。しかしながら、他の実施形態では、そのほか、ドット模様、市松模様、格子模様など、種々の模様を用いることがきる。プロジェクタ１５０の全投影領域の分割方法も上述した態様に限定されるものではなく、要求される精度や画像処理装置１１０の性能に応じて、領域の分割数や領域の分割方法を決定すればよい。四隅マーカの形状も、円形など任意の図形要素としてよい。

また、説明する実施形態では、校正パターンの配列と、四隅マーカとが同一校正用画像内に設けられるものとして説明した。しかしながら、詳細を後述するように、各特徴点の座標が単一の座標系上に統合できるのであれば、校正パターンが含まれる校正用画像と、四隅マーカが含まれる校正用画像とを別のシーンで投影する別の画像としてもよい。

（第１の実施形態における全体処理フロー）
以下、第１の実施形態による校正処理について、図７に示すフローチャートを参照しながら、全体的な流れを説明する。図７は、第１の実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図７に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ１００から開始される。

ステップＳ１０１では、画像処理装置１１０は、ユーザからのプロジェクタ連結数Ｔなどの設置条件およびスクリーンのアスペクト比Ｍ：Ｎなどの形状特性の入力を受領する。この入力は、画像処理装置１１０に接続されたディスプレイに条件入力画面を表示し、入力装置１７０により受け付ける。ステップＳ１０２では、画像処理装置１１０は、上述したように、入力されたプロジェクの設置条件およびスクリーンの形状特性に基づいて、各校正用画像を生成し、校正用投影シーンを生成する。ステップＳ１０３では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。

図８は、第１の実施形態による画像処理装置１１０が複数のプロジェクタ１５０ａ〜１５０ｃから投影させる校正用投影シーンを例示する図である。図８には、図５（Ａ）〜図５（Ｃ）に示した３つの校正用画像を各プロジェクタから順次投影する３つの校正用投影シーンが示されている。

図８に示す例では、撮像１回目の第１校正用投影シーンでは、画像処理装置１１０は、まず、第１プロジェクタ１５０ａから図５（Ａ）に示す第１校正用画像を投影させ、第２プロジェクタ１５０ｂおよび第３プロジェクタ１５０ｃからは何も投影しない。撮像２回目の第２シーンおよび撮像３回目の第３シーンは、同様に、プロジェクタ１５０ｂ，１５０ｃから、順次、図５（Ｂ）および（Ｃ）に示す校正用画像が投影される。あるプロジェクタが校正用画像を投影している間、他のプロジェクタからは何も投影されない。

ユーザは、連結するすべてのプロジェクタ１５０ａ〜１５０ｃの投影像２１２，２１４，２１６全体が画角内に収まるようにカメラ１６０を三脚などで固定して、例えば画像処理装置１１０が行うガイダンスに従って、上述した各段階での複数回の撮影を行う。カメラ１６０からの校正用投影シーン各々に対応した校正用撮像画像各々は、一括で、または順次に、画像処理装置１１０に取得され、ステップＳ１０４へ処理が進められる。

ステップＳ１０４では、画像処理装置１１０は、取得された１以上の校正用撮像画像各々から特徴点を抽出する特徴点抽出統合処理を実行する。特徴点抽出統合処理では、各プロジェクタの校正点の組および四隅マーカが規定する基準点の座標位置が、統合された座標系において抽出される。

特徴点抽出統合処理では、画像処理装置１１０は、まず、各々の撮像画像におけるプロジェクタ１５０各々の投影像の校正パターン（円形状）を検出し、撮像画像の座標系におけるその重心座標を、校正点の座標（例えば小数点精度）として抽出する。円形状の重心座標は、例えば、画像を２値化し、白画素のかたまりをパターンマッチングなどで切り出し、その重心座標を求めることによって、計算することができる。また、四隅マーカも同様であり、複数の撮像画像から、各々の撮像画像の座標系における四隅マーカの重心座標が検出され、その重心座標が基準点の座標として抽出される。

以下、第１〜第３プロジェクタ１５０ａ〜１５０ｃの校正点の座標をＬ_１〜Ｌ_３で表し、四隅マーカの基準点の座標をＭ_１，Ｍ_３で表す。説明する実施形態では、カメラ１６０を固定して撮像しているため、得られる校正点座標Ｌ_１〜Ｌ_３および基準点座標Ｍ_１，Ｍ_３は、単一の座標系（統合座標系）の座標である。なお、四隅マーカの基準点座標Ｍ_１，Ｍ_３により、統合座標系において正しい校正点が含まれるであろう領域が定まるので、その領域外に座標位置がある誤検出の校正点（例えばスクリーン外の模様から誤検出されたものなど）を容易に除外することが可能となる。

ステップＳ１０５では、詳細を後述するが、上記算出された校正点座標Ｌ_１〜Ｌ_３および基準点座標Ｍ_１，Ｍ_３に基づいて、各プロジェクタの幾何補正係数を計算する。ステップＳ１０６では、詳細を後述するが、画像処理装置１１０は、各プロジェクタのブレンディング係数を計算する。ステップＳ１０７では、画像処理装置１１０は、各補正処理部１１４に対し、ステップＳ１０５およびステップＳ１０６で計算されたプロジェクタ毎の幾何補正係数およびブレンディング係数を設定する。

ステップＳ１０８では、画像処理装置１１０は、投影すべきコンテンツ画像を読み出し、ステップＳ１０９では、コンテンツ画像に対し、プロジェクタ毎の補正処理部１１４で補正処理を実行する。補正処理の開始により、切替部１２４は、補正処理部１１４の出力に、投影画像出力部１１６の入力を切り替えて、投影モードに移行する。ステップＳ１１０では、画像処理装置１１０は、補正されたプロジェクタ毎の投影画像をプロジェクタ毎の投影画像出力部１１６からそれぞれ出力させる。これにより、全体としてコンテンツ画像がスクリーン１０２内に投影されるようになる。

上記投影モードの初期において、コンテンツ画像が投影される領域の四隅をスクリーン１０２に一致させる調整作業を行うためのユーザ・インタフェースが、プロジェクタ１５０が投影する画面の一部や、別途設けられたディスプレイ画面上に表示される。ユーザは、このユーザ・インタフェースを用いて、目視により、コンテンツ画像を投影する投影目標領域の四隅を微調整し、コンテンツ画像がスクリーン１０２にぴったり収まったと判断すると、調整終了の指示を行う。ステップＳ１１１では、画像処理装置１１０は、ユーザから四隅位置調整の終了指示を受け付けたか否かを判定する。

ステップＳ１１１で、四隅位置調整の終了指示を受け付けていないと判定された場合（ＮＯ）は、ステップＳ１１２へ処理が進められる。ステップＳ１１２では、画像処理装置１１０は、ユーザ・インタフェースを介して入力された調整量に基づき、投影目標領域の四隅を規定する基準点の位置座標を更新し、ステップＳ１０５へ処理をループさせる。これにより、調整結果が反映された状態で、各プロジェクタの幾何補正係数およびブレンディング係数の再計算が行われる。一方、ステップＳ１１１で、終了指示を受け付けたと判定された場合（ＹＥＳ）は、ステップＳ１１３へ処理を分岐させ、調整を完了させて、通常の投影モードに移行する。

（幾何補正係数の計算）
以下、図９〜図１２および図１４（Ａ）を参照しながら、各プロジェクタの幾何補正係数の計算処理の詳細について説明する。図９は、本実施形態による幾何補正係数計算部１３４が実行する幾何補正係数の計算処理を示すフローチャートである。図９に示す処理は、図７に示したステップＳ１０５で呼び出されて、ステップＳ２００から開始される。

ステップＳ２０１では、幾何補正係数計算部１３４は、プロジェクタ１５０各々について、統合座標系上の校正点座標Ｌ_１〜Ｌ_３各々を線形に外挿し、各プロジェクタ１５０の投影可能領域の外周座標を計算する。

図１０は、統合された校正点座標各々を用いた線形外挿による投影可能領域の外周座標の計算方法を示す図である。図１０（Ａ）は、プロジェクタ・メモリ上の左上隅の４つの校正点を示し、図１０（Ｂ）は、統合座標系上の対応する４つの校正点を示す。図１０（Ａ）に示すように、プロジェクタ・メモリ上の外周座標（各プロジェクタの投影像の四隅および四辺上の校正点）は、外周部に位置する４つの校正点（例えばＰ００_Ｐ〜Ｐ１１_Ｐ）の四辺形パッチを外挿する位置（校正点間距離の例えば１．５倍の距離の位置）に定められる。

統合座標系における各プロジェクタの投影可能領域に対応する外周画素の座標（四隅および四辺上の校正点）は、図１０（Ｂ）に示すように、外周部に位置する各４つの校正点座標から線形に外挿することによって計算することができる。同様に、外周座標（四隅および四辺上の校正点）以外のプロジェクタ・メモリ上の任意の座標点に対応する統合座標系上の点も、近傍の４点の校正点座標を線形に内挿または外挿して求めることができる。

ここで、プロジェクタ・メモリ上の任意の座標点Ｑ_Ｐが、プロジェクタ・メモリ上での座標位置が近傍にある４つの校正点Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐにおいて、ｘ軸方向にｔ:１−ｔ（０＜ｔ＜１）で、ｙ軸方向にｓ：１−ｓ（０＜ｓ＜１）で内分する点だとする。このとき、座標点Ｑ_Ｐに対応する統合座標系上の点Ｑ_Ｃは、対応する４つの校正点Ｐ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃの座標ベクトルから、下記式（１）を用いて計算することができる。外挿する点の場合は、上記ｔおよびｓに対し、−１．５＜ｔ＜０、−１．５＜ｓ＜０の範囲を設定して下記式（１）を用いて計算することができる。

画像全体では非線形な幾何歪みが生じ得るが、ここでは、その一部である２×２の校正点で構成される四辺形パッチ内の範囲および外周に向かって所定量外挿した範囲では、線形な幾何歪みだと見なせることを前提としている。上記四辺形パッチのサイズが充分に小さいとみなせるためである。なお、説明する実施形態では、上記式（１）を用いて線形補間により対応点を計算するものとして説明する。しかしながら、他の実施形態では、隣接する４つの校正点のペアＰ００_Ｃ，Ｐ１０_Ｃ，Ｐ０１_Ｃ，Ｐ１１_Ｃ，Ｐ００_Ｐ，Ｐ１０_Ｐ，Ｐ０１_Ｐ，Ｐ１１_Ｐを用いて求められる射影変換により、プロジェクタ・メモリ上の点Ｑ_Ｐを共通座標系上での対応点Ｑ_Ｃに対応付けてもよい。

上述した線形的な外挿をプロジェクタ毎に行うことにより、３つのプロジェクタ１５０ａ〜１５０ｃの投影可能領域（つまり全面白画像を投影して映る範囲である。）が統合座標系上で検出される。図１１（Ａ）には、統合座標系３００上において検出された３つのプロジェクタの校正点（白丸、黒丸，中抜きの丸）および投影可能領域３０４ａ〜３０４ｃが表されている。第１プロジェクタ１５０ａの投影可能領域３０４ａは、実線の白線で示され、第２プロジェクタ１５０ｂの投影可能領域３０４ｂは、破線の白線で示され、第３プロジェクタ１５０ｃの投影可能領域３０４ｃは、２点鎖線の白線で示されている。

図１１（Ａ）に示す統合座標系３００上のグレイの領域３１０は、スクリーン１０２に対応する領域を示しており、この領域３１０にぴったりとコンテンツ画像を投影することが目標となる。３つのプロジェクタの投影可能領域の論理和の領域は、これから投影像をぴったり入れたいスクリーン１０２の領域３１０を余すところ無く充足していなければならない。そして、初回の校正後は、図１１（Ａ）に示す、ユーザがおおよそのスクリーン１０２の四隅に位置あわせした四隅マーカが指す基準点で囲まれる四辺形の投影目標領域（必ずしも矩形ではない。）３１２にコンテンツ画像が投影される。

再び図９を参照すると、ステップＳ２０２では、図１１（Ａ）の四隅マーカの基準点座標による点線で囲まれる四辺形の投影目標領域３１２へ矩形のコンテンツ画像をマップするため射影変換を求める。ここで、投影目標領域３１２からコンテンツ画像への射影変換をＨ_ｔとする。幾何補正係数計算部１３４は、投影目標領域３１２を画定する四隅マーカの基準点の座標と、コンテンツ画像の四隅の座標とに基づいて、初回の投影目標領域３１２からコンテンツ画像への射影変換Ｈ_１（ｔ＝１は初回であることを意味する。）の係数を計算する。

射影変換Ｈ_１の変換式は、下記式（２）で表され、下記式（２）の分母を払って整理すると、下記式（３）で表す一次多項式に展開することができる。

上記式（２）および（３）中、ｘ，ｙは、変換前の統合座標系上の座標を表し、ｕ，ｖは、変換後のコンテンツ画像座標系上の座標を表し、ａ〜ｈの８つの係数は、射影変換係数を表す。上記式において、未知パラメータである８つの射影変換係数を算出するためには、最低でも８個の連立方程式を要するが、四隅マーカの基準点およびコンテンツ画像の四隅の座標点の対応関係から、８個の変換式を生成することができる。この対応関係から生成された８つの連立方程式を解くことにより、射影変換係数ａ〜ｈを求めることができる。

再び図９を参照すると、ステップＳ２０３〜ステップＳ２０７のループでは、プロジェクタ毎に、ステップＳ２０４〜ステップＳ２０６で示す各処理が実行され、複数のプロジェクタ各々の幾何補正係数が求められる。

ステップＳ２０４では、幾何補正係数計算部１３４は、上記求められた射影変換Ｈ_ｔ（初回はｔ＝１）により、統合座標系上の校正点座標Ｌ_ｉを、コンテンツ画像の座標系に変換する。以下、投影目標領域３１２に貼り付けられた統合座標系上でのコンテンツ画像を「投影コンテンツ画像」と参照し、その元となるオリジナルのコンテンツ画像を「等倍コンテンツ画像」と参照する。

ステップＳ２０５では、幾何補正係数計算部１３４は、プロジェクタ・メモリ上の校正点座標を、統合座標系を経由して、等倍コンテンツ画像の座標系の画素位置に対応付ける。ステップＳ２０６では、幾何補正係数計算部１３４は、プロジェクタ・メモリ上の各整数画素座標を、統合座標系を経由して、等倍コンテンツ画像の座標系の画素位置へ線形補間により対応付ける。

ステップＳ２０４〜ステップＳ２０６で示す各処理で計算される幾何補正係数は、図１２に示すように、プロジェクタ・メモリ３３０上の各座標を、投影コンテンツ画像上の位置に対応する等倍コンテンツ画像上の画素位置に対応付けるものである。

図１２に示すプロジェクタ・メモリ３３０ａの１つの校正点Ｐ４１_Ｐを代表して説明すると、プロジェクタ・メモリ３３０上の校正点Ｐ４１_Ｐに対しては、統合座標系３００上の対応点Ｐ４１_Ｃ（Ｘ_Ｐ４１Ｃ，Ｙ_Ｐ４１Ｃ）が抽出されている。そして、四辺形の投影目標領域３１２がコンテンツ画像にマップされるため、図１２に示すように、統合座標系３００上の座標位置Ｐ４１_Ｃに対しては、さらに、等倍コンテンツ画像上での対応する画素位置Ｐ４１_ｍ（Ｘ_Ｐ４１ｍ，Ｙ_Ｐ４１ｍ）が定まる。

具体的には、図１２中の統合座標系上でのマップした投影コンテンツ画像の左上の原点の座標を（Ｘ_０，Ｙ_０）とすると、統合座標系上でこの校正点に映し出すべき、等倍コンテンツ画像上での対応する画素位置Ｐ４１_ｍ（Ｘ_Ｐ４１ｍ，Ｙ_Ｐ４１ｍ）は、統合座標系３００上の点Ｐ４１_Ｃの座標（Ｘ_Ｐ４１Ｃ，Ｙ_Ｐ４１Ｃ）から、以下式（４）で計算することができる。

プロジェクタ・メモリ上の校正点Ｐ４１_Ｐ以外のすべての校正点Ｐｉｊ_Ｐについても同様に、等倍コンテンツ画像上での対応する画素位置が計算される。プロジェクタ・メモリ上の校正点以外の任意の座標については、図１０を参照して説明した同様の方法により、近傍の２×２校正点のコンテンツ画像上での対応する画素位置を線形に補間（内挿または周辺部では外挿）することによって、等倍コンテンツ画像上での対応する画素位置を計算することができる。これにより、プロジェクタ・メモリ３３０ａ上の所定領域３３２ａの画素に対し、コンテンツ画像における第１プロジェクタ１５０ａが担当する領域の画素位置が対応付けられる。

図１４（Ａ）は、ステップＳ２０４〜ステップＳ２０６の処理で計算される１つのプロジェクタの幾何補正係数のデータ構造を例示する。図１４（Ａ）に示すように、こうして求めたプロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置が、幾何補正係数となる。

ステップＳ２０３〜ステップＳ２０７のループがプロジェクタ台数分だけ繰り返され、すべてのプロジェクタについて、プロジェクタ・メモリ上の整数画素座標と等倍コンテンツ画像の座標系との対応付けが完了すると、ステップＳ２０８に進められる。ステップＳ２０８では、本処理を終了し、図７に示した呼び出し元へ処理が戻される。これにより、すべてのプロジェクタ１５０ａ〜１５０ｃそれぞれのための幾何補正係数が準備される。

なお、説明する実施形態では、幾何補正係数として、プロジェクタ・メモリの全画素に対する等倍コンテンツ画像上での対応する画素位置を求めているが、これに限定されるものではない。他の実施形態では、プロジェクタ・メモリ上の各校正点Ｐｉｊ_Ｐに対する等倍コンテンツ画像上での画素位置Ｐｉｊ_ｍを幾何補正係数として求め、後述する補正処理部１１４で、校正点以外の座標については四辺形パッチ毎に射影変換あるいは線形変換することにより計算する態様としてもよい。

（ブレンディング係数の計算）
以下、図１３および図１４を参照しながら、各プロジェクタのブレンディング係数の計算処理の詳細について説明する。図１３は、プロジェクタ・メモリ上の各座標に対するブレンディング係数の対応付けを説明する図である。ブレンディング係数の計算処理では、注目するプロジェクタ毎に処理が実行され、複数のプロジェクタ１５０ａ〜１５０ｃ各々のブレンディング係数が求められる。

まず、ブレンディング係数計算部１３６は、統合座標系３００において、注目プロジェクタと、注目プロジェクタに隣接するプロジェクタとの投影可能領域の外周座標に基づき、これらの重複領域を検出する。図１３に示すように、統合座標系３００での投影目標領域３１２の最上辺から、左原点（○）から右方向へ探索し、順次下へ探索を進めることにより、まず、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域の開始点（●）および終了点（◎）が検出される。

プロジェクタの入出力特性は、典型的には、線形とはならない。上記重複領域に対応する画素に対するブレンディング係数の計算では、この入出力特性の逆補正を一旦施して線形になるように補正した上で、両側のプロジェクタからの光量が合計して１となるように重み付けが行われる。

具体的には、図１３の下段のグラフで第１プロジェクタについて示すように、原点（○）から、重複領域の開始点(●)までの範囲の画素に対しては、ブレンディング係数が最大１に決定される。一方、重複領域の開始点(●)から終了点（◎）までの範囲の画素に対しては、開始点（●)からの水平距離に応じて、実際の明るさが線形に１．０から０へ徐々に落ちていくように、プロジェクタの入出力特性の逆補正をかけたブレンディング係数を算出する。

ブレンディング係数計算部１３６は、プロジェクタ・メモリ上の整数画素座標各々に対し、図１４（Ａ）に示すデータ構造によって対応付けられる統合座標系の座標（小数点）の最近傍の整数画素に割り当てられたブレンディング係数を対応付ける。

上述した処理により、複数のプロジェクタ１５０ａ〜１５０ｃの各々に対して、図１４（Ｂ）に示すように、プロジェクタ・メモリの全画素分のブレンディング係数が得られることになる。なお、上述した説明では、第１プロジェクタ１５０ａと第２プロジェクタ１５０ｂとの重複領域について説明した。第２プロジェクタ１５０ｂが処理対象となる場合は、左右の第１プロジェクタ１５０ａおよび第３プロジェクタ１５０ｃを合わせて、２つの重複領域についてブレンディング補正の計算が行われることとなる。

（補正処理）
以下、図１４および図１５を参照しながら、上記補正係数に基づく補正処理の詳細について説明する。上述した幾何補正係数計算部１３４で算出された各プロジェクタの幾何補正係数と、上述したブレンディング係数計算部１３６で算出された各プロジェクタのブレンディング係数とは、図７に示したステップＳ１０７で、各補正処理部１１４に設定される。

まず、補正処理部１１４は、プロジェクタ・メモリの全画素と、等倍コンテンツ画像上での対応する画素位置との対応付けデータを準備する。上述した幾何補正係数計算部１３４での処理により、図１４（Ａ）に示すようなプロジェクタ・メモリの全画素に対する画素位置が求められているので、補正処理部１１４は、この対応付けデータをそのまま読み出す。

補正処理部１１４は、プロジェクタ・メモリの画素毎の参照すべき等倍コンテンツ画像上の画素位置（小数点数）に基づき、投影すべき等倍コンテンツ画像から、バイリニア、バイキュービックなどの画素補間方法によって中間画像を生成する。この中間画像は、幾何補正係数により、コンテンツ画像を検出した幾何歪みの逆に変形した画像である。補正処理部１１４は、さらに、生成された中間画像のＲ，Ｇ，Ｂ各色の画素値に対し、図１４（Ｂ）の対応付けデータにより対応付けられるブレンディング係数を乗じ、最終的な投影画像を生成する。

図１５は、上記補正係数に基づく補正処理を説明する図である。図１５には、３台のプロジェクタ１５０ａ〜１５０ｃについて、補正処理部１１４ａ〜１１４ｃによりコンテンツ画像から最終的に得られた投影画像３５０ａ〜３５０ｃが示されている。図１５に示すように、投影モード中、これらの投影画像３５０ａ〜３５０ｃが、プロジェクタ１５０ａ〜１５０ｃ各々から投影される。投影画像３５０ａ〜３５０ｃの投影像は、スクリーン１０２内で好適に重なり合わせられて、単一の投影像３５２に合成される。初回の校正時は、スクリーン１０２内に位置合わせされた四隅マーカが指す基準点で囲まれる四辺形の投影目標領域にコンテンツ画像が投影されることになる。

（調整用ユーザ・インタフェース）
初期位置の投影目標領域に対する投影が開始されると、好適な実施形態では、その全体としての投影像を表示した状態で、投影目標領域（全体としての投影像）の四隅の位置を調整するための調整用ユーザ・インタフェースが提供される。ユーザは、全体としての投影像がスクリーン１０２に位置合わせされているかを目視にて観察しながら、調整用ユーザ・インタフェースを介して、その四隅をスクリーン１０２に一致させる調整作業を行う。典型的には、初期位置は、スクリーン１０２の四隅の少し内側に四隅マーカを用いて位置合わせされているので、全体としての投影像をスクリーン１０２の四隅へ少しずつ広げて行く調整となる（図１５）。

図１６は、好適な実施形態において、投影目標領域の四隅の位置を微調整するためのユーザ・インタフェース画面を例示する。図１６に示す画面４００は、各四隅の座標値を調整するための設定領域４１０，４３０，４４０，４５０と、設定を反映させる指示を受け付ける「調整」ボタン４０２と、調整を終了する指示を受け付ける「終了」ボタン４０４とを含み構成される。

左上に対応する設定領域４１０を代表して説明すると、各設定領域には、四隅の位置座標（ｘ，ｙ）を表示するテキストボックス４１２，４１４と、四隅の座標位置を移動させる指示を受け付けるユーザ・インタフェース部品であるボタン４１６，４１８，４２０，４２２とが含まれる。ここでは、上下方向への移動のためのボタンを代表して説明する。

微調整の基準となる座標系は、統合座標系である。また、ユーザ・インタフェース画面４００では、具体的な座標値が入力されることになるが、ここでは、統合座標系における縦の長さ（左四隅マーカ２つの間の上下の距離および右四隅マーカ２つの上下の距離の平均値）を、プロジェクタ・メモリ上の画像の座標系での四隅マーカ間の上下の距離（画素数）にスケールを合わせている。そして、このようにスケールされた座標系上で、ボタン４１８〜４２２により、上下複数段階の粒度（例えば±１０，±１の２段階）で微調整量を変位させる。あるいは、テキストボックス４１２，４１４に微調整後の座標値を直接入力してもよい。

こうして投影目標領域の四隅の位置の微調整量がユーザ入力され、「調整」ボタン４０２が押下されると、統合座標系で投影目標領域を画定する基準点の座標が更新される。更新された基準点の座標は、上記入力された座標値を統合座標系のスケールに換算した値となる。その後、引き続き、幾何補正係数が再計算され、ブレンディング係数が再計算される。

図１７には、ユーザ入力により微調整した後の投影目標領域を示す。典型的には、統合座標系上において、微調整ステップごとに、領域３１２の四隅の位置がスクリーンに対応する領域３１０の四隅へ徐々に近づけられる。数回の微調整の結果、図１７に示すように、投影目標領域３１２の四隅の位置がスクリーンに対応する領域３１０の四隅へ概ね一致するように調整される。なお、微調整された目標投影領域は、微調整の途中必ずしも矩形ではなく、最終結果においても、わずかな非線形な歪みは残るため、かならずしも理想的な矩形にはならない。

微調整時の幾何補正係数の計算処理は、初回と同様であり、微調整された目標投影領域にコンテンツ画像（矩形）をマッピングするための射影変換Ｈ_ｔ（ｔ＞１）が求められ、射影変換Ｈ_ｔに基づいて幾何補正係数が算出される。図１８には、数回の微調整の結果として、スクリーン１０２にぴったりと広げられた投影目標領域３１２に等倍コンテンツ画像がマッピングされる様子が示されている。

以上説明したユーザ・インタフェース画面を用いることにより、ユーザは、投影目標領域のおおよその初期位置を四隅マーカにより確認しながら投影し、かつ、補正結果を見ながら、投影目標領域の四隅の位置を微調整することができるようになる。

（投影様式の変形例）
上述までの説明は、３台のプロジェクタ１５０ａ〜１５０ｃの投影像を横一列に並べて全体としての画像を投影する実施形態について説明してきた。しかしながら、本実施形態による校正処理が適用できるマルチ・プロジェクションの態様は、これに限定されるものではない。図１９は、本実施形態による校正処理を適用することができるマルチ・プロジェクションの他の態様を例示する。

プロジェクタ１５０の台数は、３に限定されず、任意の台数とすることができる（図１９（Ａ））。また、投影様式も、横一列に限らず、図１９（Ｂ）に示すように、縦一列に並べる態様でもよいし、図１９（Ｃ）および図１９（Ｄ）に示すように、２列以上の配列へ一般化することができる。

図１９（Ａ）に示すような横一列の場合は、各プロジェクタ用の校正用画像の上下に余白部（点線で示される。）が設けられるが、図１９（Ｂ）に示すような縦一列の場合は、校正用画像の左右に余白部を設ければよい。また、２列以上の配列の場合は、スクリーン１０２の外側の領域を担当するプロジェクタ用の校正用画像に対し余白部が設けられる。このとき、スクリーン１０２の上外側の領域を担当するプロジェクタ用の校正用画像に対しては、校正用画像の上側に余白が設けられ、下外側の領域を担当するプロジェクタ用の校正用画像に対しては、同じ下側に余白が設けられる。また、３列以上の配列の場合は、スクリーンの外側の領域を担当しないプロジェクタ（図１９（Ｄ）において破線で示す投影像に対応するプロジェクタである。）については、必ずしも余白を設けることを要さない。

（校正用投影シーンの投影および撮像方法の変形例）
さらに、上述までの実施形態では、ユーザは、連結するすべてのプロジェクタ１５０ａ〜１５０ｃの投影像２１２，２１４，２１６全体が画角内に収まるようにカメラ１６０を固定して複数回の撮影を行うものとした。しかしながら、すべてのプロジェクタのうちの一部の投影像のみが画角内に収まるようにカメラ１６０を構えて撮像し、撮像範囲をずらしながら、複数回に分けて分割撮像を行う態様を妨げるものではない。

例えば、図２０に示すように、校正用画像内に投影像の四隅を示す位置合わせマーカを設けて、隣接する２つのプロジェクタの校正用投影像２３０のみを画角内に収まるようにして撮影し、カメラを移動させながら、複数回に分けて校正用撮像画像を取得してもよい。この場合に、左右端のプロジェクタの校正用画像に設けた位置合わせマーカを上記四隅マーカとして兼用してもよい。

この場合、複数の校正用撮像画像間で共通して写り込んでいる位置合わせマーカを用いて、射影変換により、これらの校正用撮像画像から抽出される特徴点を統合された座標系に統合することができる。特徴点抽出統合部１３２は、位置合わせマーカの座標位置の対応関係から射影変換の係数を求め、複数の校正用撮像画像の座標系間を射影変換することにより、統合された統合座標系上の校正点の座標を算出することができる。

さらに、精度を高めるため、同じプロジェクタに対して異なる撮像範囲で複数回の校正用画像を投影し、異なる撮像範囲に基づく複数の組の校正点を合成することができる。いずれにしても、システムを構成するＴ台のプロジェクタそれぞれに対する校正点の組Ｌ_１〜Ｌ_Ｔおよび基準点Ｍが、統合された座標系上において抽出される。

（初回プロジェクタ設置時の投影画像）
プロジェクタの初期設置の際には、校正パターン配列がスクリーン１０２に収まるように調整して設置しなければならない他、複数のプロジェクタの投影可能領域の論理和の領域が、スクリーン１０２を余すところ無く充足させるよう調整して設置する必要がある。このため、黒地の背景の校正用画像を投影した場合、ユーザは、各プロジェクタの投影可能領域がどこまでの範囲にあるかを判別することが難しく、プロジェクタを設置する作業が困難となる。つまり、白色のような一定以上の輝度を有する背景の画像を投影すると、投影可能領域の範囲が明瞭となり、プロジェクタの初期設置が容易となるといえる。

一方、上記「校正用投影シーンの投影および撮像方法の変形例」で分割撮像について言及したが、分割撮像をする場合、あるプロジェクタから校正パターン配列を投影している間、隣接するプロジェクタから位置合わせマーカを投影し、撮像することになる。しかしながら、この場合に、白地に黒パターンであると、隣接するプロジェクタからの背景色の白が、黒の校正パターンに重なり、校正パターンが薄まり検出しづらくなる。つまり、分割撮像をする場合は、重畳領域が生じるため、黒地の背景の校正用画像を投影した方が好ましいと言える。

そこで、好適な実施形態では、プロジェクタの初期設置の際には、校正用画像が白地に黒のパターンであればそのまま、校正用画像が黒字に白のパターンであれば白黒反転した画像を、すべてのプロジェクタ１５０から同時に投影するよう構成するとよい。このようにすると、すべてのプロジェクタから白地（一定以上の輝度を有する）の画像が投影されるとともに、画像には校正パターン配列および四隅マーカが含まれるので、投影可能領域の論理和の領域がスクリーンをカバーできるように、かつ、四隅マーカおよび校正パターン配列がスクリーンに収まるように、プロジェクタの初期設置することが容易となる。

（第２の実施形態による校正処理）
上述までの実施形態による校正処理は、複数のプロジェクタ１５０を、スクリーン１０２に対して概ね最適な投影ができる位置に設置することが可能な状況において、好適に適用することができる。すなわち、上記実施形態では、図６のように、複数のプロジェクタ１５０は、投影像２１０ａ〜２１０ｃが、概ね均等な重複領域を有しつつ、スクリーン１０２を若干のはみ出しを持ってカバーするように、配置が調整される。このような配置は、ピンホールモデルの光学系の通常焦点プロジェクタであれば、比較的容易に実現可能である。これは、ズーム機能、フォーカス機能、レンズシフト機能、あるいは、単純にプロジェクタの傾きを若干調整することで投影像の大きさおよび位置をある程度自由に調整できるためである。プロジェクタの投影像の周辺部は、暗くなり、あるいはぼけやすいなど画質劣化がある。図６に示すようにプロジェクタ１５０を配置することができれば、画素の無駄が少なく連結して投影される投影像の解像度が最適となり、また投影像の中央部分が用いられるので画質も最適となる。

しかしながら、超短焦点プロジェクタでは、上述したようなプロジェクタの最適配置の実現が難しい場合がある。図２１は、超短焦点プロジェクタの投影像と設置条件との関係を説明する図である。図２１（Ａ）に示すように、超短焦点プロジェクタ１８０は、表示パネル１８２と、レンズ系１８４と、屈曲ミラー１８６と、自由曲面ミラー１８８とを含み構成される。超短焦点プロジェクタ１８０には、自由曲面ミラー１８８が光学系に含まれるため、図２１（Ａ）および（Ｂ）に例示するように、所望のサイズの投影像が得られるプロジェクタのスクリーンからの距離（ｄ１，ｄ２）およびスクリーンとの相対的な高さ（ｈ）が、所定の狭い範囲内に制限されてしまう。

このため、スクリーン１０２に対して、プロジェクタ１５０の設置位置を自由に設計できる場合は良い。しかしながら、設置環境によって制約が課される場合、図６および図２２（Ａ）に示すような状況が得られるようにプロジェクタ１５０を配置および調整することが困難となる場合がある。例えば、プロジェクタを搭載する台の高さが固定である場合などにより高さに物理的な制約が課せられたりする場合がある。あるいは、手前に障害物があるなどによりスクリーンまでの距離に物理的な制約が課せられたり、複数のプロジェクタ間の左右の間隔が固定されているなどにより、該間隔に物理的な制約が課せられたりする場合がある。このような場合、どれだけ調整を試みても、図６および図２２（Ａ）に示すように校正パターンおよび四隅マーカをスクリーン１０２内に収まるようにプロジェクタ１５０を設置および調整すること自体がそもそもできない可能性がある。

図２２（Ｂ）および図２２（Ｃ）は、そのようなプロジェクタ１５０の最適配置が物理的にできない場合の投影像を例示している。図２２（Ｂ）は、スクリーン１０２に対するプロジェクタ１５０の高さｈが低すぎた場合を例示し、このため、校正パターンおよび四隅マーカの上端がスクリーンからはみ出している。図２２（Ｃ）は、スクリーン１０２に近づけることができず、距離が大きすぎて、投影像２１０各々がスクリーン１０２より無駄に大きくなり、スクリーン１０２と投影像の左右の位置も不均等な位置になってしまっている場合を例示する。以下に説明する第２の実施形態は、図２２（Ｂ）および図２２（Ｃ）で示すような、投影像２１０に含まれる校正パターンおよび四隅マーカがスクリーン１０２内に収まるようにプロジェクタ１５０を設置することが困難な状況に対処しようとするものである。

そこで、第２の実施形態による投影システム１００では、物理的に設置位置の制約がある場合に、画像全体としての解像度や画質よりも、校正パターンがスクリーン１０２内に収まることを優先して校正用画像および校正シーンを生成する。

第２の実施形態による投影システム１００では、校正用画面を生成する前に、まず、プロジェクタ１５０上で、スクリーン１０２の四隅に位置合わせされるマーカ（以下、スクリーン対応領域指定マーカと参照する。）が描かれた初期校正用画像を投影しつつ、ユーザからのスクリーン対応領域指定マーカを移動させる移動指示を受け付ける。そして、校正用シーン生成部１２０によって、ユーザ指定されたスクリーン対応領域指定マーカの基準点に基づいて、各プロジェクタ１５０の最適化された余白を有する校正用画像を生成する。上記プロジェクタ１５０の座標系上でのスクリーン対応領域指定マーカの位置情報は、各プロジェクタ１５０の投影像２１０と、スクリーン１０２との相対的なサイズおよび相対位置関係を表している。このスクリーン対応領域指定マーカの位置情報は、第２の実施形態において、複数のプロジェクタ１５０各々の投影像とスクリーン１０２との関係、より具体的には幾何学的な関係を規定するものである。

以下、第２の実施形態による校正処理について、図２３に示すフローチャート、図２４に示すユーザ・インタフェースおよび図２５に示す余白計算処理を説明する模式図を参照しながら説明する。図２３は、第２の実施形態による校正処理の全体的な処理の流れを示すフローチャートである。図２３に示す処理は、ユーザからの校正処理開始の指示に応答して、ステップＳ３００から開始される。

ステップＳ３０１では、画像処理装置１１０は、ユーザからの設置条件（プロジェクタ連結数Ｔ、横一列なのか、縦一列なのか、何行何列なのかなど）の入力を受領する。なお、スクリーン１０２のアスペクト比は、第２の実施形態ではユーザ入力が求められない。ステップＳ３０２では、画像処理装置１１０は、校正用画像を生成する前処理として、プロジェクタ１５０からスクリーン対応領域指定マーカを含む初期校正用画像を投影させる。説明する実施形態において、スクリーン対応領域指定マーカは、スクリーン１０２の四隅に位置合わせされるものである。横一列の場合、左右端の１台目のプロジェクタ１５０と、Ｔ台目のプロジェクタ１５０が、スクリーン１０２の隅の領域を担当し、スクリーン対応領域指定マーカが含まれる初期校正用画像を投影する。

図２４は、３連の場合を一例として、スクリーン対応領域指定マーカを含む初期校正用画像および該初期校正用画像を投影した初期校正用投影像を説明する図である。図２４（Ａ）は、調整前の初期状態を表し、図２４（Ｂ）は、調整後の状態を表している。

図２４（Ａ）に示すように、左端の第１プロジェクタ１５０ａから投影させる初期校正用画像２５０ａには、スクリーン１０２の左上隅および左下隅に位置合わせされるスクリーン対応領域指定マーカ２５２ＬＴ，２５２ＬＢが含まれている。これに対して、右端の第３プロジェクタ１５０ｃから投影させる初期校正用画像２５０ｃには、右上隅および右下隅に位置合わせされるスクリーン対応領域指定マーカ２５２ＲＴ，２５２ＲＢが含まれている。真ん中に設置される第２プロジェクタ１５０ｂの初期校正用画像２５０ｂには、説明する実施形態ではマーカが含まれず、背景色のみとなっている。

スクリーン１０２の外側では投影像が大きく歪みやすく、模様があったりする可能性があるため、スクリーン対応領域指定マーカ２５２の初期位置は、スクリーン１０２の内側に投影されやすいように内側の位置に設定することが好ましい。なお、初期校正用画像２５０ａ〜２５０ｃの背景色は、投影可能領域の範囲を明瞭とし、プロジェクタ１５０の初期設置を容易とする観点からは、白色のような一定以上の輝度を有する色とすることができる。

初期校正用画像２５０におけるスクリーン対応領域指定マーカの位置は、画像処理装置１１０に接続されたマウスやキーボードなどにより変更可能とされている。ユーザは、初期校正用投影画像２４０ａ，２４０ｃにおける領域指定マーカ像２４２の位置を目視で確認しながら、マウスのドラッグなどの操作を行って、スクリーン対応領域指定マーカの位置の移動を指示する。図２４（Ｂ）に示すように、領域指定マーカ像２４２がスクリーン１０２の四隅に概ね位置するように調整を終えると、ボタンの押下などにより初期位置合わせの完了を行う。

再び図２３を参照すると、ステップＳ３０３では、画像処理装置１１０は、スクリーン対応領域指定マーカによる初期位置合わせが完了したか否かを判定する。ステップＳ３０３で、ユーザから初期位置合わせの完了の指示が未だないと判定された場合（ＮＯ）は、ステップＳ３０２へ処理をループさせる。一方、ユーザから完了の指示があった場合（ＹＥＳ）は、画像処理装置１１０は、各プロジェクタ座標系上のスクリーン対応領域指定マーカの現時点の位置座標を取得して、ステップＳ３０４へ処理を分岐させる。

ステップＳ３０４では、画像処理装置１１０は、ユーザ入力されたプロジェクの設置条件、および、スクリーン対応領域指定マーカを用いてユーザにより調整されたスクリーン対応領域指定マーカの位置情報に基づいて、各校正用画像を生成し、校正用投影シーンを生成する。

図２５は、第２の実施形態における余白計算処理を説明する模式図である。ユーザは、ユーザ・インタフェースにより、プロジェクタ１５０の画像上でスクリーン対応領域指定マーカを移動させて、その投影像を視察で確認しながら、スクリーンのおおよそ四隅の位置に一致するよう指定する。そのときのプロジェクタ座標として、四隅の座標値が取得される。

四隅の座標が必ずしも矩形とはならないため、上下左右の余白は大きい方を選ぶようにすることができる。特定の実施形態において、各校正用画像の上部に設けられる余白の大きさ（ＭａｒｇｉｎＴｏｐ）は、左端の第１プロジェクタ１５０ａの座標系における上端から左上マーカの長さおよび右端の第３プロジェクタ１５０ｃの投影画像座標系における上端から右上マーカの長さのうちの大きい方を採用することができる。同様に、各校正用画像の下部に設けられる余白の大きさ（ＭａｒｇｉｎＢｏｔｔｏｍ）は、左端の第１プロジェクタ１５０ａの下端から左下マーカまでの長さおよび右端の第３プロジェクタ１５０ｃの下端から右下マーカの長さのうちの大きい方を採用する。左端のプロジェクタ１５０ａの校正用画像の左側に設けられる余白の大きさ（ＭａｒｇｉｎＬｅｆｔ）は、左端の第１プロジェクタ１５０ａの座標系における左端から左上マーカおよび左下マーカまでの長さのうちの大きい方を採用する。右側に設けられる余白の大きさ（ＭａｒｇｉｎＲｉｇｈｔ）も同様に、右端の第３プロジェクタ１５０ｃの座標系における右端から右上マーカおよび右下マーカまでの長さのうちの大きい方を採用する。

図２５（Ｂ）は、各プロジェクタ１５０ａ〜１５０ｃの投影像を、領域分割したブロックとともに示している。図２５（Ｂ）に示すように、スクリーン対応領域指定マーカによりスクリーン対応領域２６２が画定される。そして、図２５（Ｃ）に示すように、校正用画像における余白領域は、このスクリーン対応領域２６２に当てはまらないブロックとなり、スクリーン対応領域２６２に該当するブロックにより画定される範囲が、校正用領域となる。

この校正用領域内に校正パターンを格子状に配列させたものを用いてもよいが、好適な実施形態では、校正用領域内における校正パターンの配列が設けられる校正パターン領域の外側に、さらに余白部が設けられる。また、好適な実施形態では、抽出精度を維持するため、上記校正パターンの大きさを余白の大きさに関わらず一定とし、校正パターンの列数および行数の増減により、余白の大きさに対応することができる。

図２５（Ｃ）に例示する第１プロジェクタ用の第１校正用画像２００ａでは、プロジェクタ１５０の全投影領域を横に３０ブロック、縦に２０ブロックに分割し、そのうちの上７ブロックおよび下３ブロック、左１８ブロックに余白部が設定されている。そして、下寄りかつ右寄せの１２×１０ブロックに校正用領域が画定されている。その校正用領域のうちの、右中央より１１×８ブロックに、各ブロックを単位として円形状を格子状に並べたものが用いられている。

第２校正用画像２００ｂでは、上７ブロックおよび下３ブロックに余白部が設定され、それ以外の３０×１０ブロックに校正用領域が画定されている。第３校正用画像２００ｃでは、上７ブロックおよび下３ブロック、右６ブロックに余白部が設定され、下寄りかつ左寄せで２４×１０ブロックに校正用領域が画定される。また、四隅マーカは、図２５（Ｃ）に示す例では、左端に対応する第１校正用画像２００ａにおいて、校正用領域の左上および左下、右端に対応する第３校正用画像２００ｃの校正用領域の右上および右下に設けられている。

再び図２３を参照すると、ステップＳ３０５では、画像処理装置１１０は、複数のプロジェクタ１５０ａ〜１５０ｃを用いて、生成された各校正用投影シーンを順番に投影し、カメラ１６０により各校正用投影シーンに対応して撮像された各校正用撮像画像を取得する。以降、ステップＳ３０６〜ステップＳ３１５の処理は、図７に示したステップＳ１０４〜ステップＳ１１３の処理と同様であるため、詳細な説明は割愛する。

上述したように、ユーザが目視により、投影されたスクリーン対応領域指定マーカの位置の調整を行うことにより、プロジェクタの配置に制約が課せられる条件下でも、適切な余白を計算し、精度の高い校正処理を行うことが可能となる。

なお、説明する実施形態では、スクリーン対応領域指定マーカが、スクリーン１０２の四隅に位置合わせされるものとして説明した。しかしながら、四隅に限定されるものではなく、他の実施形態では、スクリーン１０２の四隅および四辺などスクリーン１０２の周囲に位置合わせされる複数のスクリーン対応領域指定マーカが含まれていてもよい。例えば、図２４に示した真ん中に設置される第２プロジェクタ１５０ｂの初期校正用画像２５０ｂに、スクリーン１０２の上辺および下辺に位置合わせされるマーカが含まれてもよい。また、上述したスクリーン対応領域指定マーカの形状は、例示の鉤形状に限定されるものではなく、いかなる形状であってもよい。

（余白指定モードの切り替え）
図２６は、アスペクト比入力に基づく余白指定モードと、スクリーン対応領域指定に基づく余白指定モードとが好適に適用できる状況を説明する図である。図２６に示したアスペクト比入力に基づく余白指定モードは、図７に示した校正処理に対応し、領域指定に基づく余白指定モードは、図２３に示した校正処理に対応する。好適な実施形態では、画像処理装置１１０は、ユーザ指定により、領域指定に基づく余白指定モードおよびアスペクト比入力に基づく余白指定モードを切り替えることができるよう構成される。

図２６の上段に示すように、領域指定に基づく余白指定モードは、設置環境上の制約から、プロジェクタを精密に配置することができない場合や、制約はないがプロジェクタをより自由に設置したいという要望がある場合に、好適に選択することができる。このとき、プロジェクタを比較的に自由に設置できるので、ユーザの設置作業の負荷が軽減される。これに対して、アスペクト比入力に基づく余白指定モードは、図２６の下段に示すように、設置環境上の制約が少なく、プロジェクタを精密に配置することができる場合に好適に選択することができる。このとき、画素の無駄が少なく連結して投影される投影像の解像度が最適となり、また投影像の中央部分が用いられるので画質も最適となる。

（ハードウェア構成）
以下、図２７を参照しながら、上述までの実施形態における画像処理装置１１０のハードウェア構成について説明する。画像処理装置１１０は、典型的には、汎用コンピュータ装置として構成される。図２７は、本実施形態による汎用コンピュータ装置のハードウェア構成を示す図である。

図２７に示す汎用コンピュータ装置１１０は、ＣＰＵ１２と、ＣＰＵ１２とメモリとの接続を担うノースブリッジ１４と、サウスブリッジ１６とを含む。サウスブリッジ１６は、上記ノースブリッジ１４と専用バスまたはＰＣＩバスを介して接続され、ＰＣＩバスやＵＳＢなどのＩ／Ｏとの接続を担う。

ノースブリッジ１４には、ＣＰＵ１２の作業領域を提供するＲＡＭ１８と、映像信号を出力するグラフィックボード２０とが接続される。グラフィックボード２０には、アナログＲＧＢ、ＨＤＭＩ（High-Definition Multimedia Interface；ＨＤＭＩおよびHigh-Definition Multimedia Interfaceは登録商標または商標である）、ＤＶＩ（Digital Visual Interface）、ＤｉｓｐｌａｙＰｏｒｔ（登録商標）などの映像出力インタフェースを介してディスプレイ５０や上記プロジェクタ１５０に接続される。

サウスブリッジ１６には、ＰＣＩ（Peripheral Component Interconnect）２２、ＬＡＮポート２４、ＩＥＥＥ１３９４、ＵＳＢポート２８、補助記憶装置３０、オーディオ入出力３２、シリアルポート３４が接続される。補助記憶装置３０は、ＨＤＤやＳＳＤなどであり、コンピュータ装置を制御するためのＯＳ、上記機能部を実現するためのプログラムや各種システム情報や各種設定情報を格納する。ＬＡＮポート２４は、汎用コンピュータ装置１１０を有線および無線でネットワークに接続させるインタフェース機器である。

ＵＳＢポート２８には、キーボード５２およびマウス５４などの入力装置１７０が接続されてもよく、上述した四隅マーカの移動指示、スクリーン対応領域指定マーカの移動指示などを含む操作者からの各種指示の入力を受け付けるためのユーザ・インタフェースを提供することができる。本実施形態による汎用コンピュータ装置１１０は、補助記憶装置３０からプログラムを読み出し、ＲＡＭ１８が提供する作業空間に展開することにより、ＣＰＵ１２の制御の下、上述した各機能部および各処理を実現する。なお、プロジェクタ１５０およびカメラ１６０については、特に説明を行わないが、同様に、ＣＰＵおよびＲＡＭ等などのハードウェアや、特定の用途に応じたハードウェアを備えている。

以上説明したように、本発明の実施形態によれば、複数の投影手段各々の投影像と複数の投影手段により全体として画像が投影される被投影対象領域との関係に合わせて、複数の投影手段の校正作業を簡便に行うことができる、投影システム、該投影システムを構成する画像処理装置、コンピュータが実行する校正方法、該画像処理装置を実現するためのプログラムと投影装置とを含むシステム、および該画像処理装置を実現するためのプログラムを提供することができる。

なお、上記機能部は、アセンブラ、Ｃ、Ｃ＋＋、Ｃ＃、Ｊａｖａ（登録商標）などのレガシープログラミング言語やオブジェクト指向プログラミング言語などで記述されたコンピュータ実行可能なプログラムにより実現でき、ＲＯＭ、ＥＥＰＲＯＭ、ＥＰＲＯＭ、フラッシュメモリ、フレキシブルディスク、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ブルーレイディスク、ＳＤカード、ＭＯなど装置可読な記録媒体に格納して、あるいは電気通信回線を通じて頒布することができる。

これまで本発明の実施形態について説明してきたが、本発明の実施形態は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。

１００…投影システム、１０２…スクリーン、１０４…投影像、１０６…単一の投影像、１１０…画像処理装置、１１２…コンテンツ格納部、１１４…補正処理部、１１６…投影画像出力部、１１８…校正条件受付部、１２０…校正用シーン生成部、１２２…校正用画像格納部、１２４…切替部、１２６…校正用撮像画像入力部、１３０…補正係数算出部、１３２…特徴点抽出統合部、１３４…幾何補正係数計算部、１３６…ブレンディング係数計算部、１５０…プロジェクタ、１６０…カメラ、１７０…入力装置、１８０…超短焦点プロジェクタ、１８２…表示パネル、１８４…レンズ系、１８６…屈曲ミラー、１８８…自由曲面ミラー、２００…校正用画像、２１０，２１２，２１４，２１６，２３０…校正用投影像、２４０…初期校正用投影像、２４２…スクリーン対応領域指定マーカ、２５０…初期校正用画像、２５２…スクリーン対応領域指定マーカ像、２６２…スクリーン対応領域、３００…統合座標系、３０４…投影可能領域、３１０…スクリーンに対応する領域、３１２…投影目標領域、３２２…プロジェクタが担当する領域、３３０…プロジェクタ・メモリ、３５０…投影画像、３５２…単一の投影像、３５４…調整された単一の投影像、４００…画面、４１０，４３０，４４０，４５０…設定領域、４０２…「調整」ボタン、４０４…「終了」ボタン、４１２，４１４…テキストボックス、４１６，４１８，４２０，４２２…ボタン、５００…校正用画像、５０２…スクリーン、５０６…投影像、１２…ＣＰＵ、１４…ノースブリッジ、１６…サウスブリッジ、１８…ＲＡＭ、２０…グラフィックボード、２２…ＰＣＩ、２４…ＬＡＮポート、２６…ＩＥＥＥ１３９４ポート、２８…ＵＳＢポート、３０…補助記憶装置、３２…オーディオ入出力、３４…シリアルポート、５２…キーボード、５４…マウス

特許第３９０８２５５号公報 特開２０１３−０７４４７５号公報

Claims (20)

1. 複数の投影手段により全体としての画像を投影するための投影システムであって、
   与えられた前記複数の投影手段各々の投影像と被投影領域との関係に基づいて、前記複数の投影手段各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段と、
   投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
   を含み、
   前記被投影領域の外側の領域を担当する投影手段に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、前記複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、前記被投影領域内に収められて投影できるように、余白部が設けられる、投影システム。
2. 前記被投影領域の隅の領域を担当する投影手段に対し生成される校正用画像には、前記複数の校正点を規定する部分の周辺の領域に、前記被投影領域の隅への位置合わせの目安となる基準点を規定する位置合わせマーカが設けられる、請求項１に記載の投影システム。
3. 前記１以上の校正用撮像画像から抽出された前記被投影領域のすべての隅に対応する複数の基準点によって、前記複数の投影手段が前記全体としての画像を投影する投影目標領域が画定され、前記補正係数計算手段は、前記複数の基準点に基づいて前記複数の投影手段に対する補正係数を計算する、請求項２に記載の投影システム。
4. 前記全体としての画像が前記投影目標領域に投影された状態で、前記投影目標領域を画定する基準点を移動させる移動指示を受け付ける移動指示受領手段をさらに含み、前記補正係数計算手段は、前記移動指示に応答して、更新された基準点に基づいて前記複数の投影手段に対する補正係数を再計算することを特徴とする、請求項３に記載の投影システム。
5. 前記移動指示受領手段は、前記投影目標領域を画定する四隅の基準点の初期位置からの調整量を複数の粒度で変位させるユーザ・インタフェースを含み、前記調整量は、前記複数の投影手段の校正点が統合された統合座標系の値であり、該統合座標系での前記基準点の座標および投影手段の座標系での前記位置合わせマーカの座標を用いてスケールされている、請求項４に記載の投影システム。
6. 与えられた前記複数の投影手段各々の投影像と被投影領域との関係は、前記複数の投影手段の設置条件および被投影領域の形状特性を含み、前記複数の投影手段の設置条件は、設置される投影手段の数、投影手段の投影像の配列様式および投影手段の投影像のアスペクト比を含み、前記被投影領域の形状特性は、前記被投影領域のアスペクト比を含む、請求項１〜５のいずれか１項に記載の投影システム。
7. 与えられた前記複数の投影手段各々の投影像と被投影領域との関係は、前記複数の投影手段各々からの投影像に対する前記被投影領域の相対的な位置情報を含む、請求項１〜５のいずれか１項に記載の投影システム。
8. 前記被投影領域の周囲に位置合わせされる領域指定マーカが描かれた初期校正用画像を、前記被投影領域の周囲の領域を担当する投影手段に出力する手段と、前記領域指定マーカを移動させる移動指示を受け付ける手段とをさらに含み、
   前記被投影領域の相対的な位置情報は、前記領域指定マーカを移動させる移動指示に応答して取得される、請求項７に記載の投影システム。
9. 前記複数の投影手段の初期設置に際して、前記複数の格子点を規定する図形パターンが一定以上の輝度を有する背景上に描かれた画像を同時に前記複数の投影手段各々に出力する複数の投影画像出力部をさらに含む、請求項１〜８のいずれか１項に記載の投影システム。
10. 前記補正係数計算手段は、複数の校正用撮像画像から校正点を抽出し、前記複数の校正用撮像画像の座標系間を射影変換することにより、統合された統合座標系上の校正点の座標を算出する校正点抽出統合処理手段をさらに含む、請求項１〜９のいずれか１項に記載の投影システム。
11. 前記補正係数計算手段は、
    投影目標領域を画定する複数の基準点の座標と、前記全体としての画像の隅の座標とに基づいて、前記投影目標領域から前記全体としての画像への射影変換を求める手段と、
    前記射影変換に基づいて、前記１以上の校正用撮像画像から抽出された前記複数の投影手段各々の校正点の座標を前記全体としての画像の座標系に変換する手段と、
    前記投影手段の座標系上の校正点と、抽出された校正点との対応関係に基づいて、前記投影手段各々の座標系と、前記全体としての画像の座標系とを対応付けて、前記複数の投影手段各々から投影する投影画像を与える幾何補正係数を計算する手段と
    を含む、請求項１〜１０のいずれか１項に記載の投影システム。
12. 前記補正係数計算手段は、
    前記複数の投影手段各々に対し、注目する投影手段の投影像と、該注目する投影手段に隣接する投影手段各々の投影像との間の重複領域を検出し、前記注目する投影手段と前記隣接する投影手段各々との像の重ね合わせを調整するブレンディング係数を計算するブレンディング係数計算手段
    をさらに含む、請求項１１に記載の投影システム。
13. 前記幾何補正係数を計算する手段によって計算された幾何補正係数に基づき、前記全体としての画像から、投影手段毎の中間画像を生成し、前記ブレンディング係数計算手段によって計算されたブレンディング係数に基づき、前記中間画像から最終的な投影手段毎の投影画像を算出する投影手段毎の補正処理手段をさらに含む、請求項１２に記載の投影システム。
14. それぞれ投影手段となる投影装置および校正用撮像画像を撮像するための撮像装置の両方または一方を含む、請求項１〜１３のいずれか１項に記載の投影システム。
15. 複数の投影手段により全体としての画像を投影するための画像処理装置であって、
    与えられた前記複数の投影手段各々の投影像と被投影領域との関係に基づいて、前記複数の投影手段各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段と、
    投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、前記複数の投影手段に対する補正係数を計算する補正係数計算手段と
    を含み、
    前記被投影領域の外側の領域を担当する投影手段に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、前記複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、前記被投影領域内に収められて投影できるように、余白部が設けられる、画像処理装置。
16. 複数の投影手段により全体としての画像を投影するためにコンピュータが実行する校正方法であって、コンピュータが、
    与えられた前記複数の投影手段各々の投影像と被投影領域との関係に基づいて、前記複数の投影手段各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成するステップと、
    生成された前記校正用画像を投影手段から投影させるステップと、
    投影手段により投影された校正用画像が撮像された１以上の校正用撮像画像の入力を受けるステップと、
    前記１以上の校正用撮像画像に基づき、前記複数の投影手段に対する補正係数を計算するステップと
    を含み、前記被投影領域の外側の領域を担当する投影手段に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、前記複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、前記被投影領域内に収められて投影できるように、余白部が設けられる、校正方法。
17. 前記被投影領域の隅の領域を担当する投影手段に対し生成される校正用画像には、前記複数の校正点を規定する部分の周辺領域に、前記被投影領域の隅への位置合わせの目安となる基準点を規定する位置合わせマーカが設けられる、請求項１６に記載の校正方法。
18. 前記全体としての画像を、前記１以上の校正用撮像画像から抽出された前記被投影領域のすべての隅に対応する複数の基準点によって画定された投影目標領域に投影させるステップと、
    前記投影目標領域を画定する基準点を移動させる移動指示を受け付けるステップと、
    前記移動指示に応答して、更新された基準点に基づいて前記複数の投影手段に対する補正係数を再計算するステップと
    をさらに含む、請求項１７に記載の校正方法。
19. 複数の投影装置と、前記複数の投影装置に対し画像を出力することで全体としての画像を投影させる画像処理装置を実現するためのプログラムとを含むシステムであって、前記プログラムは、コンピュータを、
    与えられた前記複数の投影手段各々の投影像と被投影領域との関係に基づいて、前記複数の投影装置各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段、
    投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、前記複数の投影装置に対する補正係数を計算する補正係数計算手段
    として機能させるためのものであり、
    前記被投影領域の外側の領域を担当する投影装置に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、前記複数の校正点を規定する部分が、隣接する投影装置との間で重複を有しながら、前記被投影領域内に収められて投影できるように、余白部が設けられることを特徴とする、システム。
20. 複数の投影手段により全体としての画像を投影するためのプログラムであって、コンピュータを、
    与えられた前記複数の投影手段各々の投影像と被投影領域との関係に基づいて、前記複数の投影手段各々に対し、投影像の歪みを検出するための複数の校正点を規定する校正用画像を生成する生成手段、
    投影された校正用画像が撮像された１以上の校正用撮像画像に基づき、前記複数の投影手段に対する補正係数を計算する補正係数計算手段
    として機能させるためのものであり、
    前記被投影領域の外側の領域を担当する投影装置に対し生成される校正用画像には、与えられた前記複数の投影手段各々の投影像と被投影領域との関係の下で、前記複数の校正点を規定する部分が、隣接する投影手段との間で重複を有しながら、前記被投影領域内に収められて投影できるように、余白部が設けられることを特徴とする、プログラム。