JP2005252804A - マルチプロジェクションシステムのための画像補正方法 - Google Patents

Abstract

【課題】複数のプロジェクタを用いて隣接する投影画像が重なり領域を有した状態でタイリング投影を行う場合、重なり領域の幾何学的な整合性を適切にとることができるようにする。
【解決手段】各プロジェクタＰＪａ〜ＰＪｄの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い領域を算出する重なり領域算出装置２４と、この重なり領域算出装置２４により算出された情報に基づいて、重なり合っている蓋然性の高い領域を第１の領域としてそれを幾何補正関数設定領域として設定、または、第１の領域以外の領域を第２の領域としてそれを幾何補正関数設定領域として設定可能な幾何補正関数設定領域算出装置２５と、前記第１の領域と前記第２の領域それぞれに対応した幾何補正関数を作成する幾何補正関数算出装置２６とを有する。
【選択図】 図１２

Description

本発明は、マルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムに関する。

投影光学ユニット（プロジェクタとする）を、水平方向または垂直方向にそれぞれ複数、または、水平方向と垂直方向にそれぞれ複数配置し、これらの複数のプロジェクタからの投影画像をスクリーン上にタイリング投影することにより、１つの大画面画像を表示することのできるマルチプロジェクションシステムが知られている。なお、タイリング投影とは、複数のプロジェクタの各投影領域をスクリーン上でタイル状に配置して、１つの大画面画像の表示を可能とする投影方式である。

このようなマルチプロジェクションシステムは、高精細かつ高輝度の画像を表示することができるため、映画館、美術館、博物館、セミナー会場、集会場、ミニシアター、公共機関、企業などの業務用分野やアミューズメント、ホームシアターなどの家庭用分野において今後広く普及されていくことが期待されている。

このマルチプロジェクションシステムでは、複数のプロジェクタから投影される画像（単位画像という）が幾何学的に矛盾しないようにそれぞれの画像を投影する必要がある。このため、従来より、複数のプロジェクタから投影される単位画像同士の整合性を取るための様々な技術が提案されてている。

また、このマルチプロジェクションシステムでは、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させることが従来から一般的に行われている。

このように、スクリーン上で一部に重なり領域を有した状態で表示させる場合、各プロジェクタから投影する画像データの各プロジェクタ上の表示領域とスクリーン上における各プロジェクタの投影領域との幾何補正関数を算出し、その幾何補正関数と画像データから、投影すべき画像データがスクリーン上で適切に投影されるような幾何補正済み画像データを生成して、この幾何補正済み画像データを各プロジェクタから投影することが行われている。

このとき、各プロジェクタ間の重なり領域において、幾何補正関数の精度が不十分であると、この重なり領域内で画像のボケが発生し、マルチプロジェクションシステムでの投影画像の品質を大きく損なうこととなる。

上述したような、隣接するプロジェクタからの投影画像をスクリーン上で一部に重なり合う領域（以下では重なり領域という）を有した状態で表示させる場合における重なり領域の画像品質の改善を行う技術は従来から種々提案されている。たとえば、特許文献１から３もその例である。

特許文献１は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影位置を算出するというものである。

また、特許文献２は複数のプロジェクタからスクリーン上にパターン画像を投影し、スクリーン上に投影されたパターン画像をカメラで撮影し、元のパターン画像と撮影によって得られたパターン画像とに基づいて各プロジェクタの投影する画像とスクリーン上の投影領域との幾何変形関数を算出するものである。さらに、この特許文献２には、プロジェクタ単体の投影領域を小領域に分割し、個々の小領域ごとに幾何変数関数を算出する方法が提示されている。

また、特許文献３は複数のプロジェクタからスクリーン上にキャリブレーションパターン画像を投影し、スクリーン上に投影されたキャリブレーションパターン画像をカメラで撮影し、そのキャリブレーションパターン画像と撮影によって得られたキャリブレーションパターン画像とに基づいて各プロジェクタの投影する画像の画像補正データを算出するものである。また、この特許文献３に記載のキャリブレーションパターン画像は、マーカまたはグラデーションを有し、そのマーカまたはグラデーションの輝度値から算出した重心を用いて画像補正データを算出する。
特開平９−３２６９８１号公報 特開２００２−７２３５９号公報 特開２００３−２１９３２４号公報

上述した特許文献１は、重なり領域に関する処理については、重なり領域の輝度が重なり領域以外に比べて高くなることを考慮した輝度調整処理のみを施すものあり、重なり領域において前述したような幾何学的な補正はなされない。このように、特許文献１では、重なり領域における幾何学的な補正がなされず、輝度の調整処理だけであるので、重なり領域における幾何学的整合性を取ることは難しく、重なり領域の画像のボケを解消することはできない。

また、特許文献２は、プロジェクタの投影領域を小領域に細分化することで幾何変数関数を算出するようにしている。このため、幾何補正関数の算出に多くの計算量を要し、処理時間の増大につながる。加えて、この特許文献２では、スクリーン上におけるプロジェクタの投影領域をどのように小領域に分割するのかが提示されていない。このため、適切な幾何変数関数の精度を得るには、投影領域をどの程度、細分化すればよいかがわからず、この特許文献２では、如何に少ない演算量でより適切な幾何変数関数を得るという目的を達成するのは困難であると考えられる。

また、特許文献３は、その中に記載されているキャリブレーションパターン画像としてのマーカやグラデーションは、重なり領域のような特定の領域に注目したものではないため、重なり領域の画像のボケを解消することはできない。

本発明は、マルチプロジェクションシステムを構成する複数のプロジェクタのそれぞれの投影領域の重なり領域に関する幾何補正関数の精度を向上させることで高品質な大画面画像表示を可能とするマルチプロジェクションシステムのための画像補正方法、マルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムを提供することを目的としている。

（１）本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正方法であって、前記投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割し、前記第１の領域と前記第２の領域のそれぞれに対応した幾何補正関数を作成することを特徴としている。

このように、各プロジェクタの投影領域を重なり合っている蓋然性の高い領域（第１の領域）とそれ以外の領域（第２の領域）とで分けて考え、これら第１の領域と第２の領域のそれぞれに対応した幾何補正関数を作成するようにしているので、この幾何補正関数を用いて画像補正を行うことにより、幾何学的な整合性の取りにくい重なり領域において、より高精度に整合性をとることができ、重なり領域のボケを抑えることができる。
なお、本発明でいうプロジェクタ上の表示領域とはプロジェクタ座標系での表示領域であり、また、前記投影面上における各プロジェクタの投影領域とは投影面（スクリーン）座標系での投影領域を意味している。

（２）前記（１）に記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域における幾何補正関数の作成を、第２の領域における幾何補正関数の作成よりも高精度に行うことが好ましい。
これによって、重なり領域の幾何補正をより高精度に行うことができる。このため、重なり領域において、より高精度に整合性をとることができ、重なり領域のボケを抑える効果をより高めることができる。

（３）前記（１）または（２）記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域とそれ以外の第２の領域との分割は、前期プロジェクタの投影画像を、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる複数の特徴の前記各プロジェクタの投影領域における位置との間の幾何学的な対応付けを行って、その対応付けから前記投影面上における各プロジェクタの投影領域を求め、前記投影面上における各プロジェクタの投影領域に関する情報に基づいて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定し、推定された重なり領域に基づいて、各プロジェクタの投影領域を前記第１の領域と前記第２の領域に分割することが可能である。
これによれば、投影領域を特定に用いたデータに基づいて重なり領域を推定することができるので、重なり領域を推定するために他の特別な手段などを用意する必要がなく、容易に重なり領域を推定することができる。

（４）前記（１）または（２）記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域とそれ以外の第２の領域との分割は、前記複数のプロジェクタからパターン画像を同時に投影し、該パターン画像と該パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域の色調または輝度に基づいて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定し、この推定に基づいて、各プロジェクタの投影領域を前記第１の領域と前記第２の領域に分割することも可能である。
これによれば、色調や輝度の変化に基づいて重なり領域を推定することができるので、重なり領域の推定を確実に行うことができる。

（５）前記（３）または（４）記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域は、前記重なり領域であると推定された領域を取り囲むように設定されることが好ましい。
このように、第１の領域は、重なり領域であると推定された領域を取り囲むように設定されるので、重なり領域全体を包含した幾何補正関数を作成することができる。このように作成された幾何補正関数を用いることによって、重なり領域における幾何的な整合性をより高精度にとることができ、重なり領域のボケを抑える効果をより高めることができる。

（６）前記（３）または（４）記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域は、前記重なり領域であると推定された領域の大部分を含むように設定されることもまた好ましい。
この場合、重なり領域であると推定された領域の大部分を含むように第１の領域を設定すればよいので、その第１の領域は、重なり領域であると推定された領域全体をすべて包含させる必要ななく、たとえば、第１の領域から重なり領域が、多少、はみ出ることも許容される。したがって、第１の領域の設定精度はあまり要求されないので、第１の領域の設定を行うための計算量を少なくすることができる。

（７）前記（１）から（６）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域と前記第２の領域との分割を、各プロジェクタの表示領域または前記投影面上における各プロジェクタの投影領域で行うことが可能である。
これは、第１の領域と第２の領域との分割は、各プロジェクタの表示領域で行うことも可能であり、また、前記投影面上における各プロジェクタの投影領域においても可能であるということである。このように、各プロジェクタの表示領域または各プロジェクタの投影領域のいずれにおいて第１の領域と前記第２の領域に分割した場合であっても、前述の（１）と同様の効果を得ることができる。

（８）前記（１）から（７）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域の全領域について単一の幾何補正関数を作成することが可能である。
このように、第１の領域の全領域について単一の幾何補正関数を作成する場合は、計算量を少なくすることができる。

（９）前記（１）から（７）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域をさらに細分化して、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成することも可能である。
このように、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成する場合は、計算量は増えるが、重なり領域の状態により適合した高精度な幾何補正関数を作成することができる。それによって、重なり領域における幾何的な整合性をより高精度にとることができる。

（１０）前記（１）から（９）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第２の領域の全領域について単一の幾何補正関数を作成することが可能である。
これによれば、第２の領域の全領域について単一の幾何補正関数を作成する場合は、計算量を少なくすることができる。

（１１）前記（１）から（９）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第２の領域の全領域をさらに細分化して、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成することも可能である。
このように、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成する場合は、計算量は増えるが、第２の領域の状態により適合した高精度な幾何補正関数を作成することができる。

（１２）前記（１）から（１１）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域について幾何補正関数を作成するときには、前記第２の領域について幾何補正関数を作成するときよりも、細かな領域に分割して行うことが好ましい。
これは、第１の領域は第２の領域よりも、より高精度な幾何補正関数が要求されるからであり、第１の領域については第２の領域よりも、より細分化した上で幾何補正関数を作成することによって、重なり領域に、より適合した高精度な幾何補正関数を作成することができる。それによって、重なり領域における幾何的な整合性をより高精度にとることができる。

（１３）前記（１）から（１２）のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、前記幾何補正関数は、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる複数の特徴の前記各プロジェクタの投影領域における位置との幾何学的な対応関係、および幾何補正関数を用いて算出される残差の大きさに基づいて作成することが可能である。
これは、幾何補正関数が、たとえば、最小２乗法によって求められることを示すもので、これによって、幾何補正関数を適切に求めることができる。この場合、通常は残差の和が最小となるように幾何補正関数を求めるのが一般的であるが、残差の和は最小でなくその近傍であっても差し支えない場合もある。

（１４）本発明のマルチプロジェクションシステムのための画像補正装置は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正装置であって、前記投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割する機能と、前記第１の領域と前記第２の領域それぞれに対応した幾何補正関数を作成する機能と、前記幾何補正関数を用いて、各プロジェクタで投影すべき投影画像を補正する機能とを有することを特徴としている。

このマルチプロジェクションシステムのための画像補正装置も（１）に記載のマルチプロジェクションシステムのための画像補正方法と同様の効果を得ることができる。また、この（１４）に記載のマルチプロジェクションシステムのための画像補正装置においても、前記（２）から（１３）に記載のマルチプロジェクションシステムのための画像補正方法と同様の特徴を有することが好ましい。

（１５）本発明のマルチプロジェクションシステムは、複数のプロジェクタから投影される投影画像の一部に重なり領域を有した状態でタイリング表示する際に、前記複数のプロジェクタからの投影画像を前記投影面上で幾何学的整合性がとれるように補正可能な画像補正装置を有するマルチプロジェクションシステムであって、前記画像補正装置として、前記（１４）に記載のマルチプロジェクションシステムのための画像補正装置を有することを特徴としている。
このマルチプロジェクションシステムによれば、複数のプロジェクタからの投影画像の重なり領域での幾何学的な整合性を高精度に取ることができ、重なり領域でのボケが抑えられた高品質なタイリング投影が可能となる。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法について説明する。本発明のマルチプロジェクションシステムのための画像補正方法は、複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するための画像補正方法である。

そして、その幾何補正関数は、各プロジェクタ上の表示領域（パターン画像のプロジェクタ上の表示領域）内に存在する複数の特徴の位置座標と、スクリーン上における各プロジェクタの投影領域（スクリーンに投影されたパターン画像のスクリーン上における各プロジェクタの投影領域）内に存在する複数の特徴の位置座標との幾何的な対応関係および上述の幾何補正関数を用いて算出する残差の大きさに基づいて算出する。

また、本発明の実施形態においては、前述の幾何補正関数は、複数のプロジェクタにおける各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割し、これら第１の領域と前記第２の領域のそれぞれに対応した幾何補正関数を作成する。

ここで、前述したように、表示領域とは各プロジェクタの表示領域（各プロジェクタ上の座標系）を表し、投影領域とはスクリーン上に投影された各プロジェクタの投影領域（スクリーン上の座標系）を表している。たとえば、図１（Ａ）に示すように、２つのプロジェクタ（これをＰＪａ，ＰＪｂとする）を考えると、プロジェクタＰＪａのｕ_ａ・ｖ_ａ座標系における表示領域ａとプロジェクタＰＪｂのｕ_ｂ・ｖ_ｂ座標系における表示領域ｂをスクリーン上に投影したとき、スクリーンのＸ・Ｙ座標系におけるプロジェクタＰＪａ，ＰＪｂの投影領域ａ，ｂが図１（Ｂ）のようであったとする。

このときの各プロジェクタＰＪａ，ＰＪｂ上の各表示領域と各プロジェクタＰＪａ，ＰＪｂの各投影領域との幾何変換を表す座標変換式（幾何補正関数）は、
ｕ_ｎ＝ｆ_ｎ（Ｘ，Ｙ） （１）
ｖ_ｎ＝ｇ_ｎ（Ｘ，Ｙ） （２）
で表すことができる。なお、（１）および（２）式において、（ｕ_ｎ，ｖ_ｎ）は各プロジェクタ上の表示領域座標、（Ｘ，Ｙ）はスクリーン上の投影領域座標である。また、ｎはプロジェクタ番号であり、図１の場合は、プロジェクタＰＪａ，ＰＪｂであるので、ｎ＝ａ，ｂとする。

上述の(１)式および（２）式を求めるために、この実施形態で用いる幾何補正関数は、各プロジェクタの表示領域内に存在する複数の特徴の位置座標と、各プロジェクタの投影領域内に存在する複数の特徴の位置座標との幾何的な対応関係および幾何補正関数を用いて算出する残差の和（総和とする）が最小となるように算出する。なお、残差の総和が「最小」ではなくその近傍としても差し支えない場合もあるが、この実施形態では、残差の総和が「最小」となるように算出するものとする。すなわち、下記の（３）式に示す最小２乗法によって幾何補正関数を決定する。
この（３）式において、ｉは特徴点の番号、（ｕ_ｎｉ，ｖ_ｎｉ）はｉ番目の特徴点に関するあるプロジェクタ上の表示領域座標、（Ｘ_ｉ，Ｙ_ｉ）はｉ番目の特徴点に関するスクリーン上におけるプロジェクタの投影領域座標である。なお、（ｕ_ｎｉ，ｖ_ｎｉ）と（Ｘ_ｉ，Ｙ_ｉ）は幾何的な対応付けがなされている。

本発明の実施形態では、前述したように、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割し、これら第１の領域と第２の領域のそれぞれの領域に対応した幾何補正関数を作成する。

この実施形態では、複数のプロジェクタにおける各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域は、次の２つの方法によって設定する。この２つの方法の一方を「第１および第２の領域の設定方法（その１）」と呼び、他方を「第１および第２の領域の設定方法（その２）」と呼ぶことにする。

まず、「第１および第２の領域の設定方法（その１）」は、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている領域（重なり領域）を推定し（この重なり領域の推定については後に説明する）、その重なり領域であると推定された領域を取り囲む領域（以下では、これを「重なり領域を取り囲む領域」という）を第１の領域とし、それ以外を第２の領域とする。

この「第１および第２の領域の設定方法（その１）」によって設定される第１の領域、すなわち、「重なり領域を取り囲む領域」は、重なり領域を確実に包含可能で、かつ、重なり領域と推定された領域の輪郭から大きく外れることなく設定されることが好ましい。

また、「第１および第２の領域の設定方法（その２）」は、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている領域（重なり領域）を推定し、その重なり領域であると推定された領域の大部分を含む領域（以下では、これを「重なり領域の大部分を含む領域」という）を第１の領域とし、それ以外を第２の領域とする。

この「第１および第２の領域の設定方法（その２）」における第１の領域は、重なり領域であると推定された領域の大部分を含むように設定すればよいので、その第１の領域は、たとえば、重なり領域であると推定された領域全体を必ずしもすべて包含させる必要はなく、第１の領域から重なり領域が、多少、はみ出ることも許容される。したがって、この「第１および第２の領域の設定方法（その２）」における第１の領域は、それほど厳密に設定される必要はなく、その設定精度はあまり要求されない。

ここで、前述の第１の領域と第２の領域が「第１および第２の領域の設定方法（その１）」によって設定された場合、すなわち、重なり領域を取り囲む領域を第１の領域とし、それ以外を第２の領域として設定された場合の幾何補正関数の作成について説明する。

図２（Ａ）は、「第１および第２の領域の設定方法（その１）」によって、第１の領域と第２の領域が設定された場合の、ある２つのプロジェクタ（ＰＪａ，ＰＪｂとする）のそれぞれの投影領域ａ，ｂを示すもので、ここでは、プロジェクタＰＪａの投影領域ａに注目して考える。また、図２（Ｂ）は図２（Ａ）に対応するプロジェクタＰＪａの表示領域ａを示すものである。

この場合、第１の領域すなわち「重なり領域を取り囲む領域」は、図中の灰色で示した領域（第１の領域Ｚ_a←ｂという）であり、第２の領域は図中、白抜きで示した領域（第２の領域Ｚ_ａ←という）である。

このように、第１の領域Ｚ_a←ｂと第２の領域Ｚ_ａ←が設定されると、この第１の領域Ｚ_a←ｂと第２の領域Ｚ_ａ←のそれぞれの領域ごとに幾何補正関数を設定する。この場合、プロジェクタＰＪａの投影領域ａに注目して考えているので、「重なり領域を取り囲む領域」である第１の領域Ｚ_a←ｂに対しての幾何補正関数は、
ｕ_ａ＝ｆ_ａ←ｂ（Ｘ，Ｙ） （４）
ｖ_ａ＝ｇ_ａ←ｂ（Ｘ，Ｙ） （５）
と設定し、また、第１の領域以外の第２の領域に対する幾何補正関数は、
ｕ_ａ＝ｆ_ａ←（Ｘ，Ｙ） （６）
ｖ_ａ＝ｇ_ａ←（Ｘ，Ｙ） （７）
と設定するというように、第１の領域Ｚ_ａ←ｂと第２の領域Ｚ_ａ←のそれぞれに対応した幾何補正関数を設定する。なお、「ａ←ｂ」は投影領域ａに投影領域ｂが重なり合う重なり領域であることを示し、「ａ←」は投影領域ａにおいて重なり領域の無い領域であることを示している。

ところで、（４）式から（７）式の幾何補正関数は、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_ａ←全体でそれぞれ単一の幾何補正関数を作成するようにしてもよいが、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_ａ←をそれぞれ細分化し、それによって生成された領域（小領域という）ごとに幾何補正関数を作成することもできる。

図３（Ａ），（Ｂ）は、第１の領域Ｚ_a←ｂ全体で単一の幾何補正関数を作成する場合を説明する図であり、第１の領域Ｚ_a←ｂが図３（Ａ）に示すように設定されたとすると、図３（Ｂ）のように、第１の領域Ｚ_a←ｂ全体で単一の幾何補正関数（(４)式および（５）式参照）を作成する。

一方、図３（Ａ），（Ｃ）は、第１の領域Ｚ_a←ｂを細分化して得られた小領域ごとに幾何補正関数を作成する場合を説明する図であり、第１の領域Ｚ_a←ｂが、図３（Ａ）に示すように設定されたとすると、図３（Ｃ）のように、この第１の領域Ｚ_a←ｂを細分化して得られた小領域ごとに幾何補正関数を作成する。この小領域ごとの幾何補正関数は、小領域（図中、Ｚ_ｉで表す）を示す番号（小領域番号）をｉで表すと、
ｕ_ａ＝ｆ_ａ←ｂ（Ｘ，Ｙ）｜_ｉ （８）
ｖ_ａ＝ｇ_ａ←ｂ（Ｘ，Ｙ）｜_ｉ （９）
と表すことができる。なお、小領域番号ｉは正の整数で表され、その最大値は任意であるが、第１の領域Ｚ_a←ｂの広さ、さらには、計算負荷と精度の両方を考慮して決定するのが好ましい。この図３の例では、ｉ＝１，２，・・・，１０とした例が示されている。

また、図４（Ａ），（Ｂ）は、第２の領域Ｚ_ａ←全体で単一の幾何補正関数を作成する場合を説明する図であり、第２の領域Ｚ_ａ←が、図４（Ａ）に示すように設定されたとすると、図４（Ｂ）のように、この第２の領域Ｚ_ａ←全体で単一の幾何補正関数（(６)式および（７）式参照）を作成する。

一方、図４（Ａ），（Ｃ）は、第２の領域Ｚ_ａ←を細分化して得られた小領域ごとに幾何補正関数を作成する場合を説明する図であり、第２の領域Ｚ_ａ←が図４（Ａ）に示すように設定されたとすると、図４（Ｃ）のように、この第２の領域Ｚ_ａ←を細分化して得られた小領域ごとに幾何補正関数を作成する。この小領域ごとに幾何補正関数は、小領域Ｚ_ｉを示す番号（小領域番号）をｉで表すと、
ｕ_ａ＝ｆ_ａ←（Ｘ，Ｙ）｜_ｉ （１０）
ｖ_ａ＝ｇ_ａ←（Ｘ，Ｙ）｜_ｉ （１１）
と表すことができる。なお、前述したように、小領域番号ｉは正の整数で表され、この図４の例では、ｉ＝１，２，・・・，７とした例が示されている。

上述の図３（Ｂ）および図４（Ｂ）のように、第１の領域Ｚ_a←ｂ対応した幾何補正関数および第２の領域Ｚ_a←に対応した幾何補正関数を作成することによって、第１の領域および第２の領域にそれぞれ対応した幾何補正関数を得ることができる。したがって、これらの幾何補正関数は、それぞれの領域ごとに適切な幾何補正関数となる。

これによって、特に、重なり領域において高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を高精度にとることができるので、重なり領域において発生しやすいボケを抑制することができる。

また、図３（Ｃ）および図４（Ｃ）のように、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_a←をそれぞれ細分化したそれぞれの小領域ごとに幾何補正関数を求めることによって、第１の領域および第２の領域それぞれにおいて決め細かい幾何補正関数を得ることができる。それによって、特に、重なり領域においては、より高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を、より高精度にとることができる。また、第２の領域Ｚ_a←を細分化したそれぞれの小領域ごとに幾何補正関数を求めることによる効果は、プロジェクタの投影領域のエッジ部分においてより高精度な幾何補正が可能となることが一例として挙げられる。

なお、この図４（Ｃ）のように、第２の領域Ｚ_a←を細分化する場合には、その細分化の度合いは、第１の領域Ｚ_a←ｂを細分化する場合に比べて粗くしてもよい。これによって、計算量やメモリの使用量を削減することができる。

なお、「第１および第２の領域の設定方法（その１）」におけるこれまでの説明は、図２において、プロジェクタＰＪａの投影領域ａに注目した場合の説明であったが、プロジェクタＰＪｂの投影領域ｂに注目した場合であっても同様に考えることができる。

また、同様に、「第１および第２の領域の設定方法（その１）」におけるこれまでの説明では、「重なり領域を取り囲む領域」である第１の領域Ｚ_a←ｂと、それ以外の領域である第２の領域Ｚ_a←の設定を、プロジェクタの投影領域で行う場合について説明したが、これら第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_a←の設定は、プロジェクタ上の表示領域で行うことも可能である。

次に、前述した「第１および第２の領域の設定方法（その２）」、すなわち、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている領域（重なり領域）を推定し、重なり領域であると推定された領域の大部分を含む領域（「重なり領域の大部分を含む領域」）を第１の領域とし、それ以外を第２の領域として設定した場合について説明する。

図５（Ａ）は、「重なり領域の大部分を含む領域」を第１の領域とし、それ以外を第２の領域として設定した場合の、ある２つのプロジェクタ（ＰＪａ，ＰＪｂとする）のそれぞれの投影領域ａ，ｂを示すもので、ここでは、プロジェクタＰＪａの投影領域ａに注目して考える。また、図５（Ｂ）は図５（Ａ）に対応するプロジェクタＰＪａの表示領域ａを示すものである。

この場合、第１の領域、すなわち、「重なり領域の大部分を含む領域」は、図中の灰色で示した領域（第１の領域Ｚ_a←ｂという）であり、第２の領域は図中、白抜きで示した領域（第２の領域Ｚ_ａ←という）である。

このように、第１の領域Ｚ_a←ｂと第２の領域Ｚ_ａ←が設定されると、この第１の領域Ｚ_a←ｂと第２の領域Ｚ_ａ←のそれぞれの領域ごとに幾何補正関数を設定する。この場合、プロジェクタＰＪａの投影領域ａに注目して考えているので、「重なり領域の大部分を含む領域」である第１の領域Ｚ_a←ｂに対しての幾何補正関数は、前述の（４）式および（５）式のように設定し、また、第１の領域以外の第２の領域に対する幾何補正関数は、前述の（６）式および（７）式のように設定する。

この「第１および第２の領域の設定方法（その２）」、すなわち、「重なり領域の大部分を含む領域」を第１の領域とし、それ以外を第２の領域として設定する場合も、前述同様、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_ａ←全体でそれぞれ単一の幾何補正関数を作成するようにしてもよく、また、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_ａ←を細分化し、それによって生成された小領域ごとに幾何補正関数を作成することもできる。

図６（Ａ），（Ｂ）は、第１の領域Ｚ_a←ｂ全体で単一の幾何補正関数を作成する場合を説明する図であり、第１の領域Ｚ_a←ｂが、図６（Ａ）に示すように設定されたとすると、図６（Ｂ）のように、この第１の領域Ｚ_a←ｂ全体で単一の幾何補正関数（(４)式および（５）式参照）を作成する。

一方、図６（Ａ），（Ｃ）は、第１の領域Ｚ_a←ｂを細分化して得られた小領域ごとに幾何補正関数を作成する場合を説明する図であり、第１の領域Ｚ_a←ｂが、図６（Ａ）に示すように設定されたとすると、図６（Ｃ）のように、この第１の領域Ｚ_a←ｂを細分化して得られた小領域Ｚｉごとに幾何補正関数（(８)式および（９）式参照）を作成する。なお、前述同様、小領域番号ｉは正の整数で表され、この図６の例では、ｉ＝１，２，・・・，１０とした例が示されている。

また、図７（Ａ），（Ｂ）は、第２の領域Ｚ_ａ←全体で単一の幾何補正関数を作成する場合を説明する図であり、第２の領域Ｚ_ａ←が、図７（Ａ）に示すように設定されたとすると、図７（Ｂ）のように、この第２の領域Ｚ_ａ←全体で単一の幾何補正関数（(６)式および（７）式参照）を作成する。

一方、図７（Ａ），（Ｃ）は、第２の領域Ｚ_ａ←を細分化して得られた小領域ごとに幾何補正関数を作成する場合を説明する図であり、第２の領域Ｚ_ａ←が図７（Ａ）に示すように設定されたとすると、図７（Ｃ）のように、この第２の領域Ｚ_ａ←を細分化して得られた小領域ごとに幾何補正関数（(１０)式および（１１）式参照）を作成する。なお、この図６の例では、小領域番号ｉ＝１，２，・・・，５とした例が示されている。

以上説明したように、「重なり領域の大部分を含む領域」を第１の領域とし、それ以外を第２の領域として設定した場合も、図６（Ｂ）および図７（Ｂ）のように、第１の領域Ｚ_a←ｂ対応した幾何補正関数および第２の領域Ｚ_a←に対応した幾何補正関数を作成することによって、第１の領域および第２の領域のそれぞれに対応した幾何補正関数を得ることができる。したがって、これらの幾何補正関数は、それぞれの領域ごとに適切な幾何補正関数となる。
これによって、特に、重なり領域において高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を高精度にとることができるので、重なり領域において発生しやすいボケを抑制することができる。

また、図６（Ｃ）および図７（Ｃ）のように、第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_a←を細分化してそれぞれの小領域ごとに幾何補正関数を求めることによって、第１の領域および第２の領域それぞれにおいて決め細かい幾何補正関数を得ることができる。それによって、特に、重なり領域においては、より高精度な幾何補正が可能となり、重なり領域の幾何的な整合性を、より高精度にとることができる。また、第２の領域Ｚ_a←を細分化してそれぞれの小領域ごとに幾何補正関数を求めることによる効果は、プロジェクタの投影領域のエッジ部分においてより高精度な幾何補正が可能となることが一例として挙げられる。

なお、この図７（Ｃ）のように、第２の領域Ｚ_a←を細分化する場合には、その細分化の度合いは、第１の領域Ｚ_a←ｂを細分化する場合に比べて粗くしてもよい。これによって、計算量やメモリの使用量を削減することができる。

以上、図５から図７で説明した「第１および第２の領域の設定方法（その２）」は、プロジェクタＰＪａの投影領域ａに注目した場合の説明であったが、プロジェクタＰＪｂの投影領域ｂに注目した場合であっても同様に考えることができる。

また、同様に、「第１および第２の領域の設定方法（その２）」のこれまでの説明では、「重なり領域の大部分を含む領域」である第１の領域Ｚ_a←ｂと、それ以外の領域である第２の領域Ｚ_a←の設定を、各プロジェクタの投影領域で行う場合について説明したが、これら第１の領域Ｚ_a←ｂおよび第２の領域Ｚ_a←の設定は、各プロジェクタ上の表示領域で行うことも可能である。

ところで、これまで説明した「第１および第２の領域の設定方法（その１）」と、「第１および第２の領域の設定方法（その２）」においては、それぞれ重なり領域を推定し、重なり領域であると推定された領域に基づいて「重なり領域を取り囲む領域」と「重なり領域の大部分を含む領域」を設定するようにしている。これを実現するには、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定する必要がある。この重なり領域の推定方法について、ここでは、２つの方法（この２つの方法を「第１の重なり領域推定方法」、「第２の重なり領域推定方法」という）を例にとって説明する。

まず、「第１の重なり領域推定方法」は、パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置と、該パターン画像がスクリーンに投影されたときのスクリーン上のパターン画像（スクリーンにおけるプロジェクタの投影領域）の位置との幾何学的な対応付け行い、その対応付けから前記投影面上における各プロジェクタの投影領域を算出し、その投影領域に関する情報を用いて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定する方法である。

この「第１の重なり領域推定方法」について図８を参照しながら説明する。この図８において、点Ａの座標を（１，１）、点Ｂの座標を（５，０）、点Ｃの座標を（４，４）、点Ｄの座標を（２，５）、点Ｐの座標を（３，３）、点Ｑの座標を（５，３）とする。なお、投影領域のＸ・Ｙ座標の原点をＯとする。

手順１：特定された投影領域の辺ベクトルを半時計回りに定義して、ベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡを求めると、これらベクトルＡＢ、ベクトルＢＣ、ベクトルＣＤ、ベクトルＤＡは、
と求められる。

手順２：辺ベクトルと辺ベクトルの始点から注目する位置座標へ伸びるベクトルとの外積を計算する。これを投影領域の辺ベクトルすべてについて行う。

［注目する位置座標が点Ｐの場合］
と求められる。

［注目する位置座標が点Ｑの場合］
と求められる。

手順３：手順２で計算した外積の値、すなわち、（１３）式および（１４）式で求められた外積の値がすべて正である場合、注目する位置はこの辺ベクトルによって構成される投影領域の内部に存在すると判定する。

これにより、（１３）式においては、辺ベクトルと辺ベクトルの始点から点Ｐへ伸びるベクトルとの外積がすべて正であることより、点Ｐは領域内部の点であると判定される。一方、（１４）式においては、辺ベクトルと辺ベクトルの始点から点Ｑへ伸びるベクトルとの外積で正でないものが存在することより、点Ｑは領域外部の点であると判定される。

手順１〜手順３を各プロジェクタの投影領域すべてに関して行うことで、注目する位置座標がどのプロジェクタの投影領域に含まれるのかを算出することができ、その情報を用いることによって重なり領域を推定することができる。

一方、「第２の重なり領域推定方法」は、複数のプロジェクタからパターン画像を同時に投影し、該パターン画像と該パターン画像が前記投影面に投影されたときの投影面上のパターン画像を撮影して得られたパターン撮影画像の色調または輝度に基づいて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定する方法である。

この「第２の重なり領域推定方法」の大まかな処理手順は、算出された投影領域、投影すべきパターン画像、スクリーン上に投影されたパターン画像を撮影して得られたパターン撮影画像を取得し、これら取得した投影領域、パターン画像、パターン撮影画像を用い、パターン画像とパターン撮影画像の色調や輝度に基づいて、重なり領域の推定を行うものである。

この「第２の重なり領域推定方法」について、図９および図１０を参照しながら説明する。

図９は重なり領域を色調に基づいて推定する場合を説明する図であり、異なる色の重なりによる色調の変化を利用して、重なり領域を推定する方法である。たとえば、パターン画像として、赤、青、緑のパターン画像をそれぞれ対応するプロジェクタＰＪａ，ＰＪｂ，ＰＪｃからスクリーン上に投影し、スクリーン上に投影された赤、青、緑のパターン画像を撮影して得られたパターン撮影画像から、各プロジェクタＰＪａ，ＰＪｂ，ＰＪｃの投影領域ａ，ｂ，ｃにおいて他のプロジェクタの投影領域が重なり合う重なり領域を推定する。すなわち、異なる色の重なり合いによる色調の変化を利用して重なり領域を推定する。

この例では、加法混色法に基づいて重なり領域を推定する。すなわち、プロジェクタＰＪａの投影領域ａとプロジェクタＰＪｂの投影領域ｂの重なり領域では、プロジェクタＰＪａから投影される赤とプロジェクタＰＪｂから投影される青が重なり合って、赤＋青＝マゼンダとなる。同様に、プロジェクタＰＪａの投影領域ａとプロジェクタＰＪｃの投影領域ｃの重なり領域では、赤＋緑＝黄となり、同様に、プロジェクタＰＪｂの投影領域ｂとプロジェクタＰＪｃの投影領域ｃの重なり領域では、青＋緑＝シアンとなる。さらに、投影領域ａ，ｂ，ｃがすべて重なり合う重なり領域では、赤＋青＋緑＝白となる。
このように、異なる色の重なり合いによる色調の変化を利用して重なり領域を推定することができる。

図１０は重なり領域を輝度に基づいて推定する場合を説明する図であり、異なる色または同じ色の重なりによる輝度の変化を利用して重なり領域を推定する方法である。たとえば、パターン画像として、ある色（輝度は同じあっても、また、異なっていてもよい）をそれぞれ対応するプロジェクタＰＪａ，ＰＪｂ，ＰＪｃからスクリーン上に投影し、スクリーン上に投影されたパターン画像を撮影して得られたパターン撮影画像から、各プロジェクタＰＪａ，ＰＪｂ，ＰＪｃの投影領域ａ，ｂ，ｃにおいて他のプロジェクタの投影領域が重なり合う重なり領域を推定する。すなわち、投影領域の重なり合いによる輝度の変化を利用して重なり領域を推定する。

この図１０において、プロジェクタＰＪａの投影領域ａに注目すると、プロジェクタＰＪａの投影領域ａにプロジェクタＰＪｂの投影領域ｂが重なり合う重なり領域Ｚ_a←ｂ、プロジェクタＰＪａの投影領域ａにプロジェクタＰＪｃの投影領域ｃが重なり合う重なり領域Ｚ_a←ｃ、すべての投影領域ａ，ｂ，ｃが重なり合う重なり領域Ｚ_a←ｂｃ、では、それぞれ輝度に差（重なり領域では重ならない領域よりも輝度が高くなる）が生じる。この輝度の差を利用して重なり領域を推定することができる。

このように、図９および図１０で説明したような方法によって、重なり領域を推定することができ、重なり領域が推定されれば、その推定された重なり領域に基づいて各プロジェクタにおいて、前述した第１の領域と第２の領域に分割することができる。

以上、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法について説明したが、この画像補正方法を実現するに必要なマルチプロジェクションシステムのための画像補正装置およびこの画像補正装置を備えたマルチプロジェクションシステムについて説明する。

図１１は本発明のマルチプロジェクションシステムの実施形態を説明する構成図であり、その構成を大きく分けると、割り当てられた画像をスクリーンＳＣＲに投影する複数のプロジェクタ（ここでは４台としている）ＰＪａ〜ＰＪｄ、スクリーンＳＣＲを撮影可能な撮像手段としてのカメラ１、前述の図１から図１０を参照して説明したマルチプロジェクションシステムのための画像補正方法を実現するための画像補正装置２（詳細は後述する）を有している。この画像補正装置２は、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正装置としての機能を有するものである。なお、プロジェクタは、この図１１の例では４台としているが４台に限られるものではない。

また、この実施形態で必要とする主なデータとしては、プロジェクタＰＪａ〜ＰＪｄから投影される投影画像データＤ１、投影画像データＤ１と各プロジェクタの投影領域との幾何学的な対応付けを行うために用いられるパターン画像データＤ２、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲ上に投影されたパターン画像をカメラ１で撮影して得られたパターン撮影画像データＤ３、各プロジェクタＰＪａ〜ＰＪｄ上の表示領域と各プロジェクタＰＪａ〜ＰＪｄの投影領域との幾何変換関係を与える関数である幾何補正関数Ｄ４がある。

なお、投影画像データＤ１、パターン画像データＤ２、パターン撮影画像データＤ３は、単に、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３と呼ぶことにする。また、本発明の実施形態に係るマルチプロジェクションシステムのための画像補正装置およびマルチプロジェクションシステムを説明するための図面（図１１から図２４）中においても、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３と表記することにする。

画像補正装置２は、その詳細な機能については後に説明するが、概略的な機能としては、パターン画像Ｄ２とカメラ１によって撮影された各プロジェクタＰＪａ〜ＰＪｄ対応のパターン撮影画像Ｄ３とからスクリーンＳＣＲ上の各プロジェクタ対応の投影領域内に画像を幾何学的に矛盾なく投影するための幾何補正関数を算出する機能と、その幾何補正関数を用いて投影画像の画像処理を行い、各のプロジェクタＰＪａ〜ＰＪｄへ幾何補正済みの投影画像（補正済み投影画像）を送る機能を有している。
図１２は図１１で示した画像補正装置２について詳細に説明するものである。なお、この図１２において、画像補正装置２以外の構成要素として、図１１で説明したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３なども示されている。なお、これら図１１で示したプロジェクタＰＪａ〜ＰＪｄ、カメラ１、投影画像Ｄ１、パターン画像Ｄ２、パターン撮影画像Ｄ３は、この図１２においては破線で示されている。

図１２により画像補正装置２の構成について説明する。この画像補正装置２は、パターン画像投影装置２１、スクリーン撮影装置２２、投影領域算出装置２３、重なり領域算出装置２４、幾何補正関数設定領域算出装置２５、幾何補正関数算出装置２６、画像処理装置２７、画像投影装置２８を有している。

また、この画像補正装置２で生成されるデータとしては、投影領域算出装置２３によって生成される各プロジェクタの投影領域データＤ５および特徴点データＤ６、重なり領域算出装置２４によって生成される重なり領域データＤ７、幾何補正関数設定領域算出装置２５によって生成される幾何補正関数設定領域データＤ８、幾何補正関数算出装置２６によって生成される幾何補正関数Ｄ４、画像処理装置２７によって生成される補正済み投影画像データＤ９などがある。

なお、投影領域データＤ５、特徴点データＤ６、重なり領域データＤ７、幾何補正関数設定領域データＤ８、補正済み投影画像データＤ９は、単に、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、幾何補正関数設定領域Ｄ８、補正済み投影画像Ｄ９と呼ぶことにする。また、前述同様、本発明の実施形態を説明するための図面（図１１から図２４）中においても、投影領域Ｄ５、特徴点Ｄ６、重なり領域Ｄ７、幾何補正関数設定領域Ｄ８、補正済み投影画像Ｄ９と表記する。

パターン画像投影装置２１は、各プロジェクタＰＪａ〜ＰＪｄにパターン画像Ｄ２を入力し、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲ上にパターン画像を投影する機能を有する。
スクリーン撮影装置２２は、各プロジェクタＰＪａ〜ＰＪｄからスクリーンＳＣＲに投影されたパターン画像Ｄ２をカメラ１で撮影し、パターン撮影画像Ｄ３を生成する機能を有する。

投影領域算出装置２３は、各プロジェクタＰＪａ〜ＰＪｄに対応するパターン画像Ｄ２およびそのパターン画像Ｄ２を撮影して得られたパターン撮影画像Ｄ３から、それぞれ特徴点を抽出し、それを特徴点Ｄ６として保存し、保存した特徴点Ｄ６を用いて、パターン画像Ｄ２およびパターン撮影画像Ｄ３の特徴点の対応付けを行い、その特徴点の対応関係から各プロジェクタＰＪａ〜ＰＪｄに対応する投影領域を算出する機能を有する。

重なり領域算出装置２４は、各プロジェクタＰＪａ〜ＰＪｄの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を算出する機能を有する。
なお、この重なり領域算出装置２４による重なり領域の算出方法は、図８を用いて説明した「第１の重なり領域推定方法」によって算出する方法、また、図９および図１０を用いて説明した「第２の重なり領域推定方法」によって算出する方法などが考えられる。

幾何補正関数設定領域算出装置２５は、投影領域算出装置２３で算出された各プロジェクタの投影領域Ｄ５と、重なり領域算出装置で算出された重なり領域Ｄ７とに基づいて、幾何補正関数を設定する領域（幾何補正関数設定領域Ｄ８）を算出する。
なお、この幾何補正関数設定領域Ｄ８というのは、前述した第１の領域（重なり領域を取り囲む領域または重なり領域の大部分を含む領域）、第２の領域（重なり領域を取り囲む領域以外の領域または重なり領域の大部分を含む領域以外の領域）であり、さらに、第１の領域を細分化する場合は、細分化されて得られたそれぞれ小領域、第２の領域を細分化する場合は、細分化されて得られたそれぞれの小領域である（図２から図７参照）。

幾何補正関数算出装置２６は、投影領域算出装置２３によって算出された特徴点Ｄ６と、幾何補正関数設定領域算出装置２５で算出された幾何補正関数設定領域Ｄ８とに基づいて、幾何補正関数設定領域Ｄ８（第１の領域、第２の領域、さらに、これら第１の領域と第２の領域をそれぞれ細分化して得られた小領域）ごとに、幾何補正関数に関する最小２乗法を構成して、それを演算することにより、各プロジェクタにおいて、幾何補正関数設定領域Ｄ８ごと（第１の領域および第２の領域ごと、さらに、これら第１の領域と第２の領域をそれぞれ細分化する場合はそれぞれの小領域ごと）の幾何補正関数Ｄ４を算出する機能を有する。

画像処理装置２７は、本発明のマルチプロジェクションシステムで複数のプロジェクタＰＪａ〜ＰＪｄで投影画像Ｄ１を投影する際に、それぞれの投影画像Ｄ１が幾何学的に矛盾無く投影されるように、それぞれの投影画像Ｄ１に対し、幾何補正関数算出装置２６で算出された幾何補正関数Ｄ４を用いて幾何補正する機能と、それに加えて、その他の画像処理（輝度補正や色補正など）を行い、補正済み投影画像Ｄ９を生成する機能を有する。

図１３はパターン画像投影装置２１の動作を説明するフローチャートである。このパターン画像投影装置２１は、スクリーン撮影装置２２と連携して動作するものである。

図１３において、まず、パターン画像Ｄ２を取得し(ステップＳ１)、取得したパターン画像Ｄ２を、あるプロジェクタで投影する（ステップＳ２）。これによって、該プロジェクタは自身の処理（投影処理など）に入る（ステップＳ３）。

次に、パターン画像投影装置２１は、スクリーン撮影装置２２に対してスクリーン上に投影されたパターン画像Ｄ２の撮影を指示する（ステップＳ４）。これによって、スクリーン撮影装置２２は自身の処理（パターン画像Ｄ２の撮影処理など）に入る（ステップＳ５）。そして、パターン画像Ｄ２の撮影が完了したか否かを判断し（ステップＳ６）、パターン画像Ｄ２の撮影が完了すると、すべてのプロジェクタでパターン画像を投影したかを判断し（ステップＳ７）、すべてのプロジェクタがパターン画像を投影し終われば処理を終了する。

図１４はスクリーン撮影装置２２の動作を説明するフローチャートである。このスクリーン撮影装置２２は、パターン画像投影装置２１と連携して動作するものである。すなわち、この図１４は図１３のステップＳ５の処理内容を説明するもので、その動作手順について説明する。

まず、パターン画像Ｄ２の撮影指示待ちの状態において、パターン画像投影装置２１の処理（ステップＳ１０）の過程でパターン画像Ｄ２の撮影指示（図１３のステップＳ４）が出されると、そのパターン画像Ｄ２の撮影指示を受信し（ステップＳ１１，Ｓ１２）、パターン画像Ｄ２の撮影を行う（ステップＳ１３）。これにより、カメラ１の処理（撮影処理）に入る（ステップＳ１４）。そして、撮影されたパターン画像がパターン撮影画像Ｄ３として保存され（ステップＳ１５）、パターン画像投影装置２１に対してパターン画像Ｄ２の撮影の完了を送信する（ステップＳ１６）。なお、パターン画像投影装置２１は自身の処理が終了していなければその処理を行う（ステップＳ１７）。

図１５は投影領域算出装置２３の動作を説明するフローチャートである。まず、パターン画像Ｄ２を取得し（ステップＳ２１）、取得したパターン画像Ｄ２から特徴点を抽出して（ステップＳ２２）、それを特徴点Ｄ６として保存する。次に、パターン撮像画像Ｄ３を取得し（ステップＳ２３）、取得したパターン撮像画像Ｄ３から特徴点を抽出して（ステップＳ２４）、それを特徴点Ｄ６として保存する。そして、パターン画像Ｄ２の特徴点とパターン撮像画像Ｄ３の特徴点との対応付けを行い（ステップＳ２５）、投影領域の算出を行い（ステップＳ２６)、それを投影領域Ｄ５として保存する。

ここで、投影領域算出装置２３で抽出されるパターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点について説明する。
図１６（Ａ）の（ｉ）および（ｉｉ）はパターン画像Ｄ２の例を示す図、同図（Ｂ）の（ｉ）および（ｉｉ）はそのパターン画像Ｄ２をスクリーンＳＣＲに投影したものをカメラ１で撮影して得られたパターン撮影画像Ｄ３である。

このようなパターン画像Ｄ２の特徴点としては、たとえば、輝度差・色差によるエッジやそのエッジの交点（コーナ）、輝度情報・色情報のピーク値、幾何的に分布した輝度情報・色情報の重心などを用いることができる。

そして、パターン画像Ｄ２における既知の輝度情報、既知の色情報、既知の輝度情報や既知の色情報を用いて生成される幾何学形状情報からパターン画像の特徴点を算出する（実際には、予め特徴点を決定し、その特徴点を色情報、輝度情報、色情報や輝度情報を用いて生成する幾何学形状で表現したものをパターン画像Ｄ２とする）。

一方、パターン撮影画像Ｄ３の輝度情報、色情報、輝度情報や色情報を用いて生成される幾何学形状情報からパターン撮影画像Ｄ３の特徴点座標を決定する。
パターン画像Ｄ２の特徴点とパターン撮影画像Ｄ３の特徴点の対応付けは、パターン画像Ｄ２の色情報（色による対応付け）、輝度情報（明るさによる対応付け）、幾何学的情報（たとえば，四角形、三角形等による対応付け、特徴点の位置関係による対応付け）、時間情報（パターン画像の投影を時系列情報で管理できる場合）を拘束条件とする方法や投影モデル仮定し（たとえば、射影変換、有理多項式変換）それを拘束条件とする方法を利用する。

本実施例の場合、「特徴点Ｄ６」と呼んでいる情報からは、幾何的な対応付けがなされているパターン画像Ｄ２の特徴点座標およびパターン撮影画像Ｄ３の特徴点座標を知ることができるものとする。これは、たとえば、図１７において、あるプロジェクタのパターン画像Ｄ２の特徴点Ｐａと該プロジェクタのパターン撮影画像Ｄ３の特徴点Ｐａ’が対応関係にあり、特徴点Ｐａの座標値と特徴点Ｐａ’の座標値を知ることができるということである。

一方、投影領域は、パターン画像Ｄ２の特徴点およびパターン撮影画像Ｄ３の特徴点とその幾何的な対応関係、そして適切な投影モデル（たとえば、平面スクリーンであれば射影変換、連続な非平面スクリーンであれば有利多項式変換）から算出する。

本実施例の場合、「投影領域Ｄ５」と呼んでいる情報からは、各プロジェクタ上の表示領域とスクリーン上における各プロジェクタの投影領域の対応付けを知ることができるものとする。これは、たとえば、図１７において、あるプロジェクタの表示領域ａは、スクリーン上における該プロジェクタの投影領域ａに対応する。

図１８は重なり領域算出装置２４の動作を説明するフローチャートである。図１８において、まず、各プロジェクタの投影領域Ｄ５を取得する（ステップＳ３１，Ｓ３２）。そして、取得した投影領域Ｄ５のうち、処理対象としている投影領域を取得し（ステップＳ３３）、取得した投影領域において重なり領域を算出し（ステップＳ３４）、それを重なり領域Ｄ７として保存する。

この実施形態の場合、「重なり領域Ｄ７」と呼んでいる情報からは、スクリーン上の投影領域の任意座標がどのプロジェクタの表示領域に含まれるのかを知ることができるものとする。

なお、この重なり領域算出装置２４が行う重なり領域の算出処理は、前述したように、「第１の重なり領域推定方法」または「第２の重なり領域推定方法」の２つの方法のいずれか（または両者を組み合わせてもよい）による重なり領域の推定を行い、その推定結果から重なり領域Ｄ７を得ることが可能である。

「第１の重なり領域推定方法」については、図８を用いて説明したので、ここではその説明は省略する。また、「第２の重なり領域推定方法」についても、図９または図１０を用いて説明したので、ここではその説明は省略する。なお、「第２の重なり領域推定方法」についての処理手順としては、図１９に示すように、投影領域Ｄ５、パターン画像Ｄ２、パターン撮影画像Ｄ３をそれぞれ取得し（ステップＳ４１〜Ｓ４３）、これらのデータを用いて図９または図１０で説明したような処理を行うことによって、重なり領域Ｄ７を推定し、その推定結果を用いて重なり領域Ｄ７を得る（ステップＳ４４）。

図２０および図２１は、幾何補正関数設定領域算出装置２５の動作を説明するフローチャートである。図２０は「第１および第２の領域の設定方法（その１）」、すなわち、重なり領域を取り囲む領域を第１の領域とし、それ以外の領域を第２の領域とする場合の処理手順、図２１は「第１および第２の領域の設定方法（その２）」、すなわち、重なり領域の大部分を含む領域を第１の領域とし、それ以外の領域を第２の領域とする場合の処理手順をそれぞれ説明するものである。

図２０において、まず、投影領域Ｄ５と重なり領域Ｄ７を取得する（ステップＳ５１，Ｓ５２）。そして、これら取得した投影領域Ｄ５と重なり領域Ｄ７から重なり領域を取り囲む領域を算出するとともに、重なり領域を取り囲む領域以外の領域を算出する（ステップＳ５３，Ｓ５４）。

そして、ステップＳ５３で算出された重なり領域を取り囲む領域を第１の領域として、それを幾何補正関数設定領域として設定、または、その第１の領域を細分化した小領域を幾何補正関数設定領域として設定する（ステップＳ５５）。また、ステップＳ５４で算出された重なり領域を取り囲む領域以外の領域を第２の領域として、それを幾何補正関数設定領域として設定、または、その第２の領域を細分化した小領域を幾何補正関数設定領域として設定する（ステップＳ５６）。

一方、図２１においては、まず、投影領域Ｄ５と重なり領域Ｄ７を取得する（ステップＳ６１，Ｓ６２）。そして、これら取得した投影領域Ｄ５と重なり領域Ｄ７から重なり領域の大部分を含む領域を算出するとともに、重なり領域の大部分を含む領域以外の領域を算出する（ステップＳ６３，Ｓ６４）。

そして、ステップＳ６３で算出された重なり領域の大部分を含む領域を第１の領域として、それを幾何補正関数設定領域として設定、または、その第１の領域を細分化した小領域を幾何補正関数設定領域として設定する（ステップＳ６５）。また、ステップＳ６４で算出された重なり領域の大部分を含む領域以外の領域を第２の領域として、それを幾何補正関数設定領域として設定、または、その第２の領域を細分化した小領域を幾何補正関数設定領域として設定する（ステップＳ６６）。

図２２は幾何補正関数算出装置２６の動作を説明するフローチャートである。この図２２において、幾何補正関数設定領域Ｄ８、特徴点Ｄ６をそれぞれ取得する（ステップＳ７１，Ｓ７２）。次に、最小２乗法を生成し（ステップＳ７３）、生成された最小２乗法から幾何補正関数を算出し（ステップＳ７４）、それを幾何補正関数Ｄ４として保存する。そして、各プロジェクタにおける幾何補正関数設定領域の幾何補正関数Ｄ４をすべて算出したか否かを判断し（ステップＳ７５）、各プロジェクタにおける幾何補正関数設定領域の幾何補正関数Ｄ４をすべて算出すれば処理を終了する。

図２３は画像処理装置２７の動作を説明するフローチャートである。図２３において、まず、投影画像Ｄ１、幾何補正関数Ｄ４をそれぞれ取得し（ステップＳ８１，Ｓ８２）、投影画像Ｄ１に対して、幾何補正関数Ｄ４を用いた幾何補正を行う（ステップＳ８３）。そして、投影画像Ｄ１に対する幾何補正以外の画像処理として、たとえば、輝度補正や色補正を行い（ステップＳ８４，Ｓ８５）、幾何補正、輝度補正、色補正などの画像処理が終了したものを補正済み投影画像Ｄ９として保存する。そして、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成したかを判断し(ステップＳ８６)、すべてのプロジェクタについて補正済み投影画像Ｄ９を生成されれば処理を終了する。

図２４は画像処理装置２７における画像処理の一例を示すもので、投影画像Ｄ１に対して図２３で示したような手順による画像処理を行うことによって、それぞれのプロジェクタに対する補正済み投影画像が生成される。そして、これらの補正済み投影画像がそれぞれ対応するプロジェクタから投影され、スクリーン上で隣接する投影画像同士が重なり領域を有した状態でタイリングされることによって、スクリーン上での投影画像は、幾何学的に矛盾なく整合性の取れた大画面画像となる。

なお、本発明は上述の実施の形態に限られるものではなく、本発明の要旨を逸脱しない範囲で種々変形実施可能となるものである。また、本発明は以上説明した本発明を実現するための処理手順が記述された処理プログラムを作成し、その処理プログラムをフロッピィディスク、光ディスク、ハードディスクなどの記録媒体に記録させておくこともできる。したがって、本発明は、その処理プログラムの記録された記録媒体をも含むものである。また、ネットワークからその処理プログラムを得るようにしてもよい。

本発明の実施形態に係るマルチプロジェクションシステムのための画像補正方法を説明するためにプロジェクタ上の表示領域とスクリーン上におけるプロジェクタの投影領域について説明する図。 本発明の実施形態で用いる「第１および第２の領域の設定方法（その１）」について説明する図。 「第１および第２の領域の設定方法（その１）」で設定された第１の領域全体で単一の幾何補正関数を設定する例と、第１の領域を細分化した小領域ごとに幾何補正関数を設定する例を説明するための図。 第１および第２の領域の設定方法（その１）」で設定された第２の領域全体で単一の幾何補正関数を設定する例と、第２の領域を細分化した小領域ごとに幾何補正関数を設定する例を説明するための図。 本発明の実施形態で用いる「第１および第２の領域の設定方法（その２）」について説明する図。 「第１および第２の領域の設定方法（その２）」で設定された第１の領域全体で単一の幾何補正関数を設定する例と、第１の領域を細分化した小領域ごとに幾何補正関数を設定する例を説明するための図。 第１および第２の領域の設定方法（その２）」で設定された第２の領域全体で単一の幾何補正関数を設定する例と、第２の領域を細分化した小領域ごとに幾何補正関数を設定する例を説明するための図。 重なり領域を推定する方法の一例（投影領域に基づいて推定する方法）について説明するための図。 重なり領域を推定する方法の他の例（色調の変化に基づいて推定する方法）ついて説明するための図。 重なり領域を推定する方法の他の例（輝度の変化に基づいて推定する方法）ついて説明するための図。 本発明の実施形態に係るマルチプロジェクションシステムの構成を説明する図。 図１１における画像補正装置とそれに関係する構成要素およびデータについて説明する図。 図１２で示したパターン画像投影装置の動作を説明するフローチャート。 図１２で示したスクリーン撮影装置の動作を説明するフローチャート。 図１２で示した投影領域算出装置の動作を説明するフローチャート。 実施形態で用いるパターン画像の例を説明する図。 あるプロジェクタのパターン画像のある点Ｐａと該プロジェクタのパターン撮影画像の点Ｐａ’との対応関係について説明する図。 図１２で示した重なり領域算出装置の動作（投影領域に基づいて重なり領域を推定する場合の動作）を説明するフローチャート。 図１２で示した重なり領域算出装置の動作（色調や輝度の変化に基づいて重なり領域を推定する場合の動作）を説明するフローチャート。 図１２で示した幾何補正関数設定領域算出装置の動作（「第１および第２の領域の設定方法（その１）」に対応する動作）を説明するフローチャート。 図１２で示した幾何補正関数設定領域算出装置の動作（「第１および第２の領域の設定方法（その２）」に対応する動作）を説明するフローチャート。 図１２で示した幾何補正関数算出装置の動作を説明するフローチャート。 図１２で示した画像処理装置の動作を説明するフローチャート。 画像処理装置における画像処理の一例を示す図。

符号の説明

１ カメラ、２ 画像補正装置、２１ パターン画像投影装置、２２ スクリーン撮影装置、２３ 投影領域算出装置、２４ 重なり領域算出装置、２５ 幾何補正関数設定領域算出装置、２６ 幾何補正関数算出装置、２７ 画像処理装置、２８ 画像投影装置、ＰＪａ〜ＰＪｄ プロジェクタ、ＳＣＲ スクリーン

Claims (15)

1. 複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正方法であって、
   前記投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割し、
   前記第１の領域と前記第２の領域のそれぞれに対応した幾何補正関数を作成することを特徴とするマルチプロジェクションシステムのための画像補正方法。
2. 請求項１に記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域における幾何補正関数の作成を、第２の領域における幾何補正関数の作成よりも高精度に行うことを特徴とするマルチプロジェクションシステムのための画像補正方法。
3. 請求項１または２記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域とそれ以外の第２の領域との分割は、前記各プロジェクタの投影領域を、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる複数の特徴の前記各プロジェクタの投影領域における位置との間の幾何学的な対応付けを行って、その対応付けから前記投影面上における各プロジェクタの投影領域を求め、
   前記投影面上における各プロジェクタの投影領域に関する情報に基づいて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定し、
   推定された重なり領域に基づいて、各プロジェクタの投影領域を前記第１の領域と前記第２の領域に分割することを特徴とするマルチプロジェクションシステムのための画像補正方法。
4. 請求項１または２記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域とそれ以外の第２の領域との分割は、前記複数のプロジェクタからパターン画像を同時に投影し、該パターン画像と該パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域の色調または輝度に基づいて、各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合う重なり領域を推定し、
   推定された重なり領域に基づいて、各プロジェクタの投影領域を前記第１の領域と前記第２の領域に分割することを特徴とするマルチプロジェクションシステムのための画像補正方法。
5. 請求項３または４記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域は、前記重なり領域であると推定された領域を取り囲むように設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
6. 請求項３から４記載のマルチプロジェクションシステムのための画像補正方法において、前記第１の領域は、前記重なり領域であると推定された領域の大部分を含むように設定されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
7. 請求項１から６のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域と前記第２の領域との分割を、各プロジェクタの表示領域または前記
   投影面上における各プロジェクタの投影領域で行うことを特徴とするマルチプロジェクションシステムのための画像補正方法。
8. 請求項１から７のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域の全領域について単一の幾何補正関数を作成することを特徴とするマルチプロジェクションシステムのための画像補正方法。
9. 請求項１から７のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
   前記第１の領域をさらに細分化して、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成することを特徴とするマルチプロジェクションシステムのための画像補正方法。
10. 請求項１から９のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
    前記第２の領域の全領域について単一の幾何補正関数を作成することを特徴とするマルチプロジェクションシステムのための画像補正方法。
11. 請求項１から９のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
    前記第２の領域をさらに細分化して、細分化によって得られた小領域ごとにそれぞれ幾何補正関数を作成することを特徴とするマルチプロジェクションシステムのための画像補正方法。
12. 請求項１から１１のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
    前記第１の領域について幾何補正関数を作成するときには、前記第２の領域について幾何補正関数を作成するときよりも、細かな領域に分割して行うことを特徴とするマルチプロジェクションシステムのための画像補正方法。
13. 請求項１から１２のいずれかに記載のマルチプロジェクションシステムのための画像補正方法において、
    前記幾何補正関数は、前記パターン画像に含まれる複数の特徴の各プロジェクタ上の表示領域における位置と、前記パターン画像が前記投影面に投影されたときの前記投影面上における各プロジェクタの投影領域に含まれる複数の特徴の前記各プロジェクタの投影領域における位置との間の幾何学的な対応付関係および幾何補正関数を用いて算出される残差の大きさに基づいて作成されることを特徴とするマルチプロジェクションシステムのための画像補正方法。
14. 複数のプロジェクタが投影するパターン画像と、前記複数のプロジェクタから投影面上に投影されるパターン画像を撮影して得られるパターン撮影画像とに基づいて幾何補正関数を作成し、作成された幾何補正関数を用いて前記複数のプロジェクタから投影される投影画像を前記投影面上で幾何学的整合性がとれるように補正するマルチプロジェクションシステムのための画像補正装置であって、
    前記投影面上における各プロジェクタの投影領域において他のプロジェクタの投影領域が重なり合っている蓋然性の高い第１の領域と、それ以外の第２の領域とに前記各プロジェクタの投影領域を分割する機能と、
    前記第１の領域と前記第２の領域それぞれに対応した幾何補正関数を作成する機能と、
    前記幾何補正関数を用いて、各プロジェクタで投影すべき投影画像を補正する機能と、
    を有することを特徴とするマルチプロジェクションシステムのための画像補正装置。
15. 複数のプロジェクタから投影される投影画像の一部に重なり領域を有した状態でタイリング表示する際に、前記複数のプロジェクタからの投影画像を前記投影面上で幾何学的整合性がとれるように補正可能な画像補正装置を有するマルチプロジェクションシステムであって、
    前記画像補正装置として、前記請求項１４記載のマルチプロジェクションシステムのための画像補正装置を有することを特徴とするマルチプロジェクションシステム。